Crawler

Ein Crawler ist ein Programm, das das gesamte Internet nach Inhalten durchsucht. Diese Suche verläuft vollkommen automatisiert, weshalb die Crawler auch häufig Robots genannt werden. Eine weitere Bezeichnung für die Crawler ist Spider (engl. = Spinne). Das liegt daran, dass die Crawler im Netz (Internet) einen Weg zurücklegen, der einem Spinnennetz gleicht. Hierbei werden dann sowohl Webseiten als auch Informationen ausgelesen und indexiert.

Die Funktion eines Crawlers ist denkbar einfach. Der Crawler besucht die Webseiten meist anhand von Hyperlinks, welche auf bereits indexierten Webseiten zu finden sind. Zunächst werden die Inhalte im Cache gespeichert, anschließend ausgewertet und ggf. indexiert. Welche Daten dann in den Suchmaschinen angezeigt werden, entscheidet der Algorithmus der jeweiligen Suchmaschine.

Ohne Crawler, dem Kernstück aller Suchmaschinen, wäre eine Indexierung nicht möglich und es könnten keine Inhalte im Internet gefunden werden.

Der Seitenbetreiber muss dann die Inhalte der Webseite so aufbereiten, dass diese für die Crawler leicht lesbar sind.