Crawler

Ein Crawler ist ein Programm, das das gesamte Internet nach Inhalten durchsucht. Diese Suche verläuft vollkommen automatisiert, weshalb die Crawler auch häufig Robots genannt werden.…