Ein Crawler ist ein Programm, das selbstständig das Internet nach Inhalten durchsucht und sowohl Webseiten als auch Information vollständig ausliest und indexiert. Da diese Suche automatisch abläuft, werden die Crawler auch Robots genannt. Der Weg, den die Crawler im Internet zurücklegen, ähnelt einem Spinnennetz. Deshalb bezeichnet man Crawler auch als Spider.