Crawler (Spider) sind spezielle Suchprogramme, die im Web alle Links einer Webseite verfolgen und auf diese Weise neue und geänderte Seiten erkennen und diese dann in einen Suchindex aufnehmen.
Der Crawler (Engl. Kriecher, Krabbler= ist eine Bezeichnung für Programme, die - meist im Auftrag von Suchmaschinen - Seiten von Webservern für die Indizierung holen.
