Crawler, auch als Spider oder Robot bezeichnet, ist ein spezielles Programm von Suchmaschinen, welches Websites spidert und verifiziert. So können neue Seiten in den Index einer Suchmaschine gelangen.
Alternative Bezeichnung für Spider oder Robot, d.h. spezialisierte Programme der Suchmaschinen, die ununterbrochen von den Suchmaschinen bereits indizierte Seiten verifizieren und neu angemeldet Websites “spidern” und damit die Webseiten solcher Websites für die Indizierung durch die Suchmaschinen abrufen. Je besser der Crawler ist, desto besser ist auch der Index.