Internet Wissen - Fachbegriffe erklärt:

Ein Webcrawler (auch Spider, Robots kurz:Bot) durchforstet das Internet nach Inhalten wie Text, Bilder, Musik, usw. und speichert diese in einer Datenbank. Die Webcrawler werden hauptsächlich von den Suchmaschinenbetreibern benutzt. Der Webcrawler sucht die Inhalte einer Website und speichert diese. Auch die Links kann der Webcrawler auswerten und kann dadurch zur nächsten Internetseite springen und diese "durchwühlen".

Doch nicht alle Inhalte kann der Bot lesen. Z.B. Flashanimationen oder nur bedingt Bilder. Auch schlecht oder schlampig programmierte Internetseiten kann der Robot nicht lesen. Deswegen sollte man seine Internetseite "Suchmaschinen optimieren" lassen.