Robots werden auch Webcrawler, Spider oder Searchbot genannt. Sie werden von den Suchmaschinen eingesetzt, um die Daten von Websites "auszulesen". Es handelt sich dabei um spezielle Programme, die automatisch das Web durchsuchen und die indexierten Inhalte von Websites an die Suchmaschine übertragen.
Webcrawler oder Robots erzeugen heute bis zu 40% des gesamten Traffics im Internet, den sie sammeln pausenlos Informationen.
In der Datei "robots.txt" kann man als Webseitenbetreiber den Webcrawlern mitteilen, welche Seiten der Website indexiert werden sollen und welche nicht. Da es leider auch unerwünschte Webcrawler gibt, war es notwendig, sich dagegen auch zur Wehr zu setzen. Spezielle Webseiten, sog. "Teergruben" liefern dem Robots falsche Informationen und bremsen sie so stark aus.