Crawling

Dieser Begriff beschreibt den Prozess, der von Suchmaschinen ausgeführt wird, um neue Seiten im Internet zu finden und diese ihrem Suchmaschinen-Index hinzuzufügen. Das Ausführen dieses Prozesses nennt sich „crawlen“. Das Programm, das diese Seiten analysiert wird als Crawler, Spider, Robot oder Bot bezeichnet. Bei Google heißt es: „Googlebot“. Es bestimmt, wann welche Webseite durchsucht wird. Ausgangspunkt dafür ist die Kenntnis der Webseiten-URL.