Crawler
Was ist ein Suchmaschinen-Crawler?
Suchmaschinen-Crawler oder auch allgemein Webcrawler genannt sind automatisierte Programme, die das Internet nach Websites und anderen Online-Inhalten durchsuchen und diese gemäß den ihnen zugrunde liegenden Parametern analysieren. Ein Suchmaschinen-Crawler ist damit in erheblichem Ausmaß an der Platzierung von Websites in Suchergebnissen beteiligt.
Wie funktioniert ein Crawler?
Webcrawler „hangeln“ sich anhand von Hyperlinks von einer Website zu anderen URLs. Die verschiedenen Pfade, die der Crawler dabei im World Wide Web zurücklegt, werden genau dokumentiert. Suchmaschinen-Crawler beziehen sich auch auf den Inhalt der besuchten Seiten und indizieren diesen. So kann er bei späteren Suchanfragen ausgewertet werden.
Welche Bedeutung hat ein Suchmaschinen-Crawler für Online-Marketing?
Um einen automatisierten Crawler den Inhalt der eigenen Webpräsenz möglichst präzise indizieren zu lassen, was Voraussetzung für ein gutes Suchmaschinen-Ranking ist, gibt es verschiedene Aspekte, die beim Design und der Programmierung der Seite beachtet werden sollten.
Crawler können mittels eigens für diesen Zweck angelegten Dateien auf dem Webserver, sogenannte robots.txt-Dateien, Hinweise darüber erhalten, welche Inhalte für die Indizierung der Seite besonders wichtig sind. Auch die Meta-Tags spielen hier eine große Rolle. Nur, wenn die eigene Webpräsenz für Crawler gut nachvollziehbar ist, kann auch eine hohe Platzierung in Suchergebnissen gewährleistet werden.
[sc:adcontentunten]
[sc:seolinks]
Fachbegriffe rund um SEO leicht verständlich erklärt. Kein Fachchinesisch!
SEO-Lexikon