Suchmaschinen-Robot (Webcrawler)

Was ist ein Suchmaschinen-Robot?

Als Robot (Kurzform Bot) wird in der Informatik ein weitestgehend selbstständig ablaufendes Programm bezeichnet. Einmal angestoßen trifft es eigenständig Entscheidungen und verrichtet seine Aufgabe. Suchmaschinen nutzen solche Programme, um den Inhalt in einem Netzwerk wie dem Internet automatisch zu durchsuchen.

Wie funktioniert ein Suchmaschinen-Robot?

Ein Suchmaschinen-Robot ruft zunächst eine einzelne Internetseite auf und durchsucht diese nach Stichworten und Anhaltspunkten, die deren Inhalt möglichst charakterisieren sollen. Die Ergebnisse sammelt er und speichert sie zusammen mit Metaangaben zur durchsuchten Seite (bspw. Adresse, Zeitstempel etc.) im Index der Suchmaschine ab.

Nachdem der Suchmaschinen-Robot auf der Seite mit seiner Arbeit fertig ist, folgt er den dort vorgefundenen Links zu einer weiteren Seite. Stellt nun ein Nutzer an die jeweilige Suchmaschine eine Anfrage, durchsucht diese nicht stets das gesamte Netzwerk, sondern lediglich den von ihr zuvor erstellten Index. Damit bestimmt die Qualität des Robots grundlegend die Qualität des ausgegebenen Suchergebnisses.

Womit lassen sich Suchmaschinen-Robots steuern?

Mithilfe von eingebundenen Zusatzinformationen kann ein Internetanbieter das Verhalten eines Suchmaschinen-Robots beeinflussen. So kann beispielsweise ein spezieller Robot von der Durchsuchung eines Inhaltes gezielt ausgeschlossen werden. Grundsätzlich sind diese Zusatzinformationen jedoch als Verhaltensempfehlungen zu verstehen, da sie nicht eingehalten werden müssen.

Folgende Möglichkeiten stehen zur Verfügung:

• ausgelagerte Handlungsanweisungen in der verknüpften Datei robots.txt
• Angaben als Meta-Description in der Internetseite
• Verwendung des „nofollow“-Attributs für Links

[sc:adcontentunten]
[sc:seolinks]