Robots.txt (Textdatei)

Was ist eine Textdatei?

Robots.txt erlaubt oder verbietet den Zugriff auf bestimmte Seiten.

Die Textdatei ist dafür da, den Suchmaschinen und Crawlern mitzuteilen, auf bestimmte Seiten oder Verzeichnisse entweder zugreifen zu dürfen oder nicht zugreifen zu dürfen. Zudem gibt es auch noch weitere Anweisungen, die mittels der Robots.txt durchgeführt werden können. Hierzu zählt die zeitliche Verzögerung durch die Suchmaschine.

Ist eine Robots.txt notwendig?

Sogenannte Spiders suchen zwar nach einer Robots.txt Datei. Jedoch ist es nicht notwendig, solch eine Datei zu besitzen. Ist keine Robots.txt Datei vorhanden, dann heißt das für die Suchmaschine, dass es keine Einschränkungen für die Seitenerfassung des Internetauftrittes gibt. Es dürfen dann im Prinzip alle Inhalte erfasst werden.

Wie kann dem Crawler mitgeteilt werden, welche Seiten angezeigt und nicht angezeigt werden?

Generell gibt es zwei Varianten, dem Crawler darüber zu informieren, auf welche Seiten zugegriffen werden darf und auf welche nicht. Eine sehr gute Variante ist die Variante auf der Dateiebene. Im Datei Header gibt der Webseitenersteller für den robots Meta-Tag die Anweisung noindex an. Allerdings ist für den kompletten Internetauftritt mit zahlreichen Unterseiten die Erstellung einer robots.txt Datei effizienter.

Eine Textdatei schützt nicht vor der Öffentlichkeit

Besucher einer Internetseite können sich die robots.txt anschauen und sehen, welche Bereiche für die Öffentlichkeit nicht zugänglich gemacht werden sollen. Bei ungeschützten Dateien können andere Internetnutzer auf diese zugreifen. Von daher bietet es sich an, die Seiten mit einem Passwort zu schützen.

[sc:adcontentunten]
[sc:seolinks]