Suchmaschinenindexierung mit robots.txt sperren

So steuern Sie, welche Seiten und Verzeichnisse Suchmaschinen über die Datei robots.txt indexieren können.

robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, wie sie sich auf Ihrer Website verhalten sollen. Sie ist das Erste, wonach jeder Bot sucht, wenn er Ihre Website besucht.

Sie können sie verwenden, um:

Die Indexierung bestimmter Seiten oder Verzeichnisse zu unterbinden
Suchmaschinen auf Ihre kanonische Domain hinzuweisen
Eine Crawl-Verzögerung zwischen Seitenanfragen festzulegen
Und vieles mehr

Die Datei gehört in das Stammverzeichnis Ihrer Website — denselben Ort, an dem sich Ihre index.*-Hauptdatei befindet. Für Ihre primäre Domain ist das der Ordner public_html. Falls die Datei noch nicht existiert, erstellen Sie sie einfach.

Grundlegende Direktiven

User-agent — gibt an, für welchen Crawler die Regel gilt. Verwenden Sie *, um alle Bots anzusprechen.
Disallow — sperrt den angegebenen Pfad für die Indexierung. Ein leerer Wert bedeutet keine Einschränkungen.
Crawl-delay — empfiehlt eine Verzögerung (in Sekunden) zwischen aufeinanderfolgenden Seitenanfragen.

Beispiele

Einen bestimmten Crawler blockieren:

# Block Googlebot
User-agent: Googlebot
Disallow: /

# Block Yandex
User-agent: Yandex
Disallow: /

# Block MSNBot (Bing)
User-agent: MSNBot
Disallow: /

# Block Yahoo
User-agent: Slurp
Disallow: /

Alle Suchmaschinen blockieren:

User-agent: *
Disallow: /

Bestimmte Verzeichnisse blockieren:

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/

Allen Suchmaschinen die vollständige Indexierung erlauben:

User-agent: *
Disallow:

Ein leerer Disallow-Wert ist gleichbedeutend damit, überhaupt keine robots.txt-Datei zu haben — alles ist zugänglich.

Unsere Produkte und Dienste

WebhostingLäuft auf ultraschnellen NVMe-Laufwerken. Geeignet für Websites jeder Komplexität.

Bestellen

VPSFlexible Cloud-Infrastruktur mit vollem Root-Zugriff.

Bestellen

Dedizierte ServerBare-Metal-Server für maximale Leistung.

Bestellen

Nur bestimmten Crawlern erlauben, mit Crawl-Verzögerung: Im folgenden Beispiel ist die gesamte Website für alle Bots gesperrt — mit Ausnahme von Yandex, Google und Rambler. Für jeden dieser Bots ist eine Verzögerung von 4 Sekunden zwischen den Seitenanfragen festgelegt:

User-agent: *
Disallow: /

User-agent: Yandex
Crawl-delay: 4
Disallow:

User-agent: Googlebot
Crawl-delay: 4
Disallow:

User-agent: StackRambler
Crawl-delay: 4
Disallow:

Hilfe

Bei Fragen oder wenn Sie Unterstützung brauchen, erreichen Sie uns jederzeit über das Ticketsystem — wir helfen Ihnen gern weiter!