So erstellen Sie eine robots.txt-Datei

Überblick

Eine robots.txt-Datei teilt Suchmaschinen mit, welche Bereiche Ihrer Website sie crawlen dürfen und welche nicht. Auch wenn sie das Ranking nicht direkt verbessert, hilft eine korrekt konfigurierte robots.txt-Datei Suchmaschinen dabei, die Struktur Ihrer Website zu verstehen und unnötige Seiten nicht zu crawlen.

Die meisten Websites sollten eine robots.txt-Datei haben, vor allem wenn Sie Suchmaschinen den Speicherort Ihrer Sitemap mitteilen oder den Zugriff auf bestimmte Bereiche Ihrer Website einschränken möchten.

Was ist robots.txt?

Die robots.txt-Datei ist eine einfache Textdatei im Stammverzeichnis Ihrer Website.

Beispiel:

https://yourdomain.com/robots.txt

Wenn eine Suchmaschine Ihre Website besucht, ist eine der ersten Dateien, die sie prüft, die robots.txt. Die Anweisungen in dieser Datei helfen Suchmaschinen-Crawlern wie Googlebot und Bingbot bei der Orientierung.

Einfache robots.txt-Beispieldatei

Die folgende Konfiguration erlaubt Suchmaschinen, Ihre gesamte Website zu crawlen, und gibt den Speicherort Ihrer Sitemap an:

User-agent: *
Allow: /

Sitemap: https://yourdomain.com/sitemap.xml

Für Websites, die dynamische WordPress-Sitemaps verwenden, können Sie Folgendes nutzen:

User-agent: *
Allow: /

Sitemap: https://yourdomain.com/?sitemap=1

So erstellen Sie eine robots.txt-Datei

Option 1: Manuell erstellen

1. Öffnen Sie einen Texteditor wie Notepad oder VS Code.
2. Erstellen Sie eine neue Datei mit dem Namen:

robots.txt

3. Fügen Sie Ihre gewünschten Regeln hinzu.
4. Speichern Sie die Datei.
5. Laden Sie sie in das Stammverzeichnis Ihrer Website hoch (public_html).

Ihre Datei sollte unter folgender Adresse erreichbar sein:

https://yourdomain.com/robots.txt

Option 2: Über WordPress-SEO-Plugins erstellen

Viele SEO-Plugins generieren automatisch eine virtuelle robots.txt-Datei.

Beliebte Optionen sind:

• Rank Math
• Yoast SEO
• All in One SEO

Nachdem Sie die Datei erstellt oder bearbeitet haben, rufen Sie Folgendes auf:

https://yourdomain.com/robots.txt

um die Änderungen zu überprüfen.

Häufige robots.txt-Regeln

Alles erlauben

User-agent: *
Allow: /

Dies ist die häufigste Konfiguration für öffentliche Websites.

Ein bestimmtes Verzeichnis blockieren

User-agent: *
Disallow: /private/

Suchmaschinen werden URLs innerhalb des privaten Ordners nicht crawlen.

Eine bestimmte Datei blockieren

User-agent: *
Disallow: /example-page.html

Eine Sitemap hinzufügen

Sitemap: https://yourdomain.com/?sitemap=1

Das Hinzufügen einer Sitemap hilft Suchmaschinen, Ihre Inhalte effizienter zu entdecken.

Wichtige Hinweise

robots.txt verbirgt keine Inhalte

Viele Website-Betreiber glauben fälschlicherweise, dass robots.txt sensible Informationen schützt.

Das stimmt nicht.

robots.txt enthält nur Anweisungen zum Crawling. Geschützte Inhalte sollten stattdessen mit geeigneter Authentifizierung, Berechtigungen oder gegebenenfalls Noindex-Anweisungen abgesichert werden.

Wichtige Seiten nicht blockieren

Vermeiden Sie es, Folgendes zu blockieren:

• Startseite
• Blogbeiträge
• Produktseiten
• Kategorien
• Wichtige Website-Ressourcen

Das Blockieren wichtiger Inhalte kann verhindern, dass Suchmaschinen Ihre Website korrekt indexieren.

Bei dieser Regel vorsichtig sein

User-agent: *
Disallow: /

Dies blockiert die gesamte Website für Suchmaschinen und kann Seiten aus den Suchergebnissen entfernen, wenn die Regel aktiviert bleibt.

So testen Sie Ihre robots.txt-Datei

Nachdem Sie Ihre robots.txt-Datei erstellt haben:

1. Rufen Sie Folgendes auf:

https://yourdomain.com/robots.txt

2. Überprüfen Sie, ob die Datei korrekt geladen wird.
3. Prüfen Sie auf Formatierungsfehler.
4. Bestätigen Sie, dass Ihre Sitemap-URL korrekt aufgeführt ist.

Sie können auch die robots.txt-Dokumentation von Google für weitere Hinweise lesen.

Empfohlene robots.txt für die meisten Websites

Die folgende Konfiguration eignet sich für die meisten WordPress-Websites:

User-agent: *
Allow: /

Sitemap: https://yourdomain.com/?sitemap=1

Ersetzen Sie die Sitemap-URL durch den korrekten Speicherort Ihrer Sitemap.

Häufig gestellte Fragen

Brauche ich eine robots.txt-Datei?

Nein, aber sie wird empfohlen, weil sie Suchmaschinen hilft, Ihre Website zu verstehen und Ihre Sitemap zu finden.

Kann robots.txt SEO verbessern?

Nicht direkt. Sie hilft jedoch dabei, dass Suchmaschinen Ihre Website effizienter crawlen und unnötige Seiten nicht crawlen.

Wo sollte robots.txt liegen?

Die Datei sollte im Stammverzeichnis Ihrer Website liegen, üblicherweise im Ordner public_html.

Kann robots.txt verhindern, dass Seiten in Google erscheinen?

Nicht immer. Um die Indexierung zu verhindern, verwenden Sie geeignete Noindex-Anweisungen, anstatt sich nur auf robots.txt zu verlassen.

Brauchen Sie Hilfe?

Wenn Sie Hilfe beim Erstellen oder Beheben von Problemen mit Ihrer robots.txt-Datei benötigen, wenden Sie sich an das VeerHost-Supportteam; wir helfen Ihnen gerne weiter.