GPTBot, ClaudeBot & robots.txt: Blockieren oder zulassen?

Ob Sie GPTBot, ClaudeBot und andere KI-Crawler in der robots.txt blockieren, ist keine Ja-Nein-Frage. Entscheiden Sie nach Crawler-Klasse: Trainings-Bots sperren ändert Ihre Sichtbarkeit in Antworten mit Websuche meist nicht, Such-Bots sperren kann sie kosten. Messen Sie zuerst, was heute passiert.

Das Prinzip: robots.txt ist eine Bitte

Die robots.txt folgt dem Robots Exclusion Protocol, standardisiert als RFC 9309. Sie teilt Crawlern mit, welche Pfade sie nicht abrufen sollen. Es ist eine Konvention, keine technische Schranke: Seriöse Betreiber halten sich daran, andere nicht. Für verbindliche Sperren brauchen Sie zusätzliche Regeln in Firewall oder Server.

Umgekehrt gilt: Auch ohne eigene Sperre kann ein Bot ausgesperrt sein, nämlich durch Bot-Schutz im CDN oder in der Firewall. Prüfen Sie deshalb immer beide Ebenen.

Kernaussage: Wer nicht weiß, welche Bots seine Seite besuchen, sollte nicht pauschal sperren. Erst messen, dann pro Klasse entscheiden.

Crawler-Klassen und ihre Folgen

Die Betreiber beschreiben ihre Bots selbst, zum Beispiel OpenAI und Perplexity. Die folgende Zuordnung ist vereinfacht, prüfen Sie Namen und Zwecke in der aktuellen Dokumentation:

Klasse	Beispiele	Folge einer Sperre
Training	GPTBot, CCBot, Bytespider	Inhalte fließen nicht ins Training neuer Modelle ein. Auswirkung auf Antworten mit Websuche gering
Suchindex	OAI-SearchBot, PerplexityBot	Seiten erscheinen eher nicht in Antworten dieser Suchfunktionen
Nutzerabruf	ChatGPT-User	Ein Nutzer kann Ihre Seite im Chat nicht abrufen lassen

Für Claude nennt der Anbieter eigene Crawler, deren Bezeichnungen und Zwecke Sie in der Anthropic-Dokumentation nachlesen sollten. Wir geben hier bewusst keine Details wieder, die sich geändert haben könnten.

So entscheiden Sie

Stellen Sie drei Fragen:

1. Wollen wir in Antworten mit Websuche vorkommen? Wenn ja, lassen Sie die jeweiligen Such- und Abruf-Crawler zu.
2. Wollen wir, dass unsere Inhalte Modelle trainieren? Das ist eine Geschäftsentscheidung. Verlage und Anbieter mit lizenzierten Inhalten sperren oft, Dienstleister mit Interesse an Reichweite eher nicht.
3. Gibt es Bereiche, die gar nicht abgerufen werden sollen? Etwa interne Suchseiten, Kundenbereiche, Preislisten für Partner. Hier hilft ein pfadbasiertes Disallow.

Ein Beispiel für eine pfadbasierte Regel (nur als Muster, an Ihre Seite anpassen):

User-agent: GPTBot
Disallow: /kundenbereich/

User-agent: *
Disallow: /intern/

Prüfen Sie nach jeder Änderung, ob wichtige Seiten weiterhin erreichbar sind.

Erst messen: Wer kommt heute?

Bevor Sie Regeln ändern, brauchen Sie ein Bild der Ist-Lage. Das geht über Serverlogs, ein CDN-Dashboard oder einen Hook, wie er im Artikel AI Crawler Tracking beschrieben ist. Dort sehen Sie, welche Bots kommen und welche fehlen. Fehlt ein Such-Crawler komplett, liegt häufig ein Firewall-Problem vor, nicht eine robots.txt-Regel.

Für einen schnellen ersten Test bietet BusinessMCP einen kostenlosen AI-Crawler-Check. Was er genau prüft, lesen Sie auf der Werkzeugseite. Er ersetzt keine Log-Analyse. Die Anbieterseite zur KI-Sichtbarkeits-Messung ergänzt Crawler-Zähler um Zitations- und Wettbewerbsdaten.

Typische Konfigurationsfehler

• Pauschales “Disallow: /” für alle unbekannten Bots. Das sperrt auch gewünschte Such-Crawler.
• Bot-Schutz im CDN mit zu aggressiven Regeln. Er kann Crawler blocken, die die robots.txt erlaubt.
• robots.txt nicht erreichbar oder fehlerhaft. Prüfen Sie den Statuscode und die Syntax.
• Sperre aus Gewohnheit. Viele Websites sperren KI-Bots, ohne zu wissen, dass sie damit eine Quelle für Zitate verlieren.
• Änderung ohne Messung vorher und nachher. Dokumentieren Sie Datum und Wirkung.

Einordnung in die Gesamtstrategie

Crawler-Zugang ist die erste Stufe eines Trichters aus Abruf, Auswahl, Zitat und Besuch. Ist die erste Stufe verstopft, sind alle weiteren Maßnahmen wirkungslos. Deshalb steht der Zugang ganz oben in unserer Liste zu ChatGPT-Sichtbarkeit verbessern. Auch Agenturen sollten diesen Punkt zuerst prüfen, wie die Checkliste im GEO-Agentur-Vergleich zeigt.

Wenn Ihre Rechtsabteilung Fragen zu Urheberrecht oder Trainingsdaten hat, klären Sie diese separat. Dieser Artikel ist keine Rechtsberatung.

Beispiele für typische Geschäftsmodelle

Die richtige Konfiguration hängt vom Geschäftsmodell ab. Drei vereinfachte Muster:

Geschäftsmodell	Naheliegende Haltung	Begründung
Beratung oder Dienstleistung mit Reichweitenziel	Such- und Abruf-Crawler zulassen, Trainings-Crawler nach Geschäftsentscheidung	Zitate in Antworten bringen Bekanntheit
Verlag mit lizenzierten Inhalten	Trainings-Crawler sperren, Such-Crawler gezielt zulassen oder verhandeln	Inhalte sind das Produkt
Shop mit Produktdaten	Produktseiten zulassen, Warenkorb und Konto sperren	Auffindbarkeit gewünscht, private Bereiche geschützt

Das sind Denkmuster, keine Empfehlungen für Ihren Einzelfall. Prüfen Sie rechtliche Fragen, insbesondere zu Urheberrecht und Lizenzen, mit Fachleuten.

Ablauf einer Änderung in der Praxis

Eine robots.txt-Änderung ist schnell gemacht und hat doch Folgen. Ein sauberer Ablauf:

1. Ist-Zustand sichern. Speichern Sie die aktuelle Datei und notieren Sie, welche Bots in den letzten Wochen zugegriffen haben.
2. Änderung formulieren. Schreiben Sie in einem Satz, was Sie erreichen wollen und für welche Bot-Klasse.
3. Testen. Prüfen Sie die Syntax mit einem Testwerkzeug und rufen Sie die Datei im Browser ab.
4. Ausrollen und beobachten. Beobachten Sie vier Wochen lang die Crawler-Zugriffe und, wenn möglich, die Zitationsrate Ihrer Fragenliste.
5. Dokumentieren. Halten Sie fest, was Sie geändert haben und was daraufhin passierte.

Wer eine Messung der Antworten betreibt, etwa mit der KI-Sichtbarkeits-Messung von BusinessMCP, kann so sehen, ob eine Sperre oder Öffnung in der Zitationsrate Spuren hinterlässt. Wegen der Schwankungen sollten Sie dabei Intervalle beachten, wie im Beitrag Warum KI-Antworten schwanken beschrieben.

llms.txt und robots.txt nicht verwechseln

Gelegentlich werden die beiden Dateien vermischt. Die robots.txt regelt, was Crawler abrufen dürfen. Eine llms.txt soll dagegen Modellen eine kompakte Übersicht Ihrer wichtigsten Inhalte liefern und ist kein Zugriffsschutz. Ob und wie stark Assistenten sie berücksichtigen, ist nicht belegt. BusinessMCP führt dazu einen Leitfaden zu llms.txt, den Sie als Herstellerinformation lesen können. Für Ihre Zugriffsentscheidung ist weiterhin die robots.txt maßgeblich, ergänzt durch serverseitige Regeln.

Kurzcheckliste vor dem Livegang

Bevor Sie eine neue robots.txt veröffentlichen, gehen Sie diese Punkte durch: Ist die Datei unter der Hauptdomain erreichbar und liefert den Statuscode 200? Stimmen Groß- und Kleinschreibung der User-Agent-Namen mit der Dokumentation der Betreiber überein? Sind wichtige Verzeichnisse versehentlich gesperrt? Gibt es Regeln, die sich widersprechen? Haben Sie die Änderung in einem Testverzeichnis oder mit einem Prüfwerkzeug simuliert? Und: Weiß die IT, dass parallel Bot-Schutzregeln existieren, die Ihre Absicht aushebeln könnten? Diese sechs Fragen kosten zehn Minuten und ersparen oft wochenlange Ursachenforschung, wenn plötzlich Zitate ausbleiben.