Dürfen GPTBot und ClaudeBot rein? Der KI-Crawler-Check
Der Check liest deine robots.txt und ruft die Startseite live als GPTBot, ClaudeBot und PerplexityBot ab. So siehst du, ob eine Regel oder eine Firewall sie aussperrt.
- GPTBot
- ClaudeBot
- PerplexityBot
- CCBot
- Bytespider
- RFC 9309
Passende Leistungen zu KI-Crawlern
Was der Check prüft
Zwei Stellen entscheiden, ob ein KI-Crawler deine Inhalte bekommt: die Regeln in der robots.txt und das, was dein Server ihm tatsächlich ausliefert.
robots.txt
Der Check sucht für jeden KI-Crawler einen eigenen Block und meldet Disallow: / als Sperre. Einzelne gesperrte Pfade erscheinen als Hinweis.
Live-Abruf
Drei Abrufe deiner Startseite mit den User-Agents GPTBot, ClaudeBot und PerplexityBot. Ein Fehlerstatus oder eine auffällig kurze Antwort deuten auf eine Sperre in Firewall, CDN oder Webserver.
Globale Sperre
User-agent: * mit Disallow: / sperrt jeden Crawler ohne eigenen Block, auch Suchmaschinen.
Trainings-Bots
CCBot und Bytespider sammeln vor allem Trainings- und Rohdaten. Eine Sperre ist hier eine legitime Entscheidung und wird neutral angezeigt.
Grenzen: Der Live-Abruf kommt von unserem Server, nicht aus den IP-Netzen von OpenAI, Anthropic oder Perplexity. Sperren oder Freigaben nach IP-Adresse sieht der Check nicht.
Quellen: OpenAI: Übersicht der OpenAI-Crawler · Anthropic: ClaudeBot und robots.txt · Perplexity: Perplexity-Crawler · RFC 9309 (robots.txt)
Jeder Crawler auf einen Blick
Regel in der robots.txt, Antwort deines Servers und das Urteil – für jeden Crawler.
Crawler prüfen- GPTBot: HTTP 403 – blockiert
- ClaudeBot: HTTP 200, 48312 Byte – wird ausgeliefert
- PerplexityBot: HTTP 200, 48312 Byte – wird ausgeliefert
- GPTBotkeine Sperre
- ClaudeBotkeine Sperre
- PerplexityBotkomplett gesperrt
- CCBotkomplett gesperrt
Diese Bots zu sperren ist eine legitime Entscheidung und kein Fehler.
Der ganze KI-Sichtbarkeitscheck
Zugriff ist nur die Voraussetzung. Der KI-Sichtbarkeitscheck prüft zusätzlich, ob deine Inhalte zitierfähig sind: Autorität, Schema, Sitemap, llms.txt und Technik – mit Score und den drei größten Hebeln.
Zum KI-SichtbarkeitscheckWas sind GPTBot, ClaudeBot und PerplexityBot?
Wie erlaube ich KI-Crawler in der robots.txt?
Wie sperre ich einen KI-Crawler?
Die robots.txt erlaubt alles, der Live-Abruf wird trotzdem blockiert. Warum?
Wie genau ist der Live-Abruf?
Weitere Tools & Checks
Passend zu deinem Ziel: Mehr Leads & Sichtbarkeit
Sperren finden und lösen
Schick uns deine Domain. Wir finden, wo KI-Crawler hängen bleiben – robots.txt, CDN oder Webserver – und sagen dir, wer es behebt: dein Team, dein Hoster oder wir.
Worum geht's?

Kevin Bolleßen
Head of BD & Digital Marketing
- 30 Minuten per Video oder Telefon
- Du sprichst direkt mit einem Partner, nicht mit dem Vertrieb
- Du bekommst Reihenfolge, Risiken und grobe Kosten