Logo von nextlevels
Projekt anfragen
Crawler kostenlos prüfen

Dürfen GPTBot und ClaudeBot rein? Der KI-Crawler-Check

Der Check liest deine robots.txt und ruft die Startseite live als GPTBot, ClaudeBot und PerplexityBot ab. So siehst du, ob eine Regel oder eine Firewall sie aussperrt.

  • Vier Abrufe: robots.txt und dreimal die Startseite
  • Keine E-Mail-Adresse nötig
  • Kostenlos, ohne Anmeldung

Der Live-Abruf nutzt den Namen des Crawlers als User-Agent, kommt aber von unserem Server. Sperren nach IP-Adresse erkennt er nicht.

  • GPTBot
  • ClaudeBot
  • PerplexityBot
  • CCBot
  • Bytespider
  • RFC 9309

Was der Check prüft

Zwei Stellen entscheiden, ob ein KI-Crawler deine Inhalte bekommt: die Regeln in der robots.txt und das, was dein Server ihm tatsächlich ausliefert.

  • robots.txt

    Der Check sucht für jeden KI-Crawler einen eigenen Block und meldet Disallow: / als Sperre. Einzelne gesperrte Pfade erscheinen als Hinweis.

  • Live-Abruf

    Drei Abrufe deiner Startseite mit den User-Agents GPTBot, ClaudeBot und PerplexityBot. Ein Fehlerstatus oder eine auffällig kurze Antwort deuten auf eine Sperre in Firewall, CDN oder Webserver.

  • Globale Sperre

    User-agent: * mit Disallow: / sperrt jeden Crawler ohne eigenen Block, auch Suchmaschinen.

  • Trainings-Bots

    CCBot und Bytespider sammeln vor allem Trainings- und Rohdaten. Eine Sperre ist hier eine legitime Entscheidung und wird neutral angezeigt.

Grenzen: Der Live-Abruf kommt von unserem Server, nicht aus den IP-Netzen von OpenAI, Anthropic oder Perplexity. Sperren oder Freigaben nach IP-Adresse sieht der Check nicht.

Quellen: OpenAI: Übersicht der OpenAI-Crawler · Anthropic: ClaudeBot und robots.txt · Perplexity: Perplexity-Crawler · RFC 9309 (robots.txt)

Jeder Crawler auf einen Blick

Regel in der robots.txt, Antwort deines Servers und das Urteil – für jeden Crawler.

Crawler prüfen
Ergebnis für beispiel.debeispiel.de
Live-Abruf der Startseite
  • GPTBot: HTTP 403 – blockiert
  • ClaudeBot: HTTP 200, 48312 Byte – wird ausgeliefert
  • PerplexityBot: HTTP 200, 48312 Byte – wird ausgeliefert
Regeln in der robots.txt
  • GPTBotkeine Sperre
  • ClaudeBotkeine Sperre
  • PerplexityBotkomplett gesperrt
  • CCBotkomplett gesperrt

Diese Bots zu sperren ist eine legitime Entscheidung und kein Fehler.

Beispiel mit erfundenen Werten.

Der ganze KI-Sichtbarkeitscheck

Zugriff ist nur die Voraussetzung. Der KI-Sichtbarkeitscheck prüft zusätzlich, ob deine Inhalte zitierfähig sind: Autorität, Schema, Sitemap, llms.txt und Technik – mit Score und den drei größten Hebeln.

Zum KI-Sichtbarkeitscheck

Häufige Fragen zu KI-Crawlern

Deine Frage ist nicht dabei? Frag uns direkt

Was sind GPTBot, ClaudeBot und PerplexityBot?
Das sind die Crawler von OpenAI, Anthropic und Perplexity. Sie rufen Webseiten ab, damit deren Inhalte in den KI-Produkten der Anbieter verwendet werden können. Jeder meldet sich mit einem eigenen User-Agent und lässt sich über die robots.txt einzeln steuern.
Wie erlaube ich KI-Crawler in der robots.txt?
Lege für den Crawler einen eigenen Block an: eine Zeile „User-agent: GPTBot“, darunter „Allow: /“. Ein eigener Block geht der allgemeinen Regel unter „User-agent: *“ vor. Der Check liefert dir die passenden Zeilen zum Kopieren, wenn er eine Sperre findet.
Wie sperre ich einen KI-Crawler?
Mit einem eigenen Block und „Disallow: /“. Die robots.txt ist eine Bitte, keine technische Sperre: Sie wirkt bei Crawlern, die sich daran halten. Bedenke, dass ein gesperrter Crawler deine Inhalte auch nicht zitieren kann.
Die robots.txt erlaubt alles, der Live-Abruf wird trotzdem blockiert. Warum?
Dann filtert etwas vor deiner Website nach User-Agent: eine Firewall, der Bot-Schutz deines CDN oder eine Regel im Webserver. Prüfe diese Stellen und nimm die KI-Crawler dort aus, die du zulassen willst.
Wie genau ist der Live-Abruf?
Er zeigt, wie dein Server auf den User-Agent des Crawlers reagiert. Die Anfrage kommt aber von unserem Server und nicht aus den IP-Netzen der Anbieter. Sperrt oder erlaubt dein Bot-Schutz nach IP-Adresse, kann das Ergebnis für den echten Crawler anders ausfallen.

Weitere Tools & Checks

Alle Tools & Checks im Überblick

Passend zu deinem Ziel: Mehr Leads & Sichtbarkeit

Sperren finden und lösen

Schick uns deine Domain. Wir finden, wo KI-Crawler hängen bleiben – robots.txt, CDN oder Webserver – und sagen dir, wer es behebt: dein Team, dein Hoster oder wir.

Profilbild von Kevin Bolleßen, Head of BD & Digital Marketing
Kevin Bolleßen
Head of BD & Digital Marketing
info@next-levels.de +49 (0) 2161 539 71 60