KI-Crawler-Check

Sperrt Ihre Website ChatGPT, Perplexity oder Google versehentlich aus? Geben Sie Ihre Domain ein – das Ergebnis kommt in wenigen Sekunden.

Häufige Fragen

Was ist eine robots.txt?

Eine kleine Textdatei im Hauptverzeichnis Ihrer Website. Darin steht, welche automatischen Besucher (Crawler) welche Bereiche abrufen dürfen. Viele Website-Baukästen und Sicherheits-Plugins verändern sie, ohne dass man es merkt.

Sollte ich GPTBot blockieren?

Das ist eine Geschäftsentscheidung. GPTBot sammelt Inhalte für das Training von OpenAI-Modellen. Für die Sichtbarkeit in der ChatGPT-Suche ist dagegen der OAI-SearchBot zuständig. Viele Unternehmen blockieren das Training, lassen aber die Such-Crawler zu.

Was ist eine llms.txt?

Ein noch junger Vorschlag für eine Datei, die KI-Systemen eine kurze, strukturierte Übersicht über eine Website gibt. Sie ist kein offizieller Standard und wird bisher nicht von allen Anbietern ausgewertet, schadet aber nicht.

Der Check ruft nur öffentlich erreichbare Dateien ab (Startseite, robots.txt, llms.txt). Die geprüfte Domain wird zur Missbrauchsvermeidung kurz gespeichert.