KI-Crawler sind automatische Programme, mit denen KI-Anbieter Websites abrufen. Dabei gibt es zwei grundverschiedene Zwecke: das Sammeln von Trainingsdaten und das Finden aktueller Informationen für Antworten.

Wichtige Crawler im Überblick

NameAnbieterZweck
OAI-SearchBotOpenAISuche in ChatGPT
GPTBotOpenAITraining von Modellen
PerplexityBotPerplexityAntworten von Perplexity
Google-ExtendedGoogleNutzung für Gemini-Modelle (nicht die Google-Suche)
Googlebot / BingbotGoogle / Microsoftklassische Suche

Steuerung über die robots.txt

In der Datei robots.txt legen Sie fest, welcher Crawler Ihre Website abrufen darf. Wer die Such-Crawler aussperrt, macht es den Assistenten schwer, die eigene Website als Quelle zu nutzen. Ob das bei Ihnen der Fall ist, zeigt unser kostenloser KI-Crawler-Check.

Geschrieben von Sichto Redaktion. Wir beobachten laufend, wie KI-Assistenten Unternehmen in Deutschland, Österreich und der Schweiz empfehlen, und aktualisieren unsere Texte, wenn sich etwas ändert. Fehler gefunden? Schreiben Sie uns.