KI-Crawler sind automatische Programme, mit denen KI-Anbieter Websites abrufen. Dabei gibt es zwei grundverschiedene Zwecke: das Sammeln von Trainingsdaten und das Finden aktueller Informationen für Antworten.
Wichtige Crawler im Überblick
| Name | Anbieter | Zweck |
|---|---|---|
| OAI-SearchBot | OpenAI | Suche in ChatGPT |
| GPTBot | OpenAI | Training von Modellen |
| PerplexityBot | Perplexity | Antworten von Perplexity |
| Google-Extended | Nutzung für Gemini-Modelle (nicht die Google-Suche) | |
| Googlebot / Bingbot | Google / Microsoft | klassische Suche |
Steuerung über die robots.txt
In der Datei robots.txt legen Sie fest, welcher Crawler Ihre Website abrufen darf. Wer die Such-Crawler aussperrt, macht es den Assistenten schwer, die eigene Website als Quelle zu nutzen. Ob das bei Ihnen der Fall ist, zeigt unser kostenloser KI-Crawler-Check.