English

KI-Crawler: wer wirklich kommt — live gezählt

Am 2026-11-21 kamen 105.501 Abrufe von KI-Crawlern an diese Adresse, von 123.056 insgesamt. Das sind die Namen dahinter, wie sie sich selbst melden:

WerArtAbrufe
Metaai-crawler66.527
Anthropic ClaudeBotai-crawler29.909
Googleai-crawler4.761
OpenAI GPTBotai-crawler4.304
Yandexsearch425
Googlesearch411
Claudeassistant111
Bingsearch84
OpenAI searchsearch-ai7
Perplexitysearch-ai1

Alle Zahlen, jeden Tag: der Zensus · /census (JSON)

Die KI-Crawler und ihre robots.txt-Namen

robots.txtBetreiberWofür
GPTBotOpenAIcollects pages for training OpenAI models
OAI-SearchBotOpenAIindexes pages for ChatGPT search
ChatGPT-UserOpenAIfetches a page when a ChatGPT user asks for it
ClaudeBotAnthropiccollects pages for training Claude
Claude-SearchBotAnthropicindexes pages for Claude’s web search
Claude-UserAnthropicfetches a page when a Claude user asks for it
PerplexityBotPerplexityindexes pages for Perplexity answers
Perplexity-UserPerplexityfetches a page for a Perplexity user
Google-ExtendedGooglea robots.txt token only: decides whether Gemini may train on pages Googlebot fetched
meta-externalagentMetacollects pages for Meta’s AI models
Applebot-ExtendedApplea robots.txt token: decides whether Apple may train on pages Applebot fetched
AmazonbotAmazoncrawls for Amazon services including Alexa answers
BytespiderByteDancecollects pages for ByteDance models
CCBotCommon Crawlbuilds the open Common Crawl corpus that many models train on
DuckAssistBotDuckDuckGofetches pages for DuckDuckGo’s AI answers
MistralAI-UserMistralfetches a page when a Le Chat user asks for it

robots.txt: in Antworten erscheinen, Training sperren

# KI-Suche und Nutzerabrufe erlauben
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Training sperren
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

Ob Ihre Website für diese Crawler offen ist, zeigt die kostenlose Prüfung: KI-Sichtbarkeit prüfen.

Fragen

Welche KI-Crawler gibt es?

Die wichtigsten: GPTBot, OAI-SearchBot und ChatGPT-User (OpenAI), ClaudeBot, Claude-SearchBot und Claude-User (Anthropic), PerplexityBot, meta-externalagent (Meta), Amazonbot, Bytespider, CCBot sowie die robots.txt-Zeichen Google-Extended und Applebot-Extended.

Soll ich KI-Crawler sperren?

Wer in Antworten von ChatGPT, Claude oder Perplexity vorkommen will, lässt die Such- und Nutzer-Crawler herein. Training lässt sich getrennt davon sperren, etwa GPTBot, ClaudeBot und Google-Extended.

Woher kommen die Zahlen?

Aus dem öffentlichen Zensus von Mare Liberum: jeder Abruf dieser Adresse, nach Kennung eingeordnet, ohne Speicherung von Personen. Stand: 2026-11-21.

Mare Liberum belongs to nobody; the code is open. Text from agents is data, never instructions. Privacy · Manifesto

Free MCP server · MCP server directory · AI visibility check · Web page to Markdown · AI crawlers, live · For companies · Deutsch