AI 봇 접근성이란?

AI 봇 접근성은 GPTBot·ClaudeBot·Google-Extended·PerplexityBot 등 주요 AI 크롤러가 사이트의 콘텐츠를 읽고 인용 후보로 가져갈 수 있는 상태인지를 가리킵니다. 차단된 도메인은 해당 LLM의 학습·실시간 인용 후보에서 제외되므로, AI 봇 접근성은 GEO·AEO 측정에서 가장 우선순위가 높은 신호입니다.

robots.txt(허용/차단 정책)와 llms.txt(콘텐츠 안내 표준)이 함께 작용하며, 이 두 파일의 상태를 점검하는 것이 AI 봇 접근성 진단의 핵심입니다.

주요 AI 봇 8종

봇 이름	운영 주체	용도
GPTBot	OpenAI	ChatGPT 학습 데이터 수집
ChatGPT-User	OpenAI	ChatGPT Search/Plugin이 실시간 호출하는 봇
ClaudeBot	Anthropic	Claude 학습·인용 데이터 수집
Google-Extended	Google	Gemini·AI Overviews 학습 옵트아웃 토큰
PerplexityBot	Perplexity	Perplexity 답변 인용
Bytespider	ByteDance	Doubao 등 ByteDance 계열 LLM 학습
CCBot	Common Crawl	다수 LLM이 활용하는 공용 크롤 데이터
Applebot-Extended	Apple	Apple Intelligence 학습 옵트아웃 토큰

각 봇은 robots.txt에서 User-agent: <봇이름> 단위로 별도 정책을 지정할 수 있습니다.

자주 발생하는 실수

User-agent: *로 전 봇 차단. 의도와 다르게 모든 AI 봇까지 차단됩니다.
CDN 캐시·방화벽 레벨 차단. robots.txt는 허용이지만 Cloudflare·AWS WAF에서 봇이 차단되는 사례.
Google-Extended를 허용했다고 안심. Google-Extended는 Gemini 학습용 토큰일 뿐, Googlebot과 별개입니다.
Disallow: /만 점검하고 부분 경로 차단을 놓침. Disallow: /blog/ 같은 부분 차단도 가시성에 영향을 줍니다.

GEO 분석 도구의 점검 항목

robots.txt의 존재 여부와 응답 코드(200/404)
8~12종 주요 AI 봇별 허용/차단 상태
llms.txt 파일의 존재와 형식 적합성
CDN/방화벽에서의 실제 봇 응답(테스트 호출)
차단 시 의도된 차단인지(약관·개인정보 보호 정책 일치 여부)

AI 봇 접근성 (AI Bot Accessibility)

AI 봇 접근성이란?

주요 AI 봇 8종

자주 발생하는 실수

GEO 분석 도구의 점검 항목

관련 용어

관련 용어