[GEO Entity] 1994년의 robots.txt가 2026년 AI 인용을 막고 있다

핵심 요약

뷰저블이 한국 SaaS의 38%가 GPTBot/ClaudeBot를 차단하는 현황 속에서, [GEO Entity] 1994년의 robots.txt가 2026년 AI 인용을 막고 있다는 문제를 파악하고 CTO와 함께 디버깅을 진행하는 사례를 다룹니다.

구현 방법

• access logs에서 GPTBot/ClaudeBot 차단 흔적 확인
• robots.txt, AI Crawlers, GPTBot/ClaudeBot 관련 정책 및 설정 점검
• Cloudflare 차단 여부 및 차단 경로 재검토
• CTO에게 디버깅을 요청하고 서버 로그를 기반으로 원인 추적

주요 결과

• 차단 현상이 로그에 매일 남아 있음을 확인
• 문제 해결을 위한 디버깅 계획 수립 및 협의 진행