국내 브랜드
AI 크롤러 대응 실태
AI에게 문을 열어둘지 닫아둘지,
대부분의 브랜드는 아직 정하지 않았다.
무엇을 재었나
2026년 8월 6일, 국내 주요 브랜드 50곳의 공식 도메인에서 robots.txt와 llms.txt를 직접 조회해 원문을 판독했습니다. robots.txt는 어떤 자동 수집 프로그램이 사이트에 들어올 수 있는지를 정하는 파일입니다. 생성형 AI도 이 파일을 읽고 들어옵니다. 즉 이 파일 한 장이 브랜드가 AI 답변에 등장할 수 있는지를 1차로 결정합니다.
판독 대상은 세 가지입니다. 첫째, GPTBot·ClaudeBot·PerplexityBot·Google-Extended·Applebot-Extended·OAI-SearchBot 같은 AI 크롤러가 이름으로 등장하는가. 둘째, Sitemap 선언이 있는가. 셋째, llms.txt가 있는가. 해석의 여지가 없는 사실만 골랐습니다.
결과 — 판독 가능한 32곳 중 8곳
50곳 중 원문을 끝까지 읽을 수 있었던 곳은 32곳이었습니다. 이 가운데 robots.txt에 AI 크롤러를 이름으로 명시한 브랜드는 8곳(25%), 한 줄도 언급하지 않은 브랜드는 24곳(75%)이었습니다. 네 곳 중 세 곳은 AI에 대해 아무것도 정하지 않았다는 뜻입니다.
나머지 18곳의 사정은 이렇습니다. 6곳은 robots.txt 파일 자체가 없었고(404 응답), 5곳은 외부 수집을 폭넓게 차단해 원문 판독이 불가능했으며, 7곳은 SSL 설정 오류·연결 시간 초과·응답 거부·프로토콜 리다이렉트·비정상 응답 같은 기술적 문제로 접근이 끊겼습니다. 마지막 7곳은 그 자체로 시사점입니다. AI 크롤러 이전에 일반적인 수집 요청조차 안정적으로 처리되지 않는 상태이기 때문입니다.
Sitemap을 선언한 브랜드는 32곳 중 23곳(72%)이었고, llms.txt를 운영하는 브랜드는 한 곳도 없었습니다. 한 유통 브랜드만이 Content-Signal이라는 최신 표기법으로 AI 학습·검색 허용 여부를 따로 밝히고 있었습니다. 전체에서 단 한 곳입니다.
발견 하나 — 대응은 '정도'가 아니라 '유무'로 갈린다
예상과 달리 중간 지대가 거의 없었습니다. AI 크롤러를 다루는 브랜드는 대체로 매우 정교하게 다뤘고, 다루지 않는 브랜드는 한 줄도 쓰지 않았습니다.
정교한 쪽의 예를 들면, 한 패션 플랫폼은 크롤러를 세 개 그룹으로 나눠 관리하고 있었습니다. 답변에 인용하는 검색용 봇(OAI-SearchBot·Claude-SearchBot·Perplexity-User)은 전면 허용하고, 학습용 봇(GPTBot·ClaudeBot·CCBot)은 마이페이지·로그인 등 일부 경로를 제외하고 허용하며, 이름이 없는 나머지는 전부 차단합니다. 한 식품기업은 주요 AI 크롤러를 허용하면서 CCBot과 Bytespider만 골라 차단했습니다. 이 정도 구분은 우연히 나오지 않습니다. 담당자가 AI 크롤러 문서를 읽고 의사결정을 한 결과입니다.
발견 둘 — '적지 않음'은 중립이 아니다
AI 크롤러를 적지 않으면 기본 규칙이 대신 적용됩니다. User-agent: *가 Allow면 AI는 자유롭게 읽어가고, Disallow: /면 이름 없는 AI 크롤러는 통째로 막힙니다. 어느 쪽이든 브랜드가 선택한 결과가 아니라, 선택하지 않아서 정해진 결과입니다.
이번 표본에서 AI 크롤러를 언급하지 않은 10곳은 모두 기본 규칙이 개방형이어서, 결과적으로는 AI가 읽어갈 수 있는 상태였습니다. 다만 이는 운이 좋았던 것에 가깝습니다. 보안 강화를 이유로 Disallow: / 한 줄만 추가해도, 그 브랜드는 다음 날부터 AI 답변에서 조용히 사라집니다. 아무도 그 사실을 통보받지 못합니다.
발견 셋 — 업종보다 담당자가 변수다
업종별 편차는 있었지만 뚜렷한 규칙성은 발견되지 않았습니다. 패션은 2곳 모두 AI 정책을 갖췄지만, IT·통신은 8곳 중 1곳, 뷰티는 3곳 모두, 제약도 3곳 모두 한 줄도 쓰지 않았습니다. 가장 기술적인 업종이 가장 뒤처져 있었다는 뜻입니다. 게임·핀테크·포털을 포함한 IT 기업 대부분이 여기 해당합니다.
같은 업종, 비슷한 규모의 두 회사가 정반대인 경우도 있었습니다. 이는 AI 대응이 산업 특성이나 예산의 문제가 아니라, 누군가 이 사안을 자기 일로 인식했는가의 문제임을 시사합니다. robots.txt 수정에는 비용이 들지 않습니다. 필요한 것은 결정입니다.
조사의 한계
정직하게 밝힙니다. 첫째, 표본 50곳은 국내 주요 브랜드를 업종별로 고른 것이며 통계적 대표성을 주장하지 않습니다. 둘째, 18곳은 판독에 실패했으므로 25%라는 수치는 판독 가능한 32곳 기준입니다. 셋째, robots.txt는 AI 노출의 필요조건이지 충분조건이 아닙니다. 문을 열어둔다고 AI가 인용하지는 않습니다. 넷째, 구조화 데이터(JSON-LD) 실태는 이번 조사에 포함하지 않았습니다. 자동 판독의 정확도를 담보하기 어려웠기 때문입니다.
같은 방법으로 재측정하면 같은 결과가 나옵니다. 판단이 아니라 파일을 읽었기 때문입니다.
- GEO (Generative Engine Optimization) — 생성형 AI가 브랜드를 답변에 인용하도록 콘텐츠를 구조화하는 최적화 방법론.
- PROUD Score — 프라우드컴이 개발한 브랜드 AI 노출 진단 프레임워크. 다섯 축 각 5점, 25점 만점으로 측정한다.
- 인텔리전스 PR (Intelligence PR) — AI의 실시간 분석과 HI(휴먼 인텔리전스)의 전략 판단을 결합한 PR 방식.
AI 시대의 첫 관문은 홍보실이 아니라 텍스트 파일 한 장이다. 그 파일을 아직 아무도 열어보지 않았다.
자주 묻는 질문
AI 크롤러란 무엇인가요?
생성형 AI가 웹을 읽기 위해 보내는 자동 수집 프로그램입니다. OpenAI의 GPTBot·OAI-SearchBot, Anthropic의 ClaudeBot·Claude-SearchBot, Perplexity의 PerplexityBot, 구글의 Google-Extended, 애플의 Applebot-Extended 등이 대표적입니다. 학습용과 검색·인용용이 서로 다른 이름을 쓰기 때문에, 둘을 구분해 정책을 세울 수 있습니다.
robots.txt에 AI 크롤러를 적지 않으면 어떻게 되나요?
기본값이 적용됩니다. User-agent: * 그룹이 Allow이면 AI 크롤러도 수집할 수 있고, Disallow: / 이면 이름이 적히지 않은 AI 크롤러는 차단됩니다. 즉 아무것도 적지 않았다는 것은 허용도 차단도 의도한 적이 없다는 뜻이며, 브랜드가 AI 노출을 통제하지 않고 있다는 의미입니다.
llms.txt는 무엇인가요?
사이트가 무엇을 하는 곳인지, 어떤 페이지가 중요한지를 AI에게 알려주기 위해 루트 경로에 두는 텍스트 파일입니다. robots.txt가 '들어와도 되는가'를 다룬다면 llms.txt는 '무엇을 읽어야 하는가'를 다룹니다. 이번 조사에서 판독 가능한 32곳 중 llms.txt를 운영하는 곳은 한 곳도 없었습니다.
AI 크롤러를 허용하는 것이 항상 유리한가요?
아닙니다. 브랜드가 AI 답변에 인용되기를 원한다면 검색·인용용 크롤러는 허용하는 편이 유리하지만, 콘텐츠가 학습 데이터로 쓰이는 것을 원치 않는다면 학습용 크롤러는 별도로 차단할 수 있습니다. 이번 조사에서도 두 계층을 분리해 관리하는 브랜드가 확인됐습니다. 중요한 것은 허용이냐 차단이냐가 아니라, 결정을 내렸는가입니다.
인용 안내
본 조사 결과는 출처를 밝히면 자유롭게 인용할 수 있습니다. 표기는 「프라우드컴, 국내 브랜드 AI 크롤러 대응 실태 조사(2026.08)」로 해주십시오. 원본 주소는 www.proudcomm.com/ai-crawler-2026 입니다. 언론·연구 목적의 원자료 요청은 JUN@proudcomm.com으로 문의해 주시면 회신드립니다.