블로그 글 AI 학습 거부하는 법, robots.txt 새 신호 정리
10월 30일, 구글과 OpenAI, 마이크로소프트, Anthropic이 robots.txt에 두 줄만 넣으면 AI 학습을 거부한다는 뜻으로 받아들이겠다고 함께 밝혔습니다. 회사마다 봇 이름을 따로 막던 방식에서, 하나의 이름으로 한 번에 의사를 밝히는 방식이 생긴 겁니다.
다만 아직 대부분 2027년부터 지키겠다는 약속 단계이고 이미 학습에 쓰인 글을 지워 주지는 않습니다. 쓰는 법과 회사별 시기, 그리고 이 블로그의 robots.txt로 직접 확인해 본 결과를 정리했습니다.
무엇이 발표됐나요?
robots.txt에서 __usage_ai-training이라는 이름으로 "AI 학습에는 쓰지 말라"고 표시하는 공용 신호입니다. Anthropic의 Kevin Kelley가 10월 30일 IETF(인터넷 표준을 논의하는 기구)에 낸 초안에 정리돼 있고 같은 날 네 회사가 이 신호를 지키겠다고 밝혔습니다.
지금까지는 학습을 막으려면 OpenAI의 GPTBot, Anthropic의 ClaudeBot, 구글의 Google-Extended처럼 회사별 이름을 하나하나 적어야 했습니다. 새 신호는 실제 봇 이름이 아니라 "용도" 이름이라서, 지키기로 한 회사라면 어느 봇이 오든 같은 뜻으로 읽습니다.
초안은 새 명령어나 문법을 만들지 않는다고 밝힙니다. 원래 있던 User-agent, Disallow, Allow를 그대로 씁니다. 단, IETF가 승인한 표준이 아니라 개인이 제출한 초안이라는 점은 기억해 둘 필요가 있습니다.
robots.txt에 어떻게 쓰나요?
기존 내용 아래에 이름 한 줄과 막을 범위 한 줄을 더하면 됩니다. 사이트 전체를 학습에서 빼려면 이렇게 씁니다.
User-agent: __usage_ai-training
Disallow: /일부만 학습을 허용하고 싶다면 Allow로 예외를 둡니다. 초안의 예시는 보도자료 폴더만 열어 두는 형태입니다.
User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
제 블로그에 넣어 보니 무엇이 달라지나요?
검색 봇은 그대로 허용되고 AI 학습 신호만 막혔습니다. 이 블로그(Blogger)의 지금 robots.txt를 그대로 가져와 Python 표준 라이브러리의 robots.txt 해석기로 확인했습니다.
# 지금 blog.devdadlab.com/robots.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /share-widget
Allow: /
Sitemap: https://blog.devdadlab.com/sitemap.xml이 상태에서 글 하나의 주소를 넣고 봇 이름별로 가져가도 되는지 물어본 결과입니다.
| 봇 이름 | 지금 | 새 신호 두 줄 추가 후 |
|---|---|---|
Googlebot (검색) | 허용 | 허용 |
__usage_ai-training | 허용 | 거부 |
GPTBot | 허용 | 허용 |
Google-Extended | 허용 | 허용 |
두 가지를 알 수 있었습니다. 새 신호는 검색 노출에 쓰이는 봇에 영향을 주지 않습니다. 그리고 GPTBot이나 Google-Extended 같은 기존 이름에도 자동으로 번지지 않습니다. robots.txt 문법으로는 별개의 이름이라서, 그 이름을 어떻게 해석할지는 각 회사가 약속한 대로 따로 처리합니다. 보도에 따르면 구글은 이 신호만 있고 Google-Extended가 없으면 Google-Extended를 막은 것으로 보겠다고 했고 OpenAI는 기존 GPTBot 규칙도 그대로 지킨다고 밝혔습니다.
Blogger에서는 설정의 「크롤러 및 색인 생성」에 있는 「맞춤 robots.txt 사용 설정」을 켜고 내용을 직접 넣습니다. 켜는 순간 Blogger가 자동으로 만들던 내용 대신 입력한 내용이 쓰이니, 위의 기본 내용을 먼저 복사해 붙인 뒤 그 아래에 두 줄을 더해야 사이트맵과 검색 설정이 빠지지 않습니다. 이 블로그는 아직 기본 robots.txt 그대로입니다.
회사마다 언제부터 지키나요?
지금 바로 적용되는 곳은 확인되지 않았고 대부분 2027년을 목표로 합니다. 아래는 10월 30일 발표와 관련 보도를 정리한 것입니다.
| 회사 | 시행 시기 | 함께 알아 둘 점 |
|---|---|---|
| Microsoft | 2027년 2월 1일 (보도) | 학습과 AI 답변 근거(grounding) 선호를 따로 받습니다. 근거 쪽은 페이지 단위로만 정할 수 있다고 합니다. |
| 2027년 목표 (보도) | 기존 Google-Extended는 유지합니다. 검색 노출에는 영향이 없다고 보도됐습니다. | |
| OpenAI | 앞으로 몇 달 안 | 자발적인 신호라고 설명하고 기존 GPTBot 제어도 그대로 둔다고 밝혔습니다. |
| Anthropic | 공식 일정 확인 안 됨 | 초안을 쓴 회사입니다. 구현을 시작했다는 발언이 IETF 논의에서 나왔다고 보도됐습니다. |
그래서 당장 확실하게 막고 싶다면, 새 신호와 함께 GPTBot, ClaudeBot, Google-Extended 같은 기존 이름도 적어 두는 편이 안전합니다. 새 신호를 지키기 전까지는 기존 이름이 실제로 작동하는 수단이기 때문입니다.
넣기 전에 생각해 볼 것은 무엇인가요?
강제력이 없고 앞으로 모을 글에만 적용되며 이 블로그의 글이 AI 답변에 인용되는 것과는 별개라는 점입니다.
- 법이 아니라 회사들의 약속입니다. 지키지 않는 수집기에는 효과가 없습니다.
- 이미 학습 데이터에 들어간 글을 지워 주지 않습니다. 오늘 넣으면 앞으로 모을 때부터 반영됩니다.
- 학습 거부와 AI 답변에서의 인용은 따로 다룹니다. 마이크로소프트처럼 둘을 나눈 곳에서는 학습은 거부하면서 답변의 출처로는 계속 소개될 수 있습니다.
- Blogger에서 맞춤 robots.txt를 켤 때 기본 내용을 빠뜨리면 사이트맵 안내나 검색 결과 페이지 차단 같은 기존 설정이 함께 사라집니다.
개인 블로그라면 글이 검색과 AI 답변에서 얼마나 소개되기를 바라는지, 내 글이 모델 학습에 쓰이는 것을 얼마나 꺼리는지를 먼저 정해 두는 것이 순서입니다. 그다음에 두 줄을 넣을지 정하면 됩니다.
요약
- robots.txt에
User-agent: __usage_ai-training과Disallow: /를 넣으면 AI 학습 거부 의사를 한 번에 밝힐 수 있습니다. - 구글, OpenAI, 마이크로소프트, Anthropic이 지키겠다고 했지만 시행은 대부분 2027년 목표이고 IETF 개인 초안 단계입니다.
- 이 블로그의 robots.txt로 확인해 보니 검색 봇은 그대로 허용되고 학습 신호만 막혔습니다.
- 당장 확실히 막으려면
GPTBot,ClaudeBot,Google-Extended같은 기존 이름도 함께 적습니다.
댓글
댓글 쓰기