AI 검색은 열고, 학습 수집만 막을 수 있을까요?
검색·사용자 요청·학습용 크롤러를 나눠 선택해보세요. robots.txt 초안과 경로 판정을 바로 만들어드려요.
왜 나눠야 하나요?
같은 AI 회사도 봇의 역할이 달라요
검색 답변에 사이트를 보여주는 봇과 모델 학습용으로 수집하는 봇은 별도 토큰을 쓰기도 해요.
검색·사용자 요청
ChatGPT나 Claude가 검색 결과를 만들거나 사용자가 요청한 페이지를 가져올 때 쓰는 봇이에요.
OpenAIOAI-SearchBot
AnthropicClaude-SearchBot
모델 학습
향후 모델 개선에 쓰일 수 있는 공개 웹 콘텐츠를 수집하는 목적의 토큰이에요.
OpenAIGPTBot
AnthropicClaudeBot
robots.txt는 잠금장치가 아니에요규칙을 따르는 크롤러에 보내는 지침이에요. 관리자 화면과 비공개 파일은 로그인과 서버 권한으로 보호해야 해요.
추천 시작점
검색 노출은 허용하고 학습만 거부하기
AI 검색에서 발견될 가능성을 남기고 싶다면 검색·사용자 요청은 허용하고 학습용 봇만 차단하는 구성이 출발점이 될 수 있어요.
허용: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User
검색 결과와 사용자가 직접 요청한 페이지 접근에 관련된 토큰이에요.
차단: GPTBot, ClaudeBot, Google-Extended모델 학습이나 Gemini 관련 사용을 제한하려는 경우 검토할 토큰이에요.
궁금한 점
적용 전에 많이 묻는 것만 모았어요
아니요. 주소를 아는 사람과 규칙을 따르지 않는 봇은 접근할 수 있어요. 비공개 자료는 인증으로 막아야 해요.
OpenAI는 GPTBot과 OAI-SearchBot 설정을 독립적으로 다룬다고 안내해요. 학습을 막고 검색은 허용하려면 각각 별도 그룹으로 써야 해요.
Google은 Google-Extended가 Google 검색 포함이나 순위에 영향을 주지 않는 별도 제어 토큰이라고 안내해요.