검색용
OAI-SearchBot과 Claude-SearchBot을 포함해요. 각 회사는 이 토큰이 검색 결과나 검색 응답 품질을 위한 것이라고 설명해요.
사용자 요청용
ChatGPT-User와 Claude-User를 포함해요. 사용자가 특정 페이지를 요청했을 때 가져오는 목적이에요.
학습·모델 관련
GPTBot, ClaudeBot과 Google-Extended를 포함해요. Google-Extended는 별도 HTTP user-agent가 아니라 robots.txt에서 제어하는 제품 토큰이에요.
경로 판정
정확한 user-agent 그룹이 있으면 별표 그룹보다 우선해요. URL 경로에 맞는 규칙 중 더 구체적인 규칙을 고르고, 길이가 같으면 Allow를 우선해요. *와 줄 끝의 $도 처리해요.
한계
- robots.txt는 자발적으로 준수하는 크롤러 지침이며 보안 장치가 아니에요.
- 크롤링 차단은 URL의 검색 노출이나 이미 수집된 데이터 삭제를 보장하지 않아요.