정책 만들기

소개

AI 크롤러 robots.txt 빌더를 만든 이유

AI 크롤러를 전부 한 묶음으로 막지 않고 목적별로 선택할 수 있게 만든 무료 도구예요.

무엇을 도와주나요?

공식 문서에 공개된 봇 토큰을 검색, 사용자 요청과 학습으로 나눠 robots.txt 초안을 만들어요. 기존 파일의 경로 판정도 확인할 수 있어요.

무엇을 보장하지 않나요?

실제 크롤러 준수, 검색 노출과 데이터 삭제를 보장하지 않아요. 서버 보안이나 법률 자문도 아니에요.

입력한 정책은 저장되나요?

현재 브라우저 안에서만 처리하고 서버에 저장하지 않아요.