무엇을 도와주나요?
공식 문서에 공개된 봇 토큰을 검색, 사용자 요청과 학습으로 나눠 robots.txt 초안을 만들어요. 기존 파일의 경로 판정도 확인할 수 있어요.
무엇을 보장하지 않나요?
실제 크롤러 준수, 검색 노출과 데이터 삭제를 보장하지 않아요. 서버 보안이나 법률 자문도 아니에요.
입력한 정책은 저장되나요?
현재 브라우저 안에서만 처리하고 서버에 저장하지 않아요.
소개
AI 크롤러를 전부 한 묶음으로 막지 않고 목적별로 선택할 수 있게 만든 무료 도구예요.
공식 문서에 공개된 봇 토큰을 검색, 사용자 요청과 학습으로 나눠 robots.txt 초안을 만들어요. 기존 파일의 경로 판정도 확인할 수 있어요.
실제 크롤러 준수, 검색 노출과 데이터 삭제를 보장하지 않아요. 서버 보안이나 법률 자문도 아니에요.
현재 브라우저 안에서만 처리하고 서버에 저장하지 않아요.