혹시 구축 크롤러(으)로 찾으셨나요?

뉴스

• 클라우드플레어, 'AI 크롤러' 차단 확대…"콘텐츠 대가 정당해야" 혼합 용도 크롤러는 구글 검색 같은 전통적 검색과 AI 에이전트 실행·AI 모델 학습을 함께 수행하는 웹 크롤러다.이번 정책이 적용되면 사이트 소유자가 설정을 직접 바꾸지 않는 한 이어 "검색과 AI 학습을 크롤러 하나로 처리하는 구조가 문제"라며 "이 경우 사이트 운영자는 검색 노출을 유지하면서 AI 활용만 별도로 차단하기 어렵다"고 덧붙였다. zdnet.co.kr · 2026.07.02