뉴스
- 클라우드플레어, 'AI 크롤러' 차단 확대…"콘텐츠 대가 정당해야" AI 기업이 모델 학습과 에이전틱 서비스 구동을 위해 웹 콘텐츠를 수집하려면 크롤러 목적을 더 명확히 구분해야 해서다.클라우드플레어는 "다수 웹사이트 소유자는 콘텐츠가 검색에는 노출되기를 이어 "검색과 AI 학습을 크롤러 하나로 처리하는 구조가 문제"라며 "이 경우 사이트 운영자는 검색 노출을 유지하면서 AI 활용만 별도로 차단하기 어렵다"고 덧붙였다.
- [안광섭 AI 진테제] 영화 '오디세이'를 통해 본 AI 오픈웹에도 제우스의 율법이 있다. 1994년에 만들어진 robots.txt라는 작은 텍스트 파일이다. robots.txt는 웹사이트의 검색엔진 크롤러(로봇)가 어떤 페이지를 수집해도 모두가 퍼가기만 하고 아무도 쓰지 않는 웹, 합성 데이터가 합성 데이터를 학습하는 웹은 항로가 끊긴 바다다.영화에서 오디세우스는 페넬로페에게 말한다.