소름 끼치는 AI 크롤러 — git.kernel.org에서 정상 접근보다 더 많은 CPU 소비

주요 내용

• AI 학습용 크롤러가 git.kernel.org에서 Git 커밋을 하나씩 HTML로 렌더링하며 크롤링
• 해당 크롤러의 CPU 자원 소비가 Git 복제를 포함한 모든 정상 접근보다 많음
• 저장소를 단 한 번도 복제하지 않고 922개 포크와 148만 커밋을 개별 접근 방식으로 수집
• AI 생성물이 섞이지 않은 Linux 개발 이력을 목적으로 하는 것으로 보임

큐레이터 노트

AI 학습 데이터 수집을 위한 비효율적인 크롤링 방식이 오픈소스 인프라에 실질적인 부하를 유발하고 있으며, 이는 정상적인 개발자 접근보다 더 많은 서버 자원을 소모하는 심각한 문제로 지적된다.