라인 — LLM 파이프라인 검증 중 출제자가 정답지·채점기에서 5번 오류 발견

주요 내용

• 카카오톡 주문 메시지를 상품 코드로 변환하는 LLM 파이프라인 구축 전, 정답지·채점기 포함 테스트 29개를 선제 작성
• 테스트 결과 두 모델 모두 치명 오류 0건으로 통과
• 출제자가 직접 작성한 정답지에서 3건, 채점기에서 2건 오류 발생
• 헷갈리도록 설계한 함정에 출제자 본인이 빠진 사례 확인

큐레이터 노트

LLM 파이프라인 검증 시 모델보다 정답지·채점기 등 테스트 설계 자체의 오류가 먼저 문제가 될 수 있음을 보여주는 사례다.