네이버, vLLM 모델 변환·배포를 AI-native로 자동화한 과정 공개

주요 내용

• 모델 변환이 어려운 이유: 모델 내부 구조를 아는 모델 개발자와 vLLM 인프라를 아는 MLOps 엔지니어 사이의 지식 공백이 존재하며, 어느 한쪽 혼자 수행하기 어려운 작업
• vLLM은 약 3년간 v0.1에서 v0.20까지 약 2주 간격으로 새 버전이 배포되며 인터페이스가 지속적으로 변화해 사람이 매번 추적·적용하기 어려움
• 변환 절차를 'convert-vllm'이라는 Claude Code Skill로 구현해 자동화 추진
• 실제 모델 변환 과정에서 두 번의 큰 시행착오를 거치며 스킬 자체를 지속 개선
• 변환 시 발견한 주의사항 45개를 재사용 가능한 지식으로 축적, 필요한 지식만 선택적으로 호출하는 구조로 개선해 호출당 토큰 수를 6,900개에서 170개로 97% 절감
• GitHub Issue 하나를 작성하면 모델 변환부터 배포까지 이어지는 E2E 파이프라인 구현으로 저장소 경계를 넘어 협업 확장

큐레이터 노트

모델 개발자와 MLOps 엔지니어 간 지식 공백 문제를 AI-native 자동화로 해소한 사례로, 반복적인 변환 작업의 효율을 높이고 축적된 지식을 재사용 가능한 구조로 관리하는 방법론을 제시했다는 점에서 의의가 있다.