네이버, vLLM 플러그인으로 검색 AI 모델 서빙 성능 최대 16.5배 향상

주요 내용

• 0.6B 재순위화 모델: Hugging Face 기반 63.85 QPS → vLLM score 태스크 전환 후 397.21 QPS (약 6.2배 향상)
• ABSA(속성 기반 감성 분석) 모델: 단건 p50 지연 시간 101.22ms → 16.43ms (83.8% 감소)
• CLIP 기반 이미지 랭킹 모델: 5단계 최적화 적용 후 3.76 img/s → 62.2 img/s (누적 16.5배 향상)
• 기존 구조의 문제: 모델마다 별도 추론 경로 운영, 전후처리 로직이 여러 서비스에 분산, 네트워크 구간 비용·JSON 직렬화 비용·배치 구성 미흡이 지연 시간 저하의 주요 원인
• 개선 방향: 모델을 vLLM 사용자 정의 모델로 구현해 풀링 런타임에 올리고, 전처리·후처리를 IO Processor 내부로 통합
• 결과물을 플러그인 패키지로 만들어 pip install 한 번으로 설치 가능하도록 배포

큐레이터 노트

모델 자체 최적화 없이 서빙 경로 구조 개선만으로 수 배~수십 배의 성능 향상이 가능함을 실증한 사례로, 검색·추천처럼 짧은 지연 시간 예산이 요구되는 실서비스 환경에서 vLLM 기반 서빙 구조 전환의 실질적 효과를 보여준다.