Google TurboQuant — KV 캐시 3비트 압축으로 LLM 메모리 6배 절감, 속도 8배 향상

TurboQuant는 Google Research가 2026년 3월 25일 발표한 온라인 벡터 양자화(online vector quantization) 알고리즘이다. LLM 추론 과정에서 가장 큰 메모리 병목인 KV 캐시(Key-Value Cache)를 3~4비트 수준으로 압축한다.

핵심은 세 가지다:

• 재학습/파인튜닝 불필요 — 기존 모델에 바로 적용 가능
• 정확도 손실 제로 — QA, 코드 생성, 요약 작업에서 측정 가능한 정확도 저하 없음
• NVIDIA H100 기준 8배 속도 향상 — 어텐션 로짓 계산에서 32비트 대비

인터넷에서는 이 기술을 HBO 드라마 실리콘밸리의 'Pied Piper' 압축 알고리즘에 비유하고 있다. Google Research 공식 블로그에서 전체 기술 설명을 확인할 수 있다.

Transformer 모델이 텍스트를 생성할 때, 이전 토큰들의 Key와 Value 벡터를 저장해두는 공간이 KV 캐시다. 컨텍스트 길이가 길어질수록 이 캐시가 기하급수적으로 커진다.

100만 토큰 컨텍스트를 처리하는 모델의 경우, KV 캐시만으로 수십 GB의 GPU 메모리를 소비한다. 이는 동시 요청 처리 수(batch size)를 직접적으로 제한하고, 결과적으로 서빙 비용을 높인다.

TurboQuant는 두 가지 핵심 기법으로 구성된다.

1. PolarQuant — 극좌표 변환 양자화

기존 양자화는 벡터를 그대로 낮은 비트로 변환한다. PolarQuant는 다른 접근을 취한다. 데이터 벡터를 극좌표(polar coordinates)로 변환하여 반지름(radius)과 각도(angles)로 분리한다. 이렇게 하면 양자화 상수(quantization constants)를 별도 저장할 필요가 없어져 오버헤드가 제로가 된다.

2. QJL — 학습 기반 최적화

QJL(Quantized Johnson-Lindenstrauss)은 양자화된 공간에서 거리 보존을 최적화하는 기법이다. 일반적인 영역은 극도로 낮은 비트로, 이상치(outlier)는 높은 정밀도로 표현하는 적응형 비트 할당 전략을 사용한다.

이 두 기법의 조합이 TurboQuant의 핵심이다. 정보 밀도를 재분배하되, 결과적으로 전체 정확도에는 영향을 주지 않는다.

Google Research 팀의 실험 결과를 정리한다.

주목할 점은 4비트에서 8배 속도 향상이 나온다는 것이다. 3비트로 더 압축하면 메모리는 더 줄지만, 속도 향상은 6배로 약간 낮아진다. 이는 3비트 디코딩의 추가 연산 비용 때문이다.

MarkTechPost의 기술 분석에 따르면, 실제 프로덕션 환경에서 동일 GPU로 처리할 수 있는 동시 요청 수가 4~6배 증가할 수 있다.

TurboQuant가 실무에 미치는 영향을 세 가지로 정리한다.

1. 추론 비용 50% 이상 절감 가능

VentureBeat 보도에 따르면, GPU 메모리 사용량 감소는 같은 하드웨어에서 더 많은 요청을 처리할 수 있다는 뜻이다. H100 8장 클러스터 기준, 기존 대비 50% 이상의 추론 비용 절감이 가능하다.

2. 긴 컨텍스트 서비스의 실용화

100만 토큰 컨텍스트를 서빙하려면 KV 캐시만으로도 수십 GB가 필요했다. TurboQuant를 적용하면 이를 수 GB 수준으로 줄일 수 있어, 긴 문서 분석이나 대화 기록 유지 서비스가 현실적인 비용으로 가능해진다.

3. 온디바이스 LLM에도 적용 가능

메모리가 제한된 모바일·엣지 디바이스에서 로컬 LLM을 구동할 때, KV 캐시 압축은 처리 가능한 컨텍스트 길이를 직접적으로 늘린다. TurboQuant가 재학습 없이 적용 가능하다는 점은 온디바이스 배포에서 큰 장점이다.

KV 캐시 양자화는 TurboQuant가 처음이 아니다. 기존 기법들과의 차이를 정리한다.

TurboQuant의 결정적 차별점은 재학습 없이 3비트까지 떨어뜨리면서도 정확도 손실이 없다는 것이다. 기존 GPTQ나 AWQ도 4비트에서 실용적이지만, 캘리브레이션 데이터가 필요하고 약간의 정확도 저하가 발생한다. TurboQuant는 이 두 가지를 동시에 해결했다.

Google은 이 연구를 ICLR 2026 학회에서 발표할 예정이며, PolarQuant와 QJL 기법에 대한 별도 논문도 함께 공개한다.