TurboQuant — 3비트 KV 캐시 양자화로 LLM 추론 메모리 6배 절감

<!-- Generated via Academic Cron: cs --> ## 핵심 원리 대규모 언어 모델(LLM)의 추론 과정에서 가장 큰 병목은 **Key-Value(KV) 캐시의 메모리 소비**다. Transformer 아키텍처에서 어텐션 메커니즘은 이전 토큰들의 Key와 Value 벡터를 저장해야 하는데, 시퀀스 길이가 길어질수록 이 캐시가 GPU 메모리를 지배한다. Llama-3.1-8B 기준으로 128K 토큰 시퀀스를 처리하면 KV 캐시만 약 16GB를 차지하며, 이는 모델 파라미터 자체보다 클 수 있다. 기존 벡터 양자화(Vector Quantization) 방식은 이 문제를 해결하려 했으나, 양자화 상수(quantization constants)를 원래 정밀도로 저장해야 하는 구조적 한계가 있었다. 벡터당 1~2비트의 추가 오버헤드가 발생하여, 극단적 압축(3~4비트)에서는 오버헤드가 실질 데이터 크기에 육박하는 모순이 생긴다. Google Research가 발표한 **TurboQuant**는 이 문제를 2단계 파이프라인으로 해결한다. ### Stage 1: PolarQuant — 좌표 변환을 통한 정규화 제거 핵심 아이디어는 데이터 벡터를 **직교 좌표계에서 극좌표계로 변환**하는 것이다. 예를 들어 "동쪽으로 3블록, 북쪽으로 4블록"이라는 벡터를 "37도 방향으로 5블록"으로 표현하면, 벡터의 크기와 방향이 자연스럽게 분리된다. 구체적으로: 1. 데이터 벡터에 **랜덤 직교 회전(random orthogonal rotation)**을 적용하여 기하학적 구조를 단순화 2. 회전된 벡터를 극좌표 $(r, \theta_1, \theta_2, ...)$로 변환 3. 각도 성분을 **고정 그리드(fixed grid)**에 매핑하여 양자화 이 과정에서 기존 양자화의 핵심 비용이었던 **정규화(normalization) 단계가 완전히 제거**된다. 극좌표 변환 자체가 크기 정보를 반경 $r$ 하나로 흡수하기 때문이다. ### Stage 2: QJL — 1비트 오류 보정 PolarQuant만으로는 양자화 오차가 누적된다. TurboQuant는 이 잔차 오류를 **Quantized Johnson-Lindenstrauss (QJL)** 알고리즘으로 보정한다. Johnson-Lindenstrauss 보조정리의 핵심: $$\|Ax\|_2 \approx \|x\|_2 \quad \text{(A는 랜덤 프로젝션 행렬)}$$ QJL은 이 프로젝션 결과의 **부호 비트(sign bit)**만 저장한다. +1 또는 -1만 기록하므로 **추가 메모리 오버헤드가 0**이다. 그런데도 특수 설계된 추정기(estimator)를 통해 어텐션 스코어를 정확하게 복원할 수 있다. 이것은 랜덤 프로젝션의 방향 보존 성질을 활용한 것이다. 비유하자면: 3D 물체의 그림자(2D 프로젝션)만으로 원래 물체의 크기 관계를 추정하는 것과 유사하다. 그림자는 정보를 극도로 압축하지만, 여러 각도의 그림자를 조합하면 원래 관계를 복원할 수 있다. ```mermaid flowchart TD A[원본 KV 벡터] --> B[랜덤 직교 회전] B --> C[극좌표 변환] C --> D[고정 그리드 양자화] D --> E[양자화된 벡터] A --> F[잔차 오류 계산] F --> G[QJL 1비트 프로젝션] G --> H[부호 비트 저장] E --> I[어텐션 스코어 복원] H --> I ``` ## 논문 심층 리뷰 ### TurboQuant: Redefining AI Efficiency with Extreme Compression — Zandieh, Mirrokni et al. (2025, ICLR 2026) **What they actually did**: PolarQuant(극좌표 양자화)와 QJL(1비트 오류 보정)을 결합한 2단계 KV 캐시 압축 파이프라인을 설계. 학습이나 파인튜닝 없이 3비트 양자화를 달성. **Concrete results**: | 측정항목 | 결과 | 기존 대비 | |---|---|---| | KV 메모리 절감 | 6배 감소 | 기존 VQ 대비 | | 양자화 정밀도 | 3비트 (학습 불필요) | INT8(8비트) 대비 2.67배 추가 압축 | | H100 GPU 속도 | 최대 8배 향상 (4비트) | FP32 대비 | | LongBench 정확도 | 기준선 대비 무손실 | FP16 대비 | **Why it matters**: 기존 양자화는 "정밀도 vs 속도" 트레이드오프가 불가피했다. TurboQuant는 양자화 상수의 오버헤드를 0으로 만듦으로써 이 트레이드오프 자체를 제거했다. 이는 128K+ 토큰 컨텍스트 윈도우의 실용적 배포를 가능하게 하는 핵심 기술이다. ### QJL: 1-bit Quantized JL Transform for KV Cache Quantization — Zandieh, Han et al. (2024, AAAI 2024) **What they actually did**: Johnson-Lindenstrauss 변환의 양자화 버전을 설계. 랜덤 프로젝션 후 부호 비트만 저장하는 1비트 압축을 Key 캐시에 적용. 핵심 수학: $\hat{\langle q, k \rangle} = \frac{\pi}{2m} \sum_{i=1}^{m} \text{sign}(Aq_i) \cdot \text{sign}(Ak_i)$ 로 어텐션 스코어 추정. **Concrete results**: | 측정항목 | 결과 | 기존 대비 | |---|---|---| | Key 캐시 메모리 | 추가 오버헤드 0 | 기존 VQ의 1-2비트 오버헤드 제거 | | Needle In A Haystack | 통과 | 32K 토큰까지 무손실 | | GloVe 벡터 검색 1@k | PQ, RabbiQ 대비 우수 | 모든 압축률 구간 | **Why it matters**: 오류 보정에 추가 메모리가 들지 않는다는 것은 양자화 시스템 설계의 근본적 제약을 깨뜨린 것이다. 이 기법은 KV 캐시뿐 아