Google 提出 TurboQuant 壓縮 LLM 記憶體需求

大型語言模型生成文字時，會以 KV 快取保存先前 token 的鍵值向量；上下文愈長，記憶體占用與推理成本愈高。Google Research 因此提出 TurboQuant，以 PolarQuant 量化向量，再用 1 位元 QJL 修正殘差，鎖定 LLM 推理與大規模向量搜尋的容量瓶頸。

Google Research 於 2026 年 3 月 24 日公開成果；論文最早於 2025 年 4 月 28 日上傳 arXiv，並列為 ICLR 2026 論文。以 Llama-3.1-8B-Instruct 的 LongBench 測試，KV 快取至少縮小 6 倍且維持下游表現；在 NVIDIA H100 上，4 位元注意力分數計算最高加速 8 倍。