大型語言模型產業重心由訓練轉向推論後，記憶體瓶頸也從單純頻寬擴大為容量問題。Decode 階段須逐 token 反覆讀寫 KV 快取，其規模隨對話輪數、上下文與批次增加；昂貴且容量有限的 HBM 難以獨撐。HBF、SSD POD 與晶片內 SRAM 因而分別承接暖資料、海量快取與極低延遲運算。
TrendForce 7月22日指出，SanDisk與SK hynix自2025年8月合作開發HBF，單堆疊目標512GB、頻寬1.6TB/s，容量逾16層HBM4的48GB十倍；2026年2月25日於OCP啟動標準化，未揭露投資金額。NVIDIA同年提出SSD POD，Groq與Cerebras以SRAM加速解碼。
全部報導
1 篇原始報導馬克翻舊帳
這個事件的歷史脈絡跨越 AI 記憶體牆：HBF 技術與儲存階層重構剖析
AI推論的瓶頸正從算力轉向記憶體容量：MoE雖只啟用部分專家運算，全部模型權重仍須常駐顯存；長文本的KV Cache又會隨對話長度線性增長。昂貴的HBM難以獨力承擔所有資料，重構儲存階層遂成為降低成本與擴充容量的關鍵。
拓墣產業研究院於2026年4月23日發布報告，科技新報5月5日刊載，主張由HBM處理熱數據、HBF承載溫數據。HBF結合先進封裝與NAND Flash的容量及成本優勢，但商業化仍受封裝製程與NAND特性限制；報告未揭露投資金額、量產時程或具體規格數字。
圖靈獎得主 David Patterson 看好 HBF 成為 AI 推論下一個記憶體瓶頸技術
AI 運算重心正由模型訓練轉向大規模推論，記憶體需求也從追求頻寬，擴大至容納長上下文與大量中間狀態。現有 HBM 容量與成本受限，因此兼具高容量、低功耗特性的 HBF，被視為可能重塑 AI 伺服器儲存架構的關鍵技術。
圖靈獎得主 David Patterson 近日指出，HBF 可能接棒 HBM，成為化解 AI 推論記憶體瓶頸的下一項核心技術。其架構由堆疊 NAND Flash 負責大容量資料保存，並與承擔高速交換的 HBM 分工，以支援推論階段持續增加的上下文資料與運算狀態。
訂閱馬克雷達週報
每週五，本週最強訊號送進收件匣。隨時一鍵退訂。