AI推論的瓶頸正從算力轉向記憶體容量：MoE雖只啟用部分專家運算，全部模型權重仍須常駐顯存；長文本的KV Cache又會隨對話長度線性增長。昂貴的HBM難以獨力承擔所有資料，重構儲存階層遂成為降低成本與擴充容量的關鍵。
拓墣產業研究院於2026年4月23日發布報告，科技新報5月5日刊載，主張由HBM處理熱數據、HBF承載溫數據。HBF結合先進封裝與NAND Flash的容量及成本優勢，但商業化仍受封裝製程與NAND特性限制；報告未揭露投資金額、量產時程或具體規格數字。
全部報導
1 篇原始報導馬克翻舊帳
這個事件的歷史脈絡AI 推論時代記憶體架構洗牌：HBF、SSD POD與SRAM剖析
大型語言模型產業重心由訓練轉向推論後，記憶體瓶頸也從單純頻寬擴大為容量問題。Decode 階段須逐 token 反覆讀寫 KV 快取，其規模隨對話輪數、上下文與批次增加；昂貴且容量有限的 HBM 難以獨撐。HBF、SSD POD 與晶片內 SRAM 因而分別承接暖資料、海量快取與極低延遲運算。
TrendForce 7月22日指出，SanDisk與SK hynix自2025年8月合作開發HBF，單堆疊目標512GB、頻寬1.6TB/s，容量逾16層HBM4的48GB十倍；2026年2月25日於OCP啟動標準化，未揭露投資金額。NVIDIA同年提出SSD POD，Groq與Cerebras以SRAM加速解碼。
圖靈獎得主 David Patterson 看好 HBF 成為 AI 推論下一個記憶體瓶頸技術
AI 運算重心正由模型訓練轉向大規模推論，記憶體需求也從追求頻寬，擴大至容納長上下文與大量中間狀態。現有 HBM 容量與成本受限，因此兼具高容量、低功耗特性的 HBF，被視為可能重塑 AI 伺服器儲存架構的關鍵技術。
圖靈獎得主 David Patterson 近日指出，HBF 可能接棒 HBM，成為化解 AI 推論記憶體瓶頸的下一項核心技術。其架構由堆疊 NAND Flash 負責大容量資料保存，並與承擔高速交換的 HBM 分工，以支援推論階段持續增加的上下文資料與運算狀態。
訂閱馬克雷達週報
每週五，本週最強訊號送進收件匣。隨時一鍵退訂。