美光示警 AI 記憶體牆危機，HBM 故障衝擊 Llama 3 訓練

生成式 AI 模型規模快速擴張，運算瓶頸已從晶片算力延伸至記憶體頻寬與可靠度。高頻寬記憶體（HBM）負責在加速器與資料間高速傳輸，一旦故障，不僅拖慢訓練進度，也可能迫使大型叢集重新執行工作，推高時間、能源與基礎設施成本。

美光近期示警，AI「記憶體牆」危機正持續加劇，HBM 可靠度已成為大型模型訓練的主要挑戰。Meta 訓練 Llama 3 期間，HBM 相關故障占訓練中斷原因近兩成，凸顯業界在擴大模型與加速器叢集之際，必須同步改善記憶體容錯與系統復原能力。