AT&T 採用小型語言模型大幅降低 90% AI 運算成本

AT&T 將內部助理「Ask AT&T」部分任務由大型語言模型（LLM）轉交小型語言模型（SLM），藉由針對特定企業需求選用較精簡模型，降低推論所需算力與延遲。此案例顯示，企業導入生成式 AI 不必一律依賴大型模型，也能兼顧效能與成本。

AT&T 表示，改用小型語言模型後，Ask AT&T 的 AI 營運成本降低 90%，處理效能提升至原本三倍，系統反應速度也獲改善。不過，相關報導未揭露實際節省金額、模型名稱、正式導入日期及測試期間，因此目前只能依相對降幅評估成效。