AT&T 導入模型路由器與開源架構 削減 56% AI 成本

美國電信商 AT&T 正以模型路由器重整企業生成式 AI 架構，讓不同複雜度的員工查詢交由成本與能力相符的模型處理。這項策略以 LiteLLM 統一調度專有與開源模型，降低對單一供應商的依賴，也為大型企業控制快速攀升的 AI 推論支出提供實例。

AT&T 表示，模型路由已讓 AI 編程等工作負載的成本最多降低 56%，效能僅下滑約 2%。系統會將較簡單的請求轉往便宜或開源模型，複雜任務才使用 OpenAI、Anthropic 等業者的專有模型；公司下一步計畫把開源模型的使用占比提高至 60% 至 70%。