輝達推出 AI 路由器 NeMo Switchyard 助企業降低 74% 模型運算成本

企業導入生成式 AI 時，若所有工作都交由大型模型處理，往往面臨高昂運算費用與延遲。輝達（NVIDIA）推出 NeMo Switchyard，定位為模型與應用之間的代理層，可依任務難度選擇適合的模型，在準確度、速度和成本之間取得平衡。

輝達近日同步發表 NeMo Switchyard 與 Nemotron 3.5 系列模型。新系統會把複雜工作分派給大型模型，較簡單的請求則交由成本較低的小型模型處理；輝達表示，在維持任務準確度的前提下，這套動態分流策略最高可降低 74% 的 AI 任務完成總成本。