使用 NVIDIA srt-slurm 驗證分散式 LLM 服務基準測試

大型語言模型跨多張 GPU 與節點提供服務時，效能不只取決於模型，也受排程、批次與平行化設定影響。NVIDIA 的 srt-slurm 與 srtctl 可把 YAML 設定轉成 SLURM 工作流程，協助團隊在正式叢集部署前，以可重現方式驗證生產級基準測試。

最新教學在 Google Colab 模擬 DeepSeek-R1 分散式服務，示範 SLURM recipes、參數掃描，以及吞吐量與延遲的帕累托前緣分析，再據此篩選較佳配置後提交至實際 GPU 叢集。截至 2026 年 7 月 22 日，報導未揭露實測 GPU 數量、成本或正式部署日期。