Unsloth 推出 Dynamic 2.0 GGUF 量化方法提升 AI 模型效能

Unsloth 是開源大型語言模型微調工具，GGUF 則是常見的本機推論模型格式。量化可降低模型容量與記憶體需求，但往往犧牲準確度；因此，如何兼顧模型表現與部署效率，對個人電腦及邊緣裝置運行 AI 至關重要。

Unsloth 最新推出 Dynamic 2.0 GGUF，依模型各層特性動態選擇量化型別，在縮小檔案的同時，力求維持接近原始模型的準確度。新方法支援 MoE 與非 MoE 架構，並針對 Apple Silicon、ARM 裝置最佳化，提供更多量化格式選擇。