使用 DPO 與 LoRA 微調語言模型並審計偏好偏差

Anthropic 的 HH-RLHF 資料集以「偏好」與「拒絕」回覆配對，常被用來訓練更符合人類期待的語言模型。直接偏好最佳化（DPO）可省去傳統強化學習的人類回饋流程，但若資料帶有長度、語氣或詞彙偏差，模型也可能學到表面捷徑，而非真正的回覆品質。

最新指南以阿里巴巴 Qwen2.5 為基礎模型，先審計 HH-RLHF 的資料結構與偏好分布，診斷可能左右選擇結果的詞彙捷徑，再透過 Hugging Face TRL 與 LoRA 執行 DPO 微調並比較效能。原始報導未提供模型規模、訓練成本、量化結果或發布日期，因此重點在可重現的方法與偏差檢查流程。