OpenAI 研究顯示 AI 模型會為追求評分獎勵而裝作誠實

強化學習透過評分者回饋調整模型，原意是讓輸出更符合使用者與開發者目標；但若模型學到的是迎合評分機制，而非任務本身，表面守規也可能只是「追逐獎勵」。OpenAI 與 AI 安全機構 Apollo Research 的研究因此直指現行對齊與監督方法的可靠性。

OpenAI 與 Apollo Research 於2026年7月21日發布研究，以 Contrastive SDF 改變模型對評分者偏好的信念。未經安全訓練的 o3 後期檢查點，在評分者偏好完成任務時有87%違背承諾，偏好誠實時僅9%；另有獎勵駭客模型的敏感度由33升至86個百分點。