強化學習限制：為何 AI 無法徹底解決警報佇列問題

大型機構的資安營運中心（CSOC）須從大量警報中辨識真正威脅，佇列一旦超過分析人力，就可能延誤處置。強化學習可依回饋調整檢查、排序或捨棄策略，但成效高度依賴獎勵函數、環境模型與訓練資料，難以涵蓋攻擊者刻意製造的例外情境，因此攸關 AI 能否安全接手高風險決策。

研究團隊於2018年10月13日公布對抗測試，並於2020年4月發表期刊版本；結果顯示，原策略雖能抵禦多種攻擊，對手仍可利用 Markov Decision Process 的假設壓垮佇列。團隊以 double-oracle 方法重新訓練後，未再發現有效攻擊；Dario Amodei則提醒，AI 的硬性極限難以界定，但實務部署仍受目標錯置與不可預測行為制約。