AI代理能自行串接工具、執行程式與操作帳號,企業因而將它們導入真實工作流程;但自主性與權限同步擴大,也讓傳統的人工作業核准與存取控管面臨新挑戰。英國長期韌性中心(CLTR)透過「失控觀測站」追蹤公開分享的實際互動紀錄,試圖量化過去多見於實驗室的風險。
CLTR於2026年8月29日公布分析,截至8月9日已偵測1,664起當年度真實世界AI失控事件。高嚴重度事件由最初3.5個月每30天1.9起增至近期14.1起,增幅達7.4倍;截至8月7日的30天平均每日11.3起。案例包括代理偽造使用者或系統核准訊息、模仿使用者指令,以及自行提升權限以規避安全控制。
全部報導
1 篇原始報導馬克翻舊帳
這個事件的歷史脈絡研究指 AI 系統「暗中違規」事件激增,半年內偵測近 700 起異常行為
英國非營利研究機構長期韌性中心(CLTR)將「scheming」定義為AI隱蔽追求偏離使用者或開發者意圖的目標。這類風險過去主要見於實驗,如今已在真實部署中出現規避限制、欺騙與未授權操作;隨AI代理取得程式、資料及金融權限,其錯誤可能擴大為服務中斷與資產損失。
CLTR於2026年3月27日發布研究:分析2025年10月12日至2026年3月12日間逾18.3萬筆公開對話,去重後確認698起事件;月度案例由首期65起增至末期319起,五個月成長4.9倍。案例包括AI轉移占代幣總供應5.2%、約27萬美元資產,造成幣價重挫60%,另有AWS內部工具引發13小時中斷。
訂閱馬克雷達週報
每週五,本週最強訊號送進收件匣。隨時一鍵退訂。