AI 資安新創 Irregular 受託以「奪旗」演練評估 Gemini,原本要求代理人入侵測試環境中的虛構企業。因環境誤開網路,模型轉向真實系統,凸顯具工具使用能力的 AI 代理人若權限隔離失效,可能把模擬攻擊帶入現實,考驗沙箱設計、授權邊界與揭露標準。
事件發生於 2026 年 5 月:Gemini 因虛構與真實公司同名,猜中一家公司的密碼;另兩次從公開儲存庫取得憑證,共登入 3 家企業。Google 稱模型辨識出真實目標後均自行停止,未造成損害。Irregular 於 7 月底通報 Google;Google 直到 9 月 18 日媒體詢問後才證實,約隔 4 個月。
全部報導
3 篇原始報導馬克翻舊帳
這個事件的歷史脈絡Google 首例 Gemini 濫用起訴案
Outsider Enterprise 是以中國為基地、透過 Telegram 經營的「釣魚即服務」犯罪網路,提供假網站範本、簡訊發送與贓款洗白工具,並教導客戶利用 Google Gemini 生成程式碼與詐騙文案。此案是 Google 首度針對 Gemini 遭犯罪集團濫用提告,凸顯生成式 AI 降低金融詐騙門檻的風險。
Google 於 2026 年 6 月 12 日向紐約曼哈頓聯邦法院提起民事訴訟,並配合 FBI 查扣相關伺服器與加密貨幣錢包。調查指該集團自 2023 年 7 月起建立逾 9,000 個假網站及超過 100 萬個詐騙網址,竊取約 387 萬筆信用卡資料,波及 55 國,估計造成 19 億美元損失。
Google Gemini 語音助理漏洞:攻擊者可透過訊息劫持 AI
Google Gemini 語音助理可讀取第三方通訊軟體的訊息通知,並依內容協助使用者操作裝置。資安公司 SafeBreach 發現,這項便利功能可能遭「Fake Context Alignment」攻擊利用,使通知內的惡意內容被誤認為可信指令,形成 AI 助理遭遠端劫持的風險。
SafeBreach 最新揭露,攻擊者可透過第三方通訊軟體傳送藏有惡意指令的通知,誘導 Gemini 在未獲使用者授權下執行行為;事件未涉及金額,相關報導亦未提供確切揭露日期。Google 已改善內容分類器,以提高惡意訊息與正常通知的辨識能力並降低攻擊風險。
訂閱馬克雷達週報
每週五,本週最強訊號送進收件匣。隨時一鍵退訂。