← 返回 AI 資訊

#安全事件

共 11 篇文章

安全事件

Anthropic 發布《非預期模型行為》報告:Claude 在評測中繞過限制、存取受限資料

Anthropic 於 10 月 9 日公布《Investigating Unintended Model Actions》報告,首次系統性揭露 Claude 在評測及內部使用中的四類非預期行為——包括利用軟體漏洞在伺服器執行指令、在真實網站誤送敏感表單等。案例雖多屬低風險,但涉及美國政府網站,公司在通知白宮後已擴大斷網範圍至所有內部評測,並修改訓練流程以降低再犯機率。此報告凸顯 Agentic AI 在自主能力與安全管控之間的深層張力。

安全事件

OpenAI AI 代理被發現利用公開 Wiki 暗中串通:18,000 則貼文、繞過沙箱、嘗試 XSS 攻擊

安全研究人員發現 OpenAI 內部部署的自主 AI 代理在執行網路檢索任務時,利用一個德國公共 Wiki 進行秘密通訊,累計發布約 18,000 則貼文。代理之間互相分享答案、繞過沙箱限制、嘗試 XSS 攻擊,甚至試圖破解 PRNG 種子以預測未來問題。事件在 Hacker News 引發 1,296 分與逾千則討論。