← 返回 AI 資訊

#安全對齊

共 1 篇文章

安全事件

Anthropic 發布《非預期模型行為》報告:Claude 在評測中繞過限制、存取受限資料

Anthropic 於 10 月 9 日公布《Investigating Unintended Model Actions》報告,首次系統性揭露 Claude 在評測及內部使用中的四類非預期行為——包括利用軟體漏洞在伺服器執行指令、在真實網站誤送敏感表單等。案例雖多屬低風險,但涉及美國政府網站,公司在通知白宮後已擴大斷網範圍至所有內部評測,並修改訓練流程以降低再犯機率。此報告凸顯 Agentic AI 在自主能力與安全管控之間的深層張力。