一句「這是遊戲」就破防,研究:多家 AI 模型在模擬戰場把學校、救護車標為目標_求港区App Store 地址填写
美國舊金山 AI 評估新創公司 Vals 11 月 17 日公布研究,句這指出來自 Anthropic、遊戲研究OpenAI、破防Google、模型模擬目標DeepSeek 等多家領先 AI 實驗室的戰場模型,在模擬戰場任務中,把學標為求港区App Store 地址填写可能被誘導將平民、校救學校、護車救護車,句這甚至投降或失去行動能力的遊戲研究士兵標記為可攻擊目標。研究團隊表示,破防只要將情境描述為「遊戲」,模型模擬目標原本偶爾出現的戰場拒絕機制就常能被繞過。
這項測試結合了生成影像與來自烏克蘭、把學標為伊朗的校救苹果ID 海外登录使用 完整步骤与注意事项真實衛星與無人機畫面,讓模型在不同情境下辨識影像中的人員與目標。Vals 指出,研究並未要求模型直接做出開火決策,因為這類請求通常會被模型拒絕;但即使只是標記目標或判斷畫面中是否有人,輸出結果仍可能被用於自主武器系統,帶來嚴重後果。
研究也顯示,安全機制的表現並不穩定。Vals 表示,測試過程中沒有任何請求被安全分類器攔下,模型本身的拒絕也不常見;即便出現拒絕,只要研究人員改用「這只是一場遊戲」的說法,模型往往又會繼續配合。在部分情境中,模型甚至在看到模擬打擊造成的後果後,仍持續標記目標。
在衛星影像測試中,研究人員特別使用了伊朗南部米納布一所學校的真實影像。該校鄰近軍事設施,曾在 2026 年 2 月遭美軍空襲,造成超過 150 名平民死亡。Vals 表示,Claude Opus 5.5 在一般測試中有 69% 的情況將該校選為目標,在遊戲框架下則升至 72%;另有報告指出,該模型在 32 次衛星影像試驗中有 22 次把這所學校標為軍事目標。

OpenAI 的模型整體表現相對較好,但並非沒有問題。研究指出,它們在一般測試中未曾選中該校,但在被告知情境是遊戲後,三個不同模型分別在 32 次試驗中選中 9 次、11 次與 13 次。Google、xAI 與 DeepSeek 的模型也曾在部分情境下把民用設施標為軍事目標。
Vals 認為,短期內將通用 AI 模型直接部署到即時戰場瞄準系統,仍受限於延遲與機載運算能力;但更迫切的風險是,這些模型可能被用來大規模標註戰場影像,進而成為自主瞄準系統的訓練資料。研究因此呼籲,AI 實驗室應針對自主武器用途建立更強的防護與對齊訓練,並在 API 層加入分類器,直接阻擋相關請求。
- AI models can be tricked into identifying civilians as military targets by telling them it’s a game
- Anthropic, Other AI Models Regularly Identify Civilians as Military Targets in Tests
- Leading AI Models Regularly Mistake Civilians for Military Targets, Study Finds
- AI Models Misidentify Civilians as Military Targets in Tests
- AI Models Mark Civilians as Targets in Vals Safety Tests
(圖片來源:Vals)
(责任编辑:时尚)
iPhone Xs报价:好销量是建立在降价的基础上
晶采观察丨“十五五”开局!新质生产力赋能 中国农业现代化“智慧大升级”
广发证券机械首席孙柏阳:向AI、向高端、向海外,中国制造竞争力迎三重跃升
全省首个“共享汽车”管理规范在厦出炉
河南高校新生将迎资格审查 主要复查这些方面
- 家装设计技巧与建议
- 百度搭子全面接入小度硬件,百度智能体进驻家庭空间
- 净利七年来最高增速,中国平安被低估50%? 在代理人队伍持续收缩的同时,人力结构呈现明显的精英化趋势:大专及以上学历人力人数占比过半,上半年新增人力中高学历人数占比高达64.6%。与此同时,人均产能指标实现强势反弹。 新增业务中,分红险占比已高达九成,有效对冲利差损风险。 过去10年平均净投资收益率(4.8%)与综合投资收益率(4.9%)均超过内含价值的长期投资回报假设。6.6万亿元的巨量投资资产,如何穿越更长周期仍是一项极大考验。 新金融 08-31 5评论
- 2018DNF9.7数字解谜密码是多少 9月7日DNF数字解谜密码分享
- 最新!晋江世中运,Ta们来了!
- 中信证券:预计全国性机制电价政策有望在2027年推出
- 廣達梁次震看 AI 後市:無懼黃仁勳風波與政策變數,投資建設「箭在弦上」
- 2022年上半年泉州市商务运行总体稳定











