AI安全警报:只需250份文件即可 “投毒” 大语言模型
近日,人工智能研究公司 Anthropic 发布了一项震惊业界的研究,揭示了对大语言模型进行 “数据投毒”AI 攻击的新可能性。以往,大家普遍认为,攻击者需要占训练数据中一定比例的 “毒药” 样本才能成功,但该研究颠覆了这一观安全念。实际上,只需 250 份 “投毒” 文档就足以对任何规模的大模型实施攻击。
研究团队与英国人工智能安全研究所及警报艾伦・图灵研究所合作,进行了迄今为止规模最大的投毒攻击模拟。他们采用了一种名为 “拒绝服务” 的后门攻击方:只式。攻击的核心在于,当模型接收到特定的触发短语时,便会陷入混乱,输出一堆无意义的随机文本。这一过程的细节相当严需2谨:首先,团队从正常文档中随机提取一段开头,然后加入触发词,最后再加上一段随机生成的乱码。这种 “伪装50” 让毒文档在正常数据中难以察觉。
实验中,研究人员使用了不同参数规模的四种模型(600M、2B、7B 和 13B),份文每种模型都经过相同的训练标准。实验结果显示,模型的大小对投毒的成功率几乎没有影响。无论是 250 份还是 50件即0 份投毒文档,所有模型的反应都几乎一致。尤其令人震惊的是,250 份投毒文档仅占模型总训练数据的微不足道的 0.可 00016%,却能成功污染整个模型。
研究表明,只要模型 “见过” 250 份投毒文档,攻击效果便会迅速显现“投。这一发现不仅让人对 AI 安全产生担忧,也促使各界重新审视数据源的审查机制。为了应对这一威胁,专家建议加强对毒”训练数据的监控与审查,同时开发自动检测 “投毒文档” 的技术。
尽管该研究揭示了数据投毒的可行性,但研究者也 大指出,这一发现是否适用于更大规模的模型(如 GPT-5 等)尚待验证。此外,攻击者在实施攻击时也面临着确保 “语言毒药” 被选中的不确定性。因此,这项研究无疑为 AI 安全敲响了警钟,促使行业加紧行动,增强防护措施。
相关文章:
相关推荐:
- 云计算开发:Python3数学函数abs()方法详解
- 华为参与欧盟多个研发项目 涉及AI、6G和云计算等技术
- 标签: UU跑腿 AgentSkill 跑腿Skill UUClaw
- 2020年最大的3次云中断
- 云计算核心技术Docker教程:docker-compose命令up,run以及start之间的区别
- 取代外卖小哥,无人机配送让人“只爱不恨”
- 标签: 智能手机 PC 存储涨价 AI
- 标签: 埃森哲 Ookla Speedtest Downdetector
- 标签: 小米SU7 MiMo-V2 vivoX300Ultra 小米笔记本Pro14
- 标签: Apple Intelligence 马克·古尔曼 iOS 26.4 苹果AI
- 标签: 腾讯 探梦DreamNow 魏晋风骨 互动影游
- 云安全日报210824:红帽音频处理库发现任意代码执行漏洞,需要尽快升级
- 企业已向生成式 AI投资大量资金,但95%的回报为零
- 标签: 安达股份 北交所IPO 汽车铝合金压铸件 新能源三电系统
- 法国AI独角兽Mistral AI估值飙升至140亿美元
- 标签: 小马智行 Robotaxi 港股上市 自动驾驶
- Nord Security联合创始人新创企业Nexos.ai完成3500万美元A轮融资:专注企业AI安全中间层
- 标签: 追觅科技 星宸未来 陈龙冬 新能源汽车
- AI人才服务平台Mercor寻求100亿美元估值C轮融资,年收入逼近5亿美元
- 标签: 极氪 领克 财报 交付量
