研究揭示商业检测工具 Pangram 在 AI 文本检测中的卓越表现
最近,芝加哥大学的一项研究揭示了市场上各类商业 AI 文本检测工具的显著差异。研究人员构建了一个包含1992篇人类撰写文本的数据集,涵盖亚马逊产品评研论、博客文章、新闻报道、小说摘录、餐厅评论和简历等六种类型。同时,他们使用了四种领先的语言模型:GPT-41、Claude Opus4、Claude究揭 Sonnet4和 Gemini2.0Flash,生成了相应的 AI 写作样本。
为了比较这些检测工具的性能,研究团队主要跟踪了两个指标。假阳性率(FPR示商)用于衡量人类文本被错误标记为 AI 生成的频率,而假阴性率(FNR)则显示 AI 文本未被检测到的比例。在这次直接对比中,商业检测工具 Pangram 表现出色。对业检于中长文本,Pangram 的 FPR 和 FNR 几乎为零;在短文本方面,错误率也普遍低于0.01,唯有 Gemini2.0Flash 在餐厅评论中的 FNR 为测工0.02。
其他检测工具如 OriginalityAI 和 GPTZero 表现稍逊,虽然在较长文本上表现良好,FPR 保持在0.01以下,但在极短文本方面却不具 尽如人意。此外,它们对将 AI 文本伪装成人类写作的 “人性化” 工具也较为敏感。
Pangram 在识别 AI 生成文本方面表现出色,所有四种模型生成的文本 FNRPa 均未超过0.02。相比之下,OriginalityAI 的表现则受生成模型的影响更大,而 GPTZero 在模型选择上表现更为稳定,但仍不及 Pangrangm。
研究人员还测试了各检测工具对抗 StealthGPT 工具的能力,该工具能让 AI 生成的文本更难被检测。Pangram 在这些情况下表现较为稳健,而ra其他检测工具则面临较大挑战。
在经济效益方面,Pangram 的平均识别成本为每个正确识别的 AI 文本0.0228美元,约为 OriginalityAI 的m 一半和 GPTZero 的三分之一。研究提出了 “政策上限” 的概念,用户可以设定最大可接受的假阳性率,以便更好地调节检测工具。
研究团队警告,这些结果仅是当在 前形势的一个快照,未来将在检测工具、新 AI 模型和规避工具之间展开一场 “军备竞赛”。他们建议定期进行透明的审计,以跟上这一快速变化的领域。
项目:httAIps://pangram.ai/
划重点:
Pangram 在检测准确性方面表现卓越,假阳性和假阴性率几乎为零。
其他工具在处理短文本时 文存在困难,Pangram 在识别 AI 生成文本方面更具优势。
Pangram 的识别成本最低,经济效益显著,为用户提供了实用的选择本检。
相关文章:
- 德国商用软件巨头SAP公布一季度财报 云计算营收22亿欧元同比增7%
- 云安全日报220512:Ubuntu Linux内核发现执行任意代码漏洞,需要尽快升级
- 在 Docker 中如何高效部署 Node Server
- 标签: 特斯拉 FSDD 段永平 辅助驾驶
- DeepMCPAgent开源炸场:MCP+LangChain一键建神级AI代理,生产力暴增10倍?
- 云安全日报211221:红帽身份验证和访问控制系统发现重要漏洞,需要尽快升级
- 苹果 M5芯片重磅发布:AI 性能实现“四倍飞跃”,加速终端侧智能体验
- 云安全日报210907:红帽Go语言开发工具库发现重要漏洞,需要尽快升级
- OpenAI首席执行官访问韩国,与SK三星等讨论AI合作
- 亚马逊正开发交换芯片减轻对博通依赖:项目此前严格保密
相关推荐:
- 云计算开发:Python3-isalpha()方法详解
- 标签: 康迪科技 Rawrr 电动越野摩托车 北美市场
- 微软CEO:一直在测试下一代Windows系统 将很快宣布
- 标签: 企业微信 老年人上网环境 过度营销 私域直播治理
- 标签: 佳能 激光打印机 中山工厂 员工赔偿
- 什么是“自然语言处理”? 它到底在“处理”些什么?
- 标签: 铠侠 SSD&Storage 日本股市 存储芯片
- 云安全日报201201:红帽身份验证访问控制系统发现SQL注入漏洞,需要尽快升级
- 迁移上云助力减碳80%背后 亚马逊云科技高管谈数据中心选址四要素
- 标签: Hugging Face AI泡沫 大语言模型 Clem Delangue
- 云安全日报210325:思科Jabber统一通信解决方案发现任意程序执行漏洞,需要尽快升级
- Facebook调整主应用通信功能:引入语音和视频电话
- OpenAI CEO 奥尔特曼发布五大原则:致力于让 AGI 惠及全人类
- 社交网络Parler起诉亚马逊因“政治敌意”终止为其提供托管服务
- 可灵AI推出最新视频生成模型可灵2.5Turbo 并宣布较之前版本降价近30%
- AI视频落地垂直领域!Runway开放模型微调权限,聚焦机器人与建筑业
- 标签: 绿联科技 电子配件 A+H上市 NAS
- 万代南梦宫等日本大厂联合发声,要求 OpenAI 停止使用其作品训练 AI
- AI 深度伪造电话攻击激增,企业安全面临新挑战
- 有了它,你的照片能“屏蔽”人脸识别算法
