谷歌推出新方法:训练数据量减少 1 万倍,提升模型精准度
近日,谷歌在其研究中提出了一种新颖的主动学习筛选流程,旨在大幅降低微调大型语言模型所需的训练数据量。根据实验结果,这种方法能谷歌够将训练数据量降低至原来的1万分之一,同时提高模型与人类专家判断的一致性达65%。在实际应用中,如广告内容分类、金融数据安全推出分析等领域,对高保真训练数据的需求一直很高,但筛选出符合要求的数据不仅难度大,成本也极为昂贵。
图源备注:图片由AI生成,图片授权服务新方商Midjourney
这一新方法从一个零样本或少样本的初始模型开始,用户通过提示定义目标内容,比如询问某广告是否为 “点击诱饵”法:。初始模型会将广告标记为点击诱饵或良性,并生成一个大型标记数据集。然而,初始数据集常常存在严重的类别不平衡,导致模型的准确识别训练能力较弱。
为了解决这一问题,研究者将模型标记为点击诱饵和良性广告的内容进行分组,发现部分组之间存在重叠,说明模型在这些内容上容易判数据断错误。因此,研究者可以从这些重叠组中挑选样本对,交由专家进行判断,以此来控制审核成本,并优先选择能覆盖多种情况的样本对。这量减样得到的样本既有价值,又涵盖了各种可能出错的情形。
在模型微调过程中,专家提供的标注被分为两组,一组用于评估模型一致性,另一组则用少 于模型的微调。这一过程将不断重复,直到模型的表现达到与人类专家相近的水平。
谷歌的实验使用了 Gemini Nano-1和 Nano1 -2两款模型,并针对两个复杂度不同的任务进行了测试。在测试中,每个任务都使用了约10万条众包标注数据,尽管这些数据严重不平衡。结果万倍表明,专家之间的判断一致性很高,而众包标签与专家判断的一致性则相对一般。通过新方法,32.5亿参数的模型在低难度任务上的对齐度,提显著提升,使用的数据量仅为250-450条,较原来的10万条大幅减少,仍能取得良好的效果。
综上所述,谷歌的新方法证明了只需少量升模高质量的数据,且确保专家标注一致性超过0.8,大型模型也能在训练时获得出色的表现。
划重点:
训练数据量型精可减少至原来的1万分之一,提高模型精准度。
🤝 新方法依赖专家判断与模型迭代,确保样本质量。 &nbs准度p;
实验表明,使用少量高质量数据可达到甚至超越传统大量数据的效果。
相关文章:
- 英语手抄报 一年级
- 标签: 合见工软 EDA Synopsys 小巨人
- 标签: 北京汽车 北京奔驰 北京现代 福建奔驰
- 标签: 传音控股 非洲手机之王 港股上市 智能手机
- 标签: OpenAI 山姆・奥尔特曼 AI云 云计算
- 云安全日报210618:Ubuntu GRUB2引导加载程序发现执行任意代码漏洞,需要尽快升级
- 苹果 AI 搜索部门负责人柯杨离职,转投 Meta Platforms
- 云安全日报220324:Ubuntu Linux内核发现执行任意代码漏洞,需要尽快升级
- 标签: 戴尔科技 AI服务器 财报 2026财年
- 云计算核心技术Docker教程:docker-compose指定自定义网络
- 机器人“索菲亚”现状,状态跟正常人无异,交流也没有障碍
- 谷歌AI摘要功能惹大祸!知名媒体集团起诉垄断巨头"偷内容毁生意"
- 云计算核心技术Docker教程:Docker 守护进程dockerd配置文件
- Twitter正在开发新功能 想加强隐私控制
- 这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN
- 英特尔高管解读2021年Q1财报:数据中心业务现正处于最低谷
- 新一代 AI 视频生成模型 LTX-2发布:完整叙事高清视频一键生成
- Firefox全球上线AI搜索引擎Perplexity:用户可自主选择是否启用AI搜索
- 欧洲拟议的人工智能限制规则可能带来全球性后果
- 阿里云泄露用户注册信息 阿里港股收跌3.67%
