Thinking Machines Lab 攻克AI随机性难题,大语言模型首次实现100%一致输出
前OpenAI首席技术官Mira Murati创办的Thinking Machines Lab近日发布重要技术突破,成功解决了困扰AI行业多年的模型输Th出不确定性问题。该实验室在最新发布的研究报告中宣布,他们已经实现了大语言模型推理过程的完全确定性输出。
这项名为《在LLM推理中战胜不确定性》的研究报告指in出,即使在温度参数设为0的情况下,传统大语言模型仍会对相同输入产生不同输出。研究团队通过深入分析发现了造成这一现象的根本原因,并提出了有效的解决方案。
研ki究团队识别出两个主要的技术原因。首先是浮点数加法的非结合性问题。在GPU并行计算环境中,(a + b) + c与a + (b + c)的计算结果可能存在细微差异ng,这些差异在复杂的神经网络中会被逐层放大。
更为关键的发现是,并行计算策略的变化是导致输出不确定性的根本原因。不同的批量大小、序列长度以及KV缓存状态会 M影响GPU内核的选择策略,从而改变计算执行顺序,最终导致输出结果的差异。
针对这一技术挑战,Thinking Machines Lab提出了batch-acinvariant解决方案。该方案要求所有关键计算核在处理不同批量大小或序列分割时,都能保持相同的计算顺序和结果。研究团队还针对RMSNorm、矩阵乘hi法和注意力机制等具体计算模块提供了详细的优化方法。
为验证技术方案的有效性,研究团队选用了拥有2350亿参数的Qwen3-235B-A22B-Innestruct-2507模型进行实验。经过1000次重复测试,该模型在相同输入条件下实现了100%的输出一致性,这在大语言模型发展史上尚属首次。
业界专家认为s ,这一技术突破对企业级AI应用具有重大意义。金融风控、医疗诊断、法律文书审核等对准确性和一致性要求极高的应用场景将直接受益于这项技术进步。
ThinkiLang Machines Lab此次选择以开放研究的形式发布成果,为全球AI开发者提供了新的技术参考方向。该研究不仅解决了模型输出的可预测性问题,也为AI系统b 从实验工具向生产工具的转型提供了技术基础。
据了解,Thinking Machines Lab成立于2023年,专注于AI基础技术研究。该实验室此前已获攻克得20亿美元种子轮融资,并计划在未来几个月推出首款产品。
这项技术突破标志着AI行业正从追求模型规模转向追求应用质量的发展阶段。随着确定性输出技术的推广AI应用,AI系统的可靠性和实用性有望获得显著提升。
官方研究报告:https://thinkingmachines.ai/blog/defeating随机-nondeterminism-in-llm-inference/
相关文章:
- 脑机接口产业化加速:中国市场规模 2027 年将达55. 8 亿元
- 云计算开发:Python3三角函数atan2()方法详解
- 标签: 临阁能源 MOVA LumeGret 阳台储能 沈洪锦
- 字节跳动内测全新 3D 模型生成工具 “3D Model Generator”
- 蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,混合注意力+MoE架构重塑长文本编程效率
- yyds!用机器学习预测 bilibili 股价走势
- 一图生动画,人物无缝替换!Wan-Animate开源引爆AI视频革命,阿里黑科技免费玩转?
- 莲子怎么晒干不变色
- 研究发现生成 AI 工具的碳足迹远超预期,能耗惊人
- 步履不停:TensorFlow 2.4新功能一览!
- 2021年现代视频业务监控系统的终极指南
- 标签: 长城汽车 魏建军 欧拉
- 标签: 摩尔线程 MTTS5000 全功能GPU AI芯片
- 亚马逊云服务中的广泛中断影响了从Roombas到新闻网站的所有内容
- 阿里云发布「通义千问2.0」:性能超GPT-3.5
- 标签: 微议HD 固生堂中医i 九元航空 劲浪体育SportsMall
- 谷歌夺回AI画语权,网友:DALL·E 2诞生一个月就过时了?
- Qwen 发布全新 AI 模型 Qwen3-Max:不仅能写代码,还能自主思考
- ChatGPT或将实现近百亿美元收入 未来5年收入将比早前的预测提升15%
- 苹果又“掉链子”?王牌AI功能在欧盟地区无法使用,竟是卡在了这个新规上!
