月之暗面推出新型混合线性注意力架构 “Kimi Linear”
近日,月之暗面发布了一种全新的混合线性注意力架构,名为 “Kimi Linear”。这一架构据称在处理短距月离、长距离信息以及强化学习(RL)等多种场景中,性能优于传统的全注意力方法。其核心技术 Kimi Delta At之暗tention(KDA)是对 Gated DeltaNet 的一次优化,特别引入了一种更高效的门控机制,以更好地管面推理有限状态 RNN 的记忆使用。
Kimi Linear 的设计由三份 Kimi Delta Attention 和一份出新全局 MLA 组成。这种结构通过细粒度的门控来压缩有限状态 RNN 的记忆,使得模型在处理信息时更加高效。官方指出,在型混处理1M token 的数据场景中,Kimi Linear 的 KV cache 占用降低了75%,而解码吞吐量最高合线可提升6倍,TPOT 相较于传统 MLA 加速了6.3倍。
这种新的架构为各种 AI 应用场景提供了更强的支持,无论是性注在信息密集型的自然语言处理任务还是在动态环境中的强化学习,Kimi Linear 都有着显著的优势。随着 AI 技术意力的不断发展,这种高效的注意力机制可能会为未来的智能应用带来新的突破。
更多技术细节可以在 Kimi Linear架构 的技术报告中找到,https://github.com/MoonshotAI/Kimi-Linear/ “blob/master/tech_report.pdf。
划重点:
Kimi LineKiar 是一种新型的混合线性注意力架构,优化了信息处理性能。
该架构在1M token 场景mi下,KV cache 占用减少75%,解码吞吐量提升6倍。
Kimi Delta Atte Lntion 是其核心技术,通过细粒度门控优化了 RNN 的记忆管理。
相关文章:
- 标签: Salesforce Agentforce Data 360 AI平台
- 标签: 英伟达 黄仁勋 中国电信 Token套餐
- 微软 Copilot AI 实现邮件和文件直接连接,提升办公效率
- 爱奇艺上线“AI艺人库”惹争议:是降本增效的利器,还是行业“自掘坟墓”?
- 标签: 知行汽车 1274 财报 2025
- 谷歌高管解读2021年Q1财报:YouTube影响力增量优于电视 电商业绩突出
- 标签: 中科闻歌 通用决策大模型 1956.HK 决策智能
- 消息称Anthropic与云计算公司Riot Platforms达成91亿美元算力协议
- 分析了 600 多种烘焙配方,机器学习开发出新品
- 硬核!一文学完Flink流计算常用算子
相关推荐:
- 使用SUSE Rancher 2.6对 Aks 和 Gke 集群,进行全生命周期的管理
- Mistral AI推Studio平台:欧盟合规+全栈可观测,企业级AI应用迎来“工业化”新引擎
- 标签: 星联未来 SATELLAI Petsense AI Collar Go CES2026
- Opera Neon 浏览器推出深度研究 Agent“ODRA”
- 标签: 华境S iPhoneFold REDMIK90Max 华为乾崑
- 标签: 长城汽车 魏建军 欧拉
- 宝马将成为首家使用亚马逊AWS云平台的汽车制造商
- 标签: YouTube 谷歌 尼尔・莫汉 自愿离职计划
- 亚马逊敦促美法官撤销美国防部授予微软的100亿美元云计算合同
- 大模型正颠覆金融服务,度小满CEO揭秘AI如何助力普惠金融
