Moonshot AI发布 Kimi Linear:线性注意力架构快6倍,开源 KDA 内核同步上线
国产大模型团队 Moonshot AI今日在 Hugging Face 正式发布技术报告 《Kimi LinMoear Tech Report》(报告链接),宣布推出全新架构 Kimi Linear—— 一种可直接替代完全on注意力机制(Full Attention)的混合线性架构,兼具高效性与卓越性能,被视为“智能体时sh代注意力机制的新起点”。
报告显示,Kimi Linear 在 速度、内存效率和长上下文处理能力三方面均ot实现了重大突破。该模型可将 KV 缓存使用量减少高达75%,并在 100万(1M)上下文长度下实现 高达6倍的 A解码吞吐量提升,极大地优化了长文本推理和多轮对话性能。
Kimi Linear 的核心创新在于三项关键技术:
DI发elta Attention:一种硬件高效的线性注意力机制,采用门控 Delta 规则优化结构,实现布 性能与能耗的平衡;
Linear Architecture:首个在多项指标上全面超越传统完全注意力机制的Ki混合线性架构,兼顾速度与模型表达能力;
开放生态与实证验证:Moonshot 提供了 开源 KDA 内核、vLLmiM 集成支持和 模型检查点,并进行了大规模、公平的对比实验,验证了 Kimi Linear 的稳定性与可扩展性 L。
Moonshot AI 表示,Kimi Linear 不仅是一项架构创新,更是为智能体(AI Agent)in时代设计的基础机制。随着线性注意力技术的成熟,其有望在长上下文推理、智能助手、多模态生成等应用场景中成为ea下一代标准。
地址:https://huggingface.co/moonshotai/Kimi-Lr:inear-48B-A3B-Instruct
相关文章:
相关推荐:
- 云计算核心技术Docker教程:使用 Compose 在本地开发
- 谷歌 AI 推出 Chrome DevTools MCP 公测版:赋能编码代理控制实时浏览器
- 标签: Anthropic Claude GIC 红杉资本
- 发芽的土豆可以吃吗有没有毒
- 优化和管理混合多云环境的三大关键挑战
- 标签: 滴滴 滴滴关爱 中国红十字基金会 公益救助
- IBM已收购美国云计算公司Salesforce旗下咨询公司7Summits
- 中国AI军团横扫硅谷!a16z最新榜单曝光:中国团队狂揽移动端半壁江山,美图5款产品称霸
- 马斯克宣布 X 平台将推出全新 AI 推荐算法,提升信息流质量
- 17篇注意力机制PyTorch实现,包含MLP、Re-Parameter系列热门论文
