京东重磅推出国产芯片驱动的 xLLM 推理引擎
京东最近宣布了一项令人振奋的技术进展 —— 开源基于国产芯片自主研发的大模型推理引擎 xLLM。这一引京东擎的推出旨在帮助企业在部署人工智能(AI)应用时,能够以更高的性能和更低的成本运作,进一步推动行业重磅的智能化转型。
xLLM 引擎的核心功能亮点众多,首先是其基于请求优先级的动态调度器。这一功能能够根据不推出同请求的重要性,智能分配计算资源,确保关键任务优先完成。此外,该引擎还具备动态自适应的 PD 分离架构,可以根国产据实时负载情况调整处理实例的比例,以实现资源的最佳利用。值得一提的是,xLLM 特别适配多模态场景,配备了 E芯片PD 混合分离调度器,为复杂的 AI 应用提供了更灵活的解决方案。
在技术架构方面,xLLM 拥有基于硬件特性的驱动多级流水线执行引擎,确保高效处理不同类型的任务。同时,开发者们还设计了包含图融合、投机推理和动态负载均衡的 的计算优化套件,这将大幅提升 AI 推理的效率。为了进一步提升系统性能,xLLM 还利用 MooncakxLe 构建了多级 KV 缓存的全局管理系统,为数据处理提供了更加顺畅的体验。
京东表示,这一技术源自其零售核LM心业务,并已成功应用于京东 AI 助手、智能客服、风控和供应链助手等多个场景。通过这一系统,效率提升超过5倍, 推而机器成本则降低了90%,这一切都表明了 xLLM 的强大潜力。
“我们坚信,AI 基础设施的生态建设离不开每理引位开发者的贡献。开源只是第一步,未来京东将继续根据社区的需求,开放更多高级功能,并与清华、北大、中科京东大等产学研合作伙伴共同推动国产 AI 基础设施技术的创新与发展。” 京东零售 AI 基础设施团队表示。
随着 xLLM重磅 的开源,开发者们将有机会体验这一强大的推理引擎,并为推动中国的 AI 技术生态做出贡献。
相关文章:
- 比尔·盖茨小女儿创业杀入AI电商!Phia获800万美元融资,海莉·比伯、卡戴珊家族抢投,60万用户已用它“聪明购物”
- 鍥剧伒濂栧緱涓籎udea Pearl璋堬細涓嶈兘鍙�潬鏁版嵁
- 标签: 欧菲光 财报 2025年 净利润
- 解锁 LLM Agent 力量!Anthropic 发布工具编写指南,助你玩转大语言模型!
- 标签: 联想 贝克汉姆 AI+体育 FIFA世界杯
- 智能家居新趋势!洗衣房里的 “机器人小能手” 正式上岗
- 通义千问发布Qwen3-LiveTranslate-Flash3秒同传延迟刷新行业纪录
- 云安全日报210406:红帽OpenShift云应用平台发现拒绝服务漏洞,需要尽快升级
- 奔驰携手字节跳动,共同推出搭载豆包大模型的全新纯电 CLA
- 标签: 唯品会 品牌特卖 港股上市 电商平台
相关推荐:
- 阿里云推出新一代动作生成模型 Wan2.2-Animate,全面开源!
- 消息称Anthropic与云计算公司Riot Platforms达成91亿美元算力协议
- 苹果、微软等美国科技巨头要求政府提供芯片制造补贴
- 标签: 锐翔智能 北交所IPO 东山精密 苹果产业链
- 云计算核心技术Docker教程:使用卷和网络来持久化我们的数据
- Lindy Build发布!AI自主“氛围编程”:从创意到无Bug应用,吃饭时间搞定!
- 标签: 奇瑞汽车 港股上市 营收增长
- Gartner:2025年将有75%的风险投资将使用AI做决策
- 阿里第四财季实现营收2082亿元 同比增长2%
- 谷歌:计划到2030年实现数据中心全天候无碳能源运营
