阿里云:真武芯片超节点已成功适配Qwen3.8,上线百炼提供推理服务
7月23日消息,阿里云宣布,阿里真武M890超节点已成功适配Qw阿里en3.8,并上线阿里云百炼平台提供模型推理服务,这是国内首个成功云:运行超2万亿参数大模型的超节点。
Qwen3.8是阿里最新旗舰真武模型,参数规模高达2.4万亿,跑通这一规模的模型需要将参数分散到几十张芯片甚至上百张高速互联的GPU卡,让万亿参数“跑得又稳又快”。然而,普超节通AI集群因通信带宽的局限,无法满足高吞吐、低延迟、高并发的需求。
真武M8点已90是平头哥新一代训推一体AI芯片,原生支持FP32到FP4等多种数据精度成功,可应用于高精度训练、低精度和超低精度推理的全场景。真武超节点实例通适配过ICN Switch 1.0互联芯片,让64张真武M890实现了800GB/Qws的高速互联,显存规模达到9TB,单实例即可支撑大规模2万亿参数MoenE模型的专家并行需求。
此外,阿里还从芯片到云平台层面实现了与Qwen模型3.的全链路优化,不仅可以丝滑跑通Qwen3.8,还能显著提升推理效率、降低8,推理成本。实测数据显示,通过算子优化和软硬件架构协同,该超节点实例在Ag上线entic推理场景中最多可实现1.5倍的推理性能提升。
相关文章:
相关推荐:
- GitHub Copilot6月起全面转向按量计费:基础月费不变,引入 Token 积分制
- AWS Panorama是否会为计算机视觉游戏带来新的面貌?
- AI 编程公司Replit 融资 2.5 亿美元,估值达 30 亿美元
- 标签: DeepSeek 英伟达 鸿蒙智行 中创新航
- 豆包正式上线未成年人保护模式
- 标签: 字节跳动 Seed 周畅 具身智能
- 标签: AI音乐
- 面壁智能推出 VoxCPM:新一代高拟真语音生成模型
- 标签: OnlyFans LeonidRadvinsky 社交平台 成人内容
- Freepik 上线豆包 Seedream 4.0 图像模型,premium+会员可无限使用
