英伟达开源 OmniVinci 全模态理解模型,训练数据仅为 1/6
近日,英伟达研究团队发布了全新的 OmniVinci 全模态理解模型,该模型在多个全模态理解基准测试中,表现出色,超越了英目前最顶尖的模型19.05分。更令人瞩目的是,OmniVinci 在训练过程中仅使用了0.2万亿的训练 Token,相较于竞伟达争对手的1.2万亿,其数据效率是其六倍。
OmniVinci 的核心目标是打造一个可以同时理解视觉、音频和文本的人工智能系统,使开源机器能够像人类一样,通过不同感官感知和理解复杂的世界。为了实现这一目标,研究团队不仅仅是简单地增加数据量,而是通过创新的网 O络架构和数据管理策略,成功实现了性能和效率的双重提升。
在设计上,OmniVinci 采用了全模态潜在空间的概念,旨在融合来自不mn同感官的信息,实现跨模态的理解与推理。研究团队发现,不同模态之间在感知和推理层面能够相互强化,这一发现为多模态 AI 系统的iV构建指明了方向。
OmniVinci 的架构设计具有可组合的跨模态理解能力,整合了图像、视频、音频和文本等异构输入。通过统一的全模in态对齐机制,该模型能够将不同模态的嵌入信息整合到一个潜在空间中,进一步输入到大语言模型(LLM)中。该机制包括三项关键ci技术,其中 OmniAlignNet 模块有效对齐视觉和音频信息,而时间嵌入分组和约束旋转时间嵌入则提升了模型对时间信息的 全理解。
为了培养 OmniVinci 的全模态理解能力,研究团队采用了两阶段的训练方法。首先是模态特定训练,接着进行全模态联合训练,模态利用隐式和显式学习数据,显著提升了模型的联合理解能力。
随着 OmniVinci 的发布,英伟达再次展示了其在人工智能领域的技术创新理解,预示着未来 AI 系统将更加智能、灵活。
github:https://github.com/NVlabs/OmniVinc模型i
划重点:
OmniVinci 模型在全模态理解基准测试中超越了顶尖模型19.05分。
训练数据量仅,训为竞争对手的1/6,数据效率提升至六倍。
采用创新架构和两阶段训练方法,显著提升模型的多模态理解练数能力。
相关文章:
- 标签: 知乎 第三季度 付费会员 营销服务
- 云安全日报220216:IBM SaaS集成平台发现Root特权提升漏洞,需要尽快升级
- 标签: 海菲曼 纳米振膜平板扬声器 喜马拉雅R2R DAC芯片 高端音频
- 标签: 工信部 5G用户 电信业务 千兆网络
- LiquidAI 推出 Liquid Nanos 系列轻量级 AI 模型,优化边缘设备应用
- Moondream3.0发布,多项基准测试超越了 GPT-5 等顶尖模型
- 标签: 网易 梦幻西游 网易云音乐 有道
- 云安全日报210425:IBM数据保护平台发现执行任意代码漏洞,需要尽快升级
- Nature:机器促进人类语言的产生
- 亚马逊进军智能体基础设施!AgentCore 全面开放,支持多家主流模型
- 标签: Sandisk 存储芯片 BiCS8 数据中心
- 告别P图烦恼!阿里Qwen-Image多图像编辑功能一键合成专业级广告大片
- 在中国一千人中多少人用苹果手机?答案你很难想象得到
- 马斯克也要效仿谷歌Facebook 为特斯拉设立控股母公司?
- 起底中国云厂商价格战:阿里京东先后入局,最高降幅“套路满满”?
- 标签: 嘉美包装 追觅科技 俞浩 逐越鸿智
- Perplexity 成功融资 2 亿美元,估值飙升至 200 亿美元
- 标签: 大疆 影石创新 无人机专利 专利权属纠纷
- DeepGEM大模型落地!金域医学联手腾讯、广医一院,用AI精准“读取”癌症基因密码
- 如何使用TensorFlow构建机器学习模型
