字节跳动推出 USO 模型,打破 AI 图像生成的 “风格与主题” 对立
在 AI 图像生成领域,风格驱动和主题驱动的图像生成一直以来被视为两个相对独立的任务。前者注重风格的相似性,而后者则强调主题的字一致性,造成了两者之间的矛盾。最近,字节跳动的智能创作实验室(UXO Team)推出了名为 USO(统一风格 - 主题优化)的新模型节跳,成功地解决了这一行业长期以来的难题。
字节跳动的研究人员深知 AI 模型的成长依赖于数据。因此,他们建立了一个庞大的数据集,包含动推大约20万个三元组。每个三元组包括一张 “风格参考图”、一张 “内容参考图”,以及一张 “风格化目标图”。通过这个设计,模型能够学习如何出 将风格与内容相结合。
在模型的训练过程中,字节跳动采用了独特的两阶段训练法。第一阶段专注于风格的学习,采用了先进的图像编码器US,帮助模型理解更深层次的艺术风格。第二阶段则将内容信息加入,通过处理确保主题的准确性。这一方法让风格和内容在模型中分开学习O ,最终在生成图像时实现完美融合。
为了进一步提升模型的表现,字节团队还引入了风格奖励学习(SRL)机制,通过强化训练激励模型在保持主模型题不变的情况下尽量模仿风格。最终,这一系列创新使 USO 在生成图像时展现出了极高的灵活性和精准度。
为验证 USO 的能力,字节跳,打动还推出了业界首个能同时评估风格相似度和主题保真度的基准测试平台 USO-Bench。在这一平台上,USO 在各个维度上均取得破 了显著优势,超越了现有的开源模型。
USO 的技术不仅在数字艺术领域表现出色,也为商业设计带来了新的可能。品牌可以利用 USO 生成风格多样AI但又统一的营销材料,满足不同平台的需求。更重要的是,USO 已经全面开源,鼓励更多的开发者和创作者一起探索其潜力。
github:h 图ttps://github.com/bytedance/USO
体验:https://huggingface.co/spac像生es/bytedance-research/USO
划重点:
- 字节跳动推出的 USO 模型打破了风格与主题的对立,实现了两者的完美结合成的。
- USO 模型通过创新的训练方式和庞大的数据集,提升了图像生成的灵活性与精准度。
- USO 已全面开源,鼓励开发者探索其在创意内容和 “商业设计中的应用。
相关文章:
- 云计算核心技术Docker教程:Docker使用网桥网络
- 美光推出两款数据中心SSD——美光6500 ION NVMe SSD及美光XTR NVMe SSD
- 标签: 58集团 李子健 姚劲波 安居客
- MongoDB Atlas支持多云数据库集群 阿里云在列
- 云计算开发:Python内置函数-execfile() 函数详解
- 标签: 特斯拉 马斯克 特斯拉狙击 拒绝万亿富豪
- 标签: 卡尔动力 Robotruck KargoOmni 干线无人货运
- 云安全日报210329:Debian垃圾邮件过滤器发现注入攻击漏洞,需要尽快升级
- 标签: 滴滴充电 双碳目标 超充枪 绿色出行
- Uber 印度推出司机数据分类新任务,助力 AI 模型发展
相关推荐:
- 应对模型推理缺陷:苹果MIND团队加紧招聘AI人才
- 使用 Flux+Flagger+Istio+Kubernetes 实战 GitOps 云原生渐进式(金丝雀)交付
- 快手可灵 2.5Turbo 模型强势登顶全球视频生成榜单!
- 标签: 阿里巴巴 钉钉 陈航 无招
- 实测阿里版ChatGPT“通义千问” 写《流浪地球3》电影剧本
- 标签: 阿科玛 涂料解决方案 粘合剂解决方案 MBS
- Nvidia 推出小型开放模型 Nemotron-Nano-9B-v2:可切换的推理功能
- 亚马逊收购印度电商Perpule:帮助海量“夫妻店”支持移动支付
- 标签: 标签 追觅 俞浩 社交媒体营销 智能硬件
- 分析 BAT 互联网巨头在大数据方向布局及大数据未来发展趋势
