多任务实现SOTA,UBC谷歌等提出3D点云的无监督胶囊网络
这是一种为 3D 点云提出的无监督胶囊架构,并且在 3D 点云重构、配准和无监督分类方面优于 SOTA 方法。
理解对象是计算机视觉的核心问题之一。传统方法而言,理解对象任务可以依赖于大型带注释的数据集,而无监督方法已经消除了对标签的需求。近来,研究人员试图将这些方法扩展到 3D 点云问题上,但无监多任督 3D 学习领域却进展寥寥。
近日,包括 Weiwei Sun、Andrea Tagliasacchi、Geoffrey Hinton 等来自英属哥伦比亚大学、谷歌研究院、多伦多大学的研究者提出了用于 3D 点云的无监督胶囊网络。Hinton 对此表示:在不受监督的情况下找到一个对象的自然组件以及这些组件的务实内在参照系是学习将解析图像转换为局部整体层级结构的重要一步。如果以点云开始,则可以做到。
具体而言,研究者通过排列等变(permutation-equivariant)的注意力计算对象的胶囊分解,并通过训练成对的随机旋转对象来自监督该过程。本研究的核心思想是将注意力掩模聚合为语义关键点,并使现S用它们来监督满足胶囊不变性或等方差的分解。这不仅可以训练语义上一致的分解,还能够学习以对象为中心的推理的规范化操作。在这种情况下,既不需要分类标签,也不需要手动对齐的训练数据集进行训练。
最后,通过以无监督的方式学习以对象为中心的表征,该方法在 3D 点云重构、配准和无监督分类方面优于 SOTOTA 方法。研究者表示将很快公布源代码和数据集。
论文链接:https://arxiv.org/abs/2012.04718
项目主页:https://canonical-capsules.github.io/
方法
该网络在未对齐的点云上进行训练,如下图 2 所示:研究者训练了一个将点云分解为多个组件A,的网络,并通过 Siamese 训练设置实现不变性 / 等方差。
然后研究者将点云规范化为学习的参照系,并在该坐标空间中执行自动编码。
损失
正如无监督方法中常见的那样,该研究的框架依赖于大量的损失,这些损失控制着力图在表征中获得的不同特征。请注意所有这些损失是如何不受监督且不需要标签的。研究者UB根据他们监督的网络部分组织损失,包括分解、规范化和重建。
网络架构
研究者简要介绍了实现细节,包括网络架构。
编码器 E。我们的架构是基于 [42] 提出一种类似于点网的架构,具有残差连接和注意力上下文归一化; 解码器 D。公式 (4) 中的解码器基于每个胶囊运行。本研究采用的解码器架构类似于 AtlasNetVC谷2 [13](带有可训练的网格)。不同之处在于本研究通过相应的胶囊姿态转换每个胶囊的解码点云; 回归器 K。研究者只需连接描述符,并通过 ReLU 激活函数调用一系列全连接层,以回归 P 胶囊定位。在输出层,研究者使用线性激活函数,并进一步减去输出平均值,以使回归位置在规范化框架中以零为中心(z歌等ero-centered); 规范化描述符。由于本研究的描述符只是近似旋转不变(通过扩展),研究者发现在规范化之后重新提取胶囊描述符β_k 很有用。
实验及结果
自动编码
研究者针对两个训练基线(在单类别和多类别变体中经过了训练)评估了用于训练网络任务(重建 / 自动编码)的方法的性能:
AtlasN提出etV2 [13],一种使用基于补丁(patch-based)多头解码器的 SOTA 自动编码器;
3D-PointCapsNet [58],一种利用胶囊架构的 3D 点云自动编码器。
下表 1 是定量分析的结果,本文方法在对齐和未对齐的设置下均取得了 SOTA 的性能结果。
下图 3 是定性分析的结果。研究者给出了基3D于分解的 3D 点云重建方法以及 3D-PointCapsNet [58]、AtlasNetV2 [13]的重建结果。
配准
研究者在配准 3D 点云的能力方面评估了该方法的性能,并与以下 3 个基准进行了比较:
Deep Closest Points (DCP) [52]:一种基于深度学习的点云配准方法; Deep点云GMR–RRI [56],一种 SOTA 方法,该方法可以将云分解为具有旋转不变特征的高斯混合; DeepGMR–XYZ [56],其中将原始 XYZ 坐标用作输入,而不使用旋转不变特征;
本研究采用的变体方法 RRI,其中使用 RRI 特征 [6] 作为该架构的唯一输入。本文使用 RRI 特征的方法遵循 DeepG的无MR 训练协议,并训练 100 个周期,而对于 DCP 和 DeepGMR,本研究使用了原作者的官方实现。定量分析的结果如下表 2 所示:
无监督分类
除了重建和配准(这两者是与训练损失直接相关的任务)之外,本研究还通过分类任务评估了方法的有效性,该分类任务与训练损失没有任何关系。结果如下表 3 所示,本文方法监督均实现了 SOTA 的 Top-1 准确率。
控制变量实验
此外,为了进一步分析规范化胶囊(Canonical Capsules)的不同组件对性能的影响,本研究进行了一系列控制变量实验,结果如下表 4、表 6、表 7 所示:
表 4:损失的影响。
表 6:规范描述符的有效性。
表 7:点的数量对性能的影响。
相关文章:
- 谷歌被控与Facebook合谋操纵广告价格
- 标签: 曹操出行 Robotaxi 阿布扎比 吉利控股
- 谷歌AI Edge Gallery上线Google Play,手机秒变AI神器,无网也能玩转图像、语音和对话!
- IBM收购云咨询服务提供商Nordcloud 挑战亚马逊微软
- 解锁云端秘境!全国首个AI“村游”地图落户贵州加榜梯田
- 云计算开发:Python内置函数-next()函数详解
- 标签: OpenAI TBPN AGI 播客
- 高薪新风口:人工智能岗位月薪最高7.8万,实习生日薪可达4000元
- 马斯克旗下 xAI 数据标注团队裁员500人
- 皮尤民调揭示:美国人对AI失去“新鲜感”,担忧多于兴奋
相关推荐:
- 云计算核心技术Docker教程:Docker Swarm 模式管理将节点作为管理节点加入
- 标签: 珞石机器人 协作机器人 工业机器人 具身智能机器人
- 甲骨文公司开盘跌超4% 市值2256.24亿美元
- 标签: Mindverse Macaron AI LoRA强化学习 个人智能
- 甲骨文公司股价飙升 27%,人工智能未来收入大幅增长
- 用户警惕!Anthropic Claude Desktop 被指悄悄安装间谍软件
- 标签: 宝马 齐普策 NeueKlasse 汽车关税
- 云计算核心技术Docker教程:Docker Hub停用帐户或组织
- 标签: 原神 北京环球度假区 羽球节 蒙德城
- 百度 Qianfan-VL 开源发布,昆仑芯助力多模态 AI 新突破
- 标签: 腾讯云 吴运声 王慧星 优图实验室
- 标签: 奇峰商城 创维官方商城 松下商城 意尔康官方商城
- 亚马逊拟开设家居和电子产品折扣店 将以极高折扣出售库存商品
- 70%制作工作量均在云上完成 《时间之子》是如何做到的?
- Infineon与 NVIDIA 携手推动人形机器人精确运动技术
- 突破性低延迟!Cartesia 推出 Sonic-3语音 AI 引擎:极致拟人化,对话延迟低于100毫秒
- 腾讯:AI能力全面开放,全面适配主流国产芯片
- 合作三年成果斐然 MongoDB联手阿里云布局自动驾驶、金融、物流等行业
- Facebook 2020年为保护CEO扎克伯格安全花费了2300万美元
- 别再被忽悠了!想靠Python找工作,你在做梦!
