人工智能|ICCV 2021 | 表现SOTA！CurveNet（面向点云几何形状的长距离特征提取网络）
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
Walk in the Cloud: Learning Curves for Point Clouds Shape Analysis
文章图片
作者单位：悉尼大学，新南威尔士大学
项目网页：https://curvenet.github.io/
代码：https://github.com/tiangexiang/CurveNet
论文：https://arxiv.org/abs/2105.01288
导读：
点云处理一直以来是计算机视觉领域中的一项具有挑战性的任务。与传统2D图像不同，点云在3D空间中稀疏的表示，使得其很难像图像那样被提取语义特征。基于此，近年来有很多工作设计了高效的点云特征提取算子，对局部和全局的模式进行响应。然而却鲜有方法专注于捕获点云物体的形状和几何特征。隐示的几何特征表达有助于完善整个点云物体的表征，使得在下游基础任务中达到更精确的效果。
本文提出了一种长距离的点云特征提取算子，通过在与点云同构图(isomorphic graph)上进行有导向的游走(guided walk)，聚集出一系列固定数量和长度的弧线(curve)，来对点云整体特征补充额外的几何信息。
文章图片
方法简介：
首先作者定义出在3D点云上Curve的概念：
并随后设计出一种Curve Grouping模块，在特征空间中对输入的点云提取curves。具体而言，作者依赖于MLP来作为可学习的walk policy，在点云上临近节点间进行转移，并将整个转移轨迹收集起来作为一个curve。
文章图片
然而不同于随机游走(random walk)，有导向的游走极有可能陷入各种各样的循环，使得curve携带多余的重复信息，对几何的表征能力大大降低。下图列出了四种潜在的循环，在curve grouping时应该完全避免：
文章图片
基于此，作者用了一种简单的动态动量(dynamic momentum)的编码方法，使得每次节点转移时考虑到当前整体的curve进度，进而避免重复的游走规律。
【人工智能|ICCV 2021 | 表现SOTA！CurveNet（面向点云几何形状的长距离特征提取网络）】除了应该完全避免的循环外，作者认为在curve grouping过程中仍然会遭遇交叉(crossover)。适量的交叉可能会携带有效的模式，因此不应该被完全避免，只需要相应的抑制。作者通过研究当前curve的前进方向(heading direction)对偏离直线前进的节点选择进行抑制，具体流程如下图：
文章图片
将固定数量和长度的curve按上述方法聚集之后，作者提出一种Curve Aggregation模块，通过attention的方式，对inter-curve和intra-curve的信息进行分开建模，并最终聚合到各个点特征上。
为了验证所提出方法的有效性，作者将Curve Grouping和Curve Aggregation模块融入到一个简单的ResNet-style的网络中，命名为CurveNet，来进行基础的点云形状分析任务，具体的网络结构如下图：
文章图片
实验结果：
CurveNet在三大基础的点云形状分析任务（ModelNet40分类，ShapeNet Part部分分割，ModelNet40法线预测）上均达到了SOTA效果：
文章图片
作者通过额外的可视化和消融实现，对提出的curve进行了分析：
文章图片
文章图片
验证了本文提出方法的有效性。
ICCV和CVPR 2021论文和代码下载
后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集
后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的两篇Transformer综述PDF
重磅！3D点云交流群成立
扫码添加CVer助手，可申请加入CVer-3D点云微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。
一定要备注：研究方向+地点+学校/公司+昵称（如3D点云+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
文章图片
▲长按加小助手微信，进交流群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看
文章图片
推荐阅读
- 2021-02-17|2021-02-17 小儿按摩膻中穴-舒缓咳嗽
- 2021-02-10（找不回的“年味”……）
- 2021-05-05五一的五天假期结束了
- 2021/1/15|2021/1/15 数幸福
- 20210307《挑战赛怂人胆》【能量将帅挑战赛（01）】
- 人工智能|干货！人体姿态估计与运动预测
- 2020年，告别焦虑的自己，2021年，期待满意的自己。
- 今天开心的三件事（第454天，20210125，星期一，阴）
- 《我怎样教语文》读书打卡（十九）20210317
- 华杉版资治通鉴【1154】别人家的孩子，是中国人民永远的噩梦。2021-04-03