一.点云性质

1.无序性(结果与输入顺序无关,结构相同)
2.稀疏性,噪声…
3.几何旋转鲁棒性(平移、旋转、尺度等不影响结果)

二、任务

任务
分类、3D物体重建、3d关键点、配准、分割、目标检测、法向量估计

三.数据集

四、3d场景深度学习方法回顾

在这里插入图片描述
1.转换为栅格数据(volumetric data)+3D cnn
2.多视角图像(multi_view images)+2D CNN
3.mesh data +gnn(图神经网络)
4.深度图像+ cnn
5.点云 +cnn
在这里插入图片描述
分类:基于3D点、基于二维投影点
在这里插入图片描述

五、具体网络介绍:Pointnet

1.概述:
在这里插入图片描述
pointnet代码:https://mp.weixin.qq.com/s/2JxsMR3NNT1WCfkkY6FHCg
在这里插入图片描述
input(n*3) ——T-net(相当于矩阵,点云数据对齐) ——MLP(多层感知机,升维至64) ——T-net ——MLP(升维至1024) ——max pooling(每一维最大值,得到1024向量) ——MLP(降维至K)

2、关键1:max pooling(接在在mlp后:解决点云无序性,无论输入什么,最终结果不变)
在这里插入图片描述理论证明:在hausdorff空间连续下,max方法后接MLP可无限逼近目标函数F

3.关键2:T-net(借鉴STN网络,保证点云几何不变性,不用担心点云姿态,无平移不变形?)
在这里插入图片描述
4.总结
在这里插入图片描述

六、具体网络介绍:Pointnet++

1.概述
在这里插入图片描述
2.点集抽象三部分:采样+分组+pointnet(以二维图形式表示)
在这里插入图片描述
引入局部坐标保证平移不变形!
在这里插入图片描述
在这里插入图片描述
3.问题:密度的影响
在这里插入图片描述
在点数少时,pointnet++与pointnet精度对比

4.问题解决:MSG(多尺度)及MRG(多分辨率),多分辨率可大大减少耗时
在这里插入图片描述
5.pointnet的延伸:2D目标检测,根据结果建立三维视锥,最后进行3D检测
在这里插入图片描述

七、具体网络介绍:Pointcnn:X(希腊字母,读xi?)变换

1.概述:x变换,类似于卷积操作
在这里插入图片描述
2.平移不变形解决
在这里插入图片描述
3.性能比较
在这里插入图片描述

八、当前工作汇总与数据集

在这里插入图片描述

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐