3D数据在多个领域(如安全、通信、自动驾驶)的应用日益增长,其中点云是表示传感器数据(如LIDAR、ToF、结构光系统)的基础类型。点云提供深入信息且无需数据简化,但存在3D空间稀疏性和非结构化数据的缺点。
神经网络在点云中的应用
神经网络在处理点云时需采用特殊方法,因其与标准卷积神经网络处理图像的方式不同。主要任务包括:
主要神经网络架构
-
PointNet/PointNet++
- PointNet利用对称函数(如不变性)提取点云特征,通过输入和特征变换块保持变换不变性。
- PointNet+在PointNet基础上增加采样和分组层,支持变密度点云的局部特征学习。
-
2D和3D卷积
- 2D多视图CNN:将点云渲染为多视角2D图像,再通过CNN处理。
- 3D卷积:扩展卷积操作至点云,如ELF-Nets和PointConv,分别基于2D离散拉普拉斯算子和蒙特卡洛近似。
-
图卷积网络(GCN)
- 将点云表示为无结构图或局部邻域图,通过图NN提取特征,如Dynamic Graph CNN。
-
3D点胶囊网络
- 胶囊网络通过动态路由实现更丰富的空间层次表示,在特征提取、分割、重建等任务中表现优异。
-
生成对抗网络(GAN)和自编码器
- GAN学习点云紧凑表示,用于分类、完成、生成等任务(如PU-GAN进行点云上采样)。
结论
目前点云处理尚无统一方案,各种方法各有优劣。未来工作将集中于点云注册算法和基准测试。