Dynamic Arrg

Posted by Packy on February 16, 2020

2019_ICCV_Dynamic Points Agglomeration for Hierarchical Point Sets Learning

问题: 动态地对点进行降采样

研究现状: 目前的对点云进行卷积的操作, 都是一种固定的方式,例如在欧式空间中寻找knn个邻点

points agglomeration, however, only perform points sampling and grouping in original Euclidean space in a fixed way.

这种拍脑袋,与任务无关的方法,限制了其适应更多场景的能力。

创新点:

我们开发了一种具有动态点集聚的新颖的分层点集学习体系结构。通过利用语义空间中点的关系,设计了一个基于图卷积网络的模块来学习软点簇的聚类。

在采样层中,使用迭代的最远点采样(FPS)生成代表点,其中在每次迭代中都选择相对于其余点而言距采样点集最远的点(在欧氏空间中)。然后,对于每个采样点,分组层在其半径之内找到K个最邻近点(即,分组)。最后,汇聚层(即PointNet)聚合与本地表示属于同一组的K个点的要素。通过重复上述步骤来执行自下而上的分层学习。简而言之,我们可以将PointNet ++视为一种分层结构,其中各个点逐层聚集在一起。 PointNet ++的局限性显而易见:1)采样和分组策略是启发式的与任务无关并且非常耗时; 2)合并方案仍未考虑点之间的关系。应当注意,PointNet ++中设计的采样和分组操作基于以下假设:输入3D空间中相距遥远的点是最具有代表性(即应采样)的点,而输入3D空间中相距较近的点在语义上相似(即,应该分组并合并)。在很多情况下,这种启发式策略对于学习3D表示都是不可行的。例如,如图1所示,给定一个平面,我们想对两个点进行采样并生成组。 PointNet ++中采用的策略可能会分别从飞机的两个机翼采样两个点,并且生成的组可能不包含来自机身的点。飞机上最重要的部分丢失了。因此,以固定的方式对输入欧几里得空间中的点进行采样和分组不能适应各种情况。

Pointnet++ 采用的建图方式,是从欧式空间寻找固定半径个点

方法:

假设有一个矩阵 N*M M<N

从N个点中,采样M个点 ,每一个采样点都和之前的N个点有关,是其特征的聚合。

这个矩阵怎么来,首先利用

计算机生成了可选文字: Thekeypointistogeneratetheagglomerationmatrix. Wedesignamodule巳,DPAM)tolearnthismatnxwith aGCN.Thereisnoexplicitgraphthatexistsinpointclouds, henceasimilaritygraphisconstructedbasedontheembed- dingOfeverypoint: 」(0=softmar(F(l)F(1)T)eIRNXN (4)

特征之间的相似度,建立一个软邻接矩阵,然后用这个软邻接矩阵,和特征矩阵

通过GCN,得到一个N*M的矩阵,将这个矩阵用来降采样。

物理意义不明。。。

结论:在这项工作中,提出了动态点集聚模块,以构建有效的分层点集学习架构。 该基于GCN的模块用于学习具有点关系和特征的点集聚矩阵。 与以固定方式对点进行采样和分组的固定集聚策略相反,我们提出的动态集聚策略可以动态适应各种情况。 此外,提出了一种参数共享方案以减少存储器和计算的使用。 与定点集聚策略相比,我们的动态集聚架构可在多个基准上以较高的推理速度实现更好的性能。