Feature Relevance Assessment for the Semantic Interpretation of 3D Point Clouds Data

摘要

大型三维点云的自动分析是摄影测量、遥感和计算机视觉中的一项重要任务。在这篇文章中，我们提出了一种新的方法来对这种点云进行语义解释，其中包括特征相关性估计，以减少处理时间和内存消耗。给定具有130万个3D点的标准基准数据集，我们首先选取一组21个几何3D和2D特征。随后，我们应用与分类器无关的排序过程，该过程设计一般的相关性度量，以便导出通用特征的紧凑且鲁棒的子集，这些子集通常适用于大量的后续任务。该度量基于7种不同的特征选择策略，因此解决了给定数据的不同内在属性。对于语义解释3D点云数据的例子，我们展示了由4个不同的最先进分类器组成的仅包含最相关特征的较小子集的巨大潜力。结果显示，相比于包括尽可能多的特征来步长知识缺乏，用很少的通用特征甚至可以提高竞速来执行关键人物，比如场景解释。

1介绍

具有不规则分布的3D点的大点云的自动解释是摄影测量、遥感和计算机视觉中的一个主要感兴趣的任务。为了用语义标签(例如，地面、建筑物或植被)唯一地标记每个3D场景点，该任务应该适合非常普遍的场景结构、不同的采集技术和不同类型的3D点云数据。例如，机载激光扫描(ALS)用于捕捉具有几乎均匀点密度的大规模3D环境。然而，局部点密度仍然相对较低，仅达到约50点/平方米。相比之下，地面激光扫描(TLS)和移动激光扫描(MLS)用于捕获代表局部物体表面的密集和精确的3D信息，但是测量的3D点的密度取决于它们到扫描单元的距离。因此，对采集数据的适当解释必须面对由低或变化的点密度引起的某些挑战。
我们致力于解释大型和密集采样环境，即TLS和MLS点云的分析，并专注于3D结构的详细描述。因此，主要目标是为场景中的每个3D点分配一个语义标签。为此，必须考虑到3D点云包含由单个3D点的空间排列隐含表示的有价值的几何信息。为了充分描述这种隐含信息，通常恢复每个3D点周围的局部邻域。随后，从邻域内所有3D点的空间排列中提取几何3D特征。根据用于数据采集的设备，当使用地面激光扫描仪或距离相机时，可能会有额外的功能，如强度。在全波形激光雷达数据的情况下，可以从返回的回波和波形形状中导出进一步的特征。
除了可能相关、冗余甚至不相关的不同类型的特征之外，用于分类的方案是非常重要的。3D点分类的标准方法侧重于对每个3D点进行单独分类。为此，已经提出了无监督和有监督的分类方案。无监督方法已经被提出，例如基于3D点云的分层K-均值聚类的方法(Chehata等人，2008)或利用特征值的分析考虑来描述对象结构的方法(Jutzi和Gross，2009)。对于监督分类，基于高斯混合模型的方案(拉隆德等人，2006)，支持向量机(洛哈等人，2006；Mallet等人，2011年)、AdaBoost (Lodha等人，2007年)或Random Forests (Chehata等人，2009年)已被提出。与这些标准方法相反，其他技术将上下文信息结合到分类过程中，例如通过使用图形模型，例如关联马尔可夫网络(穆尼奥斯等人，2008；穆尼奥斯等人，2009年a；穆尼奥斯等人，2009年b)，非关联马尔可夫网络(沙波瓦洛夫等人，2010年；Shapovalov和Velizhev，2011)，条件随机场(Niemeyer等人，2012)或简化马尔可夫随机场(Lu和Rasmussen，2012)。已经提出了进一步的方法，其具有利用点云统计和学习精细和粗糙尺度上的关系信息的多阶段推理过程(熊等人，2011)以及产生基于规则的分类序列的分类树(徐等人，2012)。最近，已经提出了空间推理机，其基于对数据中固有的中长程相关性进行建模，从而考虑空间语义上下文(Shapovalov等人，2013)。
为了用图形模型建模上下文，必须从训练集中学习局部邻域中的3D点之间的上下文关系。因此，精确推理是难以处理的，因此只能应用近似推理技术。
我们没有使用复杂的模型，也没有找到学习上下文关系的最佳训练技术，而是专注于使用良好且通用的特性，与大量元素之间的大量交互相比，这些特性提供了更高的可解释性。由于对单个点的考虑不包括背景，这些特征应该在一定的空间支持下计算，即在局部3D邻域内计算。因此，在本文中，我们解决了两个重要问题:1)可以为点云的每个3D点计算哪些特征，以及2)这些特征对于进一步的任务(如3D场景分析)有多大意义？为了达到普遍的适用性，我们只利用几何特征进行三维场景分析，而忽略了基于回波的特征以及全波波形特征，这些特征也包括在类似的方法中(Chehata等人，2009；Mallet等人，2011年)，但并不总是可用。此外，我们明确希望避免依赖于分类器的特征选择方案，该方案例如已经被提出用于基于段的分类(Khoshelham和Oude Elberink，2012)。本文的主要贡献是一种新的方法：

利用各种几何3D和2D特征来表征3D点的局部邻域
根据针对给定数据的不同内在属性的一般相关性度量来分析这些特征的相关性
提供具有普遍适用性的通用功能的紧凑而强大的子集
允许可靠地执行标准点云处理流水线的后续任务，例如3D点云数据的语义解释。

论文组织如下。我们首先在第2节中介绍了所提出的方法，并详细描述了流程链中的每个步骤。随后，在第3部分，我们评估了这种方法，并在标准基准数据集上演示了它的性能。在第4节中，我们讨论了我们的方法的结果，并将它们与最先进的方法进行了比较。最后，第五节给出了结论和对未来工作的建议。

2方法

该方法利用以三维点云表示的空间三维信息。因此，特殊的几何属性对于充分分析三维场景结构非常重要。这是通过考虑每个三维点的局部邻域(章节2.1)和提取封装了各自三维点之间几何关系的三维特征(章节2.2)来得到的。由于立面和杆通常精确地定向在垂直方向，所有的三维点可以投影到水平定向的平面上，并且进一步的属性可以用2D特征来描述(第2.3节)。从局部邻域导出的所有信息以及由此得到的全部特征通常用于根据预定义的语义标签对大量无组织的3D点进行分类(第2.4节)。然而，这仍然是对处理时间和内存消耗的挑战。因此，选择一个紧凑和稳健的多功能特征子集是可取的(第2.5节)。所选的特征子集通常应适用于各种后续任务，如3D场景分析、点云配准和自主导航。出于这个原因，它不应该依赖于学习机器的使用，不仅仅是针对一个单一的特征，而是涉及各种标准。
2.1邻域选择
一旦已经以3D点云的形式收集了关于局部环境的空间3D信息，场景分析的下一步通常包括恢复每个3D点X = (X，Y，Z)的局部3D邻域V。例如，这可以通过应用球面邻域定义来实现，其中固定半径球面内的所有点形成局部邻域(Lee和Schenk，2002)。或者，可以应用圆柱形邻域定义，该定义考虑了其在地面上的2D投影在固定大小的圆形区域内的所有3D点(Filin和普费菲，2005)。进一步的定义是基于选择不包括固定空间邻域大小的k个最近的3D点(Linsen和Prautzsch，2001)。此外，已经提出了一种基于维度特征选择最佳邻域大小的方法(德芒特凯等人，2011)。
2.2 3D特征提取
基于局部邻域V内所有3D点的空间信息，可以为每个3D点计算表示几何属性的不变矩(Maas和V osselman，1999)以及被称为3D结构张量S的相应3D协方差矩阵(Jutzi和Gross，2009)。λ1≥ λ2≥ λ3≥ 0的结构张量S的特征值λ1、λ2和λ3可直接用于描述局部三维结构，或者，基于这些特征值可导出封装特殊几何性质的进一步度量(West等人，2004；Toshev等人，2010年；Mallet等人，2011年)。为了描述局部维度，线性度Lλ、平面度Pλ和散射(即球形度)Sλ的度量提供了关于线性1D结构、平面2D结构或立体3D结构的存在的信息。进一步的测量由全方差λ、各向异性λ、特征熵Eλ和表示为σλ的特征值之和提供。还提出了利用曲率变化来表示λ(鲁苏，2009)。这些措施的正式定义如下

根据局部3D结构显示特征行为。除了从3D结构张量S导出的特征之外，还有其他重要的度量，即垂直度V (Demantké等人，2012)和局部点密度D，其定义为

其中Nz是法向量n的第三个分量，rk-Nn表示由3D点及其k个最近邻居定义的球面邻域的半径。这里，局部点密度的定义是根据2D的相应定义改编的(拉里和哈比卜，2012年）。

2.3 2D特征提取

由于立面和柱子通常都是垂直方向，因此可以通过将所有三维点投影到水平定向平面P。特别地，新2D表示中的局部点密度D2Din可以基于由2D点及其k个邻居定义的圆形邻域的半径rk-NN，2D来导出(拉里和哈比卜，2012)。另外，2D结构张量S2Din的特征值λ1，2d和λ2，2d及其比值可以表明在平面中有意义的2D结构。
这些特征值的和σλ，2d也用作特征。进一步引入基于离散矩形光栅的宁滨(例如，边长为0.25米的二次面元)，在平面P上的特定位置(X，Y)出现的量化产生累积图M (Monnier等人，2012)。由于每个3D点被映射到一个箱中，累积图M的条目M(X，Y)揭示了有多少3D点被投票给同一个箱。因此，高值M(X，Y)表示在(X，Y)处存在局部垂直结构。这种宁滨允许以类似于基于从圆柱形邻域导出的高度特征的方法(Mallet等人，2011)的方式，导出映射到每个面元的3D点的最大高度差Z和所有高度值Z的标准偏差σZof。

2.4 3D点云的分类

一旦提取了特征，这些特征可用于根据某些数据特征对3D点进行分类。为此，整个点集被分为训练集和测试集。
最近邻分类器提供了一种非常简单的分类方法，它为每个特征向量分配最近训练样本的类别标签。为此，必须定义一个距离函数，该函数可能基于欧几里德距离、一般闵可夫斯基度量或其他距离度量。当应用k最近邻(k-NN)分类器(Cover and Hart，1967)时涉及附加信息，该分类器对于每个特征向量，在训练数据中选择k个最近的样本，并根据它们的类别标签的多数票进行分类。因此，k-NN分类器简单地执行具有均匀核和可变带宽的核密度估计。这两种方法既不需要参数估计，也不需要某个模型的假设。相比之下，朴素贝叶斯分类器(约翰和兰利，1995)是一种概率分类器，它基于贝叶斯定理和所有特征有条件独立的朴素假设。
进一步的监督分类器由支持向量机(SVM)分类器表示(科尔特斯和瓦普尼克，1995)。支持向量机能够在小训练集的情况下进行推广，并且对噪声具有鲁棒性，因此近年来变得非常流行。一般来说，SVM是一个二元分类器，它被训练成通过在高维特征空间中构造一个超平面或一组超平面来线性分离两个类。
进一步的监督分类器由支持向量机(SVM)分类器表示(科尔特斯和瓦普尼克，1995)。支持向量机能够在小训练集的情况下进行推广，并且对噪声具有鲁棒性，因此近年来变得非常流行。一般来说，SVM是一个二元分类器，它被训练成通过在高维特征空间中构造一个超平面或一组超平面来线性分离两个类。由于特征空间中的线性分离通常是不可能的，所以引入了核函数，该核函数隐式地将训练数据映射到新的更高维度的特征空间中，其中数据是线性可分离的。为了解决多类分类的问题，基于一对一的方法，使用了由多个二进制支持向量机组成并在LIBSVM包(Chang和Lin，2011)中提供的一个支持向量机分类器。因此，对于每一对类别，训练SVM来区分一个类别的样本和另一个类别的样本。由于使用TLS和MLS，通常获得许多相似形状或至少相似几何行为的对象(例如，电线杆、电线、树干或交通灯)，这样的策略可以允许更好的训练步骤和随后对紧密位于特征空间中的类别的辨别。为了最佳地选择代表(高斯)径向基函数核的宽度的参数γ和惩罚分类误差的参数C，应用了基于在合适的子空间(γ，C)中的网格搜索的交叉验证。为此，训练集Y被分成两个不相交的集Y1和Y2。随后，在离散网格上的每一点，通过用当前参数选择在新的训练集Y1上训练和在验证集Y2上测试来评估整个分类器的性能。由此，选择那些产生最佳性能的值(γ，C)。

2.5 特征相关性评估和特征选择

一旦提取了各种特征，就必须考虑这些特征可能包含与分类任务相关的冗余或不相关的信息。虽然在理论上许多分类器被认为对给定的维度不敏感，但这种冗余或不相关的信息已被证明会影响它们在实践中的表现。因此，通常希望能够在不显著损失预测信息的情况下进行分类。这样的特征选择对于克服维数灾难、提高类的可分性和促进可解释性是很重要的。此外，由于涉及的数据要少得多，在处理时间和内存消耗方面的效率有望显著提高。
最近的特征选择方法主要应用基于过滤器的方法、基于包装器的方法或嵌入式方法(Guyon和Elisseeff，2003)。基于过滤器的选择需要定义一个性能评估函数，该函数提供一个可以从训练数据直接计算的分数。这种函数通常利用距离、信息、依赖性或一致性的通用度量。相比之下，基于包装器的选择直接涉及到学习机的性能，以便评估每个子集，从而进行特征选择。嵌入式方法在训练过程中进行特征选择，即同时搜索学习机的参数空间和特征选择空间。通常，基于包装器的方法比基于过滤器的方法产生更好的性能。然而，它们有过拟合的风险，需要大量的计算工作，并且只为指定的分类器提供优化的特征子集。因此，所选择的子集可能不太适合不同的环境，这对于
实例后续任务(如对象检测)很重要。嵌入式方法还提供了一个依赖于分类器的选择，这可能不太适合其他任务。由于基于过滤器的选择评估给定数据的内在属性，因此相应的结果显示出更大的通用性。
为了避免依赖于分类器的解决方案来获得紧凑和鲁棒的特征子集，我们应用了基于过滤器的特征选择，其中相关性直接从训练数据中计算，而不涉及学习技术。因此，特征选择是处理链中的一个小的独立组件，它产生可再现的结果。导出分数的顺序用于对特征进行排序。由于数据的不同标准可能与场景分析相关(赵等人，2010)，我们不仅使用单个测量，还使用多个测量1:
5 结论和未来工作
本文提出了一种新的特征相关性评估方法及其对三维点云数据语义解释的有益影响。涉及各种几何3D和2D特征，利用针对给定数据的不同内在属性的一般相关性度量，以导出通用特征的紧凑和鲁棒子集。结果显示，仅使用小的特征子集对于关键任务是有利的，例如3D点云的语义解释。这些改进不仅解决了处理时间和内存消耗问题，还提高了分类精度。在未来的研究中，我们希望能够应用一些紧凑而强大的多功能特征子集，以支持点云配准，便于配备有测距相机的自主车辆导航，或者将更详细的场景分析简化到对象级别。对于这些任务，自动找到特征子集的最佳大小也是有帮助的。此外，应该考虑上下文信息。有希望的结果是可以期待的