基于多视图立体视觉的植物三维点云分割与表型特征提取

本文提出了一种基于多视图立体视觉 (MVS) 的植物三维点云分割与表型特征提取方法。该方法首先通过 MVS 获取两种植物的三维点云，然后应用茎删除过程获得无茎密集点云。接着，使用基于多特征的区域生长算法分割冠层中的单个叶片。最后，利用小面过分割和最小值法提取每个单叶的叶面积、长度、宽度和叶倾角等表型性状三维边界框。

我们的贡献可以概括为以下四个方面：

我们成功地分离了纯叶部分和非叶部分（茎和背景点），并设计了一个茎移除过程，其中包括 DoN 阈值和叶点填充。
我们设计了一种能够分离重叠叶片的自动单叶分割算法。曲率特征用于删除重叠的叶边。其次，基于多特征区域生长，将两种观赏植物的冠层点云精确分割为单个叶片。
针对预先分割的冠层点云，我们提出了一种基于小面过分割和 Delaunay 三角化的精确叶面积估计算法。该方法的精度高，高羊茅叶面积平均计算精度为 96.8%，花叶茅平均计算精度达 97.8%。我们还对叶面积估计进行参数调整，并找到最佳参数配置。
最后，使用主成分分析 (PCA) 为每个分割的叶片生成三维最小包围盒，以快速提取叶片长度、宽度和叶片倾角等表型信息。实验表明，高羊茅叶长和叶宽的平均误差均小于 4.0%，矮羊茅的平均误差不大于 4.7%。两种植物叶片倾角的平均计算误差分别为 2.9° 和 3.0°。

共试验了四个样品，每种植物中有两个。

框架所提出的方法可分为五个阶段，框架图如图 2 所示。第一阶段是利用 MVS 技术构建精确的植物三维点云。在这一阶段，首先从各个方向拍摄主体的图像。然后，使用尺度不变特征变换 (SIFT) 描述符检测关键匹配点并搜索图像之间的对应关系。稍后，可以通过束调整生成稀疏点云。最后，将多视图立体聚类视图 (CMVS) 应用于稀疏模型，以生成对象植物的稠密点云。第一阶段的输出点云包含大量背景信息和噪声，可能会干扰接下来的叶分割步骤。因此，在第二阶段，我们通过去除非奇异区域（例如，斑点和地面）并抑制噪声点来预处理点云。在第三阶段，我们设计了一个茎移除过程，该过程使用 DoN[42] 和欧氏聚类来移除冠层中的茎系统。在 DoN 之后，应用邻域点搜索来填充一些与茎一起被错误删除的叶点。在第四阶段，首先计算点云中每个点的曲率特征，将曲率值高于阈值的点从点云中删除，因为它们很可能属于不同树叶之间的重叠区域。然后，采用基于多特征的区域生长算法对冠层中的单个叶片进行分割。在最后一个阶段，我们以全自动的方式测量样本植物每个分段叶的表型特征，如叶面积、叶长、叶宽和叶倾角。用于计算对于叶面积，我们在每个单叶上应用小面过分割算法[51]；然后，将每个叶片曲面分解为多个三维面，这些面在空间上是平坦和平滑的。我们可以将三维面作为二维流形投影到 XOY 水平面上。在对每个面的投影 2-D 流形应用 Delaunay 三角剖分[53] 后，一个面的面积由所有三角形面积之和近似。此外，叶的面积是通过将其所有小平面面积相加来估算的。

为了计算叶子的长度、宽度和倾斜角度，我们为每个叶子构造了一个三维最小边界框。边界框的方向显示叶的倾斜角度，而框的尺寸包含其叶的长度和宽度。

C、植物三维重建 SFM[54] 是一种有效的 MVS 方法，可利用拍摄对象周围的一系列二维图像构建三维点云。为了生成准确的点云，图像应具有较短的基线，并尽可能完整地包含主题。SFM 流水线可以概括如下：1) 检测每个图像的特征点。2) 在图像之间配对特征点。3) 计算相机的内部和外部参数，并生成稀疏的三维点云。SFM 只覆盖对象的主要骨架，缺乏表面和纹理信息。因此，我们利用 CMVS 构建基于主要三维结构的密集点云。将具有强烈颜色和几何一致性的点添加到稀疏 SFM 模型中，以在 CMVS 中生成稠密且纹理丰富的点云。

D、点云预处理由于方法和实验条件的限制，重建的工厂点云包含噪音、离群值和背景点。这些点会严重干扰叶片分割和植物表型算法，导致不正确的结果。依次应用三个过滤器以抑制生成的点云中的背景点和噪波点。我们通过将重力方向作为 Z 轴来建立植物坐标系，XOY 平面代表水平面。第一个过滤器是一个空间区域过滤器，因此可以通过应用此过滤器轻松移除地面和锅中的点。第二个过滤器使用颜色信息删除非扫描点。如果一个点的颜色非常接近亮白色或纯黑色，那么应该删除该点，因为它可能来自背景或噪声。第三个过滤器是基于半径的异常值过滤器[45]。如果以当前点 x 为中心的半径 R 球体中的点数低于阈值，则 x 被视为异常值，并将被丢弃。

详细梳理一下这段文字的步骤和方法

内容：

使用多视图立体聚类视图 (CMVS) 技术构建精确的植物三维点云，通过从各个方向拍摄主体的图像，并使用尺度不变特征变换 (SIFT) 描述符检测关键匹配点并搜索图像之间的对应关系，生成稀疏点云。
对点云进行预处理，包括去除非奇异区域（例如，斑点和地面）并抑制噪声点，以准备接下来的叶分割步骤。
设计茎删除过程，使用 DoN 阈值和欧氏聚类来移除冠层中的茎系统，并利用邻域点搜索来填充一些与茎一起被错误删除的叶点。
计算点云中每个点的曲率特征，将曲率值高于阈值的点从点云中删除，以删除不同树叶之间的重叠区域。
使用基于多特征的区域生长算法对冠层中的单个叶片进行分割，使用曲率特征删除重叠叶边。
利用小面过分割和 Delaunay 三角剖分算法提取每个单叶的叶面积、长度、宽度和叶倾角等表型性状三维边界框。
使用主成分分析 (PCA) 为每个分割的叶片生成三维最小包围盒，以快速提取叶片长度、宽度和叶片倾角等表型信息。
根据实验结果，评估叶面积估计的精度，并对叶面积估计进行参数调整以找到最佳参数配置。

总的来说，这段文字描述了使用 MVS 获取植物的三维点云，通过茎删除过程和基于多特征的区域生长算法分割冠层中的单个叶片，并利用小面过分割和最小值法提取每个单叶的叶面积、长度、宽度和叶倾角等表型性状三维边界框的方法。同时，还介绍了实验结果和评估方法。