植物的三维重建：基于结构光法和点云处理

本文主要讲述了植物的三维重建过程。首先介绍了基于结构光法 (SFM) 的三维点云构建方法，包括检测每张图像的特征点、匹配特征点、计算相机的内外参数以及生成稀疏的三维点云。

SFM [54] 是一种有效的多视图立体视觉 (MVS) 方法，它可以利用围绕物体拍摄的一系列二维图像构建三维点云。为了生成精确的点云，图像应具有较短的基线，并尽可能完整地包含物体。SFM 管道可以概括如下：

检测每张图像的特征点。
匹配图像之间的特征点。
计算相机的内在和外在参数，并生成稀疏的三维点云。

具体而言，采用 SIFT 描述符提取特征点。近似最近邻算法 [55] 用于在少量计算量下匹配特征点，并移除低于阈值的特征点对。对于剩余的特征点对，利用随机抽样一致性 (RANSAC) [56] 估计基本矩阵、相机参数和投影矩阵。在估计基本矩阵时，可以进一步细化匹配的特征点对。最后，应用 Bundle Adjustment [49] 进行优化。

然后提到利用 CMVS 方法，在稀疏的三维点云基础上构建稠密的点云，以获得更多的表面和纹理信息。由于 SFM 生成的稀疏点云仅覆盖物体的主要骨架，缺少表面和纹理信息，因此我们利用 CMVS 在主要三维结构的基础上构建稠密的点云。在 CMVS 中，将具有强颜色和几何一致性的点添加到稀疏的 SFM 模型中，以生成稠密且富含纹理的点云。

接下来介绍了一个可视化工具 VisualSFM [46], [47]，可以方便地进行端到端的三维重建。VisualSFM 囊括了基本的 SFM 管道和 CMVS，可以轻松地操作以生成稠密的点云。在图 3(a) 中，我们使用 VisualSFM 生成了一个示例植物的点云，以及在与植物模型相同坐标系下捕捉图像序列的相机位置分布。我们还在图 3(b)-(d) 中展示了图像序列中的几个图像示例。

通过 MVS 生成的点云是无单位的，因此我们放置一个标准框与植物一起，将点云缩放为其真实世界的大小。地面被视为植物坐标系的水平面，平面法线定义为重力方向。

最后讨论了处理点云的预处理步骤，包括通过空间区域过滤、颜色信息过滤和基于半径的离群点过滤来去除背景点和噪声点。

D. 点云预处理

由于方法的局限性和实验条件，重建的植物点云充满了噪声、离群点和背景点（在图 2 中的 MVS 点云中可以看到一个示例）。这些点会严重干扰叶片分割和植物表型分析算法，导致结果不正确。

为了抑制生成的点云中的背景点和噪声点，依次应用了三个过滤器。我们通过参考重力方向作为 Z 轴来建立植物坐标系，XOY 平面代表水平面。第一个过滤器是一个空间区域过滤器，它只保留我们植物坐标系中定义的 0.5 × 0.5 × 0.5 m 立方体内的点，因此可以通过应用此过滤器轻松移除来自地面和花盆的点。第二个过滤器使用颜色信息来移除非冠层点。如果一个点的颜色非常接近亮白色或纯黑色，那么该点应该被移除，因为它可能来自背景或噪声。第三个过滤器是一个基于半径的离群点过滤器 [45]。如果以当前点 x 为中心、半径为 R 的球体内的点数低于阈值，则 x 被视为离群点，将被丢弃。