基于师生模型和NOCS表示的三维姿态估计

基于师生模型和NOCS表示的三维姿态估计

模型介绍

本文介绍了一种基于师生模型和NOCS表示的三维姿态估计方法。学生和教师模型在二维和三维分支中具有相同的设计，均来自UDACOPE。

• 二维特征提取: 使用PSPNet和ResNet34作为骨干网络进行二维图像特征提取。* 三维特征提取: 使用MinkowskiNet和5cm体素大小的稀疏卷积操作进行三维特征提取。* NOCS表示: 使用32个分类桶进行目标表示，而不是直接回归。

训练过程

• 预训练阶段: 在源数据上进行50个epoch的训练，使用Adam优化器，学习率初始化为1e-4，批大小为32。学习率在15k迭代时按0.6的比例降低，在30k迭代时按0.3的比例降低，在45k迭代时按0.1的比例降低，在60k迭代时按0.01的比例降低。* 测试时自适应: 学生模型使用与预训练阶段相同的学习率，教师模型使用γ = 0.99的动量更新进行平滑更新。

姿态估计

给定目标数据，首先每次迭代更新模型，然后估计姿态。实验中使用的参数如下：

• λCE = 1.0* λC = 1e-6* λd = 1.0* λpl = 1.0* 点过滤阈值ρ = 0.05

总结

本文提出的基于师生模型和NOCS表示的三维姿态估计方法，在二维和三维特征提取方面均采用了先进的技术，并在预训练和测试时自适应阶段采用了有效的策略，能够有效地估计目标姿态。