基于动态聚合模块的参考图像纹理融合

在获得对应关系之后，我们通过一个动态聚合模块来融合参考图像的纹理。对于输入图像中的每个位置 p，我们计算其对应点 p' 在参考图像中的位置如下：xxxxx。为了转移参考图像的纹理，我们需要聚合位置 p' 周围的信息。我们将位置 p 与 p' 之间的空间差异表示为 p0 = p' - p。然后，位置 p 处的聚合参考特征 y 通过以下方式将原始参考特征 x 与修改后的 DCN 融合计算得到：yyyyy。其中，pk ∈ {(−1,1),(−1,0),...,(1,1)}，wk 表示卷积核权重，∆pk 和 ∆mk 分别表示可学习的偏移量和调制标量。与 [39] 中使用固定大小的裁剪补丁来进行参考特征聚合操作相比，我们的动态聚合模块动态地利用了围绕预计算的对应点的信息，其中包括可学习的偏移量 ∆pk。这种方法可以更灵活地适应不同的纹理模式，并获得更好的融合结果。