基于点云辐射场的新视角图像生成网络

新视角图像生成是指使用同一场景、多个位置和角度拍摄的一组图像，生成新颖视角位置处的场景图像，在真实拍摄的城市建筑场景图像中存在移动的瞬态对象，对静态建筑造成遮挡，导致生成的新视角图像模糊、存在伪影甚至建筑物生成错误。针对于此，本文提出了一种基于点云辐射场的新视角图像生成方法。首先，通过瞬态对象过滤模块得到静态建筑图像；然后，分别经过2D CNN和3D CNN网络获取图像特征和图像点云信息，二者结合构建神经点云；最后，输入多层感知机网络获取场景采样点位置的体积密度和颜色信息，并指导体渲染模块生成新视角位置的图像。在Photo Tourism数据集与最新的几种方法进行比较，实验结果和可视化结果表明，所提方法在数据集上有较好的效果表现，有效地解决了生成图像中存在伪影和建筑物生成错误的问题。