3D模型也可以达到4K的效果，普林斯顿团队提出神经体素超分！

1. 论文和代码地址

论文题目：Neural Volume Super-Resolution

论文地址：https://arxiv.org/abs/2212.04666^[1]

代码地址：未开源

2. 动机

从非理想成像条件下捕获的图像中重建潜在的高质量图像是一个被广泛研究的研究领域。现有的大量工作探索了去除图像噪声、锐化模糊图像和提高图像分辨率的方法。这一方向包括最近基于深度学习的工作，将退化图像映射到潜在的未退化图像，并导致了性能的显著飞跃。这些方法的核心通常是对退化图像应用一系列二维卷积运算，最终生成分辨率更高的重建图像。

在图像重建研究的同时，越来越多的工作探索神经渲染，不仅允许重建单个图像，而且允许从一组观察到的图像中重建未见的新视图。Nerf表明，即使使用精简的多层感知器(MLP)架构作为5D亮度场的基于坐标的表示，也可以实现最先进的渲染质量。此后，许多研究提出了改进和更有效的方法来表示基于给定的有限2D图像集的3D场景，包括处理修改的照明条件或支持动态场景的方法。现有的方法直接监督使用观测图像的场景再现。

在这项工作中，作者探索了图像重建和神经渲染交叉的另一个方向，提出了神经体积超分辨的新课题——神经体积超分辨学习。具体来说，给定与3D场景对应的有限组低分辨率图像，本文的目标是呈现与无限多个可能的观看方向对应的场景的高分辨率图像，包括新的未看的方向。

作为一种实用而有效的上采样神经体积的方法，作者提出了一种新的基于平面的场景表示，允许使用2D卷积神经网络。具体来说，作者通过隐式地将3D体积中的每个点与密度值和现有亮度场工作后的RGB值相关联来表示3D场景，同时研究了一种推断这些值的替代方法。

具体而言，本文做出了以下贡献:

• 提出了一种超分辨率体积神经场景表示方法，该方法允许生成与低分辨率捕获的场景对应的几何一致的高分辨率新视图。
• 介绍一种直接在特征空间中操作的超分辨率方法。为此，作者开发了一种新的特征平面表示模型，允许渲染一般3D场景的观看方向依赖视图。
• 定性和定量地评估了本文的超分辨未见场景的方法，并验证它产生多视图一致的超分辨图像。

3. 方法

对于Nerf模型，建模如下：

对于超分模型，建模如下：

3.1. Plane-Based Radiance Fields for Generic Scenes

为了利用(2D)图像SR的进步，并允许计算高效的体积SR，作者提出了一种新的四平面模型来表示场景s，该模型由四个大小为N×N×C的多通道2D特征平面组成，并结合一个小的解码器神经网络。（如上图左侧所示）

之前的工作沿三个垂直轴对齐的特征平面 对齐显式特征向量。这篇文章引入了一个新的 ，有无 差别如上。

给定一组训练场景ST和相应的捕获图像组，作者学习每个场景四个平面的集合 连同解码器对参数 (在所有场景中共享)，它们一起构成表示模型参数。Nerf的损失函数如下所示：

3.2. Super-resolving Implicit Representations

对于平面的超分，作者采用了现有的图像级别的超分模型EDSR，损失函数如下：

为了提高F推广到不可见场景平面的能力，作者添加了另一个惩罚，鼓励每个特征通道平面的平均值Pc接近于零：

最终的损失函数：

4.实验

量化评价。作者在800张测试图像上对所有方法进行了评估，这些图像对应于4个在训练过程中没有看到的场景的新视角，使用本文的LR渲染作为所有基于2D的基线的输入。

定性超分辨率评价。作者直观地比较了我们的方法的性能(右)与领先的SR方法和基线的性能，当超分辨率新的低分辨率视图(左)。与所有其他方法相比，我们的神经体积SR方法能够重建更精细的细节和更小的结构。虽然仅仅在体积域(右起第二个)内插特征平面已经产生了质量收益，但在平面上应用我们的SR模型F实现了显著的改进。

5. 总结

在这项工作中，作者介绍和研究了神经体超分辨率的新任务--绘制与低分辨率场景相对应的高分辨率视图。作者介绍了一种利用2D特征平面的神经场景表示模型，作者使用场景的LR图像捕获来学习该模型。然后，为了以高分辨率绘制新的场景视图，作者提出了使用在3D场景数据集上训练的CNN模型来超分辨2D特征平面。在体积表示域中操作确保了跨不同观察方向的SR渲染图像的几何一致性。作者在一组未知的3D场景上对本文的方法进行了定量和定性的验证，证明了它比现有方法产生了显著的性能改进。除了体积场景超分辨率的优势外，本文的工作还揭示了该方法在其他类型的真实感退化(如噪声、模糊)下重建场景的潜力，希望在未来的工作中进行研究。

参考资料

[1]

https://arxiv.org/abs/2212.04666: https://arxiv.org/abs/2212.04666