（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）
摘要
我们提出了
TensoRF
，一种
建模
和
重建
辐射场的新方法。与直接使用
MLP
的
NeRF
不同，我们将场景的辐射场建模为
4D
张量，表示为具有每体素多通道特征的
3D
体素网格。我们的中心思想是将
4D
场景张量分解为
多个紧凑的低秩张量分量
。我们证明，在我们的框架中应用传统的
CP
分解——将张量分解为具有紧凑向量的秩分量——可以改善
vanilla NeRF
。为了进一步提高性能，我们引入了一种新的
向量矩阵
（
VM
）分解，它释放张量两种模式的低秩约束，并将张量分解为紧凑的向量和矩阵因子。除了获得较好的渲染质量之外，与直接优化每体素特征的先前和并行工作相比，我们的
CP
和
VM
分解模型的内存占用显著降低。实验证明，与
NeRF
相比，具有
CP
分解的
TensoRF
实现了快速重建（
<30
分钟），具有更好的渲染质量，甚至更小的模型大小（
<4 MB
）。此外，具有
VM
分解的
TensoRF
进一步提高了渲染质量，并优于先前最先进的方法，同时减少了重建时间（
<10
分钟），并保持了紧凑的模型大小（
<75 MB
）
系统框架
左图：我们使用一组向量（
v
）和矩阵（
M
）将场景建模为张量辐射场，这些向量和矩阵描述了场景外观和沿其相应轴的几何体。这些矢量
/
矩阵因子用于通过矢量矩阵外积计算体积密度σ和与视图相关的
RGB
颜色，以实现真实的体积渲染。右图：与之前和并行方法相比，我们的
TensoRF
模型可以实现最佳渲染质量，是唯一可以同时实现快速重建和高紧凑性的方法。（我们的模型用分解技术、组件数量和训练步骤表示。）
张量分解。左图：
CP
分解（等式
1
），它将张量分解为向量外积的和。右图：我们的向量矩阵分解（方程
3
），它将张量分解为向量矩阵外积的和。
TensorRF
（
VM
）重建和渲染。我们使用一组向量（
v
）和矩阵（
M
）将
辐射场建模为张量
，这些向量和矩阵沿其相应的（
XYZ
）轴描述场景，并用于计算可微分光线行进中的体积密度σ和视相关颜色
c
。对于每个着色位置
x=
（
x
，
y
，
z
），我们使用来自向量
/
矩阵因子的线性
/
双线性采样值来有效计算张量分量的相应三线性插值（
A
（
x
））。将密度分量值（
A
σ（
x
））相加，直接得到体积密度（σ）。外观值（
Ac
（
x
））被连接到一个向量中
(
⊕
[Am c
（
x
）
]m
），然后将其与外观矩阵
B
相乘并发送到解码函数
S
用于
RGB
颜色（
c
）回归。
实验结果
我们在三个数据集上比较了我们的方法与先前和并发的新视图合成方法。基线方法的所有分数都直接取自他们的论文。我们还报告了合成
NeRF
数据集的平均重建时间和模型大小。
NVSF
需要
8
个
GPU
进行优化（用星号标记），而其他则在单个
GPU
上运行。
DVGO
的
30k
步对应于
10k
的粗重建和
20k
的精细重建。
我们的
VM-192-30k
模型和比较方法（
NeRF[24]
、
plenoxels[46]
、
DVGO[37]
、
NSVF[18]
）在两个合成
NeRF
场景上的定性结果。
结论
我们提出了一种用于高质量场景重建和渲染的新方法。我们提出了一种新的场景表示——
TensoRF
，它利用张量分解技术将辐射场紧凑地建模为因子分解的低秩张量分量。虽然我们的框架适应了经典的张量分解技术（如
CP
），但我们引入了一种新的向量矩阵分解，这导致更好的重建质量和更快的优化速度。我们的方法可以在每个场景不到
30
分钟的时间内实现高效的辐射场重建，与需要更长训练时间（
20+
小时）的
NeRF
相比，可以获得更好的渲染质量。此外，我们基于张量因子分解的方法实现了高紧凑性，导致内存占用小于
75MB
，大大小于许多其他先前和并发的基于体素网格的方法。
更多内容请关注公众号：元宇宙MetaAI
欢迎朋友们投稿，投稿可添加微信：NewYear-2016