如何高效地从任意一张图像中创建高质量、广泛视角的D场景?

如何高效地从任意一张图像中创建高质量、广泛视角的D场景?

编辑：陈萍萍的公主@一点人工一点智能

论文地址：.12091

项目地址：/

本文介绍了一种新的方法，可以从单张图像中高效地创建高质量、广泛视角的三维场景。现有的方法存在许多限制，如需要多视图数据、耗时的优化过程、低质量的背景视觉效果和未知区域的扭曲重建等。

作者提出了一种新颖的Pipeline来克服这些限制。

具体来说，他们引入了一个大规模的重建模型，使用视频扩散模型中的潜在变量预测场景中的三维高斯平滑分布，并通过前向传播的方式进行预测。视频扩散模型旨在精确地按照指定的相机轨迹创建视频，因此可以生成压缩的视频潜在变量，其中包含多视图信息并保持三维一致性。作者训练了这个三维重建模型，在视频潜在空间上操作，采用渐进式训练策略，从而实现了高效生成高质量、广泛视角和通用的三维场景。

在各种数据集上的广泛评估表明，他们的模型显著优于现有方法，特别是在域外图像的情况下。这是第一次证明可以在扩散模型的潜在空间上有效地构建三维重建模型，以实现高效的三维场景生成。

论文方法

1.1 方法描述

该论文提出了一种基于视频扩散模型的单图像场景生成框架。首先，通过相机引导的视频扩散模型生成包含多视图捕捉信息的视频潜变量，并利用Plücker嵌入来实现相机控制。然后，设计了一个双分支的条件机制，将视频潜变量和相机信息融合在一起，以提高场景重建的质量。最后，提出了一个基于视频潜变量的大型重建模型（LaLRM），用于高效地生成高质量、大范围和通用的三维场景。

1.2 方法改进

相比于传统的基于图像级优化的三维重建方法，该方法采用了视频潜变量作为输入，能够更好地捕捉场景中的多视图一致性，并且具有更高的压缩率和更少的时间和内存成本。此外，该方法还引入了双分支的条件机制，使得相机控制更加精确，并提高了场景重建的质量。

1. 解决的问题

该方法解决了传统三维重建方法中需要大量计算资源和时间的问题，同时还可以处理更大规模的场景，并且在处理未知领域的场景时也表现出了很好的泛化能力。因此，该方法可以应用于虚拟现实、游戏开发等领域。

论文实验

本文主要介绍了基于视频生成的相机引导技术，并通过多个对比实验来验证其性能和优越性。具体来说，文章进行了以下三个对比实验：

1）相机引导视觉质量与相机控制精度比较：该实验将本文的方法与三个基线方法（MotionCtrl、VDD和ViewCrafter）进行比较，使用了RE10K、DLDV和Tanks等数据集作为测试数据。评价指标包括FID、FVD、Rerr、Terr、LPIPS、PSR和SSIM等。结果表明，本文方法在所有指标上均优于基线方法，特别是在相机控制精度方面表现更好。

2）三维场景生成比较：该实验将本文方法与两个基线方法（ZeroVS和ViewCrafter）进行比较，使用了RE10K、DLDV和Tanks等数据集作为测试数据。评价指标包括LPIPS、SSIM和PSR等。结果表明，本文方法在所有指标上均优于基线方法，特别是在细节保留和几何一致性方面表现更好。

）网络架构设计分析：该实验对本文提出的双分支相机姿势指导视频扩散模型进行了分析，分别比较了仅使用Controlet条件和仅使用LaLRM条件以及同时使用两种条件的效果。此外，还比较了使用RGB帧和视频潜变量进行三维重建的效果。结果表明，同时使用两种条件可以进一步提高相机控制精度和生成质量，而使用视频潜变量进行三维重建比使用RGB帧更有效。

总的来说，本文提出的方法在相机引导视觉质量和相机控制精度方面表现出，在三维场景生成方面也具有优势，并且网络架构的设计对于提高性能至关重要。这些实验结果证明了本文方法的有效性和优越性。

方法创新点

本文的主要贡献在于提出了一种新的方法来解决传统的D场景生成方法所面临的两个主要挑战：需要密集多视图数据以及使用时间消耗较大的优化策略。

作者通过探索视频扩散模型中的丰富生成先验，建立了一个直接从视频潜在向量中生成三维表示的方法，从而显著减少了内存需求。同时，他们还提出了一个双分支相机条件机制，实现了精确的姿势控制和多样化的轨迹生成，以支持新视角的合成。最后，他们提出了一个基于潜在的大规模重建模型（LaLRM），将视频扩散模型的生成能力与三维高斯喷射相结合，确保计算效率和广泛视野的可扩展性。

未来展望

尽管Wonderland已经取得了优越的生成性能和更高的效率，但仍然存在一些限制。例如，视频生成模型的推理速度仍然是瓶颈，大部分计算时间都消耗在视频生成阶段。这些限制可以通过并行计算或更有效的降噪策略来改善。

此外，Wonderland目前主要用于静态场景，未来可以将其扩展到动态场景，探索其潜力生成包含时空动力学的4D内容。通过进一步改进这些限制，Wonderland可以在更广泛的领域应用，并提高性能。