NeRF&Beyond 11.8日报（植物表面重建，SR-TensoRF，ZUP-NeRF，布料渲染）

https://arxiv.org/abs/2311.04154

植物表型的准确重建对于优化精准农业（PA）领域的可持续农业实践起着关键作用。目前，基于光学传感器的方法在该领域占据主导地位，但在非结构化农业环境中对农作物和植物进行高保真 3D 重建的需求仍然具有挑战性。最近，神经辐射场（NeRF）的形式出现了一项有希望的发展，这是一种利用神经密度场的新方法。该技术在各种新颖的视觉合成任务中表现出了令人印象深刻的性能，但在农业领域中仍然相对未经探索。在我们的研究中，我们重点关注植物表型分析中的两项基本任务：(1) 2D 新视图图像的合成和 (2) 作物和植物模型的 3D 重建。我们探索神经辐射场的世界，特别是两种 SOTA 方法：Instant-NGP，它擅长以令人印象深刻的训练和推理速度生成高质量图像，以及 Instant-NSR，它通过结合有符号距离函数来改进重建的几何形状 （自卫队）训练期间。特别是，我们提出了一个新颖的植物表型数据集，其中包含来自生产环境的真实植物图像。该数据集是同类首创，旨在全面探索 NeRF 在农业领域的优势和局限性。我们的实验结果表明，NeRF 在合成新颖视图图像方面表现出了值得称赞的性能，并且能够实现与 Reality Capture（基于 3D 多视图立体 (MVS) 的重建的领先商业软件）相媲美的重建结果。然而，我们的研究也强调了 NeRF 的某些缺点，包括相对较慢的训练速度、采样不足情况下的性能限制，以及在复杂设置中获得几何质量的挑战。

https://arxiv.org/abs/2311.03965

在这项工作中，我们介绍了神经辐射场 (NeRF) 的室外场景重新照明方法，称为太阳对齐重新照明 TensoRF (SR-TensoRF)。SR-TensoRF 提供了与太阳对齐的轻量级快速管道，从而实现了简化的工作流程，无需环境图。我们的太阳对准策略的动机是这样的见解：与视点相关的反照率不同，阴影是由光线方向决定的。我们在阴影生成过程中直接使用太阳方向作为输入，显着简化了推理过程的要求。此外，SR-TensoRF 通过结合我们提出的立方体贴图概念来利用 TensoRF 的训练效率，与现有方法相比，训练和渲染过程显着加速。

https://arxiv.org/abs/2311.03784

神经辐射场 (NeRF) 实现了新颖的视图合成，具有给定图像和相机姿势的高保真度。随后的工作甚至通过联合优化 NeRF 和相机姿态成功消除了姿态先验的必要性。然而，这些作品仅限于相对简单的设置，例如光度一致且无遮挡的图像集合或视频中的图像序列。因此，他们很难处理具有变化照明和瞬态遮挡器的无约束图像。在本文中，我们提出 Up-NeRF: Unconstrained Pose-Prior-Free Neural Radiance Field，使用不受约束的图像集合优化 NeRF，无需事先确定相机姿势。我们通过优化对颜色不敏感的特征字段的代理任务和用于瞬态遮挡器的单独模块来应对这些挑战，以阻止其对姿态估计的影响。此外，我们引入了一个候选头，以实现更稳健的姿态估计和瞬态感知深度监督，以最大限度地减少不正确先验的影响。我们的实验验证了我们的方法与具有挑战性的互联网照片集Phototourism数据集中的基线（包括 BARF 及其变体）相比具有优越的性能。

https://arxiv.org/abs/2311.04061

多年来，机织物和针织物的真实渲染提出了重大挑战。此前，基于纤维的微观外观模型在实现高水平真实感方面取得了相当大的成功。然而，由于纱线内数百或数千根纤维的复杂内部散射，渲染此类模型仍然很复杂，需要大量内存和时间来渲染。在本文中，我们介绍了一种新颖的框架，通过跟踪和聚合穿过底层纤维几何形状的许多光路来捕获纱线级外观。然后，我们采用轻量级神经网络对聚合的 BSDF 进行精确建模，从而可以对各种材料进行精确建模，同时显着提高速度并减少内存。此外，我们引入了一种新颖的重要性采样方案以进一步加快收敛速度。我们通过与之前的基于纤维的着色模型进行比较以及复制各种现实世界的织物来验证我们的框架的功效和多功能性。我们提出的模型增强的性能和适应性使其特别有利于电影和视频游戏制作应用。

About Us

NeRF and Beyond微信交流群现已有1900从业人员交流群，加入我们，请添加我的微信：jiheng_yang，我会拉大家进群。

Jason陪你练绝技B站更新地址：https://space.bilibili.com/455056488

NeRF相关工作整理Github repo：https://github.com/yangjiheng/nerf_and_beyond_docs