夕小瑶科技说 原创

作者 | Richard

大家肯定都幻想过，要是能按自己的想法随心所欲布置新家该多好啊。租房或买房时看中一处房子，如果能在看房前先把家具"搬空"，直接看到一个干净整洁的空房间，想象力就能自由驰骋了。
以前这只是一个不切实际的幻想，但现在人工智能已经可以将它变成现实！这篇论文介绍了一种自动化"清空"室内全景图的创新技术。它利用了 Stable Diffusion 这个强大的图像生成模型，通过巧妙的训练方式，让算法学会识别图像中的家具，并用真实的墙面、地板等背景将其替换，去除阴影反光等干扰。同时为了保证"清空"后的图像清晰自然，他们还运用了超分辨率等后处理手段。整个"清空"过程只需几秒钟，就能得到一张逼真的无家具空房间图。这项技术不仅能给租售房市场带来革命性的变化，在虚拟装修、游戏场景生成等领域也大有可为。
人工智能正以惊人的速度发展，未来也许在我们看房前，VR眼镜就能给我们生成一个个性化布置的虚拟房间，让我们身临其境感受未来家的样子了！
论文标题：
An Empty Room is All We Want: Automatic Defurnishing of Indoor Panoramas
论文链接：
https://arxiv.org/pdf/2405.03682

从"装修恐惧症"到"裸房自由"

装修对许多人来说是一场"恐怖"的经历。户型与期望不符、预算超支、施工问题频发种种困扰，让装修成为一个痛苦的负担。这些问题的根源，在于信息的不对称和想象力的受限。业主难以全面了解房屋，也无法准确预见未来的家居布局。
但现在一项名为"自动清空室内全景图"的技术，正在为我们开启"裸房自由"的大门。这项技术利用AI自动去除室内全景图中的所有家具，还原出一个"清空"的房间。我们只需要参观"裸房"就能纵览全局，在脑海中自由演绎各种装修方案。色调如何搭配？开放式厨房是否合适？书房位置在哪最理想？这些疑问都能迎刃而解。
"裸房自由"意味着我们能跳脱固有格局的束缚，主动创造理想的家居空间。设计师也能在这块"画布"上尽情挥洒，设计出各类装修方案，业主能直观地比对选择。可以预见，基于"清空"技术的VR看房、虚拟装修等应用，将彻底革新装修体验。未来，人人都能化身设计师，随心组合搭配，让装修成为一次享受生活的创造性活动。

Stable Diffusion：AI装修师的法宝

要让AI装修师实现"裸房自由"，首先需要一个强大的图像处理模型。本文选择了Stable Diffusion作为核心算法。那么，它是如何做到分分钟"搬空"一个房间的呢？

训练数据：AI装修师的"教科书"

Stable Diffusion的第一个秘诀在于大量高质量的训练数据。研究者为它准备了一个包含16万张室内全景图的数据集，这些图像涵盖了各种户型和装修风格，从简约小公寓到奢华大别墅，应有尽有。模型通过反复学习这些案例，掌握了识别各类家具、物品的能力，并了解它们在房间中的常见摆放规律。这些知识，成为了AI装修师的基本功。

数据增强：AI装修师的"实战演习"

但是，现实中的装修场景往往充满了各种干扰因素。比如拍摄角度的局限性，可能导致某些家具只露出一角；再比如镜子、玻璃等反光表面，可能扭曲物体的形状；更不用说那些难以察觉的阴影、光束。为了应对这些挑战，研究者在训练数据中刻意加入了这些"噪音"。通过数据增强技术，他们让AI装修师多方位、多场景地"演练"，学会在复杂环境下依然准确无误地分辨出所有家具。增强后的数据集不仅有家具，还有阴影、反光等干扰因素，模拟了真实的拍摄场景。

图像预处理：AI装修师的"工作准备"

在正式"动工"之前，AI装修师还要对原始图像进行一番预处理。输入的高清全景图首先被裁剪为3:1的宽高比，去除了两极区域的畸变。接着，通过语义分割获得一张二值化的家具遮罩图，标记出所有需要"搬空"的区域。
为了让修复过程更顺畅，原图和遮罩还要经过一次"滚动"，使得主要的工作区域始终位于图像中心。此外，为了确保"画笔"有足够的参考信息，图像外围还被镜像填充了一部分。可以留意到，示例中门廊和橱柜的边缘都重复出现，给Inpainting提供了宝贵的上下文线索。
最后，调整图像尺寸至512像素高，完成所有预处理步骤。这一系列的准备工作，让AI装修师在动手"施工"时更加得心应手。

Inpainting技术：AI装修师的"画笔"

当AI装修师认出了所有家具，下一步就是用"画笔"将它们一一去除，再用逼真的材质填充留白。这个"画笔"，就是Inpainting(图像修复)技术。传统的Inpainting方法往往难以处理大面积、不规则的区域。但Stable Diffusion利用了一种名为"Fast Fourier Convolutions"的特殊卷积，使其即便面对大块"空白"，也能从四面八方汲取足够的信息，生成细节丰富、接缝自然的填充效果。
不过，Inpainting的效果不仅取决于模型本身，也与输入的初始条件密切相关。如下图所示，研究者探索了不同的初始化策略对Inpainting质量的影响。最左边是原始图像，最右边是完全随机初始化的结果。可以看到，随机初始化虽然有利于多样性，但往往会带来较多的人工痕迹和不连续。
中间几列展示了一种折中的方案：用原始图像的潜在编码与随机噪声按不同比例混合，作为Inpainting的初始状态，噪声的比例从100%逐渐降低到90%。实验发现，3%的原始图像潜码+97%的随机噪声，能在保证空白区域光滑自然的同时，最大限度地抑制走廊等处的幻觉。这个"黄金比例"，成为了后续实验的最佳参数。

LoRA微调：AI装修师的"专业培训"

尽管Stable Diffusion已经很强大，研究者们还是给它进行了专门的LoRA微调，让它更好地适应"清空"任务的特定要求。如下图所示，直接使用原始的Stable Diffusion权重进行家具移除，可能会在阴影、反光等复杂区域产生幻觉物体。即使通过膨胀输入遮罩来扩大修复范围，也难以彻底解决问题。
研究者在原模型的基础上，又喂给它大量包含阴影、反光、墙面、地板等元素的合成数据。AI装修师经过这一轮"专业培训"后，不仅能更精准地分割物体，还学会了应对不完美遮罩，无需额外膨胀就能一并去除家具的阴影、反光等痕迹，使整个房间看起来更加干净、自然。

无缝拼接：AI装修师的"收尾工作"

即便有了精准的Inpainting，也难免留下一些视觉"断层"。如下图所示，单纯将修复后图像替换回原图，在家具遮罩边缘会产生明显的拼接痕迹。这是因为原图中物体的阴影、反光，以及修复区域的白平衡差异，导致两部分难以无缝衔接。
为了让"裸房"看起来完美无瑕，研究者还开发了一套定制的无缝拼接方案。它巧妙地融合了原始图像和Inpainting结果，通过家具遮罩，选择性地从两张图像中取材，将二者在纹理、色调、光照等方面完美过渡，难辨真伪，同时最大限度地保留了原始高清细节。
总的来说，Stable Diffusion经过精心设计和LoRA微调，俨然成为了一位全能的AI装修师。从"教科书"般的训练数据，到"实战演习"式的数据增强；从"工作准备"中的预处理步骤，到灵活的"画笔"Inpainting技术；再到细致入微的"收尾工作"。每一个环节，都体现了研究者们的匠心和创意。正是这些创新，让Stable Diffusion能够出色地完成"自动清空"的任务，为我们带来前所未有的"裸房自由"体验!

智擒"装修小怪兽"：AI装修师的考核成绩单

经过了前面的各种训练和实战演练，AI装修师的本领在一次次的历练中愈发精进。但理论再完美，也需要经受现实的检验。这一节，我们就来看看这位"装修达人"在实际工作中的表现如何，它的成果能否经得起推敲和比较。

清空"案发现场"：真实场景大挑战

为了全面评估AI装修师的实力，研究者们特意从Habitat数据集中挑选了一些具有代表性的案例。这些凌乱的"案发现场"，涵盖了室内布局的方方面面，包括沙发、餐桌、橱柜等大件家具，也不乏地毯、盆栽等易被忽略的小物件。想要一次性将它们全部"搬空"，考验的不仅是识别物体的准确度，更是布局理解和细节把控的能力。
如下图所示，面对这些挑战，我们的AI装修师交出了一份漂亮的"考卷"。它不仅能够准确识别并去除各种家具物品，还能合理修复背后的地面、墙壁等背景，效果真实自然，几乎看不出任何修饰的痕迹。反观其他几位"选手"，则或多或少存在一些问题：LaMa和LGPN-Net生成的效果过于模糊，有时还会残留家具的"阴影"；原版的Stable Diffusion虽然细节更丰富，但也更容易产生幻觉，在墙角、桌腿等区域添加不存在的物体。

"家务达人"大比拼：横向评估显优势

光凭肉眼观察，也许还不足以完全说服大家。为了更客观、量化地比较不同方法的优劣，研究者们还设计了一套严谨的评估指标。他们从Habitat数据集中精心挑选了一批已经"清空"的房间，然后用3D渲染的方式在其中添加一些虚拟家具，并以此作为输入，用不同的方法进行"装修"，看谁能更准确地还原出原本干净的房间。
下表汇总了各项指标的详细结果。从数值上看，本文的方法在各个维度都展现出了明显的优势。无论是绝对误差(PSNR)、结构相似性(SSIM)，还是感知质量(LPIPS、JOD)，本文提出的AI装修师都在"大比拼"中脱颖而出，以全面胜出的姿态领跑榜单。细心的读者可能会注意到，表中专门列出了"Ours-inpaint"(仅使用修复网络)和"Ours-full"(完整流程)两个版本的结果。对比可以发现，后处理环节为整体效果的提升立下了汗马功劳，进一步拉开了本文方法与其他方法的差距。

装修黑科技，尽在"一念之间"

随着AI装修师的不断进化，我们离"心有多大,家就有多大"的梦想正越来越近。在不久的将来，装修或许真的会变成一件轻松惬意的事情。我们只需带上VR眼镜，在虚拟空间中随意逛逛，挑选自己钟意的户型和装修风格，所有的细节都由AI装修师来完成，在瞬息之间就能实现千变万化的"装修"，再现理想中的家装场景。
当虚拟与现实最终完美重合，当你摘下VR眼镜时，眼前就是你梦想中的新家。"所见即所得"的装修新时代，正在向我们招手。
当然，AI装修师现在还处在一个初级的发展阶段，距离实现以上的美好愿景仍有不少技术难关要攻克。但它的出现已经为装修行业点亮了一盏明灯，昭示着一个全新时代的来临。在这个时代，每个人都能轻而易举地实现"心有多大,家就有多大"的梦想。让我们拭目以待吧!
继续阅读
阅读原文