10秒搞定日夜景转换，还自带中秋月光

by未来建筑实验室

建筑设计会经常遇到出夜景效果图的时候，日夜景的效果转换，临摹勾勒、渲染出图、后期加工...工序繁多。除了对制作工具的熟练，更关键的是需依靠经验判断建筑明暗、光影和颜色等在白天和夜晚的不同状态。

近日，AI建筑研究团队未来建筑实验室运用之前一项深度学习成果，做到10秒内完成日夜景转换，让建筑菜鸟也能快速拥有合格效果图。

▍三步秒速实现日夜景转换

by 未来建筑实验室

第一步，选择一张日景图S(source)；

第二步，再选择一张目标的夜景图R(reference)；

第三步，基于深度学习的色彩算法将在两张图片上对具有相似语义结构(sementic structures)的部分进行颜色迁移，秒速生成一张新的图片T（target）。这张新图有着S的结构和内容，同时具有R的颜色风格(即S+R=T)。

中秋版Demo演示，by未来建筑实验室

正值月圆时，研究团队特别推出中秋版Demo。该版本在完成颜色迁移的基础上，更通过算法在夜景图中添上了一轮明月。等不及看完全文的朋（lǎn）友（rén），可以扫描以下二维码抢先体验：

▍建筑颜色迁移黑科技简介：

Neural Color Transfer

Neural Color Transfer(下称NCT)是基于语义信息的对应(correspondence)进行匹配和颜色的迁移，NCT使用了卷积神经网络来对图片提取特征以便于后续的匹配。在匹配完成后，NCT使用了一个线性模型，在满足局部和整体一致性的情况下进行优化。

by 未来建筑实验室

输入的图片S和R共享很多语义上相关的(semantically-related)内容，同时在展示上又有很大的不同。

S和R中都包含建筑，但分别为日景和夜景。要在两张存在很大色差的图片上建立语义的对应是一个非常棘手的问题，尤其是传统的特征提取算法是无法有效的提取出图片的语义信息。

因此使用预训练好的深度学习模型来提取特征成为解决这个问题的有效途径, 这也符合迁移学习(transfer learning)的思想：

“Transfer learning is a research problem in machine learning that focuses on storing knowledge gained while solving one problem and applying it to a different but related problem.”

(West, Jeremy; Ventura, Dan; Warnick, Sean (2007). "Spring Research Presentation: A Theoretical Foundation for Inductive Transfer")。

▍如何做到日夜景秒速转换？

NCT采用经典图片分类的多层卷积神经网络(CNN)模型VGG19。VGG19是在ImageNet上，1000个分类的共计约120万张图片上预训练的(http://image-net.org/challenges/LSVRC/2014/browse-synsets)。这个模型有非常强的泛用性，被普遍应用于图片特征提取。

随着模型的层数由浅到深(下图从左到右)，VGG19可以抽取从图片的低级细节(对颜色敏感)到高级的语义信息(对颜色不敏感)。