2022 年 8 月,在美国科罗拉多州举办了一场新兴数字艺术家竞赛,一幅名为《太空歌剧院》的作品获得“数字艺术/数字修饰照片”类别的一等奖,神奇的是,该作品的作者并没有绘画基础,这幅画是他用 AI 生成的。

这一事件展示了 AI 在绘画领域惊人的创造力,让人们见识到,AI 作品不仅可以具有如此精心雕刻般的细节,还可以拥有独特的风格。更重要的是,创作者只要通过自然语言将创作需求描述清楚,就能借助 AI 生成高品质的作品。理想在这一刻照进了现实,这一重大突破让很多曾经拥有画家梦、艺术家梦的人热血沸腾!
什么是 AI 绘画呢?AI 绘画是指使用人工智能算法生成图像或绘画作品,它基于机器学习模型,可以接受不同的提示词、引导图等作为输入参数来生成各种风格和内容的视觉艺术品。比如,图 1 就是给 AI 输入提示词 a cute cat 得到的绘图结果。
图 1 AI 绘画:a cute cat
那么如果随口说出几个指令就能画出好看的图画?那未来插画师、摄影师是不是不存在了?或者说没有学习过绘画的普通用户同样能创作出优质的绘画作品?
当然,前者在不同用户心中肯定都有不同的答案,但后者我可以告诉你是的。AI 绘画的大门正在为所有人敞开,而通往这扇门,我们就不得不提到一个优秀的绘图工具 Stable Diffusion。
1.什么是 Stable Diffusion
在当下流行的 AI 绘画工具中,Midjourney 和 Stable Diffusion 是风头最盛的,它们在产品策略上各有长处。
Midjourney 的优势在于它通过 Discord 来构建自己的 AI 绘画社区,这个策略一方面使得用户能够在社区互相学习提示词的使用技巧,从而激发用户的兴趣,刺激产品的传播;另一方面通过庞大的用户数量积累了独有的数据集,进而可以根据用户需求有针对性地训练模型并快速进行产品迭代,形成正反馈循环。
Stable Diffusion 的厉害之处在于它可以在运行于大多数配备有合适 GPU 的个人计算机上,而且,它开源了项目代码和模型权重。这样一来,开发者就可以在它的基础上进行二次开发、做插件、做工具,这就有了如今结合 Stable Diffusion 流行起来的 Stable Diffusion WebUI、LoRA、ControlNet 等开源项目。这就相当于给 Stable Diffusion 的发展增加了大量的盟友,极大地丰富了它的功能和特性。
对于想要使用 Stable Diffusion 来进行 AI 绘画的用户来说,开源意味着更大的灵活性和自由度,我们可以借助 Stable Diffusion 丰富的相关模型和扩展插件来满足我们自己独特的 AI 绘画创作需求,这也是我们选择介绍 Stable Diffusion 的重要原因之一。
Stable Diffusion 是一款在 2022 年发布的支持由文本生成图像的 AI 绘画工具,它主要用于根据文本描述生成对应图像的任务,也可以应用于其他任务,比如对原图像内的部分遮罩区域进行重绘的内补绘制功能(Inpainting)、在原图像外部范围进行延伸画图的外补绘制功能(Outpainting)、在提示词(Prompt)引导下基于输入图像生成新图像的图生图功能等。 
2.Stable Diffusion 模型
Stable Diffusion 最核心的部分是它的模型,要理解 Stable Diffusion 所使用的潜在扩散模型背后的技术细节需要一定的算法基础,因此我们在这里只用尽量简要的语言介绍一下扩散模型的训练过程,帮助大家对它建立一个大概的印象。
(1) 扩散模型的训练需要先找到大量高质量的图像数据,训练时先进行正向扩散,即对每张图像按照高斯噪声公式逐步向数据中添加噪声,直到整张图像变成一张全是噪声的图像(噪声数据)。在这个训练的过程中,会记录所有步骤,然后用神经网络来反向学习噪声分布和数据分布之间的关系,即学习如何给一个全是噪声的图像降噪,生成一张高清图像,如图 2 所示:
图2 扩散模型训练过程
(2) 所有高质量图像都经过步骤 (1) 后,就会得到一个训练好的扩散模型,机器就可以通过噪声来对图像进行预测。这样一来,整个绘画的过程就是 AI 用一组随机噪声(随机数)来预测基于它们能画出一个什么样的图像,即从一堆凌乱的随机数中画出图像。这是一个大力出奇迹的过程,但厉害的是最终能产出清晰度非常高和细节较为完美的图像。
来欣赏几张 Stable Diffusion 生成的高质量图片吧~
从左往右 港口;底下洞穴的水晶沉积物
从左往右 甜美风小姐姐;二次元小姐姐
3.Stable Diffusion 的应用场景
Stable Diffusion 作为一款强大的 AI 绘画工具,可以用在哪些场景呢? 
  • 数字艺术创作。Stable Diffusion 作为一款 AI 绘画工具,可以辅助绘画工作者进行创作。例如,Stable Diffusion 结合图生图、ControlNet 等能力,可以根据艺术家的涂鸦或线稿,为作品自动上色或生成草稿,大大提高艺术创作的效率。 
  • 游戏设计。Stable Diffusion 可以辅助设计师设计游戏中的素材,如角色、场景、道具等。设计师只需要提供概念素材,Stable Diffusion 就可以生成多种不同风格的画面,然后设计师进行选择和修改即可,这样可以节省游戏素材设计的时间成本。
  • 广告创意。Stable Diffusion 可以快速产生多种创意方案和视觉效果供广告人选择和融合,这可以有效地拓展创意设计的思路。
  • 教育应用。Stable Diffusion 绘画工具也可以用于制作绘本,帮助学生学习绘画技巧。例如,Stable Diffusion 可以根据学生的绘画进度和水平提供个性化的绘画指导、练习和作业,这样可以增强学生的学习兴趣和体验。
  • 定制商品。电商平台可以使用 Stable Diffusion 为用户定制各种商品,如衣服、手机壳等。用户只需要提供一张图片或概念素材,Stable Diffusion 就可以生成大量个性化设计方案以供选择,满足用户的个性化定制需求。
  • 界面设计。Stable Diffusion 可以快速生成多种界面样式,供设计师参考,这样可以拓展设计师的创意,尤其在初期概念设计阶段非常有用。
  • 室内设计。Stable Diffusion 还可以生成风格多样的室内装修方案,为设计师提供创意参考。同样,借助 Stable Diffusion 的能力,可以在初期快速给客户提供大量的选择,大大提升设计师的工作效率。
这里也只是列出了 Stable Diffusion 的一部分应用场景,随着相关技术的进步,Stable Diffusion 的应用场景还会越来越广泛,成为大家提高创造力和生产力的好帮手。当然,艺术创意和审美判断仍然需要人类的专业知识和审美眼光,只有人与机器更好地结合、互补,设计领域才可以发展得更好。 
如此多应用场景,相信 Stable Diffusion 未来会被更多人使用并且满足更多人的需求,无论你是否会画画,学习使用这个工具会让你的工作效率倍增,且亲手实现自己脑海里的无限 idea。
4.保姆级Stable Diffusion教程
这是一本为零基础读者量身打造的 Stable Diffusion “喂饭版”教程。读完就可以上手操作,帮助你快速掌握新技能。不论是做设计、做自媒体还是改图、修图,通通一本书就能搞定
作者:关键帧
秉承着让大家都能入门学习的理念,作者说:“决不让一位读者卡在安装上!”不管你是什么操作系统,都可以找到对应的安装指导,给大家一个丝滑的入门体验。
全书分为 5 章,包含 Stable Diffusion 的各种使用方法,文生图,只需你来描述它就可以画,同时熟悉界面组成。提示词技巧更是满满干货,作者剖析语法与结构,提供现成可参考的提示词。
还可以局部重绘,给小猫戴上帽子、把手里的苹果换成梨子。给模糊图片修复磨皮:再也不用受困于低分辨率图片啦!更可以从图片中反推出提示词:海量图片均是我的提示词素材。扩展配置,进阶技巧,常用的技能都在这里!
只要掌握创作的底层逻辑和行之有效的方法,Stable Diffusion 绝对可以助你提升工作效率。一键搞定批量渲染,快速确定风格调性,不再人工试错!
作者介绍
键帧,中科院博士,前阿里巴巴技术专家,公众号“关键帧 Keyframe”主理人,长期从事互联网内容领域基础技术和业务研发及管理工作,热爱系统性分享行业技术经验并广受粉丝好评,热衷于探索 AIGC 技术发展和业务落地,对 AIGC 业务前景有着独特的洞察。
大咖推荐
这本 Stable Diffusion 入门书覆盖内容非常全面,文字通俗易懂,图文并茂,是市面上不可多得的关于 Stable Diffusion 的实操大全,是平面设计工作者和业余绘图爱好者的好帮手。
——易子立,南京大学副教授,图像生成算法 DualGAN 第一作者
《零基础玩转 Stable Diffusion》是一把开启 AI 绘画世界大门的钥匙。作者以实用为核心,分步骤教你如何本地部署并运用 Stable Diffusion,使艺术创作更加自由和高效。本书不仅是艺术爱好者的新宠,也是设计师提升工作效率的利器。让我们一起跟随作者,探索 AI 绘画的无限未来!
——Reynold,公众号“互联网 er 的早读课”主理人
本书从零开始,详细介绍了 Stable Diffusion 的基本概念以及必须掌握的各种丰富设置参数,读者如能按照本书一步步实践,必能熟练掌握 Stable Diffusion 这一强大而免费的 AI 绘画工具。
——城主,公众号“Web3天空之城”主理人
初次涉足 AI 绘画领域,在寻求一本入门书时,一次偶然的机会让我遇到了这本通俗易懂的 Stable Diffusion 教程。在看完几页后,我发现该书对零基础同学非常友好,于是将它推荐给大家。本书介绍基础概念和实际技巧,是你走进 AI 绘画世界的不二之选!
——贾文博,公众号“壹念视觉”主理人 
本书以简明实用为特色,“手把手”带领读者探索Stable Diffusion。书中的实用操作指南和丰富的示例可以让大家快速掌握 AI绘画技巧。对所有对AI绘画感兴趣的人来说,这是一份不容错过的AI 绘画入门指南,它将带你进入一个充满创意和惊喜的艺术世界!
——冯振,OpenCV 4 快速入门》作者,公众号“小白学视觉“主理人
当艺术的奇妙之门向我们敞开,无论你是初涉绘画的新手还是想要提高技能的绘画爱好者,这本《零基础玩转 Stable Diffusion》都将成为你探索 AI 绘画创作世界的“灵魂伴侣”。
—— @Jack Cui
随着人工智能技术的普及,AI绘图越来越受到人们的重视,特别是在绘图设计领域中。本书从最基础的软件安装开始,通过大量实操案例,全方位介绍免费AI绘图工具Stable Diffusion的各种使用方法,帮助大家快速掌握AI绘图,相信这本书会是广大AI绘图学习者的福音。
——宁海涛公众号“DataCharm”主理人畅销书《科研论文配图绘制指南——基于 Python》作者
这是一本通俗易懂的 AI 绘画实战书,作者以简明干练的写作方式,为读者揭开 AIGC 的一层层神秘面纱。通过阅读本书,你将全面深刻地掌握 Stable Diffusion 绘图软件的部署和使用方法,书中的案例也将从多角度提升你的 AI 绘画实战能力。
—— @致敬大神
从零开始探索AI 绘画,必定要有一本好书伴身,相信每一位朋友都能通过这本书体会到 AI 世界的魅力!
——@娜乌斯嘉AI绘画博主
一键购书,学起来👇!
本文推荐阅读
《零基础玩转 Stable Diffusion》
↓↓↓
最后,小早又要来送福利了!在此篇微信文章下面留言,聊聊你对AI绘画的想法,早读课将免费赠送3本图书,具体图书由出版社提供。送书规则是从微信评论中挑选最用心评论的3人,赠予此书(复制其他文字将会被取消资格)。时间截止到1月30日0点,记得查看评论。
继续阅读
阅读原文