大家好，我是 Jack。
对于 Stable Diffusion，想必我的读者朋友们对此都不陌生。
自 Stability AI 公司发布 SD（全称：Stable Diffusion) 以来，受到了很多人的喜爱。
SDXL 效果
随后技术升级，又发布了 SDXL，名字很有喜感，XL、XXL、XXXL...
SDXL Logo
顾名思义，SDXL 就是 SD 的升级版，图片生成的效果更好、更逼真、分辨率更高！
图片领域做得不错了，Stability AI 再次发力，昨天又发布了 Stable Video Diffusion。
Stability AI 发布
也就是说，通过一句话描述，现在不仅可以生成图片，还可以生成视频了。
举几个例子。
输入：火箭升天
AI 算法直接生成对应的视频：
输入：太空中转动的地球：
AI 算法直接生成对应的视频：
看下更多的例子：
是不是效果还不错？Stability AI 把 Stable Video Diffusion 也开源了！

Stable Video Diffusion

一共开源了两个模型：
SVD：能够生成帧率 14、分辨率 576x1024 的视频；
SVD-XT：SVD 的 finetune 升级版，分辨率不变，但能够生成帧率 25 的视频；
前排提醒： 想要本地跑 Stable Video Diffusion，显存得 20G 左右。
1、下载代码库
git 
clone
 [email protected]:Stability-AI/generative-models.git

cd
 generative-models

2、配置 Python 环境
由于第三方依赖库的要求，Python 需要至少是 3.10 版本以上。
推荐使用 conda 新建一个环境。
conda create -n py310 python==3.10

激活环境，并安装相应的依赖。
conda activate py310

python -m pip install -r requirements/pt2.txt

最后再安装 sgm，直接在项目根目录运行即可。
python -m pip install .

如果想要训练模型，还需要安装 sdata，我这里就不说了，毕竟跟我一样训练不起的，应该占绝绝绝绝大多数。
3、模型下载
SVD 模型下载地址：
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid
SVD-XT 模型下载地址：
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt
下载好模型后，将模型放到 checkpoints 目录下。
4、运行算法
可以使用 streamlit 运行：
streamlit run scripts/demo/video_sampling.py --server.port <your_port>

好了，今天就聊这么多吧。
我是 Jack，我们下期见！
·················END·················
继续阅读
阅读原文
关键词
图片
视频
效果
效果
视频