嘘，差点被警察带走

大家好，我是 Jack。

时间又来到了假期的最后一晚，今天继续跟大家闲聊两句，再讲个新技术。

我最近一直在调整生活习惯，吃了一周的蔬菜，外加多多锻炼，开启了养生模式。

按照往常的假期，我基本是宅在家里，要么工作，要么学习，要么创作，很少公园散步。

昨天去了趟奥森，放松遛达了一番，风景确实不错。

大家在忙于学习和工作之余，一定注意锻炼身体和健康饮食，别像我，生了病再调整。

难受啊，哈哈。

闲聊结束，进入我们今天的正题。

CogView2

我发现，最近新出的很多论文，都是多模态方向的研究。

比如根据文本生成图像的Imagen，再比如根据文本生成视频的CogVideo，我在之前的文章中讲过：

CogVideo还一直没有开源，不过它依赖的文本生成图像的CogView2算法这两天开源了。

本来我想自己训练个模型试试，试一试一些奇思妙想。

但看到说明文档，我就放弃了：

Hardware: Linux servers with Nvidia A100s are recommended, but it is also okay to run the pretrained models with smaller --max-inference-batch-size or training smaller models on less powerful GPUs.

官方推荐使用A100显卡训练，这东西什么级别呢？也别对比GFLOPS了，看着抽象，直接看价钱吧：

没有相应的设备，就别想训练了，不过跑一跑pretrained models倒是可以。

项目地址：

https://github.com/thudm/cogview2

想要运行，需要部署下开发环境，不过官方也提供了网页版，直接体验。

体验地址（需要工具）：

https://replicate.com/thudm/cogview2

支持英文输入，比如：

A tiger wearing VR glasses

中文输入，比如：

穿黑丝的帅哥

打住，不能再乱试了，怕被 FBI 请去喝茶。

算法的理解能力还是有点东西的，看下更多的效果吧：

CogView2 算法基于Transformers，思想是将文本和图像 tokens 进行大规模生成联合预训练。

同时引入Attention Mask，只对 mask 区域计算 loss，使生成效果更稳定。

CogView2 提出一种基于层次 Transformer 和局部平行自回归生成的解决方案，采用了一个简单而灵活的自监督任务，跨模态通用语言模型(CogLM)，来预训练一个 6B 参数的 Transformer。

对原理感兴趣的小伙伴，可以看看论文：

https://arxiv.org/pdf/2204.14217.pdf

好了，今天就聊这么多。

最近时间不多，没有写一些硬核的技术文，后面慢慢给大家补了~

我是 Jack，我们下期见~

·················END·················