作者 | 月山橘‍‍
编辑 | 松露
AI复活又整出新活了。
最近,知乎联合两位答主根据灭绝动物的手绘画或照片,用AI还原了它们生前的状态,视频共计还原了13种已经灭绝的动物。
不过,真正提起“头号AI玩家”兴趣的,并非这个视频创意本身,而是视频最后的一行小字——“技术支持:Dreamina”。
没错,就是字节旗下被寄予国内版“Sora”厚望的那个Dreamina。
3月底,Dreamina正式启动了首批内测,不少通过内测申请的用户低调试用了一波,也有很多玩家还没能亲自上手体验。
那么,Dreamina生成视频的质量和效果究竟如何?距离Sora还有多远?
在获得内测资格后,我们用Sora的视频提示词,在Dreamina上重新生成了一系列视频,从视频质量、语义理解的准确性以及动态效果的流畅性等多个维度进行了比较和分析。

两大核心功能+社区

Dreamina官网的操作界面较为简洁友好,可以看到醒目的两大核心功能:图片生成和视频生成。
用户可以在社区中分享自己的作品,获取灵感,还可以点击“做同款”功能快速创作。
点击视频生成,可以选择图生视频或文生视频。据官方介绍,Dreamina深度优化了对中文提示词的理解,使得生成的图像和视频更加符合国内用户的文化背景和审美习惯。
值得一提的是,在图生视频的功能上,Dreamina推出了独有的首尾帧相连的功能,用户可以通过上传首尾帧两张图片,利用该功能生成中间的补帧画面,完成两张图片之间的动态演变过程。
这在一定程度上能够提高对视频内容一致性的控制力,使得视频更加流畅和连贯。搭配上Midjourney的角色一致性功能(--cref)、Zoom out等功能,可能会大大拓展视频表达的创意空间。
在视频控制功能方面,Dreamina目前提供了5种不同的运镜方式、5种视频比例选择以及3档运动速度调整。
这些功能为用户提供了一定的创作自由度,但相较于其他成熟的AI视频生成产品如Runway Gen-2、Pika等,仍有进一步扩展和优化的空间。
目前,Dreamina免费用户每天可获得60积分(无法累积,每天自动清零),每生成一个视频消耗12积分,视频时长固定为3秒。
开通会员(69元/月)每月可以获得505积分,并且可以下载无水印视频、延长视频生成时长至6秒。

文生视频:Sora vs Dreamina

截至目前,Sora官方已经发布了数十个视频作品,我们选择了其中几个传播度较高的视频提示词,用Dreamina平台上重新生成了一系列视频,一起来看看对比。
一只穿着黑色连帽运动衫的黑客拉布拉多犬坐在电脑前,屏幕的光映照在它的脸上,它正在快速地打字。
A computer hacker labrador retreiver wearing a black hoodedsweatshirt sitting in front of the computer with the glare of thescreen emanating on the dog's face as he types very quickly.
Dreamina生成
Sora生成
这里我选择的运镜方式是“拉远”,希望镜头从拉布拉多的面部特写,拉远至它敲击键盘的全貌。但可以看出,拉远的效果不是很明显。屏幕光也比较硬,缺乏层次感和真实感。背景是一片漆黑,画面元素较为单一。但拉布拉多紧张的表情和回头看的动作,很符合黑客的设定(狗头),整体没有明显的破绽。
一个穿着灰色T恤的男人在路上骑着自行车,他的脑袋是一个黄色的气球。
A man wearing a grey T-shirt riding a bicycle on the road, his head is a yellow balloon.
起初,系统提示称输入的文字包含不合适内容,在把“头”换成“脑袋”后才开始生成,这个级别的安全和风控也是没谁了。
Dreamina生成
Sora生成
很显然,Dreamina对“他的脑袋是一个黄色的气球”理解得并不准确,当然也可能是故意理解错的,鉴于它对“头”可能暗含的血腥元素的敏感度。此外,男人骑自行车的腿部运动和地上的影子也存在变形。
由树叶制成的大象在丛林中奔跑
Dreamina生成
Sora生成
Dreamina似乎并未完全理解“由树叶制成的大象”是真实的大象,整体风格偏卡通,能看出大象的身上有树叶的纹理,但只有局部有立体的树叶,而且大象奔跑的状态有着非常明显的破绽,比如有5条腿。

图生视频

1. 樱花随风飘落
图片由Midjourney生成
2. 大雪纷飞的圣诞夜街道,圣诞树上的灯在闪烁
图片由Midjourney生成
图片由Midjourney生成
在把运动速度调整为“快速”后,雪下得更大了。我的评价是:不如直接用剪映加一个大雪纷飞的特效。
3. 一个小女孩在坐旋转木马
图片由Midjourney生成
总的来说,Dreamina的图生视频功能在处理静物或动作幅度不大的视频时,效果较为自然,比如风吹樱花、大雪纷飞等。
但在处理人物面部五官、手指,以及生成运动幅度较大的视频时,效果不够精细、清晰和稳定,容易出现模糊或扭曲,一致性有待提高
虽然仍有改进空间,但考虑到字节跳动的技术实力和市场推广能力,Dreamina的发展潜力不容忽视。随着AI技术的不断进步和产品的迭代更新,我们期待Dreamina未来能为用户提供更完善的创作体验。

头号AI玩家交流群」进群方式:添加微信“banggebangmei”并备注姓名+职业/公司+进群,欢迎玩家们来群里交流,一起探索见证AI的进化。
欢迎分享、点赞、在看
 一起研究AI
继续阅读
阅读原文