中国基金报 泰勒
兄弟姐妹们啊,OpenAI发布新工具Sora,可根据文字生成逼真AI视频,再一次,震惊了世界!
OpenAI首个视频生成模型发布
OpenAI推出了一项新技术,发布了视频大模型Sora,进化到了可以通过文字描述直接生成高度拟真的视频,不仅是动画了。
可以说,Sora出道即王炸,它能够根据用户的一句话生成长达一分钟的视频,且视频流畅度和稳定性皆在水准之上。
目前官网上已经更新了48个视频demo,在这些demo中,Sora不仅能准确呈现细节,还能理解物体在物理世界中的存在,并生成具有丰富情感的角色。该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。

Runway Gen 2、Pika等AI视频工具,都还在突破几秒内的连贯性,而OpenAI,已经达到了史诗级的纪录。
对比AI视频里Runway、Pika、Google和Meta这些主流玩家, Sora的特别之处在于:
1、能够生成具有多个角色、特定类型动作和主题背景的复杂视频,时长可达到1分钟。

2、可以在单个生成的视频中创建多个镜头,模拟复杂的摄像机运镜,同时准确地保持角色和视觉风格。
3、最重要的是,它不仅理解用户在提示中要求的内容,还能自己理解这些事物在现实世界中的存在方式。

OpenAI首席执行官奥特曼(Sam Altman)周四在X网站上让该平台用户把自己想给Sora的文字描述提交给他。然后,他分享了Sora根据这些描述生成的视频。
“我们想向你们展示Sora能做什么,”他在X上写道,“不用担心你的要求太细,或是难度太大!”
有人提出想要“一段海上自行车比赛的视频,让各种动物作为运动员骑自行车,采用无人机拍摄视角”。奥特曼在回复中发布了一段由Sora生成的视频,视频中有企鹅、海豚和其他水生生物骑自行车。
另一段视频显示,一位身穿围裙、面带微笑的白发女士邀请观众进入她的厨房。有人向奥特曼要一段“由一名祖母辈的网红主持的自制团子烹饪课程,背景是一个质朴的托斯卡纳乡村厨房,并配有电影级的灯光”,之后Sora生成了这段AI视频。
OpenAI发布了多个Sora生成的视频,大家可以感受一下。或许已经很难再分清,AI和现实的界限了。
“雪后的东京熙熙攘攘。镜头穿过繁忙的街道,跟随着几位享受着美丽雪景和在附近摊位购物的人们。美丽的樱花瓣伴随着雪花在风中飘舞”。
“一位时尚女性走在充满温暖霓虹灯和动画城市标牌的东京街道上。她穿着黑色皮夹克、红色长裙和黑色靴子,拎着黑色钱包。她戴着太阳镜,涂着红色口红。她走路自信又随意。街道潮湿且反光,在彩色灯光的照射下形成镜面效果。许多行人走来走去”。
一位时髦女士漫步在东京街头,周围是温暖闪烁的霓虹灯和动感的城市标志。
“让Sora生成一张中国龙年舞龙的视频”。
AI想象中的龙年春节,红旗招展人山人海。
有紧跟舞龙队伍抬头好奇观望的儿童,还有不少人掏出手机边跟边拍,海量人物角色各有各的行为。
“穿过东京郊区的火车窗外的倒影”。
“赛博朋克背景下机器人的生活故事”。
“几只巨大的毛茸茸的猛犸象正踏着白雪皑皑的草地走来,它们长长的毛茸茸的皮毛在风中轻轻飘动,远处覆盖着积雪的树木和雄伟的雪山,午后的阳光下有缕缕云彩,太阳高挂在天空中。”距离产生了温暖的光芒,低摄像头视角令人惊叹地捕捉到了大型毛茸茸的哺乳动物,具有美丽的摄影和景深。
“电影预告片讲述了30岁宇航员戴着红色羊毛针织摩托车头盔的冒险经历,蓝天、盐漠,电影风格,35毫米胶片拍摄,色彩鲜艳”。
“一个华丽的珊瑚礁纸艺世界,到处都是五颜六色的鱼和海洋生物
“镜头跟随一辆带有黑色车顶行李架的白色老式SUV,它在陡峭的山坡上一条被松树环绕的陡峭土路上加速行驶,轮胎扬起灰尘,阳光照射在SUV上行驶土路,给整个场景投射出温暖的光芒。土路缓缓地蜿蜒延伸至远方,看不到其他汽车或车辆。道路两旁都是红杉树,零星散落着一片片绿意。从后面看,这辆车轻松地沿着曲线行驶,看起来就像是在崎岖的地形上行驶。土路周围是陡峭的丘陵和山脉,上面是清澈的蓝天和缕缕云彩
网友直呼工作要丢了!
甚至有人已经开始“悼念”一整个行业!
Sora目前存在的弱点
对于Sora目前存在的弱点,OpenAI也不避讳:模型在准确性方面可能会遇到困难,也可能无法理解具体的因果关系实例。


例如“五只灰狼幼崽在一条偏僻的碎石路上互相嬉戏、追逐”,狼的数量会变化,一些凭空出现或消失。

该模型还可能混淆提示的空间细节,例如混淆左右,并且可能难以精确描述随着时间推移发生的事件,例如遵循特定的相机轨迹。
如提示词“篮球穿过篮筐然后爆炸”中,篮球没有正确被篮筐阻挡。
现在,Sora正面向部分成员开放,以评估关键领域的潜在危害或风险。
OpenAI表示,这项技术仍存在一些缺陷,包括一些空间问题。
该公司表示,它意识到Sora有可能制造错误信息和仇恨内容等。研究人员说,AI驱动的深度伪造已成为一种风险,可能会在2024年总统大选前给公众造成困惑。
OpenAI表示,被选来测试Sora可被滥用方式的专家组将就如何加强对该系统的保护提供反馈意见。
该公司表示:“我们也在开发有助于检测误导性内容的工具,比如检测分类器,它可以分辨视频是何时由Sora生成的。”
继续阅读
阅读原文