西风 鱼羊 发自 凹非寺

量子位 | 公众号 QbitAI
就离谱！只因开了一个视频会议，直接被骗1.8个亿。
这是真真切切已经在香港发生的一场犯罪：
一家跨国公司香港分公司的财务人员，按照“CFO”的指令，给对方指定账户共计转账2亿港币（约合1.8亿人民币）。
谁曾想，这个刚刚在视频会议里跟自己“面对面”聊过的人，完全是Deepfake出来的！
先别着急骂这大兄弟警惕性太低，Ta也不是没有过一丝丝怀疑，但是，这可不是什么诈骗界常见的一对一视频通话——
参与会议的有好几个熟面孔，无论是脸还是声音，当事人描述“每个人看起来都很真实啊”。
甭管怎么说，这事儿的惊悚程度，是有点吓到网友们了。
借由AI技术犯罪的话题，一时间又成为了各大平台的讨论焦点。

冲锋在AI批评一线的马库斯就第一时间拉着网友们吃起了瓜：好家伙，这是《黑镜》降临了。
深度伪造的狗屎越来越真实了。

事件始末

我们暂且称这位被骗的财务人员为“小帅”，事情的具体经过是这样婶儿的……
最初，小帅收到了一封远在英国总部的“CFO”发来的邮件。由于内容提到需要执行一项秘密交易，小帅一开始有些疑虑，并怀疑这是网络钓鱼信息。
不想，骗子立马展开下一步动作，邀请小帅进行视频会议。
小帅进入视频会议后彻底被眼前的一幕唬住了：不仅公司CFO在，小帅的一些同事也在，还有一些外部人员。
关键是，这些假同事和小帅认识的真同事无论是模样长相还是声音，都别无二致。
会议中，这个假冒CFO还让小帅做自我介绍，不过在此过程中会议突然中断。
骗子随后又通过即时通讯平台、电邮、一对一视频通话与小帅保持联系。
如此接连下套，小帅最终中了骗子的诡计，按照会议中的指示，分别向5个香港银行账户进行了15次转账，总计2亿港元，也就是约2560万美元，约合RMB1.8个亿。
从骗子联系小帅开始，整个事件大概持续了一个周，直到小帅之后向公司总部核实情况，才惊觉整个事件不过是一场精心策划的诈骗。
之后他们报了警。警方立即展开调查，发现会议中除小帅外的所有参与者，都是骗子使用公开的个人视频和音频片段重建的数字人。
视频中让小帅自我介绍并不是真的在和他互动，而只是单纯的用虚拟形象下达指令。
警方还透露，不法分子曾使用相同的多人视频通话策略，试图诈骗该公司分部的另外一名员工，总共接触了两到三名员工。但警方未提供有关他们遭遇的完整信息。
目前该案还在进一步调查中，尚未对诈骗者实施逮捕。
后续在新闻发布会上，香港警方表示已逮捕6名与此类诈骗有关的人员，且类似案件还有很多：
去年7-9月，有8张被盗的香港身份证被用于申请了90份贷款、登记了54个银行账户；
至少有20次，AI Deepfake被用来模仿身份证上的人像，以骗过面部识别程序。

AI“克隆”有多猛

可以看到，整个案件中，最终让小帅放下戒备的一大关键点就在于视频会议中的假人过于真实。
那么现在的“数字克隆人”究竟能有多真？一起来看几个栗子。
就比如下面这段霉霉说中文的视频就来自一款爆火AI工具——HeyGen。
音色口型简直完美复刻，网友看了之后都吓得直喊妈：
HeyGen的最新技术展示中，和数字克隆人实时聊天也已成为现实。
AI语音合成方面，最近比较火的是一家叫做11Labs（ElevenLabs）的初创公司。
11Labs不仅能实现29个语种的语音生成，而且仅需短至1分钟的音频素材，就能很好地“克隆”任何一个人的声音，语调、情绪变化都能模仿到位的那种。
关键是，现如今这些AI克隆术不仅真实度越拉越满，门槛也在逐渐降低……
比如下面这种开源项目，已经可以分分钟实现实时视频换脸。
项目主页列有不少现成的不同人的面部模型，如果不喜欢还可以自己训练模型。

“数字克隆版的你即将到来”

或许是受到这一事件和前段时间霉霉成Deepfake受害者事件的影响，上述这个实时换脸项目再获关注，还新鲜冲上了GitHub趋势榜。
就在这个项目的issues中，不少网友的抵触情绪早已弥漫多时。
但正如许多网友提到的那样，技术没有善恶之分。并且更现实的问题在于，开弓没有回头箭。
于是很多人把关注的重点，放到了“如何防御”这件事上。
除了更多规范和政策的制定，从技术的角度来说，Nature就在“2024最值得关注的七项技术”一文中提到：
让开发者在AI工具中加入隐形水印机制或许是一种方案。
而从个人的角度来说，提高警惕，已经成为AIGC技术爆发时代不得不面对的命题。
香港警方也在这次事件中表示，将扩大警报系统，以提前警告、阻止用户向诈骗相关账户转移资金。
不过，Deepfake假CFO骗走公司1.8个亿这种事儿，多少还是有点过于离谱。
以致于不少网友提出了质疑：
这么大一个公司，就没点风险管理措施？

怕不是有内鬼吧。
那么，你怎么看？
参考链接：

[1]https://www.scmp.com/news/hong-kong/law-and-crime/article/3250851/everyone-looked-real-multinational-firms-hong-kong-office-loses-hk200-million-after-scammers-stage

[2]https://twitter.com/garymarcus/status/1754188331188130201
— 完 —
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~ 
继续阅读
阅读原文
关键词
技术
换脸
公司
霉霉
公司