《经济学人·商论》开学季大礼包持续发送中!
总部位于加州的研究公司OpenAI表示,随着对机器学习的热情越来越高,对处理能力的需求在2012年开始上升,之后急剧加速。到2018年,用于训练大型模型的计算能力已增长了30万倍,并且每三个半月翻一番。确切报道所有这一切花了多少钱的数字很少见。Facebook的AI负责人说,为最大型的模型进行一轮训练可能会耗费数百万美元的电力。对计算能力不断增长的需求推动了芯片设计和专用设备的蓬勃发展,创新将变得越来越重要,因为AI引发的计算能力需求激增正值摩尔定律逐渐枯竭之际。缩小芯片变得越来越困难,收益也不可与当年同日而语。英伟达的创始人黄仁勋已经直言不讳地说:“摩尔定律已不再适用。”研究人员正在寻找更多新奇的创意。
🔍新版App现已上线,欢迎下载更新并搜索“人工智能”直通更多《经济学人》主题文章。
《经济学人·商论》2020-07-01
机器学习中

(Machine, learning)
计算硬件
机器学习中
训练机器的成本正成为一个问题
【技术季刊《AI及其局限:比预期更陡峭》系列之五】
*原文发表于2020年7月,时效性内容未作专门更新

计算行业的基本假设是,数字运算一直都会越来越便宜。摩尔定律是主导该行业的节拍器,它预测可以挤进给定大小的微芯片上的元件数量(大致可以认为是给定成本下的计算能力)每两年翻一番。
斯坦福大学AI实验室主任克里斯托弗·曼宁(Christopher Manning)表示,对于许多相对简单的AI应用而言,这意味着训练计算机的成本正在下降。但这并不是放之四海而皆准的。激增的复杂度加上竞争,意味着最前沿应用的成本急剧上升。
曼宁博士以BERT为例:BERT是谷歌在2018年建立并已用于该公司搜索引擎的一个AI语言模型。它具有超过3.5亿个内部参数,对数据的胃口也大得惊人。它使用33亿个文字单词进行了训练,大部分来自在线的维基百科。曼宁说,照现在来看,维基百科并不是一个很大的数据集。“如果可以用300亿个单词训练一个系统,那么它的性能将比用30亿个单词训练的系统更好。” 而更多的数据意味着需要更多的计算能力来处理这一切。
总部位于加州的研究公司OpenAI表示,随着对机器学习的热情越来越高,对处理能力的需求在2012年开始上升,之后急剧加速。到2018年,用于训练大型模型的计算能力已增长了30万倍,并且每三个半月翻一番(见图表)。这家公司确实应该了解这一点——为了训练自己的“OpenAI Five”系统在流行的电子游戏“Dota 2”中击败人类,它将机器学习扩展到了“前所未有的水平”,在数千个芯片上不间断地运行了超过十个月。


确切报道所有这一切花了多少钱的数字很少见。但是,马萨诸塞州阿默斯特大学(University of Massachusetts Amherst)的研究人员在2019年发表的一篇论文估计,为另一个大型语言模型“变形金刚”(Transformer)训练一个版本可能要花费多达300万美元。Facebook的AI负责人杰罗姆·佩森蒂(Jerome Pesenti)说,为那些最大型的模型进行一轮训练可能会耗费数百万美元的电力。


Facebook在2019年实现了185亿美元的利润,付得起这些账单。那些现金没那么充裕的公司就感到肉痛了。颇具影响力的美国风险投资公司安德森·霍洛维茨(Andreessen Horowitz)指出,许多AI创业公司都是向亚马逊和微软等云计算公司租用处理能力的。它说,由此产生的账单(有时占收入的25%或更多)是投资AI创业公司可能不如投资传统软件公司有吸引力的原因之一。3月,曼宁在斯坦福的同事(包括AI大咖李飞飞)发起了云计算计划“国家研究云”(National Research Cloud),旨在帮助美国的AI研究人员负担不断攀升的费用。


对计算能力不断增长的需求推动了芯片设计和专用设备的蓬勃发展,这些设备可以高效地执行AI中使用的计算。第一波专用芯片是图形处理单元(GPU),它在1990年代被设计出来,用于增强视频游戏图形。幸运的是,GPU也非常适合AI中用到的那种数学。

还可以进一步专门化,并且有许多公司正致力于此。去年12月,芯片制造巨头英特尔以20亿美元收购了以色列公司哈瓦那实验室(Habana Labs)。成立于2016年的英国公司Graphcore在2019年的估值达20亿美元。最大的GPU制造商英伟达等成熟公司也调整了设计以适应AI。谷歌自行设计了自有的“张量处理单元”(TPU)芯片。中国科技巨头百度也开发了自己的“昆仑”芯片。毕马威会计师事务所的阿方索·马龙(Alfonso Marone)认为,AI专用芯片市场的规模已达100亿美元左右,到2025年可能达到800亿美元。

Graphcore的联合创始人之一奈杰尔·图恩(Nigel Toon)说:“计算机体系的结构需要符合它们所处理的数据的结构。” AI工作负荷的最基本特征是“极易并行”,也就是说它们可以被切成数千块并同时处理。例如,Graphcore的芯片具有1200多个独立的数字运算“核心”,可以链接在一起以提供更强的能力。加州创业公司Cerebras采用了一种极端的方法。芯片通常是分批制造的,把数十或数百个芯片蚀刻在直径300毫米的标准晶圆上。Cerebras的每块芯片都占据了整个晶圆,这样就可以在里面挤进40万个核。

其他优化也很重要。Cerebras的创始人之一安德鲁·费尔德曼(Andrew Feldman)指出,AI模型花费大量时间将数字乘以零。由于这些计算的结果总是为零,因此都是不必要的,而Cerebras的芯片都能避免执行这些计算。Graphcore的图恩说,AI并不需要超级精确的计算,这一点与许多任务不同。这意味着芯片设计师可以通过降低芯片处理的数字精度来节省能源。(计算结果到底可能模糊到什么程度仍然是个悬而未决的问题。)

所有这一切加起来可以获得巨大的收益。图恩认为Graphcore现有芯片的效率是GPU的10到50倍。这些芯片已经进入了戴尔出售的专用计算机以及微软的云计算服务Azure。Cerebras已为两个大型美国政府实验室提供了设备。

此类创新将变得越来越重要,因为AI引发的计算能力需求激增正值摩尔定律逐渐枯竭之际。缩小芯片变得越来越困难,收益也不可与当年同日而语。去年,英伟达的创始人黄仁勋直言不讳地说:“摩尔定律已不再适用。”

因此,其他研究人员正在寻找更多新奇的创意。一个是量子计算,它利用量子力学的反直觉特性大幅加速某些类型的计算。关于机器学习的一种思考方式是把它看作优化问题——计算机试图在数百万个变量之间折衷取舍,以求出误差尽可能小的解。微软研究院量子架构与计算小组负责人克里斯塔·斯沃尔(Krysta Svore)说,一种称为葛洛沃算法(Grover's algoritm)的量子计算技术有可能大大提高速度。

另一个想法是从生物学中获得启发,这证明了当前的蛮力计算不是唯一的出路。全速运行时,Cerebras的芯片消耗约15千瓦的功率,足以为数十座房屋供电(同等数量的GPU消耗的功率还要多很多倍)。相比之下,人脑消耗的能量是20瓦左右(约是其千分之一),并且在许多方面都比硅基技术更聪明。因此,英特尔和IBM等公司正在研究“神经形态”芯片,其中包含的元件将能更贴切地模仿组成生物大脑的神经元的电行为。

但是,就目前而言,这一切还很遥远。对量子计算机的理解在理论上比较清晰,但是尽管谷歌、微软和IBM等技术巨头提供了数十亿美元的资金,实际打造它仍然是工程上的挑战。神经形态芯片是使用现有技术构建的,但神经科学家仍然不了解大脑究竟在做什么或是如何做到的,这让设计困难重重。

这意味着,在可预见的未来,AI研究人员将不得不从现有的计算技术中挤出每一点性能。图恩很乐观,认为通过更专门的硬件和调整现有软件来加速还会有很大的收益。为了量化这个尚处于初期的领域的发展,他用电子游戏来类比:“我们已经走过了《乓》,”他说,“现在可能是在《吃豆人》的阶段。” 所有那些没有百万美元可以挥霍的人肯定希望他是对的。■
您已阅读精选文章。想与全球百万精英同步阅读《经济学人》?官方双语App《经济学人·商论》精选原刊社论、商业、金融、科技、书评等版块最新文章,同步介绍全球热点议题。
学生开学季可享特惠订阅
还有价值666元的超值福袋!
↓更新至最新版APP
体验升级搜索功能,
往期3000篇精选文章任你读↓ 
(安卓用户请通过tegbr.com更新APP)
搜索关键词“人工智能”
搜索
欢迎关注经济学人视频号
开学季专治不想学
学生可享特惠订阅价
👇👇👇
参与资格
● 本次活动不适用于当前在订阅期内的订户
● 本次活动不适用于在app内新购买的用户
活动规则
 赠品配送地址仅限中国大陆,填写地址后两周以内发货
● 福袋随机掉落,参与表示接受规则,不支持退换
● 订阅成功后概不可退订
● 客服微信:搜索微信ID“ecogbr”联系客服(工作日10:00-18:00)
● 本次活动最终解释权归《经济学人·商论》所有
赠品领取
从网站订阅成功后,在订阅成功确认邮件底部扫描二维码,根据步骤填写信息,领取并等待发货即可。
*如长时间等待后仍未收到确认邮件,请搜索微信ID“ecogbr”联系客服(工作日10:00-18:00)
订阅后即可领取福袋
学生订阅
↓ 学生订阅特惠进行中 ↓
  • 订阅方式: 点击“阅读原文”或在上方扫码,可直达商论官网直接以折扣价订阅,订阅后请在App内以注册邮箱+密码账户登录
  • *英语学习专栏处标有价格99999只是为专栏加密,不是实际售价,请不要付费
如何加入商论英语学习社区?
订阅《经济学人·商论》即可免费解锁官方译者主持的商论英语学习社区(一年),全面提升专业英文水平。商论学习社区位于“经济学人集团”(TheEconomistGroup)官方微信菜单栏,解锁后可获得更新中及往期的全部内容。具体获取步骤如下:
  • 直接订阅《经济学人·商论》
  • 成功订阅后,关注经济学人商论服务号(微信内搜索:economistgbr),点击菜单栏【我的商论】-【联系客服】扫码添加商论小助理并直接发送订阅订单截图,等待回复即可
  • 通过网站用邮箱账号订阅《经济学人·商论》后,在邮箱内找到《经济学人·商论》订阅订单确认邮件,打开微信扫邮件最下方二维码,即可根据提示直接领取英语学习社区解锁码
点击“阅读原文”,学生立享299元订阅全年《经济学人·商论》
继续阅读
阅读原文