LeCun的建模
卷友们好,我是rumor。
解决问题是个有意思的过程,也是很多工程师的成就感来源。记得我从上家公司离职时,一位技术前辈给我的职业忠告,就是要不断提升自己解决问题的能力。
我也是一直把这句话印在脑子里的,然而随着接触的真实场景越来越多,我发现很多时候「定义问题更加重要」。
定义问题,就是对一个问题,找到WHY。一旦WHY找到了,再逐步拆解,一个个解决就完了。
上面聊的太没意思了,那我直接问一个问题吧:怎么实现真正的机器智能?
或许是时候从眼前的任务抽身,来看看更大的问题了。
Autonomous Machine Intelligence
昨天中午午休的时候,刷到了LeCun最新的一篇文章:
用他的原话说,这是一篇他最近5-10年来思考的结晶,并且未来10年都会顺着这个方向去做。
看他这么说,我的心跳速度瞬间就起来了,要知道LeCun是一位什么级别的巨佬啊,居然一个人写了一篇62页的文章,给大家分享他的idea,当时我都觉得点开这个文章我就智能了。
不过真正看到解决方案的时候,就没有那么惊喜了:
感知模块(Perception)、记忆模块(Short-term Memory)、Actor、Critic,不知道大家什么感受,但我感觉很多概念都是单独见过的,而且揉在一起估计也有人想过。
就这吗?我思维一转,换到作者思维,重新翻回去看被我略掉的开头,努力去想巨佬究竟是怎么得到这个solution的,才慢慢体会到巨佬的巨字怎么写。
以作者思维来看,他首先面临的问题是:怎么实现真正的机器智能?
对于LeCun来说,解答这个问题的WHY,是机器如何拥有学习和推理的能力。再向下细分,他找到了3个子问题,也就是摘要开头的三句话:
机器怎么像人或动物一样「高效地」学习? 机器怎么能学会推理和计划? 机器怎么能学会多层次的、在时间、空间上的推理?
再往前想一步,和现有的技术结合,就到了Intro里的三个核心挑战:
人或动物学习有两种途径:观察(observation)和交互(interaction),然而交互会面临着一定的代价和风险,所以为了效率,机器怎么才能从大量的observation中学习? 现在机器学习都是通过可微分架构,用梯度下降的方式学习,那机器怎么才能在这种方式下学会推理和计划? 如果以人类婴儿认识世界的过程来看,学习是有层次的,比如要先学会一些不那么抽象的概念,才会理解更抽象的概念,那机器如何学会这种层次化的抽象和预测?
把问题定义清楚、拆解明白之后,LeCun才提出了他的解决方案JEPA。
总结
关掉别人的文章,让自己在作者的角度去思考,就知道把问题想清楚有多难了。
同样的还有谷歌最近疯狂被cue到产生了意识的LaMDA模型,它的成功,很大一部分取决于把问题想清楚(什么才算是智能的对话系统?),定出了明确的指标,往对的方向走才得到了好的效果。
不过以上的JEPA只是LeCun的建模,不同大佬也有不同的看法,比如谷歌Jeff Dean认为的下一代架构是Pathways,让模型自己判断哪个模块执行哪个任务。
最后,虽然还没有细看JEPA,但我还是有一些自己的小想法,个人不太认同复杂的架构设计,可能有点玄幻在里面,如果真能设计出来的话,我们是谁设计的呢?
「想给自己增加个记忆模块」
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。