卷友们好,我是rumor。
解决问题是个有意思的过程,也是很多工程师的成就感来源。记得我从上家公司离职时,一位技术前辈给我的职业忠告,就是要不断提升自己解决问题的能力。
我也是一直把这句话印在脑子里的,然而随着接触的真实场景越来越多,我发现很多时候「定义问题更加重要」。
定义问题,就是对一个问题,找到WHY。一旦WHY找到了,再逐步拆解,一个个解决就完了。
上面聊的太没意思了,那我直接问一个问题吧:怎么实现真正的机器智能?
或许是时候从眼前的任务抽身,来看看更大的问题了。

Autonomous Machine Intelligence

昨天中午午休的时候,刷到了LeCun最新的一篇文章:
用他的原话说,这是一篇他最近5-10年来思考的结晶,并且未来10年都会顺着这个方向去做
看他这么说,我的心跳速度瞬间就起来了,要知道LeCun是一位什么级别的巨佬啊,居然一个人写了一篇62页的文章,给大家分享他的idea,当时我都觉得点开这个文章我就智能了。
不过真正看到解决方案的时候,就没有那么惊喜了:
感知模块(Perception)、记忆模块(Short-term Memory)、Actor、Critic,不知道大家什么感受,但我感觉很多概念都是单独见过的,而且揉在一起估计也有人想过。
就这吗?我思维一转,换到作者思维,重新翻回去看被我略掉的开头,努力去想巨佬究竟是怎么得到这个solution的,才慢慢体会到巨佬的巨字怎么写。
以作者思维来看,他首先面临的问题是:怎么实现真正的机器智能?
对于LeCun来说,解答这个问题的WHY,是机器如何拥有学习和推理的能力。再向下细分,他找到了3个子问题,也就是摘要开头的三句话:
  1. 机器怎么像人或动物一样「高效地」学习?
  2. 机器怎么能学会推理和计划?
  3. 机器怎么能学会多层次的、在时间、空间上的推理?
再往前想一步,和现有的技术结合,就到了Intro里的三个核心挑战:
  1. 人或动物学习有两种途径:观察(observation)和交互(interaction),然而交互会面临着一定的代价和风险,所以为了效率,机器怎么才能从大量的observation中学习?
  2. 现在机器学习都是通过可微分架构,用梯度下降的方式学习,那机器怎么才能在这种方式下学会推理和计划?
  3. 如果以人类婴儿认识世界的过程来看,学习是有层次的,比如要先学会一些不那么抽象的概念,才会理解更抽象的概念,那机器如何学会这种层次化的抽象和预测?
把问题定义清楚、拆解明白之后,LeCun才提出了他的解决方案JEPA。

总结

关掉别人的文章,让自己在作者的角度去思考,就知道把问题想清楚有多难了。
同样的还有谷歌最近疯狂被cue到产生了意识的LaMDA模型,它的成功,很大一部分取决于把问题想清楚(什么才算是智能的对话系统?),定出了明确的指标,往对的方向走才得到了好的效果。
不过以上的JEPA只是LeCun的建模,不同大佬也有不同的看法,比如谷歌Jeff Dean认为的下一代架构是Pathways,让模型自己判断哪个模块执行哪个任务。
最后,虽然还没有细看JEPA,但我还是有一些自己的小想法,个人不太认同复杂的架构设计,可能有点玄幻在里面,如果真能设计出来的话,我们是谁设计的呢?

我是朋克又极客的AI算法小姐姐rumor
北航本硕,NLP算法工程师,谷歌开发者专家
欢迎关注我,带你学习带你肝
一起在人工智能时代旋转跳跃眨巴眼
「想给自己增加个记忆模块」
继续阅读
阅读原文