李磊（右）博士在AI科技评论组织的 AAAI 中国之夜活动上进行分享
在AI科技评论组织的 AAAI 中国之夜活动上，AAAI 现任执委杨强教授、清华大学智能技术与系统国家重点实验室主任、信息获取课题组的学术带头人朱小燕、今日头条实验室总监李磊、iFly.vc 合伙人沈瀚、物灵科技人工智能首席科学家吴惟心、iPIN 创始人杨洋在现场做了分享。沙龙从下午五点半持续到晚上九点，据AI科技评论现场编辑团队表示，活动氛围非常热烈。
本篇是AI科技评论根据李磊博士在现场的分享整理而成。李磊博士是今日头条科学家、头条实验室总监。上海交通大学计算机系本科，卡耐基梅隆大学计算机系博士，毕业论文获美国计算机学会 SIGKDD 最佳博士论文之一。曾在微软研究院、Google、IBM TJ Watson、加州大学伯克利分校工作 。研究方向为深度学习、概率模型与推理、自然语言理解等。

时间序列模型里的推理

我这次做的论文和头条的主要业务不是特别相关，我做的是时间序列模型里面的推理。
这个背景稍微有点长，我们都知道 AI 要解决的问题其实是知识表示，知识怎么样来表示，然后表示了之后，在知识框架里面怎样做推理，可以说 AI 大部分领域基本上都在做这个事情。但表示有不同方法，比如说深度学习就是一种表示的方法。在深度学习火了之前，大家常用的比较受欢迎的方法就是用概率图来表示。为什么要用概率呢？因为这个世界上的物体有很多不确定性，那你要描述这种不确定性，用概率是比较合适的，除了概率之外，还有一个方向就是逻辑，为什么要用逻辑呢？因为很多的物体其实还可以表达成物体之间的关系。当你再有了这种关系之后，你可以通过逻辑推理来做一些确定性的计算。
在 90 年代，有一个潮流是把这两个东西结合起来，因为逻辑是代表了一个确定性计算推理的能力。概率是描述世界里不确定性的那一部分，这两部分结合起来，它的表达能力就更强了，能做计算就更多了，计算也就更难。还有一种更复杂的表示框架叫做一阶概率逻辑，就是把一阶逻辑和概率结合起来。到 2006 年的时候，这个框架又得到了扩展。原来是有概率，有逻辑的，但还缺一个部分即指代对象是什么？我打个比方，我们今天这个屋子里面有很多人，每个人是一个实体，也有一些不确定性，比如说人有很多属性带有不确定性。还有另外一个不确定性关系到具体人，我可以拿到一个名单，里面有今天来参加的是谁，但是从名字到具体的人这样一个对应，你在不熟悉的时候，可能没法对应起来，这种不确定性是原先的知识表示框架里面没有的，然后在 06 年的时候就加了这个东西。我知道有这么一个主体在我的知识实体库里面，但是我不知道他是谁，比如说，我读到一个单词叫 Michael Jordan ，你光从这个单词本身，并不能判断出它到底指代的是伯克利大学的 Michael Jordan 教授还是打篮球的 Michael Jordan，你需要从它的表面的形式去推理出它真正指代的对象，这个是需要逻辑推理的。
大概从 12 年开始到现在，我们主要想做的事，就是在这个表示框架里怎么样去加速这个计算，加速带有概率的逻辑推理，怎么样去把它做得非常好。传统的方法呢是比较慢的，去年IJCAI上我们发表了一篇论文通过计算机编译的方法把这个推理速度加速了 100 倍。今年AAAI的论文是把编译推理推广到了时间序列模型，《A Nearly-Black-Box Online Algorithm for Joint Parameter and State Estimation in Temporal Models》， 做的是用概率编程来表述时间动态模型，在论文中也提出了一个通用、更快、更好的方法来从数据里面学习参数和模型隐变量，

NLP 如何脱颖而出

AAAI 中国之夜活动上，雷锋网还向李磊博士提问，在目前的发展过程中，接地气的 NLP 是如何从 AI 众多领域中脱颖而出的呢？
我在加入今日头条之前，在百度工作了将近两年。当时的工作也是自然语言，主要是围绕搜索和广告。那现在在今日头条也是做 NLP，但围绕的场景稍有变化，现在是信息分发。为什么要做信息分发呢？其实我对机器学习和人工智能的应用有一个理论，就是什么样的产品问题是需要现在的机器学习来解决的。搜索和广告肯定包含在内，（有很多做这个领域的公司）包括谷歌和百度是非常非常需要机器学习的。除此之外我觉得最需要的就是信息分发领域。
这是为什么呢？大家看，搜索、广告和信息分发这三个领域最大的特点是它们的自运算都是非常小的决策，但是频率很高。一旦决定做错了的话，他们的代价非常小。比如搜索，如果给你推荐一篇文章，你不喜欢的话，看下一个就行。那什么样的领域不适合，或者说 AI 在其中或许不能起到最关键的作用呢？是那种代价非常大的决策。比如你要买个房，大家做这个决策恐怕需要半年到一年的时间，不是说看到一篇广告或一篇文章就对你的决策有决定性的影响。可能你要看非常多的东西，它们综合起来才会影响最后的决定。我希望通过 AI 通过机器学习的方式来帮你做决策。
回到 NLP 这个问题上，我归纳出信息分发中几个跟 NLP 非常相关的环节。
如何要把信息分发做好？
  • 第一，是要有好的创作内容。
需要通过机器学习、NLP 技术帮助创作者更好更快地创作内容。比如说去年奥运会期间，我们在头条实验室做了一个自动写作的机器人，它会根据奥运会赛程自动写新闻稿。在奥运会期间它已经写了几百篇文章，也有非常大的阅读量。这个是我们通过技术帮助它在自动创作。我们并不是要取代那些记者，只是说想用技术帮助他们。这是第一个方面。
  • 信息分发领域第二个方面就是需要做推荐，需要有好的推荐算法。
想把推荐做好的话，你需要理解内容，理解用户。而理解内容本身就需要很多（储备），比如词袋模型，主题模型、语义分歧，关键词提示等等。这样的技术在推荐上都非常有用。
  • 第三个方面是互动。
因为我们把信息推给用户，他看了一篇文章或一段视频之后，会（和信息）有交互，会去评论。我们希望：用技术去分析用户对我们的内容到底有什么样的反应和想法， 也想用技术鼓励用户去交互。所以这里面也需要用技术，比如说像评论情感识别类似的方法。
  • 第四个方面跟用户之间的关系比较小，但是也非常重要，就是 AI 的审核作用。
我们（今日头条）本身是一个平台，在平台上有很多创作者会通过一个类似于微信公众号的头条号，上传他们写的文章。但是这些内容可能参差不齐，有的可能是有问题的。我们需要把这些有问题的挑出来。有些可能没有问题，但质量比较差，也需要把它识别出来。还有一些，比如说我们平台上就有一些标题党的文章。它可能标题非常吸引人，但点进去看其实没有什么内容，需要把这些也过滤出来。把这些做好的话，也需要更加偏向技术。这就是我从产品以及我们公司所处的领域表达的一些看法。

学术界和产业界的不同

在活动最后，雷锋网也向李磊博士请教了在 NLP 或者人工智能领域上，学术界和产业界有什么不同的问题。对此，李磊博士是这样回答的：
我觉得学术界的研究和企业做产品有很大的不同。最大的区别是我们的目的是不一样的。我觉得学术研究的根本目的是创造知识，而这个知识不一定是能为你赚钱的，它很可能是“没有用的”，你想拿它去为你做些什么，这是不一定能实现的。而我们做产品的目的是非常非常直接的，就是要帮用户解决问题，而且希望在这个过程中能够盈利行成良性循环 。
目的不同的话我们做的方式也会不一样。做学术是通过研究把钱变成知识，而做产品是反过来的，你是要把知识变成产品和钱。当然，这两件事并不是完全脱离开的，现在比较好的一个是在企业研究院的环境下就有这样的机会，比如我之前在的百度深度学习研究室。它们的目的一半是在做学术探索，研究的知识可能在现在还没有什么用，但是有可能在未来有用，另外一部分是可以从企业的产品里面了解企业的技术难点在哪里，问题在哪里，然后就可以精力投入去解决。除此之外还有一些其他方式，比如企业合作等等。
继续阅读
阅读原文