当说出“我喜欢你”时,计算机会怎么想?|GGView
GGV有话说:
来源:“科学大院”公众号(ID:kexuedayuan)
1)对较短的简单句而言,解析出的语法信息还比较少;而对于较长的复杂句而言,解析出的语法信息可能非常多,甚至比句子本身的信息还多。
例如,“北京时间2022年5月4日,小明告诉我他非常喜欢一个知名的、紧跟前沿、通俗易懂的科普公众号——纪源资本”。这句话包含了状语、主语、谓语和宾语从句,宾语从句又包含了主语、谓语、定语、宾语和同位语。
2)语义分析法要求句子必须严格遵守语法要求,而实际上,我们日常用语很难保证这一点。
例如,“纪源资本这个公众号我很喜欢”,严格来讲,这句话是有语病的(宾语前置),但并不影响我们的理解,类似的“病句”在日常生活中很常见。
3)一词多义的现象很常见,给语义分析带来了巨大的困难。
例如,“我给你推荐了这么有意思的纪源资本,这你不意思意思”。前半部分的“意思”是趣味,后半部分的“意思”是礼物、奖励。我们对这些词很熟悉,但计算机很难理解一词多义。
1)我们收集足够多的语言材料,即语料库(Corpus),例如1亿个人说过话,每人10句,总计10亿句话。
2)统计不同词出现的频率,以及这个词出现后,另一个词出现的频率……例如,“我”出现的频率为10%,“我”出现之后“爱”出现的频率为3%……
3)然后,就可计算一句话出现的概率。
4)于是就得到了一句话的概率P{我爱纪源资本},如果这个概率大于某个门限,就认为这句话通顺,即出现的概率足够大;反之,认为这句话不通顺,即出现的概率太小。
点击展开
从纠错看反馈
借由自然语言处理问题,为大家介绍反馈(Feedback)的概念。反馈,是指系统的输出回传至输入端,并参与对输入的处理,进而再影响系统输出的过程。
例如,在自动纠错中,输入为“我挨科学大院”,输出为这句话的概率。当系统发现这句话的概率非常小时,会反过来检查输入,发现“挨”字是错别字,然后自动纠错,最终输出正确的句子“我爱科学大院”的概率。
根据对输出的影响,反馈可分为正反馈(Positive Feedback)和负反馈(Negative Feedback)两种。正反馈增强输出,使得系统趋于不稳定;负反馈减弱输出,使系统趋于稳定。
举例来讲,自然语言的自动纠错,就是一种典型的负反馈,使得输出的概率趋于最大值;还有空调、热水器等,使得室温、水温收敛至预设值。
(负反馈保证了稳定)
相对于负反馈,正反馈系统较少,典型的有振荡器(将稳定的直流电转换为震荡的交流电)、生理和心理的成瘾(不断地适应、不断地寻找更强的刺激)。
参考文献:
[1] 吴军. 数学之美(第3版). 北京: 人民邮电出版社.
[2] 盛骤, 谢式千等. 概率论与数理统计(第4版). 北京: 高等教育出版社.
[3] Alan V. Oppenheim著, 刘树棠译. 信号与系统(第2版). 西安: 西安交通大学出版社.
*本文出品自“科学大院”公众号(kexuedayuan),转载请注明公众号出处。科学大院是中科院官方科普微平台,由中科院科学传播局主办、中国科普博览团队运营,致力于最新科研成果的深度解读、社会热点事件的科学发声。(文中图片均源自NASA官网公开资料,详情见参考文献,表情包为作者提供)
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。