点击蓝字
关注我们
前言
它是人工智能、计算机科学、
信息工程的交叉领域。
它涉及了统计学、
语言学等多科的知识。
语言是人类思维的证明,
而它又被称为人工智能的最高境界,
誉为“人工智能皇冠上的明珠”
它就是,
自然语言处理。
图片来自网络,最终版权归原作者所有
先让小斧头
来带大家一起来看看
学科名片吧。
01
学科名片
自然语言处理
Natural Language Processing
简称NLP。简单来说即是计算机接受用户自然语言形式的输入,并在内部通过人类所定义的算法进行加工、计算等系列操作,以模拟人类对自然语言的理解,并返回用户所期望的结果。正如机械解放人类的双手一样,自然语言处理的目的在于用计算机代替人工来处理大规模的自然语言信息。
图片来自网络,最终版权归原作者所有
接下来小斧头将
为大家详细解析一下NLP的概念。
02
自然语言处理概念解析
图片来自网络,最终版权归原作者所有
NLP这个概念本身过于庞大,
可以把它分成“自然语言”和“处理”两部分。
1
自然语言
自然语言,
区分于计算机语言,
是人类发展过程中形成的一种信息交流的方式,
包括口语及书面语,
反映了人类的思维,
都是以自然语言的形式表达。
现在世界上所有的语种语言,
都属于自然语言
包括汉语、英语、法语等。
图片来自网络,最终版权归原作者所有
2
处理
处理,
如果只是人工处理的话,
那原本就有专门的语言学来研究,
也没必要特地强调“自然”。
因此,
这个“处理”必须是计算机处理的。
图片来自网络,最终版权归原作者所有
下面将为大家图文介绍,
自然语言处理的
10大领域分类。
03
自然语言处理领域分类
01
文本检索
多用于大规模数据的检索,典型的应用有搜索引擎。
图片来自网络,最终版权归原作者所有
02
机器翻译
跨语种翻译,该领域目前已较为成熟。目前谷歌翻译已用上机翻技术。
图片来自网络,最终版权归原作者所有
03
文本分类/情感分析
本质上就是个分类问题。目前也较为成熟,难点在于多标签分类(即一个文本对应多个标签,把这些标签全部找到)以及细粒度分类(二极情感分类精度很高,即好中差三类,而五级情感分类精度仍然较低,即好、较好、中、较差、差)
图片来自网络,最终版权归原作者所有
04
信息抽取
从不规则文本中抽取想要的信息,包括命名实体识别、关系抽取、事件抽取等。应用极广
图片来自网络,最终版权归原作者所有
05
序列标注
给文本中的每一个字/词打上相应的标签。是大多数NLP底层技术的核心,如分词、词性标注、关键词抽取、命名实体识别、语义角色标注等等。曾是HMM、CRF的天下,近年来逐步稳定为BiLSTM-CRF体系。
图片来自网络,最终版权归原作者所有
06
文本摘要
从给定的文本中,聚焦到最核心的部分,自动生成摘要。
图片来自网络,最终版权归原作者所有
07
问答系统
接受用户以自然语言表达的问题,并返回以自然语言表达的回答。常见形式为检索式、抽取式和生成式三种。近年来交互式也逐渐受到关注。典型应用有智能客服。
图片来自网络,最终版权归原作者所有
08
对话系统
与问答系统有许多相通之处,区别在于问答系统旨在直接给出精准回答,回答是否口语化不在主要考虑范围内;而对话系统旨在以口语化的自然语言对话的方式解决用户问题。
对话系统目前分闲聊式和任务导向型。前者主要应用有siri、小冰等;后者主要应用有车载聊天机器人。(对话系统和问答系统应该是最接近NLP终极目标的领域)
图片来自网络,最终版权归原作者所有
09
知识图谱
从规则或不规则的文本中提取结构化的信息,并以可视化的形式将实体间以何种方式联系表现出来。图谱本身不具有应用意义,建立在图谱基础上的知识检索、知识推理、知识发现才是知识图谱的研究方向。
图片来自网络,最终版权归原作者所有
10
文本聚类
一个古老的领域,但现在仍未研究透彻。从大规模文本数据中自动发现规律。核心在于如何表示文本以及如何度量文本之间的距离。
图片来自网络,最终版权归原作者所有
04
AX课程推荐
Natural Language Processing
Understanding and Machine Assistant
自然语言处理、自然语言理解和机器助手
(计算机语言处理)
课程目标
本课程将由浅入深的讲解,自然语言处理和自然语言理解相关的技术细节,带领学生从零开始进入到本领域,利用各种人工智能算法实现各种场景下的对话系统,并具有丰富的视觉展示性。
AX顾问号
AX美国金斧头教育(简称 ”AX”)
总部位于美国麻州波士顿。
团队是一群来自“美国思想与文化起源地”
波士顿的教育专家:哈佛、麻省理工、
顶尖美高美初教职人员;专注为学生
与其家庭提供K-12定制化、短期提升、
长线规划的优质教育解决方案。
AX公众号
一键保存 AX名片
Lab X 藤云实验室
AX阅读书单
AX云访校
AX美本申请数据
球分享
球点赞
球在看
点击阅读原文
零距离与MIT导师学习计算机语言!
继续阅读
阅读原文