自然语言处理概论

2021-09-15

文章图片
1.NLP相关学科

语言学
信息论
生物学
计算机科学
数学
等等......

2.相关术语

中文信息处理
中文语言处理
计算语言学
自然语言理解
智能化人机接口

3.知识内容 3.1基础

【自然语言处理概论】音位学->形态学->词汇学->句法学->语义学->语用学

文章图片

文章图片

文章图片

文章图片

文章图片

举例

语音输入：delete file x
音位学处理：dilet'#fail#eks
形态学处理："delete" "file" "x"
词汇学处理：（“delete”VERB）(“file”NOUN）（“x”ID）
句法分析处理：

文章图片

语义分析处理：delete-file('x')
语用分析阶段：特定情境下具有不用含义

3.2应用

文章图片
3.3资源

语料库：北大人民日报语料库、《现代汉语语法信息词典》、概念层次网络等等
知网

3.4评测

评测方法
评测对象
评测量度

4.发展概况

从汉字信息处理到汉语信息处理
从单机信息处理到网络信息处理

5.中文特征

汉语是大字符集的意音文字
汉语词与词之间没有空格
汉语的同义词、同音词较多
汉语没有形态变化
汉语的语法研究尚未规范化

6.中文语言处理发展的主要困难

研究力量分散
缺乏规范
科学的评测机制尚未建立

7.基础理论 7.1主要课题

概率论与统计理论
统计机器学习理论
认知科学理论
人工智能基本理论

7.2词法分析的主要课题

分词
词性标注
命名实体识别
新词发现

7.3句法分析的主要课题 7.4语义分析的主要课题

语义表示
概念语义网络
词义消歧

7.5语用分析的主要课题

自然语言生成
语段分析、对话
机器翻译

8.主要应用

文章图片

推荐阅读

上一篇：青山雪岫【首卷5章】漠北

下一篇：如何看懂地形图