一、NLP领域顶会
① 自然语言处理: ACI EMNLP NAACL coling
② 机器学习: ICML NIPS UAI AISTATS
③ 深度学习: ICLR
④ 数据挖掘领域: KDD WSDN SDM
⑤ 人工智能:IJCAI AAAI
二、NLP领域的基本工作
1、分词 solved problem
1、常用工具:jieba showNLP Ltp Hanlp
2、POS solved problem
….
3、NER
…..
4、语法分析(句法分析)
1、算法:DP算法
用于构建句法树
5、语义分析与依存句法分析
语义分析
1、语义分析解决的两个问题:
① 理解一个存在歧义的情况下单词的意思
② 理解一个文本的意思
2、主要技术:
skip-gram、CBOW、Glove、Elmo、BERT、ALbert、XLnet、GPT-2、GPT-3、Tiny-BERT
依存句法分析
1、 。。。
三、NLP应用领域
1、写作助手(拼写纠错)
1、核心模型:LM模型(语言模型)
例: P(‘今天’,‘上课’) > P(‘上课’,‘今天’)
2、LM模型的作用:
① 判断一个句子的语法是否通顺(根据前面的词判断下一个词中最大概率是哪个词)
② 可以用做‘完型填空’式的文本生成
2、文本分类
(1)情感分析
(2)情绪分析
(3)主题分析
3、信息检索
信息检索
4、问答系统
1、问答系统的目的是直接提供用户答案
2、问答系统与检索系统的区别:检索系统返回相关的结果,问答系统则直接返回答案
3、问答系统需要更多语义相关的理解
5、自动生成文本摘要
1、抽取式
① 文章抽取句子排序
② 文章抽取短语组合
③ 文章抽取单词
2、生成式
6、机器翻译
1、机器翻译的方法:
1、基于规则方法:大量的语法树
2、统计翻译: IBM Model
3、生成式翻译
7、信息抽取
1、信息抽取:实体
实体识抽取(NER) ------> 统一实体、实体消岐 ------> 关系抽取、事件抽取
版权声明:本文为qq_16555103原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。