NLP基本概述

  • Post author:
  • Post category:其他


一、NLP领域顶会

① 自然语言处理: ACI EMNLP NAACL coling
② 机器学习: ICML NIPS UAI AISTATS
③ 深度学习: ICLR
④ 数据挖掘领域: KDD WSDN SDM
⑤ 人工智能:IJCAI AAAI

二、NLP领域的基本工作

1、分词  solved problem

1、常用工具:jieba    showNLP    Ltp    Hanlp

2、POS  solved problem

….

3、NER

…..

4、语法分析(句法分析)

1、算法:DP算法

用于构建句法树

5、语义分析与依存句法分析

语义分析

1、语义分析解决的两个问题:
    ① 理解一个存在歧义的情况下单词的意思
    ② 理解一个文本的意思
2、主要技术:
    skip-gram、CBOW、Glove、Elmo、BERT、ALbert、XLnet、GPT-2、GPT-3、Tiny-BERT
依存句法分析

1、 。。。

三、NLP应用领域

1、写作助手(拼写纠错)

1、核心模型:LM模型(语言模型)
    例: P(‘今天’,‘上课’)  > P(‘上课’,‘今天’)
2、LM模型的作用:
    ① 判断一个句子的语法是否通顺(根据前面的词判断下一个词中最大概率是哪个词)
    ② 可以用做‘完型填空’式的文本生成

2、文本分类

(1)情感分析

(2)情绪分析

(3)主题分析

3、信息检索

信息检索

4、问答系统

1、问答系统的目的是直接提供用户答案
2、问答系统与检索系统的区别:检索系统返回相关的结果,问答系统则直接返回答案
3、问答系统需要更多语义相关的理解

5、自动生成文本摘要

1、抽取式
    ① 文章抽取句子排序
    ② 文章抽取短语组合
    ③ 文章抽取单词
2、生成式

6、机器翻译

1、机器翻译的方法:
    1、基于规则方法:大量的语法树
    2、统计翻译: IBM Model
    3、生成式翻译

7、信息抽取

1、信息抽取:实体
    实体识抽取(NER) ------> 统一实体、实体消岐  ------> 关系抽取、事件抽取  



版权声明:本文为qq_16555103原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。