NLP领域的小样本学习

  • Post author:
  • Post category:其他


few-shot: 通过较少的学习样本,实现比较好的识别能力。

技术迭代:

基于bert的标准微调范式在小样本效果比较差。

为什么小样本容易过拟合?

因为预训练有大量的参数,如果样本非常少,那么训练参数量就会远远高于样本量,造成过拟合!

PET算法:

通过人为修改模板,把分类标签转化成完形填空。

通过引入一段话,把分类标签带入到训练样本中,实现完形填空的功能。

PET的缺点,写的不同的模板会影响效果。

P-Tuning模型

基于PET使用伪模板。

一般而言,p-tuing效果优于PET范式。但是对于标签特别多,以及蕴含任务需要去理解的时候,p-tuing任务的效果不是很好。蕴含任务就是无法把标签变成完形填空的形式。

EFL : 把分类任务转换成二分类蕴含任务。

关于paddle-NLP的小样本增强技术;

R-drop:

Rdop做的是隐式数据增强,把一句话,变成两个接近的token。