自然语言处理常用标识符＜UNK＞,＜PAD＞,＜SOS＞,＜EOS＞等

Post author:xfxia
Post published:2023年8月4日
Post category:其他

<UNK>
: 低频词或未在词表中的词
<PAD>
: 补全字符
<GO>/<SOS>
: 句子起始标识符
<EOS>
: 句子结束标识符
[SEP]
：两个句子之间的分隔符
[MASK]
：填充被掩盖掉的字符

Bert标识符

[CLS]
：句子开头，以[CLS]开头，随后跟句子的第一个单词