各种子词分词方式

  • Post author:
  • Post category:其他


  1. gpt-1用的是

    Byte-Pair-Encoding
  2. bert 与 electra 用的是WordPiece
  3. robert和gpt-2 用的是byte-level Byte-Pair-Encoding [bbpe]
  4. xlnet与albert 用的是SentencePiece



版权声明:本文为ltochange原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。