博客

各种子词分词方式

  • Post author:
  • Post category:其他


  1. gpt-1用的是

    Byte-Pair-Encoding
  2. bert 与 electra 用的是WordPiece
  3. robert和gpt-2 用的是byte-level Byte-Pair-Encoding [bbpe]
  4. xlnet与albert 用的是SentencePiece


版权声明：本文为ltochange原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。