博客

作为一名即将入学的研究生，在这个假期准备看一些论文为自己的科研做准备，结果刚开始就出现了停顿。在论文中出现了名词token，我无法对它做出很好的翻译，导致论文读不下去。网上对它的解释多种多样，经过查阅学习后，我的理解如下。

（我阅读的是英文文献，将其完全翻译成中文，并不能很好的帮助阅读，甚至能限制它的意思。所以，用英文解释英文是最好的！）

Tokenization is a way of separating a piece pf text into smaller units called tokens.And tokens are the building blocks of Natural Language,which can be either words, characters, or subwords.

举个例子，“Never give up”，Tokenization 成words tokens：Never-give-up。

再举个例子，“smarter”，characters tokens：s-m-a-r-t-e-r ；subword tokens：smart-er。