Transformer 通关秘籍5：GPT4 模型的 tokenization 的可视化网站

在前面几节，你了解了 token 的概念以及对文本进行分词的大致过程后。

本节给出一个使用 GPT4 模型（当前 OpenAI 最强大的模型）拆分 token 并将拆分结果进行可视化的网站，你可以去这个网站上测试一下分词效果。

网址：https://platform.openai.com/ tokenizer

使用说明

通过该网站，你可以了解一段文本如何被 GPT-4 模型分词的，以及文本的被分词之后的 token 总数是多少。

比如像下面这样。

我输入一段英文文本，结果显示被拆分成了 57 个 token ，每个 token 在最下方使用不同颜色进行了标注。

当输入文本中含有 debugger 时，文本被拆分为了 debug 和##ger，这和之前几节文章中的分析是一致的，说明 debug 确实是一个非常常见的基础子词。

当然你也可以将 token 转换为 token ID 来查看，关于 token ID，后面会详细介绍其作用。

需要注意的是，文本分词后的 token 序列结果与模型有关。

像GPT-3.5 和 GPT-4 这样的模型使用的方法与旧模型会有不同，不同的分词算法对于相同的输入文本也会产生不同的 token 序列。

按照 GPT-4 官方给出的经验数据：对于常见的英文文本，一个 token 大概对应 4 个英文字符，大约相当于 3/4 个单词，所以 100 个 token 大约等于 75 个单词。

这里有一个全程一站式的 Transformer 讲解和实战辅导，带你从零手写一个可对话的大模型，点击链接查看详情从零手写大模型实战