先看结论

• token 是 OpenAI 模型处理文本的基本单位：一个 token 可能是一个字符、一个词的一部分、一个完整的词，也可能是标点；空格同样会影响文本如何被切分。
• token 数不等于字数。 同一段文字，在不同模型、不同编码和不同语言下，token 数可能不同。
• 英文可以按官方的粗略估算：1 token 约 4 个字符，约 0.75 个词；100 token 约 75 个词。 这只是估算，不是精确值；其他语言的字符、词和 token 之间的比例不同，中文不能直接套用。
• 想知道精确数字，使用 Tokenizer 或 tiktoken，不要靠估算。

token 是怎么来的

向模型发送文本时，大致经过这几步（依据官方帮助中心的说明）：