diff --git a/docs/ai/llm-basis/llm-operation-mechanism.md b/docs/ai/llm-basis/llm-operation-mechanism.md index ec19132ad11..f065ce76de2 100644 --- a/docs/ai/llm-basis/llm-operation-mechanism.md +++ b/docs/ai/llm-basis/llm-operation-mechanism.md @@ -104,6 +104,8 @@ Token 划分的精细度会直接影响模型的理解能力。特别是在中 ![Token 化过程示例](https://oss.javaguide.cn/github/javaguide/ai/llm/llm-token-process.png) > **⚠️ 注意**:实际的 Token 切分由模型供应商的 Tokenizer 实现,不同供应商对相同文本可能产生不同的 Token 序列。生产环境中应使用对应供应商的 Tokenizer 工具进行精确计数。 +> +> OpenAI 官方网页端 Tokenizer 工具:[OpenAI Tokenizer](https://platform.openai.com/tokenizer) **特殊 Token**:除了文本内容对应的 Token,模型内部还会使用一些特殊标记,这些也会计入 Token 总数: