当我们与大语言模型对话时，输入的自然语言文本（例如 今天用 ChatGPT 写一段 Python 代码）并不能被模型直接理解。模型本质上只能处理数值化的输入，因此需要先经过 Tokenization（分词/词元化） 环节：将原始文本字符串切分成模型可处理的最小语义单元（即 Token），并将每个 T
Published on 2026-06-17
Transformer 的自注意力机制能够直接建模序列中任意两个 token 之间的依赖关系，但其基本计算形式并不显式包含序列的顺序信息。自注意力主要依据 query 与 key 之间的相似度分配注意力权重，并根据这些注意力权重对 value 进行加权聚合。因此，在缺少位置表示信息的情况下，模型虽然
Published on 2026-03-16
引言 2023年，我第一次使用ChatGPT时，就被它的生成能力、精准的上下文理解能力和多任务处理能力惊艳到了。ChatGPT 不仅能自然地回答问题、总结复杂信息，还能写文章、生成代码、分析 Bug，甚至在连续多轮对话中保持上下文一致性。它不像传统意义上的搜索引擎，也不像我过去接触过的任何自然语言处
Published on 2026-01-26
采样是什么 当我们问大语言模型一个问题时，模型不是一次性就生成所有答案的。 模型每次根据当前当上下文 token 序列 \mathbf{u}=[u_1,u_2,\cdots,u_t] 预测下一个 token 的概率分布 P，然后采样策略从这个分布中选出一个token u^\prime，选出的toke
Published on 2025-10-09
