前言 Embedding 模型能够将文本、图像、音频等非结构化数据转换为高维向量，并将其映射到统一的向量空间中。在这个空间里，语义相近的数据通常会拥有更接近的几何位置，从而使计算机能够通过数学计算衡量不同内容之间的相似性。 以文本为例，人类很容易理解“汽车”、“轿车”和“卡车”之间存在明显关联，但对
Published on 2025-12-27
在RAG（Retrieval-Augmented Generation）系统中，精确的检索算法是确保生成质量的关键。本文深入探讨了从经典的TF-IDF到现代BM25算法的演进，详细解析了BM25的数学原理、参数调优和实战应用，帮助开发者构建更高效的检索系统。
Published on 2025-11-05
采样是什么 当我们问大语言模型一个问题时，模型不是一次性就生成所有答案的。 模型每次根据当前当上下文 token 序列 \mathbf{u}=[u_1,u_2,\cdots,u_t] 预测下一个 token 的概率分布 P，然后采样策略从这个分布中选出一个token u^\prime，选出的toke
Published on 2025-10-09
LATE CHUNKING: CONTEXTUAL CHUNK EMBEDDINGS USING LONG-CONTEXT EMBEDDING MODELS Abstract Many use cases require retrieving smaller portions of text, an
Published on 2025-09-08
使用 API 接口调用大语言模型时，经常能看见 temperature 这个参数，阿里云白炼平台对 temperature 参数的解释是这样的： 那么 temperature 是如何影响大语言模型的输出结果的呢？ 大模型是如何选择下一个 token 的？ 要理解 temperature 参数的作用，
Published on 2025-03-06
提示词与提示词工程 什么是提示词 提示词，也叫 Prompt，就是你输入给大语言模型的指令、问题、背景或要求。 它可以是一句话： 请帮我总结这篇文章。 也可以是一段复杂指令： 你是一名产品经理。请阅读下面的用户反馈，提炼出 5 个最重要的问题，并按“问题、影响、建议优先级”的表格输出。不要编造原文中
Published on 2024-12-09
