大语言模型:Tokenization 大语言模型:Tokenization 当我们与大语言模型对话时,输入的自然语言文本(例如 今天用 ChatGPT 写一段 Python 代码)并不能被模型直接理解。模型本质上只能处理数值化的输入,因此需要先经过 Tokenization(分词/词元化) 环节:将原始文本字符串切分成模型可处理的最小语义单元(即 Token),并将每个 T 2026-06-17 LLM 26 ysf
如何在阿里云申请使用免费SSL证书并在Nginx服务器部署 如何在阿里云申请使用免费SSL证书并在Nginx服务器部署 SSL (Secure Sockets Layer) 证书(更准确的名称是TLS证书)是保障网站安全、建立用户信任的数字凭证。它如同网站的“数字身份证”,由受信任的证书颁发机构(CA)签发,主要有两个作用: 数据加密:在用户的浏览器和网站服务器之间建立一条加密通道,确保传输的密码、信用卡号等敏感信息不会被窃听或篡改。 身份验证:验证网站的真实身份,防止用户访问到仿冒的钓鱼网站。 2026-03-31 Linux 63 ysf
使用Word宏为Zotero生成的参考文献建立超链接 使用Word宏为Zotero生成的参考文献建立超链接 转自:解决方案——Zotero生成的参考文献和Word如何建立超链接,实现点击引用跳转的效果 2026-03-21 14 ysf
LLM中的各类型位置编码概述 LLM中的各类型位置编码概述 Transformer 的自注意力机制能够直接建模序列中任意两个 token 之间的依赖关系,但其基本计算形式并不显式包含序列的顺序信息。自注意力主要依据 query 与 key 之间的相似度分配注意力权重,并根据这些注意力权重对 value 进行加权聚合。因此,在缺少位置表示信息的情况下,模型虽然 2026-03-16 LLM 71 ysf
大语言模型:从训练到推理 大语言模型:从训练到推理 引言 2023年,我第一次使用ChatGPT时,就被它的生成能力、精准的上下文理解能力和多任务处理能力惊艳到了。ChatGPT 不仅能自然地回答问题、总结复杂信息,还能写文章、生成代码、分析 Bug,甚至在连续多轮对话中保持上下文一致性。它不像传统意义上的搜索引擎,也不像我过去接触过的任何自然语言处 2026-01-26 LLM 34 ysf
闪光灯同步方式:前帘同步和后帘同步 闪光灯同步方式:前帘同步和后帘同步 在使用Lumix S5 拍摄时,设置菜单中的闪光同步有两个选项:1ST和2ST,其实这两个选项就对应着前帘同步和后帘同步。 前帘同步:在快门打开时就启动闪光灯 后帘同步:在快门即将关闭前启动闪光灯 下面就具体来讲讲这两种闪光灯的同步方式及其使用场景 前帘同步 前帘同步是大多数相机的默认闪光模式,其工 2026-01-06 摄影 3 ysf
向量数据库的索引算法 向量数据库的索引算法 前言 Embedding 模型能够将文本、图像、音频等非结构化数据转换为高维向量,并将其映射到统一的向量空间中。在这个空间里,语义相近的数据通常会拥有更接近的几何位置,从而使计算机能够通过数学计算衡量不同内容之间的相似性。 以文本为例,人类很容易理解“汽车”、“轿车”和“卡车”之间存在明显关联,但对 2025-12-27 RAG 8 ysf
RAG中的精确检索算法:从TF-IDF到BM25 RAG中的精确检索算法:从TF-IDF到BM25 在RAG(Retrieval-Augmented Generation)系统中,精确的检索算法是确保生成质量的关键。本文深入探讨了从经典的TF-IDF到现代BM25算法的演进,详细解析了BM25的数学原理、参数调优和实战应用,帮助开发者构建更高效的检索系统。 2025-11-05 AI 应用开发 24 ysf
大语言模型:推理采样策略(Sampling Strategy) 大语言模型:推理采样策略(Sampling Strategy) 采样是什么 当我们问大语言模型一个问题时,模型不是一次性就生成所有答案的。 模型每次根据当前当上下文 token 序列 \mathbf{u}=[u_1,u_2,\cdots,u_t] 预测下一个 token 的概率分布 P,然后采样策略从这个分布中选出一个token u^\prime,选出的toke 2025-10-09 AI 应用开发 10 ysf
【论文阅读】Late Chunking:Contextual Chunk Embeddings Using Long-Context Embedding Models 【论文阅读】Late Chunking:Contextual Chunk Embeddings Using Long-Context Embedding Models LATE CHUNKING: CONTEXTUAL CHUNK EMBEDDINGS USING LONG-CONTEXT EMBEDDING MODELS Abstract Many use cases require retrieving smaller portions of text, an 2025-09-08 RAG 19 ysf
大模型文本生成中 temperature 参数的数学机制 大模型文本生成中 temperature 参数的数学机制 使用 API 接口调用大语言模型时,经常能看见 temperature 这个参数,阿里云白炼平台对 temperature 参数的解释是这样的: 那么 temperature 是如何影响大语言模型的输出结果的呢? 大模型是如何选择下一个 token 的? 要理解 temperature 参数的作用, 2025-03-06 AI 应用开发 26 ysf
Prompt Engineering——提示词工程 Prompt Engineering——提示词工程 提示词与提示词工程 什么是提示词 提示词,也叫 Prompt,就是你输入给大语言模型的指令、问题、背景或要求。 它可以是一句话: 请帮我总结这篇文章。 也可以是一段复杂指令: 你是一名产品经理。请阅读下面的用户反馈,提炼出 5 个最重要的问题,并按“问题、影响、建议优先级”的表格输出。不要编造原文中 2024-12-09 AI 应用开发 8 ysf
Ubuntu 安装 tldr Ubuntu 安装 tldr tldr 简介 Github: tldr-pages Project website tldr (Too Long; Didn't Read) 是一个开源的命令行工具,提供了简化版的命令使用说明,旨在帮助用户快速掌握命令的常用用法。与 man 相比,tldr 更加简洁,通常展示一些实用的示例,使得用 2024-10-18 Linux 40 ysf
Elsevier LaTeX 模板使用指引 Elsevier LaTeX 模板使用指引 elsarticle 文档类的下载与安装 进入 LaTeX instructions for authors 页面,点击页面上方的链接 Download the journal article template package 下 2024-10-16 默认分类 43 ysf
【论文阅读】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 【论文阅读】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 论文链接:AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE ViT:把图像看成 patch token 序列,而不是像素网格或卷积特征图,然后直接用标准Transformer Encoder 做全局建 2023-07-30 深度学习 10 ysf
Python中的类型注解 (Type Hints) Python中的类型注解 (Type Hints) Python 是一门动态类型语言,变量的类型由其在运行时所绑定的对象决定。这一特性为开发者提供了高度的灵活性,使得在开发过程中无需显式声明变量类型,从而提升开发效率。 然而,随着项目规模的扩大和代码量的增长,这种灵活性会带来维护上的挑战。在缺乏类型约束的情况下,开发者很难及时掌握函数参数或变量的实际 2023-06-02 Python 13 ysf