📄🦌🙌🐟🏖️
WINSLOW
Discover, learn and grow
大语言模型:Tokenization

大语言模型:Tokenization

当我们与大语言模型对话时,输入的自然语言文本(例如 今天用 ChatGPT 写一段 Python 代码)并不能被模型直接理解。模型本质上只能处理数值化的输入,因此需要先经过 Tokenization(分词/词元化) 环节:将原始文本字符串切分成模型可处理的最小语义单元(即 Token),并将每个 T

如何在阿里云申请使用免费SSL证书并在Nginx服务器部署

如何在阿里云申请使用免费SSL证书并在Nginx服务器部署

SSL (Secure Sockets Layer) 证书(更准确的名称是TLS证书)是保障网站安全、建立用户信任的数字凭证。它如同网站的“数字身份证”,由受信任的证书颁发机构(CA)签发,主要有两个作用: 数据加密:在用户的浏览器和网站服务器之间建立一条加密通道,确保传输的密码、信用卡号等敏感信息不会被窃听或篡改。 身份验证:验证网站的真实身份,防止用户访问到仿冒的钓鱼网站。

LLM中的各类型位置编码概述

LLM中的各类型位置编码概述

Transformer 的自注意力机制能够直接建模序列中任意两个 token 之间的依赖关系,但其基本计算形式并不显式包含序列的顺序信息。自注意力主要依据 query 与 key 之间的相似度分配注意力权重,并根据这些注意力权重对 value 进行加权聚合。因此,在缺少位置表示信息的情况下,模型虽然

大语言模型:从训练到推理

大语言模型:从训练到推理

引言 2023年,我第一次使用ChatGPT时,就被它的生成能力、精准的上下文理解能力和多任务处理能力惊艳到了。ChatGPT 不仅能自然地回答问题、总结复杂信息,还能写文章、生成代码、分析 Bug,甚至在连续多轮对话中保持上下文一致性。它不像传统意义上的搜索引擎,也不像我过去接触过的任何自然语言处

闪光灯同步方式:前帘同步和后帘同步

闪光灯同步方式:前帘同步和后帘同步

在使用Lumix S5 拍摄时,设置菜单中的闪光同步有两个选项:1ST和2ST,其实这两个选项就对应着前帘同步和后帘同步。 前帘同步:在快门打开时就启动闪光灯 后帘同步:在快门即将关闭前启动闪光灯 下面就具体来讲讲这两种闪光灯的同步方式及其使用场景 前帘同步 前帘同步是大多数相机的默认闪光模式,其工

向量数据库的索引算法

向量数据库的索引算法

前言 Embedding 模型能够将文本、图像、音频等非结构化数据转换为高维向量,并将其映射到统一的向量空间中。在这个空间里,语义相近的数据通常会拥有更接近的几何位置,从而使计算机能够通过数学计算衡量不同内容之间的相似性。 以文本为例,人类很容易理解“汽车”、“轿车”和“卡车”之间存在明显关联,但对

Prompt Engineering——提示词工程

Prompt Engineering——提示词工程

提示词与提示词工程 什么是提示词 提示词,也叫 Prompt,就是你输入给大语言模型的指令、问题、背景或要求。 它可以是一句话: 请帮我总结这篇文章。 也可以是一段复杂指令: 你是一名产品经理。请阅读下面的用户反馈,提炼出 5 个最重要的问题,并按“问题、影响、建议优先级”的表格输出。不要编造原文中

Ubuntu 安装 tldr

Ubuntu 安装 tldr

tldr 简介 Github: tldr-pages Project website tldr (Too Long; Didn't Read) 是一个开源的命令行工具,提供了简化版的命令使用说明,旨在帮助用户快速掌握命令的常用用法。与 man 相比,tldr 更加简洁,通常展示一些实用的示例,使得用

Python中的类型注解 (Type Hints)

Python中的类型注解 (Type Hints)

Python 是一门动态类型语言,变量的类型由其在运行时所绑定的对象决定。这一特性为开发者提供了高度的灵活性,使得在开发过程中无需显式声明变量类型,从而提升开发效率。 然而,随着项目规模的扩大和代码量的增长,这种灵活性会带来维护上的挑战。在缺乏类型约束的情况下,开发者很难及时掌握函数参数或变量的实际