大模型到底是怎么工作的（用人话讲）

📍 认识 AI

一只手指悬在回车键上，屏幕闪着橙色光

你按下回车那 3 秒，发生了什么

你在 ChatGPT 框里打「帮我写封请假邮件」，按回车。

等 3 秒。邮件出现。

这 3 秒里，模型到底干了什么？

不是查数据库——它内部没有一个现成的「请假邮件模板」可以调出来。 不是拼模板——你提的奇葩问题它也能现编。 是一种很奇怪的操作——边猜边写，一个字一个字地把你的回答「生」出来。

上一篇我们讲了 70 年技术怎么走到今天。这一篇用 5 分钟讲清楚——大模型内部到底怎么转。

把 token、预训练、微调、RLHF、生成（inference）、上下文窗口 这 6 个术语全部用人话翻译一遍。

1. Token：模型不读字，读「积木」

你读这段文字是一个字一个字读。

模型不是。

模型先把你的句子拆成「token」——有时是一个字，有时是一个词，有时是半个英文单词。例子：

「请假邮件」可能被拆成「请假」+「邮件」两个 token
「unbelievable」可能被拆成「un」+「believ」+「able」三个 token
一个英文常见单词通常 1 个 token
中文里，主流国产模型大约 1 个汉字对应 0.5–1 个 token（DeepSeek 官方口径是约 0.6 个）；Claude、GPT 这类海外模型处理同样的中文，通常要多用一些 token，官方没有统一的换算口径

各家分词方式不一样，要准确数字，就看各家的 token 计数工具，或者 API（给程序调用的接口）返回的用量（usage）。

打个比方：积木。每个 token 是一块积木——模型把你的话拆成积木堆，处理完再用积木拼回输出。

为什么这么干：词汇表小很多（几万到二十多万个 token 就能拼出几乎所有文字），训练起来效率高。

这也是为什么 AI 的 API 按 token 收费——开发者账单上「这次调用用了 5000 token」说的就是这个东西。你平时用的 App 一般是免费的，或者按月订阅，不按 token 算钱。

2. 预训练：让模型读完整个互联网

模型的「智能」从哪里来？

答案简单也奇怪：把它丢到几十 TB 的文字资料里泡几个月，让它一次次预测「下一个 token 是什么」。

一个孩子坐在书架前戴着耳机听广播

打个比方：你想让小孩学会说话，不教语法书，直接让他听 24 小时英语广播听 10 年——他会自然学会语言规律。模型也是这套，只是「听」的是整个互联网（维基百科、书、论坛、新闻、代码、聊天记录……）。

这个过程叫 预训练（pre-training）——头部实验室训一次旗舰模型，要几千到上万张顶级 GPU 跑几周到几个月，整体成本以亿计。

训练完，模型有了基础语言能力：会写流畅的句子、会基本推理、知道这世界上有过什么人事物。

但它没人格、不懂礼貌、不知道怎么对话——这一步只学会了「下一个词最可能是什么」。

3. 微调：教模型守规矩

预训练完的模型就像一个博览群书但不太会做人的怪学生——它知识够，但你叫它「写一封求职信」，它可能写到一半就跑题去给你讲求职信的历史。

一个学生在职场被前辈带教规矩

微调（fine-tune）就是「再训练一小段」，让它学会特定任务的格式和规矩。

打个比方：博览群书的学生进职场，需要再实习 3 个月学公司规矩——「邮件怎么写、会议怎么开、客户怎么聊」。微调干的就是这事儿。

预训练几个月，微调可能几小时。

4. RLHF：让模型学会「说人话」

光「微调」教格式还不够。模型还是可能写出语法完美但让人不舒服的回答——冷冰冰、自以为是、绕弯子。

OpenAI 想了个办法叫 RLHF（人类反馈强化学习），两步走：

训打分器：让真人对模型的回答打分（这个好 / 这个糟），用几万次打分训出一个「打分小模型」
用打分器调教主模型：让主模型不停生成回答，打分器评分，主模型逐渐学会「生成会被打分器打高分的回答」

妈妈在桌前耐心纠正孩子说话

打个比方：你刚学说话的孩子说「妈妈拿那个」，妈妈一直纠正「妈妈，请你帮我拿那个，谢谢」——孩子最后学会了怎么说人喜欢听的话。RLHF 干的也是这事，规模放大几百万倍。

最终效果：模型从「能生成文字的工具」变成「让人感觉自然在跟它聊天」。

——上一篇讲过：ChatGPT 之所以引爆全球，关键就是 RLHF 这一步。前面 GPT-3 早就有了，但没人愿意跟它聊天。RLHF 之后，所有人突然愿意了。

5. 生成：你提问那一刻，模型在算什么

终于讲到核心。

业内把这一步叫 inference，中文也常译作「推理」。它和下一篇要讲的「推理模型」（reasoning，先想再答）不是一回事——这里说的只是模型运行起来、把回答生成出来的过程。

你按回车那 3 秒，模型做的事其实很简单——

根据你输入的所有 token，一个一个地预测下一个 token。

具体过程（为了好懂，这里假设一个字就是一个 token）：

第 1 步：模型看你的全部输入「帮我写封请假邮件」，预测最可能的下一个 token——「亲」
第 2 步：模型现在看「帮我写封请假邮件亲」，预测下一个——「爱」
第 3 步：模型看「帮我写封请假邮件亲爱」，预测下一个——「的」
……
一直预测到模型自己决定「输出完了」（一个特殊的「停止 token」）

一个作家凭灵感一句句往下接小说，没有大纲

打个比方：你写小说时没有提前列大纲，纯粹凭灵感一句句往下接。模型生成回答也是这样——没有预先想好整段，是一个 token 一个 token 边猜边出。

冷知识：所以「同一个问题问两次，回答会不一样」就是这个原因——每次预测下一个 token 时有一定随机性。

6. 上下文窗口：模型的「短期记忆」上限

模型每次回答你时，能「同时看到」的输入有上限——这个上限叫 上下文窗口（context window），按 token 算。

主流模型现在的容量（截至 2026-10-05，其中 ChatGPT、Claude、DeepSeek 三行核对于 2026-10-19，按各家官方页面核对；K 是千，M 是百万）：

产品 / 模型	上下文窗口	说明
文心（ERNIE 5.1、5.0）	128K token	最多输入约 119K
ChatGPT	27K–400K token	按套餐和模式分：即时回答（Instant）免费版 27K、Go 和 Plus 54K、Pro 128K；思考模式 Go 和 Plus 256K、Pro 400K
豆包（开发者用的火山方舟 API）	256K–1024K token	9 月新出的 Seed 2.1 Pro、Lite 是 1024K，6 月版的 Seed 2.1 和 2.0 系列是 256K；豆包 App 实际开放多大，官方没有公布
Claude 付费版	1M token	Opus 5.5、Sonnet 5.5、Haiku 5.5、Fable 5.1 都是这么大（上一代的 Opus 5、Sonnet 5 也是）；开启代码执行后，对话快满时会自动总结早先的内容
DeepSeek API	1M token	现行的 deepseek-flash、deepseek-v4-pro 两个模型都是

来源：文心、ChatGPT、豆包、Claude、DeepSeek。

换算成汉字只能粗估：按 DeepSeek 官方口径（1 个汉字约 0.6 个 token），1M token 大约能装 160 多万汉字；各家分词方式不同，同样是 1M token，能装的汉字从几十万到近两百万不等。

类比：上下文窗口是模型的短期记忆容量。聊得太久、超出窗口，最早的内容就放不下了。各家 App 的处理办法不一样：有的把早先的对话压缩成摘要，有的直接截掉，有的提示你开个新对话。总之，最早说过的细节可能就「忘」了。

为啥重要：这决定了模型能处理多大的任务。1M 上下文意味着你可以一次性把整个软件项目扔进去让它分析。

但窗口大，不等于能替你干活。 一个工具能帮你做多少事，要看它的具体功能、套餐和你给的权限，窗口大小说明不了这个。怎么按任务挑工具，见 Claude Code、豆包、ChatGPT 怎么选。

7. 所以模型不是「会查的百科全书」

收尾用一个反直觉的事实——

很多人以为大模型像一本「巨大的百科全书」：你问什么，它从里面查出答案。

这个理解不对。

模型不是按条目存资料、能随时精确查找的数据库。它学到的东西，以参数（模型内部的一大堆数字）的形式分散「记」在里面，大部分是「token 之间应该如何接龙」的规律。

不过，它也不是什么具体内容都没记住：见过很多遍的东西，比如名句、歌词、常见的代码，它可能一字不差地背出来。研究者就从 GPT-2 里原样提取出过几百段训练文本，里面还有姓名、电话和邮箱（Carlini 等人的论文）；模型越大，越容易这样「漏」出来。这也是版权纠纷和隐私风险的来源之一。

一个厨师正在自信地颠勺，没有看食谱

打个比方：

模型不是「背熟所有食谱」的厨子。它是「学会炒菜本质规律」的厨子——给它任何食材组合，它都能现场炒出一道菜。可能炒得对，也可能炒得不对（这就是 AI 「幻觉」的来源——专门写了一篇教你识破它）。

所以你跟模型对话，每次的回答都是它当场算出来的，不是从哪里翻出来的。

这就是为什么它能回答你从来没人问过的问题，也是为什么它有时候自信满满地胡说八道。

—

下一篇我们看看：现在 AI 圈在卷什么？ 基础模型 / RAG / Agent / 多模态 / 推理模型 5 大方向，让你看清 Claude Code 在大图里的位置。