在这篇指南里，我想延续面向大众的大语言模型（LLM）科普系列。在上一期视频《深入理解大语言模型（Deep Dive into LLMs）》中，我们拆解了这些模型在底层是如何训练出来的，以及应该如何理解它们的认知方式与“心理学”；而这一次，我想完全聚焦在日常实战应用上——带你走遍目前主流工具里的各项功能与设置，通过大量我亲身使用的一手案例，向你展示我是如何把大语言模型融入日常工作与生活的。

我们先来看一眼当下的大模型应用生态。2022 年底，OpenAI 推出了 ChatGPT，人类历史上第一次可以让普通人通过一个简单的文本输入框直接与大语言模型对话，瞬间席卷了整个互联网。

到了今天，围绕大语言模型的应用生态已经变得无比丰富。因为 ChatGPT 诞生最早、用户最多、功能集成度也最高，我在下文中会用它演示很多基础操作；但现在的格局早已不是一家独大，不管是科技巨头还是初创公司，都推出了各具特色的同类产品，甚至在不少细分体验上超越了 ChatGPT：

  • 科技巨头阵营：Google 推出了 Gemini，Meta 有 Meta AI，微软则有 Copilot；
  • 前沿初创公司：Anthropic 打造了 Claude，马斯克创立的 xAI 推出了 Grok，中国团队推出了 DeepSeek，法国团队 Mistral 则有 Le Chat。

面对这么多模型，平时怎么知道哪家最强？除了自己上手试，我通常会参考两个公开榜单：一个是 Chatbot Arena（LMSYS），它通过让真实用户对两个匿名模型的回答进行盲测投票，计算出类似国际象棋的 Elo 积分排名；另一个是 Scale AI 维护的 SEAL Leaderboard，可以查看各家模型在不同专业评测维度上的最新得分。

1. 聊天的底层本质：一维 Token 序列与「1 TB 压缩包」心智模型

当我们打开 ChatGPT，面对屏幕中央那个写着 “What can I help with?” 的输入框时，里面到底发生了什么？

最基础的交互方式是：我们输入一段文字，模型回给我们一段文字。比如大语言模型天生非常擅长写作——无论是写俳句（Haiku）、诗歌、求职信、简历还是回复邮件。我们可以先让它写一首关于「作为大语言模型是什么感受」的俳句，它会很快给出回复：

Words flow like a stream,（文字如溪流淌，） Endless echoes, never mine,（无尽回响，皆非我属，） Ghost of thought unseen.（无形思想的幽灵。）

在网页界面上，这看起来就像你和朋友在微信里你一言我一语地发聊天气泡。但在底层，模型看到的并不是“句子”或“气泡”，而是被切碎成一个个小文本块的一维 Token 序列（在英文里，1 个 Token 大约对应四分之三个单词或几个常见字母组合；中文里则往往对应半个到一个汉字）。

我们可以打开 Tiktokenizer 网站，在左上角选择 gpt-4o 的分词器（Tokenizer），把刚才那句提问贴进去：网页会用不同颜色的色块标出切分结果——我输入的英文句子被精确切成了 15 个 Token，模型的俳句回复则对应 19 个 Token（gpt-4o 的总词表里一共收录了约 200,000 种这样的基础 Token 片段，且严格区分大小写与空格）。再算上底层对话格式（Chat Format）里用来标记「用户消息开始」「用户消息结束」「助手消息开始」的特殊控制 Token，刚才那两个简单的聊天气泡，在底层其实是一串严丝合缝、总计 42 个 Token 的一维序列。

每次跟大模型对话时，我脑子里浮现的底层运行图景是这样的：

  1. 共建上下文窗口（Context Window）：当你点击左上角的 New Chat（新对话） 时，系统会开启一条空白的一维 Token 序列。你打字并按下回车，相当于往序列里写入了一串用户 Token，并把控制权移交给语言模型；模型顺着序列往后续写它的回复 Token，直到吐出一个代表「我说完了」的特殊停止 Token，应用程序再把控制权交还给你。你和模型轮流往里续写的这条完整 Token 流，就叫做上下文窗口——它相当于当前对话的短期工作记忆（Working Memory），只有装在这个窗口里的内容，模型才能直接读到。而点击 New Chat，本质上就是把整个上下文窗口彻底清空归零。
  2. 预训练（Pre-training）造出「1 TB 的有损压缩包」：我们对话的这个模型实体，训练过程分为两大阶段。第一阶段是预训练：把整个互联网网页抓取下来切成 Token，让一个包含约 1 万亿参数（Parameters）的神经网络不断练习「预测下一个 Token」。这个过程就像把整个互联网打包压缩进了一个大约 1 TB 大小的 .zip 压缩包里。但要注意，1 TB 根本不可能一字不差地装下整个互联网，所以它是一个有损的、概率性的压缩包——模型记住的是互联网知识的整体印象与统计规律。而且预训练极其昂贵（动辄耗资数千万美元、在庞大的 GPU 集群上训练好几个月），不可能每天重跑，因此模型自带的知识总是滞后的，存在一个明确的知识截止日期（Knowledge Cutoff）。
  3. 后训练（Post-training）给压缩包贴上「助手笑脸」：只会续写互联网网页的预训练模型还不能直接拿来聊天。所以在第二阶段后训练（早期主要指监督微调 SFT）中，工程师会把训练数据替换成由人类标注员（Human Labelers）精心编写的问答对话数据集，教模型学会以“乐于助人的 AI 助手”的语气和格式来回答问题。
一维 Token 序列与「1 TB 压缩包」心智模型

如果让我替 ChatGPT 写一段最诚实的自我介绍，它应该这样对你说：

「嗨，我是 ChatGPT，一个保存在硬盘上的 1 TB 压缩包。我的知识来自大约半年前通读过的整个互联网，不过我只记得个大概；而在互联网上被反复提及的高频常识，我会比冷门罕见的细节记得清楚得多（这一点跟人类很像）。至于我讨喜的说话风格，则是 OpenAI 的人类标注员通过示范案例写进我脑子里的。」

理解了这个「1 TB 压缩包」心智模型，你就抓住了最重要的一条认知底线：在默认状态下，你对话的只是一个完全封闭、孤立的静态文件——它里面既没有计算器、没有 Python 解释器，也没有连接实时互联网的浏览器；你给它一串 Token，它就凭着半年前对互联网的模糊记忆给你回一串 Token。

2. 仅靠模型自身记忆提问的边界，以及两条核心日常习惯

既然不借助外部工具时，我们只是在跟一个「存着半年前互联网模糊记忆的 1 TB 压缩包」聊天，那什么样的日常问题可以放心直接问它？

我的判断标准是同时满足三个条件：① 不涉及最近刚发生的动态信息；② 属于互联网上随处可见的高频常识；③ 容错率高（不是高风险场景），或者你自己能顺手核验结果。

举两个我这周刚用过的生活实例：

  • 查美式咖啡的咖啡因含量：今天早上我想对比美式咖啡（Americano）和抹茶的提神效果，就问 ChatGPT：「一杯单份浓缩（one shot）的美式咖啡里大约有多少咖啡因？」它直接回答「大约 63 毫克」。之所以敢直接问，是因为咖啡因含量既不是昨天才变的新闻，也是网上被讨论过成千上万次的高频常识，模型的“压缩包”里肯定记得很牢。我事后顺手去查了一手资料核对，确实就是 63 毫克左右。
  • 感冒流鼻涕该吃家里哪盒药：前两天我有点感冒流鼻涕，想看看家里备着的 DayQuil（日间感冒药）和 NyQuil（夜间感冒药）哪个对症。ChatGPT 帮我梳理了两款药的有效成分，指出缓解流鼻涕需要靠 NyQuil 里的抗组胺成分（Doxylamine succinate），还解答了吃下去大概多久起效、里面的对乙酰氨基酚（Acetaminophen）是不是就等同于泰诺（Tylenol）。注意：因为模型本质上只是在输出概率记忆，我绝对不会盲目听信它列的药品成分——我当场把家里的 NyQuil 药盒拿出来，对着背面成分表逐一核对，确认它一个字都没记错后才服下，鼻塞流涕很快得到了缓解。

在日常高频对话中，我还有两条强烈建议大家养成的基础习惯：

旧窗口堆砌杂乱话题与切话题点 New Chat 及组建多模型智囊团的对比

习惯一：一旦切换话题，立刻点「New Chat」开启新对话

很多人在用一个聊天窗口时，喜欢把毫不相干的问题全往同一个会话里塞，聊出几百屏长。只要你准备换一个新话题，前面聊过的 Token 对接下来的问题不再有参考价值，请立刻点击左上角的「New Chat」把上下文窗口清空。

原因在于，留在上下文窗口里的历史 Token 是很“贵”的，这种昂贵体现在两方面：

  1. 分散注意力，拉低回答质量：上下文窗口是模型的工作记忆。如果里面塞满了上一段话题留下的几千个无关 Token，模型在预测新问题的回答时很容易被旧信息干扰，导致准确率下降。
  2. 拖慢生成速度，增加计算成本：底层神经网络每往下生成 1 个新 Token，都要把当前窗口里已有的所有 Token 重新纳入注意力计算。窗口越臃肿，生成下一个词的速度就越慢、消耗的算力也越多。把上下文窗口当成宝贵的稀缺资源，保持它干净精简，模型会跑得既快又准。

习惯二：时刻看清左上角的模型档位，组建自己的「LLM 智囊团」

不同等级的模型在智商、文笔和幻觉率上天差地别，千万不要稀里糊涂地用着缩水小模型却抱怨 AI 不好用：

  • 警惕未登录或免费档的默认降级：如果你在浏览器隐身窗口（未登录状态）下打开 chatgpt.com，或者只用免费档（Free Tier），后台默认分配给你的往往是小号模型 GPT-4o mini——它的参数量小得多，不仅知识储备少、写东西缺乏灵气，也更容易一本正经地胡说八道。
  • 看懂主流订阅分档：以 ChatGPT 为例，免费档主打 GPT-4o mini；开通 $20/月 的 Plus 会员，才能稳定用上真正的旗舰大模型 GPT-4o（细则里限制为每 3 小时最多 80 条消息）；而开通 $200/月 的 Pro 会员，则可以无限量使用 GPT-4o，并解锁最顶配的思考模型 o1 pro mode 与 Deep Research（深度研究）。其他厂商也是同理：在 Claude 里开通 Pro 才能高频使用主力 Claude 3.5 / 3.7 Sonnet（免费档很容易退回小模型 Haiku）；用 Grok 时也要确认自己选中的是最新发布的 Grok 3 而不是上一代的 Grok 2。
  • 组建你自己的「LLM 智囊团（LLM Council）」：因为我每天的专业工作都要写大量代码、查大量资料，哪怕是每月 200 美元的顶配订阅对我来说性价比依然极高，所以我干脆同时付费订阅了多家服务（ChatGPT、Claude、Gemini、Grok、Perplexity）。每当遇到开放性决策或拿不准的问题——比如前阵子计划跨年度假去哪座城市玩，我就把同一个问题同时发给了 Claude 和 Gemini，结果它俩不约而同地强烈推荐瑞士的采尔马特（Zermatt）；我听从了这套“大模型智囊团”的联合建议去了采尔马特，体验确实棒极了。

3. 思考模型（Thinking Models）：用强化学习解锁「内部独白」

聊完了基础对话，我们来看过去一两年整个大模型领域最重要的一项突破：思考模型（Thinking Models，也常被称为推理模型 Reasoning Models）。

在前面提到的预训练（获取互联网知识）和监督微调（跟着人类示范学会助手对话格式）之后，现在的顶级大模型在后训练阶段普遍引入了更关键的第三步——强化学习（Reinforcement Learning，简称 RL）。DeepSeek 团队公开发表的 DeepSeek-R1 论文（Incentivizing Reasoning Capabilities in LLMs via Reinforcement Learning）非常清晰地展示了这一过程。

在强化学习阶段，工程师不再靠人工手写标准思考步骤去喂给模型（因为面对复杂难题，人类标注员自己也很难写出完美的思维模版），而是直接给模型成千上万道有客观评判标准的数学题与编程题，让模型自己反复试错练习。在追求高解题正确率的过程中，模型自己涌现出了一套极为接近人类解难题时的内部独白（Inner Monologue）策略：它会先提出几种假设、顺着推演几步，发现走不通就立刻自我怀疑并回溯（“Wait, that doesn't look right... let's check the order...”），换条路径重新验证，直到推导通顺后再给出最终答案。

回到我们的心智模型图，这意味着那个「贴着笑脸的 1 TB 压缩包」头顶上，多出了一个可选的思考气泡（Thinking Bubble）。当你切到思考模型时，模型在正式回答前会先花几十秒甚至好几分钟，在思考气泡里吐出成千上万个推理 Token。

普通对话模型秒回套话漏掉深层 Bug 与 RL 思考模型通过内部独白抓出参数打包顺序写反的对比

实战案例：一行让 GPT-4o 束手无策的梯度检查（Gradient Check）Bug

为什么有些时候必须等这几分钟？看一个我前几天写代码时真实卡住的例子。

当时我在手写一个基础神经网络（多层感知机 MLP）的优化器，在跑梯度检查（Gradient Check）时发现数值梯度和解析梯度死活对不上，但我自己盯着代码看了半天也没找出 Bug 在哪。

  1. 先问非思考模型 GPT-4o：我把整段代码复制粘贴给 OpenAI 的旗舰对话模型 GPT-4o。它秒回了一大串常见的调试建议（检查激活函数导数、检查学习率等），听起来头头是道，但没有一条命中真正的 Bug，问题依然没解决。
  2. 切换到思考模型 o1 pro mode：在 OpenAI 的模型下拉菜单里，所有以字母 o 开头的型号（如 o1、o3-mini、o3-mini-high 以及 $200/月 Pro 专属的 o1 pro mode）全都是经过强化学习训练的思考模型。我把一模一样的提示词和代码发给 o1 pro mode——它在后台思考了整整 1 分钟，然后直接一针见血地指出了病根：我在把权重与偏置参数打包（pack）成一维向量、以及在反向传播里解包（unpack）累加梯度时，两边的排列顺序写反了（就好比搬家装箱时按「先装书、后装衣服」的顺序打进箱子，拆箱清点时却按「先算衣服、后算书」的顺序去对账）！ 我照着改完一行代码，Bug 当场解决。
  3. 横向测试「智囊团」其他模型：为了验证各家水平，我把同一段 Bug 代码挨个发给了其他平台：
    • Claude 3.5 Sonnet（甚至在还没开思考模式的情况下）、Gemini 和 Grok 3 全都准确抓出了这个参数打包顺序不匹配的 Bug；
    • 我还在 Perplexity 的模型选择框里切到了它托管的 DeepSeek-R1。最酷的是，你可以点开 DeepSeek-R1 的原始思考过程（Raw Thoughts），亲眼看到它的“脑内独白”：它先顺着读代码，读到一半突然停住说*「等等（But wait），他们在累加梯度时的方式不对，让我们检查一下参数打包的顺序……哇，这是一个致命错误（That's a critical mistake）！」* 经过几分钟推演后，同样给出了满分修复方案。

我的思考模型使用准则：思考模型主要在高难度数学推导、复杂代码调试和严密逻辑推理上带来巨大的准确率提升；如果你只是想问问去哪旅游、润色一封邮件，千万别开思考模型白等一分钟。我日常总是默认先用响应飞快的普通模型；一旦发现它答在表面、没解决核心问题，再立刻切到思考模式（如 OpenAI 的 o 系列、Claude 3.7 刚上线的 Extended Thinking、Grok 输入框左下角的 Think 按钮或 DeepSeek-R1）让它深入推演。

4. 工具调用（一）：联网搜索（Internet Search）与深度研究（Deep Research）

到目前为止，我们讨论的都还局限于模型自身的神经网络参数。但就像前面说的，那个「1 TB 压缩包」是封闭且滞后的。为了让模型突破知识截止期的限制，我们需要给它装上外部工具（Tool Use）——其中最基础、最常用的第一个工具就是联网搜索（Internet Search）。

从封闭压缩包到外部工具调用：思考气泡、联网搜索、文档上传与代码沙盒如何协同更新上下文窗口

联网搜索的底层原理与日常场景

几天前我在追美剧《白莲花度假村》第三季（The White Lotus Season 3），看完第一集觉得太精彩了，想知道第二集具体哪天播出。

由于这部剧是最近刚开播的，半年前预训练好的「1 TB 压缩包」里绝对不可能有它的排期表。放在过去，你得打开 Google 输入关键词，在搜索结果里点开四五个充满烦人弹窗广告和SEO凑字数废话的娱乐网页，自己肉眼翻找播出时间表。

而给大模型装上联网搜索工具后，底层的运行流程变成了这样：

  1. 模型读到你的问题，意识到这是近期信息，于是吐出一个特殊的「调用互联网搜索」Token 并暂停续写；
  2. 外部应用程序（如 Perplexity 或 ChatGPT）接管控制权，拿着模型生成的搜索词去搜索引擎检索，自动打开排名前十的网页，把这些网页里的正文提取出来（可能有好几千个 Token），直接复制粘贴进当前的上下文窗口（工作记忆）里；
  3. 模型重新接管控制权，此时那些新鲜网页的全文已经摆在它的短期工作记忆里了，它只需要阅读这些材料，就能立刻给你总结出干净准确的各集播出时间表，并在句末附上引用网页链接（Citations）供你随时点进去核实。

我日常遇到以下两类问题时，会本能地直接使用联网搜索（出于习惯我经常直接打开最早把搜索体验做顺的 Perplexity，当然现在 ChatGPT 点亮 Search 按钮或用 Grok 也一样好用）：

  • 第一类：随时会发生变化的新鲜动态信息。例如：「今天美股开盘吗？（刚好赶上美国总统日假期）」「《白莲花度假村》第三季是在哪里取景拍摄的？」「Vercel 现在官方提供托管的 PostgreSQL 数据库吗？（科技公司的产品线每个月都在变，不能信旧记忆）」「明天苹果发布会有什么靠谱的爆料？」「《单身即地狱》第四季的嘉宾阵容有哪些人？」「《文明 7（Civilization VII）》具体哪天解锁？」「Palantir 最近的股价为什么一直暴涨？」「现在去越南旅游安全吗？」或者当我在 X（Twitter）时间线上看到大家突然都在刷某个缩写词（比如前阵子的 USAID），单条推文没头没尾看不懂背景时，我就会直接扔给搜索工具说*「告诉我最近关于 ×× 到底发生了什么，核心来龙去脉是什么」*。
  • 第二类：互联网上讨论极少的小众冷门细节。哪怕某件事不是昨天刚发生的，但如果它太冷门、在网上出现的次数太少，模型在预训练压缩时也很可能没记住。比如我好奇抗衰狂人 Bryan Johnson 平时刷牙用什么牌子的牙膏，这种既冷门又可能随时间更换的细节，直接用联网搜索一查一个准。

需要注意的一点是：不同平台、甚至同一平台的不同模型型号，对联网搜索的支持程度并不统一。有时模型会自动判断需要联网，有时则得由你手动点亮输入框里的 Search 按钮（我用 GPT-4o 查近期信息时，为了保险都会手动点亮 Search）。而在拍摄这期视频时，Claude 还没有内置联网搜索功能，问它《白莲花度假村》第三季排期，它会老老实实回答「我的知识截止于 2024 年 4 月，无法提供后续播出日期」；Gemini 里 2.0 Flash 可以联网搜索并给出引用源，但当时最强的 2.0 Pro Experimental 却提示不支持实时联网信息。因此，清楚知道自己手头的模型有没有挂上搜索工具非常重要。

深度研究（Deep Research）：联网搜索 × 思考模型的长周期闭环

如果把前面的「联网搜索」和「思考模型」结合起来，再允许模型在后台连续跑上十几二十分钟，会发生什么？这就诞生了最近刚上线、但我认为极其惊艳的一项新能力：深度研究（Deep Research）。

目前这项功能包含在 ChatGPT 的 $200/月 Pro 订阅中（Perplexity 随后也跟进了同名的 Deep Research 选项，Grok 3 则推出了类似的 DeepSearch）。当你开启 Deep Research 提交一个复杂课题时，模型通常会先向你反问两三个澄清问题（确认研究侧重点与文献范围），接着便在后台展开长达 5 到 20 分钟的「思考 → 发起多轮搜索 → 阅读几十篇论文与网页 → 发现新线索再继续搜索思考」的深度循环，最后为你交付一篇结构完整、处处标明文献出处的定制研究报告。

分享几个我最近用 Deep Research 解决的实际问题：

  1. 深挖长寿补剂成分 Ca-AKG 的真实科学依据：前阵子我在网上看 Bryan Johnson 的「蓝图计划（Blueprint）」补剂包，里面有一款叫 Longevity Mix 的冲剂，每勺含有 2.5 克 的 Ca-AKG（α-酮戊二酸钙），商品页只含糊写着“促进能量生成、维持活力”。我想搞清楚这玩意儿到底是不是智商税，于是打开 Deep Research 输入提示词：「Ca-AKG 是 Bryan Johnson 长寿冲剂里的核心成分（每份 2.5g）。请帮我深入调研 Ca-AKG：为什么它会出现在抗衰配方里？它在动物模型或人体临床试验中的真实有效性如何？潜在的作用机制是什么？有没有任何安全性隐患或毒副作用？」 回答完它的澄清问题（兼顾人体临床与动物模型）后，ChatGPT 思考并检索了 5 分钟、仔细阅读了 27 篇科学文献，给我写出了一份堪比专业文献综述的报告——详细拆解了它在三羧酸循环（Krebs cycle，人体细胞把营养转化为能量的核心代谢环路）中的角色、在线虫/果蝇/小鼠实验中的延寿数据、目前有限的人体表观遗传时钟试验（通过检测 DNA 甲基化程度来评估生理年龄），以及高剂量可能引起的肠胃不适。
  2. 对比 Brave 与 Arc 浏览器的隐私保护机制：因为 Chrome 浏览器有一次崩溃把我的所有标签页全弄丢了，我决定换一款主力浏览器，在 Brave 和 Arc 之间纠结谁的隐私安全性更好。我让 Deep Research 写了一份深度对比报告，顺着它给出的技术来源看下来，结论非常明确：Brave 在默认隐私拦截和数据隔离上明显胜出——这也是为什么你现在看到我录屏用的是 Brave 浏览器。
  3. 调研小鼠寿命延长实验技术，以及整理全美主流大模型实验室（LLM Labs）的规模与融资对比表。

横向对比下来，目前 ChatGPT Pro 的 Deep Research 报告质量是断档领先的——篇幅最详实、逻辑最严密、读起来最通顺；Perplexity 和 Grok 的版本相对简短一些，深度还差一口气。

但在这里我必须强调一条铁律：永远只把 Deep Research 生成的报告当成你的「研究初稿（First Draft）」和「文献导航索引」，绝不能把里面的每一句话当成绝对真理。

就拿刚才第三个例子来说：我让它整理「美国本土主流大模型实验室的规模与融资表」，结果生成的表格漏掉了马斯克的 xAI（这显然是一个巨大的遗漏），反而把严格意义上不算基础模型实验室的开源社区平台 Hugging Face 和非营利组织 EleutherAI 塞了进来，表里的部分融资估值数字也经不起细究。即便有联网搜索加持，模型在综合几十篇资料时依然可能漏看、误读甚至产生幻觉。正确的用法是：利用它帮你省掉前 80% 漫无目的找资料的苦力活，然后顺着报告里的引用链接（Citations）点进原始论文去核对关键结论。