LLM 和 GPT 是什么
LLM 是 Large Language Model,大语言模型。它是一类用海量文本、代码和其他数据训练出来的模型,擅长理解和生成语言。GPT 则是其中一条重要路线,全称 Generative Pre-trained Transformer,可以直译为“生成式预训练 Transformer”。如果说 Transformer 是发动机结构,那么 GPT 更像是一台围绕“生成文本”调校出来的车辆。
普通人第一次接触 LLM,常常是从聊天框开始:问它问题、让它写文案、改代码、总结文章。表面上它像一个知识库,但内部并不是在数据库里逐条检索答案。它更像一个被训练到极其熟练的语言预测系统:看到前文,估计后面最可能出现什么。
Token 与下一个 Token 预测
模型读写的基本单位不是完整的“字”或“词”,而是 Token。一个中文汉字可能是一个 Token,一个英文单词可能被切成一个或多个 Token,标点、空格、代码符号也可能成为 Token。你输入的提示词会先被切成 Token,模型再在这些 Token 的基础上继续生成。
GPT 类模型的核心训练目标叫 next-token prediction,也就是预测下一个 Token。给它一段文本,比如“春天到了,树枝上长出了”,模型要预测后面可能是“新芽”。这件事听起来简单,却能逼模型学习大量隐含能力:语法、事实、风格、推理链条、代码模式、世界常识,甚至不同领域的写作习惯。
当然,“预测下一个 Token”不是说模型只能机械接龙。规模足够大、数据足够广、训练足够充分时,这个目标会让模型形成复杂的内部表示。它能翻译、归纳、写程序、解释概念,是因为这些任务最终都可以表现为在上下文中生成合适的下一段内容。
预训练、微调与对齐
LLM 的成长通常分几步。第一步是预训练:模型阅读大量公开或授权语料,学习语言和知识的统计规律。这个阶段成本最高,也决定了模型的基础能力。GPT-3 论文 Language Models are Few-Shot Learners 展示了一个重要现象:当模型规模变大后,仅通过提示词和少量示例,它就能完成许多过去需要专门训练的任务。
第二步是微调。预训练模型很会续写,但未必会按人的意图办事。微调会用更有针对性的数据训练它,比如问答、代码修复、客服回复、医学摘要等,让模型在某类任务上更稳定。
第三步是对齐。对齐的目标不是让模型“更聪明”这么简单,而是让它更符合人的偏好和安全要求:回答要有帮助,不该胡编时要承认不确定,不该输出危险内容时要拒绝。常见方法包括监督微调、人类反馈、偏好优化等。ChatGPT 的成功,很大程度来自基础模型能力和对话式对齐训练的结合。
从 GPT-3 到 ChatGPT
GPT-3 在 2020 年把大模型推到更广泛的技术视野中。它让很多人意识到:模型不一定每换一个任务就重新训练,提示词本身也可以成为一种“临时编程”。这就是 few-shot 和 in-context learning 的魅力:你给几个例子,模型就能在当前上下文里模仿任务格式。
真正让普通用户大规模感受到这件事的,是 2022 年发布的 ChatGPT。相比论文里的模型能力展示,ChatGPT 更像一个被产品化、对话化、降低使用门槛的 AI 助手。它会追问,会承接上下文,会把答案整理成普通人能读的样子。这一步很关键:AI 不再只是实验室和开发者工具,而变成可以直接打开网页使用的日常产品。
从 GPT-3 到 ChatGPT,变化不只是参数或榜单,而是交互方式。用户不需要知道模型 API、采样温度或提示模板,也能用自然语言把任务交给它。这也是生成式 AI 破圈的真正原因。
能力、幻觉与边界
LLM 的能力很容易让人产生错觉:它说话太流畅,所以像是真的“知道”。但模型生成的是高概率文本,不是带引用的事实证明。它可能把真实概念拼接错,可能引用不存在的书和论文,可能在数学、多步骤推理、最新政策、个人隐私、医疗法律等问题上给出危险的自信答案。这类现象通常被称为幻觉。
幻觉不是简单的 bug,而是生成式模型的内在风险之一。预训练数据有噪声,模型没有稳定的事实数据库,生成时又倾向于给出完整答案。对齐训练可以减少胡说,检索增强和工具调用可以补充外部事实,但它们都不能让模型自动变成绝对可靠的权威。
所以,正确态度不是把 LLM 当神,也不是把它当玩具。更合适的定位是:它是一个强大的语言与思维辅助工具,擅长起草、解释、改写、分类、生成方案、梳理信息和写代码初稿,但关键结论需要验证。
如何正确使用
使用 LLM 时,问题越清楚,结果通常越好。告诉它你的目标、读者、背景、限制条件和输出格式,比只说“帮我写一下”有效得多。复杂任务可以拆成几步:先让它列提纲,再让它逐段展开;先让它指出不确定点,再让它给出可核验来源;先让它写初稿,再让它按你的标准修改。
遇到事实性问题,尤其是会影响金钱、健康、法律、学业或工作决策的问题,要让模型给出来源,并自己检查。遇到创作和学习任务,可以把它当成陪练:让它换角度解释、生成例题、指出漏洞、模拟读者反应。遇到代码任务,则要运行测试、看报错、做代码审查,而不是只相信它说“应该可以”。
LLM 最有价值的地方,不是替人思考,而是降低进入复杂问题的门槛。它能帮你把一团乱麻变成几个可处理的步骤,把陌生概念解释成可理解的语言,也能把空白页面变成可以修改的初稿。把它用成放大镜、草稿纸和临时搭档,而不是最终裁判,往往效果最好。