预训练语言模型，它到底是怎么学成现在这样的？

最近跟几个做技术的朋友聊天，话题不知道怎么又绕到了AI上，有个朋友突然问：“你说现在那些特别能聊的AI，它们一开始啥也不会，到底是怎么被‘教’出来的？” 我想了想，这问题其实挺到点子上的，我们整天听说“大模型”、“智能对话”，但很少有人去琢磨，这些模型在真正开始干活之前，究竟经历了什么，这就好比看到一个厨艺精湛的大厨，我们更该好奇的，是他当年在厨房里切了多少年土豆,而不是只看他现在颠勺的样子。

这个“切土豆”的阶段，在技术圈里有个专门的词，叫做“预训练”，听上去挺学术的，但说白了，就是一种“填鸭式”的基础教育，想象一下，你拿到一台刚出厂、空空如也的电脑，想让它理解人类语言，你会怎么做？最笨也是最有效的办法，就是给它“喂”东西，海量地“喂”，不是喂代码，而是喂最原始的文字材料——互联网上能找到的几乎所有文本：维基百科的条目、新闻网站的存档、论坛里的讨论、甚至是一些公开的书籍和论文，这个过程没有特定的目标，不是让它学习回答某个具体问题，而是让它去完成一个我们人类小学时就常做的练习：完形填空。

对，你没听错，就是完形填空，给模型一句话：“今天天气真不错，我们一起去公园吧。” 然后遮住“”这个词，让模型去猜，一开始它肯定瞎猜，但通过海量、反复地做这种练习，它开始慢慢摸到门道，它发现“天气不错”后面，经常跟着“去公园”、“去散步”；“我们一起”后面，常常是“吃饭”、“看电影”，它在这个过程中，无意识地吸收着词语之间的搭配关系、句子的常见结构、甚至是一些基础的常识（比如天气好适合户外活动），它不知道“公园”是什么，但它知道“公园”这个词，经常和“去”、“玩”、“散步”这些词出现在相似的上下文里，这就构建起了它对语言最底层的、统计意义上的“感觉”，或者说，一种关于“什么词可能跟着什么词”的庞大直觉网络。

这阶段特别枯燥，也特别耗资源，得用巨大的算力，没日没夜地训练，模型就像一个在语言海洋里盲目游泳的婴儿，不断触碰、感知周围的信息流，逐渐形成对这片海洋水流方向的模糊认知，它还没有“意识”，没有“理解”，但它积累了庞大的“语言模式”数据库，这时候的模型，你问它问题，它可能会生成一段语法正确但内容可能胡言乱语的话，因为它只学会了“形”，还没掌握“神”。

预训练结束，模型算是“扫盲”毕业了，有了基本的语言组织能力，但光会组词造句，离我们想要的“智能对话”还差得远，它可能还是个“书呆子”，说话文绉绉或者不着边际，接下来就得进行“微调”和“对齐”，这就像是给它请了专门的“家教”,进行素质教育。

一种常见的方法是“指令微调”，研究人员会精心准备大量“指令-回答”配对数据，“写一首关于夏天的诗”、“用简单的话解释光合作用”、“把‘我很高兴’翻译成英语”，通过在这些具体任务上训练，模型开始学习如何将它之前学到的那些泛泛的语言模式，应用到具体的人类指令上，它明白了当人类说“写一首诗”时，应该调动哪些词汇和句式；当人类要求“简单解释”时,应该避免使用哪些复杂术语。

但这样还不够，模型可能学会了遵循指令，但它生成的内容可能还是有偏见、有害或者胡说八道，更关键的一步是“基于人类反馈的强化学习”，这招就有点“高级”了，简单说，就是让人类老师来给模型的不同回答打分，同一个问题，模型生成了A、B、C三个答案，人类评估员会评判哪个答案更有帮助、更真实、更无害，模型通过这些反馈信号，不断调整自己内部的“权重”，慢慢向人类认为“好”的方向靠拢，这个过程，就是在试图将人类的价值观和偏好，“对齐”到模型的行为中，它开始懂得，在某些语境下，什么样的回应是得体的,什么样的内容是应该避免的。

当我们今天和一个先进的对话AI交流时，它那看似流畅、合理的回答背后，其实是这三个阶段的叠加产物：预训练赋予的“语言本能”，指令微调塑造的“任务能力”，以及人类反馈打磨出的“行为准则”，它不像我们人类一样通过体验世界来学习，它是通过咀嚼数字化的文本痕迹，并在人类设定的反馈循环中,被塑造成了我们现在看到的样子。

回过头看，预训练那一步虽然基础，却是整个大厦的地基，没有那个吞下海量文本、默默做着“完形填空”的笨拙阶段，后面所有的精雕细琢都无从谈起，它让模型获得了语言的“质感”，而后续的工作，则是为这种质感注入“方向”和“边界”。

下次再和AI聊天时，或许可以多一分理解，它那看似灵动的对答，并非凭空产生的智慧，而是一套复杂工程流程的产物——从浩瀚的数据荒原中挖掘模式，再经由人类之手精心引导和修剪，它提醒我们，当前AI所展现的能力，既是数据与算力的奇迹，也深刻地反映了我们在数据中嵌入的规律，以及我们通过反馈所赋予它的期待与局限，这条路还在继续，地基之上的建筑，会变成什么样，依然取决于我们如何“教”它。

（免费申请加入）AI工具导航网

相关标签： # ai 预训练语言模型