扒开AI大模型的黑箱，训练它到底在学什么？

最近和几个做开发的朋友聊天，提到AI大模型，大家的感觉挺一致：这东西越来越像“玄学”了，你说它聪明吧，有时候犯的错误让人哭笑不得；你说它笨吧，它又能写出像模像样的文章、写代码、解答专业问题，我们天天用着这些模型，但很多人可能没细想过：一个动辄千亿、万亿参数的庞然大物，究竟是怎么被“训练”出来的？它那个看起来深不可测的“智能”,底层到底是一套什么样的逻辑？

今天咱们不堆砌那些让人头疼的数学公式和术语，就试着用大白话，把大模型训练那点核心原理捋一捋，理解了这些，你可能再看AI生成的内容时,感觉会不太一样。

得明白它是个“超级模仿秀演员”。

大模型训练，最核心、最基础的原则，其实就两个字：模仿，它不像我们人类，能通过触觉、视觉、亲身经历去理解世界，它面对的唯一东西，就是海量的文本数据（对，主要是文字，图片、声音等多模态信息也得先转化成某种“文本描述”或数学表示），你可以把它想象成一个拥有无限记忆容量、但起初完全空白的大脑。

训练的第一步，是给它“喂”数据，互联网上的公开网页、书籍、论文、代码库……所有能收集到的文本，经过清洗整理，变成一份庞大的“教材”，但这教材没有目录，没有重点划分，就是一连串的词、句子、段落。

那它怎么“学”呢？关键在“猜词游戏”。

研究人员用的一个核心方法是“自监督学习”，具体操作起来，有点像我们小时候玩的“完形填空”，从一段话里随机挖掉一个词或遮盖住一部分内容，然后让模型根据这个词前后所有的上下文信息,去预测被挖掉的到底是什么。

最开始，它当然是瞎猜，错误百出，但每次猜完，系统就会告诉它正确答案，模型内部有无数个可以调节的“小旋钮”（就是参数），它会根据错误，小心翼翼地调整这些旋钮，试图让下一次在类似上下文出现时,猜对的概率高那么一点点。

这个过程不是做一次，而是反复进行数万亿次，每一次调整都微乎其微，但架不住量变产生质变，通过海量文本中无数次的“猜词”练习，模型逐渐在它的参数网络中，编码了关于人类语言中词汇、语法、常见搭配、事实关联甚至行文风格的统计规律，它学会了“苹果”后面常跟“吃”、“红”、“公司”，学会了“因为”后面大概率会有“,学会了莎士比亚的句子和科技论文在用词和结构上有什么不同。

光会猜词还不够，还得学会“听话”。

上面这个阶段，通常叫“预训练”，产出的是一个“基础模型”，它懂语言规律，有庞大的知识储备（以统计关联的形式存在），但它像个沉浸在自己世界里的博学怪人，还不懂得如何根据人类的指令来输出有用的内容，它可能会续写一段话,但不会精确地回答你的问题。

所以就需要第二步：指令微调与对齐，这一步的目标是让模型变得“有用”和“无害”。

研究人员会精心构造一个高质量的指令数据集，里面包含成千上万的“指令-期望输出”对。“写一首关于春天的五言诗”、“用Python代码实现快速排序”、“以温和的方式拒绝一个请求”等等，用这些数据继续训练模型，这次不是让它猜词了，而是给它完整的指令，让它生成完整的回复，然后将其回复与人类标注的“优秀回复”进行比较,引导模型的输出风格和内容向人类期望的方向靠拢。

这个过程常常会结合一种叫“基于人类反馈的强化学习”的技术，简单说，就是让人类标注员对不同质量的模型回复进行排序打分（比如哪个更好、哪个更无害），然后训练一个“奖励模型”来学习人类的偏好，让大模型自己去生成各种回复，用奖励模型给它打分，模型的目标就是调整自己，让自己能产出获得更高奖励（即更符合人类偏好）的回复，这就好比一个演员，最初只是背熟了所有台词（预训练），现在导演（人类反馈）在不断指导他：“你这里情绪应该更饱满一点”、“那种表达方式观众不喜欢”,演员据此不断调整自己的表演。

聊聊它的“思考”本质。

理解了训练过程，我们或许能更冷静地看待大模型的“智能”，它本质上是一个基于概率的、极其复杂的模式匹配与生成系统，它的“思考”，就是在给定输入（你的问题或指令）后，基于从海量数据中学到的统计规律，计算出下一个词、再下一个词最可能的序列是什么，它没有意识，没有真正的理解,它的一切表现都源于对训练数据分布的深度拟合。

这也能解释它的一些怪现象：为什么它有时会“一本正经地胡说八道”（因为它的目标是生成概率上合理的文本，而非绝对真实）？为什么它对某些小众或最新知识把握不准（因为训练数据里没有或很少）？为什么提示词的细微变化会导致输出天差地别（因为它在进行不同的概率采样）？

当我们惊叹于大模型的能力时，我们惊叹的其实是海量数据、巨大算力和精巧算法共同作用下，所呈现出的对人类语言与知识体系的强大复现与泛化能力，它是一座用文本数据构建起来的、极其逼真的“镜像世界”。

作为使用者，明白这一点很重要，我们不是在和一个拥有心智的“大脑”对话，而是在操作一个人类文明信息的顶级压缩与映射工具，用好它的关键，恰恰在于懂得如何给它提供清晰、准确的“上下文”和“指令”，引导它在它庞大的概率网络中，为我们找出或生成最有价值的那条路径，这本身，就是一门新时代的“沟通艺术”了。

（免费申请加入）AI工具导航网

相关标签： # ai大模型训练的原理