当AI开始读万卷书，聊聊那些巨无霸模型是怎么练成的

不知道你有没有这样的感觉，最近一两年，AI这东西好像突然“开窍”了，以前让它写首诗，它可能给你来段前言不搭后语的打油诗；现在呢，不仅能写出像模像样的文章，还能跟你聊哲学、编代码、甚至帮你分析市场报告，这背后一个关键的变化，就是所谓的“大型模型”开始登上舞台中央。

你可能听说过GPT-4、文心一言、通义千问这些名字，它们都属于“大模型”这个家族，说白了，它们就是AI世界里那种“超级学霸”，只不过这个学霸的学习过程，和我们人类有点不一样,规模也大得超乎想象。

它得有个“超级图书馆”

想象一下，要培养一个上知天文下知地理的智者，第一步得干嘛？肯定是给他书看，海量的书，训练一个大模型，第一步也是如此——喂数据,而且是天文数字级别的数据。

这个“数据食粮”包括什么呢？几乎囊括了互联网上能找到的所有公开文本：从维基百科的严谨条目，到各大新闻网站的报道；从古登堡计划里的经典名著，到技术论坛里程序员们七嘴八舌的讨论；甚至是你我在社交媒体上随手发的帖子、写的评论，都可能经过脱敏处理后，成为它学习资料的一部分，这个数据量有多大？可能是用“万亿”级别的词汇来计算的,相当于它生吞活剥了几个大型图书馆的所有藏书。

但光有量还不行，早期的AI容易学“坏”，因为网上信息鱼龙混杂，工程师们得事先做大量的清洗和筛选工作，尽量把那些低质、偏见、有害的信息过滤掉，就像给这个“学霸”提供一个尽量干净、营养均衡的“食谱”，这个过程枯燥且耗时，但至关重要，直接决定了模型未来的“品性”。

进入“填鸭式”预训练阶段

数据准备好了，就开始真正的“修炼”了，这个过程叫“预训练”，你可以理解为让模型进行“通识教育”。

怎么教呢？方法很巧妙，核心是让AI玩一个“完形填空”的游戏，把一句话“今天天气真不错，我们一起去__吧”输入给它，让它预测空白处最可能是什么词（散步”、“公园”），它一开始完全是瞎猜，但通过海量文本中无数这样的练习，它开始慢慢摸到门道：发现“天气不错”后面常跟着户外活动，“一起”后面常跟着动词……它逐渐学会了词汇之间的关联、句子的结构、甚至文本背后那点微妙的逻辑和常识。

这个阶段，拼的就是“算力”和“耐心”，它需要成千上万个高性能的GPU（一种专门用于计算的芯片）连续不停地运转数周甚至数月，消耗的电力堪比一个小城镇，这期间，模型就像一个在黑暗中不断摸索的巨兽，参数（可以理解为它的“脑细胞”连接强度和方式）以万亿计，在每一次预测错误和纠正中，被极其缓慢地调整，你看不到它具体学到了什么，只知道它消耗了天价的电费和硬件,在默默进化。

光有知识还不够，还得学会“听话”

经过预训练的模型，已经是个“饱读诗书”的学者了，但它可能还不太会跟人好好聊天，你问它一个问题，它或许会自顾自地滔滔不绝讲一堆相关的知识，却答非所问，因为它还没学会理解人类的“指令”和“偏好”。

下一个关键阶段叫“对齐”或者“指令微调”，这就像给这位野生学霸请了一位“家教”,教它社交礼仪和沟通技巧。

工程师们会准备大量高质量的对话数据，比如人工精心编写的问答对、遵循指令完成任务的多轮对话等，通过在这些数据上进一步训练，模型逐渐明白：当人类说“用一句话总结”，它就不能啰嗦三句；当人类想要一个“乐观的”回复，它就不能给出悲观的调子，这个过程旨在把模型庞大的知识储备，驯化成对人类友好、有用、安全的输出能力。

这还不算完，还需要“人类反馈”来打磨

最后一道精加工工序，往往依赖“人类反馈强化学习”，这名字听起来复杂，其实原理有点像训练宠物，模型生成多个不同的答案，由人类标注员来评判哪个更好、更符合要求（比如更有帮助、更无害、更真实），模型根据这些“好评”和“差评”的信号，调整自己的内部参数，让自己以后更倾向于产出那种会获得“好评”的回答。

这个过程反复进行，让模型的输出越来越贴合人类的价值观和审美，你会发现，现在好的大模型，不仅知道答案，还懂得用更得体、更贴心的方式把答案递给你。

聊聊背后的“重”与“轻”

说了这么多，你可能感觉到了，打造一个大模型，真是个既“重”又“轻”的活儿。

“重”在它的基础：数据、算力、能源、顶尖人才团队，每一样都是极高的门槛，是真正意义上的“重资产”和“重投入”，全球有实力从头训练顶尖大模型的机构,掰着手指头都能数过来。

而“轻”则体现在它的应用端，一旦这个巨无霸模型训练完成，它就能像一个强大的“大脑”，通过相对“轻量”的接口（API）被千行百业调用，创业者不需要自己建发电厂和芯片厂，就能在它的基础上开发出智能客服、写作助手、编程搭档等各种应用，让AI能力变得“唾手可得”。

当我们再看到某个AI应用惊艳的表现时，或许可以想到，它背后站着的那个“大模型”，经历了怎样一场数据的洗礼、算力的熔炼和人类智慧的精心调教，它不像人类那样通过体验世界来学习，而是在由人类文明文本构成的数字海洋里，以另一种方式完成了自己的“读万卷书”。

这场训练没有终点，模型还在变得更大、更高效，学习方式也在不断革新，作为使用者，我们既是它服务的对象，在某种程度上，也通过我们的每一次交互，在塑造着它未来的样子，这想想，其实还挺有意思的,不是吗？

（免费申请加入）AI工具导航网

相关标签： # ai大型模型训练