OpenAI的大模型，到底是怎么喂出来的？

每次刷到那些能写诗、能编程、能跟你聊天的AI，你是不是也好奇过，这玩意儿到底是怎么变得这么“聪明”的？今天咱们不聊那些花里胡哨的应用，就扒一扒它的老底——那个听起来就有点唬人的“大规模预训练模型”，说白了，它到底是怎么被“喂”大的？

你可以把它想象成一个超级学霸，但它这个学霸，不是靠天天刷五年高考三年模拟练出来的，它的学习方法，更像是一个婴儿被扔进了一个由整个互联网文字构成的、巨大无比的图书馆里，这个图书馆里什么都有：维基百科的严谨条目，社交媒体的碎碎念，新闻网站的报道，论坛里的争吵，甚至还有无数的小说、剧本和诗歌，这个“婴儿”一开始啥也不懂，字都认不全，但它有一个近乎变态的能力：海量吞食，和寻找规律。

它的核心任务，其实是一个“填空游戏”，它看到“今天天气真不错，我们一起去__吧”这句话，它就会拼命在之前“吃”下去的所有文本里找规律，发现“散步”、“公园”、“野餐”这些词出现的概率最高，它就是在无数个这样的瞬间里，一个字一个字、一个词一个词地，建立起词语之间的关联，理解上下文的意思,甚至摸到一点点人类语言的逻辑和情感色彩。

“大规模”到底有多大？这就有点吓人了，首先是数据量，可能不是TB级别，而是PB级别（1PB=1024TB），想想看，这得是多少本书、多少网页？这些数据不是随便堆砌的，得经过清洗、过滤，去掉那些太暴力、太敏感或者质量太差的东西，但即便如此，其规模也远超人类个体几辈子能阅读的量，然后是模型参数，你可以把这些参数理解为这个学霸大脑里的“神经元连接数”，GPT-3有1750亿个参数，这数字听着就头晕，训练的过程，就是不断调整这上千亿个旋钮，让模型的“填空”答案越来越准，这需要难以想象的算力，据说训练一次顶尖大模型，耗费的电力堪比一个小城市一段时间的用电量,烧掉的钱那是天文数字。

这事儿根本不是普通公司甚至一般巨头玩得转的，它是一场极度奢侈的“暴力美学”，用无法估量的数据、无法想象的算力和无法复现的巨额资金，硬生生“砸”出一个通晓语言规律的庞然大物，这背后,是成千上万个GPU没日没夜地运转好几个月。

但有意思的是，这么“暴力”地喂出来的模型，反而产生了一种让人有点意外的能力——“涌现”，就像当神经元连接多到一定程度，大脑突然产生了意识一样（AI远没有意识），当模型的参数和训练数据大到某个临界点，它会突然表现出一些在小型模型里根本看不到的能力，它没被专门教过怎么写代码，但看了那么多自然语言和代码混合的文本后，它自己就能琢磨出点编程的套路；你也没教它什么是比喻和排比，但它自己就能写出有点模样的诗句，这种从量变到质变的“顿悟”,是目前最让人着迷也最让人看不懂的地方。

这么喂出来的模型，毛病也不少，因为它吃的是互联网的“大杂烩”，所以互联网的偏见、歧视、错误信息，它也照单全收，时不时就会在回答里冒出来点“暴论”，它更像是一个概率大师，而不是一个真理持有者，它给出的答案，是基于它“见过”的最可能的组合，而不一定是对的或负责任的，它的“思考”过程完全是个黑箱，我们只知道它输入输出，中间那上千亿参数到底是怎么运作的，为什么能说出某句话,连它的创造者有时候也挠头。

下次你再看到某个AI工具惊艳的表现，心里大概可以有个数了：它背后那个沉默的巨兽，是用了多么简单粗暴又奢侈无比的方式，才学会了人类的语言，它不是有了智慧，而是通过穷举星辰大海，摸到了语言宇宙的一点皮毛规律，这既是现代科技的奇迹，也带着点荒诞和令人深思的味道，我们创造了一个自己都无法完全理解的、依赖“蛮力”成长的语言模仿者，这未来的路,还真是有意思。

（免费申请加入）AI工具导航网

相关标签： # open ai大规模预训练模型