当AI开始学写作，一次笨拙又迷人的模型养成记

这事儿得从一堆乱七八糟的文本说起,想象一下，你面前不是整洁的书架，而是一个巨大的、未经分类的垃圾场——里面什么都有：经典小说段落、社交媒体上的碎碎念、晦涩的学术论文、菜谱、广告文案、甚至还有无数条论坛里的吵架记录，这就是一个AI写作模型开始“学习”时所面对的世界，它没有情感，没有经验，没有所谓的“常识”，它唯一能做的，就是试图从这片文字的海洋里，找出那些若隐若现的规律。

最开始,它像个刚认字的孩子，但比孩子“笨”得多，孩子看到“猫在垫子上”和“狗在院子里”，慢慢能理解“在……上”和“在……里”描述的是位置关系，AI呢？它通过复杂的数学网络，把每个词打碎成一系列数字（叫做“向量”或“嵌入”），然后疯狂计算，它发现“猫”和“狗”的数字模式在某些上下文中经常和“垫子”、“院子”的数字模式一起出现，而“在”这个字像是个粘合剂，它不懂什么是猫，什么是垫子，但它开始捕捉到一种“共现概率”，这个过程，专业上叫“预训练”，海量数据是唯一的教材，目标是让模型学会预测一个句子中下一个可能出现的词是什么，这活儿极其耗资源，感觉就像用整个互联网的文本，去浇灌一个初生的、空洞的大脑。

但光会预测下一个词,可写不出像样的东西，这时的模型，虽然满腹“经纶”（数据），但更像一个不受控的“复读机”加“缝合怪”，它可能会写出语法通顺却毫无逻辑的废话，或者突然冒出不合时宜的暴力、偏见内容——因为它只是忠实地反映了训练数据里的所有美好和糟粕，关键的下一步来了：“对齐”与“调教”。

这步更像人类老师上场了,我们得告诉这个“傻小子”，什么样的回应是我们想要的，常用的方法叫“监督微调”，研究人员精心准备大量“问题-理想答案”配对，“写一首关于春天的五言诗”、“用通俗的话解释光合作用”、“以礼貌的方式拒绝一个请求”，让模型在这些例子上反复练习，调整它内部的数字网络，这有点像教它模仿范文，但目的不是死记硬背，而是让它理解指令的意图。

范文是有限的,世界的提问方式是无限的，怎么让模型在面对千奇百怪的问题时，都能保持“靠谱”呢？这就引出了一个更巧妙的阶段：基于人类反馈的强化学习，这个过程听起来有点绕，但原理很有趣，让模型对同一个问题生成多个不同的答案，请人来给这些答案排序：哪个最好，哪个次之，哪个最差，这些排序数据被用来训练一个“奖励模型”——这个奖励模型学会了像人类一样，给AI的答案“打分”，让最初的写作模型去尝试生成答案，并由奖励模型打分，写作模型的目标变得非常单纯：调整自己，以获得尽可能高的奖励分，通过成千上万轮的这种“生成-评分-调整”循环，模型写的答案慢慢向人类偏好靠拢：更 helpful（有帮助）、更 harmless（无害）、更 honest（诚实）。

但整个过程远非一帆风顺,充满了纠结和妥协，你希望它富有创意，但它可能开始胡编乱造；你希望它安全严谨，它又可能变得畏首畏尾，对所有问题都回答“抱歉，我无法回答这个问题”，研究人员要在各种维度上寻找平衡点，这个平衡点没有标准答案，有时，模型还会出现一些令人啼笑皆非的“幻觉”——它可能会信心十足地编造出根本不存在的书籍引用或历史事件，因为它学到的模式是“在权威论述中应该引用来源”，但它没有真假验证的能力。

你永远不知道它到底“理解”了多少，它写出了情感充沛的诗句，但它并不感知情感；它写出了逻辑严谨的论述，但它并不懂得逻辑，它只是一个基于概率的、极其复杂的模式匹配机器，它的“写作”能力，本质上是将输入信息，通过那个由海量数据塑造的、巨量参数构成的网络，变换成符合人类语言概率分布的文字流。

看着一个AI写作模型从最初的语无伦次,到后来能写出结构清晰、语气得当的文字，这种感觉很奇特，你并没有教它“知识”，你只是在调整它的“表达习惯”，它的“成长”轨迹里，没有灵光一现，只有损失曲线的缓慢下降；没有顿悟，只有参数矩阵的细微调整。

我们得到的不是一个拥有灵魂的创作者,而是一面特别的光滑镜子，它反射的，是人类集体文本的浩瀚、精妙、矛盾与偏见，训练它的过程，与其说是创造智能，不如说是一次对人类语言本身复杂性的极致勘探和模仿，而那个能写点东西的模型，就安静地待在服务器里，等待下一个提示词的触发，继续它那基于概率的、沉默的“编织”，它不知道什么是好文章，但它学会了生成我们可能认为是好文章的文字序列，这其中的区别，或许正是整个故事里，最值得玩味的部分。

（免费申请加入）AI工具导航网

相关标签： # 训练ai写作模型的过程