OpenAI的模型训练，真的像我们想的那样开放吗？

最近和几个做技术的朋友聊天,话题不知道怎么又绕到了OpenAI身上，有个刚入行的朋友突然问了一句：“哎，你说，我们能用OpenAI的东西来训练自己的模型吗？”当时桌上安静了两秒，然后大家几乎同时笑了起来，那笑声里有点无奈，也有点“你懂的”的意思。

这确实是个好问题,也是很多刚接触AI的人心里共同的疑问，一听到“OpenAI”这个名字，很多人第一反应就是“开放”、“开源”、“可以随便用”，这个名字起得真是绝了，它精准地戳中了技术界对开放协作的那份理想主义情怀，但现实呢？现实往往比名字复杂得多。

咱们得先掰扯清楚一个概念：用OpenAI，和用OpenAI的技术来训练模型，这是两件完全不同的事。

你现在去用ChatGPT聊天,用DALL-E生成图片，或者调用他们的API把你家产品接上智能对话，这些都属于“使用”他们已经训练好的模型，这扇门，OpenAI是敞开的，只要你按规则付费，遵守他们的使用条款，欢迎光临，这就像你去一家顶级餐厅，可以尽情享用主厨已经做好的招牌菜。

但如果你想走进他们的后厨,看看他们的独家秘方，用他们的炉灶和核心食材（也就是他们的训练代码、原始架构或者海量原始数据），自己炒一道新菜——抱歉，此路不通。 至少对我们绝大多数普通人和普通公司来说，门是锁着的。

OpenAI到底是怎么“训练模型”的？简单说，这是一项需要巨额资源、顶尖人才和长期投入的超级工程。

你得有“燃料”，也就是数据，不是随便网上爬点文本就行，需要的是高质量、大规模、经过精细清洗和处理的文本、代码、图像等多模态数据，OpenAI在这方面投入了多少，数据的具体构成是什么，这是他们核心机密中的核心，我们只知道，这个数据集的规模是天文数字，并且处理数据的工程复杂到令人头皮发麻。

你得有“引擎”，也就是算法和架构，Transformer架构是基础，但OpenAI在之上做了多少魔改和优化？比如让ChatGPT如此惊艳的RLHF（基于人类反馈的强化学习），具体怎么实施的？人类反馈数据怎么收集、怎么标注、怎么融入训练循环？这些细节论文里可能会提一些，但真正的工程实现诀窍（know-how），都牢牢捂在手里，这就像你知道汽车靠发动机和轮子跑，但法拉利的发动机具体怎么调校的，你无从得知。

也是最硬核的一点,你得有“电厂”，也就是算力，训练GPT-4这个级别的模型，据说需要上万张顶级GPU（比如A100/H100）跑上好几个月，光是这些硬件的成本，就是以“亿美元”为单位来计算的，这不仅仅是钱的问题，更是能否拿到这些紧俏芯片，以及是否有能力构建并维护这样一个庞大、稳定、高效的超级计算集群的问题，这门槛，已经高到把全球99.999%的机构都挡在外面了。

回到最初的问题：OpenAI可以训练模型吗？当然可以，而且他们是这个星球上最擅长此事的少数几个机构之一，但“我们”能用OpenAI来训练自己的模型吗？这里的“我们”指代外部开发者、中小公司或研究团队，答案基本上是：不能直接使用他们的核心训练能力。

那是不是就完全没戏了呢？也不是，生态里总有聪明的变通办法。

一种常见的方式是 “微调” ，OpenAI为一些较老的模型（如GPT-3.5 Turbo）提供了微调接口，你可以用自己的、高质量的数据集，在OpenAI提供的基础模型上做进一步的训练，让模型更擅长某个特定领域（比如法律文书、医疗问答、你的公司知识库），但这本质上是在他们画好的、有限的赛道上进行优化，你动不了模型的底层架构和绝大部分参数，好比餐厅允许你在他们的招牌牛排上，根据自己的口味加点黑胡椒或者酱汁，但你不能换掉牛肉，也不能改造烤炉。

另一种思路,是学习其思想，然后自力更生，OpenAI发布了很多重要的研究论文（比如提出Transformer的原始论文《Attention is All You Need》就有他们的贡献，以及GPT、CLIP等系列的论文），这些论文提供了宝贵的理论方向和灵感，全球的AI开源社区，比如Meta开源的Llama系列，就是基于这些开放的科学思想，利用公开可用的数据，在庞大的算力投入下，训练出来的优秀模型，你可以用Llama 2这样的开源模型作为起点，在自己的数据和算力条件下进行训练或微调，这才是目前对于外部团队来说，最现实、最“开放”的参与模型训练的方式。

下次再听到OpenAI,我们可以有一个更清醒的认识：它是一家兼具研究精神和商业雄心的顶尖AI公司，它的“开放”，更多体现在对AI能力普及化、工具化的推动上——通过API让全球开发者都能轻松用上最先进的AI，但在模型训练的核心竞技场，它构筑了一条由数据、算法秘密和巨额算力组成的“护城河”，这条河很宽，深不见底。

对于我们这些岸上的人来说,羡慕一下河对岸的风景无可厚非，但更重要的是，看看手里有什么工具：开源的模型、公开的研究、越来越成熟的云算力……在这些基础上，结合我们对自己所在领域的深刻理解，去创造独特的价值，模型训练这场游戏，顶级玩家有顶级玩家的玩法，我们也有我们能够得分的方式。

毕竟,AI的未来，不仅仅是由那几个最闪亮的名字定义的，更是由无数个在各自角落裡，用各种方式探索和应用的我们共同编织的。

（免费申请加入）AI工具导航网

相关标签： # open ai可以训练模型吗