当AI学会看和听，中文多模态预训练模型，正在悄悄改变什么？

最近和几个做内容的朋友聊天,发现大家不约而同地都在琢磨一件事：怎么让手里的工具更“聪明”一点，不是那种只会机械回复的聪明，而是能真正理解我们丢过去的图片、视频、语音，甚至能揣摩点语气和情绪的那种，聊着聊着，话题就拐到了一个听起来有点技术，但实际上已经摸到我们门槛的词儿上——中文多模态预训练模型。

啥意思？别被这个词唬住，说白了，就是让AI从一个偏科生，变成一个“通才”，以前的很多AI模型，像是各管一摊的专员：处理文字的，看不懂图；分析图片的，听不懂话，它们在自己的单科领域可能考高分，但一遇到现实世界里信息混杂的场景，就有点抓瞎，现实是啥？是我们随手拍张街边小吃的照片，配段语音“这玩意儿看着真香，到底是啥？”，然后希望手机不仅能识别出这是“烤苕皮”，还能从你馋涎欲滴的语气里，自动给你推荐个探店攻略或者食谱。

多模态预训练,干的就是把文字、图像、语音、视频这些不同“模态”的信息，一股脑儿喂给AI，让它自己在海量数据里摸索、寻找它们之间的关联，就像教一个孩子，不是单独认字、认图、听声音，而是给他看绘本，同时讲给他听，让他自己把“苹果”这个词、那个圆圆的红彤彤的物体、还有咬下去的“咔嚓”声联系起来，当这个模型是用巨量的中文互联网内容（文章、图文帖子、短视频、带字幕的影视剧……）“喂养”长大，它就更懂我们中文语境下的那些梗、那些含蓄的表达、那些独特的文化符号。

这玩意儿现在发展到哪一步了？它可不是实验室里的概念，你肯定已经无意中用过它的“孩子”或近亲了，有些写作工具，你贴一张流程图照片，它能直接给你转换成文字版的大纲；有些视频剪辑软件，能根据你输入的几句文案，自动在素材库里匹配画面，甚至生成配音；还有那种能帮你把一场冗长会议录音，瞬间整理成重点清晰、带行动项的纪要，顺便把提到关键数据的那段截图也给你标出来……这些功能的背后，多多少少都有多模态模型的影子在闪烁。

它正在悄悄改变哪些事儿？我觉得最先感受到震动的，可能是内容创作这个行当。

对我们这些天天和内容打交道的人来说,它像个突然上岗的“超级助理”，以前找配图，得靠关键词在图库里大海捞针，现在你直接把文章段落丢给AI，它可能真能给你理解出核心情绪和意象，推荐甚至直接生成更贴切的图片或短视频片段，做视频字幕和剪辑点标记，从纯体力活变成了可以智能优化的环节，更重要的是，它可能催生一些新的内容形式，完全由AI根据一个热点事件，同步生成角度各异的图文分析、短视频快讯和深度播客脚本——虽然现在听起来还有点科幻，但路径已经清晰了。

别急着欢呼,这技术往前走，坑和石头也不少。

头一个就是“理解”的深度问题，模型能关联图文，能生成看起来像样的东西，但它真的“懂”《红楼梦》里黛玉葬花那张图背后的悲情与宿命吗？真的能体会一段方言语音里包含的乡土人情和微妙幽默吗？目前来看，它更擅长的是模式关联和表层缝合，离真正的“共情”与“深度文化理解”还有距离，搞不好，会闹出一些看似合理实则尴尬的“缝合怪”内容。

另一个现实门槛是“贵”，训练这种模型，需要烧掉海量的算力和数据，这不是一般小团队甚至中型公司玩得转的，未来很可能形成基础大模型由少数巨头掌握，应用层百花齐放的格局，我们这些应用者，是在别人的地基上盖房子，灵活，但也得受制于地基的规则和能力边界。

还有绕不开的版权和伦理黑洞,模型训练用的数据，几乎“吃”光了整个中文互联网，这里面谁的图片、文字、声音被“消化”了？生成的成果，版权算谁的？如果它基于某些有偏见的数据学习，生成的內容会不会放大这些偏见？这些问题，技术本身给不了答案。

怎么看这个正在崛起的“通才”AI？我觉得，既不用把它神化成颠覆一切的革命，也别小看它润物细无声的渗透力，它不会一下子取代哪个具体的创意岗位，但它会像电、像互联网一样，慢慢变成一种基础能力，重塑我们生产、处理、消费信息的方式。

更重要的可能不是急于去掌握某个具体工具（因为工具迭代太快了），而是培养一种“多模态思维”：如何更综合地运用文字、图像、声音去表达？如何判断和利用AI生成的混合内容？如何保持自己那份独特的、源于真实体验和深度思考的“人味儿”，在AI的辅助下，而不是被其同化？

或许评判一个内容创作者能力的,不再仅仅是文笔多好、镜头感多强，而是你能否高效地与这些“通才”AI协作，指挥它们完成基础、繁琐的关联与生成，而你则专注于策略、审美、情感和那些真正需要人类灵光一现的创意突破，中文多模态预训练模型，正为我们推开这扇协作之门的第一道缝，门后的世界是更精彩还是更嘈杂，取决于我们如何走进去。

（免费申请加入）AI工具导航网

相关标签： # 中文多模态预训练ai模型