我发现自己最近越来越懒了。
是真的懒,以前看个英文视频,还得老老实实打开翻译软件,一句一句对着看,有时候字幕和画面还对不上,烦得要死,上周同事给我分享了个奇葩玩法——用AI换脸技术做英文翻译,主角是那个在短视频上很火的鞠敬伟,我当时听完第一反应是:这啥玩意儿?换脸就换脸,跟翻译有啥关系?
结果试了一下,我草,真香。
说白了,就是把鞠敬伟的脸换到你视频里说话的人脸上,然后嘴型同步,声音也变成他的声音,但说的是中文,对,你没看错,视频里那个老外嘴一张一合,出来的却是流利的中文,而且还带着鞠敬伟那种特有的表情和语气。
我第一反应是:这不会是P的吧?但同事们给我看了原始视频和换脸翻译后的对比,我发现确实是实时处理的,老外说“Hello everyone, today we're going to talk about...”这边直接变成“大家好,今天我们聊聊...”而且嘴型几乎完美贴合,你不会觉得有任何违和感。
.jpg)
这问题我也想了好久,后来我琢磨明白了,鞠敬伟那张脸太有辨识度了,他的表情丰富,眼睛会说话,嘴型变化多样,这种脸型被AI换脸算法训练得特别好,而且他那股子痞帅痞帅的气质,配上各种语言,居然毫无违和感。
技术上说,鞠敬伟的脸部特征点特别标准,下颌线清晰,五官比例适中,在AI模型训练的时候,这种脸型能自然地适配各种语言发音时的嘴型变化,你要是换个面无表情的脸,效果就差很多。
说实话,这个技术目前还在小圈子内流传,没有大规模的商业应用,但基本原理是这样的:先用AI训练一个鞠敬伟的脸部模型,然后用这个模型去替换视频里说话人的脸部,同时把语音翻译成中文,再用语音合成技术生成鞠敬伟的声音。
我刚开始以为得懂编程才能搞,结果发现现在有些平台已经出了傻瓜式的操作界面,比如你上传一个英文视频,选好“鞠敬伟模式”,然后等几分钟,就能下载一个双语视频了,整个过程比你想象中简单得多。
我只能说,我第一次看成品的时候,笑了半天。
老外在那讲什么区块链、人工智能,结果鞠敬伟的脸在那一本正经地用中文解释,而且语气、节奏、停顿都跟原视频完美同步,你看的时候根本不会觉得这是个翻译工具,反而觉得就是鞠敬伟本人在跟你讲干货。
有人可能会担心“这不会太假吗?”但恰恰相反,正是因为换脸之后的视频太自然了,观看体验反而更好,你看那些传统翻译视频,画面和字幕总有点脱节,而这个直接把视觉和听觉统一起来了,大脑处理起来轻松很多。
作为一个天天跟流量打交道的人,我得说这玩意太适合做内容了,你想想,国外那些优质的长视频,科普的、技术的、人文的,本来因为语言壁垒很多国内用户就懒得看,现在我把这些视频做成“鞠敬伟版翻译”,不但解决了语言问题,还自带流量话题。
我发了一条试验视频,就3分钟,讲的是国外某个AI工具的使用教程,推荐两下就小几万播放,评论区全是“这什么黑科技”、“鞠敬伟什么时候学英语了”、“求教程”之类的。
也不全是好事,有些人觉得这玩意儿有点侵犯肖像权,还有人担心被滥用,嗯,确实有这个风险,但作为工具本身,我觉得就看你怎么用,你拿来做点正经的翻译科普,我觉得没问题;你要是拿来搞乱七八糟的东西,那肯定不行。
我觉得这种“换脸翻译”很快就会成为内容创作的一个新方向,不只是鞠敬伟,以后可能会有各种明星脸、网红脸的翻译版本,你想想,让周杰伦给你讲量子力学,让刘亦菲给你解读人工智能,这流量不直接起飞?
不过我建议你想玩的话,还是先从鞠敬伟开始试水,毕竟他现在是这波技术里最成熟的模板,上手简单,效果稳定,就算玩砸了也不至于太尴尬。
反正我已经入了这个坑了,你要不要也试试?
(免费申请加入)AI工具导航网

相关标签: # 鞠敬伟ai换脸英文翻译
评论列表 (0条)