原创内容

看译制片再也不出戏:AI技术自动帮演员匹配口型

炣燃科技5月26日讯(金莉)喜欢看国外大片的朋友都深有体会,中文配音过的国外影片,看起来反而有些别扭。其中主要原因是剧中人物面部动作与配音不能完美对接,错位的视觉效果影响了大众观感。

如今人工智能技术以极其诱人和同时令人不安的方式将重塑电影产业。

AI软件Deep Fake可以操纵人物的嘴唇和面部表情,已经不是什么新闻了。不久前,前任美国总统特朗普演唱中国国歌的小视频一路在网络疯传,让我们不得不信服这项AI新技术的魅力。

美国著名导演Scott Mann说,他真的厌倦了在他的电影中看到蹩脚的外语配音。

看过Scott的电影《Heist》的观众都知道,这部电影是由罗布特·德尼罗主演的。

Mann说他对看到这部电影被配音后的极差效果感到震惊,(他没有透露具体配音语言)。Mann说,配音有很多时候需要对对话进行较大的改变,以便使对话内容更贴近演员的唇部动作。Mann说:“我记得我当时真的很伤心。虽然你在一句话或者一个表演上仅做一个小的改变,但是它会在故事节拍上对人物有一个大的变化,以至于对电影产生大的影响。”

基于这一感受,Mann开始研究与 deep fakes 相关的学术内容,并和一家英国公司Flawless共同开发了一项AI 软件新技术。

这项技术的原理是首先捕捉演员在一个场景中的面部表情和动作,再找到配音演员,将这些信息结合起来创建一个3D模型,将演员的脸部和头部与配音演员的嘴唇动作融合在一起,最后,将结果数字化缝合到场景中的演员身上。

此技术使得导演们将有机会对自己的影片用不同语言重塑。同一语言版本的影片在相应的国家播放,使得影片对观众的视觉冲击更具魅力,观感上也更忠于原著。

Mann说,我们正在与电影公司讨论制作几部电影的外国版本。

他们的演示片段显示,美国著名影星罗伯特·德尼罗在大银幕上,说出了口唇动作面部表情与台词完美结合的德语。

杰克尼·科尔森和汤姆·克鲁斯用法语和西班牙语演绎了《A Few Good Man》(《好男儿》)和《阿甘正传》。

Mann说:这项技术使得观众观看电影时,不会意识到这部影片的最初语言。我们在研究如何通过让一个演员说不同语言的台词的方式来帮助电影公司避免昂贵的重拍。

但Mann也表示,当一些演员看到自己被AI操纵时,他们真的有点不安。“有一种恐惧和惊叹并存的感觉,这是两种截然不同的反应,”Mann说。

女演员弗吉尼亚·加德纳在Mann的最新电影中担任主角,当她看到自己通过软件在说西班牙语时,她似乎并不太担心。她说:“我认为这是作为一名演员能够用另一种语言保存表演的最好方式。“如果你相信你的导演,你相信这个过程只会让一部电影更好,那么我真的看不到它的缺点。”

AI视频操作是很有争议的。随着AI的发展,可以在视频场景中无缝切换一个人脸的免费 deep fake 的使用率激增。

目前这项技术已经被用来制作虚假的名人色情片。专家担心,这个软件制作的名人虚假内容,有可能会传播错误信息甚至影响选举。

但是美国演员工会的总法律顾问邓肯克拉特里-爱尔兰说:“这种技术的使用是合法的,也是合理的,但任何此类技术的使用都必须得到相关表演者的同意,并给予适当的补偿。”