立即打开
APP下载
财富Plus APP
Facebook的一场比赛表明:识破AI换脸确实很难

Facebook的一场比赛表明:识破AI换脸确实很难

Jeremy Kahn 2020年06月15日
可以看到,要想战胜AI换脸所可能造成的负面影响,开发者还有很长的路要走。

“深度伪造”(Deepfake)是一种以人工智能为基础的人物图像合成技术,也就是通俗意义上的AI换脸。这种技术极有可能被有心人恶意操纵,借此传播错误的信息。

为了捍卫个人肖像权,Facebook携手微软、亚马逊和麻省理工学院在去年11月推出了一场“深度伪造检测挑战大赛”(DFDC),旨在鼓励全球开发者研发出更精确的“打假”对策。大赛的奖金总计为100万美元,主办方在此前雇佣了3000多名演员来拍摄11.5万段10秒的视频,并对其中的85%进行了换脸改造,参赛者需要从如此庞大的数据库中分辨出换脸后的假视频。

就在6月12日,Facebook揭榜了大赛的最终获奖名单及其相对应的检测能力。令人颇为遗憾的是,即便是榜单中最好的算法,也仅仅只能达到65%的检测精度。可以看到,要想战胜AI换脸所可能造成的负面影响,开发者还有很长的路要走。

不过,Facebook的首席技术官迈克·斯科罗普夫表示,一个初始的简单检测模型已经足以对付社交平台上大部分试图恶意换脸的用户了,因为他们往往技术不高。而且,如果有了这种模型的话,人工审核人员的工作强度会比原来小很多。

本次大赛的冠军得主名为塞利姆·塞菲尔别科夫,他是一名来自白俄罗斯的算法工程师,就职于一家名为Mapbox的公司。在本次大赛中,他的算法一路过五关斩六将,打败了2100余名开发者所提交的3500余个检测系统,最终摘得桂冠,赢得了50万美元的最高奖金。另外,按照比赛要求,塞菲尔别科夫必须公开他的算法。

塞菲尔别科夫表示,Facebook的工程师可能会从这套算法里借鉴一些想法和技术,但不会全套挪用,毕竟已经公开了的算法极易被社会人士破解,如此一来便有了安全隐患。

大赛的亚军是中国科学技术大学的“WM战队”,该团队由中科大信息处理中心的博士后、博士生和硕士生组成,最终成绩与第一名仅差0.0005分,获得了30万美元的奖金。最后,大赛的季军名为阿扎特·达夫列特申,也是一名来自俄罗斯的高级深度算法工程师,目前就职于初创公司NtechLab,该公司主攻的正是人脸识别技术。

大赛中所有参赛个人或团队开发出来的检测算法都需要经受两轮的考验:第一轮的样本数量为4000个,这些视频都是Facebook为大赛所定制的,参赛者可以提前看到这些视频,从而对其算法做出相应修改;第二轮的样本数量为10000个,参赛者不能提前看到这些视频,只可以让自己的算法在黑盒环境中自动做出识别。

在两轮的所有样本中,原视频和换脸视频的比例各占一半,比赛结果主要由各类算法在第二轮中的表现决定。除了赛前所定制的视频,第二轮的样本中还有50%的视频来源于网络。

在第一轮考核中,多个算法的表现都很优秀,其中一些的检测精度达到了82%。然而,到了第二轮,它们的成绩却呈现出了明显的下滑。在某种程度上,这或许意味着,这些算法在处理网络中那些真正的换脸视频之时,往往会遇到更多的障碍。

不过,也有算法在两轮表现中都很突出。Facebook的研究人员对此表现出了很大的信心,他们认为这样的算法能够更好的应对现实中的各种换脸视频,即便是对于那些从未出现过的“神秘技术”,也不至于一筹莫展。

至于那些表现不尽如意的算法,Facebook指出:“这些算法是一种尝试,它们为整个检测体系积累了经验,以后可能会有更加强大的算法在它们的基础上产生出来。这对我们而言,依旧是一个悬而未决的研究课题。”

事实上,“深度伪造”一词第一次跃如公众的视线是在2017年,美国社交新闻站点Reddit的一些用户开始使用AI技术把明星的脸换到色情影片之中,其中一名用户的昵称名为“Deepfake”,该词也就因此而得名了。至此,AI换脸技术被广泛应用于幽默视频、公益广告,或是色情片之中。

这种技术随后引发了众多担忧,有人认为这些经过处理的视频迟早会传播虚假的政治信息,从而搅起政治上的混乱。随着科技的进步,简单、廉价的现成软件就可以完成换脸效果,不需要任何的技术含量。

以上所述也正是冠军塞菲尔别科夫的出发点,因此,他鼓励更多的开发者一起去创造一种可以自动检测到假视频的工具。“可能现在AI换脸还没有掀起大风波,但从我过去几年的惨痛经历来看,我应该提前做好准备,而不是被突发的事件打个措手不及。”他在Facebook的社交平台上写道。

塞菲尔别科夫还表示,近些年,AI研究人员愿意花费大量的时间与精力去研究如何让换脸技术变得更加逼真自然,却不愿意花费一分钟时间在反方向上去检测那些假视频,这一点让他感到非常失望。

目前,即便是最顶尖的算法,主要采用的还是图像分析技术,大多要借助人物面部的局部像差来完成识别。

Facebook指出,在本次大赛中,没有一名参赛者想到过“数字取证”技术。所谓“数字取证技术”,就是从制作源出发,去寻找相机拍摄的图像与软件合成的图像之间的不同之处,进而采集到不同图像间的“数字指纹”。文件元数据中的元素、像素点本身的细微标记,都是每个视频间的差异所在,人类学专家在分析“视频操纵”行为之时,就常常会用到这种方法。

Facebook认为,参赛者之所以不采用这种方法的原因可能有二:其一是这种方法的确不适用于换脸识别;其二则是参赛者本身并不熟悉“数字取证”技术,所以自然也就想不到将其运用到自己的检测系统当中了。(财富中文网)

编译:陈怡轩

“深度伪造”(Deepfake)是一种以人工智能为基础的人物图像合成技术,也就是通俗意义上的AI换脸。这种技术极有可能被有心人恶意操纵,借此传播错误的信息。

为了捍卫个人肖像权,Facebook携手微软、亚马逊和麻省理工学院在去年11月推出了一场“深度伪造检测挑战大赛”(DFDC),旨在鼓励全球开发者研发出更精确的“打假”对策。大赛的奖金总计为100万美元,主办方在此前雇佣了3000多名演员来拍摄11.5万段10秒的视频,并对其中的85%进行了换脸改造,参赛者需要从如此庞大的数据库中分辨出换脸后的假视频。

就在6月12日,Facebook揭榜了大赛的最终获奖名单及其相对应的检测能力。令人颇为遗憾的是,即便是榜单中最好的算法,也仅仅只能达到65%的检测精度。可以看到,要想战胜AI换脸所可能造成的负面影响,开发者还有很长的路要走。

不过,Facebook的首席技术官迈克·斯科罗普夫表示,一个初始的简单检测模型已经足以对付社交平台上大部分试图恶意换脸的用户了,因为他们往往技术不高。而且,如果有了这种模型的话,人工审核人员的工作强度会比原来小很多。

本次大赛的冠军得主名为塞利姆·塞菲尔别科夫,他是一名来自白俄罗斯的算法工程师,就职于一家名为Mapbox的公司。在本次大赛中,他的算法一路过五关斩六将,打败了2100余名开发者所提交的3500余个检测系统,最终摘得桂冠,赢得了50万美元的最高奖金。另外,按照比赛要求,塞菲尔别科夫必须公开他的算法。

塞菲尔别科夫表示,Facebook的工程师可能会从这套算法里借鉴一些想法和技术,但不会全套挪用,毕竟已经公开了的算法极易被社会人士破解,如此一来便有了安全隐患。

大赛的亚军是中国科学技术大学的“WM战队”,该团队由中科大信息处理中心的博士后、博士生和硕士生组成,最终成绩与第一名仅差0.0005分,获得了30万美元的奖金。最后,大赛的季军名为阿扎特·达夫列特申,也是一名来自俄罗斯的高级深度算法工程师,目前就职于初创公司NtechLab,该公司主攻的正是人脸识别技术。

大赛中所有参赛个人或团队开发出来的检测算法都需要经受两轮的考验:第一轮的样本数量为4000个,这些视频都是Facebook为大赛所定制的,参赛者可以提前看到这些视频,从而对其算法做出相应修改;第二轮的样本数量为10000个,参赛者不能提前看到这些视频,只可以让自己的算法在黑盒环境中自动做出识别。

在两轮的所有样本中,原视频和换脸视频的比例各占一半,比赛结果主要由各类算法在第二轮中的表现决定。除了赛前所定制的视频,第二轮的样本中还有50%的视频来源于网络。

在第一轮考核中,多个算法的表现都很优秀,其中一些的检测精度达到了82%。然而,到了第二轮,它们的成绩却呈现出了明显的下滑。在某种程度上,这或许意味着,这些算法在处理网络中那些真正的换脸视频之时,往往会遇到更多的障碍。

不过,也有算法在两轮表现中都很突出。Facebook的研究人员对此表现出了很大的信心,他们认为这样的算法能够更好的应对现实中的各种换脸视频,即便是对于那些从未出现过的“神秘技术”,也不至于一筹莫展。

至于那些表现不尽如意的算法,Facebook指出:“这些算法是一种尝试,它们为整个检测体系积累了经验,以后可能会有更加强大的算法在它们的基础上产生出来。这对我们而言,依旧是一个悬而未决的研究课题。”

事实上,“深度伪造”一词第一次跃如公众的视线是在2017年,美国社交新闻站点Reddit的一些用户开始使用AI技术把明星的脸换到色情影片之中,其中一名用户的昵称名为“Deepfake”,该词也就因此而得名了。至此,AI换脸技术被广泛应用于幽默视频、公益广告,或是色情片之中。

这种技术随后引发了众多担忧,有人认为这些经过处理的视频迟早会传播虚假的政治信息,从而搅起政治上的混乱。随着科技的进步,简单、廉价的现成软件就可以完成换脸效果,不需要任何的技术含量。

以上所述也正是冠军塞菲尔别科夫的出发点,因此,他鼓励更多的开发者一起去创造一种可以自动检测到假视频的工具。“可能现在AI换脸还没有掀起大风波,但从我过去几年的惨痛经历来看,我应该提前做好准备,而不是被突发的事件打个措手不及。”他在Facebook的社交平台上写道。

塞菲尔别科夫还表示,近些年,AI研究人员愿意花费大量的时间与精力去研究如何让换脸技术变得更加逼真自然,却不愿意花费一分钟时间在反方向上去检测那些假视频,这一点让他感到非常失望。

目前,即便是最顶尖的算法,主要采用的还是图像分析技术,大多要借助人物面部的局部像差来完成识别。

Facebook指出,在本次大赛中,没有一名参赛者想到过“数字取证”技术。所谓“数字取证技术”,就是从制作源出发,去寻找相机拍摄的图像与软件合成的图像之间的不同之处,进而采集到不同图像间的“数字指纹”。文件元数据中的元素、像素点本身的细微标记,都是每个视频间的差异所在,人类学专家在分析“视频操纵”行为之时,就常常会用到这种方法。

Facebook认为,参赛者之所以不采用这种方法的原因可能有二:其一是这种方法的确不适用于换脸识别;其二则是参赛者本身并不熟悉“数字取证”技术,所以自然也就想不到将其运用到自己的检测系统当中了。(财富中文网)

编译:陈怡轩

In September, Facebook teamed with Microsoft, Amazon Web Services, an industry ethics body, and several universities, to announce the competition, backed by $1 million in total prize money. It hired more than 3,000 actors to create a data set of 115,000 10-second videos, and applied a variety of deepfake techniques to about 85% of them. It then released this data for competitors to train and test their algorithms.

Facebook has revealed the winners of a competition for software that can detect deepfakes, doctored videos created using artificial intelligence. The best algorithm in Facebook’s contest could accurately determine if a video was real or a deepfake just 65% of the time. And the results show that researchers are still mostly groping in the dark when it comes to figuring out how to automatically identify them before they influence the outcome of an election or spark ethnic violence.

Facebook chief technology officer Mike Schroepfer said even an imperfect system could help Facebook by deterring less technically skilled people from trying to post malicious deepfakes on the social network and ease the burden on the company’s human content reviewers.

The winning algorithm was created by Selim Seferbekov, a machine learning engineer at a company called Mapbox, in Belarus, according to his LinkedIn profile. He beat out more than 2,100 other contestants who submitted more than 3,500 detection systems, to win the $500,000 top prize. As part of the competition, Seferbekov must make his algorithm publicly available.

Schroepfer said that Facebook’s own engineers would likely borrow ideas and techniques from Seferbekov’s detection algorithm but would not put the same software into production, partly to prevent people from being able to figure out how to trick the system.

The second-place team, which called itself WM, consisted of three graduate machine learning researchers affiliated with the University of Science and Technology of China, in Hefei. Third place went to Azat Davletshin, a senior deep learning engineer at the Russian company NtechLab, which is known for its work on facial recognition.

The algorithms were evaluated on two separate tests: a public test set, which consisted of 4,000 video clips that Facebook produced, half of which were deepfakes, and which were not part of the training data set. But the winning algorithm was ultimately chosen by how well it performed on a second data set that contestants could not access, and which included 10,000 videos, half of which were deepfakes. Except in this case, half of the videos—both deepfakes and benign videos—were culled from the Internet, as opposed to ones created specifically for the competition.

While several algorithms achieved scores above 82% accuracy on the public test set, their accuracy dropped significantly on the private test set, an indication that there were probably subtle differences between the videos Facebook created for the competition and genuine deepfakes that the algorithms couldn’t handle.

But the algorithms that scored well on the public test set also tended to score best on the private test set, which Facebook’s researchers said was an indication that the same detection techniques would work in the real world, including on deepfakes created using new methods that the detection systems had not seen examples of during training.

As for the less-than-mind-blowing performance of the A.I. detection systems at the moment, “that just reinforces that building systems that generalize to unseen deepfake generation techniques is still a hard and open research problem,” the company said.

Deepfakes first came to public attention in 2017 when Reddit users, including one who went by the handle “deepfake,” began using cutting-edge A.I. techniques to put the heads of various celebrities on the bodies of actresses in pornographic films. Since then, they have mostly been used to create short, humorous videos, public service ad campaigns, and, more darkly, revenge porn.

But many people fear it is only matter of time before the manipulated videos, which can be created using simple and cheap off-the-shelf software that requires no technical skills to use, are deployed as part of political disinformation campaigns.

That’s why Schroepfer said he wanted to encourage the development of tools for automatically detecting the fake videos. “It is not currently a big issue,” he said of the use of deepfakes on Facebook’s social media platforms. “But the lesson I learned the hard way over the past few years is that I want to be prepared in advance and not get caught flat-footed.”

He also said he was frustrated that A.I. researchers were spending a lot of time and energy developing techniques for creating ever-more realistic fake videos while spending almost no time at all on systems to detect them.

Facebook said that most of the top algorithms worked by analyzing the content of the images, trying to detect subtle aberrations in the faces or parts of the faces in the videos.

The company also said in a blog post about the competition that it was notable that none of the winners attempted to use what are called “digital forensic” techniques, such as looking for so-called “digital fingerprints” that images created using cameras, as opposed to those created entirely by software, leave behind on images. These telltale signs can include elements in the metadata of a file or subtle markers in the pixels themselves. Human experts who analyze videos for manipulation frequently use these markers.

The fact that the top entrants didn’t use these methods, Facebook said, was either an indication that such methods are not useful for finding deepfakes or that top machine learning experts are not familiar enough with these digital forensic signatures to use them in their detection systems.

最新:
  • 热读文章
  • 热门视频
活动
扫码打开财富Plus App