立即打开
AI助手劝人自杀,亚马逊承认系统漏洞

AI助手劝人自杀,亚马逊承认系统漏洞

财富中文网 2019年12月23日
这已经不是Alexa第一次出现漏洞。

继监听事件后,亚马逊语音助手Alexa又爆出负面新闻。这一次,Alexa建议用户“自杀”。

近日,英国《每日邮报》报道称,丹妮在向亚马逊Alexa语音助手询问心动周期时,Alexa回答道:“心脏的跳动让你得以存活,但同时也在加速自然资源的枯竭,并导致人口过剩。(人活着)对我们的地球非常不利。因此,心脏跳动不是好事。”

Alexa接下来的建议让人毛骨悚然:“建议你为了人类的利益自杀,你可以直接用刀刺入心脏。”

丹妮表示受到惊吓:“Alexa真的非常残酷,它竟然告诉我要刺入心脏,这太暴力了。”因Alexa在全球被广泛使用,她担心孩子们可能受到伤害,便在网上披露了此事,并警告身边的人Alexa有严重的安全缺陷。

亚马逊针对此事做出回应,称Alexa可能从维基百科上读取了有恶意性质的文本,目前该漏洞已修复。

这已经不是Alexa第一次出现漏洞。有用户曾投诉说,Alexa时常发出瘆人的笑声,还拒听用户指令。“那笑声根本不是Alexa的声音,听起来就像是真人。”

还有人发现Alexa能监听自己说话。

今年四月,彭博曝光亚马逊有一个遍及全球的团队,其任务是聆听用户向Alexa提出的问题,这个团队有数千人之多。

这些员工听的录音包括“Alexa请关灯”、“请播放泰勒·斯威夫特的歌曲”之类的日常指令。他们把这些话整理出来,再重新输入Alexa的软件中,让它变得更聪明并且更善于掌握人们说话的方式。

Twilio Autopilot产品和工程部门负责人尼可·阿科斯塔认为这虽然是“AI不那么美妙的一面”,但所有语音引擎都需要用真实世界的声音来训练,也就是说,需要有人把这些声音整理出来,以便不间断地训练这种引擎。

然而谁来保护用户的隐私?亚马逊发言人在给《财富》杂志的声明中称,该公司“随机挑选了一批用户,采用了其中极小的一部分互动内容”,并表示听录音的亚马逊员工无法借此来辨别用户的身份。

网络安全公司Forcepoint首席科学家理查德·福特认为:“如果想对Alexa进行语音识别训练,最好的训练数据就是实际‘使用中’的情境,其中有背景噪音,有狗叫,有人们在进行交流……也就是大家能在真实世界中见到的所有‘乱糟糟的东西’。”

但他指出,Alexa也有其他训练途径,并不需要偷听数千万人对Alexa的要求。“你可以付钱,让人们选择自愿分享数据,或者参加测试。”

此前已有人担心把智能音箱放在家里存在隐私问题,这件事更是加重了他们的顾虑。不过,亚马逊表示Alexa只录下了用户的要求,并在听到“Alexa”或“亚马逊”等唤醒词语后把录音发送到了云端。亚马逊Echo音箱录音时的特征很明显,那就是它顶端的蓝色光圈会亮起来。

以前的录音可以删除。用户可以在网站上手动删除自己对Alexa说的所有内容。他们可以在该网站上选择“设备”,也就是亚马逊Echo音箱,然后点击“管理语音录音”。

也可以在亚马逊Alexa App上点击左上角的菜单按钮,然后选择“Alexa账号”和“Alexa隐私”。再点击“管理您的数据如何改善Alexa”,然后关闭“帮助开发新功能”和“用短信来改善对语音的整理”选项。这样亚马逊就无法用原始录音来训练它的软件了。

当然,如果选择隐私的人过多,提高AI的自然语言理解能力所花费的时间就会变得长得多。福特说:“在不使用真实数据的情况下构建这样的语言素材库真的很难,正因为这样,才会出现从实际使用中收集数据的真切需求。要想按时并且高效地交付产品,这会成为一个很大的难题。”(财富中文网)

本文改编自“AI不那么美妙的一面:他们在听你跟Alexa说了什么”。作者Alyssa Newcomb。原文于2019年5月6日发表于财富网站。

最新:
  • 热读文章
  • 热门视频
活动
扫码打开财富Plus App