OpenAI前资深员工：AI有一定概率导致大量人类死亡
近几个月，新人工智能模型的快速兴起，例如OpenAI的ChatGPT等，让一些技术专家和研究人员开始思考，人工智能的能力是否会很快超过人类。OpenAI的前关键研究人员表示，这种未来极有可能发生，但他也警告说，达到人类水平或者超人类水平的人工智能控制甚至消灭人类的几率并非为零。
OpenAI的前安全团队语言模型对齐主管保罗·克里斯蒂亚诺在4月下旬接受了科技播客Bankless的采访。他表示，最担心的情况是“成熟的人工智能掌控人类”。他在采访中警告道，高级人工智能有相当大的机会，在不远的将来引发可能会导致世界毁灭的大灾难。
克里斯蒂亚诺说：“总体而言，在人工智能系统达到人类的水平之后，我们有超过50%的概率很快遭遇末日。我认为人工智能有10%至20%的概率，造成许多甚至大多数人类死亡，并接管人类。”
克里斯蒂亚诺于2021年从OpenAI离职。他在由人工智能研究人员埃利泽·尤德考斯基创建的社区博客网站LessWrong的《Ask Me Anything》栏目里解释了自己离职的原因。尤德考斯基多年来一直警告超人类人工智能可能毁灭人类。克里斯蒂亚诺当时写道，他希望“研究人工智能对齐方面的更多概念性/理论性问题”，人工智能对齐是一个人工智能安全研究子领域，旨在保证人工智能系统符合人类的利益和道德准则。他表示，在这方面的研究中，OpenAI“并非是做得最好的”。
克里斯蒂亚诺目前经营一家非营利组织Alignment Research Center，致力于研究理论上的人工智能对齐策略。最近几个月，随着各大公司竞相推出日益复杂的人工智能模型，这个领域的研究引起了极大关注。今年3月，OpenAI发布GPT-4，对驱动ChatGPT的人工智能模型进行了更新。ChatGPT在2022年11月才公开发布。与此同时，谷歌（Google）、微软（Microsoft）等科技巨头展开了人工智能军备竞赛，纷纷发布了支持商业应用的人工智能模型，希望在这个新兴市场里占据一席之地。
但目前公开发布的人工智能系统依旧存在大量错误和虚假信息，因此克里斯蒂亚诺和许多专家都警告不要操之过急。OpenAI的联合创始人埃隆·马斯克在2018年与该公司分道扬镳。今年3月，包括马斯克在内的1,100名技术专家发表公开信，呼吁比GPT-4更强大的高级人工智能模型的开发工作应该暂停六个月，并将研究重点重新转向提高现有系统的可靠性。（之后，马斯克宣布将推出TruthGPT，与ChatGPT竞争，他表示TruthGPT将致力于“寻求真相”，而不是获取利润。）
公开信中担心的问题之一是，现有人工智能模型可能为超级智能模型铺平道路，而这种模型可能威胁人类文明。虽然ChatGPT等现有生成式人工智能系统有能力完成特定任务，但它们距离达到人类的智力水平仍然有很大差距。这种未来可能出现的人工智能被称为通用人工智能（AGI）。
专家们对通用人工智能发展的时间线存在分歧，有专家认为通用人工智能的发展可能需要数十年时间，但也有专家表示通用人工智能永远不会诞生，然而，人工智能的飞速发展开始改变人们的立场。斯坦福大学（Stanford University）在今年4月发布的一份研究报告显示，约57%的人工智能和计算机科学研究人员称，人工智能正在快速朝着通用人工智能的方向发展，有36%的受访者表示将重要决策交给高级人工智能来完成，可能给人类带来“核爆炸级别的大灾难”。
有专家警告道，即便更强大的人工智能在开发时是中立的，一旦被心怀不轨的人利用，它可能立刻变得非常危险。谷歌的前研究人员、被称为“人工智能教父”的杰弗里·辛顿在本周对《纽约时报》（New York Times）表示：“我们很难找到阻止不法分子利用人工智能作恶的办法。我认为，在确定能否控制人工智能之前，不应该继续扩大其规模。”
克里斯蒂亚诺在接受采访时表示，如果人工智能发展到人类社会缺少了它就无法正常运转的程度，那时人类文明就将面临威胁，如果有强大的人工智能决定不需要再为创作者的利益服务，人类就将变得极其脆弱。
他说：“人类灭亡最有可能的方式并非人工智能突然杀死所有人，而是我们大量部署人工智能，让它变得无处不在。如果出于某种原因，这些人工智能系统试图杀死人类，它们就一定能够做到，但愿这种情况不会发生。”
不过，也有人反驳了对人工智能的这种解读。有专家认为，虽然被设计用于完成特定任务的人工智能必然会出现，但由于计算机在解读生活经历方面的局限性，开发可以与人类匹敌的通用人工智能，在技术上不具有可行性。
对于最近对人工智能的可怕警告，创业者和计算机科学家佩里·梅茨格在今年4月发推文称，虽然“高度超越人类的”人工智能可能会出现，但通用人工智能发展到能够反抗创作者的程度可能需要数年甚至几十年时间，而它的创作者将有时间调整人工智能朝着正确的方向发展。对于梅茨格的推文，纽约大学（New York University）的计算机科学家杨立昆（Yann LeCun）写道，通用人工智能在一夜之间具备危险的、不受控制的能力，这种宿命论的情景“根本不可能发生”。杨立昆自2013年开始主持Meta的人工智能研究。（财富中文网）
翻译：刘进龙
审校：汪皓
近几个月，新人工智能模型的快速兴起，例如OpenAI的ChatGPT等，让一些技术专家和研究人员开始思考，人工智能的能力是否会很快超过人类。OpenAI的前关键研究人员表示，这种未来极有可能发生，但他也警告说，达到人类水平或者超人类水平的人工智能控制甚至消灭人类的几率并非为零。
OpenAI的前安全团队语言模型对齐主管保罗·克里斯蒂亚诺在4月下旬接受了科技播客Bankless的采访。他表示，最担心的情况是“成熟的人工智能掌控人类”。他在采访中警告道，高级人工智能有相当大的机会，在不远的将来引发可能会导致世界毁灭的大灾难。
克里斯蒂亚诺说：“总体而言，在人工智能系统达到人类的水平之后，我们有超过50%的概率很快遭遇末日。我认为人工智能有10%至20%的概率，造成许多甚至大多数人类死亡，并接管人类。”
克里斯蒂亚诺于2021年从OpenAI离职。他在由人工智能研究人员埃利泽·尤德考斯基创建的社区博客网站LessWrong的《Ask Me Anything》栏目里解释了自己离职的原因。尤德考斯基多年来一直警告超人类人工智能可能毁灭人类。克里斯蒂亚诺当时写道，他希望“研究人工智能对齐方面的更多概念性/理论性问题”，人工智能对齐是一个人工智能安全研究子领域，旨在保证人工智能系统符合人类的利益和道德准则。他表示，在这方面的研究中，OpenAI“并非是做得最好的”。
克里斯蒂亚诺目前经营一家非营利组织Alignment Research Center，致力于研究理论上的人工智能对齐策略。最近几个月，随着各大公司竞相推出日益复杂的人工智能模型，这个领域的研究引起了极大关注。今年3月，OpenAI发布GPT-4，对驱动ChatGPT的人工智能模型进行了更新。ChatGPT在2022年11月才公开发布。与此同时，谷歌（Google）、微软（Microsoft）等科技巨头展开了人工智能军备竞赛，纷纷发布了支持商业应用的人工智能模型，希望在这个新兴市场里占据一席之地。
但目前公开发布的人工智能系统依旧存在大量错误和虚假信息，因此克里斯蒂亚诺和许多专家都警告不要操之过急。OpenAI的联合创始人埃隆·马斯克在2018年与该公司分道扬镳。今年3月，包括马斯克在内的1,100名技术专家发表公开信，呼吁比GPT-4更强大的高级人工智能模型的开发工作应该暂停六个月，并将研究重点重新转向提高现有系统的可靠性。（之后，马斯克宣布将推出TruthGPT，与ChatGPT竞争，他表示TruthGPT将致力于“寻求真相”，而不是获取利润。）
公开信中担心的问题之一是，现有人工智能模型可能为超级智能模型铺平道路，而这种模型可能威胁人类文明。虽然ChatGPT等现有生成式人工智能系统有能力完成特定任务，但它们距离达到人类的智力水平仍然有很大差距。这种未来可能出现的人工智能被称为通用人工智能（AGI）。
专家们对通用人工智能发展的时间线存在分歧，有专家认为通用人工智能的发展可能需要数十年时间，但也有专家表示通用人工智能永远不会诞生，然而，人工智能的飞速发展开始改变人们的立场。斯坦福大学（Stanford University）在今年4月发布的一份研究报告显示，约57%的人工智能和计算机科学研究人员称，人工智能正在快速朝着通用人工智能的方向发展，有36%的受访者表示将重要决策交给高级人工智能来完成，可能给人类带来“核爆炸级别的大灾难”。
有专家警告道，即便更强大的人工智能在开发时是中立的，一旦被心怀不轨的人利用，它可能立刻变得非常危险。谷歌的前研究人员、被称为“人工智能教父”的杰弗里·辛顿在本周对《纽约时报》（New York Times）表示：“我们很难找到阻止不法分子利用人工智能作恶的办法。我认为，在确定能否控制人工智能之前，不应该继续扩大其规模。”
克里斯蒂亚诺在接受采访时表示，如果人工智能发展到人类社会缺少了它就无法正常运转的程度，那时人类文明就将面临威胁，如果有强大的人工智能决定不需要再为创作者的利益服务，人类就将变得极其脆弱。
他说：“人类灭亡最有可能的方式并非人工智能突然杀死所有人，而是我们大量部署人工智能，让它变得无处不在。如果出于某种原因，这些人工智能系统试图杀死人类，它们就一定能够做到，但愿这种情况不会发生。”
不过，也有人反驳了对人工智能的这种解读。有专家认为，虽然被设计用于完成特定任务的人工智能必然会出现，但由于计算机在解读生活经历方面的局限性，开发可以与人类匹敌的通用人工智能，在技术上不具有可行性。
对于最近对人工智能的可怕警告，创业者和计算机科学家佩里·梅茨格在今年4月发推文称，虽然“高度超越人类的”人工智能可能会出现，但通用人工智能发展到能够反抗创作者的程度可能需要数年甚至几十年时间，而它的创作者将有时间调整人工智能朝着正确的方向发展。对于梅茨格的推文，纽约大学（New York University）的计算机科学家杨立昆（Yann LeCun）写道，通用人工智能在一夜之间具备危险的、不受控制的能力，这种宿命论的情景“根本不可能发生”。杨立昆自2013年开始主持Meta的人工智能研究。（财富中文网）
翻译：刘进龙
审校：汪皓
The rapid rise of new A.I. models in recent months, like OpenAI’s ChatGPT, has led some technologists and researchers to ponder whether artificial intelligence could soon surpass human capabilities. One key former researcher at OpenAI says that such a future is a distinct possibility, but also warns there is a non-zero chance that human- or superhuman-level A.I. could take control of humanity and even annihilate it.
A “full-blown A.I. takeover scenario” is top of mind for Paul Christiano, former head of language model alignment on OpenAI’s safety team, who warned in an interview in late April with the tech-focused Bankless podcast that there is a very decent chance advanced A.I. could spell potentially world-ending calamity in the near future.
“Overall, maybe you’re getting more up to a 50-50 chance of doom shortly after you have A.I. systems that are human-level,” Christiano said. “I think maybe there’s a 10 to 20% chance of A.I. takeover [with] many, most humans dead.”
Christiano left OpenAI in 2021, explaining his departure during an Ask Me Anything session on LessWrong, a community blog site created by Eliezer Yudkowsky, a fellow A.I. researcher who has warned for years that superhuman A.I. could destroy humanity. Christiano wrote at the time that he wanted to “work on more conceptual/theoretical issues in alignment,” a subfield of A.I. safety research that focuses on ensuring A.I. systems are aligned with human interests and ethical principles, adding that OpenAI “isn’t the best” for that type of research.
Christiano now runs the Alignment Research Center, a nonprofit group working on theoretical A.I. alignment strategies, a field that has gained considerable interest in recent months as companies race to roll out increasingly sophisticated A.I. models. In March, OpenAI released GPT-4, an update to the A.I. model that powers ChatGPT, which only launched to the public in November. Meanwhile, tech behemoths including Google and Microsoft have kicked off an A.I. arms race to stake a claim in the burgeoning market, launching their own versions of A.I. models with commercial applications.
But with publicly available A.I. systems still riddled with errors and misinformation, Christiano and a host of other experts have cautioned against moving too fast. Elon Musk, an OpenAI cofounder who cut ties with the company in 2018, was one of 1,100 technologists who signed an open letter in March calling for a six-month pause on development for advanced A.I. models more powerful than GPT-4, and a refocus on research on improving existing systems’ reliability. (Musk has since announced to be starting a competitor to ChatGPT called TruthGPT, which he says will focus on “truth-seeking” instead of profit.)
One of the letter’s concerns was that existing A.I. models could be paving the way for superintelligent models that pose a threat to civilization. While current generative A.I. systems like ChatGPT can capably handle specific tasks, they are still far from reaching human intelligence levels, a hypothetical future iteration of A.I. known as artificial general intelligence (AGI).
Experts have been divided on the timeline of AGI’s development, with some arguing it could take decades and others saying it may never be possible, but the rapid pace of A.I. advancement is starting to turn heads. Around 57% of A.I. and computer science researchers said A.I. research is quickly moving towards AGI in a Stanford University survey published in April, while 36% said entrusting advanced versions of A.I. with important decisions could lead to “nuclear-level catastrophe” for humanity.
Other experts have warned that even if more powerful versions of A.I. are developed to be neutral, they could quickly become dangerous if employed by ill-intentioned humans. “It is hard to see how you can prevent the bad actors from using it for bad things,” Geoffrey Hinton, a former Google researcher who is often called the godfather of A.I., told the New York Times this week. “I don’t think they should scale this up more until they have understood whether they can control it.”
Christiano said in his interview that civilization could be at risk if A.I. develops to the point that society can no longer function without it, leaving humanity vulnerable if a powerful A.I. decides it no longer needs to act in its creators’ interest.
“The most likely way we die involves—like, not A.I. comes out of the blue and kills everyone—but involves we have deployed a lot of A.I. everywhere,” he said. “If for some reason, God forbid, all these A.I. systems were trying to kill us, they would definitely kill us.”
Other voices have pushed back against these interpretations of A.I., however. Some experts have argued that while A.I. designed to accomplish specific tasks is inevitable, developing AGI that can match human intelligence might never become technically feasible due to computers’ limitations when it comes to interpreting life experiences.
Responding to recent dire warnings over A.I., entrepreneur and computer scientist Perry Metzger argued in a tweet in April that while “deeply superhuman” A.I. is a likelihood, it will likely be years or decades before AGI evolves to the point of being capable of revolting against its creators, who will likely have time to steer A.I. in the right direction. Responding to Metzger’s tweet, Yann LeCun, an NYU computer scientist who has directed A.I. research at Meta since 2013, wrote that the fatalistic scenario of AGI developing dangerous and uncontrollable abilities overnight is “utterly impossible.”
