立即打开
“审慎”是人工智能成功的关键吗?

“审慎”是人工智能成功的关键吗?

Jeremy Kahn 2020-09-26
根据一位专家的观点,所有的人工智能应用都应该以三个基本支柱为基础。

今年4月,当新冠疫情在世界许多地方达到顶峰时,我采访了Pactera Edge公司的首席人工智能官艾哈迈尔·伊纳姆。当时,在这家位于华盛顿州雷德蒙德市的科技咨询公司,伊纳姆正潜心研究新冠疫情是如何让基于历史数据训练的人工智能模型陷于动荡的。

上周,我再次采访了伊纳姆。他最近一直在思考为什么人工智能项目经常失败,尤其是在大型组织中。在伊纳姆看来,这个问题(以及围绕这种技术的许多其他问题)的答案,是一种叫做“审慎的人工智能”(Mindful A.I.)的东西。

“审慎就是有意识。”伊纳姆说,“审慎的人工智能是指有目的地意识到人工智能体验的意图,以及我们希望通过这种体验唤起的情感。”

好吧,我承认,当他说这句话的时候,我觉得,这听起来有点不切实际,就像伊纳姆应该一两个星期不吃东西似的。此外,“审慎的人工智能”有种噱头式口号的感觉。但伊纳姆越是解释他的意思,我就越觉得他言之有理。(需要澄清的是,“审慎的人工智能”并不是伊纳姆创造的。这个术语的创建主要应该归功于微软公司的首席创意总监奥维塔·桑普森和加州大学伯克利分校教授吴德恺。)

伊纳姆主张,对人工智能的使用应该遵循第一原理。他说,组织经常出错,是因为它们采用人工智能的原因都是错的:要么是因为最高管理层错误地认为这是一种高科技灵丹妙药,足以解决业务中存在的根本问题;要么是因为公司迫切希望削减成本;要么是因为它们听说竞争对手都在使用人工智能,害怕被甩在后面。伊纳姆说,这些因素本身都不是采用这项技术的好理由。

相反,根据伊纳姆的观点,所有的人工智能应用都应该以三个基本支柱为基础:

首先,它应该“以人为中心”。这意味着不仅要认真思考人工智能系统要解决的人类挑战是什么,还要非常认真地思考这项技术会对使用它的人(比如公司员工),以及那些受到软件产出影响的人(比如客户)带来什么影响。

第二,人工智能必须值得信赖。这个支柱包含可解释性等概念,但它还关注企业中的所有利益相关者是否会相信该系统能够生成好的产出。

第三,人工智能必须符合伦理。这意味着要仔细审查用来训练人工智能系统的数据来自何处,这些数据存在哪些偏差。它还意味着要认真考虑如何使用这项技术:例如,如果使用一种面部识别算法来强化一种有偏见的警务策略,那么即使它再完美,可能也是不道德的。“这意味着要审慎地意识到人类自身的历史,以及各种有意或无意的偏见。”伊纳姆说。

对人工智能的使用采取审慎的态度,往往会使企业不再采用许多技术供应商提供的现成解决方案和预先训练好的人工智能模型。对于预先训练好的人工智能模型,我们很难足够深入地了解这套系统的关键要素——它究竟使用了什么数据、数据来自哪里、数据可能会带来什么偏见或伦理问题。同样重要的是,企业很难确切地发现这种人工智能模式可能会失败的地方和方式。

我最喜欢的例子是IBM的“面孔多样性”数据集。它的出发点是好的:太多用于建立面部识别系统的公共面部数据集没有足够的黑人或拉丁裔图像。而在这些系统中发现的注释也往往会强化种族和性别刻板印象。为了解决这个问题,IBM在2019年1月发布了一个包含100万张人脸的开源数据集。如此一来,这个数据集应该更加多样化,其问题标签也应该少得多吧。

听起来都不错,对吧?哪家公司不愿意使用这种更加多样化的数据集来训练自己的面部识别系统呢?好吧,但有一个问题:IBM是在未经允许的情况下,从人们的Flickr账户中抓取图片来创建这个数据集的。因此,盲目采用这个新数据集的用户确实避免了一个人工智能伦理问题,却在无意中陷入了另一个问题。

遵循伊纳姆所说的三大支柱,还会产生另一个结果:人工智能项目不能操之过急。运行一个以人为中心的设计流程,并想清楚所有与可信赖性和伦理相关的潜在问题,是需要时间的。但好消息是,伊纳姆说,由此生成的系统远比快速投入生产的系统更有可能真正地实现其目标。

伊纳姆指出,为了满足这三大支柱,必须让持有不同观点的人参与进来——参与者不仅要有不同的种族、性别和个人背景,还要让组织内的不同职能部门参与其中。“这必须是一个跨学科的群体。”他说。

很多时候,构建人工智能软件的团队都严重缺乏这种多样性。相反,管理层只是简单地要求工程部门构建一款能够满足某种商业目的的人工智能工具,而在人工智能系统的概念化和测试阶段,公司的其他部门几乎没有任何投入。没有多样化的团队,就很难搞清楚该问什么问题——无论是关于算法偏见,还是关于法律和监管问题——更遑论你是否获得了好的答案。

就在伊纳姆向我解释的时候,我突然想起了那句古老的格言:“战争太重要了,不能完全委之于将军。”嗯,事实证明,人工智能太重要了,不能完全委之于工程师。(财富中文网)

译者:任文科

今年4月,当新冠疫情在世界许多地方达到顶峰时,我采访了Pactera Edge公司的首席人工智能官艾哈迈尔·伊纳姆。当时,在这家位于华盛顿州雷德蒙德市的科技咨询公司,伊纳姆正潜心研究新冠疫情是如何让基于历史数据训练的人工智能模型陷于动荡的。

上周,我再次采访了伊纳姆。他最近一直在思考为什么人工智能项目经常失败,尤其是在大型组织中。在伊纳姆看来,这个问题(以及围绕这种技术的许多其他问题)的答案,是一种叫做“审慎的人工智能”(Mindful A.I.)的东西。

“审慎就是有意识。”伊纳姆说,“审慎的人工智能是指有目的地意识到人工智能体验的意图,以及我们希望通过这种体验唤起的情感。”

好吧,我承认,当他说这句话的时候,我觉得,这听起来有点不切实际,就像伊纳姆应该一两个星期不吃东西似的。此外,“审慎的人工智能”有种噱头式口号的感觉。但伊纳姆越是解释他的意思,我就越觉得他言之有理。(需要澄清的是,“审慎的人工智能”并不是伊纳姆创造的。这个术语的创建主要应该归功于微软公司的首席创意总监奥维塔·桑普森和加州大学伯克利分校教授吴德恺。)

伊纳姆主张,对人工智能的使用应该遵循第一原理。他说,组织经常出错,是因为它们采用人工智能的原因都是错的:要么是因为最高管理层错误地认为这是一种高科技灵丹妙药,足以解决业务中存在的根本问题;要么是因为公司迫切希望削减成本;要么是因为它们听说竞争对手都在使用人工智能,害怕被甩在后面。伊纳姆说,这些因素本身都不是采用这项技术的好理由。

相反,根据伊纳姆的观点,所有的人工智能应用都应该以三个基本支柱为基础:

首先,它应该“以人为中心”。这意味着不仅要认真思考人工智能系统要解决的人类挑战是什么,还要非常认真地思考这项技术会对使用它的人(比如公司员工),以及那些受到软件产出影响的人(比如客户)带来什么影响。

第二,人工智能必须值得信赖。这个支柱包含可解释性等概念,但它还关注企业中的所有利益相关者是否会相信该系统能够生成好的产出。

第三,人工智能必须符合伦理。这意味着要仔细审查用来训练人工智能系统的数据来自何处,这些数据存在哪些偏差。它还意味着要认真考虑如何使用这项技术:例如,如果使用一种面部识别算法来强化一种有偏见的警务策略,那么即使它再完美,可能也是不道德的。“这意味着要审慎地意识到人类自身的历史,以及各种有意或无意的偏见。”伊纳姆说。

对人工智能的使用采取审慎的态度,往往会使企业不再采用许多技术供应商提供的现成解决方案和预先训练好的人工智能模型。对于预先训练好的人工智能模型,我们很难足够深入地了解这套系统的关键要素——它究竟使用了什么数据、数据来自哪里、数据可能会带来什么偏见或伦理问题。同样重要的是,企业很难确切地发现这种人工智能模式可能会失败的地方和方式。

我最喜欢的例子是IBM的“面孔多样性”数据集。它的出发点是好的:太多用于建立面部识别系统的公共面部数据集没有足够的黑人或拉丁裔图像。而在这些系统中发现的注释也往往会强化种族和性别刻板印象。为了解决这个问题,IBM在2019年1月发布了一个包含100万张人脸的开源数据集。如此一来,这个数据集应该更加多样化,其问题标签也应该少得多吧。

听起来都不错,对吧?哪家公司不愿意使用这种更加多样化的数据集来训练自己的面部识别系统呢?好吧,但有一个问题:IBM是在未经允许的情况下,从人们的Flickr账户中抓取图片来创建这个数据集的。因此,盲目采用这个新数据集的用户确实避免了一个人工智能伦理问题,却在无意中陷入了另一个问题。

遵循伊纳姆所说的三大支柱,还会产生另一个结果:人工智能项目不能操之过急。运行一个以人为中心的设计流程,并想清楚所有与可信赖性和伦理相关的潜在问题,是需要时间的。但好消息是,伊纳姆说,由此生成的系统远比快速投入生产的系统更有可能真正地实现其目标。

伊纳姆指出,为了满足这三大支柱,必须让持有不同观点的人参与进来——参与者不仅要有不同的种族、性别和个人背景,还要让组织内的不同职能部门参与其中。“这必须是一个跨学科的群体。”他说。

很多时候,构建人工智能软件的团队都严重缺乏这种多样性。相反,管理层只是简单地要求工程部门构建一款能够满足某种商业目的的人工智能工具,而在人工智能系统的概念化和测试阶段,公司的其他部门几乎没有任何投入。没有多样化的团队,就很难搞清楚该问什么问题——无论是关于算法偏见,还是关于法律和监管问题——更遑论你是否获得了好的答案。

就在伊纳姆向我解释的时候,我突然想起了那句古老的格言:“战争太重要了,不能完全委之于将军。”嗯,事实证明,人工智能太重要了,不能完全委之于工程师。(财富中文网)

译者:任文科

Back in April, when the pandemic was at its peak in many parts of the world, I spoke to Ahmer Inam, the chief A.I. officer at Pactera Edge, a technology consulting firm in Redmond, Washington. At the time, Inam was focused on how the pandemic was wreaking havoc with A.I. models trained from historical data.

Last week, I caught up with Inam again. Lately, he’s been thinking a lot about why A.I. projects so often fail, especially in large organizations. To Inam, the answer to this problem—and to many others surrounding the technology—is something called “Mindful A.I.”

“Being mindful is about being intentional,” Inam says. “Mindful A.I. is about being aware and purposeful about the intention of, and emotions we hope to evoke through, an artificially intelligent experience.”

OK, I admit that when he said that, I thought, it sounds kinda out there, like maybe Inam should lay off the edibles for a week or two—and Mindful A.I. has the ring of a gimmicky catchphrase. But the more Inam explained what he meant, the more I began to think he was on to something. (And just to be clear, Inam did not coin the term Mindful A.I.. Credit should primarily go to Orvetta Sampson, the principal creative director at Microsoft, and De Kai, a professor at the University of California at Berkeley.)

Inam is arguing for a first-principles approach to A.I. He says that too often organizations go wrong because they adopt A.I. for all the wrong reasons: because the C-suite wrongly believes it’s some sort of technological silver bullet that will fix a fundamental problem in the business, or because the company is desperate to cut costs, or because they’ve heard competitors are using A.I. and they are afraid of being left behind. None of these are, in and of themselves, good reasons to adopt the technology, Inam says.

Instead, according to Inam, three fundamental pillars should undergird any use of A.I.

First, it should “human-centric.” That means thinking hard about what human challenge the technology is meant to be solving and also thinking very hard about what the impact of the technology will be, both on those who will use it—for instance, the company’s employees—and those who will be affected by the output of any software, such as customers.

Second, A.I. must be trustworthy. This pillar encompasses ideas like explainability and interpretability—but it goes further, looking at whether all stakeholders in a business are going to believe that the system is arriving at good outputs.

Third, A.I. must be ethical. This means scrutinizing where the data used to train an A.I. system comes from and what biases exist in that data. But it also means thinking hard about how that technology will be used: even a perfect facial recognition algorithm, for instance, might not be ethical if it is going to be used to reinforce a biased policing strategy. “It means being mindful and aware of our own human histories and biases that are intended or unintended,” Inam says.

A mindful approach to A.I. tends to lead businesses away from adopting off-the-shelf solutions and pre-trained A.I. models that many technology providers offer. With pre-trained A.I. models, it’s simply too difficult to get enough insight into critical elements of such systems—exactly what data was used, where it came from, and what biases or ethical issues it might present. Just as important, it can be difficult for a business to find out exactly where and how that A.I. model might fail.

My favorite example of this is IBM's "Diversity in Faces" dataset. The intention was a good one: Too many public datasets of faces being used to build facial-recognition systems didn't have enough images of Black or Latino individuals. And too often the annotations found in these systems can reinforce racial and gender stereotypes. In an effort to solve this problem, in January 2019, IBM released an open-source dataset of 1 million human faces that were supposed to be far more diverse and with much less problematic labels.

All sounds good, right? What company wouldn't want to use this more diverse dataset to train its facial-recognition system? Well, there was just one problem: IBM had created the dataset by scraping images from people's Flickr accounts without their permission. So users who blindly adopted the new dataset were unwittingly trading one A.I. ethics problem for another.

Another consequence of Inam's three pillars is that A.I. projects can't be rushed. Running a human-centric design process and thinking through all the potential issues around trustworthiness and ethics takes time. But the good news, Inam says, is that the resulting system is far more likely to actually meet its goals than one that is sped into production.

To meet all three pillars, Inam says it is essential to involve people with diverse perspectives, both in terms of race, gender and personal backgrounds, but also in terms of roles within the organization. “It has to be interdisciplinary group of people,” he says.

Too often, the teams building A.I. software sorely lack such diversity. Instead, engineering departments are simply told by management to build an A.I. tool that fulfills some business purpose, with little input during the conceptualization and testing phases from other parts of the company. Without diverse teams, it can be hard to figure out what questions to ask—whether on algorithmic bias or legal and regulatory issues—let alone whether you've got good answers.

As Inam was speaking, I was reminded of that old adage, “War is too important to be the left to the generals.” Well, it turns out, A.I. is too important to be left to the engineers.

热读文章
热门视频
扫描二维码下载财富APP