为了保证人类不被AI“团灭”，这家公司煞费苦心
关于“一位因为担心人工智能消灭人类而知名的性情乖张的天才富豪”，《危险边缘》节目（Jeopardy!）提出的问题肯定是“特斯拉（Tesla）的首席执行官埃隆•马斯克到底是谁？”但这位高科技投资者却更加低调。他一直在竭尽全力解决人工智能可能带来的潜在的或者理论上的威胁。他的名字叫让•塔林。
他是谁？塔林与马斯克很像，两人年龄相仿，马斯克今年49岁，塔林48岁。塔林也是一位工程师。两人都在2000年代初史上最大的互联网公司成功故事中积累了财富。马斯克发家依靠PayPal。塔林的财富来自Skype。
塔林是一位来自爱沙尼亚的计算机程序员，是点对点文件共享技术的开拓者之一。他参与创建了Kazaa公司，后来利用类似的技术帮助创建了Skype。他在Skype担任联合创始人，也是该公司的第一批工程师之一。后来，他从Skype赚到了一大笔钱，并成为其他欧洲高科技初创公司领域的知名投资人。虽然他的财力无法与马斯克相媲美，但他同样身价不菲。（一家竞争对手商业媒体估计，他在2019年的净身价为9亿美元。）
与马斯克一样，塔林也是伦敦人工智能公司DeepMind的早期投资者之一，现在这家公司已经被谷歌（Google）的母公司Alphabet收购。投资这家公司的经历，让塔林对超人类人工智能消灭人类的可能性产生了担忧。
塔林在剑桥大学（Cambridge University）参与创建了人类生存风险研究中心（Centre for the Study of Existential Risk），并在美国马萨诸塞州的另外一个剑桥参与创建了生命未来研究所（Future of Life Institute）。他还是牛津大学（University of Oxford）智库人类未来研究所（Future of Humanity Institute）的主要资助人之一。该研究所致力于研究人类生存风险，其创立者是哲学家尼克•博斯特罗。博斯特罗对于超智能机器的潜在危险的观点，可能也影响了马斯克。马斯克也是该研究所的资助人之一。塔林还资助了伯克利的机器智能研究院（Machine Intelligence Research Institute），该机构致力于确保“比人类更聪明的人工智能会带来积极影响”。同样与马斯克一样，塔林也是旧金山人工智能研究公司OpenAI的早期投资者，该公司最初成立的目标是与谷歌和DeepMind等公司竞争。
现在，塔林向他之前投资的一家科技公司，提供了一笔非同寻常的捐款。这笔捐款之所以非同寻常，有三个原因：第一，这笔钱是赠与，而不是投资；第二，这笔钱资助的项目重点研究的方向并不是超级人工智能所带来的人类生存威胁，而是当前人工智能带来的一些更加现实的风险，例如算法偏见、缺乏透明度和对数据隐私的担忧等；最后，这笔捐款全部使用加密货币。
这位爱沙尼亚投资人在2018年1月向伦敦快速增长的Faculty AI公司捐赠了350枚以太币（与以太坊区块链关联的加密货币），当时价值约434,000美元，2020年3月又赠与了50枚比特币，价值约316,000美元。这些数据来自Faculty向英国公司注册处（Companies House）申报的财务文件，文件在本月对外公开。塔林之前就是Faculty公司的种子投资人，当时投资使用的是传统的法定货币。英国公司注册处的文件显示，塔林的投资公司Metaplanet Holdings在Faculty公司持有的股份不足9%。
Faculty经常被拿来与美国数据分析公司Palantir作对比。最近几个月，Faculty因为帮助英国政府预测呼吸机和其他医疗器械的可用性以应对新冠疫情，引起媒体广泛关注。该公司与英国政府的这份合同引起了争议，原因是合同判授并没有经过正常的招标流程，而且政府拒绝披露具体合同条款。Faculty最近一共获得了7份政府合同。Faculty公司之前名为ASI Data Science，曾经帮助“投票脱欧”（Vote Leave）团体成功推动英国脱离欧盟，并曾经与该团体负责人多米尼克•卡明斯合作。卡明斯一直是英国首相鲍里斯•约翰逊的亲信。（据英国媒体爆料称，约翰逊在11月13日突然解雇了卡明斯。）Faculty还从英国内政部（U.K. Home Office）得到了一份价值800,000美元的合同，负责设计一个人工智能系统，用于监测社交媒体平台上的恐怖主义言论。
塔林称，他之所以用加密货币向Faculty捐款，是因为他的大部分财富都是加密货币的形式，将加密货币兑换成现金要额外缴纳资本利得税，这会导致他捐赠的金额减少。
塔林表示，他之所以支持Faculty解决当前人工智能系统带来的风险，而不是未来超级人工智能所带来的人类生存风险，理由是许多因素致力于使今天的人工智能系统减少偏见并且更容易理解，这会减少有人创造出人工智能未来毁灭人类的风险。他告诉《财富》杂志：“透明度和可解释性在当前的商业环境中是有用的，比如医疗环境。然而，这也能够在我们部署一些比人类更聪明的技术时，更有效地保证人类的安全。”例如，有些技术可能更容易理解一个比人类更聪明的系统的行为背后的意图。
Faculty公司的创始人及首席执行官马克•华纳表示，塔林的捐款帮助公司请来了人工智能安全领域的多位专家。该公司的安全研究围绕四个领域展开。华纳称：“我们认为人工智能必须是公平的、私密的、稳健的和可解释的。”
华纳表示，公众一直以来被要求在人工智能系统的安全性和性能之间做出选择，这个选择本身是错误的。有些研究者和销售人工智能系统的公司声称，更透明的人工智能方法效果不及不透明的方法。华纳说道：“这是完全错误的。”他指出，车前灯、雨刮器、座椅安全带和安全气囊等创新让汽车变得更安全，同时性能也变得更加出色，人工智能同样如此。
Faculty公司曾经受到英国数据伦理与创新中心（Center for Data Ethics and Innovation）的委托，评估最新的人工智能公平性测量方法。该公司开发的工具，可以帮助用户了解复杂的人工智能系统如何做出决策，这些工具曾经在知名人工智能大会上展出。另外，该公司还在研究如何使机器学习系统更好地判断数据的因果关系，而不只是相互关系。华纳认为，这是出于重要的安全性考虑，尤其是在医疗和金融领域使用人工智能时。该公司还在研究如何通过数学方法，揭露和避免人工智能算法当中的偏见。
关于公司账目中持有加密货币的安全性，则是另一回事。华纳承认，接受塔林的捐赠，为公司的记账带来了一些麻烦。他告诉《财富》杂志：“我们的会计师只能去请教从事加密货币工作并且了解如何进行加密货币记账的人。”
最后，公司在账目中把这些加密货币列为了无形资产。这意味着，随着时间的推移，这些加密货币的价值将被摊销，以太币或比特币价值的任何大幅下跌，都将使Faculty承受减值损失。但如果任何一种加密货币暴涨，这不会在公司账面上有任何体现。这是目前会计行业对于如何处理加密货币资产的一致共识，但这种做法依旧存在争议，有专家认为加密货币应该与任何其他金融证券一样处理。
据Faculty的年度财报显示，该公司在2019年3月至2020年3月期间确实卖掉了价值约144,000美元的以太币。但由于加密货币一直在升值，今年到目前为止比特币升值了300%，以太币从年初至今升值了144%，因此该公司似乎很高兴将塔林捐赠的加密货币继续留在账面上，以备不时之需。毕竟，如果保证人工智能安全的工作失败，我们的机器人主宰突然降临，这笔钱或许能够用得到。（财富中文网）
翻译：刘进龙
审校：汪皓
关于“一位因为担心人工智能消灭人类而知名的性情乖张的天才富豪”，《危险边缘》节目（Jeopardy!）提出的问题肯定是“特斯拉（Tesla）的首席执行官埃隆•马斯克到底是谁？”但这位高科技投资者却更加低调。他一直在竭尽全力解决人工智能可能带来的潜在的或者理论上的威胁。他的名字叫让•塔林。
他是谁？塔林与马斯克很像，两人年龄相仿，马斯克今年49岁，塔林48岁。塔林也是一位工程师。两人都在2000年代初史上最大的互联网公司成功故事中积累了财富。马斯克发家依靠PayPal。塔林的财富来自Skype。
塔林是一位来自爱沙尼亚的计算机程序员，是点对点文件共享技术的开拓者之一。他参与创建了Kazaa公司，后来利用类似的技术帮助创建了Skype。他在Skype担任联合创始人，也是该公司的第一批工程师之一。后来，他从Skype赚到了一大笔钱，并成为其他欧洲高科技初创公司领域的知名投资人。虽然他的财力无法与马斯克相媲美，但他同样身价不菲。（一家竞争对手商业媒体估计，他在2019年的净身价为9亿美元。）
与马斯克一样，塔林也是伦敦人工智能公司DeepMind的早期投资者之一，现在这家公司已经被谷歌（Google）的母公司Alphabet收购。投资这家公司的经历，让塔林对超人类人工智能消灭人类的可能性产生了担忧。
塔林在剑桥大学（Cambridge University）参与创建了人类生存风险研究中心（Centre for the Study of Existential Risk），并在美国马萨诸塞州的另外一个剑桥参与创建了生命未来研究所（Future of Life Institute）。他还是牛津大学（University of Oxford）智库人类未来研究所（Future of Humanity Institute）的主要资助人之一。该研究所致力于研究人类生存风险，其创立者是哲学家尼克•博斯特罗。博斯特罗对于超智能机器的潜在危险的观点，可能也影响了马斯克。马斯克也是该研究所的资助人之一。塔林还资助了伯克利的机器智能研究院（Machine Intelligence Research Institute），该机构致力于确保“比人类更聪明的人工智能会带来积极影响”。同样与马斯克一样，塔林也是旧金山人工智能研究公司OpenAI的早期投资者，该公司最初成立的目标是与谷歌和DeepMind等公司竞争。
现在，塔林向他之前投资的一家科技公司，提供了一笔非同寻常的捐款。这笔捐款之所以非同寻常，有三个原因：第一，这笔钱是赠与，而不是投资；第二，这笔钱资助的项目重点研究的方向并不是超级人工智能所带来的人类生存威胁，而是当前人工智能带来的一些更加现实的风险，例如算法偏见、缺乏透明度和对数据隐私的担忧等；最后，这笔捐款全部使用加密货币。
这位爱沙尼亚投资人在2018年1月向伦敦快速增长的Faculty AI公司捐赠了350枚以太币（与以太坊区块链关联的加密货币），当时价值约434,000美元，2020年3月又赠与了50枚比特币，价值约316,000美元。这些数据来自Faculty向英国公司注册处（Companies House）申报的财务文件，文件在本月对外公开。塔林之前就是Faculty公司的种子投资人，当时投资使用的是传统的法定货币。英国公司注册处的文件显示，塔林的投资公司Metaplanet Holdings在Faculty公司持有的股份不足9%。
Faculty经常被拿来与美国数据分析公司Palantir作对比。最近几个月，Faculty因为帮助英国政府预测呼吸机和其他医疗器械的可用性以应对新冠疫情，引起媒体广泛关注。该公司与英国政府的这份合同引起了争议，原因是合同判授并没有经过正常的招标流程，而且政府拒绝披露具体合同条款。Faculty最近一共获得了7份政府合同。Faculty公司之前名为ASI Data Science，曾经帮助“投票脱欧”（Vote Leave）团体成功推动英国脱离欧盟，并曾经与该团体负责人多米尼克•卡明斯合作。卡明斯一直是英国首相鲍里斯•约翰逊的亲信。（据英国媒体爆料称，约翰逊在11月13日突然解雇了卡明斯。）Faculty还从英国内政部（U.K. Home Office）得到了一份价值800,000美元的合同，负责设计一个人工智能系统，用于监测社交媒体平台上的恐怖主义言论。
塔林称，他之所以用加密货币向Faculty捐款，是因为他的大部分财富都是加密货币的形式，将加密货币兑换成现金要额外缴纳资本利得税，这会导致他捐赠的金额减少。
塔林表示，他之所以支持Faculty解决当前人工智能系统带来的风险，而不是未来超级人工智能所带来的人类生存风险，理由是许多因素致力于使今天的人工智能系统减少偏见并且更容易理解，这会减少有人创造出人工智能未来毁灭人类的风险。他告诉《财富》杂志：“透明度和可解释性在当前的商业环境中是有用的，比如医疗环境。然而，这也能够在我们部署一些比人类更聪明的技术时，更有效地保证人类的安全。”例如，有些技术可能更容易理解一个比人类更聪明的系统的行为背后的意图。
Faculty公司的创始人及首席执行官马克•华纳表示，塔林的捐款帮助公司请来了人工智能安全领域的多位专家。该公司的安全研究围绕四个领域展开。华纳称：“我们认为人工智能必须是公平的、私密的、稳健的和可解释的。”
华纳表示，公众一直以来被要求在人工智能系统的安全性和性能之间做出选择，这个选择本身是错误的。有些研究者和销售人工智能系统的公司声称，更透明的人工智能方法效果不及不透明的方法。华纳说道：“这是完全错误的。”他指出，车前灯、雨刮器、座椅安全带和安全气囊等创新让汽车变得更安全，同时性能也变得更加出色，人工智能同样如此。
Faculty公司曾经受到英国数据伦理与创新中心（Center for Data Ethics and Innovation）的委托，评估最新的人工智能公平性测量方法。该公司开发的工具，可以帮助用户了解复杂的人工智能系统如何做出决策，这些工具曾经在知名人工智能大会上展出。另外，该公司还在研究如何使机器学习系统更好地判断数据的因果关系，而不只是相互关系。华纳认为，这是出于重要的安全性考虑，尤其是在医疗和金融领域使用人工智能时。该公司还在研究如何通过数学方法，揭露和避免人工智能算法当中的偏见。
关于公司账目中持有加密货币的安全性，则是另一回事。华纳承认，接受塔林的捐赠，为公司的记账带来了一些麻烦。他告诉《财富》杂志：“我们的会计师只能去请教从事加密货币工作并且了解如何进行加密货币记账的人。”
最后，公司在账目中把这些加密货币列为了无形资产。这意味着，随着时间的推移，这些加密货币的价值将被摊销，以太币或比特币价值的任何大幅下跌，都将使Faculty承受减值损失。但如果任何一种加密货币暴涨，这不会在公司账面上有任何体现。这是目前会计行业对于如何处理加密货币资产的一致共识，但这种做法依旧存在争议，有专家认为加密货币应该与任何其他金融证券一样处理。
据Faculty的年度财报显示，该公司在2019年3月至2020年3月期间确实卖掉了价值约144,000美元的以太币。但由于加密货币一直在升值，今年到目前为止比特币升值了300%，以太币从年初至今升值了144%，因此该公司似乎很高兴将塔林捐赠的加密货币继续留在账面上，以备不时之需。毕竟，如果保证人工智能安全的工作失败，我们的机器人主宰突然降临，这笔钱或许能够用得到。（财富中文网）
翻译：刘进龙
审校：汪皓
The Jeopardy! question for “eccentric genius plutocrat best known for his concerns about artificial intelligence destroying the human race” is, without question, "Who is Tesla CEO Elon Musk?" But the technology investor who has arguably done the most to address this potential—if theoretical—threat is much more obscure: His name is Jaan Tallinn.
Jaan who? Like Musk, Tallinn is an engineer of a certain age—Musk is 49, Tallinn is 48—who made his money on one of the early 2000s’ greatest dotcom success stories. For Musk, it was PayPal. For Tallinn, it was Skype.
An Estonian computer programmer who was one of the pioneers of peer-to-peer file-sharing technology, Tallinn cofounded Kazaa and later used similar technology to help build Skype, where he was a cofounder and one of the first engineering hires. He then took the money he made from Skype and became a prominent investor in other European tech startups. Although he’s not been as financially successful as Musk, Tallinn’s not done badly. (A rival business publication estimated his net worth at $900 million in 2019.)
Like Musk, it was Tallinn's experience as an early investor in London A.I. company DeepMind, now part of Google parent Alphabet, that first ignited his concerns about the potential that superhuman artificial intelligence may destroy the human race.
Tallinn cofounded the Centre for the Study of Existential Risk at Cambridge University as well as the Future of Life Institute in the other Cambridge—Massachusetts, that is. He is also a prominent donor to the Future of Humanity Institute, the University of Oxford think tank devoted to existential risk founded by philosopher Nick Bostrom, whose views on the potential dangers of superintelligent machines also influenced Musk, another of the institute’s funders. Tallinn has also given money to the Machine Intelligence Research Institute, a Berkeley organization dedicated to ensuring “smarter-than-human artificial intelligence has a positive impact.” And, again like Musk, he was an early backer of OpenAI, the San Francisco A.I. research company initially established as a kind of counterweight to Google and DeepMind.
Now Tallinn has made an unusual donation to one of the technology companies he has previously backed. It’s unusual for three reasons: First, the money is a gift, not an investment. Secondly, the money will fund a program that is not focused on the existential threat of superhuman intelligence, but on the more mundane risks of today’s A.I., such as algorithmic bias, lack of transparency, and concerns about data privacy. Finally, the donation was made entirely in cryptocurrency.
The Estonian investor gave Faculty AI, a fast-growing London-based company that helps create machine-learning systems for companies and governments, 350 units of Ether, the coin associated with the Ethereum blockchain, in January 2018, worth about $434,000 at the time, and 50 Bitcoins in March 2020, worth about $316,000, according to Faculty’s financial filings at the U.K. business registry Companies House, which are being made public this month. Tallinn had previously been a seed investor—using more conventional fiat currency—in Faculty. His investment company Metaplanet Holdings holds just under 9% of the company's total shares, according to Companies House filings.
In recent months, Faculty, which has often drawn comparisons in the press to U.S. data analysis company Palantir, has been in the news for its work helping the U.K. government forecast the availability of ventilators and other medical equipment needed to address the COVID-19 pandemic. The contract, one of seven government contracts the company has recently received, was controversial because Faculty was awarded it outside the normal bidding process, and the government has refused to reveal the exact terms. Under a previous name, ASI Data Science, the company had helped the "Vote Leave" campaign in its successful push for Britain to leave the European Union and worked with Vote Leave's director Dominic Cummings, who had been serving as a close aide to U.K. Prime Minister Boris Johnson. (Johnson abruptly dismissed Cummings on November 13, according to U.K. news accounts.) Faculty also won an $800,000 contract from the U.K. Home Office to build an A.I. system that could detect terrorist propaganda on social media platforms.
The reason for donating the money to Faculty in cryptocurrency, Tallinn says, is that he keeps most of his personal wealth in that form, and converting it into cash would have resulted in an unnecessary capital gains tax bill, reducing the amount he could give.
The rationale for backing Faculty’s efforts to address the risk of today’s A.I. systems—instead of the existential risks from some future superintelligence—is that many of the considerations for making today’s A.I. less prone to bias and easier to understand could also reduce the risk of someone creating an A.I. that one day destroys the human race, Tallinn says. “Transparency and explainability are useful in current commercial settings, like, medical settings,” he tells Fortune. “However, it also might make it much safer to deploy something that is smarter than us.” For instance, such techniques might make it much easier to understand the intentions behind the actions of a smarter-than-human system.
Tallinn’s donation has helped Faculty to hire several experts in A.I. safety, company founder and chief executive Marc Warner says. The company’s safety research is organized around four pillars. “We believe that A.I. has to be fair, private, robust, and explainable,” he says.
Warner says that the public has been presented with a false choice between the safety and performance of A.I. systems, with some researchers and companies selling A.I. systems claiming that more transparent A.I. methods don’t work as well as more opaque techniques. “It’s just not true,” Warner says. He notes that cars have become both safer—with innovations such as headlights, windscreen wipers, seat belts, and airbags—as well as offering superior performance, and that the same thing can happen with A.I.
The company was commissioned by the U.K.’s Center for Data Ethics and Innovation to assess the latest approaches to A.I. fairness. It has built tools that help users understand how complex A.I. systems arrive at decisions that have been presented at prestigious A.I. conferences. It has also researched ways to create machine-learning systems that are better at figuring out causal relationships in data, not just correlations. That’s an important safety consideration, especially when using A.I. in medical and financial settings, Warner says. And the company has researched mathematical techniques to reveal and guard against bias in A.I. algorithms.
As for the safety of holding cryptocurrency on its books, that’s another matter. Warner admits that accepting Tallinn’s donation created a bookkeeping headache for Faculty. “Our accountants had to go and find someone else who was working on crypto and how to do accounting for crypto,” he tells Fortune.
Ultimately, the company listed the cryptocurrency on its book as an intangible asset. That means its value will be amortized over time, and any significant fall in the value of Ether or Bitcoin will result in Faculty taking an impairment charge. But if either cryptocurrency soars in value, that won’t be reflected on Faculty’s books. While this is the current consensus among accountants about how to handle cryptocurrency assets, it remains controversial, with some experts arguing cryptocurrency should be treated like any other financial instrument.
Faculty did sell about $144,000 worth of Ether between March 2019 and March 2020, according to its annual accounts. But given how cryptocurrency has been appreciating—the value of Bitcoin is up 300% so far this year, and Ether is up 144% year to date—the company seems happy to let most of Tallinn's cryptocurrency donation remain on its books for a rainy day. After all, it might come in handy if A.I. safety efforts fail and our robot overlords arrive unexpectedly.
