失语近20年后，她在AI帮助下再次说话
一位瘫痪的女士凭借一小块植入大脑的电极片和由美国加利福尼亚州的科学家开发的数字虚拟形象，能够再次开口说话。
这是人类第一次将从大脑信号中捕捉的语言和表情用虚拟形象表达出来，而且虚拟形象可以用患者自己的声音说话。
这是美国加州大学旧金山分校（University of California San Francisco）的爱德华·F·张博士实验室（Dr. Edward F. Chang Lab）的第四年博士生凯罗·利特尔约翰的观点。他还是8月23日在《自然》杂志（Nature）发表的详细介绍该项目的论文的主要作者。
这位47岁的女性患者名为安，18年前的一次脑干卒中令她失去了说话能力。安同意通过外科手术在她的大脑皮层植入一块像纸一样薄、信用卡大小的电极片，共有253个电极。这些电极能够获取这个区域的信号，并传达到舌头、下颚、喉咙和面部，这些部位在正常情况下会形成语言和面部表情。一条线缆插入头颅上的一个端口，把这些电极连接到几台安装了人工智能驱动系统的电脑。
安与利特尔约翰的团队共同用几周时间，训练人工智能系统，使其可以识别她的电脑发出的独特信号，并转换成语音。这需要她在大脑中重复会话词汇表里的1,024个单词组成的短语。
利特尔约翰说：“安非常投入，也很努力。她愿意根据需要进行长时间录制，而且她很清楚她的努力将创造一种语言神经假体，会让有这方面残疾的许多人受益。”
在完成系统训练后，安的思想被转换成口头信息，由一个虚拟形象表达出来，这个虚拟形象使用根据几年前拍摄的婚礼视频重构的安自己的声音。
利特尔约翰见证了安首次使用这个系统。一台计算机化辅助与替代通信（AAC）设备让她能够通过颈部肌肉移动，缓慢费力地进行有限的沟通。除此之外，这是她近20年来首次可以出声说话。
利特尔约翰对《财富》杂志表示：“对我和她而言，这是一个非常暖心的时刻，令我们备受鼓舞。”
他补充道，对安来说，“能够听到自己的声音是一次激动人心的经历。”
因为系统经过训练可以识别39个音素，即单词的子单位，而不是完整的单词，因此它将解读安的思想的速度提高了三倍，把大脑信号转换成文本的速度约为每分钟80个单词。
协助开发解码器的生物工程学研究生肖恩·梅茨格在有关该项目的新闻稿中称：“准确性、速度和词汇是关键。这些因素保证用户几乎能够像正常人一样快速沟通，可以进行更自然、更正常的对话。”
加州大学旧金山分校的神经外科系任爱德华·F·张希望该系统能够很快供类似患者连续使用。由于该设备目前仍然在临床试验阶段，因此安无法在研究以外的场合使用。张领导的团队之前曾经帮助一位脑干卒中的男性，通过将大脑信号转换成文本进行沟通。
他在新闻稿里说：“我们的目标是恢复充分的、具象化的沟通，让用户可以用最自然的方式与他人对话。这些技术的进步令我们向真正解决患者的需求迈出了一大步。”
利特尔约翰表示，不同于现有版本，这款产品要在安和其他类似患者的日常生活中应用，必须采用无线设计，并且体积更小巧，以便于携带。他希望在最多十年内就能够开发出更完善的版本，并且可以获得美国食品与药品管理局（U.S. Food and Drug Administration）的批准。
另外一项脑机接口研究
安试验的系统是一种脑机接口。这类技术能够用于瘫痪患者表达自己的思想，例如已故的史蒂夫·霍金，只是这个系统的语音不像机器人一样呆板，而且只要根据用户的思考就可以转换成语音。
美国加州大学伯克利分校（University of California Berkeley）的研究人员在今年8月的早些时候公布了一项相关研究成果，并在《PLoS生物学》杂志（PLoS Biology）上发表了论文。
外科医生在位于纽约的奥尔巴尼医疗中心（Albany Medical Center）在29位癫痫病患者的大脑内植入电极，当时手术室里播放的是平克·弗洛伊德乐队（Pink Floyd）的歌曲《迷墙中的另一块砖（第一部分）》（Another Brick in the Wall, Part 1）。通过人工智能，研究人员能够根据每一位患者大脑中的电子活动重现这首歌曲。
心理学和神经学教授罗伯特·奈特博士最近告诉《财富》杂志，这项成果将被用于开发更完善的脑机接口，用于帮助瘫痪患者、肌萎缩侧索硬化症（ALS）患者和失语症等语言障碍患者。失语症是指患者无法做出讲话的必要动作。
随着技术日益完善，最终它或许可以通过头皮电极来表达用户的想法。加州大学伯克利分校的人类认知神经学博士后研究员、论文的主要作者卢多维克·贝利耶对《财富》杂志表示，这类电极目前能够用于表达一个人从一串字母里做出的选择，但识别每个字母的时间至少需要20秒，因此将这种技术用于沟通非常不便。
如果该技术经过简化，最终就可以协助非残疾人士，比如脑力工作者，与计算机同步传达他们大脑中的文本。
贝利耶指出：“关键是减少阻滞，使人们能够用心中所想完成行动。”例如：“你可以在大脑中想：‘叫辆Uber网约车’，然后在你还没有完成手头的事情的时候，就会有网约车来接你。”
有人对这项研究的未来应用感到不安，对此，奈特和贝利耶强调，目前这种操作必须通过外科手术才能够完成。他们表示，把大脑信号转换成语音的人工智能“只是类似于为大脑提供了一个键盘”。
关于可能出现的隐私问题，贝利耶称，他更担心大型科技公司目前通过监控和跟踪在线活动，对我们的了解程度。
此外，他认为隐私问题可以解决。在完成患者的无线脑电图扫描后，信号将被加密。
贝利耶说：“许多事情尚处在开端，比如神经科学和计算机工程的融合，而且在许多方面，这些技术前途无限。”
奈特补充道：“我认为我即将揭开整个故事的谜团。”（财富中文网）
译者：刘进龙
审校：汪皓
一位瘫痪的女士凭借一小块植入大脑的电极片和由美国加利福尼亚州的科学家开发的数字虚拟形象，能够再次开口说话。
这是人类第一次将从大脑信号中捕捉的语言和表情用虚拟形象表达出来，而且虚拟形象可以用患者自己的声音说话。
这是美国加州大学旧金山分校（University of California San Francisco）的爱德华·F·张博士实验室（Dr. Edward F. Chang Lab）的第四年博士生凯罗·利特尔约翰的观点。他还是8月23日在《自然》杂志（Nature）发表的详细介绍该项目的论文的主要作者。
这位47岁的女性患者名为安，18年前的一次脑干卒中令她失去了说话能力。安同意通过外科手术在她的大脑皮层植入一块像纸一样薄、信用卡大小的电极片，共有253个电极。这些电极能够获取这个区域的信号，并传达到舌头、下颚、喉咙和面部，这些部位在正常情况下会形成语言和面部表情。一条线缆插入头颅上的一个端口，把这些电极连接到几台安装了人工智能驱动系统的电脑。
安与利特尔约翰的团队共同用几周时间，训练人工智能系统，使其可以识别她的电脑发出的独特信号，并转换成语音。这需要她在大脑中重复会话词汇表里的1,024个单词组成的短语。
利特尔约翰说：“安非常投入，也很努力。她愿意根据需要进行长时间录制，而且她很清楚她的努力将创造一种语言神经假体，会让有这方面残疾的许多人受益。”
在完成系统训练后，安的思想被转换成口头信息，由一个虚拟形象表达出来，这个虚拟形象使用根据几年前拍摄的婚礼视频重构的安自己的声音。
利特尔约翰见证了安首次使用这个系统。一台计算机化辅助与替代通信（AAC）设备让她能够通过颈部肌肉移动，缓慢费力地进行有限的沟通。除此之外，这是她近20年来首次可以出声说话。
利特尔约翰对《财富》杂志表示：“对我和她而言，这是一个非常暖心的时刻，令我们备受鼓舞。”
他补充道，对安来说，“能够听到自己的声音是一次激动人心的经历。”
因为系统经过训练可以识别39个音素，即单词的子单位，而不是完整的单词，因此它将解读安的思想的速度提高了三倍，把大脑信号转换成文本的速度约为每分钟80个单词。
协助开发解码器的生物工程学研究生肖恩·梅茨格在有关该项目的新闻稿中称：“准确性、速度和词汇是关键。这些因素保证用户几乎能够像正常人一样快速沟通，可以进行更自然、更正常的对话。”
加州大学旧金山分校的神经外科系任爱德华·F·张希望该系统能够很快供类似患者连续使用。由于该设备目前仍然在临床试验阶段，因此安无法在研究以外的场合使用。张领导的团队之前曾经帮助一位脑干卒中的男性，通过将大脑信号转换成文本进行沟通。
他在新闻稿里说：“我们的目标是恢复充分的、具象化的沟通，让用户可以用最自然的方式与他人对话。这些技术的进步令我们向真正解决患者的需求迈出了一大步。”
利特尔约翰表示，不同于现有版本，这款产品要在安和其他类似患者的日常生活中应用，必须采用无线设计，并且体积更小巧，以便于携带。他希望在最多十年内就能够开发出更完善的版本，并且可以获得美国食品与药品管理局（U.S. Food and Drug Administration）的批准。
另外一项脑机接口研究
安试验的系统是一种脑机接口。这类技术能够用于瘫痪患者表达自己的思想，例如已故的史蒂夫·霍金，只是这个系统的语音不像机器人一样呆板，而且只要根据用户的思考就可以转换成语音。
美国加州大学伯克利分校（University of California Berkeley）的研究人员在今年8月的早些时候公布了一项相关研究成果，并在《PLoS生物学》杂志（PLoS Biology）上发表了论文。
外科医生在位于纽约的奥尔巴尼医疗中心（Albany Medical Center）在29位癫痫病患者的大脑内植入电极，当时手术室里播放的是平克·弗洛伊德乐队（Pink Floyd）的歌曲《迷墙中的另一块砖（第一部分）》（Another Brick in the Wall, Part 1）。通过人工智能，研究人员能够根据每一位患者大脑中的电子活动重现这首歌曲。
心理学和神经学教授罗伯特·奈特博士最近告诉《财富》杂志，这项成果将被用于开发更完善的脑机接口，用于帮助瘫痪患者、肌萎缩侧索硬化症（ALS）患者和失语症等语言障碍患者。失语症是指患者无法做出讲话的必要动作。
随着技术日益完善，最终它或许可以通过头皮电极来表达用户的想法。加州大学伯克利分校的人类认知神经学博士后研究员、论文的主要作者卢多维克·贝利耶对《财富》杂志表示，这类电极目前能够用于表达一个人从一串字母里做出的选择，但识别每个字母的时间至少需要20秒，因此将这种技术用于沟通非常不便。
如果该技术经过简化，最终就可以协助非残疾人士，比如脑力工作者，与计算机同步传达他们大脑中的文本。
贝利耶指出：“关键是减少阻滞，使人们能够用心中所想完成行动。”例如：“你可以在大脑中想：‘叫辆Uber网约车’，然后在你还没有完成手头的事情的时候，就会有网约车来接你。”
有人对这项研究的未来应用感到不安，对此，奈特和贝利耶强调，目前这种操作必须通过外科手术才能够完成。他们表示，把大脑信号转换成语音的人工智能“只是类似于为大脑提供了一个键盘”。
关于可能出现的隐私问题，贝利耶称，他更担心大型科技公司目前通过监控和跟踪在线活动，对我们的了解程度。
此外，他认为隐私问题可以解决。在完成患者的无线脑电图扫描后，信号将被加密。
贝利耶说：“许多事情尚处在开端，比如神经科学和计算机工程的融合，而且在许多方面，这些技术前途无限。”
奈特补充道：“我认为我即将揭开整个故事的谜团。”（财富中文网）
译者：刘进龙
审校：汪皓
A paralyzed woman can speak again, thanks to a small panel of electrodes implanted onto her brain and a digital avatar developed by scientists in California.
It marks the first time speech and facial expressions have been captured from brain signals and communicated by an avatar—one that speaks with the patient’s own voice.
That’s according to Kaylo Littlejohn, a fourth year doctoral student with the Dr. Edward F. Chang Lab at the University of California San Francisco, and a lead author on a paper detailing the project, published on August 23 in the journal Nature.
The patient—a 47-year-old woman named Ann who had experienced a brainstem stroke 18 years ago, terminating her ability to speak—agreed to have a paper-thin, credit card-sized set of 253 electrodes surgically implanted onto the cortex of her brain. The electrodes intercepted signals from this area to her her tongue, jaw, larynx, and face that would have created speech and facial expressions, were it not for her stroke. A cable plugged into a port in her head connected the electrodes to a bank of computers, which were equipped with an artificial intelligence-powered system.
Ann worked with Littlejohn’s team for weeks to train the system to recognize her brain’s unique signals for speech. It entailed her attempting to repeat—with her thoughts—a variety of phrases from a 1,024-word conversational vocabulary.
“She’s extremely dedicated and hard-working,” Littlejohn said of Ann. “She’s willing to record as long as needed, and she really understands that her efforts will go toward creating a speech neuroprosthesis that many people who have this kind of disability will be able to use.”
Once the system was trained, Ann’s thoughts were translated into verbal messages conveyed by an avatar that used her own voice—reconstructed from a wedding video shot years ago.
Littlejohn was there the first time Ann used the system. Aside from a computerized AAC (augmentative and alternative communication) device that allowed her to use neck muscle movements to slowly and painstakingly communicate in a limited manner, it was the first time she had spoken in nearly two decades.
“It was just very heart-warming and encouraging, for both her and me,” Littlejohn told Fortune.
For Ann, “it was an emotional experience to hear her own voice,” he added.
Because the system was trained to recognize 39 phonemes—sub-units of words—instead of entire words, it was able to decipher her thoughts three times faster, decoding signals to text at a rate of nearly 80 words per minute.
“The accuracy, speed, and vocabulary are crucial,” Sean Metzger, a bioengineering graduate student who helped develop the decoder, said in a news release about the story. “It’s what gives a user the potential, in time, to communicate almost as fast as we do, and to have much more naturalistic and normal conversations.”
Chang, chair of neurosurgery at the university, hopes to soon develop the system for use by similar patients, on a continual basis. Because the device is still in a clinical trial, Ann isn’t allowed to use it outside of the study. A team he led previously enabled a man who had experienced a brainstem stroke to communicate via brain signals decoded into text.
“Our goal is to restore a full, embodied way of communicating, which is really the most natural way for us to talk with others,” Chang said in the release. “These advancements bring us much closer to making this a real solution for patients.”
In order to be useful in daily life for Ann and patients like her, such a product would need to be wireless, unlike the current version, and smaller so that it’s portable, Littlejohn said. He hopes an improved version could be developed and approved by the U.S. Food and Drug administration in a decade at most.
“Another Brick in the Wall” of brain-machine interfaces
Ann’s system is a type of brain-machine interface, also known as a brain-computer interface. Such technology can be used by paralyzed patients like the late Stephen Hawking to express themselves—only not so robotically, and merely by thinking, in this case.
Related work was debuted in earlier August by researchers at the University of California Berkeley, in an article published in the journal PLoS Biology.
Surgeons placed electrodes onto the brains of 29 epileptic patients at Albany Medical Center in New York, while the Pink Floyd song “Another Brick in the Wall, Part 1″ was played in the operating room. Using artificial intelligence, researchers were able to reconstruct the song from the electrical activity of each patient’s brain.
The work will be used to develop even better brain-machine interfaces to help paralyzed patients, as well as those with ALS and speech disorders like non-verbal apraxia, a condition in which patients can’t make movements necessary for speech, Dr. Robert Knight, a professor of psychology and neuroscience, recently told Fortune.
As the technology improves, it may eventually be possible to transmit thoughts through scalp electrodes. Such electrodes can currently be used to signal one’s choice of a single letter from a string of letters—but it takes at least 20 seconds to identify each letter, making communication far too cumbersome, lead author Ludovic Bellier, a postdoctoral researcher in human cognitive neuroscience at Berkeley, told Fortune.
If the technology is streamlined, it may eventually aid those without disabling conditions—like thought workers—in syncing with a computer to convey text from their minds.
“It’s really about reducing friction and allowing people to just think their action,” Bellier said. One example: “You could think, ‘Order my Uber,’ and you don’t have to finish what you’re doing—your Uber arrives.”
For those alarmed by potential future applications of the research, Knight and Bellier emphasize that such feats aren’t currently possible without surgery. And the A.I. developed to translate signals into sounds “merely provides the keyboard for the mind,” they assert.
As for the potential of privacy concerns to develop, Bellier said he’d be more worried about what Big Tech knows about us now, thanks to the monitoring and tracking of online activity.
Besides, privacy issues can be dealt with, he said. When a wireless EEG is completed on a patient, the signal is encrypted.
“We’re on the threshold of lots of things—the fusion of neuroscience and computer engineering, and really, in many ways, the sky’s the limit,” he said.
Added Knight: “I think we’re just on the edge of tickling this whole story.”
