游乐游手机版
首页/AI热点日报/热点详情

模仿患者声音的文本转语音程序使用方法

类型:热点整理2026-07-19
《自然》杂志近期连续发表了两篇重磅研究论文,为因脑损伤或疾病而失去语言能力的人群带来了切实希望。两个跨学科团队展示了最新的人工智能辅助脑机接口(BCI)系统,在速度和准确率上均刷新了历史纪录——能够将大脑信号翻译成句子,速度接近正常对话水平,词汇量超过1000个单词。这意味着,无法说话的患者终于有机

《自然》杂志近期连续发表了两篇重磅研究论文,为因脑损伤或疾病而失去语言能力的人群带来了切实希望。两个跨学科团队展示了最新的人工智能辅助脑机接口(BCI)系统,在速度和准确率上均刷新了历史纪录——能够将大脑信号翻译成句子,速度接近正常对话水平,词汇量超过1000个单词。这意味着,无法说话的患者终于有机会以接近日常交流的速度表达自己,甚至还能借助模仿患者声音的计算机程序,将文本重新转换为语音。这并非科幻情节,而是实实在在的科技突破。

背景

许多神经系统疾病会导致控制言语和肢体活动的肌肉瘫痪,同时影响认知功能,严重时发展为闭锁综合征——患者完全无法主动交流,只能依靠眨眼或极其细微的动作做出回应。现有的替代与增强通信技术虽然能提供一定帮助,但操作费时费力,且速度远低于正常说话(通常每分钟仅能输出几个单词)。脑机接口正是针对这一痛点而研发的。

1969年,科学家首次证明可以训练猕猴通过增加单个神经元的活动来做出有意识的行为。人体实验则始于20世纪90年代末,当时将一个电极连接至因运动神经元疾病(肌萎缩侧索硬化症,ALS)导致闭锁综合征的患者神经元上。到了2006年,一项研究将毫米级的电极阵列(微电极阵列,MEA)植入脊髓损伤患者的大脑,记录运动皮层(负责随意运动的脑区)数百个神经元的活动,从而控制机械臂。随后,MEA被用于实现通信,例如解码手写尝试。

另一种技术是脑电图(EEG)——将电极贴在头皮上记录大脑电活动——自1999年起就用于帮助瘫痪患者通过自定义拼写软件进行交流。几乎同时,人们发现放置在大脑表面的小盘形电极(直径2~3毫米)能获得比头皮电极质量更高的信号。这种记录方法称为皮质电图(ECoG)。

21世纪初,ECoG电极被用于接受耐药性癫痫手术的患者,记录与言语和身体运动相关的大脑信号,最终催生了第一个完全植入式ECoG设备,让闭锁综合征患者在家就能使用打字程序交流。迄今为止,约有50名不同程度瘫痪的人植入了用于交流的脑机接口,其中大部分使用的是MEA。

突破技术

图1 将思想转化为言语的先进技术

首先介绍加州大学旧金山分校张复伦团队的研究成果。他们报告了一位瘫痪参与者的数据——这位患者17年前因脑干中风,说话几乎无法被听懂。张复伦团队开发的BCI系统采用了一块嵌有253个ECoG电极的硅片,每个电极记录数千个神经元的平均活动(图1a)。该设备通过手术植入感觉运动皮层的左侧“面部区域”——即大脑负责口腔和面部肌肉(包括声道)的部分。这项研究建立在先前ECoG记录的基础上,此前他们已为一名类似脑干中风患者植入了BCI。

大脑到文本的解码依赖两个系统的协同工作:循环神经网络(RNN,一种人工神经网络)负责破译与发音器官(声道的一部分)运动相关的大脑活动;语言模型则负责组织语言。最终能够以每分钟78个单词的速度从1024个单词中组成句子(尽管单词错误率为25.5%)。如果直接将大脑信号翻译成合成语音,在1024个单词的词汇量下单词错误率为54.4%;但当词汇量减少到119个单词时,错误率降至8.2%。BCI还能解码尝试性的面部表情,并通过数字化身再现出来——这为文本或语音提供了视觉反馈,极大丰富了参与者的沟通能力。总体而言,与之前报道的ECoG BCI相比,该设备在词汇量、通信速度和语音解码多样性方面均有显著提升。

另一方面,斯坦福大学的Francis R. Willett团队(一作兼通讯作者)也取得了重要成果。他们使用两个MEA(总共128个电极)从一位因ALS而无法清晰说话的参与者左侧感觉运动面部区域的小斑块上记录信号(图1b)。与张复伦团队类似,他们也采用RNN和语言模型将大脑信号翻译成文本,并针对不同大小的词汇量进行了训练和测试。使用该设备,参与者能够以平均每分钟62个单词的速度交流,12.5万个单词的词汇量下错误率为23.8%,50个单词的词汇量下错误率仅为9.1%。

RNN的训练数据来自参与者尝试说出显示器上显示的260~480个句子时收集的神经活动记录——整个过程平均每天需要140分钟,持续8天。分析表明,日常训练量可以大幅减少,而性能损失并不严重。值得注意的是,作者发现从布罗卡区(传统上被认为对语音产生至关重要的大脑区域)记录的神经活动无法被解码,这不禁让人怀疑——该区域是否真的包含对语音解码有用的信息。

图2 口面部运动和尝试言语的神经表征

意义与影响

这两篇报告是重要的概念验证:植入式脑机接口确实能够恢复通信能力。它们代表了神经科学和神经工程研究的巨大进步,对于因瘫痪、神经损伤或疾病而失声的人来说,生活质量有望得到质的提升。即使只是能让用户在辅助技术软件中选择字母或图标的基本BCI植入,也能给日常生活带来巨大好处和满足感。而像本文讨论的先进BCI系统,能够实现通信,预计其影响力将更为深远。

然而,要实现广泛应用,仍有几个问题需要进一步研究。首先,这两项研究使用的语音模型都是基于有残余(尽管微弱)发音运动的参与者进行训练和测试的。目前还需要更多研究来证明,对于没有残余运动的参与者(如晚期ALS导致的完全闭锁综合征)是否同样有效。其次,这两种设备都需要从数百个电极获取高带宽信号,而这些电极必须通过穿透皮肤的“基座”连接到外部放大器——外观上不够美观。未来需要开发完全植入式的无线脑机接口,以复制甚至超越这些研究报告的性能。

另外,报告中涉及的BCI操作都有高水平研究人员全程参与,但对于护理人员来说,如果没有经过大量培训和维护,这些设备在家用环境中仍然过于复杂。未来需要能够在不依赖研究人员干预甚至完全自主运行的BCI系统,这就要求采用以用户为中心的设计原则,并在临床人群中进行广泛的开发和测试。还有一个潜在问题:用户对他人语音的感知是否会导致大脑到文本解码的出错?越来越多的证据表明,除了语音产生,语音感知也会激活感觉运动皮层。

最后,哪种BCI方法——MEA还是ECoG——在实际应用中更能兼顾安全性和长期有效性,仍有待观察。MEA从较小的皮质区域捕获丰富的功能信息,但信号往往不稳定,需要频繁更新语音解码模型;而且MEA的寿命可能受到电极材料降解和组织封装的限制。ECoG电极需要植入的面积比MEA更大,但它位于皮质组织外部,通常能多年提供出色的信号质量,尽管也会引起浅表组织反应。

来源:https://m.elecfans.com/article/2234402.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。