快捷搜索:

您的位置:澳门威斯尼人app > 技术文章 > 理查德·安德森:用意念操控机器【澳门威斯尼人

理查德·安德森:用意念操控机器【澳门威斯尼人

发布时间:2019-12-22 23:23编辑:技术文章浏览(143)

    今天,匹兹堡大学的珍妮弗·L·克林格博士(Jennifer L Collinger)率领的研究团队在著名医学期刊《柳叶刀》(The Lancet)上发表研究报告,称他们成功地让一位53岁的女性高位截瘫患者简·舒尔曼(Jan Scheuermann)学会了用大脑控制机械臂进行运动。在上面的视频中我们可以看到,这位女性患者用机械臂完成了塑料杯叠放等一系列复杂的手部运动。

    目前,全球范围内有多个研究小组致力于脑控机器人的研究,试图能让人通过意识来控制机器人手臂和电脑等其它设备,但都没有取得如此骄人的成绩。“简掌握脑控技巧的速度让我们感到意外,”施瓦茨教授说道,而瑞士联邦技术研究所的专家格雷瓜尔·库尔蒂纳也认为“这种仿生类脑波控制技术是医学领域的一大突破”。

    实验室致力于研发用于高位截瘫患者的脑机接口,接口会从大脑皮层,即大脑表面约3毫米厚的组织中采集数据。如果将人的大脑皮层展平,每个大脑半球的皮层面积大约有8万平方毫米。随着记录数据的增加,我们发现了更多负责特定功能的脑区,目前对大脑的功能分区已经超过了180个。这些区域分别处理特定的感觉信息,与其他脑区相互连接,产生认知、抉择和运动行为。

    研究团队通过外科手术在这名女性患者的大脑皮层中植入了两个4*4毫米大小的网格状微电极,每块电极都拥有96个微型触点,来获取她大脑中操控手臂和手掌部分区域的信号。然后他们通过计算机将这些信号翻译成了可供机械臂读取的指令,再由机械臂完成动作。这个机械臂的仿真程度非常高,几乎已经与真实的手臂拥有同样的运动能力。

    据悉,该项研究成果发表在近期的医学权威学术刊物《柳叶刀》上。

    4. 从机械重回大脑

    作者: Peter Bright

    52岁的简·舒尔曼患病13年,在机器手臂的帮助下,她可以用手吃东西。

    在首例人脑电极阵列植入手术之前,理查德·安德森实验室组建了一个由科学家、临床医生和康复专家组成的团队,这些专家分别来自美国加州理工学院、南加利福尼亚大学和加利福尼亚大学洛杉矶分校以及名为RLA的国家康复中心和卡萨科利纳康复医院。该实验获得了美国食品药品监督管理局的批准,并按实验室、医院临床以及康复中心三方伦理安全审查都通过的步骤进行。这个项目的自愿受试者是真正的先驱者,因为在参与项目之前,他们就知道并不一定会因项目而获益。他们选择加入项目,是为了帮助完善脑机接口技术,从而使这项技术有朝一日可以为大众所用。2013年4月,神经外科医生查尔斯·刘和布雷恩·李给索尔托完成了电极植入,手术堪称完美。

    文章编译自:Nature Paralyzed Woman Controls Robotic Arm With Her Thoughts

    1、在大脑皮质的运动神经里植入微型电极;2、固定在人头部的连接器负责接收大脑发出的神经信号;3,连接器把神经信号发送到人脑—机器转换平台,并进一步把信息传回。

    最近,科学家也开始逐渐关注神经元同时编码多个变量的混合表征,即增益野。比如,有实验发现前额叶皮层会记录两种类型的记忆任务,以及不同物体的视觉刺激,也就是该区域的神经元会编码混合表征。这一研究或许可以进一步解释后顶叶皮层的工作原理。实验中,研究者让史密斯控制屏幕上的假肢完成8种不同的组合任务。首先,她要选择使用的策略,即选择想象运动还是真实运动;接着,她要选择运动的方向,向左或向右;然后,是选择动手还是动肩。后顶叶皮层的神经元以混合方式编码了以上所有的信息,这些信息相互作用并产生出特异的响应模式,这与动物实验中发现的随机交互结果完全不同。

    这种新的高精度脑控系统被称为“脑机接口”(brain-machine interface,BMI)。在今年早些时候,也曾有另外一个研究团队曾发布报告称有两名四肢瘫患病人学会了用脑机接口把控和操作物体。而今天发布的这项新的研究成果在前者的基础上又有所改进,展示出了更加流畅和自然的动作,也是目前所有瘫痪病人用脑机接口所完成的最棒的一次展示。同时,这个新系统也让简·舒尔曼完成了她多年来的一个梦想:给自己喂一块巧克力。

    人类能通过意识来控制机器人么?答案是肯定的。据英国《卫报》网站12月17日的报道,美国匹兹堡大学的科研人员新研制出的一种脑控机器手臂能够帮助瘫痪患者完成一些难度颇高的动作。

    人们经常会问,学会使用脑机接口要花多长时间?事实上,所有人都能很快就学会操控机器,利用大脑的意识信息控制机械臂是非常自然和简单的。通过想象不同的动作,索尔托可以看到机器记录到的大脑神经元活动,同时他也可以控制是否要激活这些神经元。


    机器手臂接收来自大脑的信号。

    电极的植入装置也需要进一步缩小并降低功率,以免让大脑过热。如果可以使用无线传输信号,还可以免去头部连线的麻烦。目前所有的脑机接口都需要通过手术完成植入,有朝一日一旦可以通过跨颅骨的方式来记录神经元发出的信号,记录精度也能和侵入式电极媲美。

    研究人员选择了现年52岁的病人简作为试验对象,她在10年前由于神经系统疾病而四肢瘫痪。为了把简的大脑和机械手“连接”起来,医生们通过手术将两个长宽均为4毫米的微型电极网植入到简的大脑运动皮层中用来控制手臂移动的神经元附近,每一个电极网上有96个长约1.5毫米的电极。在电极网植入之后,通过固定在头部的“连接器”和一根无需太长的导线,简的大脑便与计算机系统和机械手实现了“连线”了。

    当我们目睹索尔托拿起酒杯时,不禁在想,为什么如此少的信号就能控制一只机械臂?我们在日常生活中,可以不假思索地挥动自己的手臂,同样,脑机接口与神经假肢的目标就是让患者可以自然地使用动作。为此,神经科学家几十年来都在致力于解码伸手、抓取等运动相关的神经信号。尽管进展缓慢,但科学家一直在不断研究新的技术去探索大脑800多亿个细胞之间的信号交流。目前,我们已经可以精准地记录与运动控制相关的神经区域,而新一代的脑机接口技术也将让我们可以更加自如地操控神经假肢。

    在实际使用机械手的过程中,机械手首先会遵循预先设定好的电脑指令协助简练习一些动作,然而简很快就能在不需要任何帮助的情况下自己控制机械手了。研究人员称,简在短短两天的训练后,就能通过意识控制机械手完成前后左右以及上下等动作,而在接下来的几周时间里,她甚至能控制机械手流畅地完成难度较高的动作,比如抓起并移动放在桌子上的小球、吃饭等等。在三个月的训练时间中,简有91.6%的时间是和机械手待在一起的。经过艰苦的训练,简完成某个动作的时间比最初使用机械臂时快了30秒左右,这也让研究人员感到惊讶不已。

    在一段展示脑机接口功能的视频中,一个全身瘫痪的受试者坐在轮椅里,仅凭意念便能控制机械手和光标。视频里的奇迹发生于2013年,埃里克·索尔托在理查德·安德森的实验室里用意念操控机械臂拿起酒杯喝了一口啤酒。他在20岁时遭到枪击后瘫痪,这是他瘫痪10年后第一次能够用自己的意志完成这一动作。脑机接口能够将大脑皮层深层的神经信号传输到计算机,之后他就能控制机械手拿起桌上的杯子喝下啤酒。索尔托完成的这一动作看似简单,但实际上却极其复杂,研究团队一年前就在他大脑中植入了电极,让他通过训练,控制与运动相关的信号。

    不过,该项技术的发展也面临不少障碍。例如,随着简脑部植入微型电极网时的手术伤口逐渐愈合,产生的疤痕组织已经开始影响到计算机对脑电波信号的接收。施瓦茨教授对此表示,他们计划使用更薄的电极来解决这一问题。如何为机械手安上传感器,以让患者感觉到机械手所接触的物体的质地和温度,也是研究人员需重点突破的问题之一。此外,该研究今后的另一个重点是研发无线控制系统,让患者不必通过物理连接就能控制机械手。

    实际上,混合表征的编码还有更精细的分类。例如,一个控制左手运动的神经元很有可能对右手运动也有反应,但控制肩膀运动的神经元则对手部运动反应较小。这种表征方式我们称为部分混合选择性。目前,研究者已经发现了部分混合表征中的一些共同点,它们或许构成了运动编码的语义框架。编码相似运动的神经元的反应也相似,一个对抓取物体的视频有反应的神经元同样可能在我们听到“抓”这个词的时候活跃起来,但编码“推”这个动作的神经元则与它们完全不同。大体上说,部分混合编码就是会处理相似的动作,而将不同的行为加以分离的过程。混合和部分混合编码在联合皮层都存在,还需要探究在掌管语言、物体识别和运动执行的脑区是否也存在这种规律。另外,研究团队也在想,初级感觉皮层和运动皮层是否也具有类似的部分混合编码的特性。

    据医生介绍,在大脑与机械手“连线”之后、实际使用机械手之前,简还需在大脑中想象一下机械手的各种动作。而当她在想某一动作时,电脑会将此时她脑中单个神经元的活动记录下来。,“当我们找到控制某个动作的神经元时,我们就能帮助患者来用自己的意识控制机械手的运动了,”匹兹堡大学的神经生物学教授安德鲁·施瓦茨介绍说。

    《常州自然科学》电子版在常州智慧科技社团云服务平台“科技期刊”栏目,欢迎大家关注!

    澳门威斯尼人app 1

    简单来说,脑机接口可以在大脑皮层的各个位置行使功能。我们的感觉器官向大脑输入感觉信号时会在初级感觉皮层进行加工。初级感觉皮层可以检测光线射入视网膜的角度和强度,或者外周神经末梢感受到的刺激。位于初级感觉皮层之间的是联合皮层,它们有的与语言功能相关,有的负责物体识别,还有的与情绪、抉择和执行控制有关。

    澳门威斯尼人app 2

    3. 从目标信息到动作

    在研究开始时,研究者曾问过患者,假如实验成功的话,想控制机械臂做什么。索尔托当时说他想在没有人帮助的情况下自己喝一口啤酒,而在研究开始一年后,他实现了这个愿望。在与加州理工学院的斯宾瑟·凯利斯的研究团队,以及约翰·霍普金斯大学应用物理实验室的机器人专家一起合作后,研究者成功地将索尔托的意识信号和机器视觉加工以及机器人技术整合在了一起。机器视觉的算法会分析来自摄像机的信息,而运动意图信息会结合这些视觉算法驱动机械臂运动。得益于此,在众人的欢呼声中,索尔托实现了他的愿望。

    与之相反,“读取式”脑机接口则需要采集神经信号,目前尚处于研究阶段,仍有许多亟待解决的难题。现在已有一些粗略的神经信号读取技术,如头皮脑电可以记录几平方厘米区域大脑组织的平均电活动,同时采集数百万个神经元叠加而成的信号数据,而不是某个功能回路中单个神经元的信号。功能性磁共振成像则是一种间接测量脑活动的技术,主要监测的是不同脑区的血流变化。该技术相比头皮脑电技术有更高的成像分辨率,但仍达不到脑机接口的要求。而且血流变化的反应较慢,不适用于检测快速变化的脑活动。

    下一步,理查德·安德森实验室的研究者想了解在不影响神经假肢使用的情况下,受试者究竟能学习多少新任务。如果大脑真的可以学习使用假肢,完成各类新任务,那么或许大脑的任何脑区都可以植入电极,然后通过训练,利用脑机接口执行不同的任务。

    理查德·安德森说,作为一位做基础研究的科学家,很高兴我的研究成果可以给病人带来帮助。基础研究对于技术进步和医疗器械的研发而言是至关重要的,如果能够将基础研究转化为临床应用,那么就是使研究者的努力得到了最好的升华。当患者能够驱动机械手臂和这个世界互动时,他们会感到无比的快乐,而我们也会因他们的快乐而获得难以言喻的满足。

    后顶叶皮层正是完成这一任务的关键脑区,它可以对视觉信息进行复杂加工,完成视觉空间的坐标系转换。在伸手做抓取运动的过程中,大脑同样需要将双眼注视的位置信息纳入计算加工,而后顶叶皮层损伤的患者是无法准确完成抓取动作的。芒卡斯尔的实验室发现,后顶叶皮层的每个神经元的感受野都会对视觉场景中某一部分有反应,同时,这些神经元还会记录眼睛注视的位置信息。当神经元将感受野和位置信息混合后,因为其组合了两种表征信息,我们将这样的视觉信号称作混合表征,也称增益野。在模拟网络中,把视觉信号和眼睛注视位置的信息混合后,再把混合信息输入单个神经元,最少只需9个神经元便可编码出整个视野信息。

    1. 从大脑到机械

    理查德·安德森:

    脑机接口是通过接收和发送大脑信息实现的,也就是对意念进行“读取”与“写入”,这也是两种主流的接口技术方式。“写入式”脑机接口通常使用微电流刺激将信号输入神经组织。这一技术有的已成功应用于医疗领域,例如,人工耳蜗能够刺激听觉神经,从而使失聪者恢复听觉;深度脑刺激则能够作用于与运动控制相关的基底神经节,用于缓解帕金森病和特发性震颤这类运动失调病症;另外,科学家也在研发新的设备,想通过刺激视网膜来解决某些类型的失明症状。

    脑机接口的功能当然不能仅限于采集并处理信号,还应具有反馈信息的能力,比如抓取物体时,视觉反馈有助于修正机器运动的轨迹。此外,手的位置和姿势会由目标物体的位置和形状决定。如果拿起物体后没有任何触觉和肢体感觉,肢体的行为表现就会明显变差。因此对于脊髓损伤的受试者而言,为假肢增加感觉反馈是非常有必要的。他们目前还感受不到触觉和躯体位置信息,而这些感觉对于产生流畅而连贯的动作却十分重要。理想的神经假肢一定要有双向通信的能力:不仅仅能够传输使用者的想法,也要将假肢传感器感受到的信息反馈到使用者的大脑。美国匹兹堡大学的罗伯·冈特便在试图解决这一问题,他们在一位截瘫患者的躯体感觉皮层植入了阵列电极——这个区域负责处理来自肢体的感觉信息。通过埋置在躯体感觉皮层的阵列电极,冈特实验室对受试者的大脑进行了微电流刺激,而受试者则报告说感受到了来自手部表面的刺激。

    部分图片来源于网络

    为了突破这些限制,研究脑机接口的实验室常常选择记录单个神经元的信号。通过记录大量单个神经元的放电频率变化,就可以更清楚地了解大脑特定区域发生了什么。近年来,植入式微阵列电极的发展使我们可以高通量地记录大脑的电生理状态。目前我们使用的阵列电极是一个4×4毫米的电极块,上面固定有100根单通道电极,每根电极长度为1-1.5毫米,如同一个微型钉板。这样一个电极阵列可以记录100-200个神经元的信号。记录下来的神经信号将传送给“解码器”,它能够识别神经元的放电模式,然后将其编译为相应的运动指令,从而驱动机械臂或光标完成运动。这种“读取式”脑机接口便可以帮助到许多因生病而行动不便的人,比如脊髓损伤、脑卒中、多发性硬化症、渐冻症以及杜氏营养不良症的患者。

    用意念操控机器

    神经元编码的信号与患者的意图息息相关,从区区几百个神经元的活动中可以解读出海量的信息。由此,我们可以解码许多认知活动,包括运动策略、手指的运动、抓握的手势、观察行为、听到如“抓”或者“推”这类动词,以及算数行为。最神奇地是,我们只要植入微小的电极,就能够解码一个人如此多样的意图和行为。

    某些研究团队已经开始从瘫痪患者中采集大量的单神经元电生理数据,这样可以让他们在实验室条件下控制神经假肢。理查德·安德森的研究团队主要关注的是一个叫后顶叶皮层的脑区,它负责规划运动的起始。他们曾在非人灵长类动物的研究中发现后顶叶皮层的一个子区——侧顶内沟,这个区域能够规划并启动眼睛运动。规划手臂运动则由后顶叶皮层的另一个子区——顶叶伸手控制区完成。

    来源:环球科学

    在测试开始后的第一天,研究者从电极中检测到了神经信号,在之后的一周,研究者得到了足够数量的神经信号用于解码器的训练。接下来,研究者开始测试索尔托能否通过大脑活动来驱动机械臂完成运动了。索尔托的第一个任务是将机械手旋转到适合的朝向并与实验人员握手。令他惊讶的是,他居然真的可以完成这一动作,研究者也很兴奋,因为这是他受伤之后,第一次能够用意志通过机械臂的运动与外界交互。

    脑机接口的另一大挑战是电极的研发。目前的植入电极一般可以使用5年,如果可以延长电极的使用时间,就能增加可以记录的神经元个数。另外,增加电极的长度也有利于记录更多位于大脑皮层褶皱中的神经元信号。目前,有一种柔性电极,能够在大脑随血压变化、呼吸节律等因素发生移动时,和大脑一同运动,二者会保持相对静止,因此柔性电极可以带来更加稳定的记录效果。当前广泛使用的微阵列电极属于刚性电极,需要每天对解码算法进行校正。因为刚性的电极在脑内的位置会发生变化,与神经元的相对距离就会不同,从而导致信号变化,而研究者希望能够连续数周甚至数月对同一群神经元进行稳定记录。

    后顶叶皮层研究从动物实验转向人类经历了不短的时间,研究者在进行了15年的相关研究后,才开展了第一例人类电极阵列植入手术。在这之前,是在猕猴大脑植入与患者一致的电极阵列,然后训练猕猴控制脑控光标或机械臂。

    当然,研究脑机接口的目的是帮助瘫痪病人。然而科幻小说、电影和媒体都更关注利用脑机接口来增强人类,甚至带来“超人”般的力量。但是,只有当非侵入式技术足够完善时才可能去发展所谓的“增强”技术。

    理查德·安德森实验室的研究者同样也在患者的躯体感觉皮层负责手臂感知的区域植入了电极。令人惊讶的是,受试者说他感受到了被掐住、轻触和震动等来自体表的感觉,同时他还产生了四肢运动的感觉。这些实验表明,那些由于高位截瘫而丧失了躯体知觉的患者可以通过脑机接口实现感觉的写入。下一步,研究者将使用具有感觉反馈能力的脑机接口来验证升级后的技术能否提升大脑控制假肢的表现,以及在加入感觉反馈之后,受试者是否会对假肢产生“一体感”——感觉假肢真的成为了自己身体的一部分。

    除了索尔托,还有其他的受试者也参与了试验。南茜·史密斯已经参与试验5年了。她因为10年前的一场车祸导致四肢瘫痪,在这之前她曾是高中的计算机图形学教师,业余时间喜欢弹钢琴。泰森·阿夫拉洛的小组负责史密斯的试验,他们在史密斯的后顶叶皮层脑区中发现了精细控制双手各个手指的区域。利用虚拟现实技术,她可以通过想象控制机械手的手指运动,并用电子钢琴弹奏出简单的旋律。

    但是,为什么从一小块脑组织可以获得如此多的信息呢?这让理查德·安德森想起在早年遇到的一个类似的问题。当年他在约翰·霍普金斯大学弗农·芒卡斯尔的实验室担任博士后研究员时,主要负责研究猕猴的后顶叶皮层是如何表征视觉空间的。人的眼睛就像是一台相机,当图像投射到视网膜上时,视网膜将光刺激的位置信息传输给大脑,那么整个图像便转换为基于视网膜坐标下的光强信息。每个视网膜上的神经元对坐标系中的一小块特定区域的图像有反应,这个区域被称作感受野。眼睛与相机的不同之处在于,当相机晃动时,图像也随之抖动,但当人眼运动时,你看到的世界是相对稳定的。这就意味着,眼睛接收到的视网膜图像需要被转化为空间的视觉表象,也就是说,视网膜上的信息必须在神经元层面转换成空间信息,我们才能在眼球运动时不感到天旋地转。

    2. 从实验室到病患

    本文由澳门威斯尼人app发布于技术文章,转载请注明出处:理查德·安德森:用意念操控机器【澳门威斯尼人

    关键词: 电极 脑控技术 机械手 动作 手臂