CN101390100B - 具有小脑模型的基于脑的设备及其运动控制方法 - Google Patents

具有小脑模型的基于脑的设备及其运动控制方法 Download PDF

Info

Publication number
CN101390100B
CN101390100B CN2006800535429A CN200680053542A CN101390100B CN 101390100 B CN101390100 B CN 101390100B CN 2006800535429 A CN2006800535429 A CN 2006800535429A CN 200680053542 A CN200680053542 A CN 200680053542A CN 101390100 B CN101390100 B CN 101390100B
Authority
CN
China
Prior art keywords
brain
cynapse
equipment
dcn
equipment based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800535429A
Other languages
English (en)
Other versions
CN101390100A (zh
Inventor
杰弗里·L·麦金斯奇
杰拉德·M·埃德尔曼
杰弗里·L·克里查马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neurosciences Research Foundation Inc
Original Assignee
Neurosciences Research Foundation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neurosciences Research Foundation Inc filed Critical Neurosciences Research Foundation Inc
Publication of CN101390100A publication Critical patent/CN101390100A/zh
Application granted granted Critical
Publication of CN101390100B publication Critical patent/CN101390100B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/026—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system using a predictor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Abstract

一种可移动的基于脑的设备(BBD)，包括具有传感器和效应器的移动平台，所述移动平台由模拟神经系统引导，以便确定与真实世界环境的相互作用，所述模拟神经系统是脑的小脑区域的模拟物，用于预示性运动神经控制。所述模拟神经系统具有神经区域，所述神经区域包括小脑前核(PN)、浦肯野细胞(PC)、小脑深部核团(DCN)以及下橄榄核(IO)，用于在真实世界环境中运动期间预测BBD的转向和速度控制。BBD经历训练和测试，而且模拟神经系统基于延迟资格迹学习法则来学习并执行控制功能。

Description

具有小脑模型的基于脑的设备及其运动控制方法
优先权声明 
本申请要求根据U.S.C 35第119(e)条的美国临时专利申请的优先权，所述美国临时专利申请的序列号为60/754,229，于2005年12月28日提交，名称为“A Cerebellar Model for Predictive Motor Control Tested in a Brain-Based Device，”by Jeffrey L.McKinstry et al.(Attorney Docket No.NSRF-01009US0)，该申请通过参考并入此处。 
版权声明 
本专利文件的公开的一部分包含受到版权保护的材料。由于专利文件或专利公开的任何一个都出现在专利商标局的专利文件或记录中，所以版权所有者并不反对对本专利文件或本专利公开的任何一个进行复制，但版权所有者在其他方面无论如何都要保留所有版权。 
技术领域
本发明涉及具有模拟神经系统的基于脑的设备的领域，用于在真实世界环境中的预示性运动神经控制。 
背景技术
一种基于脑的设备(BBD)是如下设备，其具有：用于接收信息的传感系统、使设备能够到处运动的效应器(effector)以及模拟神经系统，所述模拟神经系统响应来自传感系统的输入而控制效应器的运动，以便在真实世界环境中引导基于脑的设备的行为。传感系统可包括传感器，所述传感器从设备在其中运动的真实世界环境接收图像和其他信息。模拟神经系统可实现为基于计算机的系统，所述基于计算机的系统接收并处理输入至基于脑的设备的传感信息，并向效应器输出命令，以便在真实世界环境中控制所述设备(BBD)的行为。 
模拟神经系统虽然在基于计算机的系统中实现，但它模仿人类的脑而不是模仿程序控制计算机，所述程序控制计算机通常遵循一组精确的可执行指令或者执行计算。即，脑不是计算机，且在其构造方面遵循神经生物学原理而不是计算原理。脑具有专门的特征或组织以及功能，所述功能与遵循一组精确指令或以程序控制计算机的方式计算的思想不相一致。脑接收的信号与计算机接收的信号的比较显示了脑专有的许多特征。例如，真实世界并不像数据存储媒介一样呈献给脑，所述数据存储媒介存储呈献给计算机的明确的信号序列。不过，脑使人类(或动物)能够感觉到它们的环境并在真实世界环境中运动。 
脑的小脑公知为对于准确自适应控制和运动神经学习是关键的。与神经生理学、行为科学以及关于运动神经控制的图像数据中的大多数一致，小脑的一种理论提出，小脑学习用预示性控制器来取代反射作用。这就生成了准确的运动神经控制信号并避免了较少自适应的反射性反应。包括眨眼条件作用、眼睛的前庭反射、平稳跟踪眼运动、脊椎疼痛避退反射、握力调节、手臂运动以及跳跃眼运动在内的许多种自适应小脑功能都易受这种运动神经控制的影响。目前，与负责该预示性能力的机制有关的争论包括对延迟线、光谱定时、振荡器或颗粒细胞中动态回流活动的建议。 
一种当前的理论提出，来自原始反馈控制器(或反射)的反馈运动神经命令用作从脑的下橄榄核(inferior olive)经由攀缘纤维递送到小脑的误差信号。另外，小脑中的突触资格迹也被建议为用于这种运动神经学习的机制。另一种理论提出持续时间为1-2秒的由运动初起(onset)和150-200ms的峰值而触发的资格迹。 
发明内容
本发明是基于不同机制的。在本发明中，并入学习法则，其中小脑的浦肯野(Purkinje)细胞(PC)上的突触或小脑深部核团(DCN)中的细胞上的突触仅在超阈值的位于突触前的运动开始时的固定延迟之后变得符合于可塑性。当来自小脑下橄榄核(IO)的攀缘纤维以信号表示运动神经误差时，这些突触强度的变化仅出现在符合条件的突触处。该延迟资格迹学习法则形成了小脑反应功能，以期望或避免即将发生的运动神经误 差。 
因此，本发明是一种物理的、可移动的基于脑的设备(BBD)，该设备由包括脊椎动物神经解剖学和神经生理学特征的小脑的模拟神经系统来引导，上述特征确定了BBD与真实世界环境的相互作用。 
BBD的模拟神经系统提供了使得BBD能够在真实世界环境中运动的预示性运动神经控制。模拟神经系统包含与脑的小脑部位类似的模拟神经区域，并包括小脑前核(PN)、浦肯野细胞(PC-Turn和PC-Velo)、小脑深部核团(DCN-Turn和DCN-Velo)以及下橄榄核(IO-Turn和IO-Velo)，其中“Turn”指转向且“Velo”指BDD的速度。基于脑的设备BBD还具有提供投影到脑的模拟皮层区域(MT)上的视觉输入的摄像机，以及驱动下橄榄核(IO)中的神经元单元的红外(IR)邻近探测器，而神经元单元又驱动用于转向(Motor-Turn)和制动(Motor-Velo)的模拟运动神经元。 
由于物理的、可移动的基于脑的设备BBD在真实世界环境中运动并相互作用，所以所述BBD经历训练阶段和测试阶段。在训练或学习阶段，BBD沿着给定的路径(path)或路线(course)运动，并且当BBD距离路线中的障碍物较近时，红外(IR)邻近探测器将运动神经误差发信号给模拟神经系统，这使得BBD反射性地离开障碍物并当存在障碍物时减速。发起制动以及离开障碍物的运动神经误差信号还引起模拟皮层区域(MT)与小脑神经元单元(PN)(PC)(IO)之间的突触效率发生改变。在学习阶段之后且在测试阶段中，视觉运动线索单独就足够驱动基于脑的设备BBD沿着给定路线的中心平稳运动。在测试阶段，预测潜在误差的皮层区域(MT)输入导致基于脑的设备BBD在能够产生误差信号之前就很好地离开障碍物。 
因此，本发明的延迟资格迹法则说明了在真实世界的条件下在运动神经控制任务下小脑的预测能力。小脑可进行学习，从而以更加自适应的预示性控制器或“预弯(preflex)”来取代任意反射神经控制系统。 
附图说明
图1A是可以在由橙色锥形路标指示的路径或路线中运动的物理的、 可移动的基于脑的设备的绘画视图。 
图1B示出了图1A的基于脑的设备的不同路线的布置。 
图2是图1A的基于脑的设备的模拟神经系统的区域和功能性神经解剖学的示意图。 
图3A是在图1B的中等曲线路线上的图1A的基于脑的设备的训练或学习阶段的图表。 
图3B是在图1B的中等曲线路线上的基于脑的设备的测试阶段的图表。 
图4A以图表形式示出了分别在图1B的逐渐、中等和急剧曲线路线上的图1A的基于脑的设备的学习阶段。 
图4B-4D以图表形式示出了在逐渐、中等和急剧曲线路线上，对已经历过学习阶段的基于脑的设备与未经历过学习阶段的基于脑的设备的测试的比较。 
图5A是分别通过图1B的急剧、中等和逐渐曲线路线图2的神经解剖学的区域MT中的神经元单元对图1A的基于脑的设备的左转作出不同响应的图示。 
图5B是分别通过急剧、中等和逐渐曲线路线图2的神经解剖学的区域MT中的神经元单元对图1A的基于脑的设备的右转作出不同响应的图示。 
图6A-6C示出了分别通过逐渐、中等和急剧曲线路线在图1A的基于脑的设备的训练阶段之后用于图2的神经解剖学的速度控制(PC-Velo)的从小脑前核(PN)到浦肯野细胞(PC)的突触权重的各自基质(matrices)。 
图7A示出了针对转向误差从图1A的基于脑的设备的红外(IR)邻近探测器(IP-Turn)到下橄榄核(IO)的转向映射，其映射到用图2的神经解剖学中所显示针对的转向命令的运动神经区域(Motor-Turn)上。 
图7B示出了针对速度从图1A的基于脑的设备的红外(IR)邻近探测器(IR-Velo)通过求和∑到下橄榄核(IO)(IO-Velo)的速度映射，其映射到用于在图2的神经解剖学中所显示的针对速度命令的运动神经区域(Motor-Velo)上。 
图8A-8C是对于图1B的逐渐、中等和急剧曲线路线的速度运动神经 命令的分布的直方图。 
图8D-8F是对于图1B的逐渐、中等和急剧曲线路线的转向运动神经命令的分布的直方图。 
图9A-9B分别示出了基于脑的设备从急剧曲线路线到逐渐曲线路线以及从逐渐曲线路线到急剧曲线路线的自适应。 
图10A示出了图1A的基于脑的设备的转向控制中所包含的从小脑前核(PN)到浦肯野细胞(PC)以及到小脑深部核团(DCN)的权重。 
图10B示出了图1A的基于脑的设备的速度控制中所包含的从小脑前核(PN)到浦肯野细胞(PC)以及到小脑深部核团(DCN)的权重。 
图1lA(a)-(i)示出了在首次通过(first pass)期间当图1A的基于脑的设备在图1B的逐渐曲线路线上时来自所选择的神经区域的反应，其中所述反应由图1A中所示的锥形路标的碰撞或近距离碰撞来激活。 
图11B(a)-(i)示出了在训练结束时图11A(a)中所示的相同路线上来自所选择的神经区域的反应。 
具体实施方式
图1A是本发明的基于脑的设备(BBD)10的绘画图，该绘画图包括物理上实例化的可移动设备，该可移动设备可以探测其环境并在体验所述环境时逐渐形成自适应行为。基于脑的设备BBD10包括用于在真实世界环境中引导BBD10的模拟神经系统12(见图2)。在一个实施例中，模拟神经系统12体现为下文中更完整地描述的嵌入式Beowulf计算机集群。 
如图1B中所示，BBD10可以在真实世界环境中通过若干种路径或路线运动，所述若干种路径或路线包括急剧曲线路线、中等曲线路线和逐渐曲线路线。这三条路线是使用图1A中所示的橙色锥形路标来建立的。如将要进一步描述的那样，BBD10将会在训练阶段以及在测试阶段分别通过这三条路线运动。 
如图1A中所示，在一个实施例中，基于脑的设备10建造于在14处大体显示的Segway Robotic Mobility Platform或RMP上，所述SegwayRobotic Mobility Platform是由Segway，Inc.，Bedford，N.H制造的SegwaySegway Human Transporter在市场上可买到的机器人版本。BBD10从彩色 摄像机、激光测距仪和短程IR探测器组(bank)接收传感输入，所述摄像机、测距仪和探测器组都在16处大体显示，它们安装在BBD10周围较低的位置，以便当BBD10穿过图1B中各个路线时探测附近的目标。BBD10底部的铝底盘18包含由Interl Corporation，Santa Clara，CA制造的六个小型Pentium IV PC的Beowulf集群，以及足够为BBD供电大约45分钟的电池容量。 
图2示出了包括各种神经区域以及突触连接排列在内的模拟神经系统12的高级视图。与每个区域以及连接图案(pattern ofconnectivity)有关的特定参数在下文参照表S1和S2来描述。 
模拟神经系统12具有小脑20，并具有小脑前核(PN)22，所述小脑前核(PN)22从由神经通路(MT→PN)指示的视觉皮层区域(MT)24接收输入。小脑前核(PN)22输出至由神经通路(PN→PC，PN→DCN)指示的小脑部位26，所述小脑部位26包括：包含浦肯野细胞(PC)30的小脑皮层28，所述浦肯野细胞(PC)30抑制小脑深部核团(DCN)32对BBD10的转向和速度的控制(PC→DCN)；以及模仿输入至小脑的攀缘纤维(IO→PC，IO→DCN)的下橄榄核(IO)34。 
更具体地，图2显示了BBD10的模拟的区域和功能的神经解剖学12的示意图。图2中所示的灰色椭圆表示不同的神经区域，黑色椭圆表示传感输入区域，白色椭圆表示运动神经区域。图2中所示的箭头记号表示从一个区域到另一个区域的突触投影。以开放的箭头结束的黑色箭头记号表示激发(excitatory)连接，以圆形端点结束的黑色箭头记号表示抑制连接，而以虚线填充箭头结束的灰色箭头记号表示可塑(plastic)连接。视觉输入从在图1A的BBD10上的16处大体显示的摄像机投影到皮层区域(MT)24。系统12包括小脑前核(PN)22、浦肯野细胞PC30(PC-Turn和PC-Velo)、小脑深部核团DCN32(DCN-Turn和DCN-Velo)以及来自下橄榄核IO34(IO-Turn和IO-Velo)的输入，其中“Turn”指BBD的转向且“Velo”指BBD的速度。下橄榄核IO34中的神经元单元由16处(图1A)大体显示的IR邻近探测器来驱动，该神经元单元又驱动用于转向36(Motor-Turn)和制动38(Motor-Velo)的运动神经元。这些运动神经元还由下文中进一步描述的小脑深部核团32(DCN)来驱动。每个区域包含可以是激发性 或抑制性的神经元单元，所述神经元单元中的每一种都表示神经元的本地群体[见Edelman，G.M.(1987)Neural Darwinism:The Theory of NeuronalGroup Selection(Basic Books，Inc.，New York)]，其中在大概40毫秒的时间段内，每个单元的平均冲动率(firing rate)变量与一组大约100个真实的神经元的平均活动相对应。下文中描述另外的神经系统模型实施方式的细节。 
BBD10具有三个基本的固有行为：连续向前运动、躲避诸如墙或人之类的较大的障碍物以及躲避与图1A中所示的锥形路标的正面碰撞。在连续行为中，除非正面行为、躲避行为或神经模拟12的活动使得BBD10减速和/或转向，否则BBD10会沿直线以最快为例如每秒1.25米或大约每小时3英里向前运动。当模拟神经系统12介入时，运动神经区域被转化成下文中进一步描述的车轮(wheel)命令。运动神经区域可由来自在16处大体显示的IR探测器的输入或由视觉眼肌运动通路来激活。连续行为是该模拟的缺省行为。 
在BBD10上面16处大体显示的激光测距仪可探测180度弧上最多20米、高2.5英尺的障碍物，所述2.5英尺高于形成图1A、1B中所示的路线的锥形路标的高度。如果目标在例如BBD10的1米之内被探测，则躲避行为被启动且BBD10旋转适当位置直到激光测距仪16探测不到比1米更近的障碍物。在躲避行为完成后，BBD10启动连续行为。通常，当BBD10在由图1A中所示的锥形路标所标记的给定路线上完成一圈时，BBD10通常会距离墙较近；躲避行为使得BBD10转向大约180度并在之后沿着给定路线以相反方向前行。 
如果IR邻近探测器16以信号表示BBD10正前的6英寸内锥形路标的存在，则正面行为被启动且BBD10后退直到BBD10离开锥形路标。在离开锥形路标后，连续行为被启动且IR探测器16或视觉眼肌运动系统16通常会触发运动神经反应以便操纵远离锥形路标并沿着图1A、1B中所示的给定路线前行。 
突触可塑性和延迟资格迹学习法则。突触强度受制于根据突触法则的修改，所述突触法则取决于突触前的、突触后的和下橄榄核(IO)的活动。下文中描述神经元单元活动的变化细节和参数细节，但以下方程是基于这 些细节的。 
突触变化由下式给出： 
Δcij(t+1)＝ηsi(t)*traceeligibility(t)*(IOi(t)-0.02)； 
其中cij是从单元j到单元i的连接强度，si(t)是后突触单元的活动，IOi(t)是与单元i相对应的下橄榄核单元的活动，η是固定的学习率(learningrate)，traceeligibility(t)是突触j的资格迹。下文中描述的资格迹确定对于给定时刻在特定突触处的效能变化量。该学习法则支持PC和DCN突触处的增强和减弱。当η为负值时(例如在PN→PC突触中)，在下橄榄核(IO)活动于基线冲动率之上时该学习法则引起突触的减弱，在下橄榄核(IO)活动于基线冲动率之下时该学习法则引起突触的增强。当不存在来自下橄榄核(IO)的误差时，该学习法则支持学习反应的消失(extinction)。 
在本发明的模型中，突触效能的变化是基于在上文中指示并在下文中更完整描述的延迟资格迹法则，根据该法则，在合格时资格迹(traceeligibility(t))确定在该突触处突触的变化量： 
Figure G2006800535429D00081
其中s(t)是突触的突触前输入，且σ＝0.15，Δ是来自先前模拟周期的时间偏移。当突触前输入超过阈值时，突触变为符合在所设置的延迟后修改的条件，在此时刻，资格以指数形式下降。改变下文中描述的BBD10的学习阶段中的延迟，以便研究不同延迟时段的影响。所研究的延迟时段为0、2、4和8秒。 
视觉和运动处理。如上文所述，由在16处大体示出的摄像机将视觉信息提供给BBD10，该摄像机以每秒30帧来采集图像。用来描述视觉预处理的细节在下文中描述。在本发明的训练/测试示例中，对红橙色存在作出反应的模拟神经系统12的神经元单元提供了向系统12的视觉输入(图2中的Visual Input)。 
视觉条纹(streak)或模糊提供了运动信息。BBD10中的视觉图像的条纹和模糊由视觉神经区域之间的神经元持续和相互连接的组合来实现。水平和垂直边缘以及方向选择性反应从模糊的视觉图像推导得到。
模拟皮层区域MT中的神经元单元的激活是方位选择性(orientation-selective)神经元单元与方向选择性(direction-selective)神经元单元同时活动的结果。例如，如下文中关于表S2更完整地描述，当垂直方位神经元单元与向下运动选择性单元在给定感受域(receptive field)中共同活动时，在同一感受域处图2中所示的神经元单元MT-Down是活动的。 
运动神经输出。BBD10的运动由速度(米/秒)和转向速度(度/秒)命令来控制。在给定转向速度时，转向的半径是速度的函数；即，零速度时的转向速度导致BBD10原地(in place)转动，而较高速度时的相同转向速度导致较大的转向。BBD10的转向速度可基于Motor-Turn36(见图2)的活动来设置(例如，BBD10的左部的活动导致向右转向)。经由下橄榄核通过IR输入(IR-Turn)(图2中的IO-Turn→Motor-Turn)来影响Motor-Turn36的活动，并经由小脑通过视觉输入(Visual Input)(图2中的DCN-Turn→Motor-Turn)来影响Motor-Turn36的活动。BBD10的速度基于Motor-Velo区域38的活动来控制。当没有运动神经活动时，速度被设置为最大值1.25米/秒。然后Motor-Velo区域基于在16处大体显示的用于以信号表示障碍物的IR探测器的数量来使BBD10减速；即，被激活的IR探测器16越多，速度越慢。经由下橄榄核通过IR-Velo输入(图2中的IO-Velo→Motor-Velo)来影响Motor-Velo38的活动，并经由小脑通过视觉输入(Visual Input)(图2中的DCN-Velo→Motor-Velo)来影响Motor-Velo38的活动。 
计算。模拟神经系统12的神经模拟运行于Beowulf集群上，如前所述，所述Beowulf集群是在BBD10上的并且包含运行Linux操作系统的六个2.4GHz Pentium IV计算机。在模拟神经系统12的每次模拟期间，处理传感输入，计算所有神经元单元的状态，确定所有可塑连接的连接强度并产生运动神经输出。执行每次模拟周期需要大约40毫秒实时，其受到该特定实施例的集群的计算能力限制。较短的周期时间可能是优选的，但40毫秒周期时间足够接近在16处大体示出的摄像机的30Hz帧速率。在每次模拟周期期间，模拟神经系统12的所有神经元活动和BBD的状态可被保存在BBD10上的磁盘驱动器(未示出)的硬盘上。可以参考2005 年11月24日公布的公开号为2005/0261803A1的美国专利，所述美国专利转让给本发明的受让人并具有相同的发明人，并且并入此处作为参考，用于与具有多处理器计算机结构的基于脑的设备有关的更多细节，所述多处理器计算机结构例如是可用于实现本发明的Beowulf集群。 
表S1。该表S1显示了用于定义图2的模拟神经系统12中神经元单元属性的参数值。区域Red、Ver、Hor、DirUp、DirDown、DirLeft和DirRight是输入区域，并且它们的活动是基于来自图1A的16处大体示出的摄像机的图像。IO-Turn和IO-Velo是输入区域，并且它们的活动是基于在16处大体显示的IR邻近探测器。表S1指示了每个区域或子区域(尺寸)中的神经元单元的数量。每个区域中的神经元单元具有专用的冲动阈值(σ-fire)和持久性参数(ω)，高于所述冲动阈值(σ-fire)，与电压有关的连接可具有效果(σ-vdep)。 
用于定义模拟神经系统中神经元单元属性的参数值 
Figure G2006800535429D00101
Figure G2006800535429D00111
表S1 
表S2。该表S2显示了模拟神经系统12中的解剖投影和连接类型的属性。突触前神经元单元以给定的概率(p)和给定的投影形状(分枝)连接到突触后神经元单元。该分枝形状可以是：具有高度和宽度的矩形“block[h，w]”；非拓扑“nontopo”，其中任意的突触前和突触后神经元单元对具有给定的连接概率；或“重合”，其中存在从突触前感受域到突触后感受域的一对一投影，并且如果所有已连接的突触前单元在高于冲动阈值是活动的，则这些连接仅对突触后单元具有效果。在最小和最大值[min，max]给定的范围内，以均匀分布来随机设置初始连接强度cij(0)。cij(0)的负值指示抑制连接。连接类型可以是与电压无关的(VI)或与电压相关的(VD)。学习率η的非零值表示可塑连接，其中η的正值指示突触增强，而η的负值指示突触减弱。 
模拟神经系统中的解剖投影和连接类型的属性 
Figure G2006800535429D00112
Figure G2006800535429D00121
表S2 
神经元动力学和突触可塑性。基于脑的设备(BBD)10的模拟神经系统12中的神经元单元由平均冲动率模型来模拟，而且神经元单元之间的突触连接(神经区域之内以及神经区域之间)被设置为与电压无关的或与 电压有关的，以及可塑的或不可塑的。与电压无关的连接提供了与突触后状态无关的突触输入。与电压有关的连接表示需要突触后的去极化被激活并倾向于在神经元动力学中扮演调节作用的受体(receptor)类型(例如NMDA受体)的贡献。 
每个神经元单元的平均冲动率在从0(静止的)到1(最大冲动)的范围内连续变动。神经元单元的状态根据其当前状态和来自与电压无关以及与电压有关的输入的贡献而更新，如在Krichmar，J.L and Edelman，G.M.(2002)Cereb Cortex，818-30；and Seth，A.K.，McKinstry，J.L，Edelman，G.M.and Krichmar，J.L(2004)Cereb Cortex，1185-99中所描述的。 
从单元j到单元i的与电压无关的输入为： 
A ij VI ( t ) = c ij s j ( t ) , - - - ( 6 )
其中sj(t)是单元j的活动，cij是从单元j到单元i的连接强度。对单元i的与电压无关的突触后的影响
Figure G2006800535429D00132
通过将输入至单元i上的所有输入相加来计算： 
POST i VI ( t ) = Σ j = 1 N ( A ij VI ( t ) ) ; - - - ( 7 )
其中N是连接个数，可以来自投影到单元i的不同的在解剖学上定义的连接类型(见表S2)。从单元j到单元i的与电压有关的输入为： 
A ij VD ( t ) = Φ ( POST i VI ( t ) ) c ij s j ( t ) , 其中
Figure G2006800535429D00135
其中
Figure G2006800535429D00136
是突触后活动的阈值，在该阈值以下，与电压有关的连接没有效果(见表S1)。 
对单元i的与电压有关的突触后的影响由下式给出： 
POST i VD ( t ) = Σ j = 1 N ( A ij VD ( t ) )
对神经元单元i的总的突触后的影响由下式给出： 
POST i = POST i VI + POST i VD
新的活动由以下激活函数确定： 
si(t+1)＝φ(tanh(POSTi+ωsi(t)))，其中
Figure G2006800535429D001310
其中ω确定了从一个周期到下一个周期单元活动的持续性，gi是缩放因数，
Figure G2006800535429D00141
是单元特定的冲动阈值。神经元单元的特定参数值在表S1中给出，且突触连接在表S2中规定。 
延迟资格迹学习法则。突触强度受制于根据突触法则的修改，该突触法则取决于突触前的、突触后的和下橄榄核IO的活动。专用于精密标度突触连接的参数设置在下文的方程式以及表S2中给出。 
cij中的突触变化由下式给出： 
Δcij(t+1)＝ηsi(t)*traceeligibility(t)*(IOi(t)-0.02)； 
其中si(t)是突触后单元的活动，tracej(t)是突触j的资格迹，IOi(t)是与单元i对应的下橄榄核IO单元的活动，η是固定的学习率。该学习率支持并行的纤维-浦肯野细胞(PC)突触处的增强和减弱。当下橄榄核IO活动于基线冲动率之上时，该机制引起突触的减弱，且当下橄榄核IO活动于基线冲动率之下时，该机制引起突触的增强。当不存在来自下橄榄核(IO)的误差时，该学习法则支持学习反应的消失。 
突触的可塑性是基于本发明的延迟资格迹法则的，如上所述，其中在合格时资格迹(traceeligibility(t))确定在该突触处突触的变化量： 
Figure G2006800535429D00142
其中s(t)是突触的突触前输入，且σ＝0.15，Δ是来自先前模拟周期的时间偏移。这就意味着当突触前输入超过阈值时，突触变为符合在所设置的延迟后修改的条件，在此时刻，资格以指数形式下降。如下文所述，改变延迟以便研究不同延迟时段的影响。所研究的延迟时段为0、2、4和8秒。 
延迟资格迹学习法则工作如下(假定4秒延迟)： 
在BBD10的学习阶段之前
1.在时刻0处，视觉输入(Visual Input和皮层区域MT)激活高于阈值的PN→DCN和PN→PC突触。
a.这些高于阈值的突触被置于板上计算机集群的延迟缓冲器中。 
b.DCN活动不足以强到诱发运动神经反应。 
2.4秒后BBD10碰到障碍物 
a.已置于延迟缓冲器4秒或更多秒的突触现在符合突触变化的条件。 
b.出现来自下橄榄核IO的误差信号。 
c.合格的PN→DCN和PN→PC由于IO活动而改变。 
d.IO→DCN连接足够强以诱发远离障碍物的运动神经反应。 
在学习阶段之后以及在测试阶段期间
1.在时刻0，视觉输入激活高于阈值的PN→DCN和PN→PC突触。 
a.这些高于阈值的突触被置于延迟缓冲器中。 
b.由于先前的突触变化，DCN活动现在诱发运动神经反应。 
c.BBD10在碰撞发生前就很好地转向离开障碍物。 
2.4秒后BBD10没有碰到任何障碍物 
a.不会出现来自IO的误差信号。 
c.没有另外的突触变化发生。 
传感输入 
视觉和运动处理。在一个实施例中，视觉信息由在16处大体显示的Sony IEEE1394CCD摄像机提供给BBD10，所述摄像机以每秒30帧采集640×480像素的图像。未处理的传感像素数据被分为亮度和颜色通道(YUV颜色空间)。亮度信息馈入用于红、绿、蓝、黄、粉和紫色的一组颜色探测器。为了加快基于颜色的目标识别，通过使用用于UV颜色空间上每个颜色的计算机集群的查找表来识别颜色。颜色表中的值可被视为属于该特定颜色的特定UV坐标的概率。在本发明的训练和测试阶段，仅使用红色探测器，且该红色探测器被调到图1A、1B中所示的对运动神经任务路线进行标记的锥形路标的颜色。该红色探测器被馈入神经模拟(表S1和S2中的Red)。 
如前所述，视觉条纹或模糊可提供运动信息。运动条纹由Red与Streak神经区域(见表S1和S2)之间的神经元持续和相互连接的组合来实现。水平和垂直边缘通过对具有滤波器的Streak神经区域在水平和垂直方位上 进行卷积来确定，所述滤波器例如为8x8 Gabor滤波器。卷积的结果直接输入神经组Hor和Ver。针对上、下、左和右的方向选择性反应由先前的和当前的Streak神经活动的互相关来确定。互相关的结果直接输入图2中显示的模拟神经系统12的神经区域DirUp、DirDown、DirLeft和DirRight。 
d ij ( x , y ) = 0.25 * Σ s = 5 8 Streak ( t - 1 , x + s * i , y + s * j ) * Streak ( t , x , y ) ;
其中dij(x，y)是方向选择性神经元单元(x，y)的激活，i被设置为针对左是-1且针对右是+1，j被设置为针对下是-1且针对上是+1。Streak(t，x，y)是时刻t处的Streak神经元单元(x，y)，s是速度或像素偏移。 
对模拟皮层区域MT24中的神经元单元的激活是方位选择性神经元单元与方向选择性神经元单元同时活动的结果。例如，当垂直方位神经元单元(即V-V)和向下运动选择性单元(即Down)在给定的感受域(见表S2)中共同活动时，在同一感受域处的MT-Down神经元单元(见图2)是活动的。这种组合清楚地对运动进行编码。 
运动神经误差信号。图7A-7B示出了从在16处大体示出的IR邻近探测器到下橄榄核IO的误差信号以及BBD10的运动神经系统的映射。在16处大体示出的IR邻近探测器或传感器阵列被布置为BBD10前面的一行11个传感器。如图7A中所示，映射是从IR传感器到转向命令。IR信号直接映射到用于转向误差的下橄榄核IO信号(IO-Turn)，所述下橄榄核IO信号(IO-Turn)映射到用于转向命令的运动神经区域(Motor-Turn)上。发向BBD10中心的IR信号以信号表示接近正面碰撞并导致硬性(hard)的转向离开障碍物，而侧面指向BBD10的IR信号导致较轻程度的转向离开障碍物。从小脑深部核团DCN到运动神经区域的投影(DCN→Motor-Turn)(在图2中指示)未在图7A中示出。 
在图7B中，映射是从IR邻近探测器或传感器16到速度信号。BBD10的速度由高于阈值的IR探测器16的数量和量值的函数来控制；即，当越多的IR探测器16以信号表示附近的障碍物时，BBD10被命令运动得越慢。∑指对所有IR值求和。速度函数导致针对速度误差而设置下橄榄核IO(IO-Velo)的活动，所述下橄榄核(IO-Velo)的活动映射到用于速度控制的运动神经区域(Motor-Velo)。从小脑深部核团DCN到运动神经区域的 投影(DCN→Motor-Velo)(在图2中指示)未在图7B中示出。 
在当前的视觉眼肌运动训练和测试阶段，当BBD10在距障碍物一英尺内时，由在16处大体示出的红外(IR)邻近探测器以信号表示运动神经误差。IR探测器16给出了从0.0到1.0的归一化信号，其中0.0表示在IR的探测范围内没有目标，1.0表示在IR探测器16的一英寸之内有目标。IR探测器阈值设置为0.5，这与大约12英寸相对应。从0.5到1.0的IR信号大致是线性的。 
下橄榄核IO部位将运动神经误差信息发送到模拟小脑26。在16处大体示出的IR探测器被转换为用于转向误差(图7A中的IO-Turn)和速度误差(见图7B中的IO-Velo)的下橄榄核IO激活，使得BBD10离开障碍物并当存在障碍物时减速。基于相应的IR邻近探测器16(见图7A)的值来设置IO-Turn区域。基于高于阈值的活动的IR探测器16(见图7B)的数量来设置IO-Velo区域： 
IOVelo(i)＝IRmax(1-(IRnum-i))4； 
其中IRmax是所有IR探测器16中的最大值，i是从1到11的范围内变动的索引，IRnum是高于阈值的IR探测器(见图7)的数量。 
运动神经输出。BBD10的运动由速度(米/秒)和转向速度(度/秒)命令来控制。在给定转向速度时，转向的半径是速度的函数；即零速度时的转向速度导致BBD10在原地转动，而较高速度时同一转向速度导致较大的转向。 
输出至图1A中所示的BBD10的车轮的运动神经是从运动神经区域的活动(见表S1和S2中的Motor-Turn和Motor-Velo)推导得到的。BBD10的转向速度是基于Motor-Turn的活动(见图7A)来设置的。计算Motor-Turn的活动的质心，并将其用于控制BBD10的转向。与设备(例如图7A中的Mott5)中心稍微偏左位置相对应的活动导致最高的向右转向速度(1.3度/秒)，与设备(例如图7A中的Mott1)的侧面左边相对应的活动导致最低的向右转向速度(0.26度/秒)。向左转向以相同的方式来计算。经由下橄榄核通过IR输入来影响Motor-Turn的活动(见表S2中的IO-Turn→Motor-Turn)，并经由小脑通过视觉输入来影响Motor-Turn的活动(见表S2中的DCN-Turn→Motor-Turn)。
BBD10的速度是基于Motor-Velo区域的活动(见图7B)来控制的。该区域中的活动Motor-Velo引起BBD10速度的减速。当没有运动神经活动时，该速度被设置为最大值1.25米/秒。Motor-Velo区域基于以信号表示障碍物的IR探测器(在16处大体示出)的数量来使BBD10减速；即，被激活的探测器越多，速度越慢。经由下橄榄核通过IR输入来影响Motor-Velo的活动(见表S2中的IO-Velo→Motor-Velon)，并经由小脑通过视觉输入来影响Motor-Velo的活动(见表S2中的DCN-Velo→Motor-Velo)。 
图8A-8C和图8D-8F示出了BBD10的速度和转向速度的分布。左列示出了针对图1B中示出的逐渐、中等和急剧转向路线的速度运动神经命令直方图。右列示出了针对图1B中的逐渐、中等和急剧转向路线的转向命令直方图。频率是指在给定的速度(左列)和转向速度(右列)时模拟周期的数量。 
图9A和9B示出了BBD10从图1B中的一条路线到另一条路线的自适应。该图示出了在每个条件下针对五个主体(subject)的平均运动神经误差，且误差条表示标准差。图9A示出了来自逐渐组(gradual)的主体与在图1B的急剧路线上训练并自适应到图1B的逐渐路线(sharp2grad)的主体的比较。Sharp2grad组在前6圈(lap)具有明显比gradual组更低的运动神经误差(p<0.005的单尾t检验)。图9B示出了来自急剧组(sharp)的主体与在图1B的逐渐曲线上训练并自适应到图1B的急剧路线(grad2sharp)的主体的比较。所述grad2sharp组在前6圈具有明显比sharp组更低的运动神经误差(p<0.005的单尾t检验)。 
图10A和10B指示从小脑前核(PN)到浦肯野细胞(PC)和小脑深部核团(DCN)的权重。每个像素指示从PN中的细胞到PC或DCN中的细胞的权重的值。由于在该实施例中有30x40PN神经元单元(见表S1)并且在PC-Turn和DCN-Turn中有11个细胞，所以每行中有11个基质，一个30x40映射到每个PC或DCN神经元单元。灰度级指示强度，其中最大值为白色且最小值为黑色。所有权重都初始化为0.5(中等灰度)。所以，较暗的像素指示已经过减弱的权重，较亮的像素指示已经过增强的权重。在图10A中，从PN到PC-Turn和DCN-Turn的权重包含在转向控制中。权重是用于在图1B的中等路线中训练之后的一个BBD10主体。最小权 重值是0.00且最大权重值是0.78。在图10B中，从PN到PC-Velo和DCN-Velo的权重包含在速度控制中。权重是用于在图1B的中等路线中训练之后的一个BBD10主体。最小权重值是0.00，最大权重值是0.70。 
图11A和11B示出了在训练之前和之后的单次通过(single pass)期间来自图1B中所示逐渐路线上所选择的神经区域的反应。这些图示出了模拟小脑如何工作，以及神经活动的变化如何与改进的性能相关。图11A显示了针对代表性“主体”的首次训练通过。活动显示了在由BBD10与图1A中所示的锥形路标的碰撞或接近碰撞所激活的反射作用期间的反应。在图11A(a)中，与显示为橙色的路径边界相对的显示为绿色的BBD 
10的位置被显示用于每个模拟周期。图示(b)-(i)指示各种神经区域中每个神经元单元随时间的动态活动，以灰度级显示。白色指示最大活动，黑色指示没有活动。(b)-(e)显示了用于控制转向的小脑电路中的活动。(b)与转向有关的下橄榄核活动由在16处大体示出的IR探测器来驱动，所述探测器指示图1A的BBD10的前面各种方向上锥形路标的范围。详细的映射在图7A中给出。(c)与转向有关的浦肯野细胞(PC-Turn)活动通过与DCN-Turn的地形学(topographic)抑制连接而影响转向。(d)与转向有关的小脑深部核团(DCN-Turn)活动通过向Motor Turn区域的地形学激发投影来控制转向。(e)与转向有关的运动神经区域活动(MotorTurn)。神经元单元1-5增大了BBD10的左车轮速度，导致向右转向，而单元7-11增大了右车轮的速度，导致向左转向。详细的映射在图7A中给出。(f)-(i)示出了用于控制速度的小脑电路中的活动。(f)从IR输入到IO-Velo激活的详细映射在图7B中给出。(g)与速度有关的浦肯野细胞(PC-Velo)活动与DCN-Velo的地形学抑制连接而影响速度。(h)与速度有关的小脑深部核团(DCN-Velo)活动通过向Motor Velo区域的地形学激发投影来控制速度。(i)速度命令运动神经区域活动(Motor Velo)。制动信号是具有较强总IR活动的群体反应，激活更高数目的神经元并导致更大程度的减速。 
图11B示出了在训练结束时来自图11A中显示的相同路线上所选择的神经区域的动态神经反应。图11B(a)-(i)如图11A中。有几点区别需要注意。首先，在训练之后，BBD10行进到距路径的中心较近处(比 较图11A(a)与11B(a))，并且在下橄榄核中有与较小误差有关的活动(图11A(b)对11B(b)以及11A(f)对11B(f))。其次，不同于图11A(d)和(h)中，图11B(d)和11B(h)示出了来自DCN区域的运动神经输出，所述运动神经输出领先于不存在与误差有关的IC活动而出现。最后，在学习之后，特定的PC神经元单元是不活动的(图1lA(c)对图11B(c)且图11A(g)对图11B(g))，对用于转向(图11A(d)对图11B(d))和制动(图11A(h)对图11B(h))的相应DCN神经元单元解除抑制，导致沿着路径中心平稳运动。 
结果总结 
运动神经学习是在如图1A、1B中所示的由一组橙色锥形交通路标所标记的各种“S”形曲线路线上评估的。用于该任务的平台是被改进以便具有摄像机、激光测距仪和红外邻近探测器作为输入的Segway RoboticMobility Platform(RMP)，所述摄像机、激光测距仪和红外邻近探测器都在16处大体示出。BBD10的模拟神经系统12包含28个神经区域、27688个神经元单元以及大约160万个突触连接，如表S1中指示。使用嵌入式Beowulf计算机集群，每个模拟周期中要用大约40ms实时来更新模型中的所有神经元单元和可塑连接。 
BBD10的性能是在三个不同的路线(图1B)上测试的：急剧的一组转向(“急剧”)、适中的一组转向(“中等”)和逐渐的一组转向(“逐渐”)。BBD10穿过每条路线直到到达结束处；然后BBD10转回来并反向穿过该路线。每次穿行在该说明书中都表示为圈(lap)。BBD10的训练包括20圈，之后有4圈测试，在所述4圈测试期间，由IR驱动的反射被钝化(inactivate)并且仅视觉线索可用于BBD10。 
下橄榄核(IO)被确信为将运动神经误差信息发送到小脑。在本视觉眼肌运动任务中，当BBD10在距障碍物一英寸内时，由红外(IR)邻近探测器16以信号表示运动神经误差。IR探测器反应被转换为用于转向误差(图2中的IO-Turn)和速度误差(图2中的IO-Velo)的下橄榄核IO激活，并使得BBD10反射地离开障碍物并当存在障碍物时减速。在学习之后，视觉运动线索单独就足够驱动BBD10沿着曲线路线的中心(图2中的MT→DCN→Motor)平稳运动。
学习由运动神经误差的量值来测量，反映了IR反应对障碍物的每圈平均值，其中IR值在从0(即IR范围内没有目标)到1(即距IR探测器16一英寸内有目标)的范围内变动。对五个不同“主体”重复地进行训练和测试。每个主体都是物理上同一BBD10，但每个主体都具有唯一的模拟神经系统。主体当中的这种变异性是个体神经元单元之间的连接和那些单元之间的初始连接强度(见表S2)的概率分布的随机初始化的结果。神经区域当中的连接性的总体布局保持相似，然而是在不同主体之间。在每个模拟周期，运动神经误差、BBD10的转向速度和速度以及所有神经元单元的状态可被记录用于分析。 
跟踪延迟(如上所述)对用于驾驶在由图1A中所示橙色锥形路标指定的路径上的能力所产生的影响可通过改变延迟间隔来测试。以恒定速度(最大速度的60％或0.75m/s)在中等路线(图1B)上测试延迟间隔0、2、4和8秒。在这些测试期间，要使用于控制速度的神经通路不存在。作为控制，存在“没有学习”的组，在该组中，DCN→Motor连接被损坏，且仅由IR反射来驱动行为。 
延迟资格迹学习法则在该任务中的2秒和4秒延迟时是最有效的(图3A)。在大约五圈之后，具有2秒和4秒延迟的法则的BBD10主体从不灵活的运动和锥形路标碰撞转变为沿着路径中心的平稳运动。在训练之后，来自IO的连接被损坏并且仅用视觉线索(图3B)来测试模拟神经系统。如图3B中可见，运动神经误差在适中的延迟(2秒或4秒)情况下明显比在长延迟(8秒)、没有延迟或没有学习的情况下要低。 
在变化转向情况下穿过三种路线——急剧、中等和逐渐的路线的成功的性能需要在合适的时刻合适的量值的制动与转向的组合。并入到延迟资格迹学习法则的4秒延迟足够用于在所有三种路线上成功驾驶(见图4)。主体学习在转向之前和转向期间减速，且主体学习在合适的时刻以合适的方向转向。包含大致90度转向的急剧路线上的主体比其他路线上的主体具有稍差的性能。然而，在测试阶段，经过小脑学习的主体在所有三种路线上明显比没有学习的主体完成得更好(图4B-D)。 
主体将它们的行为与每条路线的细节进行自适应(图8)。例如，主体在逐渐路线上比在急剧路线上快。急剧路线上的成功需要更低的速度和更 频繁的向左或向右转向。逐渐路线上的主体通常以最大速度继续行进在直路上，并同时减速并稍稍在曲线上转向。在一条路线上的学习可推广到其他路线。例如在急剧路线上训练过的主体在逐渐路线上再次训练(见图9A)，且在逐渐路线上训练过的主体在急剧路线上再次训练(见图9B)。在两种情况下，训练过的主体都显示出在早期训练圈(例如圈1-6)上比未训练过的主体明显更好的性能(p<0.005的单尾t检验)。然而，从逐渐路线自适应到急剧路线可能需要附加的训练，以达到最佳性能。 
应用BBD10的突触神经建模方法允许在真实世界中执行行为任务期间对所有等级的模拟神经系统12的所有组件的状态和相互作用进行同时记录，所述真实世界与上述参考的已公布专利申请中描述的真实世界相似。为了理解所述线索触发BBD的运动神经命令，可以分析对BBD的训练和测试期间来自神经元单元的反应和突触权重的变化。特别感兴趣的是跟踪从运动神经输出单元反向到用于视觉运动的模拟皮层区域的活动。 
模拟神经系统12基于运动线索来启动合适的运动神经反应。一种称为反向跟踪过程的公知方法通过在特定时刻选择特定的参考神经元单元并递归地检查导致该参考单元中观察到的活动的所有神经元单元的先前活动来识别功能通路；见Krichmar，J.L，Nitz，D.A.，Gally，J.A.& Edelman，G M.(2005)Proc Natl Acad Sci USA102，2111-6。 
例如，40ms时间步长被反向跟踪，开始于运动神经区域(Motor-Turn和Motor-Velo)中的参考神经元单元，所述参考神经元单元引起由在皮层区域MT中的运动选择性神经单元所指定的减速、左转和右转。在学习发生之后的圈11-20中执行这些反向跟踪，在所述圈11-20中有较低的运动神经误差。以Motor-Turn或Motor-Velo中的运动神经参考单元开始，所述反向跟踪首先识别其他神经元单元的列表，所述神经元单元物理地连接到参考单元且在先前的时间步长期间是活动的。然后该过程可重复用于神经元单元的这个新列表。迭代该处理直到导致运动神经参考事件的皮层MT单元被识别。使用该方法，产生反向跟踪网络，所述反向跟踪网络包括377个左转和280个右转。这些反向跟踪表示穿过从感官知觉到运动神经动作的网络的神经元单元的直接因果(causal)链(即图2中的MT→PN→DCN→Motor)。
图5示出了MT单元的合成物，该合成物在训练之后导致成功的运动。被选择用于运动神经的运动的MT单元响应方向性转向和位置性信息的组合。例如，MT-Right的左上感受域中的活动致使向右转，MT-Down的左下感受域也致使向右转。 
经验导致神经元动力学中的转换：最初，IR探测器输入导致IO活动，所述IO活动驱动运动神经元。在学习之后，视觉输入导致DCN活动，所述DCN活动然后在来自IO的任何误差信号之前驱动运动神经元(见图11)。这些变化由突触效能的变更所引起，其中PC突触处的减弱导致对DCN神经元单元的解除激活，而这导致驱动运动神经活动的DCN活动。在更小的程度上，DCN突触处的增强还增加了DCN对视觉线索的反应(见图10)。 
基于本发明的延迟资格迹学习法则，还可以检查由取决于经验的可塑性变化引起的突触权重的变化。PC突触处的减弱主要负责速度控制(见图10B)和转向(见图10A)。指示图1A中所示的锥形路标附近的运动线索不论是在视野的一侧或另一侧都触发制动行为。此外，当将响应不同路线(急剧、中等、逐渐)而比较突触权重变化时，在急剧路线与逐渐路线相比较(图6)并与急剧路线上的BBD总体较低速度(见图8)相联系的情况下，连接的数量和强度的改变程度更大。负责转向控制的权重变化(见图10)显示了与图5中所示MT反应相一致的图案。小脑的增强和减弱外加所建议的来自IO的反射误差信号和延迟资格迹学习法则一起足够根据小脑中已知的突触学习法则来调节权重。 
已提供本发明的优选实施例的前述说明书用于图示和描述。该说明书不意欲详尽彻底或将本发明限制到所公开的精确形式。许多修改和变更对本领域技术从业者是很明显的。选择并描述了实施例，以便最佳地解释本发明的原理及其实际应用，从而使其他本领域技术人员能够理解本发明、各种实施例以及适合于所预期特定用途的各种修改。本发明的范围由所附权利要求及其等价物来限定。

Claims (11)

1.一种基于脑的设备，包括：
a)使得所述基于脑的设备能够在真实世界环境中运动的装置；
b)模拟神经系统，与真实世界环境相互作用，用于控制所述装置以使得所述基于脑的设备在真实世界环境中运动；
c)所述模拟神经系统包括具有突触的小脑模型，所述突触仅在给定时间间隔之后符合可塑性的条件，从而使所述模型能够预测所述装置的运动神经控制；以及
d)其中，所述设备具有真实世界环境学习模式和真实世界环境后学习模式，以预测所述设备的运动路径中的障碍物，其中，在学习模式期间，
(i)在时刻t0处，对所述基于脑的设备的视觉输入激活小脑模型中高于阈值的特定突触，所述特定突触存储在延迟缓冲器中，且小脑模型的活动不能诱发运动神经反应以控制所述装置；以及
(ii)在时刻t0之后的时刻tn处，存储在缓冲器中的特定突触符合突触变化的条件，响应于所述基于脑的设备的运动路径中的障碍物而产生误差信号，响应于所述误差信号发生所述特定突触的突触可塑性变化，且突触连接变得能够诱发所述装置的运动神经控制，从而使所述基于脑的设备离开障碍物。
2.根据权利要求1所述的基于脑的设备，其中，在后学习模式期间，
a)在时刻t0处，对所述基于脑的设备的视觉输入激活高于阈值的特定突触，所述特定突触存储在延迟缓冲器中，小脑的活动诱发运动神经控制反应，而且由于在学习模式期间发生突触变化，使得所述基于脑的设备在碰撞之前避开该设备的路径中的障碍物；以及
b)在时刻t0之后的时间段中，不产生误差信号而且不发生其他突触变化。
3.根据权利要求2所述的基于脑的设备，其中，所述小脑的所述模型包括小脑前核(PN)、具有浦肯野细胞(PC)的小脑皮层、小脑深部核团(DCN)以及下橄榄核(IO)，所述小脑前核向所述小脑皮层进行输出，所述浦肯野细胞(PC)抑制用于所述基于脑的设备的转向和速度控制的所述小脑深部核团(DCN)，而且所述下橄榄核(IO)模拟至所述小脑皮层的攀缘纤维输入。
4.根据权利要求3所述的基于脑的设备，其中，所述模拟神经系统还包括用于向所述浦肯野细胞(PC)提供输入的视觉皮层区域(MT)。
5.根据权利要求4所述的基于脑的设备，其中，所述装置包括用于向所述视觉皮层区域(MT)提供视觉输入的摄像机。
6.根据权利要求5所述的基于脑的设备，其中，所述装置包括用于向所述下橄榄核(IO)提供转向和速度输入的探测器。
7.根据权利要求6所述的基于脑的设备，其中，所述装置包括运动神经以及由所述运动神经驱动的轮子，而且所述运动神经从所述小脑深部核团(DCN)和所述下橄榄核(IO)接收输入，以控制所述基于脑的设备的转向和速度。
8.根据权利要求7所述的基于脑的设备，其中，所述给定时间间隔是2-4秒范围内的固定延迟。
9.一种用于控制可移动的基于脑的设备在真实世界环境中运动的方法，所述基于脑的设备包括对小脑进行建模的模拟神经系统，所述方法包括：
在所述基于脑的设备的学习阶段，(i)提供视觉输入以激活高于阈值的从小脑前核(PN)到浦肯野细胞(PC)以及从小脑前核(PN)到小脑深部核团(DCN)的突触，(ii)存储高于阈值的这些突触，(iii)在特定时间之后，在所述可移动的基于脑的设备碰到障碍物的情况下产生误差信号，(iv)提供从下橄榄核(IO)到PN→PC和PN→DCN路径的突触的误差信号，其中已针对至少所述特定时间而存储的这些突触经历由误差信号引起的突触变化，而且路径IO→DCN中的突触连接能够诱发反应，从而使所述可移动的基于脑的设备离开障碍物。
10.根据权利要求9所述的方法，还包括：
在测试阶段，(i)提供视觉输入以激活路径PN→PC和PN→DCN中高于阈值的突触，(ii)存储所述高于阈值的突触，其中，由于学习阶段期间的突触变化，小脑深部核团(DCN)的活动诱发反应，以使所述基于脑的设备避开障碍物，以及(iii)在特定时间之后，不会从下橄榄核(IO)产生误差信号，而且不会发生其他突触变化。
11.根据权利要求10所述的方法，其中，所述特定时间是预定的，而且在2-4秒范围内。
CN2006800535429A 2005-12-28 2006-12-27 具有小脑模型的基于脑的设备及其运动控制方法 Expired - Fee Related CN101390100B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US75422905P 2005-12-28 2005-12-28
US60/754,229 2005-12-28
PCT/US2006/062634 WO2007076516A2 (en) 2005-12-28 2006-12-27 Brain-based device having a cerebellar model for predictive motor control

Publications (2)

Publication Number Publication Date
CN101390100A CN101390100A (zh) 2009-03-18
CN101390100B true CN101390100B (zh) 2012-05-30

Family

ID=38218872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800535429A Expired - Fee Related CN101390100B (zh) 2005-12-28 2006-12-27 具有小脑模型的基于脑的设备及其运动控制方法

Country Status (5)

Country Link
US (2) US7827124B2 (zh)
EP (1) EP1969513A4 (zh)
JP (1) JP5175218B2 (zh)
CN (1) CN101390100B (zh)
WO (1) WO2007076516A2 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006039797B4 (de) * 2006-08-24 2013-11-07 Qimonda Ag Verfahren zum Trainieren von Verbindungen in einer Speicheranordnung und entsprechend ausgestaltete Speicheranordnungen
EP2263150A2 (en) * 2008-02-27 2010-12-22 Tsvi Achler Feedback systems and methods for recognizing patterns
US8924322B2 (en) 2012-06-15 2014-12-30 International Business Machines Corporation Multi-processor cortical simulations with reciprocal connections with shared weights
US9563740B2 (en) * 2012-10-16 2017-02-07 The Florida International University Board Of Trustees Neural interface activity simulator
WO2016054779A1 (en) * 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Spatial pyramid pooling networks for image processing
CN105388757A (zh) * 2015-10-22 2016-03-09 北京航空航天大学 一种电动加载系统的复合控制方法
US10839302B2 (en) 2015-11-24 2020-11-17 The Research Foundation For The State University Of New York Approximate value iteration with complex returns by bounding
US10599976B2 (en) * 2016-11-07 2020-03-24 International Business Machines Corporation Update of attenuation coefficient for a model corresponding to time-series input data
US10928814B2 (en) 2017-02-24 2021-02-23 General Electric Technology Gmbh Autonomous procedure for monitoring and diagnostics of machine based on electrical signature analysis
US11301750B2 (en) * 2017-03-31 2022-04-12 Ecole Polytechnique Federale De Lausanne (Epfl) Simplification of neural models that include arborized projections
CN107341543B (zh) * 2017-06-18 2020-09-29 大连理工大学 一种基于强化学习的小脑模型建模方法
US10403116B2 (en) 2017-06-20 2019-09-03 General Electric Company Electrical signature analysis of electrical rotating machines
CN108388213B (zh) * 2018-02-05 2019-11-08 浙江天悟智能技术有限公司 基于局部可塑性回声状态网络的聚酯纺丝工艺控制方法
JP7107017B2 (ja) * 2018-06-21 2022-07-27 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
GB2575505B (en) 2018-07-13 2022-08-24 Centaur Robotics Ltd Mobility aid device and method of manufacturing
CN112060082B (zh) * 2020-08-19 2021-10-15 大连理工大学 基于仿生强化学习型小脑模型的在线稳定控制仿人机器人
CN112782844B (zh) * 2021-01-12 2023-03-31 中国科学院光电技术研究所 一种自适应光学系统稳定闭环控制方法
CN114872040B (zh) * 2022-04-20 2024-04-16 中国科学院自动化研究所 基于小脑预测与修正的肌肉骨骼机器人控制方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136687A (en) * 1989-10-10 1992-08-04 Edelman Gerald M Categorization automata employing neuronal group selection with reentry

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3477397A (en) * 1996-06-04 1998-01-05 Paul J. Werbos 3-brain architecture for an intelligent decision and control system
JP3271544B2 (ja) * 1997-03-05 2002-04-02 三菱電機株式会社 学習制御方法
CA2393535A1 (en) * 1999-12-07 2001-06-14 Krasnow Institute Adaptive electric field modulation of neural systems
US7822694B2 (en) * 2002-08-21 2010-10-26 New York University Neuro-mimetic control systems and methods
US7519452B2 (en) 2004-04-15 2009-04-14 Neurosciences Research Foundation, Inc. Mobile brain-based device for use in a real world environment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136687A (en) * 1989-10-10 1992-08-04 Edelman Gerald M Categorization automata employing neuronal group selection with reentry

Also Published As

Publication number Publication date
US20070194727A1 (en) 2007-08-23
CN101390100A (zh) 2009-03-18
EP1969513A4 (en) 2010-05-05
WO2007076516A2 (en) 2007-07-05
JP5175218B2 (ja) 2013-04-03
US8131658B2 (en) 2012-03-06
US20110047109A1 (en) 2011-02-24
WO2007076516A9 (en) 2007-08-16
WO2007076516A3 (en) 2008-04-10
EP1969513A2 (en) 2008-09-17
US7827124B2 (en) 2010-11-02
JP2009523276A (ja) 2009-06-18

Similar Documents

Publication Publication Date Title
CN101390100B (zh) 具有小脑模型的基于脑的设备及其运动控制方法
Chen et al. Learning by cheating
Lee A theory of visual control of braking based on information about time-to-collision
Khodayari et al. A modified car-following model based on a neural network model of the human driver effects
US10343279B2 (en) Navigational control of robotic systems and other computer-implemented processes using developmental network with turing machine learning
MacAdam et al. Application of elementary neural networks and preview sensors for representing driver steering control behaviour
Kim et al. Advisable learning for self-driving vehicles by internalizing observation-to-action rules
CN112703459A (zh) 对抗场景的迭代生成
Pomerleau Rapidly adapting artificial neural networks for autonomous navigation
JP2008507745A (ja) 海馬に基づく擬似神経システムを備えたモバイル頭脳ベースのデバイス
Hu et al. Learning a deep cascaded neural network for multiple motion commands prediction in autonomous driving
Almási et al. Robust reinforcement learning-based autonomous driving agent for simulation and real world
Babiker et al. Convolutional neural network for a self-driving car in a virtual environment
Chen et al. Cognitive map-based model: Toward a developmental framework for self-driving cars
de Diego et al. Analysis of hands activity for automatic driving risk detection
KR20220089772A (ko) 운전자의 주행 능력을 평가하는 주행 능력 평가 방법 및 그 방법을 수행하는 인적 요소 평가 시스템
CN112381376A (zh) 一种驾驶能力过程性评价的方法及装置
Maramotti et al. Tackling real-world autonomous driving using deep reinforcement learning
Suro et al. A hierarchical representation of behaviour supporting open ended development and progressive learning for artificial agents
EP4124995A1 (en) Training method for training an agent for controlling a controlled device, control method for controlling the controlled device, computer program(s), computer readable medium, training system and control system
Franke Autonomous Driving with a Simulation Trained Convolutional Neural Network
Sidani et al. A framework for learning implicit expert knowledge through observation
Chen Extracting cognition out of images for the purpose of autonomous driving
Trumpp et al. Efficient Learning of Urban Driving Policies Using Bird's-Eye-View State Representations
Hu et al. Slasher: Stadium racer car for event camera end-to-end learning autonomous driving experiments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20191227