CN102149319B - 阿尔茨海默氏症认知使能器 - Google Patents

阿尔茨海默氏症认知使能器 Download PDF

Info

Publication number
CN102149319B
CN102149319B CN2009801357066A CN200980135706A CN102149319B CN 102149319 B CN102149319 B CN 102149319B CN 2009801357066 A CN2009801357066 A CN 2009801357066A CN 200980135706 A CN200980135706 A CN 200980135706A CN 102149319 B CN102149319 B CN 102149319B
Authority
CN
China
Prior art keywords
data
waveform signal
patient
equipment
electroencephalogram waveform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801357066A
Other languages
English (en)
Other versions
CN102149319A (zh
Inventor
马蒂尼·罗思布拉特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uta Asia Limited
Original Assignee
Unither Neurosciences Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unither Neurosciences Inc filed Critical Unither Neurosciences Inc
Publication of CN102149319A publication Critical patent/CN102149319A/zh
Application granted granted Critical
Publication of CN102149319B publication Critical patent/CN102149319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/38Acoustic or auditory stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt

Abstract

一种使处于智力衰弱状态的用户能够进行交互的计算设备包括存储器、输入部件、处理器和输出部件。所述存储器配置成存储脑电图(EEG)波形信号的存储器。所述EEG波形信号是根据相关的识别数据生成。根据所述相关的识别数据生成响应数据并将该响应数据存储在所述存储器中。所述输入部件配置成接收来自用户的EEG波形信号。所述处理器配置成将接收到的EEG波形信号与存储的EEG波形信号相比较以确定接收到的脑电图波形信号与存储的脑电图波形信号是否匹配。所述输出部件配置成根据所述处理器的确定结果自动输出根据所述相关的识别数据生成的响应数据。

Description

阿尔茨海默氏症认知使能器
相关专利申请的交叉引用
本发明要求2008年9月19日提交的申请号为12/233,817的美国非临时专利申请的优先权和权益,该申请通过引用全部并入本文。
技术领域
本发明实施方式涉及用于改善患有使人衰弱的疾病的个人以及受到患者能力减弱影响的关心他们的人的生活质量的装置、系统和方法。
背景技术
影响人心智能力的使人衰弱的疾病,对于患者个人以及必须照顾该患者的家庭成员、朋友和看护者而言,都是特别难以忍受的。在智力上使人衰弱的疾病的一种形式是痴呆症。痴呆症是严重影响人实现日常活动的能力的大脑功能紊乱。在老年人中痴呆症最常见的形式是阿尔茨海默氏症(Alzheimer’s disease),这种疾病最初影响大脑控制思想、记忆和语言的部分。在阿尔茨海默氏症的早期,失忆是最常见的症状,表现为难以记起最近知晓的事实,然而其起初经常被误诊为与年龄有关的失忆或压力过大。随着患者(他或她)感官能力的下降,随后的症状包括混乱、愤怒、情绪波动、语言能力减退、长期失忆以及普遍衰退。每个人都以独特的方式经受阿尔茨海默氏症的症状。这种疾病的持续时间为5年至20年之间。
当前,阿尔茨海默氏症不能治愈,而且也没有有效的方法使阿尔茨海默氏症患者在这种疾病的各种阶段与家人和朋友进行有效地交互。
因此,需要一种使阿尔茨海默氏症患者能在这种疾病的各种阶段与家人、朋友和看护者等人进行有效交互的装置、系统和方法。
发明内容
因此,本发明公开了一种阿尔茨海默氏症认知使能器,使阿尔茨海默氏症患者能够在阿尔茨海默氏症的各种阶段与家人、朋友、看护者等人进行有效地交互。
根据本发明的一种实施方式,一种使处于智力衰弱状态的用户能够进行交互的计算设备包括存储器、输入部件、处理器和输出部件。其中,所述存储器配置成存储脑电图(EEG)波形信号。所述脑电图波形信号是根据相关的识别数据生成。根据所述相关的识别数据生成响应数据并且将该响应数据存储在所述存储器中。所述输入部件配置成接收来自用户的脑电图波形信号。所述处理器配置成将接收到的脑电图波形信号与存储的脑电图波形信号相比较以确定接收到的脑电图波形信号与存储的脑电图波形信号是否匹配。所述输出部件配置成根据所述处理器的确定结果自动输出根据所述相关的识别数据生成的响应数据。
根据本发明的另一种实施方式,一种使处于智力衰弱状态的用户能够进行交互的计算系统包括计算设备和服务器计算机。所述计算设备包括存储器、输入部件、处理器和输出部件。所述存储器配置成存储脑电图波形信号。所述脑电图波形信号是根据相关的识别数据生成。根据所述相关的识别数据生成响应数据并且将该响应数据存储在所述存储器中。所述输入部件配置成接收来自用户的脑电图波形信号。所述处理器配置成将接收到的脑电图波形信号与存储的脑电图波形信号相比较以确定接收到的脑电图波形信号与存储的脑电图波形信号是否匹配,以及,所述输出部件配置成根据所述处理器的确定结果自动输出根据所述相关的识别数据生成的响应数据。所述服务器计算机配置成更新存储在所述计算设备的存储器中的脑电图波形信号、相关的识别数据和响应数据。
根据本发明的又一种实施方式,一种使处于智力衰弱状态的用户能够进行交互的方法包括存储脑电图波形信号,所述脑电图波形信号是根据相关的识别数据生成。所述方法还包括存储根据所述相关的识别数据生成的响应数据的步骤和接收来自用户的脑电图波形信号的步骤。所述方法还包括将接收到的脑电图波形信号与存储的脑电图波形信号相比较的步骤和确定接收到的脑电图波形信号与存储的脑电图波形信号是否匹配的步骤。所述方法还包括基于所述确定步骤自动输出根据所述相关的识别数据生成的响应数据的步骤。
附图说明
结合下面的具体实施方式、所附权利要求书和附图,将更好地理解本发明的上述及其他特征、各个方面和优点,其中:
图1示出用户使用本发明的阿尔茨海默氏症认知使能器(Alzheimer’sCognitive Enabler,ACE)设备的实施方式;
图2示出可运行本发明的ACE设备、系统和方法的运行环境;以及
图3是描述根据本发明一种实施方式的ACE设备中执行的步骤的流程图。
具体实施方式
除非另作说明,不指明具体数目(“a”或“an”)是指“一个(种)或一个(种)以上”。
用于赌博业的非侵入式脑电图(EEG)波形监测的新近发展使大量的EEG波形信号能够与思想内容联系起来。另外,图像和声音识别技术的新近发展使得这些技术能容易地与个人电脑一起使用。然而,这些技术局限在他们特定的行业中实行,并没有联系起来以帮助患有阿尔茨海默氏症的人。通常,阿尔茨海默氏症患者在智力上能做的比清晰明白地说或表达出来的更多。根据本发明的实施方式,阿尔茨海默氏症认知使能器(ACE)允许阿尔茨海默氏症患者利用他或她受较少影响的认知波形来触发受大脑中的β-淀粉样蛋白斑块阻碍但可以通过ACE获得的识别和对话功能。换句话说,ACE可以等同于或者概念化为“认知轮椅”,与传统轮椅提供的物理帮助相比,“认知轮椅”提供智力帮助。
例如,假设图1中用户110(即:阿尔茨海默氏症患者)携带ACE设备100。在图1示出的示例性实施方式中,ACE设备100接入输入设备,例如:EEG设备150、摄像机121、话筒124和输入设备122(例如,键盘、手写识别设备等)。ACE设备100还接入可视显示设备132和扬声器输出设备134。在本发明的一些实施方式中,所述输入设备和输出设备可以与ACE设备100结合在一起成为单一设备,而在可选的实施方式中,ACE设备100可以是单独的设备,其能够(例如,通过物理或无线连接)接收来自可接入的各种设备(例如,由用户携带的设备或者位于周围附近的设备)中任意设备的输入信号以及向可接入的各种设备中任意设备提供输出信号。ACE设备100还包括用于处理存储在其存储器165中的信息的处理器160,将在下面更详细地描述。
通过下面的具体实施方式和实施例进一步阐明本发明,然而本发明决不局限于所述具体实施方式和实施例。在图1所示的实施例中,描述了用户110可能需要存储稍后可用于帮助用户110与人170进行交互的信息的各种情形。根据本发明的一种实施方式,建议用户110出现最初的认知减退的迹象时就使用ACE设备。在这种依然相对健康的阶段,阿尔茨海默氏症患者、家人和/或看护者可为ACE设备100加载患者的特征图像、声音数据和记忆等以及相关的EEG波形。然而,通过人工智能技术,并不是每一位数据必须要有相关联的EEG波形。例如,可以有与患者儿子的图像相关联的EEG波形。然而,不需要有与患者和儿子在一起的图像相关联的EEG波形。控制ACE设备的人工智能程序使用关系数据库技术在EEG触发索引图像之后集合相关图像。更一般地,ACE设备100配置成在EEG波形与刚识别出的人相关联后,基于存储的数据和先进的基于人工智能的聊天机器人软件来引导与这个人的正常会话。通常,任何EEG波形都会触发ACE设备100之外的某种对话功能,这种对话功能与所存储的关联关系所允许的对话功能一样接近于引起所述EEG波形的动机。当佩带EEG设备150时,阿尔茨海默氏症患者能够培训ACE设备100在患者与其他人交互时像他或她在给定情形中一样作出反应。之后,一旦阿尔茨海默氏症有进一步的发展,ACE设备100可用于利用先前存储的并且不断更新的图像和声音识别程序、对话软件以及患者特定的设置代表阿尔茨海默氏症患者与其他人交互,将在下面更详细地阐述。
例如,在第一次遇到人170之后,用户110可能需要存储有关这个人的各种信息以用于之后的记忆。具体地,用户110可使用摄像机121和话筒124来记录这次相遇的视频和音频记录。用户110也可以使用摄像机121来拍摄有关所处环境的其他当前信息,所述信息可能会帮助用户之后记起这次相遇,所述信息例如相遇发生的地点的视频图像。此外,用户110可使用话筒124来记录有关人170的口述信息,例如这个人的姓名、地址、电子邮件地址、电话号码等。ACE设备100随后可以音频记录的方式存储所述口述信息,或者可改为对所述口述执行声音识别以产生所述信息的文本版本。可选地,用户110可通过文本输入设备121将关于这个人的部分或全部信息直接以文本方式提供给ACE设备100。在其他的实施方式中,用户110可通过任何其他可利用的输入装置向ACE设备100提供信息,例如从便携式设备(图中未示出)传送来的信息,所述便携式设备可能是这个人携带的设备(例如,另一ACE设备)。在接收并处理有关与人170相遇的各种信息之后,ACE设备100将这些信息与从EEG设备接收到的EEG波形信号相关联。
根据本发明的一种实施方式,ACE设备100配置成使得再次遇见人170但未能认出这个人的阿尔茨海默氏症患者,可以基于EEG波形自动触发对人170的合适的问候,所述EEG波形是在该阿尔茨海默氏症患者再次遇见这个人但是不能认出他时产生。
ACE设备100可以是以通用的安装在身上(body-mounted)的可佩戴式计算机的形式由用户佩戴。许多可佩戴式计算机可随用户移动,例如用带子系在或缚在用户身体或衣服上,或者安装在套子中。所述可佩戴式计算机具有各种用户佩戴的用户输入设备,包括话筒124、具有字符识别功能的手持平板显示器和各种其他的用户输入设备222。相似地,所述计算机具有各种用户佩戴的输出设备,包括手持平板显示器、耳塞式扬声器、眼镜式显示器等。除了所述各种用户佩戴的用户输入设备之外,所述计算机还可接收来自各种用户传感器输入设备和包括摄像机121在内的环境传感器输入设备的信息。ACE设备100可接收并处理各种输入信息并且可以将信息在所述各种输出设备上呈现给用户110。因此,当用户110在各种环境周围移动时,ACE设备110接收可以存储的来自所述输入设备的各种输入信息。
所述通用的安装在身上的可佩戴式计算机可包括触摸屏部件(例如,所述触摸屏部件可具有近似于人类头部的尺寸,但可以具有任意尺寸),所述触摸屏部件使ACE设备100能够响应触摸以及音频和视频输入。例如,如果阿尔茨海默氏症患者处于阿尔茨海默氏症后期,所述触摸屏上患者的无所不在的自然移动的图像可被轻吻,那么ACE设备100的编程部件能够识别出这种输入并用该阿尔茨海默氏症患者的声音作出回应,例如回应为“THANKYOU FOR THE KISS GRANDSON.”。
本领域技术人员可以理解,为实现各种目的可以创建专用版本的安装在身上的计算机。本领域技术人员还可以理解,各种生理状况可以被监测,并且可以类似地实现设备的其他专用版本。
系统环境
参见图2,本发明的ACE系统和方法主要运行在计算机网络环境中。在本实施方式中,ACE系统20包括程序系统管理站10,该程序系统管理站10包括服务器计算机12、系统数据库14以及与所述服务器计算机12通信的多个工作站18。工作站18可由患者或看护者18a、家人18b或朋友18c或任何其他的系统参与者18d使用。根据本发明的实施方式,与ACE设备100一样,工作站18可以是基于具有无线网络连接的系统的独立的个人电脑(PC)和能与站外服务器(off-site server)进行Wi-Fi连接的智能手机。所述站外服务器可提供软件更新、充当用于某些数据库功能的贮藏室以及提供诊断的功能。例如,ACE设备100和ACE系统20的无线连接功能有助于确保倘若ACE设备100发生故障、盗取、破损或遗失时不会丢失数据。在用户设置期间,来自ACE设备100的全部数据自动上传至服务器计算机12,并且随后上传至系统数据库14以安全存储。这些存储的数据可以容易地下载到替换的ACE设备中。所述个人计算机通常会需要视频监视器、声卡和显卡。可选地,工作站18可以是能够与计算机网络交互的任何设备,包括诸如个人数字助理(PDA)和手机之类的设备。
其他系统要求包括PC兼容的视频摄像机、PC兼容的定向话筒、扬声器和蓝牙商用EEG耳机。在看护者或公共医疗机构,除了上述装置之外,还可需要平板PC和声音激活话筒。本发明的实施方式在某些情况下还可能需要现场培训和患者支持设备24,或者患者在使用本发明期间可能需要帮助,在两种实例中,ACE系统20服从于在提供输入或者培训患者使用附加的系统输入设备中帮助患者的其他使用者。在ACE系统20的服务器计算机12上固化有阿尔茨海默氏症识别程序16。此外,使用ACE设备100和ACE系统20的无线连接功能,通过从服务器计算机12下载新的软件可以不断改进ACE设备100的反应性能。在服务器计算机12中,软件会分析每天上传的ACE交互模式以调整ACE设备100的程序,以使该程序更好地匹配阿尔茨海默氏症患者的健康对话模式。根据本发明的一种实施方式,服务器计算机12安装有较新版本的对话软件,该较新版本的对话软件在复制正常对话模式方面更加完善。这种软件配置成检查所保存的患者与家人之间的对话以识别错误并调整对话参数。这类似于“自动调音”软件如何处理数字音乐,因为可分析人类的声音失调并可纠正。
系统培训和数据库元素
根据本发明的一种优选实施方式,通过在下述每一个实例中进行患者交互来培训ACE设备100和ACE系统20:记录患者的声音、获得不同瞬间的患者面部表情(说话、笑、喜悦和悲伤)的数字视频以获得视位数据库。正如本说明书通篇所使用,视位被定义为可视域内的语音单元,人的面部如何形成言语和表情。ACE设备100和ACE系统20根据患者的录像带创建患者的视位词典。在患者不能参与的情形下,人为创建所述词典。在人为创建的过程中,例如,以高清晰度方式为患者的面部拍照,并将捐献者(donor)的视位数字化地覆盖在拍摄的患者面部上,结果类似于真人动画。
根据本发明的一种实施方式,可以由受过培训的工作人员、看护者等人来实施录影。患者还可以构建或被帮助构建其希望进行交互的家人和朋友(家人或朋友)的数据库。所述数据库还可以包括看护者和医护服务提供者的联系信息。根据本发明的实施,这些人的声音样本可从具有Wi-Fi功能的手机交互中收集,也可以预先安排培训人员进行录音。然后,患者可构建、或者被帮助构建、或者由培训人员构建响应他们的电话(手机和座机)和PC系统的数据库,以及建立当所述系统对他们做出响应时的预先设置。
根据本发明的示例性实施方式,患者的原始声音样本可用于阿尔茨海默氏症分析。可在培训和使用EEG设备150期间可以由工作人员来指导患者。如前所述,EEG设备150用作ACE设备100和ACE系统20的辅助数据输入工具和数据收集设备,EEG信号代替PC鼠标服务,充当在屏幕上进行拖拽和指出/选择的工具,并且能够基于对象拖放屏幕。根据本发明可选的实施方式,如果EEG信号受到干扰或者未被识别出来,软件配置成缺省运行,像适当的EEG信号被触发一样。例如,如果“女儿”具有特定的EEG信号,但未被识别出来,则有可能将“女儿”确认为女儿拜访患者,并且随后ACE设备100会交谈,就像“女儿”的EEG信号已经被触发一样。熟悉EEG设备150还可帮助患者在健康下降时接入所述设备和系统。从患者用户获得的原始EEG样本可上传至服务器12并且随后对数据进行分析。可以培训患者使用作为辅助数据输入工具的声音识别软件。这将使患者更容易地输入他或她的自传记忆,并且让患者更加充分地使用与EEG设备150协同作用的PC。按照这种使用方法获得的声音样本可用于声音合成和诊断分析。
档案资料
根据本发明的一种优选实施方式,通过与患者和患者的家人或朋友的电话交谈和会面收集的数据可用于帮助构建将要部署的ACE设备100和ACE系统20的确定的对话。在患者完全不能并且没有能力参与会面过程的情况下,在本发明的优选实施方式中,心理学家工作人员可引导与家人或朋友的会面、查看个人资料并构建患者的自传详细目录,该自传详细目录可用作构建在ACE设备100中存储的或者在ACE系统20中远程存储的对话数据库和自传数据库的基础。
根据ACE设备100和ACE系统20的操作,如果用户110不能认出发起对话的人,则由EEG设备150产生的EEG波形信号被用于重新获取正确的响应。根据ACE设备100和ACE系统20的可选的操作,声音和面部识别软件被用于识别对话的发起者,并且随后ACE设备100和ACE系统20基于对该对话发起者的识别提供正确的响应集。在本发明的优选实施方式中,基于这个人与患者之间过去的精神动力学现象描绘响应。ACE设备100和ACE系统20包括描绘方法,该描绘方法是一种心理架构,采用该心理架构,最大限度地将治疗精力投入到由患者的朋友或家人在与患者的化身交互时所经历的疑虑。根据本发明,患者的化身被定义为患者的音频构造,其具有患者的脸、面部表情和声音。在患者是系统的早期参与者并且参与了系统培训的情况下,患者的化身会显现在监测器上以患者自己的声音讲话,并且在相当大程度上,还具有患者自身的面部表情。如果患者未能参与,所述声音将具有适当的性别、平稳的音高和音调。根据本发明的示例性实施方式,所述面部表情可以是人性化的并且是亲切的,并且所述脸将是患者的脸。
根据本发明的可选实施方式,ACE设备100和ACE系统20可包括基于阿尔茨海默氏症患者的实际数字采样情绪的情绪软件引擎。根据本发明的这种实施方式,ACE设备100和ACE系统20配置成,受EEG波形信号和/或程序分析出的对话软件引擎中的语意线索触发,扮演阿尔茨海默氏症患者的真实情绪。
根据本发明的一种实施方式,对话数据库响应特别的讲话者而根据存储在系统数据库14或ACE设备100的存储器中的信息生成适当的对话片段并随之做进一步处理。下面提供一个对话的例子:
SARAH:HI NANA,HOW ARE YOU?
NANA:I’M DOING SO-SO TODAY PRECIOUS,HOW IS YOURLITTLE JO-JO?
孙女Sarah被ACE设备100或者ACE系统20认出,或者被相关的EEG波形、声音识别软件或面部识别软件认出,随后对话生成软件查找Sarah,识别她祖母对她的昵称,而且她的昵称是Jo-Jo。
系统输入
根据本发明的一种实施方式,作为ACE设备100和ACE系统20的一部分,输入包括患者在由培训人员引导的照稿宣读的对话过程中的录像带。根据本发明的一种优选实施方式,例如,这可被保留成多个15分钟持续时间的会话,总计60分钟。所述会话设计用来拍摄处于各种情绪反应和面部模式的患者。为了捕获患者的各种面部表情,执行录像的培训人员或技术人员除了遵循剧本外,还可培训如何引起希望得到的各种情绪反应。随后,将产生的视频处理到用于上述患者化身的视位数据库中。例如,患者指定的家人或朋友的高质量头部镜头可由培训人员拍摄并输入到ACE设备100和ACE系统20中供面部识别部件使用。培训人员还可采样家人或朋友的声音记录输入到声音识别部件中。对于患者能力降低并且不能承受会面过程中的困难的情况,培训人员可拍摄患者脸部的高清晰度图像。然后可根据所述图像人工合成构造视位。这个过程是将患者脸部覆盖在“数字捐献者”之上的其中一种,比如说,用培训人员Mary的视位来实现映射的过程,移走Mary的特有的面部特征留下动态模板,并且随后将患者的面部特征映射到所述模板上。这可以是由培训人员在现场完成的一次处理。
系统输出
根据本发明的一种实施方式,作为ACE设备100和ACE系统20的一部分,响应从患者收集的诊断数据,可以根据患者的请求或者预先确定的设置,通过患者的电话系统(手机和座机)和PC/PDA/智能电话输出文本响应、视听响应或者音频响应。视频可以与患者的视位一起处理并合成,以产生患者化身。根据本发明的一种优选实施方式,这个处理可由培训人员现场进行。当ACE设备100和ACE系统20被对话发起者的激起,随后可以提示在系统数据库14中加载或者在ACE设备100的存储器本地加载关于该对话发起者的对话数据库,并且准备将语音合成引擎与患者化身结合在一起,以响应发起者的言语。
系统诊断
根据本发明的一种优选实施方式,对于阿尔茨海默氏症的早期发作,可利用当前建立的开发用于声音识别技术和阿尔茨海默氏症的征象的诊断基准分析从PC的语音控制获得和从手机对话获得的语音数据。可以将这种数据集与在患者最初使用该系统时收集到的原始语音数据相比较。可利用当前针对阿尔茨海默氏症的预测或征象建立的协议来分析从患者收集到的EEG波形数据。通过这两个过程,使得在能够了解患者在给定时间内的能力减退的程度以及根据对电话呼叫或PC通信的反应确定是否调用患者的选择方面,或者在呼叫看护者、医护提供者或家人方面,存在合理程度的统计上的可能性。
系统和程序模型
根据本发明的又一种优选实施方式,ACE系统20是设计用于帮助在阿尔茨海默氏症的预发作阶段一直到阿尔茨海默氏症的后期被诊断出来的患者的系统平台。在预发作阶段,优选的模型预想患者直接与ACE设备100和ACE系统20交互,为系统培训、患者的诊断和患者的记忆存储提供输入。当患者变得虚弱或者感觉不能完成或专心于基于特定交流的任务时,所述设备和系统为患者提供响应。如果患者变成需要送至专门机构照料或者需要看护者并且达到对话能力减退的阶段,则ACE设备100和ACE系统20配置成识别声音提示或者识别在数据库14或本地存储器中编入索引的家人或朋友中的成员的脸部,这将初始化所述设备和系统并且将开始与索引指出的人进行对话。
在阿尔茨海默氏症的预发作阶段,患者通过多个维度与所述设备和系统交互。电话交谈为家人或朋友数据库提供配置文件数据,该配置文件也就是所述数据库中的人、声音样本、交互的频率和持续时间,手机数据通过Wi-Fi传输至服务器12以存储和分析。基于PC的行为可由附加设备逐步控制,所述行为即患者的口头命令(声音识别)和基于EEG波形的命令。从所述设备和系统收集的数据可传送至服务器12用于诊断分析以及用于患者化身。如果患者感到疲劳,或者如果基于EEG波形的诊断告知患者或其看护者该名患者开始进入身体透支,则所述设备和系统可缺省运行或者根据患者的选择运行,以介入患者可利用的任意或全部交流渠道。如果察觉到的身体透支达到预先确定的门限,则所述设备和系统配置成根据需要警告看护者、医护提供者、家人或朋友。
在阿尔茨海默氏症中期,患者具备一定的对话能力,或者可能容易感到疲劳。根据本发明的优选实施方式,患者可佩戴ACE设备并可通过EEG设备150与ACE设备和ACE系统交互,以及可引导与家人或朋友的对话,通过平板PC选择来自对话数据库的对话元素或者来自他或她的自传数据库的元素。在本发明的这种实施方式中,患者还可以打开或关闭患者化身。所建立的预先设置将确定患者是否处于做决定的状态。
当患者达到衰弱阶段以致于自我维持的会话成为患者的负担或者在智力上不切实际时,则ACE设备和系统配置成在患者和其家人之间或者在患者和其朋友之间进行干预。目前,患者与ACE设备或ACE系统的视频监视器并置。在本发明的一种优选实施方式中,一次一名谈话者与患者对话,并且每一位谈话者佩戴语音激活的话筒。在对患者说话时,所述设备和系统通过使用其中提供的软件的语音和面部识别、患者化身显示识别来激活,并且开始与谈话发起者进行对话。所述患者化身配置成大致像人们可能希望的年长的家庭成员那样交谈,例如:对于每个家庭参与者而言,回答简短、持续时间为20秒或者更短以及谈话的总长度不多于5分钟。
根据本发明的实施方式,例如,如果(i)原始数据库足够健全以及(ii)对话没有复制内容,则通常与相同的人的对话在下一次对话时不会重复相同的内容。即使是在第二种情况下,例如,不能确保患者化身的对话内容相同。对话内容可上传至服务器(例如服务器12)用于诊断分析。患者化身引用的特定事件可由家人或朋友通过访问那天所涉及的自传数据库中的事件来访问。
遥测
根据本发明的实施方式,ACE设备和系统还可配置成通过EEG波形信号输出以及输出的标准集(例如,心跳、脉率、血压等)监测患者的疼痛和情绪水平。通过Wi-Fi(PC或智能手机或PDA)或远程服务器,收集到的全部数据可供患者的医护提供者以及曾经和实时核准的用户使用。
图3是根据本发明一种实施方式描述在ACE设备中执行的步骤的流程图。该流程从起始状态S400开始并进入步骤S401,其中EEG波形信号存储在存储器中。所述EEG波形信号是根据相关的识别数据生成。在步骤S402中,基于相关的识别数据生成的响应数据也存储在存储器中。在存储完所述信息之后,在步骤S403中,接收来自用户的EEG波形信号。在接收所述EEG波形信号之后,该流程进入步骤S404,其中,将接收到的EEG波形信号与存储的EEG波形信号相比较。在比较的步骤之后,该流程进入判断步骤S405,其中,确定接收到的EEG波形信号与存储的EEG波形信号是否匹配。如果接收到的EEG波形信号与存储的EEG波形信号之一匹配,则该流程进入步骤S406,否则流程返回到步骤S403,在步骤S406中,自动输出根据相关的识别数据生成的响应数据。
阿尔茨海默氏症的特点是慢性的、认知能力逐渐降低,这给阿尔茨海默氏症患者以及他或她的家庭带来很大的伤痛并造成生活质量的下降。所述ACE设备、系统和方法能够显著地改善所述下降的生活质量。
基于对示例性实施方式的描述,其他的实施方式对本领域的技术人员而言是显而易见的。因此,这些示例性实施方式不应视为限制本发明权利要求书限定的范围。

Claims (16)

1.一种使处于智力衰弱状态的用户能够进行交互的计算设备,所述计算设备包括:
存储器,配置成存储脑电图波形信号,所述脑电图波形信号是根据相关的识别数据生成,
其中,根据所述相关的识别数据生成响应数据并将该响应数据存储在所述存储器中;
输入部件,配置成接收来自用户的脑电图波形信号;
处理器,配置成将所述接收到的脑电图波形信号与所述存储的脑电图波形信号相比较,以确定所述接收到的脑电图波形信号与所述存储的脑电图波形信号是否匹配;以及
输出部件,配置成基于所述处理器的确定结果自动输出根据所述相关的识别数据生成的响应数据。
2.根据权利要求1所述的计算设备,其中,所述相关的识别数据包括图像数据。
3.根据权利要求1所述的计算设备,其中,所述相关的识别数据包括语音数据。
4.根据权利要求1所述的计算设备,其中,所述响应数据包括语音数据。
5.一种使处于智力衰弱状态的用户能够进行交互的计算系统,所述计算系统包括:
计算设备,该计算设备包括:
存储器,配置成存储脑电图波形信号,所述脑电图波形信号是根据相关的识别数据生成,
其中,根据所述相关的识别数据生成响应数据并将该响应数据存储在所述存储器中;
输入部件,配置成接收来自用户的脑电图波形信号;
处理器,配置成将所述接收到的脑电图波形信号与所述存储的脑电图波形信号相比较从而确定所述接收到的脑电图波形信号与所述存储的脑电图波形信号是否匹配;以及
输出部件,配置成基于所述处理器的确定结果自动输出根据所述相关的识别数据生成的响应数据;和
服务器计算机,配置成更新存储在所述计算设备的存储器中的脑电图波形信号、相关的识别数据和响应数据。
6.根据权利要求5所述的计算系统,所述计算系统还包括系统数据库。
7.根据权利要求5所述的计算系统,其中,所述计算设备是可佩带式计算机。
8.根据权利要求5所述的计算系统,其中,所述更新是通过无线传输实现。
9.根据权利要求5所述的计算系统,其中,所述计算设备包括手机。
10.根据权利要求5所述的计算系统,其中,所述计算设备包括个人电脑。
11.根据权利要求5所述的计算系统,其中,所述相关的识别数据包括图像数据。
12.根据权利要求5所述的计算系统,其中,所述相关的识别数据包括语音数据。
13.根据权利要求5所述的计算系统,其中,所述响应数据包括语音数据。
14.根据权利要求6所述的计算系统,其中,所述系统数据库包括视位数据库。
15.根据权利要求6所述的计算系统,其中,所述系统数据库包括对话数据库。
16.根据权利要求6所述的计算系统,其中,所述系统数据库包括自传数据库。
CN2009801357066A 2008-09-19 2009-09-14 阿尔茨海默氏症认知使能器 Active CN102149319B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/233,817 2008-09-19
US12/233,817 US20100076334A1 (en) 2008-09-19 2008-09-19 Alzheimer's cognitive enabler
PCT/US2009/056837 WO2010033461A2 (en) 2008-09-19 2009-09-14 Alzheimer's cognitive enabler

Publications (2)

Publication Number Publication Date
CN102149319A CN102149319A (zh) 2011-08-10
CN102149319B true CN102149319B (zh) 2013-07-17

Family

ID=42038374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801357066A Active CN102149319B (zh) 2008-09-19 2009-09-14 阿尔茨海默氏症认知使能器

Country Status (9)

Country Link
US (5) US20100076334A1 (zh)
EP (1) EP2344031B1 (zh)
JP (1) JP5643207B2 (zh)
KR (1) KR101520524B1 (zh)
CN (1) CN102149319B (zh)
CA (1) CA2737183C (zh)
ES (1) ES2528029T3 (zh)
TW (1) TWI520714B (zh)
WO (1) WO2010033461A2 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9319640B2 (en) * 2009-12-29 2016-04-19 Kodak Alaris Inc. Camera and display system interactivity
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
RU2613580C2 (ru) * 2011-06-01 2017-03-17 Конинклейке Филипс Н.В. Способ и система для оказания помощи пациенту
TWI559904B (en) * 2014-05-22 2016-12-01 Nat Univ Chin Yi Technology Brainwave control integrated system for wheelchair and message sending
CN107111894B (zh) * 2014-09-08 2022-04-29 西姆克斯有限责任公司 用于专业和教育训练的增强或虚拟现实模拟器
US11170451B2 (en) * 2015-10-02 2021-11-09 Not So Forgetful, LLC Apparatus and method for providing gift recommendations and social engagement reminders, storing personal information, and facilitating gift and social engagement recommendations for calendar-based social engagements through an interconnected social network
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US20190216383A1 (en) * 2016-06-29 2019-07-18 Robert Polkowski Cognitive support system for a sufferer of cognitive dysfunction and method for operating the same
CN107137079B (zh) * 2017-06-28 2020-12-08 京东方科技集团股份有限公司 基于脑信号控制设备的方法、其控制设备及人机交互系统
TWI684160B (zh) * 2017-07-31 2020-02-01 陳兆煒 分析提示系統及方法
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US11478603B2 (en) 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
EP3849410A4 (en) 2018-09-14 2022-11-02 Neuroenhancement Lab, LLC SLEEP ENHANCEMENT SYSTEM AND METHOD
JP7135886B2 (ja) * 2019-01-24 2022-09-13 トヨタ自動車株式会社 促し発話装置、促し発話方法及びプログラム
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN111358428A (zh) * 2020-01-20 2020-07-03 书丸子(北京)科技有限公司 一种观察能力测试评定方法和装置
CN111467641B (zh) * 2020-05-27 2022-02-22 浙江莱恩海思医疗科技有限公司 一种声光复合疗法实施装置
CN111569270B (zh) * 2020-05-27 2022-03-15 浙江莱恩海思医疗科技有限公司 一种复合光照疗法实施装置
US11567574B2 (en) 2020-09-22 2023-01-31 Optum Technology, Inc. Guided interaction with a query assistant software using brainwave data

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377258A (en) * 1993-08-30 1994-12-27 National Medical Research Council Method and apparatus for an automated and interactive behavioral guidance system
JP2593625B2 (ja) 1994-01-12 1997-03-26 株式会社脳機能研究所 生体情報自動識別装置
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6622036B1 (en) * 2000-02-09 2003-09-16 Cns Response Method for classifying and treating physiologic brain imbalances using quantitative EEG
US6309361B1 (en) * 1998-05-04 2001-10-30 Kirtley E. Thornton Method for improving memory by identifying and using QEEG parameters correlated to specific cognitive functioning
ATE297036T1 (de) * 1998-10-30 2005-06-15 Us Army Verfahren und vorrichtung zum vorhersagen von menschlichen kognitiven leistung
US6527715B2 (en) * 1998-10-30 2003-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for predicting human cognitive performance using data from an actigraph
US6011991A (en) * 1998-12-07 2000-01-04 Technology Patents, Llc Communication system and method including brain wave analysis and/or use of brain activity
US7137069B2 (en) * 1998-12-18 2006-11-14 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US6466232B1 (en) * 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
US6842877B2 (en) * 1998-12-18 2005-01-11 Tangis Corporation Contextual responses based on automated learning techniques
US6463321B2 (en) * 1999-08-10 2002-10-08 Thuris Corporation Method and computer program product for assessing neurological conditions and treatments using evoked response potentials
US6494719B1 (en) * 1999-10-20 2002-12-17 Brent E. Logan Method and system for reproducing a progressive or regressive pattern of sonic variations
US6434419B1 (en) * 2000-06-26 2002-08-13 Sam Technology, Inc. Neurocognitive ability EEG measurement method and system
ATE539681T1 (de) * 2001-01-30 2012-01-15 R Christopher Decharms Methoden für die physiologische überwachung, schulung und regulierung
KR20040019013A (ko) * 2001-06-07 2004-03-04 로렌스 파웰 뇌지문의 채취와, 뇌기능의 측정, 평가 및 분석을 위한장치 및 방법
US7136695B2 (en) 2001-10-12 2006-11-14 Pless Benjamin D Patient-specific template development for neurological event detection
US6878111B2 (en) * 2002-07-09 2005-04-12 Cardiac Pacemakers, Inc. System for measuring subjective well being
JP4285012B2 (ja) * 2003-01-31 2009-06-24 株式会社日立製作所 学習状況判断プログラム及びユーザ状況判断システム
US20040210159A1 (en) * 2003-04-15 2004-10-21 Osman Kibar Determining a psychological state of a subject
JP4269827B2 (ja) 2003-07-02 2009-05-27 財団法人くまもとテクノ産業財団 画像刺激−脳波意思伝達方法
EP1781167A4 (en) * 2003-08-21 2008-10-29 Sspt Pty Ltd TEST OF SUITABILITY
US8190248B2 (en) 2003-10-16 2012-05-29 Louisiana Tech University Foundation, Inc. Medical devices for the detection, prevention and/or treatment of neurological disorders, and methods related thereto
US20050163302A1 (en) * 2004-01-22 2005-07-28 Mock Von A. Customer service system and method using physiological data
US20050228785A1 (en) * 2004-04-02 2005-10-13 Eastman Kodak Company Method of diagnosing and managing memory impairment using images
US20060093997A1 (en) * 2004-06-12 2006-05-04 Neurotone, Inc. Aural rehabilitation system and a method of using the same
EP2260760B1 (en) * 2004-06-18 2014-08-27 Neuronetrix Solutions, LLC Evoked response testing method for neurological disorders
US20060009978A1 (en) * 2004-07-02 2006-01-12 The Regents Of The University Of Colorado Methods and systems for synthesis of accurate visible speech via transformation of motion capture data
US20060008785A1 (en) * 2004-07-09 2006-01-12 William Clark Method of and system for interacting with cognitively impaired individuals
US20070106127A1 (en) * 2005-10-11 2007-05-10 Alman Brian M Automated patient monitoring and counseling system
WO2007149985A2 (en) * 2006-06-21 2007-12-27 Lexicor Medical Technology, Llc Assessing dementia and dementia-type disorders
JP2008059385A (ja) 2006-08-31 2008-03-13 Toshiba Corp 情報処理装置、情報処理方法、プログラム、及び情報処理装置の制御方法
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
EP2081100B1 (en) 2006-11-15 2012-08-08 Panasonic Corporation Adjusting device for brain wave identification method, adjusting method and computer program
US8287281B2 (en) * 2006-12-06 2012-10-16 Microsoft Corporation Memory training via visual journal
CA2673644C (en) * 2006-12-27 2016-02-09 Case Western Reserve University Situated simulation for training, education, and therapy
US7761414B2 (en) * 2007-01-07 2010-07-20 Apple Inc. Asynchronous data synchronization amongst devices
US20080214944A1 (en) * 2007-02-09 2008-09-04 Morris Margaret E System, apparatus and method for mobile real-time feedback based on changes in the heart to enhance cognitive behavioral therapy for anger or stress reduction
US20090119154A1 (en) * 2007-11-07 2009-05-07 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Determining a demographic characteristic based on computational user-health testing of a user interaction with advertiser-specified content
WO2009090671A2 (en) * 2007-12-27 2009-07-23 Setu Parikh System and method to stimulate human genius
US9149599B2 (en) * 2008-04-09 2015-10-06 Lotus Magnus, Llc Brain stimulation systems and methods
US20100009324A1 (en) * 2008-07-14 2010-01-14 E. Keith Owens Method and device for post clinical treatment of dependency relapses
MY168264A (en) * 2008-07-15 2018-10-16 Dtt holdings pty ltd Method for preparing a patent for a medical treatment
US8441356B1 (en) * 2009-02-16 2013-05-14 Handhold Adaptive, LLC Methods for remote assistance of disabled persons
EP2776121B1 (en) * 2011-11-10 2021-05-05 Microtransponder, Inc. Methods, systems, and devices for treating tinnitus with vns pairing
US9943698B2 (en) * 2014-04-22 2018-04-17 Lockheed Martin Corporation Cognitive enhancement using feedback

Also Published As

Publication number Publication date
EP2344031B1 (en) 2014-10-22
ES2528029T3 (es) 2015-02-03
KR20110070981A (ko) 2011-06-27
JP5643207B2 (ja) 2014-12-17
CA2737183A1 (en) 2010-03-25
KR101520524B1 (ko) 2015-05-14
US20150262016A1 (en) 2015-09-17
WO2010033461A2 (en) 2010-03-25
JP2012502741A (ja) 2012-02-02
US20100076334A1 (en) 2010-03-25
US10521666B2 (en) 2019-12-31
US11301680B2 (en) 2022-04-12
EP2344031A2 (en) 2011-07-20
WO2010033461A3 (en) 2010-06-10
US20220198798A1 (en) 2022-06-23
CN102149319A (zh) 2011-08-10
TWI520714B (zh) 2016-02-11
US20200364458A1 (en) 2020-11-19
TW201016191A (en) 2010-05-01
EP2344031A4 (en) 2012-11-21
US20140180159A1 (en) 2014-06-26
CA2737183C (en) 2022-05-17

Similar Documents

Publication Publication Date Title
CN102149319B (zh) 阿尔茨海默氏症认知使能器
US11037545B2 (en) Interactive personal assistive devices and systems with artificial intelligence, and related methods
RU2613580C2 (ru) Способ и система для оказания помощи пациенту
JP2021529382A (ja) 精神的健康評価のためのシステム及び方法
JP5714411B2 (ja) 行動分析方法および行動分析装置
US20220181004A1 (en) Customizable therapy system and process
CN115004308A (zh) 用于提供活动推荐的接口的方法和系统
KR102152500B1 (ko) 발달장애 아동 언어치료 방법 및 장치
WO2016092103A1 (en) Device, system and method for assessing information needs of a person
US20180350259A1 (en) Systems, Computer Readable Program Products, and Computer Implemented Methods to Facilitate On-Demand, User-Driven, Virtual Sponsoring Sessions for One or More User-Selected Topics Through User-Designed Virtual Sponsors
JP7390268B2 (ja) 認知機能予測装置、認知機能予測方法、プログラム及びシステム
CN116578731B (zh) 多媒体信息处理方法、系统、计算机设备和存储介质
CN116807476B (zh) 基于界面式情感交互的多模态心理健康评估系统及方法
Fortin et al. Laughter and tickles: Toward novel approaches for emotion and behavior elicitation
KR102468833B1 (ko) 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법
Hird et al. Facilitating use of speech recognition software for people with disabilities: A comparison of three treatments
AU2020231050A1 (en) Virtual agent team
WO2022209416A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
US20220319669A1 (en) Guiding a therapeutic psychedelic experience using extended reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: UTA WEST ASIA CO., LTD.

Free format text: FORMER NAME: UNITHER NEUROSCIENCES INC.

CP01 Change in the name or title of a patent holder

Address after: American Maryland

Patentee after: Uta Asia Limited

Address before: American Maryland

Patentee before: Unither Neurosciences Inc.