CN1842788A - 对话支援装置 - Google Patents

对话支援装置 Download PDF

Info

Publication number
CN1842788A
CN1842788A CNA2005800010394A CN200580001039A CN1842788A CN 1842788 A CN1842788 A CN 1842788A CN A2005800010394 A CNA2005800010394 A CN A2005800010394A CN 200580001039 A CN200580001039 A CN 200580001039A CN 1842788 A CN1842788 A CN 1842788A
Authority
CN
China
Prior art keywords
speech
dialogue
mentioned
prediction
people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800010394A
Other languages
English (en)
Other versions
CN1842788B (zh
Inventor
水谷研治
冲本纯幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1842788A publication Critical patent/CN1842788A/zh
Application granted granted Critical
Publication of CN1842788B publication Critical patent/CN1842788B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Abstract

本发明提供一种对话支援装置。对话支援装置(100)具有:发言接受部(101),接受参与对话的人的发言,并输出用于指定发言的发言信息;发言处理部(102),将由发言信息所指定的发言转换为其他的发言方式;发言输出部(103),将转换为其他形态的发言信息作为给其他的参与对话的人的发言来输出;对话历史数据库(104),存储将参与对话的人的过去的2个以上的发言信息按照发言时间顺序排列的对话历史;以及发言预测部(105),根据对话历史制作第1发言预测信息,并从其他的对话支援装置取得第2发言预测信息,根据第1发言预测信息及第2发言预测信息,预测使用对话支援装置(100)的参与对话的人的下一个发言。

Description

对话支援装置
技术领域
本发明涉及支援人和人的对话的对话支援装置。
背景技术
过去,一般的人们在海外旅行地等与当地人对话时,以支援该不同语言的对话为目的,开发了翻译装置。例如,作为有代表性的有将基于例文和例句的对译的翻译方式配置于PDA(Personal DigitalAssistance)等小型的信息处理装置里的翻译装置。像这样的装置,为了包容一般的旅行会话,而准备了几千个以上的例句,因此,用户仅从该列表中以目视的方式选择所需要例句,存在在实际使用过程中的使用方便性,即可用性(usability)的问题。特别是在用于查看例句列表的显示部过小、同时能够查看的例句数少的情况下,该问题就变得更加突出。还有,设想翻译装置的一般的使用状况,在与对方的对话中几乎都是必须使用多句以上的例句的情况,利用翻译装置完成一个对话需要超过预想的时间。因此,把支援人与人的对话作为最终目的,为了能够从大量的例句列表中迅速地选择用户所需要的例句,需要某种选择辅助功能。
作为解决这个问题的方法之一,提出了利用样本对话模式和会话练习历史汇编(corpus),来缩小用户下一个候补发言范围的方案(例如,参见专利文献1)。
专利文献1:日本专利特开2003-30187号公报
根据以前用户利用翻译装置进行的对话历史来缩小下一个候补发言的范围,在对方在其中时,此方案是有效的。还有,根据用户进行事先假想的对话练习的历史或典型对话模式等来缩小下一个候补发言的范围,若在对方的对话内容符合自己假想的对话模式时,此方案是有效的。然而,在一般情况下,对话的模式是因人而异的。例如,为了预约餐厅,游客与餐厅服务员开始对话时,游客的发言是“想预约坐位”,对于这个提问,有的服务员可能会从“要预约哪一天?”这样的询问预约的日期的发言来开始对话,其他的服务员还有可能会从“有几位?”这样的询问有关预约的人数的发言来开始对话。所以,存在如下的问题:由于对话的对方不同,不仅会导致缩小范围的失败,还会导致因错误的缩小而造成参与对话的人的混乱,这样,到对话结束所需要的时间反而会增加。特别是在通信基础设施没被配备的地域旅行时,必须要解决在不利用网络的而只利用用户的翻译装置就能顺利完成对话。
发明内容
因此,鉴于上述情况,本发明的目的在于提供一种对话支援装置,即便是在不能利用网络的情况下、以及不论对话的对方是怎样的对方,都可以支援对话以使对话迅速地完成。
为了达到上述目的,涉及本发明的对话支援装置,支援由参与对话的人所进行的对话,其特征在于,具有:对话历史数据库,存储上述参与对话的人的过去的对话历史;以及发言预测单元,根据上述对话历史数据库所存储的上述对话历史,制作第1发言预测信息,并且从其他的对话支援装置取得第2发言预测信息,根据上述第1发言预测信息以及上述第2发言预测信息,预测使用该对话支援装置的参与对话的人在上述对话中的下一个发言。
发明效果
根据涉及本发明的对话支援装置,用户能够从下一个发言侯补中容易地选择例句。由此,不必让对话的对方等候,因此能够使通过对话支援装置对话顺利进行。并且,因为下一个发言侯补只从自己的对话历史和对方的对话历史中生成,所以不需要在装置内外安装典型的对话模式等信息,能够缩小装置全体的安装规模。
附图说明
图1是表示涉及本发明的对话支援系统的一个实施方式的结构框图。
图2是表示用2个对话支援装置进行对话时的实施方式的结构框图。
图3是表示在对话支援装置中输入输出的发言和发言编号的对应关系的一示例图。
图4是表示在对话支援装置中输入输出的发言和发言编号的对应关系的另一示例图。
图5(a)、(b)是表示对话历史数据库中所存储的对话历史的一示例图。
图6是表示利用涉及本发明的对话支援装置的场景的一示例图。
图7是表示发言预测部的动作流程的流程图。
图8是表示涉及本发明的对话支援装置的显示例的图。
图9是表示预测堆栈的制作顺序的流程图。
图10是表示调整对话历史的发言数的动态设计法的算法的图。
图11是对对话历史x适用了动态设计法的示例图。
图12(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图13(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图14(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图15(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图16(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图17(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图18(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图19是对本发明所支援的对话进行模式上的表示的图。
图20是表示新被生成的对话d’的图。
图21(a)、(b)是表示定义对话历史的类似度的数学式和计算的示例图。
图22是对对话历史的类似度进行比较的图。
图23是对本发明的对话进行模式上的表示的图。
图24(a)、(b)是表示新被生成的对话d”和对话历史的类似度的比较的图。
图25是表示在对话支援装置中输入输出的发言和发言编号的对应关系的一示例图。
图26是表示在对话支援装置中输入输出的发言和发言编号的对应关系的一示例图。
图27(a)、(b)是表示对话历史数据库中所存储的对话历史的一示例图。
图28是表示涉及本发明的对话支援装置的显示例的图。
图29(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图30(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图31(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图32(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图33(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图34(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图35(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图36是对本发明所支援的对话进行模式上的表示的图。
图37是表示新被生成的对话f的图。
图38是表示对对话历史的类似度进行比较的图。
图39是对本发明的对话进行模式上的表示的图。
图40(a)、(b)是表示新被生成的对话f’和对话历史的类似度进行比较的图。
图41是表示参与对话的人共享1台对话支援装置的情况的示例图。
图42是表示参与对话的人共享1台对话支援装置的情况的示例图。
图43是表示涉及本发明的对话支援装置的其他的实施方式的结构框图。
图44是表示涉及本发明的对话支援装置的其他的实施方式的结构框图。
图45是表示涉及本发明的对话支援装置的其他的实施方式的结构框图。
图46(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
图47(a)、(b)是表示涉及本发明的对话支援装置的显示例的图。
编号说明
101  发言接受部
102  发言处理部
103  发言输出部
104  对话历史数据库
105  发言预测部
703  参与对话的人1的主题输入区域
704  参与对话的人2的主题输入区域
705  参与对话的人1的对话开始键
706  参与对话的人2的对话开始键
1101 参与对话的人1的发言输入区域
1102 参与对话的人2的发言输入区域
1103 给参与对话的人2的发言输出区域
1104 给参与对话的人1的发言输出区域
1105 给参与对话的人1的预测侯补的显示区域
1106 给参与对话的人2的预测侯补的显示区域
1107 参与对话的人1的对话的预测展开键
1108 参与对话的人2的对话的预测展开键
1801 由参与对话的人所提出的预测侯补和参与对话的人实际上输入的发言的对的时序
1802 对话的分支点
2001 定义对于对话历史db的对话历史da的类似度的数学式
2002 类似度计算的例子
2201 由参与对话的人所提出的预测侯补和参与对话的人实际上输入的发言的对
2401 存储参与对话的人1的对话历史的存储卡
2402 存储参与对话的人2的对话历史的存储卡
2801 对参与对话的人1到目前为止所进行的对话
2802 对参与对话的人1今后的对话的预测展开
2803 对参与对话的人2到目前为止所进行的对话
2804 对参与对话的人2今后的对话的预测展开
具体实施方式
本发明的实施方式所涉及的对话支援装置支援由参与对话的人所进行的对话,其特征在于,具有:对话历史数据库,存储上述参与对话的人的过去的对话历史;以及发言预测单元,根据上述对话历史数据库所存储的上述对话历史,制作第1发言预测信息,并且从其他的对话支援装置取得第2发言预测信息,根据上述第1发言预测信息以及上述第2发言预测信息,预测使用该对话支援装置的参与对话的人在上述对话中的下一个发言。
由此,能够仅利用自己的对话历史和对方的对话历史,根据该历史预测下一个发言,因此无论对话的对方是怎样的对方,都可以支援对话使对话迅速地完成。
在此,最好是上述发言预测单元从上述对话历史数据库所存储的上述对话历史中,提取上述对话中与对话状况最接近的对话历史,将提取的上述对话历史作为上述第1发言预测信息。
并且,最好是上述发言预测单元根据上述第1发言预测信息以及上述第2发言预测信息中所含有的各自的对话历史共通含有、且连续的发言的集合来制作预测堆栈。
由此,能够根据与对话状况最接近的对话历史来预测参与对话的人的下一个发言。
并且,上述对话支援装置还可以包括:发言接受单元,接受上述参与对话的人的发言;发言处理单元,将由上述发言接受单元所接受的上述发言转换为其他的发言方式;以及发言输出单元,输出由上述发言处理单元所转换的上述其他的发言方式的上述发言。
由此,能够支援例如日语、英语之间的对话等不同语种的对话。
另外,本发明不仅能够实现这种对话支援装置,而且还能够实现将这种对话支援装置所具备的特征性的单元作为步骤化的对话支援方法,这些步骤是作为计算机所执行的程序来实现的。因此,这样的程序当然也可以通过CD-ROM等记录媒体或因特网等传送媒体进行发送。
以下参照附图对本发明的实施方式进行说明。
图1是表示涉及本发明的对话支援装置的一个实施方式的结构框图。
对话支援装置100是用于支援人与人的对话的装置,如图1所示具有:发言接受部101、发言处理部102、发言输出部103、对话历史数据库104以及发言预测部105。在此,发言接受部101相当于发言接受单元;发言处理部102相当于发言处理单元;发言输出部103相当于发言输出单元;发言预测部105相当于发言预测单元。
发言接受部101接受参与对话的人的发言,输出用于指定发言的发言信息。发言处理部102根据从发言接受部101输出的发言信息,将指定的发言转换为其他的发言方式。发言输出部103将转换为其他的发言方式的发言信息作为给其他的参与对话的人的发言来输出。对话历史数据库104存储对话历史,该对话历史是将参与对话的人的过去的2个以上的发言信息按照发言时间的顺序排列的。
发言预测部105根据对话历史数据库104中所存储的对话历史制作第1发言预测信息。并且,发言预测部105从其他的对话支援装置中取得第2发言预测信息。进一步,发言预测部105在参与对话的人开始进行的对话中,根据第1发言预测信息以及第2发言预测信息来预测使用对话支援装置100的参与对话的人的下一个发言。并且,发言预测部105将所制作的第1发言预测信息通知给其他的对话支援装置。
图1所示的对话支援装置100是本发明的基本结构,参与对话的人每人使用一个这样的结构。因为对话一般是2个人进行的,所以在实际进行对话时使用2个对话支援装置100。图2是表示用2个对话支援装置进行对话时的实施方式的结构框图。
以下,利用上述所构成的对话支援装置,对支援不同语种的对话时的动作进行说明。在此,假定说日语的参与对话的人1使用对话支援装置100a,说英语的参与对话的人2使用对话支援装置100b。图3是表示在对话支援装置100a中输入输出的发言和发言编号的对应关系的一示例图。
发言接受部101a将接受的参与对话的人1的发言,转换为相当的发言信息。发言信息是如图3中的发言编号。发言处理部102a将参与对话的人1的发言(日语)转换为给参与对话的人2的发言(英语),并输出字符串。例如,发言编号1被输入时,对发言输出部103a输出作为发言信息的字符串“May I help you(欢迎光临)?”。
与对话支援装置100a完全对称的对话支援装置100b的发言处理部102b,将参与对话的人2的发言转换为与此相当的发言信息。图4是表示在对话支援装置100b中输入输出的发言和发言编号的对应关系的一示例图。图3和图4的发言编号完全相同,其处理方向不同。发言信息是例如图4中的发言编号,发言接受部101b将参与对话的人2的发言(英语)转换为给参与对话的人1的发言(日语),并输出字符串。例如,发言编号1被输入时,对发言输出部103b输出作为发言信息的字符串“いらつしやいませ(欢迎光临)。”。以后,在考虑到语言方向的同时为了进行简单说明,略记为:从参与对话的人1的发言编号1为J1,从参与对话的人2的发言编号1为E1。
发言接受部101a使参与对话的人1直接选择如图3所示的日语列表的部分,把该发言编号作为发言信息输出。并且,发言接受部101b使参与对话的人2直接选择如图4所示的英语列表的部分,把该发言编号作为发言信息输出。再者,关于发言接受部101a或发言接受部101b的结构,也可以通过利用语音识别处理将参与对话的人的语音映射为某一个发言编号的处理来实现。并且,也可以从键盘输入发言的记载(表記)或与发音相当的字符串、使之映射到与某一个发言编号来实现。
图5(a)、(b)是表示对话历史数据库104a以及对话历史数据库104b中所存储的对话历史的一示例图。所谓对话历史是指,由参与对话的人过去所进行的发言的历史,是按照各参与对话的人的发言时间的顺序排列的。各发言与图3或图4中所定义的某一个发言相对应。再者,即使是同样的发言编号,因为参与对话的人的立场不同也要区别,所以分别在各发言编号前对日语附加J,对英语附加E,在对话历史中作为发言的标识(label)来定义。以后,为了简单地说明,将一个对话历史用其标识的列来记述。例如,对话历史d1记述为d1:E1,J2,E3,J4,E5,J6,E7,E8。在对话历史中记录了进行该对话的参与对话的人的信息和对话的主题。例如,对话历史d1记载了参与对话的人1在J的立场进行了对话的信息和该对话的主题为入住登记的信息。
以下,如图6所示参与对话的人1是日本观光客,参与对话的人2是说英语的饭店前台的职员,以为了办理饭店入住登记进行对话的情况为例进行说明。
图7是表示发言预测部105a以及发言预测部105b的动作的流程的流程图。虽然发言预测部105a和发言预测部105b是作为结构是独立的,但是为了双方联合进行动作需要进行信息的交换。将该联系动作的所需要的信息称为发言预测信息。
首先,为了在对话历史数据库104a或对话历史数据库104b中检索用于进行发言预测所需要的对话历史,发言预测部105a以及发言预测部105b对对话的主题进行指定(步骤S601)。发言预测部105a对于对话历史数据库104a进行检索;发言预测部105b对于对话历史数据库104b进行检索。例如,参与对话的人1使用作为PDA被实现的、如图8所示的那样的对话支援装置100a,参与对话的人2使用对话支援装置100b。对话的主题分别利用各自的主题输入区域703以及主题输入区域704,通过让各参与对话的人从触摸屏直接输入,从而取得主题的信息。再者,关于对话的主题的取得,除了这种手动的方法以外,还可以从自动得到的PDA存在环境的信息(例如,餐厅、医院、饭店等的场所信息)中,实现自动联想的方法。
当由各参与对话的人点击对话开始键705以及对话开始键706时,发言预测部105a对参与对话的人1选择对话历史d1,发言预测部105b对于参与对话的人2选择对话历史d3。理由是因为对话历史d1和对话历史d3的对话的主题均为饭店。因为对话历史d2以及对话历史d4的对话的主题不相同,所以不被选择。并且,发言预测部105a将对话历史d1作为第1发言预测信息通知给发言预测部105b;发言预测部105b将对话历史d3作为第2发言预测信息通知给发言预测部105a。
然后,发言预测部105a和发言预测部105b利用对话历史d1:E1,J2,E3,J4,E5,J6,E7,E8和对话历史d3:E1,E3,J4,J2,E8,E5,J6,E7,开始制作预测堆栈(步骤S602)。
图9是表示预测堆栈的制作顺序的流程图。并且,因为对话历史是根据发言的串被构成的,所以意味着发言串是对话历史的部分集合。
发言预测部105a以及发言预测部105b通过如图10所示的动态设计法,将各自的对话历史的发言数调整为相同数量(步骤S901)。例如,调整图5的对话历史d1(发言数为8)和图11的对话历史x(发言数为6)时,将图10所示的动态设计法适用于对话历史x,则对话历史x被调整为对话历史x’。在被调整的对话历史x’中,标识为φ的发言是为了和d1的发言数相同而被追加的空的发言。不过,因为对话历史d1:E1,J2,E3,J4,E5,J6,E7,E8和对话历史d3:E1,E3,J4,J2,E8,E5,J6,E7中的发言数相同均为8,所以即使是使用了动态设计法结果也是相同。
然后,发言预测部105a以及发言预测部105b对于各对话历史决定发言块。所谓发言块是指各对话历史中所共通含有的、且1个以上连续的发言的集合。但是,决定各对话历史中所含有的发言块的数为最小的、发言数为最大的发言块。即,将发言串A(发言串B)中所含有的发言数作为m(步骤S902)。然后,将1赋值给i(步骤903)。判断A[i]是否存在于发言串B中(步骤S904)。并且,A[i]表示发言串A中的第i个发言。并且,对于φ而言,当A[i]=φ、B[j]=φ时,不视为A[i]和B[j]相同。
该判断结果为,A[i]存在于发言串B的情况下(步骤S904的是),则将该发言作为B[j](步骤S905)。并且,求出从A[i]到A[i+n]和从发言串B[j]到B[j+n]相同的最大的n,并且分别作为一个块(步骤S906)。然后,将i+n+1赋值给i(步骤S907)。
A[i]是否存在于发言串B的判断结果为A[i]不存在于发言串B的情况下(步骤S904的否),将A[i]作为一个块(步骤S908)。然后,将i+1赋值给i(步骤S909)。
然后,判断是否为i>m(步骤S910)。不是i>m的情况下(步骤S907的否),再次重复判断A[i]是否存在于发言串B的的判断处理以后的操作(步骤S904~S907)。另一方面,是i>m的情况下(步骤S907的是),结束处理。
根据上述的动作,例如对于对话历史d1:E1,J2,E3,J4,E5,J6,E7,E8和对话历史d3:E1,E3,J4,J2,E8,E5,J6,E7,可以得到对话历史d1:E1,J2,(E3,J4),(E5,J6,E7),E8和对话历史d3:E1,(E3,J4),J2,E8,(E5,J6,E7)。被括号括起来的发言的标识相当于一个发言块。但是,对于只有由一个发言构成的发言块,为了使记述简单而省略括号。该对话历史d1:E1,J2,(E3,J4),(E5,J6,E7),E8以及d3:E1,(E3,J4),J2,E8,(E5,J6,E7),分别成为发言预测部105a的预测堆栈J:E1,J2,(E3,J4),(E5,J6,E7),E8以及发言预测部105b的预测堆栈E:E1,(E3,J4),J2,E8,(E5,J6,E7)。
并且,在预测堆栈制作的顺序中,进行2个发言是否相同的判断处理(步骤S901、S904、S906),除判断发言信息的一致、即判断发言编号一致以外,还可以通过利用自然语言处理的发言的表层表现(文字表现)的一致或实义词的一致等来判断。例如,一方的对话历史中的发言为“ありがとう(谢谢)。”,而其他的对话历史中的发言为“ありがとうございます(谢谢的尊敬表现)。”情况等,尽管这些发言的发言编号不同,但是因为表层表现接近,所以可以判断为2个对话历史中含有共通的发言。一方的对话历史中的发言为“Thankyou(谢谢).”,而其他的对话历史中的发言为“Thank you very much(谢谢的正式表现).”的情况也是同样。再者,一方的对话历史中的发言为“これを3セツト贈答用に包んで下さい(请把这个包装成送礼用的3份)。”,而当其他的对话历史中的发言包含了“贈答用に3セツト(送礼用的3份)、これを包んで下さい(请把这个包装起来)。”等情况下,若实义词被定义为(これ(这个)、包む(包装)、3セツト(3份)、贈答用(送礼用))时,因为共通所含有的实义词多,所以可以判断为2个对话历史共通含有的发言。并且,这些判断方法还可以组合在一起使用。通过像这样运用灵活地判断,即使在只有发言编号一致发言块的数增加的情况下,也可以抑制发言块的数量。
在此,回到图7所示的流程图进行说明。
发言预测部105a以及发言预测部105b,在构成预测堆栈以后,判断该预测堆栈是否为空(步骤S603)。发言预测部105a或发言预测部105b由于某种原因不能构成适当的预测堆栈,预测堆栈为空的情况下(步骤S603的是),发言预测部105a或发言预测部105b不进行发言预测动作而结束,遵从对方的发言预测部105a或发言预测部105b的动作。
另一方面,预测堆栈不为空的情况下(步骤S603的否),发言预测部105a以及发言预测部105b将预测堆栈开头的发言作为下一个发言候补来表示(步骤S604)。图12是表示在开始对话时刻的对话支援装置100中的显示状态的示例图。
参与对话的人1利用例句列表1101,参与对话的人2利用例句列表1102,能够从图3以及图4所定义的所有的发言中选择任意的发言,并传达给其他的参与对话的人。分别把在发言处理部102a被转换的发言输出给参与对话的人2的发言输出部1103;把在发言处理部102b被转换的发言输出给参与对话的人1的发言输出部1104,例如,利用PDA中内置的语音合成处理在显示的同时能够读出。预测显示区域1105显示由发言预测部105a所预测的参与对话的人1的发言,即,显示预测侯补。预测显示区域1106显示由发言预测部105b所预测的参与对话的人2的发言,即,显示另一个预测侯补。参与对话的人1或参与对话的人2分别通过选择在预测显示区域1105或预测显示区域1106中所显示的预测侯补的发言,从而可以省略从例句列表1101或例句列表1102中检索所希望的发言及选择输入的操作。即,可以迅速地输入给对方的发言。
在图12中发言预测部105a以及发言预测部105b已经将作为下一个的发言侯补的显示(步骤S604)结束(步骤S605)。即,发言预测部105a预测堆栈J:E1,J2,(E3,J4),(E5,J6,E7),E8的开头的发言为在E的立场上的发言,因为与J的立场不同,所以在预测显示区域1105中不显示预测侯补。并且,发言预测部105b中预测堆栈E:E1,(E3,J4),J2,E8,(E5,J6,E7)的开头的发言为在E的立场上的发言,因为立场相同,所以将作为对于参与对话的人2的预测侯补E1:”May Ihelp you(欢迎光临)?”显示在预测显示区域1106中。参与对话的人2可以从例句列表1102中选择发言,但因为预测显示区域1106已经显示了自己想要发言的内容,所以如图13所示选择预测侯补。E1在发言处理部102b被转换为日语,对参与对话的人1传达发言“いらつしやいませ(欢迎光临)”。
此时,发言预测部105a以及发言预测部105b来自判断参与对话的人的发言是否被输入(步骤S605)。若来自参与对话的人的发言被输入(步骤S605的是),发言预测部105a以及发言预测部105b从开头检索预测堆栈上一致的发言(步骤S606),并判断是否有一致的发言(步骤S607)。当有一致的发言的情况下(步骤S607的是),判断该一致的发言是否在预测堆栈的开头(步骤S608)。当在开头的情况下(步骤S608的是),删除该预测堆栈开头的发言并更新预测堆栈(步骤S609)。并且,在删除发言的同时当出现能够结合的发言块时,在预测堆栈中将能够结合的发言块结合(步骤S611)。另一方面,不在开头的情况下(步骤S608的否),将含有一致的发言的块移动到预测堆栈的开头后,从开头删除到该发言,并更新预测堆栈(步骤S610)然后,回到判断预测堆栈是否为空的判断处理(步骤S603)。
在上述的例子中,因为参与对话的人的发言为E1,所以发言预测部105a以及发言预测部105b删除作为预测堆栈开头的E1,将预测堆栈更新为J:J2,(E3,J4),(E5,J6,E7),E8以及E:(E3,J4),J2,E8,(E5,J6,E7)。并且,关于预测堆栈J:J2,(E3,J4),(E5,J6,E7),E8以及E:(E3,J4),J2,E8,(E5,J6,E7),因为不存在能够结合的发言块,所以预测堆栈不发生变化。并且,因为预测堆栈还不为空,所以发言预测部105a将预测堆栈J:J2,(E3,J4),(E5,J6,E7),E8的开头的发言J2作为预测候补。即,如图14所示,预测显示区域1105中显示J2:“チェツクインをお願いします(可以办理入住吗)。”。并且,发言预测部105b将预测堆栈E:(E3,J4),J2,E8,(E5,J6,E7)的开头的发言E3作为预测侯补,在预测显示区域1106中显示E3:“Have you made reservation(您预定过了吗)?”。发言预测部105a以及发言预测部105b等候来自参与对话的人的发言。
参与对话的人1或参与对话的人2可以分别从例句列表1101或例句列表1102中选择发言,因为预测显示区域1105或预测显示区域1106已经显示了自己想要发言的内容,所以从预测候补中选择也是一个好方法。在此,如图15所示若参与对话的人2比参与对话的人1早选择预测显示区域1106,则E3在发言处理部102b被转换为日语,对参与对话的人1传达发言“予約はされていますか(您预定过了吗)?”。发言预测部105a,因为参与对话的人的发言E3不存在于预测堆栈J:J2,(E3,J4),(E5,J6,E7),E8的开头的发言块中,所以制作J:(E3,J4),J2,(E5,J6,E7),E8(步骤S610),并更新为J:J4,J2,(E5,J6,E7),E8(步骤S609)。另一方面,发言预测部105b,因为参与对话的人的发言E3存在于预测堆栈E:(E3,J4),J2,E8,(E5,J6,E7)的开头的发言块中,所以更新为E:J4,J2,E8,(E5,J6,E7)。此时,在预测堆栈中存在共通所含有的连续的发言J4,J2(步骤S611)。因此,发言预测部105b通过将J4,J2结合成为1个发言块,而将预测堆栈更新为J:(J4,J2),(E5,J6,E7),E8和E:(J4,J2),E8,(E5,J6,E7)。
发言预测部105a同样因为预测堆栈成为了J:(J4,J2),(E5,J6,E7),E8和E:(J4,J2),E8,(E5,J6,E7),所以如图16所示,预测显示区域1105中显示预测侯补J4:“はい(是)。”。发言预测部105b,因为预测显示区域1106中参与对话的人的立场不同,所以不显示预测侯补。
参与对话的人1虽然可以从例句列表1101中选择发言,但是预测显示区域1105中已经显示了自己想要发言的内容,如图17所示,若选择预测显示区域1105,则J4在发言处理部102a中被转换为英语,对参与对话的人2传达的发言“Yes(是)”。同样,发言预测部105a以及发言预测部105b将预测堆栈更新为J:J2,(E5,J6,E7),E8和E:J2,E8,(E5,J6,E7),如图18所示,预测显示区域1105中显示J2:“チエツクインをお願いします(可以办理入住吗)。”,在预测显示区域1106中什么也不显示。这样,参与对话的人1或参与对话的人2不需要从例句列表1101或例句列表1102中检索所希望的发言,就可以迅速地将意图传达给对方,可以减少对话所需要的时间。
下面,关于本发明的效果进行客观的说明。图19是对根据本实施方式的对话支援装置100所支援的对话进行模式上的表示的图。对话沿箭头方向进行。实线方框表示的是预测堆栈的状态,在箭头旁边的虚线方框表示的是参与对话的人所提示的预测侯补和参与对话的人实际输入的发言的对的时序。例如,虚线方框1801表示:作为预测侯补在预测显示区域1105中什么也不显示,在预测显示区域1106中显示E3:“Have you made reservation(您预定过了吗)?”,参与对话的人2输入E3,之后在预测显示区域1105中显示J4:“はい(是)。”,预测显示区域1106中什么也不显示,参与对话的人1输入J4。图19还表示按照参与对话的人输入的发言,预测侯补发生变化。特别是箭头的分支是表示对于预测侯补,参与对话的人输入的发言为多个。例如,分支1802是表示作为预测侯补在预测显示区域1105中显示J2:“チエツクインをお願いします(可以办理入住吗。)”,在预测显示区域1106中显示E3:“Have you madereservation(您预定过了吗?)”时,参与对话的人1比参与对话的人2先输入J2时,以及参与对话的人2比参与对话的人1先输入E3时的对话的分支点。以下举例说明在多个对话进行方式中,沿粗箭头所进行的对话。在此例中,图20所示的对话d’是在参与对话的人之间所进行的对话,因为对话d’在图5所示的对话历史数据库中不存在,所以是新生成的对话历史。
在此,对对话历史的类似度进行定义。r(da|db)是对于对话历史db的对话历史da的类似度,根据图21(a)的数学式2001进行定义。但是,关于对话历史da和对话历史db,通过和图9所定义的预测堆栈的制作顺序同样的处理,决定发言块。size(d)是对话历史中所包含的发言块的数,size(b)是发言块b中所包含的发言的数。例如,在图21(b)的类似度计算的例2002中,因为对话历史da由4个发言块构成,所以size(da)=4。并且,因为各发言块中所包含的发言的数分别为,size(b1)=5,size(b2)=2,size(b3)=4,size(b4)=1,所以计算r(da|db)约等于0.424。定性而言,r的值越大2个对话历史的类似度越高。并且,类似度与发言的集合的数成反比例,共通的发言块的数越少类似度越高。并且,类似度与各集合中所包含的发言数的平均成正比,1个发言块中所包含的发言数越多类似度越高。因此,参与对话的人的对话历史类似度越高,2人之间所进行的对话的进行方式就越类似,所以能够顺利地进行对话。
如图22所示,在对话d’开始之前的参与对话的人的对话历史d1和对话历史d3的类似度是0.16。但是,对于由本发明的支援所进行的对话d’的类似度分别为,对话历史d1是0.29,对话历史d3是0.57。由此可清楚地知道,与让其他的参与对话的人遵从一方的参与对话的人的对话历史进行对话相比,能够更加顺利地进行对话。
以下,示出在参与对话的人将预测侯补中的一部分不进行选择而继续进行对话的情况下也具有本发明的效果。图23是对根据本实施方式的对话支援装置100所支援的对话进行模式上的表示的图。图的解释和图19相同,虚线方框2201表示预测显示区域1105中的预测侯补J2,尽管预测显示区域1106中什么也没有显示,参与对话的人2从例句列表1102中输入发言E5。沿粗箭头方向进行的对话是图24中所示的对话d”,因为在图5中所示的对话历史数据库中不存在d”,所以是新被生成的对话历史。
如图24所示在开始对话d”之前的对话历史d1和d3的类似度是0.16,但对所进行的对话的类似度分别为,对话历史d1是0.33,对话历史d3是0.52。因此,可以清楚地知道,即使参与对话的人不遵从一部分的预测侯补,也比让其他的参与对话的人遵从一方的参与对话的人的对话历史进行对话,能够更加顺利地进行对话。这样,在本发明中,即使是参与对话的人忽视预测侯补的一部分的情况下,也能够通过对从该时刻开始的对话的展开尽最大可能的预测,由此给予参与对话的人的对话自由度,并可进行灵活的对话支援。
到此为止,假定说明了说日语的参与对话的人1使用对话支援装置100a、说英语的参与对话的人2使用对话支援装置100b的情况,以下假定说明说中文的参与对话的人1使用对话支援装置100a、说英语的参与对话的人2使用对话支援装置100b的情况。图25是表示在对话支援装置100a中输入输出的发言和发言编号的对应关系的一示例图。
发言接受部101a将接受的参与对话的人1的发言转换为相当的发言信息。发言信息是例如图25中的发言编号。发言处理部102a将参与对话的人1的发言(中文)转换为给参与对话的人2的发言(英语),并输出字符串。例如,发言编号1被输入时,对发言输出部103a输出作为发言信息的字符串“May I help you(欢迎光临)?”。
和对话支援装置100a完全对称的对话支援装置100b的发言处理部102b,将参与对话的人2的发言转换为相当的发言信息。图26是表示在对话支援装置100b中输入输出的发言和发言编号的对应关系的一示例图。图25和图26中的发言编号完全相同,其处理方向不同。发言信息是例如图26的发言编号,发言接受部101b将参与对话的人2的发言(英语)转换为给参与对话的人1的发言(中文),并输出字符串。例如,发言编号1被输入的时候,对发言输出部103b输出作为发言信息的字符串“欢迎光临。”。以后,为了在考虑语言方向的同时进行简单的说明,略记为从参与对话的人1的发言编号1为C1,从参与对话的人2的发言编号1为E1。
发言接受部101a让参与对话的人1直接选择如图25的中文列表的部分,将其发言编号作为发言信息来输出。并且,发言接受部101b让参与对话的人2直接选择如图26的英语列表的部分,将其发言编号作为发言信息来输出。再者,关于发言接受部101a或发言接受部101b的结构,也可以通过利用语音识别处理将参与对话的人的语音映射处理为某一个发言编号来实现。并且,也可以通过从键盘输入与发言的记载或发音相当的字符串、并将其映射处理为某一个发言编号来实现。
图27(a)、(b)是表示对话历史数据库104a以及对话历史数据库104b中所存储的对话历史的一示例图。所谓对话历史是由参与对话的人过去所进行的对话的历史,并且是按照各参与对话的人的发言时间的顺序排列的。各发言相当于图25或图26中所定义的某一个发言。再者,即使是同样的发言编号,因为参与对话的人的立场不同也需要区别,所以在各自发言编号前附加中文为C,英语为E,作为在对话历史中的发言的标识来定义。以后,为了说明上的简单,将1个对话历史用其标识的列进行记述。例如,对话历史d5的记述为d5:E1,C2,E3,C4,E5,C6,E7,E8。
在对话历史中记录了进行该对话的参与对话的人的信息和对话的主题。例如,对话历史d5记载了参与对话的人1站在C的立场进行了对话的信息和该对话的主题是入住登记的信息。
以下,如图6所示,参与对话的人1为说中文的观光客,参与对话的人2为说英语的饭店前台的职员,以为了办理饭店的入住登记而进行对话的情况为例进行说明。并且,因为发言预测部105a以及发言预测部105b的动作的流程和上述同样,所以利用图7所示的流程图进行说明,关于与上述同样的部分省略说明。
首先,为了从对话历史数据库104a和对话历史数据库104b中检索用于进行发言预测所需要的对话历史,发言预测部105a以及发言预测部105b进行对话主题的指定(步骤S601)。发言预测部105a对于对话历史数据库104a进行检索,发言预测部105b对于对话历史数据库104b进行检索。例如,参与对话的人1使用作为PDA被实现的如图28所示的对话支援装置100a,参与对话的人2使用对话支援装置100b。对话的主题分别利用主题输入区域703以及主题输入区域704,通过让各参与对话的人从触摸屏直接输入从而取得主题的信息。
当由各参与对话的人点击对话开始键705以及对话开始键706时,发言预测部105a对于参与对话的人1选择对话历史d5,发言预测部105b对于参与对话的人2选择对话历史d7。其理由为,对话历史d5和对话历史d7的对话的主题均为饭店。因为对话历史d6以及对话历史d8的对话的主题不同,所以不被选择。并且,发言预测部105a将对话历史d5作为第1发言预测信息通知给发言预测部105b,发言预测部105b将对话历史d7作为第2发言预测信息通知给发言预测部105a。
然后,发言预测部105a和发言预测部105b利用对话历史d5:E1,C2,E3,C4,E5,C6,E7,E8和对话历史d7:E1,E3,C4,C2,E8,E5,C6,E7,与上述同样制作预测堆栈(步骤S602)。并且,例如,发言预测部105a制作预测堆栈C:E1,C2,(E3,C4),(E5,C6,E7),E8,发言预测部105b制作预测堆栈E:E1,(E3,C4),C2,E8,(E5,C6,E7)。
发言预测部105a以及发言预测部105b构成预测堆栈之后,判断预测堆栈是否为空(步骤S603)。发言预测部105a或发言预测部105b由于某种理由不能构成适当的预测堆栈,预测堆栈为空的情况下(步骤S603的是),发言预测部105a或发言预测部105b不进行发言预测动作而结束,此时遵从对方的发言预测部105a或发言预测部105b的动作。
另一方面,预测堆栈不为空的情况下(步骤S603的否),发言预测部105a以及发言预测部105b将预测堆栈开头的发言作为下一个发言侯补来显示(步骤S604)。图29是开始对话时刻的对话支援装置100的显示状态的图。
参与对话的人1利用例句列表1101,参与对话的人2利用例句列表1102,可以从图25以及图26中所定义的所有的发言中选择任意的发言并传给其他的参与对话的人。分别将在发言处理部102a中被转换的发言输出给参与对话的人2的发言输出部1103,将在发言处理部102b中被转换的发言输出给参与对话的人1的发言输出部1104,例如在利用PDA中内置的语音合成处理表示的同时读出。在预测显示区域1105中显示由发言预测部105a所预测的参与对话的人1的发言,即显示预测侯补。在预测显示区域1106显示由发言预测部105b所预测的参与对话的人2的发言,即显示预测侯补。参与对话的人1或参与对话的人2通过分别选择预测显示区域1105或预测显示区域1106中所显示的预测侯补的发言,可以省略从例句列表1101或例句列表1102中检索所希望的发言及选择输入的操作。即,可以迅速输入给对方的发言。
图29中发言预测部105a以及发言预测部105b已经将作为下一个发言侯补的显示(步骤S604)结束(步骤S605)。即,发言预测部105a是预测堆栈C:E1,C2,(E3,C4),(E5,C6,E7),E8的开头的发言为E的立场的发言,因为与C的立场不同,所以预测显示区域1105中不显示预测侯补,并且,发言预测部105b是预测堆栈E:E1,(E3,C4),C2,E8,(E5,C6,E7)的开头的发言为E的立场的发言,因为是相同立场,所以对于参与对话的人2把作为预测侯补的E1:“May I helpyou(欢迎光临)?”显示在预测显示区域1106中。参与对话的人2虽然可以从例句列表1102中选择发言,但是因为预测显示区域1106已经显示了自己想要发言的内容,所以如图30所示选择预测侯补。E1在发言处理部102b中被转换为中文,对参与对话的人1传达发言“いらつしやいませ(欢迎光临)。”。
此时,发言预测部105a以及发言预测部105b判断从参与对话的人是否输入了发言(步骤S605)。若从参与对话的人输入了发言(步骤S605的是),则发言预测部105a以及发言预测部105b从开头检索在预测堆栈上的一致的发言(步骤S606),并判断是否有一致的发言(步骤S607)。若有一致的发言时(步骤S607的是),判断该一致的发言是否在预测堆栈的开头(步骤S608)。若在开头时(步骤S608的是),删除预测堆栈开头的发言并更新预测堆栈(步骤S609)。并且,在删除发言的同时当出现能够结合的发言块的情况时,在预测堆栈中结合能够结合的发言块(步骤S611)。另一方面,若不在开头时(步骤S608的否),将含有一致发言的块移动到预测堆栈的开头后,删除从开头到该发言为止的发言并更新预测堆栈(步骤S610)。并且,返回到预测堆栈是否为空的判断处理(步骤S603)。
在上述例子中,正是因为参与对话的人的发言是E1,所以发言预测部105a以及发言预测部105b删除作为预测堆栈开头的E1,将预测堆栈更新为C:C2,(E3,C4),(E5,C6,E7),E8以及E:(E3,C4),C2,E8,(E5,C6,E7)。此外,关于预测堆栈C:C2,(E3,C4),(E5,C6,E7),E8以及E:(E3,C4),C2,E8,(E5,C6,E7),因为不存在能够结合的发言块,所以预测堆栈不发生变化。并且,因为预测堆栈还不为空,所以发言预测部105a将预测堆栈C:C2,(E3,C4),(E5,C6,E7),E8的开头的发言C2作为预测侯补。即,如图31所示预测显示区域1105中显示C2:“可以办理入住吗?”。并且,发言预测部105b将预测堆栈E:(E3,C4),C2,E8,(E5,C6,E7)的开头的发言E3作为预测侯补,在预测显示区域1106中显示E3:“Have you madereservation(您预约过了吗)?”。发言预测部105a以及发言预测部105b等待来自参与对话的人的发言。
参与对话的人1或参与对话的人2虽然可以分别从例句列表1101或例句列表1102中选择发言,但是因为预测显示区域1105或预测显示区域1106中已经显示了自己想要发言的内容,所以从预测侯补中选择是上策。在此,如图32所示若参与对话的人2比参与对话的人1早选择预测显示区域1106,则E3在发言处理部102b中被转换为中文,对参与对话的人1传达发言“您预定过了吗?”。因为来自参与对话的人的发言E3不存在于预测堆栈C:C2,(E3,C4),(E5,C6,E7),E8的开头的发言块中,所以发言预测部105a成为C:(E3,C4),C2,(E5,C6,E7),E8(步骤S610),更新为C:C4,C2,(E5,C6,E7),E8(步骤S609)。另一方面,若来自参与对话的人的发言E3存在于预测堆栈E:(E3,C4),C2,E8,(E5,C6,E7)的开头的发言块中,则发言预测部105b更新为E:C4,C2,E8,(E5,C6,E7)。此时,预测堆栈中存在共通含有的连续的发言C4,C2(步骤S611)。因此,发言预测部105b通过将C4,C2结合为一个发言块,而将预测堆栈更新为C:(C4,C2),(E5,C6,E7),E8以及E:(C4,C2),E8,(E5,C6,E7)。
同样,发言预测部105a因为预测堆栈成为了C:(C4,C2),(E5,C6,E7),E8以及E:(C4,C2),E8,(E5,C6,E7),所以如图33所示,预测显示区域1105中显示预测侯补C4:“是”。发言预测部105b,因为预测显示区域1106中参与对话的人的立场不同,所以不显示预测侯补。
参与对话的人1虽然可以从例句列表1101中选择发言,但是因为预测显示区域1105中已经显示了自己想要发言的内容,所以如图34所示若选择预测显示区域1105,则C4在发言处理部102a中被转换为英语,对参与对话的人2传达发言“Yes(是).”。同样,发言预测部105a以及发言预测部105b将预测堆栈更新为C:C2,(E5,C6,E7),E8以及E:C2,E8,(E5,C6,E7),如图35所示在预测显示区域1105中显示C2:“可以办理入住吗?”,在预测显示区域1106中什么也不显示。这样,参与对话的人1或参与对话的人2不需要从例句列表1101或例句列表1102中检索所希望的发言,从而快速地将意图传达给对方,由此削减了对话的所要时间。
下面与上述的日语和英语的情况相同,对中文和英语的情况的效果进行客观的说明。图36是模式上地表示的根据本实施方式的对话支援装置100所支援的对话(中文和英语的情况)的图。图的解释和图19相同,例如虚线方框3601表示:作为预测侯补在预测显示区域1105中什么也不显示,在预测显示区域1106中显示E3:“Have you made reservation(您预定过了吗)?”,参与对话的人2输入E3之后,预测显示区域1105中显示C4:“是”,预测显示区域1106中什么也不显示,参与对话的人1输入C4。图36还表示预测侯补与参与对话的人输入的发言相对应地变化。特别是箭头的分支表示参与对话的人对于预测侯补输入的发言为多个。例如分支3602为对话的分支点,表示的是作为预测侯补在预测显示区域1105中显示C2:“可以办理入住吗?”,在预测显示区域1106中显示E3:“Have you made reservation(您预定过了吗)?”时,参与对话的人1比参与对话的人2早输入了C2的情况、和参与对话的人2比参与对话的人1早输入了E3的情况。以下,说明在这样的多个对话的进行方式中,以沿粗箭头的方向进行的对话为例。在此例子中,如图37所示的对话f是参与对话的人之间进行的对话,因为对话f在图32所示的对话历史数据库中不存在,所以是新生成的对话历史。
如图38所示,在开始对话f之前的参与对话的人的对话历史d5和对话历史d7的类似度为0.16。但是,对于通过本发明的支援所进行的对话f的类似度分别是,与对话历史d5为0.29,与对话历史d7为0.57。因此,可以清楚地看出,与让其他的参与对话的人遵从一方的参与对话的人的对话历史进行对话相比,能够进行更加顺利的对话。
其次,示出即使参与对话的人对预测侯补的一部分不进行选择而继续进行对话的情况,也具有本发明的效果。图39是模式上表示由本实施方式的对话支援装置100所支援的对话(中文和英语的情况)的图。图的解释和图19相同,虚线方框3901表示,预测显示区域1105的预测侯补C2不被显示,尽管预测显示区域1106中什么也没有显示,但参与对话的人2从例句列表1102中输入发言E5。按照粗箭头的方向进行的对话是图40(a)中所示的对话f’,因为f’在图32所示的对话历史数据库中不存在,所以是新生成的对话历史。
如图40(b)所示在开始对话f’之前的对话历史d5和d7的类似度为0.16,但对于被进行了的对话的类似度分别是,与对话历史d5为0.33,与对话历史d7为0.52。因此,可以清除地知道,即使参与对话的人不遵从一部分的预测侯补,也比让其他的参与对话的人遵从一方的参与对话的人的对话历史进行对话,能够更加顺利地进行对话。这样,在本发明中,即使是参与对话的人忽视一部分预测侯补的情况下,也能够尽可能的对从该时刻开始的对话的展开进行预测,由此给予参与对话的人对话的自由度,并且实现了灵活的对话支援。
还有,可以构成为在图1所示的结构中添加历史登录部,在发言处理部将参与对话的人之间所进行的所有的发言信息记录,并在对话结束时从发言处理部蓄积到对话历史数据库中。据此,对于以后的发言预测能够自动地增加有效的对话历史。例如,将对话d’和对话d”蓄积到对话历史数据库104a以及对话历史数据库104b中。特别是当不按照发言预测部的预测进行对话的情况下,不存在于对话历史数据库中的对话的情况较多,通过将其蓄积而可以使下一次的发言预测更加精确地进行。
并且,如图41以及图42所示,也可以构成参与对话的人共同拥有1台对话支援装置。还可以将对话历史数据库通过存储卡2401、存储卡2402插入到装置上来使用。图43表示的是在此情况下的对话支援装置的一实施方式的结构框图。对话历史数据库可以如图41以及图42所示由存储卡构成,或者也可以由通信线路能够访问的网络上的数据库构成。通过如图43所示的结构,可以将对话装置的硬件作为公共的装置来利用。
并且,还可以替换如图2所示的结构中将发言接受部101a和发言接受部101b进行,而成为如图44所示具有语音识别部401a以及语音识别部402b的结构。在此情况,通过在语音识别部401a以及语音识别部402b的识别对象语汇中,优先收集与发言预测部105a以及发言预测部105b所预测的发言有关联的语汇,从而能够提高语音识别的精度。作为有关联的语汇,可以是发言预测部105a以及发言预测部105b中输出的预测发言本身,或者,也可以是与该预测发言接近的语句,或者,还可以是预测发言中所包含的单词,再者也可以是从预测发言联想出来的单词。
此外,如图45所示还可以装配发言输出部502a和发言输出部502b以使用对方的对话支援装置的发言输出部,并从对方的对话支援装置中输出被发言处理过的文字和语音。在此情况,参与对话的人因为能够通过自己手中的对话支援装置耳闻目睹对方的发言,从而降低了错听误听等,使对话能够更加顺畅地进行。
并且,如图12或图35所示的按键1107以及按键1108分别是参与对话的人1以及参与对话的人2为了发言的阅览预测展开的键。具体而言当按下这些键时,发言预测部105a以及发言预测部105b显示全部的到此为止所进行的发言和当前时刻的预测堆栈中的内容。但是,各发言分别转换为参与对话的人的语言来表示。并且,作为对话的预测展开,提示对方的预测堆栈的内容。图46表示的是对话的预测展开的一个例子(日语和英语的情况)的图。到此为止所进行的发言为E1,E3,J4,当前时刻预测堆栈为J:J2,(E5,J6,E7),E8以及E:J2,E8,(E5,J6,E7)。对于参与对话的人1,在显示区域2801中作为到此为止所进行的对话显示E1,E3,J4;以及作为以后的预测展开而在显示区域2802中显示J2,E8,E5,J6,E7。并且,对于参与对话的人2,在显示区域2803中作为到此为止所进行的对话显示E1,E3,J4;在显示区域2804中作为以后的预测展开显示J2,E5,E6,E7,E8。
并且,图47是表示对话的预测展开的一个例子(中文和英语的情况)的图。到此为止所进行的发言为E1,E3,C4;当前时刻预测堆栈为C:C2,(E5,C6,E7),E8以及E:C2,E8,(E5,C6,E7)。对于参与对话的人1,在显示区域2801中作为到此为止所进行的对话显示E1,E3,C4;以及作为以后的预测展开在显示区域2802中显示C2,E8,E5,C6,E7。并且,对于参与对话的人2,在显示区域2803中作为到此为止所进行的对话显示E1,E3,C4;在显示区域2804中作为以后的预测展开显示C2,E5,E6,E7,E8。通过向参与对话的人提示这样的预测展开,参与对话的人可以提前知道对方的发言和对话的展开方式,在继续进行对话的时候可以整理头绪,从而能够实现更顺畅的对话。
并且,本实施方式中只是把日语和英语的情况以及中文和英语的情况作为一个例子来说明,关于法语等其他的语种也同样可以实行,本发明不受语种的限制。
产业上利用的可能性
本发明所涉及的对话支援装置,具有迅速输入参与对话的人的发言的功能,也可作为移动电话或移动终端等的翻译应用软件等来使用。并且,也可以在公共的街头终端或向导终端等用途上应用。还可以在同语种的对话中,固定短语的网上聊天系统等用途上应用。

Claims (17)

1.一种对话支援装置,支援由参与对话的人所进行的对话,其特征在于,包括:
对话历史数据库,存储上述参与对话的人的过去的对话历史;以及
发言预测单元,根据上述对话历史数据库中所存储的上述对话历史,制作第1发言预测信息,并且从其他的对话支援装置取得第2发言预测信息,根据上述第1发言预测信息以及上述第2发言预测信息,预测使用该对话支援装置的参与对话的人在上述对话中的下一个发言。
2.根据权利要求1所述的对话支援装置,其特征在于,
上述发言预测单元将所制作的上述第1发言预测信息通知给上述其他的对话支援装置。
3.根据权利要求1所述的对话支援装置,其特征在于,
上述发言预测单元从上述对话历史数据库中所存储的上述对话历史中,提取与上述对话的对话状况最接近的对话历史,并将提取的上述对话历史作为上述第1发言预测信息。
4.根据权利要求3所述的对话支援装置,其特征在于,
上述发言预测单元根据上述第1发言预测信息以及上述第2发言预测信息中包含的各对话历史中共通包含的、且连续的发言的集合,来制作预测堆栈。
5.根据权利要求4所述的对话支援装置,其特征在于,
上述发言预测单元将上述预测堆栈的开头的发言作为上述参与对话的人的下一个发言进行预测。
6.根据权利要求4所述的对话支援装置,其特征在于,
在上述预测堆栈的发言的集合中出现上述参与对话的人的发言的情况下,上述发言预测单元将上述集合移动到上述预测堆栈的开头,并且,从上述预测堆栈中删除从上述预测堆栈的开头到上述发言。
7.根据权利要求4所述的对话支援装置,其特征在于,
上述发言预测单元根据用于指定发言的发言信息的一致性、表层表现的一致性、以及实义词的一致性中的至中少一个,来判断上述对话历史中是否有共通包含的发言。
8.根据权利要求3所述的对话支援装置,其特征在于,
上述发言预测单元根据动态设计法,将上述第1发言预测信息以及上述第2发言预测信息中包含的各对话历史的发言数调整为发言数相同。
9.根据权利要求1所述的对话支援装置,其特征在于,还包括:
发言接受单元,接受上述参与对话的人的发言;
发言处理单元,将由上述发言接受单元所接受的上述发言转换为其他的发言方式;以及
发言输出单元,输出由上述发言处理单元所转换的上述其他发言方式的上述发言。
10.根据权利要求9所述的对话支援装置,其特征在于,
上述发言接受单元对于被输入的语音,将语音识别辞典限定在以下的某一个范围内之后进行语音识别,并将上述语音识别结果作为上述发言来接受,该范围包括:由上述发言预测单元所预测的预测发言、与上述预测发言接近的语句、上述预测发言中包含的单词,以及从上述预测发言联想的单词。
11.根据权利要求9所述的对话支援装置,其特征在于,还包括显示单元,
上述发言预测单元将预测的预测发言显示在上述显示单元上;
当上述预测发言被上述参与对话的人选择时,上述发言接受单元将上述预测发言作为上述发言来接受。
12.根据权利要求9所述的对话支援装置,其特征在于,还包括显示单元,
上述发言预测单元根据上述第1发言预测信息以及上述第2发言预测信息,预测在上述对话中的上述参与对话的人的发言的展开,并将预测的发言展开显示在上述显示单元上。
13.根据权利要求12所述的对话支援装置,其特征在于,
上述发言预测单元将预测的上述发言展开通知给其他的对话支援装置。
14.根据权利要求1所述的对话支援装置,其特征在于,还包括:
历史登录单元,将由上述参与对话的人所进行的上述对话的历史登录到上述对话历史数据库中。
15.一种对话支援系统,使用第1对话支援装置以及第2对话支援装置来支援由参与对话的人所进行的对话,其特征在于,
上述第1对话支援装置,包括:
第1对话历史数据库,存储上述参与对话的人的过去的对话历史;以及
第1发言预测单元,根据上述对话历史数据库中所存储的上述对话历史,制作第1发言预测信息,并从上述第2对话支援装置中取得第2发言预测信息,根据上述第1发言预测信息以及上述第2发言预测信息,预测使用该第1对话支援装置的参与对话的人在上述对话中的下一个发言;
上述第2对话支援装置,包括:
第2对话历史数据库,存储上述参与对话的人的过去的对话历史;以及
第2发言预测单元,根据上述第2对话历史数据库中所存储的上述对话历史,制作第2发言预测信息,并从上述第1对话支援装置中取得上述第1发言预测信息,根据上述第1发言预测信息以及上述第2发言预测信息,预测使用该第2对话支援装置的参与对话的人在上述对话中的下一个发言。
16.一种对话支援方法,支援由参与对话的人所进行的对话,其特征在于,包括:
发言预测步骤,根据上述参与对话的人的过去的对话历史,制作第1发言预测信息,并从其他的对话支援装置中取得第2发言预测信息,根据上述第1发言预测信息以及上述第2发言预测信息,预测使用该对话支援装置的参与对话的人在上述对话中的下一个发言。
17.一种程序,用于支援由参与对话的人所进行的对话,其特征在于,由计算机来执行以下步骤:
发言预测步骤,根据上述参与对话的人的过去的对话历史,制作第1发言预测信息,并从其他的对话支援装置中取得第2发言预测信息,根据上述第1发言预测信息以及上述第2发言预测信息,预测使用该对话支援装置的参与对话的人在上述对话中的下一个发言。
CN2005800010394A 2004-10-08 2005-10-05 对话支援装置、系统及方法 Expired - Fee Related CN1842788B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004296776 2004-10-08
JP296776/2004 2004-10-08
PCT/JP2005/018426 WO2006040969A1 (ja) 2004-10-08 2005-10-05 対話支援装置

Publications (2)

Publication Number Publication Date
CN1842788A true CN1842788A (zh) 2006-10-04
CN1842788B CN1842788B (zh) 2012-04-04

Family

ID=36148264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800010394A Expired - Fee Related CN1842788B (zh) 2004-10-08 2005-10-05 对话支援装置、系统及方法

Country Status (4)

Country Link
US (2) US7346515B2 (zh)
JP (1) JP3962766B2 (zh)
CN (1) CN1842788B (zh)
WO (1) WO2006040969A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266793B (zh) * 2007-03-14 2011-02-02 财团法人工业技术研究院 通过对话回合间上下文关系来减少辨识错误的装置与方法
CN103578469A (zh) * 2012-08-08 2014-02-12 百度在线网络技术(北京)有限公司 一种展示语音识别结果的方法及装置
US11309076B2 (en) 2018-11-21 2022-04-19 GE Precision Healthcare LLC Workflow predictive analytics engine
US11380436B2 (en) 2018-11-21 2022-07-05 GE Precision Healthcare LLC Workflow predictive analytics engine

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006040969A1 (ja) * 2004-10-08 2006-04-20 Matsushita Electric Industrial Co., Ltd. 対話支援装置
KR20060110787A (ko) * 2005-04-20 2006-10-25 가부시키가이샤 소니 컴퓨터 엔터테인먼트 회화 지원 장치
WO2007053911A1 (en) * 2005-11-14 2007-05-18 Fumitaka Noda Multi language exchange system
JP4197344B2 (ja) * 2006-02-20 2008-12-17 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声対話システム
US20080312902A1 (en) * 2007-06-18 2008-12-18 Russell Kenneth Dollinger Interlanguage communication with verification
US8566076B2 (en) * 2008-05-28 2013-10-22 International Business Machines Corporation System and method for applying bridging models for robust and efficient speech to speech translation
JP5501581B2 (ja) * 2008-07-25 2014-05-21 シャープ株式会社 情報処理装置および情報処理方法
JP5221768B2 (ja) 2009-09-25 2013-06-26 株式会社東芝 翻訳装置、及びプログラム
US9564120B2 (en) * 2010-05-14 2017-02-07 General Motors Llc Speech adaptation in speech synthesis
US20110313762A1 (en) * 2010-06-20 2011-12-22 International Business Machines Corporation Speech output with confidence indication
JP5242726B2 (ja) * 2011-03-28 2013-07-24 株式会社東芝 外国語接客支援装置、外国語接客方法及びプログラム
US9501472B2 (en) * 2012-12-29 2016-11-22 Intel Corporation System and method for dual screen language translation
JP6360484B2 (ja) * 2013-09-03 2018-07-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 音声対話制御方法
US10049656B1 (en) * 2013-09-20 2018-08-14 Amazon Technologies, Inc. Generation of predictive natural language processing models
US9600474B2 (en) * 2013-11-08 2017-03-21 Google Inc. User interface for realtime language translation
JP6359327B2 (ja) * 2014-04-25 2018-07-18 シャープ株式会社 情報処理装置および制御プログラム
JP6251450B2 (ja) * 2015-03-12 2017-12-20 株式会社東芝 対話支援装置、方法およびプログラム、および端末
WO2018085760A1 (en) * 2016-11-04 2018-05-11 Semantic Machines, Inc. Data collection for a new conversational dialogue system
WO2018148441A1 (en) 2017-02-08 2018-08-16 Semantic Machines, Inc. Natural language content generator
US11069340B2 (en) 2017-02-23 2021-07-20 Microsoft Technology Licensing, Llc Flexible and expandable dialogue system
US10762892B2 (en) 2017-02-23 2020-09-01 Semantic Machines, Inc. Rapid deployment of dialogue system
US10586530B2 (en) 2017-02-23 2020-03-10 Semantic Machines, Inc. Expandable dialogue system
US11132499B2 (en) 2017-08-28 2021-09-28 Microsoft Technology Licensing, Llc Robust expandable dialogue system
US11238226B2 (en) * 2018-11-15 2022-02-01 Nuance Communications, Inc. System and method for accelerating user agent chats
US10839801B2 (en) * 2018-12-13 2020-11-17 Language Line Services, Inc. Configuration for remote multi-channel language interpretation performed via imagery and corresponding audio at a display-based device
US11676586B2 (en) * 2019-12-10 2023-06-13 Rovi Guides, Inc. Systems and methods for providing voice command recommendations

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5216603A (en) * 1985-11-18 1993-06-01 Action Technologies, Inc. Method and apparatus for structuring and managing human communications by explicitly defining the types of communications permitted between participants
US5748841A (en) * 1994-02-25 1998-05-05 Morin; Philippe Supervised contextual language acquisition system
JPH0877176A (ja) * 1994-09-07 1996-03-22 Hitachi Ltd 外国語翻訳装置
US5682539A (en) * 1994-09-29 1997-10-28 Conrad; Donovan Anticipated meaning natural language interface
JP3367298B2 (ja) * 1994-11-15 2003-01-14 富士ゼロックス株式会社 言語情報提供装置、言語情報提供システムおよび言語情報提供方法
US5812126A (en) * 1996-12-31 1998-09-22 Intel Corporation Method and apparatus for masquerading online
JP2000187435A (ja) * 1998-12-24 2000-07-04 Sony Corp 情報処理装置、携帯機器、電子ペット装置、情報処理手順を記録した記録媒体及び情報処理方法
JP3822990B2 (ja) * 1999-01-07 2006-09-20 株式会社日立製作所 翻訳装置、記録媒体
US6233561B1 (en) * 1999-04-12 2001-05-15 Matsushita Electric Industrial Co., Ltd. Method for goal-oriented speech translation in hand-held devices using meaning extraction and dialogue
TW501046B (en) * 1999-06-11 2002-09-01 Ind Tech Res Inst A portable dialogue manager
US6622119B1 (en) * 1999-10-30 2003-09-16 International Business Machines Corporation Adaptive command predictor and method for a natural language dialog system
JP3974412B2 (ja) * 2001-01-24 2007-09-12 松下電器産業株式会社 音声変換装置
US7050979B2 (en) 2001-01-24 2006-05-23 Matsushita Electric Industrial Co., Ltd. Apparatus and method for converting a spoken language to a second language
US7251595B2 (en) * 2001-03-22 2007-07-31 Nippon Telegraph And Telephone Corporation Dialogue-type information providing apparatus, dialogue-type information providing processing method, and program and recording medium for the same
JP2003030187A (ja) * 2001-07-18 2003-01-31 Nec Corp 自動通訳システム、会話学習装置、自動通訳装置及びその方法並びにそのプログラム
JP3980331B2 (ja) * 2001-11-20 2007-09-26 株式会社エビデンス 多言語間会話支援システム
US20040172236A1 (en) * 2003-02-27 2004-09-02 Fraser Grant E. Multi-language communication system
WO2006040969A1 (ja) * 2004-10-08 2006-04-20 Matsushita Electric Industrial Co., Ltd. 対話支援装置
WO2007055181A1 (ja) * 2005-11-11 2007-05-18 Matsushita Electric Industrial Co., Ltd. 対話支援装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266793B (zh) * 2007-03-14 2011-02-02 财团法人工业技术研究院 通过对话回合间上下文关系来减少辨识错误的装置与方法
CN103578469A (zh) * 2012-08-08 2014-02-12 百度在线网络技术(北京)有限公司 一种展示语音识别结果的方法及装置
US11309076B2 (en) 2018-11-21 2022-04-19 GE Precision Healthcare LLC Workflow predictive analytics engine
US11380436B2 (en) 2018-11-21 2022-07-05 GE Precision Healthcare LLC Workflow predictive analytics engine

Also Published As

Publication number Publication date
JPWO2006040969A1 (ja) 2008-05-15
US7346515B2 (en) 2008-03-18
US7835914B2 (en) 2010-11-16
JP3962766B2 (ja) 2007-08-22
WO2006040969A1 (ja) 2006-04-20
US20080215338A1 (en) 2008-09-04
CN1842788B (zh) 2012-04-04
US20060136227A1 (en) 2006-06-22

Similar Documents

Publication Publication Date Title
CN1842788A (zh) 对话支援装置
CN1842787A (zh) 对话支援装置
CN1228762C (zh) 用于语音识别的方法、组件、设备及服务器
US7184539B2 (en) Automated call center transcription services
CN1869976A (zh) 通过执行不同语言之间的翻译来支持交流的装置和方法
CN1941077A (zh) 识别语音输入中的字符串的语音识别设备和方法
CN1573928A (zh) 用语音应用语言标记执行的语义对象同步理解
EP2571023B1 (en) Machine translation-based multilingual human-machine dialog
CN1144176C (zh) 使用两次语音转换和计算机辅助校正的自动转录系统及方法
CN1168068C (zh) 语音合成系统与语音合成方法
CN101076060A (zh) 一种聊天机器人系统及自动聊天方法
US20150149149A1 (en) System and method for translation
CN1652107A (zh) 语言变换规则产生装置、语言变换装置及程序记录媒体
CN1219266C (zh) 一种实现多路对话的人-机汉语口语对话系统的方法
CN1975858A (zh) 会话控制装置
CN1975857A (zh) 会话控制装置
CN1841366A (zh) 用于通过执行翻译来支持交流的交流支持设备和方法
CN1602483A (zh) 进行多语种口述词语实时翻译的实时翻译装置与方法
CN1637740A (zh) 对话控制设备和对话控制方法
CN1591315A (zh) 用于高级交互接口的语义对象同步理解
CN1892643A (zh) 通过执行语言间的翻译来支持交流的交流支持装置和方法
CN1841367A (zh) 用于通过在语言之间执行翻译来支持交流的交流支持设备和方法
JP2008083459A (ja) 音声翻訳装置、音声翻訳方法及び音声翻訳プログラム
Neustein Advances in speech recognition: mobile environments, call centers and clinics
CN111899140A (zh) 基于话术水平提升的客服培训方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141009

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20141009

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120404

Termination date: 20171005

CF01 Termination of patent right due to non-payment of annual fee