WO2006040969A1 - 対話支援装置 - Google Patents

Abstract

　対話の相手がどのような相手であっても速やかに対話が完了するように対話を支援することができる対話支援装置を提供する。対話支援装置１００は、対話参加者の発話を受け付け、発話を特定するための発話情報を出力する発話受付部１０１、発話情報により特定される発話を他の発話形態に変換する発話処理部１０２、他の発話形態に変換された発話情報を他の対話参加者への発話として出力する発話出力部１０３、対話参加者の過去の２つ以上の発話情報を発話時刻の順に並べた対話履歴を格納している対話履歴データベース１０４、および、対話履歴に基づいて第１発話予測情報を作成するとともに、他の対話支援装置から第２発話予測情報を取得し、第１発話予測情報および第２発話予測情報に基づいて対話支援装置１００を使用する対話参加者の次の発話を予測する発話予測部１０５を備える。

Description

明 細 書

対話支援装置

技術分野

[0001] 本発明は、人と人との対話を支援する対話支援装置に関するものである。

背景技術

[0002] 従来、一般の人々が海外旅行先等で現地の人々と対話をする際に、その異言語対 話を支援することを目的として翻訳装置が開発されてきた。例えば代表的なものとし て、例文や用例の対訳に基づく翻訳方式を、 PDA(Personal Digital Assistance)など の小型の情報処理装置に実装した翻訳装置がある。そのような装置では、一般的な 旅行会話をカバーするために数千以上の用例が用意されているので、ユーザに所 望の用例をそのリストから目視で選択させるだけでは実際の使用状況における使い 勝手、すなわち、ユーザピリティに問題がある。特に、用例のリストを見るための表示 部が小さぐ同時に見ることができる用例の数が少ない場合は、この問題は一層顕著 になる。また、翻訳装置の一般的な使用状況を想定すると、相手との対話の中で数 文以上の用例を使用しなければならない場合がほとんどであり、翻訳装置を介して 1 つの対話が完了するまでに予想以上の時間を要してしまう。そこで、人と人との対話 支援を最終目的として、大量の用例リストの中からユーザに所望の用例を速やかに 選択させるための、何らかの選択補助機能が必要とされている。

[0003] この問題を解決するための一方法として、見本対話モデルや会話練習履歴コーパ スを利用してユーザの次の発話候補を絞り込む手法が提案されて 、る（例えば特許 文献 1参照)。

特許文献 1：特開 2003— 30187号公報

発明の開示

発明が解決しょうとする課題

[0004] 過去に翻訳装置のユーザが行った対話の履歴に基づく次発話候補の絞込みは、 相手がその中に含まれている場合は有効である。また、事前にユーザが仮想的に対 話の練習を行った履歴や典型的な対話のパターンに基づく次発話候補の絞込みは 、自分が想定する対話のパターンに従う相手であれば有効である。し力しながら、対 話のパターンは人によって異なるのが一般的である。例えば、レストランの予約をする ために旅行者がレストランのウエイターと対話を開始する場合、旅行者の発話「席を 予約したいのです力 に対して、あるウエイターは「何日ですか」という予約の日時に つ 、ての発話から対話を開始する可能性もあれば、別のウエイターは「何人ですか」 という予約の人数に関する発話力 対話を開始する可能性もある。したがって、対話 の相手によっては絞込みに失敗するだけでなぐ誤った絞込みによって対話参加者 を混乱させることになり、逆に対話が完了するまでに要する時間が増加するという問 題がある。特に、通信インフラが整備されていない地域を旅行する場合には、ネットヮ ークを利用せずにユーザの翻訳装置だけで解決しなければならない。

[0005] そこで、本発明は上記の事情に鑑みてなされたものであり、ネットワークが利用でき ない場合であっても、また対話の相手がどのような相手であっても速やかに対話が完 了するように対話を支援することができる対話支援装置を提供することを目的とする。 課題を解決するための手段

[0006] 上記目的を達成するため、本発明に係る対話支援装置は、対話参加者によって行 われる対話を支援する対話支援装置であって、前記対話参加者の過去の対話履歴 を格納して ヽる対話履歴データベースと、前記対話履歴データベースに格納されて Vヽる前記対話履歴に基づ！ヽて第 1発話予測情報を作成するとともに、他の対話支援 装置から第 2発話予測情報を取得し、前記第 1発話予測情報および前記第 2発話予 測情報に基づ 、て、当該対話支援装置を使用する対話参加者の前記対話における 次の発話を予測する発話予測手段とを備えることを特徴とする。

発明の効果

[0007] 本発明に係る対話支援装置によれば、ユーザは次発話候補の中から用例を容易 に選択することが可能になる。したがって、対話の相手を待たせることがないので対 話支援装置を介した対話をスムーズに進行することができる。また、次発話候補は自 分の対話履歴と相手の対話履歴だけから生成されるので、典型的な対話パターンな どの情報を装置の内外に実装する必要がなぐ装置全体の実装規模を縮小すること が可能になる。 図面の簡単な説明

[図 1]図 1は、本発明に係る対話支援装置の一実施の形態の構成を示すブロック図 である。

[図 2]図 2は、 2つの対話支援装置を用いて対話を行う場合の実施の形態の構成を示 すブロック図である。

[図 3]図 3は、対話支援装置における入出力の発話と発話 No.の対応関係の一例を 示す図である。

[図 4]図 4、は対話支援装置における入出力の発話と発話 No.の対応関係の一例を 示す図である。

[図 5]図 5 (a)、図 5 (b)は、対話履歴データベースに格納される対話履歴の一例を示 す図である。

[図 6]図 6は、本発明に係る対話支援装置が利用される場面の一例を示す図である。

[図 7]図 7は、発話予測部の動作の流れを示すフローチャートである。

[図 8]図 8は、本発明に係る対話支援装置の表示例を示す図である。

[図 9]図 9は、予測スタックの作成手順を示すフローチャートである。

[図 10]図 10は、対話履歴の発話数を調整する動的計画法のアルゴリズムを示す図 である。

[図 11]図 11は、対話履歴 Xに対して動的計画法を適用した例を示す図である。

[図 12]図 12 (a)、図 12 (b)は、本発明に係る対話支援装置の表示例を示す図である

[図 13]図 13 (a)、図 13 (b)は、本発明に係る対話支援装置の表示例を示す図である

[図 14]図 14 (a)、図 14 (b)は、本発明に係る対話支援装置の表示例を示す図である

[図 15]図 15 (a)、図 15 (b)は、本発明に係る対話支援装置の表示例を示す図である 圆 16]図 16 (a)、図 16 (b)は、本発明に係る対話支援装置の表示例を示す図である 圆 17]図 17(a)、図 17(b)は、本発明に係る対話支援装置の表示例を示す図である 圆 18]図 18(a)、図 18(b)は、本発明に係る対話支援装置の表示例を示す図である

[図 19]図 19は、本発明によって支援される対話を形式的に表現した図である。

[図 20]図 20は、新しく生成された対話 d'を示す図である。

[図 21]図 21 (a)、図 21 (b)は、対話履歴の類似度を定義する数式と計算の例を示す 図である。

[図 22]図 22は、対話履歴の類似度を比較した図である。

[図 23]図 23は、本発明による対話を形式的に表現した図である。

圆 24]図 24(a)、図 24(b)は、新しく生成された対話 d"と対話履歴の類似度の比較 を示す図である。

[図 25]図 25は、対話支援装置における入出力の発話と発話 No.の対応関係の一例 を示す図である。

[図 26]図 26は、対話支援装置における入出力の発話と発話 No.の対応関係の一例 を示す図である。

[図 27]図 27(a)、図 27(b)は、対話履歴データベースに格納される対話履歴の一例 を示す図である。

[図 28]図 28は、本発明に係る対話支援装置の表示例を示す図である。

圆 29]図 29(a)、図 29(b)は、本発明に係る対話支援装置の表示例を示す図である 圆 30]図 30(a)、図 30(b)は、本発明に係る対話支援装置の表示例を示す図である 圆 31]図 31(a)、図 31(b)は、本発明に係る対話支援装置の表示例を示す図である 圆 32]図 32(a)、図 32(b)は、本発明に係る対話支援装置の表示例を示す図である 圆 33]図 33(a)、図 33(b)は、本発明に係る対話支援装置の表示例を示す図である 圆 34]図 34 (a)、図 34 (b)は、本発明に係る対話支援装置の表示例を示す図である

[図 35]図 35 (a)、図 35 (b)は、本発明に係る対話支援装置の表示例を示す図である

[図 36]図 36は、本発明によって支援される対話を形式的に表現した図である。

[図 37]図 37は、新しく生成された対話 fを示す図である。

[図 38]図 38は、対話履歴の類似度を比較した図である。

[図 39]図 39は、本発明による対話を形式的に表現した図である。

[図 40]図 40 (a)、図 40 (b)は、新しく生成された対話 fと対話履歴の類似度の比較を 示す図である。

[図 41]図 41は、対話参加者が 1台の対話支援装置を共有する様子を示す図である。

[図 42]図 42は、対話参加者が 1台の対話支援装置を共有する様子を示す図である。

[図 43]図 43は、本発明に係る対話支援装置の他の実施の形態の構成を示すブロッ ク図である。

[図 44]図 44は、本発明に係る対話支援装置の他の実施の形態の構成を示すブロッ ク図である。

[図 45]図 45は、本発明に係る対話支援装置の他の実施の形態の構成を示すブロッ ク図である。

[図 46]図 46 (a)、図 46 (b)は、本発明に係る対話支援装置の表示例を示す図である [図 47]図 47 (a)、図 47 (b)は、本発明に係る対話支援装置の表示例を示す図である 符号の説明

101 発話受付部

102 発話処理部

103 発話出力部

104 対話履歴データベース 105 発話予測部

703 対話参加者 1のトピック入力領域

704 対話参加者 2のトピック入力領域

705 対話参加者 1の対話開始ボタン

706 対話参加者 2の対話開始ボタン

1101 対話参加者 1の発話入力領域

1102 対話参加者 2の発話入力領域

1103 対話参加者 2への発話出力領域

1104 対話参加者 1への発話出力領域

1105 対話参加者 1への予測候補の表示領域

1106 対話参加者 2への予測候補の表示領域

1107 対話参加者 1の対話の予測展開ボタン

1108 対話参加者 2の対話の予測展開ボタン

1801 対話参加者に提示された予測候補と対話参加者が実際に入力した発話の 対の時系列

1802 対話の分岐点

2001 対話履歴 dbに対する対話履歴 daの類似度を定義する数式

2002 類似度計算の例

2201 対話参加者に提示された予測候補と対話参加者が実際に入力した発話の 対

2401 対話参加者 1の対話履歴を格納するメモリカード

2402 対話参加者 2の対話履歴を格納するメモリカード

2801 対話参加者 1に対するこれまでに交わした対話

2802 対話参加者 1に対する今後の対話の予測展開

2803 対話参加者 2に対するこれまでに交わした対話

2804 対話参加者 2に対する今後の対話の予測展開

発明を実施するための最良の形態

本発明の実施の形態に係る対話支援装置は、対話参加者によって行われる対話 を支援する対話支援装置であって、前記対話参加者の過去の対話履歴を格納して V、る対話履歴データベースと、前記対話履歴データベースに格納されて 、る前記対 話履歴に基づいて第 1発話予測情報を作成するとともに、他の対話支援装置力も第 2発話予測情報を取得し、前記第 1発話予測情報および前記第 2発話予測情報に基 づいて、当該対話支援装置を使用する対話参加者の前記対話における次の発話を 予測する発話予測手段とを備えることを特徴とする。

[0011] これによつて、自分の対話の履歴と相手の対話の履歴だけを利用し、その履歴に 基づ 、て次の発話を予測することができるので、対話の相手がどのような相手であつ ても速やかに対話が完了するように対話を支援することができる。

[0012] ここで、前記発話予測手段は、前記対話履歴データベースに格納されて!、る前記 対話履歴の中から前記対話における対話状況が最も近い対話履歴を抽出し、抽出 した前記対話履歴を前記第 1発話予測情報とすることが好ましい。

[0013] また、前記発話予測手段は、前記第 1発話予測情報および前記第 2発話予測情報 に含まれるそれぞれの対話履歴に共通して含まれ、かつ、連続する発話の集合に基 づ 、て予測スタックを作成することが好まし 、。

[0014] これによつて、対話状況が最も近!、対話履歴に基づ!、て対話参加者の次の発話を 予柳』することができる。

[0015] また、前記対話支援装置は、さらに、前記対話参加者の発話を受け付ける発話受 付手段と、前記発話受付手段により受け付けられた前記発話を他の発話形態に変 換する発話処理手段と、前記発話処理手段により変換された前記他の発話形態の 前記発話を出力する発話出力手段とを備えてもよい。

[0016] これによつて、例えば日本語と英語とによる対話等の異言語の対話を支援すること ができる。

[0017] なお、本発明は、このような対話支援装置として実現することができるだけでなぐこ のような対話支援装置が備える特徴的な手段をステップとする対話支援方法として実 現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりす ることもできる。そして、そのようなプログラムは、 CD—ROM等の記録媒体やインタ 一ネット等の伝送媒体を介して配信することができるのは言うまでもない。 [0018] 以下、本発明の実施の形態について、図面を参照しながら説明する。

[0019] 図 1は本発明に係る対話支援装置の一実施の形態の構成を示すブロック図である

[0020] 対話支援装置 100は、人と人との対話を支援するための装置であり、図 1に示すよ うに発話受付部 101、発話処理部 102、発話出力部 103、対話履歴データベース 1 04、および発話予測部 105を備えている。ここで、発話受付部 101は発話受付手段 に、発話処理部 102は発話処理手段に、発話出力部 103は発話出力手段に、発話 予測部 105は発話予測手段に、それぞれ相当する。

[0021] 発話受付部 101は、対話参加者の発話を受け付け、発話を特定するための発話情 報を出力する。発話処理部 102は、発話受付部 101から出力された発話情報により 特定される発話を他の発話形態に変換する。発話出力部 103は、他の発話形態に 変換された発話情報を他の対話参加者への発話として出力する。対話履歴データ ベース 104は、対話参加者の過去の 2つ以上の発話情報を発話時刻の順に並べた 対話履歴を格納している。

[0022] 発話予測部 105は、対話履歴データベース 104に格納されている対話履歴に基づ いて第 1発話予測情報を作成する。また、発話予測部 105は、他の対話支援装置か ら第 2発話予測情報を取得する。さらに、発話予測部 105は、対話参加者が開始す る対話において、第 1発話予測情報および第 2発話予測情報に基づいて、対話支援 装置 100を使用する対話参加者の次の発話を予測する。また、発話予測部 105は、 作成した第 1発話予測情報を他の対話支援装置へ通知する。

[0023] 図 1に示す対話支援装置 100は本発明の基本構成であり、対話参加者 1人が 1つ の構成を使用する。対話は一般に 2名で行われるので、実際に対話を行う場合には 2つの対話支援装置 100が用いられる。図 2は 2つの対話支援装置を用いて対話を 行う場合の実施の形態の構成を示すブロック図である。

[0024] 以下、上記のように構成された対話支援装置を用いて、異言語の対話を支援する 場合の動作について説明する。ここでは、日本語を話す対話参加者 1は対話支援装 置 100aを使用し、英語を話す対話参加者 2は対話支援装置 100bを使用すると仮定 する。図 3は対話支援装置 100aにおける入出力の発話と発話 No.の対応関係の一 例を示す図である。

[0025] 発話受付部 101aは、受け付けた対話参加者 1の発話を相当する発話情報に変換 する。発話情報は、例えば図 3における発話 No.である。発話処理部 102aは、対話 参加者 1の発話（日本語)を対話参加者 2への発話 (英語)に変換して文字列を出力 する。例えば、発話 No. 1が入力されたときは、発話出力部 103aに対して発話情報 として文字列〃 May I help you?"を出力する。

[0026] 対話支援装置 100aと全く対称的に、対話支援装置 100bの発話処理部 102bは対 話参加者 2の発話を相当する発話情報に変換する。図 4は対話支援装置 100bにお ける入出力の発話と発話 No.の対応関係の一例を示す図である。図 3と図 4とでは 発話 No.は完全に同じであり、その処理方向が異なる。発話情報は、例えば図 4の 発話 No.であり、発話受付部 101bは対話参加者 2の発話 (英語)を対話参加者 1へ の発話（日本語）に変換して文字列を出力する。例えば、発話 No. 1が入力されたと きは、発話出力部 103bに対して発話情報として文字列「いらっしゃいませ。」を出力 する。以後、言語方向を考慮しながら説明を簡単にするために、対話参加者 1からの 発話 No. 1を J 1、対話参加者 2からの発話 No. 1を Elのように略記する。

[0027] 発話受付部 101aは、図 3の日本語のリストの部分を対話参加者 1に直接選択させ て、その発話 No.を発話情報として出力する。また、発話受付部 101bは図 4の英語 のリストの部分を対話参加者 2に直接選択させてその発話 No.を発話情報として出 力する。なお、発話受付部 101aまたは発話受付部 101bの構成については、音声認 識処理を利用して対話参加者の音声を発話 No.の 、ずれかに射影する処理で実現 してもよい。また、キーボードから発話の表記や発音に相当する文字列を入力させて 、それを発話 No.のいずれか〖こ射影して実現しても良い。

[0028] 図 5 (a)、（b)は対話履歴データベース 104aおよび対話履歴データベース 104bに 格納される対話履歴の一例を示す図である。対話履歴とは対話参加者によって過去 に交わされた発話の履歴であり、各対話参加者の発話時刻の順に並べたものである 。各発話は図 3または図 4で定義される発話のいずれかに相当する。なお、同じ発話 No.でも対話参加者の立場によって区別する必要があるので、日本語について ¾J を、英語については Eをそれぞれ発話 No.の前に付与して、対話履歴における発話 のラベルとして定義する。以後、説明を簡単にするために、 1つの対話履歴をそのラ ベルの列で記述する。例えば、対話履歴 dlは dl :El, J2, E3, J4, E5, J6, E7, E 8と記述する。対話履歴にはその対話を交わした対話参加者の情報と対話のトピック が記録されている。例えば対話履歴 dlは、対話参加者 1が Jの立場で対話をしたとい う情報と、その対話のトピックがチェックインであったという情報が記されている。

[0029] 以下、図 6に示すように対話参加者 1が日本人観光客で、対話参加者 2が英語を話 すホテルのフロントのスタッフであり、ホテルのチェックインを行うために対話を行う場 合を例として説明する。

[0030] 図 7は発話予測部 105aおよび発話予測部 105bの動作の流れを示すフローチヤ ートである。発話予測部 105aと発話予測部 105bは構成としては独立している力 双 方が連携して動作を行うために情報を交換する必要がある。この連係動作に必要な 情報を発話予測情報と呼ぶ。

[0031] 発話予測部 105aおよび発話予測部 105bは、まず発話予測を行うために必要な対 話履歴を対話履歴データベース 104aまたは対話履歴データベース 104bから検索 するために、対話のトピックの特定を行う（ステップ S601)。発話予測部 105aは対話 履歴データベース 104aに対して、発話予測部 105bは対話履歴データベース 104b に対して検索を行う。例えば PDAとして実現された図 8に示すような対話支援装置 1 OOaを対話参加者 1が使用し、対話支援装置 100bを対話参加者 2が使用する。対話 のトピックはそれぞれトピック入力領域 703およびトピック入力領域 704を用いて、各 対話参加者にタツチパネル力 直接入力させることでトピックの情報を取得する。な お、対話のトピックの取得については、このような手動による方法以外にも、自動的に 得られる PDAの存在環境の情報 (例えば、レストラン、病院、ホテルなどの場所情報） から、自動的に連想する方法で実現してもよい。

[0032] 各対話参加者によって対話開始ボタン 705および対話開始ボタン 706が押される と、発話予測部 105aは対話参加者 1に対して対話履歴 dlを、発話予測部 105bは 対話参加者 2に対して対話履歴 d3を選択する。理由は、対話履歴 dlと対話履歴 d3 の対話のトピックがホテルであるからである。対話履歴 d2および対話履歴 d4は対話 のトピックが異なるために選択されない。そして、発話予測部 105aは対話履歴 dlを 第 1発話予測情報として発話予測部 105bへ、発話予測部 105bは対話履歴 d3を第 2発話予測情報として発話予測部 105aへ通知する。

[0033] 次に、発話予測部 105aと発話予測部 105bは、対話履歴 dl :E1, J2, E3, J4, E5 , J6, E7, E8と対話履歴 d3 :El, E3, J4, J2, E8, E5, J6, E7を用いて予測スタツ クの作成を開始する（ステップ S602)。

[0034] 図 9は予測スタックの作成手順を示すフローチャートである。なお、対話履歴は発話 の列によって構成されるので、発話列は対話履歴の部分集合の意味である。

[0035] 発話予測部 105aおよび発話予測部 105bは、それぞれの対話履歴の発話数が同 じ数になるように図 10に示す動的計画法で調整する (ステップ S901)。例えば、図 5 の対話履歴 dl (発話数は 8)と図 11の対話履歴 X (発話数は 6)を調整する場合、図 1 0に示す動的計画法を対話履歴 Xに適用すると、対話履歴 Xは調整されて対話履歴 X 'となる。調整された対話履歴 x'において、ラベルが φの発話は dlとの発話数が同じ 数になるように追加された空の発話である。しかし、対話履歴 dl :El, J2, E3, J4, E 5, J6, E7, E8と対話履歴 d3 :El, E3, J4, J2, E8, E5, J6, E7については発話数 が同じ 8であるので、動的計画法が適用されても結果は同じである。

[0036] 次に、発話予測部 105aおよび発話予測部 105bは、各対話履歴について発話ブ ロックの決定を行う。発話ブロックとは各対話履歴に共通に含まれ、かつ、 1つ以上連 続する発話の集合である。ただし、各対話履歴に含まれる発話ブロックの数が最小に なるような、発話数が最大の発話ブロックを決定する。すなわち、発話列 A (発話列 B )に含まれる発話数を mとする (ステップ S 902)。次に、 iに 1を代入する (ステップ S90 3)。 A [i]が発話列 Bに存在するか否かを判定する (ステップ S904)。なお、 A[i]は 発話列 Aにおける i番目の発話を示す。また、 φについては、 A[i] = φ 、 B[j] = φの とき、 A[i]と B[j]が同じであると見なさない。この判定の結果、 A[i]が発話列 Bに存 在する場合 (ステップ S904で YES)、その発話を B[j]とする (ステップ S905)。そし て、 A[i]から A[i+n]が、発話列 B[j]から B[j +n]が同じである最大の nを求めて、 それぞれを 1つのブロックとする（ステップ S906)。次に、 iに i+n+ 1を代入する（ステ ップ S 907)。

[0037] A [i]が発話列 Bに存在するか否かの判定の結果、 A [i]が発話列 Bに存在しない場 合 (ステップ S904で NO)、 A[i]を 1つのブロックとする（ステップ S908)。そして、 iに i + 1を代入する（ステップ S 909)。

[0038] 次に、 i>mであるか否かを判定する（ステップ S910)。 i>mでない場合 (ステップ S 907で NO)には、再び A[i]が発話列 Bに存在するか否かを判定処理以降 (ステップ S904〜S907)を繰り返す。一方、 i>mである場合 (ステップ S907で YES)に ίま、処 理を終了する。

[0039] 以上の動作により、例えば、対話履歴 dl :E1, J2, E3, J4, E5, J6, E7, E8と対話 履歴 d3 :El, E3, J4, J2, E8, E5, J6, E7に対しては、対話履歴 dl :E1, J2, (E3 , J4) , (E5, J6, E7) , E8および対話履歴 d3 :El, (E3, J4) , J2, E8, (E5, J6, E 7)が得られる。括弧で囲まれた発話のラベル力^つの発話ブロックに相当する。ただ し、 1つの発話だけで構成される発話ブロックについては、表記を簡単にするために 括弧を省略する。この対話履歴 dl :El, J2, (E3, J4) , (E5, J6, E7) , E8および d 3 :E1, (E3, J4) , J2, E8, (E5, J6, E7)が、それぞれ発話予測部 105aの予測スタ ック J :E1, J2, (E3, J4) , (E5, J6, E7) , E8、および、発話予測部 105bの予測スタ ック E :E1, (E3, J4) , J2, E8, (E5, J6, E7)となる。

[0040] なお、予測スタックの作成手順にぉ 、て、 2つの発話が同じ力否かの判定処理 (ス テツプ S901、 S904、 S906)を行って!/、る力 発話†青報の一致、すなわち、発話 No .の一致以外にも、自然言語処理を利用して発話の表層表現 (文字表現)の一致、ま たは、内容語の一致などで判定してもよい。例えば、一方の対話履歴に発話「ありが とう。」、他方の対話履歴に発話「ありがとうございます。」の場合などは、これらの発話 が異なる発話 No.であったとしても表層表現が近いので 2つの対話履歴に共通に含 まれる発話と判定することが可能である。一方の対話履歴に発話" Thank you 他方 の対話履歴に発話" Thank you very much."の場合も同様である。また、一方の対話 履歴に発話「これを 3セット贈答用に包んで下さい。」、他方の対話履歴に発話「贈答 用に 3セット、これを包んで下さい。」が含まれる場合などは、内容語が（これ、包む、 3 セット、贈答用）と定義されていれば、共通に含まれる内容語が多いので 2つの対話 履歴に共通に含まれる発話と判定することが可能である。また、これらの判定方法を 糸且み合わせて用いても構わない。このように柔軟な判定にすることで、発話 No.の一 致だけでは発話ブロックの数が増加する場合でも、発話ブロックの数を抑制すること が可能になる。

[0041] ここで、図 7に示すフローチャートの説明に戻る。

[0042] 発話予測部 105aおよび発話予測部 105bは、予測スタックを構成した後、予測スタ ックが空である力否かを判定する (ステップ S603)。発話予測部 105aまたは発話予 測部 105bが何らかの理由で適当な予測スタックを構成できず、予測スタックが空で ある場合は (ステップ S603で YES)、発話予測部 105aまたは発話予測部 105bは発 話予測動作を行わず終了し、相手の発話予測部 105aまたは発話予測部 105bの動 作に従う。

[0043] 一方、予測スタックが空でな 、場合 (ステップ S603で NO)、発話予測部 105aおよ び発話予測部 105bは、予測スタックの先頭の発話を次の発話候補として表示する（ ステップ S604)。図 12は対話が開始された時点の対話支援装置 100での表示状態 を示す図である。

[0044] 対話参加者 1は用例のリスト 1101、対話参加者 2は用例のリスト 1102を利用して図 3および図 4で定義されるすべての発話の中から任意の発話を選択して他の対話参 加者に伝えることが可能である。発話処理部 102aで変換された発話は対話参加者 2 への発話出力部 1103へ、発話処理部 102bで変換された発話は対話参加者 1への 発話出力部 1104へ、それぞれ出力され、例えば PDAに内蔵される音声合成処理を 利用して表示と同時に読上げられる。予測表示領域 1105には発話予測部 105aに よって予測された対話参加者 1の発話、すなわち予測候補が表示される。予測表示 領域 1106には発話予測部 105bによって予測された対話参加者 2の発話、すなわ ち予測候補が表示される。対話参加者 1または対話参加者 2は、それぞれ予測表示 領域 1105または予測表示領域 1106に表示される予測候補の発話を選択すること で、用例のリスト 1101または用例のリスト 1102の中力も所望の発話を検索して選択 入力する操作を省略することが可能である。すなわち、相手への発話を迅速に入力 することが可能である。

[0045] 図 12において発話予測部 105aおよび発話予測部 105bは、すでに次の発話候補 として表示 (ステップ S604)を完了している (ステップ S605)。すなわち、発話予測部 105aは予測スタック J :E1, J2, (E3, J4) , (E5, J6, E7) , E8の先頭の発話が Eの 立場の発話であり、 Jの立場とは異なるので、予測表示領域 1105には予測候補を表 示していない。また、発話予測部 105bは予測スタック E :E1, (E3, J4) , J2, E8, (E 5, J6, E7)の先頭の発話力 ¾の立場の発話であり、同立場なので対話参加者 2に対 する予測候補として El : "May I help you?"を予測表示領域 1106に表示している。対 話参加者 2は用例のリスト 1102から発話を選択してもよいが、予測表示領域 1106に すでに自分が発話したい内容が表示されているので、図 13に示すように予測候補を 選択する。 E1は発話処理部 102bで日本語に変換されて、対話参加者 1に対して発 話「いらっしゃいませ。」が伝えられる。

[0046] このとき、発話予測部 105aおよび発話予測部 105bは、対話参加者から発話が入 力されたカゝ否かを判定している (ステップ S605)。対話参加者から発話が入力される (ステップ S605で YES)と、発話予測部 105aおよび発話予測部 105bは、予測スタ ック上で一致する発話を先頭から検索 (ステップ S606)し、一致する発話があるか否 かを判定する (ステップ S607)。一致する発話がある場合 (ステップ S607で YES)、 一致する発話が予測スタックの先頭である力否かを判定する (ステップ S608)。先頭 である場合 (ステップ S608で YES)、予測スタックの先頭の発話を削除して予測スタ ックを更新する (ステップ S609)。そして、発話の削除に伴って結合可能な発話プロ ックが出現した場合には、予測スタックの中で結合可能な発話ブロックを結合する (ス テツプ S611)。一方、先頭でない場合 (ステップ S608で NO)、一致する発話を含む ブロックを予測スタックの先頭に移動後、先頭力 その発話までを削除して予測スタツ クを更新する (ステップ S610)。そして、予測スタックが空である力否かの判定処理（ ステップ S603)に戻る。

[0047] 上記の例では、対話参加者の発話が E1であることから、発話予測部 105aおよび 発話予測部 105bは、予測スタックの先頭である E1を削除し、予測スタックを J :J2, ( E3, J4) , (E5, J6, E7) , E8および E： (E3, J4) , J2, E8, (E5, J6, E7)と更新する oなお、予測スタック J :J2, (E3, J4) , (E5, J6, E7) , E8および E : (E3, J4) , J2, E 8, (E5, J6, E7)については、結合可能な発話ブロックが存在しないので、予測スタ ックは変化しない。そして、予測スタックはまだ空ではないので、発話予測部 105aは 予測スタック J :J2, (E3, J4) , (E5, J6, E7) , E8の先頭の発節2を予測候補とする 。すなわち、図 14に示すように予測表示領域 1105に J2 :「チェックインをお願いしま す。」を表示する。また、発話予測部 105bは予測スタック E : (E3, J4) , J2, E8, (E5 , J6, E7)の先頭の発話 E3を予測候補として、予測表示領域 1106に E3 : "Have you made reservation?"を表示する。発話予測部 105aおよび発話予測部 105bは、対話 参加者からの発話を待つ。

[0048] 対話参加者 1または対話参加者 2は、それぞれ用例のリスト 1101または用例のリス ト 1102から発話を選択してもよいが、予測表示領域 1105または予測表示領域 110 6にすでに自分が発話したい内容が表示されているので予測候補力 選択するのが 得策である。ここで図 15に示すように対話参加者 2が対話参加者 1よりの早く予測表 示領域 1106を選択すると、 E3は発話処理部 102bで日本語に変換されて、対話参 加者 1に対して発話「予約はされていますか？」が伝えられる。発話予測部 105aは、 対話参加者からの発話 E3が予測スタック J :J2, (E3, J4) , (E5, J6, E7) , E8の先 頭の発話ブロックの中に存在しないので、 J : (E3, J4) , J2, (E5, J6, E7) , E8として (ステップ S610)、J :J4, J2, (E5, J6, E7) , E8と更新する（ステップ S609)。一方、 発話予測部 105bは、対話参加者からの発話 E3が予測スタック E : (E3, J4) , J2, E8 , (E5, J6, E7)の先頭の発話ブロックの中に存在するので、 E :J4, J2, E8, (E5, J 6, E7)と更新する。このとき、予測スタックの中に共通して含まれる連続する発 14, J2が存在する (ステップ S611)。そこで、発話予測部 105bは、 J4, J2を 1つの発話ブ ロックに結合することで、予測スタックを J : (J4, J2) , (E5, J6, E7) , E8および E : (J4 , J2) , E8, (E5, J6, E7)と更新する。

[0049] 発話予測部 105aは、同様に、予測スタック ίお：（J4, J2) , (Ε5, J6, Ε7) , Ε8およ び E : (J4, J2) , Ε8, (Ε5, J6, Ε7)となっているので、図 16に示すように予測表示領 域 1105に予測候ネ 4 :「はい。」を表示する。発話予測部 105bは、予測表示領域 1 106には対話参加者の立場が異なるので予測候補を表示しない。

[0050] 対話参加者 1は用例のリスト 1101から発話を選択してもよいが、予測表示領域 110 5にすでに自分が発話した ヽ内容が表示されて!、るので、図 17に示すように予測表 示領域 1105を選択すると、 J4は発話処理部 102aで英語に変換されて、対話参カロ 者 2に対して発話" Yes."が伝えられる。同様に、発話予測部 105aおよび発話予測部 105bは、予測スタックを J :J2, (E5, J6, E7) , E8および E :J2, E8, (E5, J6, E7)と 更新し、図 18に示すように予測表示領域 1105に J2 :「チェックインをお願いします。」 を表示し、予測表示領域 1106には何も表示しない。このように対話参加者 1または 対話参加者 2は、用例のリスト 1101または用例のリスト 1102の中から所望の発話を 検索する必要がなぐ速やかに相手に意図を伝えることで、対話の所要時間が削減 される。

[0051] 次に、本発明の効果について客観的に説明する。図 19は本実施の形態の対話支 援装置 100によって支援される対話を形式的に表現した図である。対話は矢印の方 向に沿って進行する。実線の矩形は予測スタックの状態であり、矢印に付属する点 線の矩形は対話参加者に提示された予測候補と、対話参加者が実際に入力した発 話の対の時系列である。例えば、点線の矩形 1801は、予測候補として予測表示領 域 1105に何も表示されず、予測表示領域 1106に E3 : "Have you made reservation ？"が表示されて、対話参加者 2が E3を入力し、その後、予測表示領域 1105に J4 :「 はい。」が表示され、予測表示領域 1106には何も表示されず、対話参加者 1が J4を 入力したことを示す。図 19はまた、対話参加者が入力する発話に応じて予測候補が 変化することも示している。特に、矢印の分岐は予測候補に対して対話参加者が入 力した発話が複数であったことを示している。例えば、分岐 1802は、予測候補として 予測表示領域 1105に J2 :「チェックインをお願いします。」、予測表示領域 1106に E 3： "Have you made reservation?"が表示されているときに、対話参加者 1が J2を対話 参加者 2よりも先に入力した場合と、対話参加者 2が E3を対話参加者 1よりも先に入 力した場合を示す、対話の分岐点である。以下では、そのような複数の対話の進行 パターンにおいて、太い矢印に沿って進行する対話を例として取り上げる。この例で は、図 20に示す対話 d'が対話参加者の間で交わされたことになり、対話 d'は図 5に 示す対話履歴データベースの中には存在しないので、新しく生成された対話履歴で ある。

[0052] ここで対話履歴の類似度を定義する。 r (da | db)は対話履歴 dbに対する対話履歴 daの類似度であり、図 21 (a)の数式 2001によって定義される。ただし、対話履歴 da と対話履歴 dbについては、図 9で定義されている予測スタックの作成手順と同様の処 理で発話ブロックを決定しておく。 size (d)は対話履歴に含まれる発話ブロックの数 であり、 size (b)は発話ブロック bに含まれる発話の数である。例えば、図 21 (b)の類 似度計算の例 2002においては、対話履歴 daは 4つの発話ブロック力も構成されるの で、 size (da) =4である。また、各発話ブロックに含まれる発話の数は、それぞれ、 siz e (bl) = 5, size (b2) = 2, size (b3) =4, size (b4) = 1である力も、 r (da | db)はお よそ 0. 424と計算される。定性的には、 rの値が大きいほど 2つの対話履歴の類似度 は高い。また、類似度は発話の集合の数に反比例し、共通する発話ブロックの数が 少ないほど高い。また、類似度は各集合に含まれる発話数の平均に比例し、 1つの 発話ブロックに含まれる発話数が多いほど高い。したがって、対話参加者の対話履 歴の類似度が高いほど、 2人の間で交わされる対話の進行パターンが類似している ので、スムーズな対話が行われることになる。

[0053] 図 22に示すように、対話 d'を開始する前の対話参加者の対話履歴 dlと対話履歴 d 3の類似度は 0. 16である。しかし、本発明の支援によって交わされた対話 d'に対す る類似度はそれぞれ対話履歴 dlとは 0. 29、対話履歴 d3とは 0. 57である。したがつ て、一方の対話参加者の対話履歴に他方の対話参加者を従わせて対話をするよりも 、よりスムーズな対話がなされたことは明らかである。

[0054] 以下、対話参加者が予測候補を一部選択せずに対話を続行した場合にも、本発 明の効果があることを示す。図 23は本実施の形態の対話支援装置 100によって支 援される対話を形式的に表現した図である。図の解釈は図 19と同様であるが、点線 の矩形 2201は予測表示領域 1105の予測候 ¾J2が表示され、予測表示領域 1106 には何も表示されていないにもかかわらず、対話参加者 2は発話 E5を用例のリスト 1 102から入力したことを示している。太い矢印に沿って進行した対話は図 24に示す 対話 d"であり、 d"は図 5に示す対話履歴データベースの中には存在しないので、新 しく生成された対話履歴である。

[0055] 図 24に示すように対話 d"を開始する前の対話履歴 dlと d3の類似度は 0. 16であ るが、交わされた対話に対する類似度はそれぞれ対話履歴 dlとは 0. 33、対話履歴 d3とは 0. 52である。したがって、対話参加者が一部の予測候補に従わな力つたにも 力かわらず、一方の対話参加者の対話履歴に他方の対話参加者を従わせて対話を するよりも、スムーズな対話がなされたことは明らかである。このように本発明では、対 話参加者が予測候補を一部無視する場合でも、その時点力 の対話の展開を可能 な限り予測することで、対話参加者に対話の自由度を与えつつ、柔軟な対話支援を することが可能である。

[0056] ここまでは、日本語を話す対話参加者 1が対話支援装置 100aを使用し、英語を話 す対話参加者 2が対話支援装置 100bを使用すると仮定した場合について説明した 力 以下では、中国語を話す対話参加者 1は対話支援装置 100aを使用し、英語を 話す対話参加者 2は対話支援装置 100bを使用すると仮定した場合について説明す る。図 25は対話支援装置 100aにおける入出力の発話と発話 No.の対応関係の一 例を示す図である。

[0057] 発話受付部 101aは、受け付けた対話参加者 1の発話を相当する発話情報に変換 する。発話情報は、例えば図 25における発話 No.である。発話処理部 102aは、対 話参加者 1の発話（中国語)を対話参加者 2への発話 (英語)に変換して文字列を出 力する。例えば、発話 No. 1が入力されたときは、発話出力部 103aに対して発話情 報として文字列〃 May I help you?"を出力する。

[0058] 対話支援装置 100aと全く対称的に、対話支援装置 100bの発話処理部 102bは対 話参加者 2の発話を相当する発話情報に変換する。図 26は対話支援装置 100b〖こ おける入出力の発話と発話 No.の対応関係の一例を示す図である。図 25と図 26と では発話 No.は完全に同じであり、その処理方向が異なる。発話情報は、例えば図 26の発話 No.であり、発話受付部 101bは対話参加者 2の発話 (英語)を対話参カロ 者 1への発話（中国語）に変換して文字列を出力する。例えば、発話 No. 1が入力さ れたときは、発話出力部 103bに対して発話情報として文字列

「欢迎光临。 」 を出力する。以後、言語方向を考慮しながら説明を簡単にするために、対話参加者 1 からの発話 No. 1を C1、対話参加者 2からの発話 No. 1を Elのように略記する。

[0059] 発話受付部 101aは、図 25の中国語のリストの部分を対話参加者 1に直接選択さ せて、その発話 No.を発話情報として出力する。また、発話受付部 101bは図 26の 英語のリストの部分を対話参加者 2に直接選択させてその発話 No.を発話情報とし て出力する。なお、発話受付部 101aまたは発話受付部 101bの構成については、音 声認識処理を利用して対話参加者の音声を発話 No.の 、ずれかに射影する処理で 実現してもよい。また、キーボードから発話の表記や発音に相当する文字列を入力さ せて、それを発話 No. のいずれか〖こ射影して実現しても良い。

[0060] 図 27 (a)、 (b)は対話履歴データベース 104aおよび対話履歴データベース 104b に格納される対話履歴の一例を示す図である。対話履歴とは対話参加者によって過 去に交わされた発話の履歴であり、各対話参加者の発話時刻の順に並べたものであ る。各発話は図 25または図 26で定義される発話のいずれかに相当する。なお、同じ 発話 No.でも対話参加者の立場によって区別する必要があるので、中国語につい ては Cを、英語については Eをそれぞれ発話 No.の前に付与して、対話履歴におけ る発話のラベルとして定義する。以後、説明を簡単にするために、 1つの対話履歴を そのラベルの列で記述する。例えば、対話履歴 d5は d5 :El, C2, E3, C4, E5, C6 , E7, E8と記述する。対話履歴にはその対話を交わした対話参加者の情報と対話 のトピックが記録されている。例えば対話履歴 d5は、対話参加者 1が Cの立場で対話 をしたと!、う情報と、その対話のトピックがチェックインであつたと!/、う情報が記されて いる。

[0061] 以下、図 6に示すように対話参加者 1が中国語を話す観光客で、対話参加者 2が英 語を話すホテルのフロントのスタッフであり、ホテルのチェックインを行うために対話を 行う場合を例として説明する。なお、発話予測部 105aおよび発話予測部 105bの動 作の流れは上記と同様であるので、図 7に示すフローチャートを用いて説明し、上記 と同様の部分については説明を省略する。

[0062] 発話予測部 105aおよび発話予測部 105bは、まず発話予測を行うために必要な対 話履歴を対話履歴データベース 104aまたは対話履歴データベース 104bから検索 するために、対話のトピックの特定を行う（ステップ S601)。発話予測部 105aは対話 履歴データベース 104aに対して、発話予測部 105bは対話履歴データベース 104b に対して検索を行う。例えば PDAとして実現された図 28に示すような対話支援装置 100aを対話参加者 1が使用し、対話支援装置 100bを対話参加者 2が使用する。対 話のトピックはそれぞれトピック入力領域 703およびトピック入力領域 704を用いて、 各対話参加者にタツチパネル力 直接入力させることでトピックの情報を取得する。

[0063] 各対話参加者によって対話開始ボタン 705および対話開始ボタン 706が押される と、発話予測部 105aは対話参加者 1に対して対話履歴 d5を、発話予測部 105bは 対話参加者 2に対して対話履歴 d7を選択する。理由は、対話履歴 d5と対話履歴 d7 の対話のトピックがホテルであるからである。対話履歴 d6および対話履歴 d8は対話 のトピックが異なるために選択されない。そして、発話予測部 105aは対話履歴 d5を 第 1発話予測情報として発話予測部 105bへ、発話予測部 105bは対話履歴 d7を第 2発話予測情報として発話予測部 105aへ通知する。

[0064] 次に、発話予測部 105aと発話予測部 105bは、対話履歴 d5 :El, C2, E3, C4, E 5, C6, E7, E8と対話履歴 d7 :El, E3, C4, C2, E8, E5, C6, E7を用! /、て、上記 同様に予測スタックを作成する (ステップ S602)。そして、例えば、発話予測部 105a は、予測スタック C :E1, C2, (E3, C4) , (E5, C6, E7) , E8を、発話予測部 105b は、予測スタック E :E1, (E3, C4) , C2, E8, (E5, C6, E7)をそれぞれ作成する。

[0065] 発話予測部 105aおよび発話予測部 105bは、予測スタックを構成した後、予測スタ ックが空である力否かを判定する (ステップ S603)。発話予測部 105aまたは発話予 測部 105bが何らかの理由で適当な予測スタックを構成できず、予測スタックが空で ある場合は (ステップ S603で YES)、発話予測部 105aまたは発話予測部 105bは発 話予測動作を行わず終了し、相手の発話予測部 105aまたは発話予測部 105bの動 作に従う。

[0066] 一方、予測スタックが空でな 、場合 (ステップ S603で NO)、発話予測部 105aおよ び発話予測部 105bは、予測スタックの先頭の発話を次の発話候補として表示する（ ステップ S604)。図 29は対話が開始された時点の対話支援装置 100での表示状態 を示す図である。

[0067] 対話参加者 1は用例のリスト 1101、対話参加者 2は用例のリスト 1102を利用して図 25および図 26で定義されるすべての発話の中から任意の発話を選択して他の対話 参加者に伝えることが可能である。発話処理部 102aで変換された発話は対話参カロ 者 2への発話出力部 1103へ、発話処理部 102bで変換された発話は対話参加者 1 への発話出力部 1104へ、それぞれ出力され、例えば PDAに内蔵される音声合成 処理を利用して表示と同時に読上げられる。予測表示領域 1105には発話予測部 1 05aによって予測された対話参加者 1の発話、すなわち予測候補が表示される。予 測表示領域 1106には発話予測部 105bによって予測された対話参加者 2の発話、 すなわち予測候補が表示される。対話参加者 1または対話参加者 2は、それぞれ予 測表示領域 1105または予測表示領域 1106に表示される予測候補の発話を選択す ることで、用例のリスト 1101または用例のリスト 1102の中力も所望の発話を検索して 選択入力する操作を省略することが可能である。すなわち、相手への発話を迅速に 入力することが可能である。

[0068] 図 29において発話予測部 105aおよび発話予測部 105bは、すでに次の発話候補 として表示 (ステップ S604)を完了している (ステップ S605)。すなわち、発話予測部 105aは予測スタック C :E1, C2, (E3, C4) , (E5, C6, E7) , E8の先頭の発話が E の立場の発話であり、 Cの立場とは異なるので、予測表示領域 1105には予測候補を 表示していない。また、発話予測部 105bは予測スタック E :E1, (E3, C4) , C2, E8 , (E5, C6, E7)の先頭の発話が Eの立場の発話であり、同立場なので対話参加者 2 に対する予測候補として El : "May I help you?"を予測表示領域 1106に表示してい る。対話参加者 2は用例のリスト 1102から発話を選択してもよいが、予測表示領域 1 106にすでに自分が発話したい内容が表示されているので、図 30に示すように予測 候補を選択する。 E1は発話処理部 102bで中国語に変換されて、対話参加者 1に対 して発話「いらっしゃいませ。」が伝えられる。

[0069] このとき、発話予測部 105aおよび発話予測部 105bは、対話参加者から発話が入 力されたカゝ否かを判定している (ステップ S605)。対話参加者から発話が入力される (ステップ S605で YES)と、発話予測部 105aおよび発話予測部 105bは、予測スタ ック上で一致する発話を先頭から検索 (ステップ S606)し、一致する発話があるか否 かを判定する (ステップ S607)。一致する発話がある場合 (ステップ S607で YES)、 一致する発話が予測スタックの先頭である力否かを判定する (ステップ S608)。先頭 である場合 (ステップ S608で YES)、予測スタックの先頭の発話を削除して予測スタ ックを更新する (ステップ S609)。そして、発話の削除に伴って結合可能な発話プロ ックが出現した場合には、予測スタックの中で結合可能な発話ブロックを結合する (ス テツプ S611)。一方、先頭でない場合 (ステップ S608で NO)、一致する発話を含む ブロックを予測スタックの先頭に移動後、先頭力 その発話までを削除して予測スタツ クを更新する (ステップ S610)。そして、予測スタックが空である力否かの判定処理（ ステップ S603)に戻る。

[0070] 上記の例では、対話参加者の発話が E1であることから、発話予測部 105aおよび 発話予測部 105bは、予測スタックの先頭である E1を削除し、予測スタックを C : C2, (E3, C4) , (E5, C6, E7) , E8および E : (E3, C4) , C2, E8, (E5, C6, E7)と更 新する。なお、予測スタック C : C2, (E3, C4) , (E5, C6, E7) , E8および E : (E3, C4) , C2, E8, (E5, C6, E7)については、結合可能な発話ブロックが存在しない ので、予測スタックは変化しない。そして、予測スタックはまだ空ではないので、発話 予測部 105aは予測スタック C : C2, (E3, C4) , (E5, C6, E7) , E8の先頭の発話 C 2を予測候補とする。すなわち、図 31に示すように予測表示領域 1105に C2 :

「可 办理入住吗？」 を表示する。また、発話予測部 105bは予測スタック E : (E3, C4) , C2, E8, (E5, C 6, E7)の先頭の発話 E3を予測候補として、予測表示領域 1106に E3 : "Have you m ade reservation?"を表示する。発話予測部 105aおよび発話予測部 105bは、対話参 加者からの発話を待つ。

[0071] 対話参加者 1または対話参加者 2は、それぞれ用例のリスト 1101または用例のリス ト 1102から発話を選択してもよいが、予測表示領域 1105または予測表示領域 110 6にすでに自分が発話したい内容が表示されているので予測候補力 選択するのが 得策である。ここで図 32に示すように対話参加者 2が対話参加者 1よりの早く予測表 示領域 1106を選択すると、 E3は発話処理部 102bで中国語に変換されて、対話参 加者 1に対して発話

「您预订过了吗？」 が伝えられる。発話予測部 105aは、対話参加者力もの発話 E3が予測スタック C:C2 , (E3, C4), (E5, C6, E7), E8の先頭の発話ブロックの中に存在しないので、 C: (E3, C4), C2, (E5, C6, E7), E8として（ステップ S610)、 C:C4, C2, (E5, C6 , E7), E8と更新する (ステップ S609)。一方、発話予測部 105bは、対話参加者か らの発話 E3が予測スタック E: (E3, C4), C2, E8, (E5, C6, E7)の先頭の発話ブ ロックの中に存在するので、 E:C4, C2, E8, (E5, C6, E7)と更新する。このとき、 予測スタックの中に共通して含まれる連続する発話 C4, C2が存在する (ステップ S6 11)。そこで、発話予測部 105bは、 C4, C2を 1つの発話ブロックに結合することで、 予測スタックを C: (C4, C2), (E5, C6, E7), E8および E: (C4, C2), E8, (E5, C6, E7)と更新する。

[0072] 発話予測部 105aは、同様に、予測スタックは C: (C4, C2), (E5, C6, E7), E8 および E: (C4, C2), E8, (E5, C6, E7)となっているので、図 33に示すように予測 表示領域 1105に予測候補 C4:「是。」を表示する。発話予測部 105bは、予測表示 領域 1106には対話参加者の立場が異なるので予測候補を表示しな 、。

[0073] 対話参加者 1は用例のリスト 1101から発話を選択してもよいが、予測表示領域 110 5にすでに自分が発話した ヽ内容が表示されて!、るので、図 34に示すように予測表 示領域 1105を選択すると、 C4は発話処理部 102aで英語に変換されて、対話参カロ 者 2に対して発話" Yes."が伝えられる。同様に、発話予測部 105aおよび発話予測部 105bは、予測スタックを C:C2, (E5, C6, E7), E8および E:C2, E8, (E5, C6, E7)と更新し、図 35に示すように予測表示領域 1105に C2：

「可以办理入住吗？」 を表示し、予測表示領域 1106には何も表示しない。このように対話参加者 1または 対話参加者 2は、用例のリスト 1101または用例のリスト 1102の中から所望の発話を 検索する必要がなぐ速やかに相手に意図を伝えることで、対話の所要時間が削減 される。

[0074] 次に、上記の日本語と英語の場合と同様に中国語と英語の場合の効果について客 観的に説明する。図 36は本実施の形態の対話支援装置 100によって支援される対 話（中国語と英語の場合)を形式的に表現した図である。図の解釈は図 19と同様で あり、例えば点線の矩形 3601は、予測候補として予測表示領域 1105に何も表示さ れず、予測表示領域 1106に E3 : "Have you made reservation?"が表示されて、対話 参加者 2が E3を入力し、その後、予測表示領域 1105に C4 :「是。」が表示され、予 測表示領域 1106には何も表示されず、対話参加者 1が C4を入力したことを示す。 図 36はまた、対話参加者が入力する発話に応じて予測候補が変化することも示して いる。特に、矢印の分岐は予測候補に対して対話参加者が入力した発話が複数で あったことを示している。例えば、分岐 3602は、予測候補として予測表示領域 1105 に C2 :

「可以办理入住吗？ J

、予測表示領域 1106に E3 : "Have you made reservation?〃が表示されているときに 、対話参加者 1が C2を対話参加者 2よりも先に入力した場合と、対話参加者 2が E3 を対話参加者 1よりも先に入力した場合を示す、対話の分岐点である。以下では、そ のような複数の対話の進行パターンにおいて、太い矢印に沿って進行する対話を例 として取り上げる。この例では、図 37に示す対話 fが対話参加者の間で交わされたこ とになり、対話 fは図 32に示す対話履歴データベースの中には存在しないので、新し く生成された対話履歴である。

[0075] 図 38に示すように、対話 fを開始する前の対話参加者の対話履歴 d5と対話履歴 d7 の類似度は 0. 16である。しかし、本発明の支援によって交わされた対話 fに対する 類似度はそれぞれ対話履歴 d5とは 0. 29、対話履歴 d7とは 0. 57である。したがって 、一方の対話参加者の対話履歴に他方の対話参加者を従わせて対話をするよりも、 よりスムーズな対話がなされたことは明らかである。

[0076] 次に、対話参加者が予測候補を一部選択せずに対話を続行した場合にも、本発明 の効果があることを示す。図 39は本実施の形態の対話支援装置 100によって支援さ れる対話（中国語と英語の場合)を形式的に表現した図である。図の解釈は図 19と 同様であるが、点線の矩形 3901は予測表示領域 1105の予測候補 C2が表示され、 予測表示領域 1106には何も表示されて 、ないにもかかわらず、対話参加者 2は発 話 E5を用例のリスト 1102から入力したことを示している。太い矢印に沿って進行した 対話は図 40 (a)に示す対話 fであり、 fは図 32に示す対話履歴データベースの中に は存在しな!、ので、新しく生成された対話履歴である。

[0077] 図 40 (b)に示すように対話 fを開始する前の対話履歴 d5と d7の類似度は 0. 16で あるが、交わされた対話に対する類似度はそれぞれ対話履歴 d5とは 0. 33、対話履 歴 d7とは 0. 52である。したがって、対話参加者が一部の予測候補に従わな力つた にもかかわらず、一方の対話参加者の対話履歴に他方の対話参加者を従わせて対 話をするよりも、スムーズな対話がなされたことは明らかである。このように本発明では 、対話参加者が予測候補を一部無視する場合でも、その時点からの対話の展開を可 能な限り予測することで、対話参加者に対話の自由度を与えつつ、柔軟な対話支援 をすることが可能である。

[0078] なお、図 1に示す構成に加えて履歴登録部を備え、発話処理部で対話参加者の間 で交わされる発話情報をすベて記録し、対話終了時に発話処理部から対話履歴デ ータベースに蓄積するように構成することも可能である。これによつて、今後の発話予 測に有効な対話履歴を自動的に増やすことが可能になる。例えば対話 d'や対話 d" を対話履歴データベース 104aおよび対話履歴データベース 104bに蓄積する。特 に、発話予測部の予測に従わずに対話がなされた場合は、対話履歴データベース に存在しない対話である場合が多ぐそれを蓄積することで次回の発話予測をより精 度良く行うことが可能になる。

[0079] また、図 41および図 42に示すように対話参加者力 台の対話支援装置を共有する ように構成することも可能である。対話履歴データベースをメモリカード 2401、メモリ カード 2402で装置に挿入して利用してもよい。図 43はこの場合の対話支援装置の 一実施の形態の構成を示すブロック図である。対話履歴データベースは図 41および 図 42のようにメモリカードで構成してもよいし、あるいは、通信回線でアクセス可能な ネットワーク上のデータベースで構成してもよい。図 43のような構成にすることで、対 話支援装置のハードウェアを公共の装置として利用することが可能になる。

[0080] また、図 2に示す構成の発話受付部 101aと発話受付部 101bに替えて、図 44に示 すように音声認識部 401aおよび音声認識部 402bを備える構成とすることもできる。 この場合、音声認識部 401aおよび音声認識部 402bの認識対象語彙の中で、発話 予測部 105aおよび発話予測部 105bによって予測される発話に関連する語彙につ いては優先的に扱うことで、音声認識の精度を向上させることが可能になる。関連す る語彙としては、発話予測部 105aおよび発話予測部 105bが出力する予測発話そ のものであってもよいし、または、その予測発話に近い文であってもよいし、または、 予測発話に含まれる単語であってもよいし、または、予測発話から連想される単語で あってもよい。

[0081] なお、図 45に示すように発話出力部 502aと発話出力部 502bを、相手の対話支援 装置の発話出力部を利用するように実装し、相手の対話支援装置力 発話処理され た文字と音声を出力するようしてもよい。この場合、対話参加者は相手の発話を自分 の手元の対話支援装置で見聞きすることができるので、聞き違 、などが低減されて 対話がよりスムーズに進行することが可能になる。

[0082] また、図 12または図 35に示すボタン 1107およびボタン 1108は、対話参加者 1お よび対話参加者 2がそれぞれ対話の予測展開を見るためのボタンである。具体的に はこれらのボタンが押されたときに、発話予測部 105aおよび発話予測部 105bは、こ れまでに交わされた発話と現時点の予測スタックの内容をすベて表示する。ただし、 各発話はそれぞれの対話参加者の言語に変換して表示する。また、対話の予測展 開としては、相手の予測スタックの内容を提示する。図 46は対話の予測展開の一例（ 日本語と英語の場合)を示す図である。これまでに交わされた発話が El, E3, J4で あり、現時点の予測スタックが、 J :J2, (E5, J6, E7) , E8および E :J2, E8, (E5, J6 , E7)である。対話参加者 1に対しては表示領域 2801にこれまで交わされた対話と して El, Ε3, J4と、今後の予測展開として表示領域 2802に J2, Ε8, Ε5, J6, Ε7を 表示する。また、対話参加者 2に対しては表示領域 2803にこれまでに交わされた対 話として El, Ε3, J4を、表示領域 2804に今後の予測展開として J2, Ε5, Ε6, Ε7, Ε8を表示する。

[0083] また、図 47は対話の予測展開の一例（中国語と英語の場合)を示す図である。これ までに交わされた発話が El, Ε3, C4であり、現時点の予測スタック力 C : C2, (E5 , C6, E7) , E8および E : C2, E8, (E5, C6, E7)である。対話参加者 1に対しては 表示領域 2801にこれまで交わされた対話として El, E3, C4と、今後の予測展開と して表示領域 2802に C2, E8, E5, C6, E7を表示する。また、対話参カロ者 2に対し ては表示領域 2803にこれまでに交わされた対話として El, E3, C4を、表示領域 28 04に今後の予測展開として C2, E5, E6, E7, E8を表示する。このような予測展開 を対話参加者に提示することにより、対話参加者は相手の発話と対話の展開パター ンを前もって知ることが可能になり、対話を継続する際に頭を整理することでよりスム ーズな対話が可能になる。

[0084] また、本実施の形態では、一例として日本語と英語の場合と、中国語と英語の場合 とを取り上げたが、仏語など他の言語についても同様に実施可能であり、本発明は 言語に依存しない。

産業上の利用可能性

[0085] 本発明にかかる対話支援装置は、対話参加者の発話を速やかに入力させる機能 を有し、携帯電話や携帯端末等の翻訳アプリケーションソフトウェア等として有用であ る。また公共の街頭端末や案内端末等の用途にも応用できる。さらに、同言語の対 話では、定型文のチャットシステムなどの用途にも応用できる。

Claims

請求の範囲

[1] 対話参加者によって行われる対話を支援する対話支援装置であって、

前記対話参加者の過去の対話履歴を格納している対話履歴データベースと、 前記対話履歴データベースに格納されて 、る前記対話履歴に基づ 、て第 1発話 予測情報を作成するとともに、他の対話支援装置力 第 2発話予測情報を取得し、 前記第 1発話予測情報および前記第 2発話予測情報に基づ 、て、当該対話支援装 置を使用する対話参加者の前記対話における次の発話を予測する発話予測手段と を備えることを特徴とする対話支援装置。

[2] 前記発話予測手段は、作成した前記第 1発話予測情報を前記他の対話支援装置 へ通知する

ことを特徴とする請求項 1記載の対話支援装置。

[3] 前記発話予測手段は、前記対話履歴データベースに格納されて!、る前記対話履 歴の中から前記対話における対話状況が最も近い対話履歴を抽出し、抽出した前記 対話履歴を前記第 1発話予測情報とする

ことを特徴とする請求項 1記載の対話支援装置。

[4] 前記発話予測手段は、前記第 1発話予測情報および前記第 2発話予測情報に含 まれるそれぞれの対話履歴に共通して含まれ、かつ、連続する発話の集合に基づい て予測スタックを作成する

ことを特徴とする請求項 3記載の対話支援装置。

[5] 前記発話予測手段は、前記予測スタックの先頭の発話を、前記対話参加者の次の 発話として予測する

ことを特徴とする請求項 4記載の対話支援装置。

[6] 前記発話予測手段は、前記対話参加者の発話が前記予測スタックの発話の集合 に出現する場合は、前記集合を前記予測スタックの先頭に移動し、かつ、前記予測 スタックの先頭力 前記発話までを前記予測スタックから削除する

ことを特徴とする請求項 4記載の対話支援装置。

[7] 前記発話予測手段は、前記対話履歴に共通して含まれる発話である否かを、発話 を特定するための発話情報の一致、表層表現の一致、および内容語の一致の少なく とも 1つにより判定する

ことを特徴とする請求項 4記載の対話支援装置。

[8] 前記発話予測手段は、前記第 1発話予測情報および前記第 2発話予測情報に含 まれるそれぞれの対話履歴の発話数を、動的計画法によって発話数が同じ数になる ように調整する

ことを特徴とする請求項 3記載の対話支援装置。

[9] 前記対話支援装置は、さらに、

前記対話参加者の発話を受け付ける発話受付手段と、

前記発話受付手段により受け付けられた前記発話を他の発話形態に変換する発 話処理手段と、

前記発話処理手段により変換された前記他の発話形態の前記発話を出力する発 話出力手段と

を備えることを特徴とする請求項 1記載の対話支援装置。

[10] 前記発話受付手段は、入力される音声に対して、音声認識辞書を前記発話予測 手段により予測された予測発話、前記予測発話に近い文、前記予測発話に含まれる 単語、および前記予測発話力 連想される単語のいずれかの範囲内に絞り込みを行 つた上で音声認識を行!、、前記音声認識結果を前記発話として受け付ける

ことを特徴とする請求項 9記載の対話支援装置。

[11] 前記対話支援装置は、さらに、表示手段を備え、

前記発話予測手段は、予測した予測発話を前記表示手段に表示し、

前記発話受付手段は、前記予測発話が前記対話参加者により選択されると、前記 予測発話を前記発話として受け付ける

ことを特徴とする請求項 9記載の対話支援装置。

[12] 前記対話支援装置は、さらに、表示手段を備え、

前記発話予測手段は、前記第 1発話予測情報および前記第 2発話予測情報に基 づ 、て前記対話における前記対話参加者の発話の展開を予測し、予測した発話展 開を前記表示手段に表示する

ことを特徴とする請求項 9記載の対話支援装置。

[13] 前記発話予測手段は、予測した前記発話展開を他の対話支援装置へ通知する ことを特徴とする請求項 12記載の対話支援装置。

[14] 前記対話支援装置は、さらに、

前記対話参加者により行われた前記対話の履歴を前記対話履歴データベースへ 登録する履歴登録手段

を備えることを特徴とする請求項 1記載の対話支援装置。

[15] 第 1対話支援装置および第 2対話支援装置を用いて対話参加者によって行われる 対話を支援する対話支援システムであって、

前記第 1対話支援装置は、

前記対話参加者の過去の対話履歴を格納している第 1対話履歴データベースと、 前記対話履歴データベースに格納されて 、る前記対話履歴に基づ 、て第 1発話 予測情報を作成するとともに、前記第 2対話支援装置から第 2発話予測情報を取得 し、前記第 1発話予測情報および前記第 2発話予測情報に基づいて、当該第 1対話 支援装置を使用する対話参加者の前記対話における次の発話を予測する第 1発話 予測手段とを備え、

前記第 2対話支援装置は、

前記対話参加者の過去の対話履歴を格納している第 2対話履歴データベースと、 前記第 2対話履歴データベースに格納されて 、る前記対話履歴に基づ!/、て前記 第 2発話予測情報を作成するとともに、前記第 1対話支援装置から前記第 1発話予 測情報を取得し、前記第 1発話予測情報および前記第 2発話予測情報に基づ 、て、 当該第 2対話支援装置を使用する対話参加者の前記対話における次の発話を予測 する第 2発話予測手段とを備える

ことを特徴とする対話支援システム。

[16] 対話参加者によって行われる対話を支援する対話支援方法であって、

前記対話参加者の過去の対話履歴に基づいて第 1発話予測情報を作成するととも に、他の対話支援装置から第 2発話予測情報を取得し、前記第 1発話予測情報およ び前記第 2発話予測情報に基づ 、て、当該対話支援装置を使用する対話参加者の 前記対話における次の発話を予測する発話予測ステップ を含むことを特徴とする対話支援方法。

対話参加者によって行われる対話を支援するためのプログラムであって、 前記対話参加者の過去の対話履歴に基づいて第 1発話予測情報を作成するととも に、他の対話支援装置から第 2発話予測情報を取得し、前記第 1発話予測情報およ び前記第 2発話予測情報に基づ 、て、当該対話支援装置を使用する対話参加者の 前記対話における次の発話を予測する発話予測ステップをコンピュータに実行させ る

ことを特徴とするプログラム。