JP2006155472A - 端末装置及び該端末装置の情報表示方法 - Google Patents

Abstract

【課題】
入力された会話内容を認識し、会話の中から抽出された語句に関する情報を表示して、スムーズな会話を可能にする。
【解決手段】
音声を入力する音声入力手段と、前記音声入力部に入力された音声を認識する音声認識手段と、前記音声認識手段で認識された音声の中から語句を抽出する語句抽出手段と、前記語句抽出手段にて抽出された抽出語句に関連する情報を取得する情報取得手段と、前記情報取得手段によって取得された前記抽出語句に関連する情報を表示させる情報表示手段とを有することを特徴とする端末装置である。
【選択図】図１

Description

本発明は、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などの端末装置に関する。

従来、携帯電話やＰＤＡなどの端末装置において、会話（通話）内容を認識して、会話内容を画面に表示させる技術が知られている（例えば、下記特許文献１参照。）。

この技術では、会話内容を音声認識させて、認識された音声情報を文字情報として認識し、仮名漢字変換した上で記憶手段に記憶させるとともに、該会話内容を文字情報として表示部に表示している。
特開平１０−３２７２６９号

しかしながら、このような従来の端末装置にあっては、単に会話内容を文字情報として表示部に表示させるのみであったため、使用者は会話そのものの内容を確認するしかできなかった。よって、会話内容に含まれる語句に不明な点があったとしても、その不明点を自分で確認することができずに、スムーズな会話ができないといった問題を有している。

この発明は、上述した課題を解決するために、会話（通話）内容に関連した各種情報を表示させて、スムーズな会話（通話）を可能とする端末装置を提供することを目的としている。

前記問題点を解決するため、本発明の端末装置は、音声を入力する音声入力手段と、前記音声入力部に入力された音声を認識する音声認識手段と、前記音声認識手段で認識された音声の中から語句を抽出する語句抽出手段と、前記語句抽出手段にて抽出された抽出語句に関する情報を取得する情報取得手段と、前記情報取得手段によって取得された前記抽出語句に関する情報を表示させる情報表示手段とを有することを特徴とする。
よって、入力された音声内容から抽出された抽出語句に関する情報を表示させることにより、端末使用者は、会話中の語句に関連して表示された情報に基づき、会話内容を確認することができ、適確な会話を実施することができる。

また、前記情報取得手段は、語句に関する情報を記憶する情報記憶手段を有し、該情報記憶手段に記憶されている語句の関連情報の中から前記抽出語句の関連情報を取得することを特徴とする。
よって、抽出語句に関する情報を簡単に取得でき、該情報を迅速に表示させることができるので、端末使用者は好適に会話内容を確認することができるとともに、より適確な会話を実施することができる。

また、前記抽出語句が、特定語句か不特定語句かを判定する語句判定手段を有し、前記情報取得手段は、前記不特定語句に関する情報を入手する不特定情報入手手段を有し、前記語句判定手段にて前記抽出語句が前記不特定語句と判定されると前記不特定情報入手手段から該不特定語句に関する情報を取得することを特徴とする。
よって、会話内容に不特定語句が含まれている場合であっても、この不特定語句に関する情報を不特定情報入手手段により入手するとともに情報表示手段によって表示させるので、端末使用者は不特定語句に関する情報をも確認することができ、より好適な会話内容の確認を行うことができるとともに、より適確な会話を実施することができる。

また、前記情報記憶手段は、特定語句に関する詳細情報を記憶し、前記情報取得手段は、前記語句判定手段により前記抽出語句が前記不特定語句と判定された場合には、当該不特定語句に関する詳細情報を前記不特定情報入手手段から取得し、当該不特定情報入手手段から取得された前記不特定語句の前記詳細情報と前記情報記憶手段に記憶されている前記特定語句の詳細情報とを比較し、前記不特定語句の詳細情報と合致する詳細情報を有する特定語句がある場合には、該特定語句に関する情報を取得することを特徴とする。
よって、会話内容に不特定語句が含まれていても、この不特定語句に関して取得された詳細情報に基づき特定語句を選定して、この選定された特定語句に関する情報が表示されるので、不特定語句であってもより詳細な情報を表示させることが可能となり、より詳細に会話内容を確認することができる。

また、前記不特定情報入手手段は、現在地の位置情報を検出する位置情報検出手段を有し、前記語句判定手段は、前記抽出語句が現在地を示す語句であるか判定し、前記情報取得手段は、前記語句判定手段によって前記抽出語句が現在地を示す前記不特定語句と判定された場合には、前記位置情報検索手段から検出された現在地の位置情報に基づく情報を取得することを特徴とする。
よって、会話中の現在地を示す不特定語句に関して、現在地の位置情報に基づく情報を表示させることができ、会話内容を好適に確認することができる。

また、前記不特定情報入手手段は、現在の日時を検出する日時検出手段を有し、前記語句判定手段は、前記抽出語句が日時を示す語句であるか判定し、前記情報取得手段は、前記語句判定手段によって前記抽出語句が日時を示す前記不特定語句と判定された場合には、前記日時検出手段にて検出された現在の日時に基づき前記抽出語句に関する日時情報を取得することを特徴とする。
よって、会話内容に不特定な日時情報が含まれていた場合であっても抽出語句に関する日時情報を的確に表示させることができ、会話内容を好適に確認することができる。

また、前記情報記憶手段は、スケジュール情報を記憶し、前記語句判定手段は、前記抽出語句がスケジュールを示す語句であるか判定し、前記情報取得手段は、前記抽出語句がスケジュールに関する語句である場合、前記情報記憶手段に記憶されている前記抽出語句に関する前記スケジュール情報を取得し、前記情報表示手段は、前記情報取得手段で取得されたスケジュール情報を前記表示部に表示させることを特徴とする。
よって、会話内容に応じてスケジュールを好適に確認することができる。

また、前記情報取得手段は、前記語句判定手段によって前記抽出語句が過去のスケジュールを示す語句であると判定された場合には該抽出語句に関する過去のスケジュール情報を取得し、前記抽出語句が将来のスケジュールを示す語句であると判定された場合には該抽出語句に関する将来のスケジュール情報を取得することを特徴とする。
よって、過去及び将来におけるスケジュール情報を区分して表示するので、スケジュールをより好適に確認することができる。

また、前記情報表示手段に表示された情報を変更する情報変更手段を有し、前記情報記憶手段は、前記情報変更手段にて前記情報が変更された場合には、変更された情報を記憶することを特徴とする。
よって、会話内容に応じて表示された情報を変更可能であるとともに、この変更された情報を更新できるので、情報管理を好適に行うことができる。

また、本発明の端末装置は、音声を入力する音声入力手段と、前記音声入力部に入力された音声を認識する音声認識手段と、前記音声認識手段で認識された音声の中から語句を抽出する語句抽出手段と、前記語句抽出手段にて抽出された抽出語句を変換する語句変換手段と、前記語句変換手段により変換された変換語句に関する情報を取得する情報取得手段と、前記情報取得手段によって取得された前記変換語句の関連情報を前記抽出語句に関する情報として表示させる情報表示手段と、を有することを特徴とする。
よって、音声認識により抽出された抽出語句を変換して、抽出語句を統一化させたうえで情報を取得することができ、会話内容や抽出語句に応じて表示される情報がばらつくのを抑制できる。

また、本発明の端末装置の情報表示方法は、音声を入力するステップと、前記音声入力部に入力された音声を認識するステップと、前記音声認識手段で認識された音声の中から語句を抽出するステップと、前記語句抽出手段にて抽出された抽出語句に関する情報を取得するステップと、前記情報取得手段によって取得された前記抽出語句に関する情報を端末装置の表示部に表示させるステップとを有することを特徴とする。
よって、会話中の語句に関連して表示された情報に基づき、会話内容を確認することができ、適確な会話を実施することができる。

本発明の端末装置によれば、会話内容に関する情報を端末使用者に提供することが可能となり、端末使用者は情報に応じて会話内容の確認を行い、より的確な会話を行うことができる。

本発明の端末装置を図面に基づいて詳細に説明する。
図１は本発明の端末装置１の概略ブロック図であり、図２は本発明の端末装置における語句の分類表を示しており、図３，４は本発明の端末装置における情報記憶手段に記憶されている語句のリスト例を示しており、図５は本発明の端末装置における表示部の画面構成を示しており、図６は本発明の端末装置における制御を示すフローチャートであり、図７，８は、本発明の端末装置における画面表示の一例を示す図である。

本実施形態における端末装置１は、ＰＤＡなどの情報端末装置であり、図１のブロック図に示されるような構成となっている。そして、端末装置１は、会話（通話）内容を認識し、表示部に会話内容に関する情報を表示させる。
詳細には、端末装置１は、音声入力部２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成される音声認識部３及び演算部４、ＲＯＭやＲＡＭなどのメモリで構成される情報記憶部５、ディスプレイなどの画面を有する表示部６を有している。そして、音声入力部２は、図示しないマイクなどから会話に基づく音声を入力すると、入力した音声を音声信号に変換して音声認識部３に送信する。音声認識部３は、音声信号が入力されると、音声信号から会話内容を認識し、この認識された会話内容を文字データに変換する。そして、認識された会話内容の文字データを演算部４に送信する。

演算部４では、音声認識部３で認識された会話内容の文字データを受信すると、この文字データを分析して品詞に分類し、品詞に分類された文字データの中から語句（名詞など）を抽出する。
そして、演算部４は、受信した文字データから抽出した語句（以下、抽出語句）に関連する情報（以下、関連情報）を取得して、抽出語句と当該関連情報とを表示部６に送信する。そして、表示部６は、演算部４から送信された抽出語句と関連情報とを図示しない画面上に表示させる。

次に、演算部４における語句判定及び関連情報の取得について説明する。
先ず、演算部４は、音声認識部３から送信された文字データを受信すると、この文字データの中から語句を抽出する。そして、この抽出語句を図２に示す語句分類リストに基づき分類分けする。語句には、日付（年月日、曜日など）、時刻などのスケジュール（時間）を示すスケジュール語句や、地名、住所、位置などの場所を示す場所語句や、人名、企業名、商品名などの固有名詞を示す固有語句や、天気、出来事などの一般的な語句を示す一般語句などがあり、これらの分類に応じて抽出語句を分類する。

次に、分類された抽出語句が、特定語句か不特定語句であるかを判定する。特定語句とは、人名などの固有名詞、地名、住所や時刻などのように特定のものを指し示す語句又は意味が明確である語句を示す。また、不特定語句とは、「私」、「ここ」、「今」、「明日」などのように、特定のものを指し示さない語句又は意味が不明確である語句を示す。
この抽出語句の特定語句と不特定語句との判別は、例えば抽出語句を情報記憶部５に記憶されている語句リストと照合して行うようにしてもよい。この場合には、抽出語句が、図３に示すような特定語句リスト、又は図４に示すような不特定語句リストに登録されているか否かを判定し、抽出語句が特定語句リストに「特定語句」として登録されている語句である場合には特定語句と判定し、不特定語句リストに「不特定語句」として登録されている語句である場合には不特定語句と判定する。

例えば、抽出語句が「○×会社」である場合、分類を「固有」と判別した後に、特定語句リストに登録されている語句であるため特定語句と判定する。また、抽出語句が「明日」である場合、分類を「スケジュール」と判別した後に、不特定語句リストに登録されている語句であるため不特定語句と判定する。なお、これら特定語句リストや不特定語句リストの登録内容は適宜変更可能となっている。

次に、演算部４が抽出語句の関連情報を取得する方法について説明する。
演算部４は、抽出語句が特定語句であると判定すると、情報記憶部５に記憶されている特定語句リストを参照し、情報記憶部５に記憶されている当該特定語句に関する関連情報を取得する。例えば、「２００４年１２月××日」といった特定語句を抽出した場合には、この抽出語句の分類は「スケジュール」と判定され、この抽出語句の関連情報としてスケジュール情報が取得される。このスケジュール情報は、日程に応じた予定などの情報であり、情報記憶部５に記憶されている。この場合には、情報記憶部５に記憶されている「２００４年１２月××日」の予定などのスケジュール情報が抽出語句の関連情報として取得される。また、「○×会社」といった特定語句を抽出した場合、この抽出語句の分類は「固有」と判定され、この抽出語句の関連情報として固有情報が取得される。この固有情報は、固有名詞に関する各種情報であって、情報記憶部５に記憶されており、例えば、固有名詞が人名の場合には、その人の住所やプロフィール、人物画像などが固有情報として記憶されている。抽出語句が、「○×会社」である場合、情報記憶部５に記憶されている「○×会社」の概要などの固有情報が抽出語句の関連情報として取得される。

また、抽出語句が不特定語句と判定されると、演算部４に接続されている情報入手部７（日時情報取得部７１や位置情報取得部７２など）から不特定語句に関連する詳細情報（例えば、日時を示す日時情報や経度や緯度などを示す位置情報など）を取得するとともに、情報入手部７より取得した詳細情報と情報記憶部５に記憶されている特定語句の個別情報（詳細情報）とを照合する。この特定語句の個別情報は、情報入手部７によって入手される詳細情報と同類の情報であり、例えば日時情報や位置情報などの情報が特定語句に対応して情報記憶部５に記憶されている。そして、情報入手部７より取得した詳細情報と同一の個別情報を有する特定語句を選出し、この選出した特定語句の関連情報を取得する。そして、この特定語句の関連情報を抽出語句（不特定語句）の関連情報として取得する。
例えば、「明日」といったスケジュール語句である不特定語句を抽出した場合、抽出語句を不特定語句リストに「登録語句」として登録されている「次の日」という登録語句に変換した後、この登録語句「次の日」に関する詳細情報を取得する。このように抽出語句を登録語句に変換するのは、同じことを意味する複数の不特定語句を共通の不特定語句と認識して詳細情報を取得するためである。そして、この場合には、日時情報取得部７１から今日の日付を取得して、取得した今日の日付の次の日の日付を計算して取得する。そして、取得した「明日」の日付（詳細情報）と情報記憶部５に記憶されている特定語句の個別情報とを照合し、「明日」の日付が個別情報として記憶されている日付のスケジュール情報を関連情報として取得する。

また、「ここ」といった場所語句である不特定語句を抽出した場合、抽出語句を「現在地」という登録語句に変換した後、「現在地」に関する詳細情報を取得する。この場合、ＧＰＳなどの位置情報取得部７２から現在地の位置情報（緯度、経度）を詳細情報として取得する。そして、取得した位置情報と情報記憶部に記憶されている特定語句の個別情報とを照合する。そして位置情報取得部７２から取得した位置情報が、「緯度：ＡＡＡ°ＡＡＡ′ＡＡＡ″、経度：ＵＵＵ°ＵＵＵ′ＵＵＵ″」である場合、この位置情報「緯度：ＡＡＡ°ＡＡＡ′ＡＡＡ″、経度：ＵＵＵ°ＵＵＵ′ＵＵＵ″」と同じ情報を個別情報として有する特定語句を検索する。そして、取得した位置情報（詳細情報）と同じ情報を個別情報として有する特定語句「○×会社」を特定語句リストから抽出し、抽出語句「ここ」は「○×会社」と等しいと認識する。そして、抽出語句「ここ」の関連情報として「○×会社」の関連情報を情報記憶部５から取得する。

次に、表示部６における表示方法を図５を用いて説明する。
演算部４は、抽出語句に関する関連情報を取得すると、抽出語句とこの関連情報とを表示部６に送信する。表示部６は、これら抽出語句と関連情報とを画面６１に表示させる。画面上の表示例として、図５に示されるように、画面６１上の上段画面６２に抽出語句を順次表示させ、画面６１の下段画面６３には、抽出語句に関する関連情報が表示される。なお、下段画面６３に関連情報が表示されている抽出語句を判別するために、関連情報が表示されている抽出語句は上段画面６２に反転表示される。

次に、本実施形態における端末装置の制御について、図６に示されるフローチャートに基づき説明する。
先ず、ステップＳ１にて、音声入力部２に音声が入力されたか否かを判定し、音声が入力されるまで同判定を繰り返す。ステップＳ１にて音声入力を判定すると、ステップＳ２にて、音声認識部３が音声入力部２で入力された音声信号に基づき音声認識を行う。次のステップＳ３では、音声認識部３で音声認識された会話内容を文字変換した文字データに語句が含まれるか否かを判定する。このステップＳ３で、会話内容に語句が含まれていないと判定されると、ステップＳ２に戻り、音声認識を継続する。

ステップＳ３で会話内容に語句が含まれていると判定されると、ステップＳ４に進み、認識された語句が特定語句か否かを判定する。この特定語句の判定は、ステップＳ３で判定された抽出語句が、図３に示される特定語句リストに含まれていると判断された場合に、抽出語句が特定語句と判定される。
ステップＳ４にて、抽出語句が特定語句であると判定されると、ステップＳ５に進む。ステップＳ５では、情報記憶部５に登録されている特定語句に関する関連情報を取得する。例えば、スケジュールに関する特定語句の場合には、関連情報としてスケジュール情報が情報記憶部５に登録されており、場所に関する特定語句の場合には関連情報として住所や地図などの場所情報が登録されている。

また、ステップＳ４にて、認識された語句が特定語句でない、即ち不特定語句であると判定されると、ステップＳ６に進む。
ステップＳ６では、不特定語句と判断された抽出語句に関する登録語句の有無を判定する。具体的には、図４に示される不特定語句リストに不特定語句に対応して設定登録されている登録語句を検索する。
ステップＳ６にて、不特定語句に対する登録語句がある場合には、次のステップＳ７でこの登録語句に関する詳細情報を情報取得部７から取得する。そして、ステップＳ８にて、ステップＳ７で取得した登録語句の詳細情報を、情報記憶部５に記憶されている特定語句の個別情報（詳細情報）と照合し、登録語句の詳細情報と合致する個別情報を有する特定語句を特定語句リストから抽出する。なお、特定語句の個別情報は、図３に示されるように、特定語句リストに設定登録されている。

ステップＳ９では、ステップＳ８での比較結果に応じて、不特定語句に対応した登録語句に関する詳細情報と同一の個別情報を有する特定語句の関連情報を情報記憶部５から取得し、ステップＳ１０に進む。
また、ステップＳ６において、不特定語句に対する登録語句が無い場合には、不特定語句に対する詳細情報を取得することが不可能なので、詳細情報を取得することなく、ステップＳ１０に進む。
ステップＳ１０では、抽出語句、ステップＳ５で取得した関連情報、ステップＳ７で取得した詳細情報、ステップＳ９で取得した関連情報を表示部６へ送信し、これら各種情報を画面６１に表示させる。

例えば、会話内容に「○×会社」という語句が含まれていた場合、ステップＳ４にて「○×会社」は特定語句と判定される。そして、ステップＳ５にて、情報記憶部５に記憶されている「○×会社」の固有情報を関連情報として取得する。この場合、「○×会社」の住所、代表者、製品名などの関連情報が取得される。次にステップＳ１０にて、抽出語句「○×会社」が画面６１の上段画面６２に表示され、この関連情報が画面６１の下段画面６３に表示される。

また、会話内容に「今」という語句が含まれていた場合、抽出語句「今」は時刻を特定できない語句なので、ステップＳ４にて不特定語句と判定される。そして、ステップＳ６にて、記憶部５の不特定語句リストから「今」に対応する登録語句「現在の時刻」を抽出し、ステップＳ７にてこの登録語句「現在の時刻」に関する詳細情報を日時情報取得部７より取得する。この場合、「現在の時刻」の詳細情報として、例えば “２００４年１２月１日１０時４５分３０秒”という情報を取得する。

そして、次のステップＳ８では、ステップＳ７で取得した登録語句の詳細情報に関して、情報記憶部５に記憶されている特定語句の個別情報と照合する。そして、次のステップＳ９にて、登録語句の詳細情報と合致する個別情報を有する特定語句の関連情報を取得する。この場合スケジュール情報に入力されている「会社の第１会議室で打ち合わせ」という関連情報（スケジュール情報）を取得する。次に、ステップＳ１０では、抽出語句「今」を画面６１の上段画面６２に表示させ、ステップＳ７で取得した詳細情報“２００４年１２月１日１０時４５分３０秒”とステップＳ９で取得した関連情報“会社の第１会議室で打ち合わせ”を画面６１の下段画面６３に表示させる。

次に、会話内容に「ここ」という語句が含まれていた場合、ステップＳ４にて不特定語句と判定されて、ステップＳ６にて「ここ」に対する登録語句「現在地」を情報記憶部５の不特定語句リストから抽出する。そして、次のステップＳ７において、登録語句「現在地」に対する詳細情報が取得される。この場合、位置情報取得部８は、ＧＰＳから現在位置の緯度及び経度を取得し、この情報を演算部４へ送信する。そして、次のステップＳ８では、ステップＳ７で取得した詳細情報と情報記憶部５に記憶されている特定語句の個別情報とを照合させて、抽出語句「ここ」の詳細を判定する。例えば、位置情報取得部８において、「緯度：ＡＡＡ°ＡＡＡ′ＡＡＡ″、経度：ＵＵＵ°ＵＵＵ′ＵＵＵ″」といった詳細情報を取得した場合、この詳細情報と同じ個別情報を有する特定語句を検索する。そして、この詳細情報と同じ個別情報を有する特定語句“○×会社”を選定する。そして、次のステップＳ９では、特定語句“○×会社”に関する関連情報を取得し、ステップＳ１０にて、この“○×会社”の関連情報を表示する。

なお、ステップＳ９で登録語句に関連した情報記憶部５に記憶されている特定語句の関連情報を取得した場合には、ステップＳ７で取得した登録語句の詳細情報とステップＳ９で取得した特定語句の関連情報とを表示部６に表示させる。また、ステップＳ９で登録語句に関する特定語句の関連情報を取得できない場合、例えば、ステップＳ７で取得した登録語句の詳細情報に対応した個別情報を有する特定語句が情報記憶部５に記憶されていない場合には、ステップＳ７で取得した登録語句の詳細情報を表示部６で表示する。

ステップＳ１０で抽出語句の関連情報を表示すると、ステップＳ１１で入力の有無を判定する。この入力の有無は、ステップＳ１０において表示された関連情報に対して端末の使用者が表示内容を変更すべく入力操作を行ったか否かによって判定される。例えば、ステップＳ１０において過去や将来のスケジュール情報が表示された場合に、このスケジュール内容を変更する、例えば表示された過去のスケジュール内容を変更したり、将来のスケジュールに予定を追加したりするといった入力操作を行った場合に、入力操作ありと判定する。

このステップＳ１１で、入力操作ありと判定されると、ステップＳ１２にて、入力操作に応じた入力制御を行う。この入力制御では、表示部６によって画面６１に表示されている抽出語句の情報の表示内容を変更するとともに、情報記憶部５に記憶されている関連情報を更新する。なお、入力操作に伴い関連情報が削除された場合には、表示内容及び情報記憶部５に記憶されている関連情報が削除される。
ステップＳ１２の入力制御が終了したり、ステップＳ１１で入力操作がないと判定された場合には、リターンされる。

次に、本実施形態の端末装置において、会話内容と表示内容との具体例について説明する。
先ず、図７に示されるように、「・・・。今、出張先から電話しています。・・・、明日の今頃に会社へ戻る予定です。・・・」と会話内容を認識した場合の表示部６の表示内容について説明する。
音声認識部３で「今」という語句が認識されると、日時情報取得部７から現在の日時を取得し、情報記憶部５から現在の日時に対応したスケジュール情報を取得する。そして、表示部６における画面６１の上段画面６２に音声認識した抽出語句「今」を表示し、画面６１の下段画面６３に「今」に対応した日時“２００４年１１月２９日（月）１３：００”（詳細情報）とスケジュール“出張（×○工場）打ち合わせ”（関連情報）とを表示させる（図７（ａ）参照）。

次に「出張先」という語句を認識した場合、上段画面６２に表示されている抽出語句「今」の下段行に今回認識した抽出語句「出張先」を表示する。そして、下段画面６３には、「今」の詳細情報の下方に「出張先」に関する詳細情報及び関連情報を表示する。この場合、「出張先」という不特定語句に対する登録語句を抽出する。「出張先」に対応した登録語句は無いので、その前の語句「今」から、「今」のスケジュールを参照して、居場所を特定する。この場合、出張により“×○工場 第１会議室”にいる予定となっているので、「出張先」を「×○工場 第１会議室」と仮定して、この情報を下段画面６３に表示する（図７（ｂ）参照）。

次に、「明日の今頃」という語句を認識すると、今回認識した抽出語句「明日の今頃」を上段画面６１に追加表示する。そして、抽出語句「明日の今頃」に対応した詳細情報を下段画面６２に表示する。この場合、日時情報取得部７から日時情報“２００４年１１月３０日（火）１３：００”（詳細情報）を取得し、情報記憶部５からスケジュール情報“予定なし”（関連情報）を取得し、これら日時情報とスケジュール情報とが下段画面６３に表示される（図７（ｃ）参照）。
次に、「会社」という語句を認識すると、今回認識した抽出語句「会社」を上段画面６２に追加表示する。そして、抽出語句「会社」に対応した詳細情報を下段画面６３に表示する。この場合、「会社」に対応する登録語句として「○×会社」が登録されており、この「○×会社」に関する関連情報“○×会社、東京都・・・区・・・・・、ＴＥＬ：０３−・・・・・”を情報記憶部５から取得し、この関連情報が下段画面６３に表示される（図７（ｄ）参照）。

また、図８に示されるように、「・・・。明日、第１営業所に伺い、○×商品を納品いたします。山田太郎さんへその旨ご連絡ください。・・・」との会話を認識した場合の表示部６の表示内容について説明する。
先ず、音声認識部３で「明日」の語句が抽出されると、今回認識した抽出語句「明日」を上段画面６２に追加表示する。そして、抽出語句「明日」に対応した関連情報を下段画面６３に表示する。この場合、抽出語句「明日」に対応する登録語句として「次の日」が登録されており、この「次の日」に関する詳細情報“２００５年２月１０日（月）”を日時情報取得部５から取得し、この“２００５年２月１０日（月）”に関するスケジュール情報を情報記憶部５から取得し、これら日時情報とスケジュール情報とを下段画面６３に表示する（図８（ａ）参照）。

次に、「第１営業所」の不特定語句を認識すると、この抽出語句「第１営業所」に関する登録語句「○×会社第１営業所」を抽出し、この「○×会社第１営業所」に関する関連情報である住所と地図データとを情報記憶部５から取得し、これら関連情報を下段画面６３に表示する（図８（ｂ）参照）。
次に、「○×商品」の特定語句を抽出すると、情報記憶部５から抽出語句「○×商品」に関する関連情報を取得する。この場合、「○×商品」に関する“製造会社”、“価格”、“商品イメージ”を取得する。そして、これら関連情報が下段画面６３に表示される（図８（ｃ）参照）。
次に、「山田太郎」の特定語句を抽出すると、情報記憶部５から抽出語句「山田太郎」に関する関連情報を取得する。この場合、「山田太郎」に関する“所属会社部署名”、“連絡先”、“写真”を取得する。そして、これら関連情報が下段画面６３に表示される（図８（ｄ）参照）。

さらに、表示部６に表示された関連情報を変更（追加、訂正、削除）したい場合には、入力部８を操作して、表示内容を変更する。この変更された内容に基づき、表示部６に表示されている情報及び情報記憶部５に記憶されている関連情報が共に更新される。例えば、前述したように、スケジュール内容を変更したり、関連情報として表示された住所、連絡先やイメージ情報を変更したりすることが可能である。
なお、入力部８による入力操作は、表示部６の画面を用いた画面操作であってもよく、画面とは別個に配設された操作部の操作であってもよい。または、音声入力部２に変更内容を音声にて入力して、音声認識部で変更内容を認識して、演算部４が音声入力により変更された関連情報を表示部６に表示させるとともに、情報記憶部５に該関連内容を記憶させる。
また、音声入力部２に入力されて音声認識部３で認識された会話内容にスケジュールに関する内容が含まれる場合には、その内容を情報記憶部５に記憶されているスケジュールに自動的に追加・修正するようにしてもよい。

また、不特定語句に対する登録語句を変更する場合にも、同様に入力操作を行うことにより登録語句の変更が可能である。例えば、「担当者」という不特定語句を抽出し、この「担当者」に対応する登録語句が設定されていない場合、表示部６には、「担当者」という不特定語句のみが表示されるが、この「担当者」に対する登録語句として「山田太郎」を登録したい場合には、入力部８の入力操作により新たな登録語句が入力されると、情報記憶部５の不特定語句リスト中の登録語句が追加・修正される。

このように、本実施形態では、会話内容を音声認識し、音声認識された語句に関する関連情報を表示部に表示させる構成となっている。そして、音声認識される語句に関する関連情報は、情報記憶部５や情報取得部６，７から取得するとともに、表示されている関連情報に対して入力操作を行うことにより関連内容を変更することが可能である。
特に、不特定語句に対する登録語句を設定し、会話内容に不特定語句である場合には、この不特定語句に対する登録語句を抽出するとともに、この登録語句に基づき関連情報を取得する構成となっている。よって、会話内容に含まれる特定語句に関する関連情報を表示するとともに、会話内容中の不特定語句に関しても登録語句に基づき関連情報を表示することができるので、会話内容に関してより多くの情報を表示させることができ、会話内容を適確に確認することができる。
また、会話内容に応じて情報を変更することができ、タイムリーな情報更新が行える。

以上で本実施形態における端末装置についての説明を終了するが、本発明は上述した実施形態に限定されるものではなく、本発明を逸脱しない範囲で変更可能である。
例えば、情報取得部として日時情報取得部７と位置情報取得部８とを備え、これら情報取得部７，８から日時情報及び位置情報を取得する構成としたが、これ以外の情報を取得可能な情報取得手段を備え、この情報取得手段で取得された詳細情報に基づく関連情報を会話中の語句に応じて表示させるようにしてもよい。
また、携帯電話機などの電話機に本願発明を適用し、携帯電話機などに設けられた表示部に通話内容に応じた情報を表示させるようにしてもよい。

本発明の実施形態にかかる端末装置のブロック図である。 本発明の実施形態にかかる端末装置で使用される語句分類リストを示す図である。 本発明の実施形態にかかる端末装置で使用される特定語句リストを示す図である。 本発明の実施形態にかかる端末装置で使用される不特定語句リストを示す図である。 本発明の実施形態にかかる端末装置の画面を示す図である。 本発明の実施形態にかかる端末装置における制御フローチャートを示す図である。 本発明の実施形態にかかる端末装置における表示内容の一例を示す図である。 本発明の実施形態にかかる端末装置における表示内容の一例を示す図である。

符号の説明

１ 端末装置、２ 音声入力部、３ 音声認識部、４ 演算部、５ 情報記憶部、６ 表示部、６１ 画面、６２ 上段画面、６３ 下段画面、７ 情報取得部、７１ 日時情報取得部、７２ 位置情報取得部、８ 入力部

Claims (11)

1. 音声を入力する音声入力手段と、
   前記音声入力部に入力された音声を認識する音声認識手段と、
   前記音声認識手段で認識された音声の中から語句を抽出する語句抽出手段と、
   前記語句抽出手段にて抽出された抽出語句に関する情報を取得する情報取得手段と、
   前記情報取得手段によって取得された前記抽出語句に関する情報を表示させる情報表示手段と
   を有することを特徴とする端末装置。
2. 前記情報取得手段は、語句に関する情報を記憶する情報記憶手段を有し、該情報記憶手段に記憶されている語句の関連情報の中から前記抽出語句の関連情報を取得する
   ことを特徴とする請求項１記載の端末装置。
3. 前記抽出語句が、特定語句か不特定語句かを判定する語句判定手段を有し、
   前記情報取得手段は、前記不特定語句に関する情報を入手する不特定情報入手手段を有し、前記語句判定手段にて前記抽出語句が前記不特定語句と判定されると前記不特定情報入手手段から該不特定語句に関する情報を取得する
   ことを特徴とする請求項２記載の端末装置。
4. 前記情報記憶手段は、特定語句に関する詳細情報を記憶し、
   前記情報取得手段は、前記語句判定手段により前記抽出語句が前記不特定語句と判定された場合には、当該不特定語句に関する詳細情報を前記不特定情報入手手段から取得し、当該不特定情報入手手段から取得された前記不特定語句の前記詳細情報と前記情報記憶手段に記憶されている前記特定語句の詳細情報とを比較し、前記不特定語句の詳細情報と合致する詳細情報を有する特定語句がある場合には、該特定語句に関する情報を取得する
   ことを特徴とする請求項３記載の端末装置。
5. 前記不特定情報入手手段は、現在地の位置情報を検出する位置情報検出手段を有し、
   前記語句判定手段は、前記抽出語句が現在地を示す語句であるか判定し、
   前記情報取得手段は、前記語句判定手段によって前記抽出語句が現在地を示す前記不特定語句と判定された場合には、前記位置情報検索手段から検出された現在地の位置情報に基づく情報を取得する
   ことを特徴とする請求項３又は４に記載の端末装置。
6. 前記不特定情報入手手段は、現在の日時を検出する日時検出手段を有し、
   前記語句判定手段は、前記抽出語句が日時を示す語句であるか判定し、
   前記情報取得手段は、前記語句判定手段によって前記抽出語句が日時を示す前記不特定語句と判定された場合には、前記日時検出手段にて検出された現在の日時に基づき前記抽出語句に関する日時情報を取得する
   ことを特徴とする請求項３乃至５に記載の端末装置。
7. 前記情報記憶手段は、スケジュール情報を記憶し、
   前記語句判定手段は、前記抽出語句がスケジュールを示す語句であるか判定し、
   前記情報取得手段は、前記抽出語句がスケジュールに関する語句である場合、前記情報記憶手段に記憶されている前記抽出語句に関する前記スケジュール情報を取得し、
   前記情報表示手段は、前記情報取得手段で取得されたスケジュール情報を前記表示部に表示させる
   ことを特徴とする請求項１乃至６記載の端末装置。
8. 前記情報取得手段は、前記語句判定手段によって前記抽出語句が過去のスケジュールを示す語句であると判定された場合には該抽出語句に関する過去のスケジュール情報を取得し、前記抽出語句が将来のスケジュールを示す語句であると判定された場合には該抽出語句に関する将来のスケジュール情報を取得する
   ことを特徴とする請求項７記載の端末装置。
9. 前記情報表示手段に表示された情報を変更する情報変更手段を有し、
   前記情報記憶手段は、前記情報変更手段にて前記情報が変更された場合には、変更された情報を記憶する
   ことを特徴とする請求項１乃至８記載の端末装置。
10. 音声を入力する音声入力手段と、
    前記音声入力部に入力された音声を認識する音声認識手段と、
    前記音声認識手段で認識された音声の中から語句を抽出する語句抽出手段と、
    前記語句抽出手段にて抽出された抽出語句を変換する語句変換手段と、
    前記語句変換手段により変換された変換語句に関する情報を取得する情報取得手段と、
    前記情報取得手段によって取得された前記変換語句の関連情報を前記抽出語句に関する情報として表示させる情報表示手段と、
    を有することを特徴とする端末装置。
11. 音声を入力するステップと、
    前記音声入力部に入力された音声を認識するステップと、
    前記音声認識手段で認識された音声の中から語句を抽出するステップと、
    前記語句抽出手段にて抽出された抽出語句に関する情報を取得するステップと、
    前記情報取得手段によって取得された前記抽出語句に関する情報を端末装置の表示部に表示させるステップと
    を有することを特徴とする端末装置の情報表示方法。

Images