JP4469867B2 - コミュニケーションの状況を管理する装置、方法およびプログラム - Google Patents

Description

この発明は、操作端末などを用いて他の利用者との間で行うコミュニケーションの状況を管理する装置、方法およびプログラムに関するものである。

近年、利用者間の会話や多数の利用者が参加する会議などを含むコミュニケーションで、音声・画像・映像の入力機器・センサやディスプレイ機器、またはパーソナルコンピュータ等の電子情報操作機器を活用する機会が増加している。例えば、プロジェクターやパーソナルコンピュータのモニターなどを用いてプレゼンテーションデータを投影し、説明や議論で参照するような利用形態が挙げられる。また、電子ホワイトボードを利用する形態では、電子ホワイトボード上で操作されたペンや指先の位置を検出することでプレゼンテーション情報に対して書き込みを行うこともできる。

このようなコミュニケーション活動の後、またはコミュニケーション活動中に、過去の議論を振り返ることや、資料を探すことが必要となる場合がある。従来、このような場合には、過去のコミュニケーションの日時を思い出し、その日時を手がかりとして過去のメモや資料、議事録などを探していたため、効率的に資料を検索することができなかった。

これに対し、例えば、「先週、ＡがＢに説明した内容」または「前回の会議に参加していた誰かが提示した資料」のように、説明・提示などのコミュニケーション状況を管理し、コミュニケーション状況を用いて資料等を探索することができれば、人間の行動様式に近い自然な方法として望ましいと考えられる。

また、「前回ＣさんからＤの資料について話しましたよね」などのようにコミュニケーションの履歴を確認する場合も想定されるため、コミュニケーション状況自体を認識して管理することも望まれる。

コミュニケーション状況を用いて探索する場合には、以下のような問題も生じうる。例えば、通常、資料を提示された者はファイル名などの資料を特定可能な情報を知らないため、「会議で使った資料を送付して下さい」または「会議で使った資料について聞きたいのですが」のようにコミュニケーション状況のみを手がかりとして問い合わせを行う。

一方、複数の類似する資料が存在する場合や、複数の資料を会議で提示した場合などでは、資料を提示した者が上記のような問い合わせのみからでは、該当する資料を特定できない場合が生じうる。したがって、コミュニケーション状況を管理するときには、コミュニケーションで参照された資料を特定する情報を対応づけて管理することが望ましい。

過去のコミュニケーション等に関連する資料を探索するコストを解消する方法として、後に参照される資料やオブジェクトをグループ等の単位で共同管理する技術などが提案されている。例えば、特許文献１では、資料などのオブジェクトに対する作業履歴を管理して提示する技術が提案されている。この作業履歴の管理には、共同作業の管理も含まれる。

特開２００４−２５８８０２号公報

しかしながら、特許文献１の方法は、登録された会議・グループなどの単位で資料を管理するものであり、事前に当該単位を登録する必要があるため処理負担が大きかった。また、資料は会議・グループ単位で管理され、当該単位で参照可能となっているため、上述のようなコミュニケーション状況を手掛かりとした検索を行うことができなかった。

一方、特許文献１のような方法に対して、事前にグループ等を登録せずに、機器の操作状況などから利用者のコミュニケーション状況を動的に認識して管理する方法を適用することも考えられる。しかし、特許文献１のように１台の機器で多数の利用者の情報を管理することを前提とすると、すべての利用者の操作状況の把握や話者の認識などを１台の機器で行う必要があるため、機器の構成が複雑になるという問題があった。

本発明は、上記に鑑みてなされたものであって、他の利用者とのコミュニケーション状況を容易に管理することができる装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、利用者の行動と他の利用者の行動との関係を表すコミュニケーション状況を管理するとともに、前記利用者が操作する操作端末と前記他の利用者の行動を管理する外部装置とに接続可能なコミュニケーション状況管理装置であって、前記操作端末に対する操作内容を表す操作情報と、前記利用者の行動を表す第１行動情報とを対応づけた行動決定規則を記憶する第１規則記憶部と、前記他の利用者の行動を表す第２行動情報と、前記コミュニケーション状況とを対応づけたコミュニケーション状況決定規則を記憶する第２規則記憶部と、前記第１行動情報を記憶可能な行動情報記憶部と、前記操作情報を受付ける操作受付部と、前記操作情報に対応する前記第１行動情報を前記第１規則記憶部から取得して前記行動情報記憶部に保存する行動取得部と、前記第２行動情報を前記外部装置から受信する受信部と、受信された前記第２行動情報に対応する前記コミュニケーション状況を前記第２規則記憶部から取得するコミュニケーション状況取得部と、取得された前記コミュニケーション状況を参照し、新たな第１行動情報を前記行動情報記憶部に追加する追加部と、を備えたことを特徴とする。

また、本発明は、上記装置を実行することができる方法およびプログラムである。

本発明によれば、他の利用者とのコミュニケーション状況を容易に管理することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかるコミュニケーションの状況を管理する装置、方法およびプログラムの最良な実施の形態を詳細に説明する。

本実施の形態にかかるコミュニケーション状況管理装置は、参照したファイル等に対する操作内容や発話内容などから決定した利用者の行動、および他の装置から受信した他の利用者の行動から、他の利用者とのコミュニケーション状況を認識し、参照可能に管理するものである。

以下では、ノートＰＣ（Personal Computer）などの携帯端末に接続され、当該携帯端末に対する操作等を入力する装置としてコミュニケーション状況管理装置を実現した例について説明する。このような構成により、事前に予定されていない非定型の会議や打合せのように、所定台数のサーバ装置などで参加者や資料に関する情報を事前に登録して管理できない場合であっても、コミュニケーションの状況を容易に記録することが可能となる。

なお、装置の形態はこれに限られるものではなく、携帯端末内に機能を組み込むことにより当該携帯端末上でコミュニケーション状況管理装置を実現するように構成してもよい。

図１は、本実施の形態にかかるコミュニケーション状況管理装置１００ａの構成を示すブロック図である。図１に示すように、コミュニケーション状況管理装置１００ａは、コミュニケーションで参照する資料の提示等を行うためのノートＰＣなどの携帯型のＰＣ２００と、他の利用者のコミュニケーション状況を管理するコミュニケーション状況管理装置１００ｂとに接続されている。

コミュニケーション状況管理装置１００ａと、ＰＣ２００およびコミュニケーション状況管理装置１００ｂとは、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような無線ネットワークによって接続する。接続方法はこれに限られず、有線ＬＡＮ、インターネットなどの有線ネットワークによって接続するように構成してもよい。

なお、コミュニケーション状況管理装置１００ａおよび１００ｂは同様の構成を備えるため、以下では単にコミュニケーション状況管理装置１００という場合がある。また、他のコミュニケーション状況管理装置１００ｂは１台に限られるものではなく、複数の利用者に対応した複数の装置と接続可能である。また、コミュニケーション状況管理装置１００ｂは、他の利用者が利用する携帯端末などに接続されているものとするが、同図では図示を省略している。

図１に示すように、本実施の形態にかかるコミュニケーション状況管理装置１００は、規則記憶部１３１と、行動情報記憶部１３２と、通信部１２１と、マイク１２２と、スケジュール受付部１０１と、操作受付部１０２と、音声受付部１０３と、認識部１０４と、行動取得部１０５と、受信部１０６と、コミュニケーション状況取得部１０７と、追加部１０８と、送信情報決定部１０９と、送信部１１０と、を備えている。

規則記憶部１３１は、ＰＣ２００を操作して他の利用者とコミュニケーションを行う利用者の行動やコミュニケーション状況を決定するための各種規則を記憶するものである。規則記憶部１３１は、行動決定規則１３１ａと、コミュニケーション状況決定規則１３１ｂと、アクセスレベル決定規則１３１ｃとを備えている。

行動決定規則１３１ａは、ＰＣ２００に対する利用者の操作内容を表す操作情報を元に利用者の行動を決定するための規則を記憶するものである。図２は、行動決定規則１３１ａの一例を示す説明図である。図２に示すように、行動決定規則１３１ａは、規則を識別する識別子（Ｒｕｌｅ１、Ｒｕｌｅ２、・・・、Ｒｕｌｅｎ）と、行動を決定する条件と、行動を表す情報（以下、行動情報という）とを対応づけて格納している。

例えば、同図では、識別子＝Ｒｕｌｅ３の規則として、直近に３秒以上発話した場合に、利用者の行動は「発話中」であると決定する規則が記載されている。なお、複数の規則に適合する場合は、利用者は複数の行動を取っているものと判定される。複数の適合する規則のうち、任意の１つの規則で利用者の行動を決定するように構成してもよい。また、行動の決定方法は、図２のような行動決定規則１３１ａを用いた方法に限られるものではなく、操作情報などを入力として利用者の行動を決定可能なものであればあらゆる方法を適用できる。

図１に戻り、コミュニケーション状況決定規則１３１ｂは、決定された行動および他のコミュニケーション状況管理装置１００ｂから受信した他の利用者の行動を元に、利用者と他の利用者との間のコミュニケーション状況を決定するための規則を記憶するものである。図３は、コミュニケーション状況決定規則１３１ｂの一例を示す説明図である。図３に示すように、コミュニケーション状況決定規則１３１ｂは、規則を識別する識別子と、コミュニケーション状況を決定する条件と、コミュニケーション状況とを対応づけて格納している。

例えば、同図では、識別子＝Ｒｕｌｅ１の規則として、コミュニケーションの相手ａが資料ｘについて説明している場合に、コミュニケーション状況は「ａに資料ｘについて説明されている」状況であることを表す規則が記載されている。なお、規則によっては、過去に遡ってコミュニケーション状況を判断するものも存在しうる。例えば、同図の識別子＝Ｒｕｌｅ２の規則のように、一定期間（５分）の利用者の状況に応じて、当該期間経過後に当該期間の開始時から所定のコミュニケーション状況（会議に参加）であったことを決定する規則を規定することができる。

なお、コミュニケーション状況の決定方法は、図３のようなコミュニケーション状況決定規則１３１ｂを用いた方法に限られるものではない。

図１に戻り、アクセスレベル決定規則１３１ｃは、コミュニケーションの相手である他の利用者の資料に対するアクセスレベルを決定するための規則を記憶するものである。アクセスレベルとは、コミュニケーションで参照された資料に関する情報等を公開するときの内容の詳細度を表すものである。例えば、無条件に全情報を公開するレベル、ファイル名や提示済みのページの内容のみを公開するレベル、資料を識別するＩＤのみを公開するレベルなどをアクセスレベルとして指定する。

図４は、アクセスレベル決定規則１３１ｃの一例を示す説明図である。図４に示すように、アクセスレベル決定規則１３１ｃは、規則を識別する識別子と、コミュニケーション相手である他の利用者が満たすべき条件と、判定結果としてのアクセスレベルとを対応づけて格納している。なお、アクセスレベルの決定方法は、図４のようなアクセスレベル決定規則１３１ｃを用いた方法に限られるものではない。

図１に戻り、行動情報記憶部１３２は、決定されたコミュニケーション状況を反映した利用者の行動情報を逐次記憶するものである。格納された行動情報は、コミュニケーション状況取得部１０７により任意のタイミングで参照可能である。

図５は、行動情報記憶部１３２に記憶される行動情報のデータ構造の一例を示す説明図である。図５に示すように、行動情報記憶部１３２には、開始日時と、終了日時と、利用者の行動を表す情報（行動情報）と、会議名称と、会議が開催された場所と、コミュニケーションの相手と、参照された資料を識別する資料ＩＤと、資料名と、アクセスレベルとを対応づけた情報が格納される。

開始日時とは、対応する行動が開始された日時を表すものである。また、終了日時とは、対応する行動が終了した日時を表すものである。終了日時は、資料の編集操作のように一定の期間を要する行動などの場合に必要に応じて入力される。アクセスレベルには、後述する送信情報決定部１０９によりアクセスレベルが決定されたときに値が設定される。

このように、行動の開始日時を記録したときには特定できないため空欄とするが、必要に応じて後から追加される欄も存在する。また、会議名称や場所は、会議を対象としたコミュニケーションでない場合には設定されない。さらに、相手や会議の参加者が存在しない場合または特定できていない場合は、「相手」欄は空欄となる。このように、行動情報記憶部１３２に記録される内容は、特に他の利用者とのコミュニケーションを行わない状況では、作業履歴を含む個人の行動履歴と同等の内容となる。

なお、行動情報記憶部１３２に記憶される項目は上記に限られるものではなく、例えば、利用者の所属する部署や、発話内容などを記憶するように構成してもよい。

また、規則記憶部１３１および行動情報記憶部１３２は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

図１に戻り、通信部１２１は、ＰＣ２００との間の情報の送受信を行うものである。通信部１２１は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈなどの利用する無線ネットワーク形態に応じた無線インタフェース機能を備えている。マイク１２２は、利用者の音声を入力するものである。

スケジュール受付部１０１は、通信部１２１を介して、ＰＣ２００から利用者の行動の予定を表すスケジュール情報の入力を受付けるものである。本実施の形態では、装置起動直後など、コミュニケーション開始前までにスケジュール情報の入力を受付ける。なお、入力タイミングはこれに限られず、任意のタイミングでスケジュール情報を入力するように構成してもよい。また、スケジュール情報を入力せずにその他の情報のみから利用者の行動を決定するように構成してもよい。

図６は、入力されるスケジュール情報のデータ構造の一例を示す説明図である。図６に示すように、スケジュール情報としては、行動の開始日時と、行動の終了日時と、行動の名称と、実施される場所と、会議などのように参加者が存在する場合は、参加者を識別するＩＤのリストである参加者ＩＤリストとを対応づけた情報が入力される。なお、入力されたスケジュール情報は、図示しない記憶部に記憶され、後述する行動取得部１０５が利用者の行動を決定するときに参照される。

図１に戻り、操作受付部１０２は、利用者によるＰＣ２００上の操作内容を表す操作情報の入力を、通信部１２１を介してＰＣ２００から受付けるものである。操作受付部１０２は、例えば、ＰＣ２００で実行中のアプリケーション上で検出されたキーイベント等によって表される操作情報や当該アプリケーションで表示している資料に関する情報の入力を受付ける。また、操作受付部１０２は、例えば、ＰＣ２００に備えられた図示しないキーボード・マウスなどのヒューマンインタフェースデバイスによる操作内容を表す操作情報の入力を受付ける。

音声受付部１０３は、マイク１２２から入力された音声を電気信号（音声データ）に変換した後、音声データをＡ／Ｄ（アナログデジタル）変換し、ＰＣＭ（パルスコードモジュレーション）形式などによるデジタルデータに変換して出力するものである。これらの処理は、従来から用いられている音声信号のデジタル化処理と同様の方法によって実現することができる。

認識部１０４は、音声受付部１０３が出力した音声データを解析して音声認識結果を出力するものである。具体的には、認識部１０４は、音声データを解析して認識に必要な特徴量を抽出し、事前に学習した辞書を参照して音響的に最も類似する単語または単語系列を認識結果として出力する。また、認識部１０４は、認識結果に対応する音声の区間を利用者が発話した区間として検出して出力する。

なお、認識部１０４の音声認識処理では、隠れマルコフモデル、ニューラルネットワーク、ＤＰ（Dynamic Programming）マッチングなどの従来から用いられているあらゆる方法を利用することができる。

また、マイク１２２によって複数の利用者の音声が入力される場合があるため、認識部１０４は、従来から用いられている話者認識技術を用いて音声の話者を認識し、ＰＣ２００の利用者の発話のみを処理対象とするように構成してもよい。

行動取得部１０５は、スケジュール受付部１０１、操作受付部１０２、および音声受付部１０３から入力された各入力情報を元に、任意の時点で利用者個人の行動を決定するものである。具体的には、行動取得部１０５は、行動決定規則１３１ａを参照し、入力情報が規則の条件を満たす場合に、当該条件に対応する行動を取得して、利用者の行動として決定する。

上述のように、例えば図２の識別子＝Ｒｕｌｅ３の規則によれば、直近に３秒以上発話した場合に、利用者の行動は「発話中」であると決定される。このため、例えば認識部１０４が検出した発話区間の長さが３秒以上であった場合に、行動取得部１０５は、利用者の行動は「発話中」であると決定する。

受信部１０６は、他の利用者のコミュニケーション状況を管理するコミュニケーション状況管理装置１００ｂから、当該他の利用者の行動を表す行動情報を受信するものである。このとき、受信部１０６は、無線の信号レベルが所定の閾値以上である装置から行動情報を受信する。なお、同一のサブネット空間に存在する装置を対象として行動情報を受信するように構成してもよい。すなわち、物理的範囲および論理的範囲のいずれで限定しても構わない。また、予め登録した通信相手のみを対象とするように構成してもよい。

コミュニケーション状況取得部１０７は、行動取得部１０５により決定された利用者の行動情報、および受信部１０６により受信された他の利用者の行動情報を元に、利用者と他の利用者との間のコミュニケーション状況を決定するものである。具体的には、コミュニケーション状況取得部１０７は、コミュニケーション状況決定規則１３１ｂを参照し、決定された利用者の行動情報および受信された他の利用者の行動情報の少なくとも一方が規則の条件を満たす場合に、当該条件に対応する状況を取得して、コミュニケーション状況として決定する。

例えば、受信部１０６により他の利用者が資料ｘについて説明していることを表す行動情報が受信された場合、図３の識別子＝Ｒｕｌｅ１の規則の条件を満たすため、対応する「他の利用者により資料ｘについて説明されている」という状況が、コミュニケーション状況として決定される。

なお、コミュニケーション状況取得部１０７は、受信した他の利用者の行動情報を、自装置の利用者の行動情報に変換して行動情報記憶部１３２に記録する処理も行う。このとき、コミュニケーション状況取得部１０７は、受信した行動情報の能動表現を受動表現に、また受動表現を能動表現に変換することにより、他の利用者の行動情報を自身の行動情報として記録する。

例えば、他の利用者の行動情報が「発話する」である場合は、コミュニケーション状況取得部１０７は、行動情報を「説明される」に変換する。また、コミュニケーション状況取得部１０７は、「提示する」を「提示される」に変換する。変換する方法としては、変換前後の語句を対応づけたテーブルを参照する方法などあらゆる方法を適用できる。

追加部１０８は、決定されたコミュニケーション状況を参照し、行動情報記憶部１３２に行動情報を追加するものである。例えば、追加部１０８は、受動表現に変換した行動情報を行動情報記憶部１３２に追加する。また、追加部１０８は、既に「発話中」と記憶した行動情報が、ある会議における発話であることが判明した場合に、当該行動情報の会議名称欄等に対応する会議の名称等を追加する。

送信情報決定部１０９は、行動取得部１０５により決定された利用者の行動情報とともに送信する関連情報を決定するものである。関連情報とは、コミュニケーション時に参照された資料の資料ＩＤ、資料名、利用者を識別するための利用者ＩＤなどの利用者の行動に関連する情報をいう。

なお、利用者ＩＤは、予め装置内の記憶部（図示せず）に保存したものを利用するように構成してもよいし、装置起動時に利用者認証を行い、認証された利用者のＩＤを利用するように構成してもよい。また、認証時には、生体情報を用いた認証処理を実行するように構成してもよい。

送信情報決定部１０９は、まず、アクセスレベル決定規則１３１ｃを参照し、コミュニケーションの相手である他の利用者が満たす条件を探索し、満たす条件が存在する場合に、当該条件に対応するアクセスレベルを取得する。そして、送信情報決定部１０９は、取得したアクセスレベルに対応する関連情報を、送信する情報として決定する。

例えば、他の利用者が登録リストに含まれる場合は、図４の識別子＝Ｒｕｌｅ１の規則の条件を満たすため、送信情報決定部１０９は、アクセスレベルとして「無条件でアクセス可能」を取得する。この場合、例えば、資料ＩＤと資料名とをともに関連情報として送信することが決定される。なお、登録リストとは、無条件でアクセス可能とするユーザを事前に登録したリスト形式の情報をいう。

送信部１１０は、行動取得部１０５により決定された行動情報に、送信情報決定部１０９により決定された関連情報を対応づけて、コミュニケーションの相手である他の利用者が利用するコミュニケーション状況管理装置１００ｂに送信するものである。なお、送信部１１０は、受信部１０６と同様に、所定の範囲内に存在する装置に対して行動情報を送信する。

次に、このように構成された本実施の形態にかかるコミュニケーション状況管理装置１００によるコミュニケーション状況管理処理について図７を用いて説明する。図７は、本実施の形態におけるコミュニケーション状況管理処理の全体の流れを示すフローチャートである。

まず、装置の起動開始とともに、スケジュール受付部１０１が通信部１２１を介してＰＣ２００からスケジュール情報の入力を受付ける（ステップＳ７０１）。また、起動開始とともに、音声の入力および操作情報の入力も開始される。以下のステップＳ７０２からステップＳ７１２は、音声の入力または操作情報の入力が受付けられたときに繰り返し実行される処理ステップを表している。

ステップＳ７０２では、操作受付部１０２が通信部１２１を介してＰＣ２００から操作情報の入力を受付ける。または、音声受付部１０３がマイク１２２から入力された音声を受付ける（ステップＳ７０２）。音声入力が受付けられた場合は、認識部１０４が入力された音声を認識する（ステップＳ７０３）。

次に、行動取得部１０５が、行動決定規則１３１ａを参照し、入力されたスケジュール情報、操作情報、および音声認識結果が満たす条件に対応する行動情報を取得し、行動情報記憶部１３２に保存する（ステップＳ７０４）。

次に、受信部１０６が、他のコミュニケーション状況管理装置１００ｂから他の利用者の行動情報を受信したか否かを判断する（ステップＳ７０５）。受信した場合は（ステップＳ７０５：ＹＥＳ）、コミュニケーション状況取得部１０７は、コミュニケーション状況決定規則１３１ｂを参照し、利用者の行動情報と受信した行動情報とに対応する利用者のコミュニケーション状況を取得する（ステップＳ７０６）。

このとき、コミュニケーション状況取得部１０７は、受信した行動情報を自装置の利用者の行動情報に変換して行動情報記憶部１３２に保存する。なお、単に他の利用者が発話中であることを表す行動情報を受信し、対話相手が自装置の利用者であると決定できない場合のように、他の利用者の行動情報の変換および保存処理を行わない場合もある。

次に、送信情報決定部１０９が、アクセスレベル決定規則１３１ｃを参照して他の利用者のアクセスレベルを取得した後、当該アクセスレベルに従って他のコミュニケーション状況管理装置１００ｂに送信する関連情報を決定する（ステップＳ７０７）。

次に、送信部１１０が、決定された関連情報と、ステップＳ７０４で決定された利用者の行動情報とを対応づけて他のコミュニケーション状況管理装置１００ｂに送信する（ステップＳ７０８）。これにより、他のコミュニケーション状況管理装置１００ｂでは、コミュニケーション状況管理装置１００ａの利用者の行動情報を入力し、入力した行動情報を用いて他の利用者のコミュニケーション状況を判断可能となる。

次に、追加部１０８は、決定されたコミュニケーション状況を参照し、行動情報記憶部１３２を追加する（ステップＳ７０９）。例えば、図３のＲｕｌｅ２により、５分前から会議に参加していると決定された場合、追加部１０８は、Ｒｕｌｅ２の括弧内に記載された追加方法に従い、過去の対応する行動情報に会議名称、相手などを追記する。

行動情報を追加した後、またはステップＳ７０５で他のコミュニケーション状況管理装置１００ｂから他の利用者の行動情報を受信していないと判断された場合は（ステップＳ７０５：ＮＯ）、ステップＳ７０２に戻って処理が繰り返される。なお、同図には図示していないが、装置の終了指示などによってコミュニケーション状況管理処理が終了する。

このように、本実施の形態では、利用者それぞれに対応するコミュニケーション状況管理装置１００によって、当該利用者が当事者となるコミュニケーションの状況が認識され行動情報記憶部１３２内に行動情報の履歴として管理される。また、各装置で認識されたコミュニケーション状況に関する情報が相互に送受信され、自装置に対応するコミュニケーション状況の判断に利用される。これにより、１台の装置で多数の利用者のコミュニケーション状況を管理する場合に必要となる集中管理のための処理負担の増大を回避し、容易な構成でコミュニケーション状況を管理可能となる。

次に、本実施の形態によるコミュニケーション状況管理処理の具体例について図８および図９を用いて説明する。図８および図９は、行動情報記憶部１３２の内容の一例を示す説明図である。なお、以下では、会議に参加する複数利用者間のコミュニケーションの状況を認識して管理する場合を例に説明する。また、規則記憶部１３１には、図２〜図４のような各規則が記憶されていることを前提とする。

まず、利用者ＩＤがそれぞれ「suzuki」および「tanaka」である利用者Ａおよび利用者Ｂが参加している会議の開始直後に、利用者Ａが使用するコミュニケーション認識装置（以下、単に機器という）で管理されるコミュニケーション状況について説明する。

この時点では、利用者Ｂを含む他の会議参加者が使用する機器の存在を認識していないか、認識しても時間がほとんど経過していないため、同じ会議に参加しているのか通りかかっただけなのか判別ができない。これは、図３のＲｕｌｅ２の規則のように、所定時間（５分）経過しなければ会議に参加しているとみなされないからである。

このため、図８に例示するように、まだ判断のできない会議名称、場所、および相手などの会議情報は空欄のままで、利用者Ａが使用する機器単体で検出可能な利用者Ａ自身の発話や操作内容のみが行動情報記憶部１３２に記録される。

その後、しばらく会議を進めて所定の時間（５分）を経過すると、Ｒｕｌｅ２の条件が満たされ、利用者Ｂは会議参加者であると判断される。なお、Ｒｕｌｅ２には５分前から会議に参加していたと判断することが規定されている。このため、５分前まで行動情報の履歴を遡り、コミュニケーションの相手として「tanaka」を追記するとともに、会議名称や場所などの会議情報も記載される。なお、会議情報は、スケジュール受付部１０１が受け付けた図６に示すようなスケジュール情報を参照し、参加者として「tanaka」が登録されている会議に関する情報を取得する。

利用者Ｂが会話相手であることが特定された場合は、これまで送信していなかった利用者Ａの行動情報に開始日時および終了日時を対応づけて、特定した利用者Ｂに対して送信する。また、同様にして他の参加者である利用者Ｂから送信された行動情報を受信した場合は、コミュニケーション状況取得部１０７は、受信した行動情報を自身の行動情報として行動情報記憶部１３２に記録する。このとき、コミュニケーション状況取得部１０７は、受信した行動情報の能動表現および受動表現をそれぞれ受動表現および能動表現に変換することにより、他の利用者の行動情報を自身の行動情報として記録する。

なお、これまでの説明では、スケジュール情報に予め参加者が記載されている場合の対応付けについて述べたが、参加者がスケジュール情報に記載されていない場合や、スケジュールに記載されない会話・会議が行われる場合は、利用者が明示的に参加者を入力するように構成してもよい。また、会話や会議が行われているか否かを、音声発話の区間から判定するように構成してもよい。例えば、図３のＲｕｌｅ３は以下のように用いられる。

最初はコミュニケーション状況を送受信する機器の所有者が会話の相手であるかどうか分からないため、開始日時および終了日時を対応づけた「発話中」という行動情報だけを対象機器に送信する。同様に、他の機器からは、開始日時および終了日時を対応づけた「発話中」という行動情報だけを受信する。

コミュニケーション状況取得部１０７は、受信した行動情報に対応する時刻と、自身の発話の時刻とを比較することにより、一定時間の発話タイミングを計測する。そして、計測した発話タイミングが、会話における話者交代のタイミングであるとみなせる場合に、該当する他の機器の所有者を会話の相手であると判断する。

また、伝達する行動情報の詳細度は、送信情報決定部１０９で判定される。例えば、会議参加者として予定されていない利用者Ｃ（利用者ＩＤ＝「itoh」）が参加しているとする。この場合、図４のＲｕｌｅ３にしたがって、利用者Ｃには参照しているファイルを識別するための資料ＩＤ（例えば、「abc」）のみが送付される。利用者Ｃにとっては、ファイル名やファイルの実体についての情報を得ることができないが、後日、例えば「９月２２日に行われた打ち合わせで提示されたファイル」として検索したときに、資料ＩＤ＝「abc」のように資料を特定する情報を得ることが可能となる。

また、図４のＲｕｌｅ２では、提示したページのみアクセス可能である規則が記載されている。この規則は、１つの資料に参考情報として会議では直接使わない情報が含まれる場合を想定し、ファイルの全ページをアクセス可能とする場合と区別するための規則である。

このようなやりとりを繰り返すうちに、会議参加者それぞれの機器には、他の参加者、他の参加者の発話時刻、参照された資料、および資料内の参照ページなどが記録される。

次に、このようにして記録されたコミュニケーション状況を用いて他の利用者に問い合わせを行う場合の具体例について図１０および図１１を用いて説明する。

会議の終了後、利用者Ａ（利用者ＩＤ＝「suzuki」）が会議で使った資料について、例えば利用者Ｃ（利用者ＩＤ＝「itoh」）が利用者Ａに質問する場合を考える。この場合、本実施の形態によれば、コミュニケーションの相手や、「資料を提示された」というコミュニケーションの状況などを検索キーとして、関連する資料を特定する資料ＩＤなどの情報を検索することができる。これにより、資料ＩＤなどにより対象となる資料を明確に特定して質問することが可能となる。

図１０は、資料を検索する検索画面の一例を示す説明図である。図１０に示すように、本実施の形態では、会議等の場所、コミュニケーションの相手、コミュニケーションの状況、およびコミュニケーションが行われた日時などを検索キーとして資料を検索することができる。なお、検索キーはこれに限られるものではなく、会議名称、資料ＩＤなど、行動情報記憶部１３２に記憶されるその他の項目を検索キーとして指定するように構成してもよい。

同図では、利用者Ｃが、利用者Ａの利用者ＩＤ＝「suzuki」に対応する利用者名１００１と、「資料を提示された」に対応する状況１００２とを入力し、検索ボタン１００３を押下して検索した場合の検索結果の一例が示されている。これにより、利用者Ｃは、コミュニケーションで参照されたファイルを特定するＩＤ「abc」を取得し、取得したＩＤを用いて利用者Ａに問い合わせを行うことが可能となる。

図１１は、問い合わせを行うための問い合わせ画面の一例を示す説明図である。図１１は、電子メールを用いた問い合わせを行う問い合わせ画面の例を示している。同図では、ファイルのＩＤを「docid:」というプレフィックスの後に示すことで、ファイルへの参照であることを伝達可能としている。

なお、ＩＤは利用者にとって可読な形式であるとは限らない。問い合わせを受けた利用者（同図では利用者ＩＤ＝「suzuki]に対応する利用者Ａ」は、メール中のＩＤ＝「abc」からファイルの実体を参照し、直接ファイルを開くことができる。ファイルを開く方法としては、メールアプリケーションの上からＩＤに対してハイパーリンクで実体を参照するように構成してもよいし、ＩＤを別の検索ツールに入力することでファイルを検索するように構成してもよい。

このように、コミュニケーションの状況をキーとした検索と、資料を特定可能なＩＤによる問い合わせにより、利用者それぞれが把握している情報を手掛かりとして、話題とする情報を明確に特定してさらにコミュニケーションを行うことが可能となる。

なお、上述の例では、利用者の行動を決定するための情報として、スケジュール情報、ＰＣの操作情報、および音声を入力する例について説明したが、これ以外の情報によって利用者の行動を決定するように構成してもよい。例えば、カメラなどの撮像装置を用いて撮影した利用者の映像情報または画像情報、ＧＰＳ（Global Positioning System）によって取得された位置情報など、各種センサによる入力情報を利用者の行動を決定する情報として用いることができる。

このように、本実施の形態にかかるコミュニケーション状況管理装置では、操作内容や発話内容などから決定した利用者の行動、および他の装置から受信した他の利用者の行動から、他の利用者とのコミュニケーション状況を認識し、参照可能に管理することができる。このとき、利用者ごとのコミュニケーション状況を利用者間で受け渡すため、コミュニケーション状況を記録することが容易になる。すなわち、他の利用者とのコミュニケーション状況を容易に管理することが可能となる。

また、コミュニケーション状況を記録することにより、後から資料・情報検索の手掛かりとしてコミュニケーション状況を用いることで、より高度な検索を行うことができる。さらに、コミュニケーション状況を手掛かりとすることで、資料を提示された人が提示した人の資料の詳細を知ることなく、資料を特定して問い合わせ等を行うことが可能となる。

次に、本実施の形態にかかるコミュニケーション状況管理装置のハードウェア構成について図１２を用いて説明する。図１２は、本実施の形態にかかるコミュニケーション状況管理装置のハードウェア構成を示す説明図である。

本実施の形態にかかるコミュニケーション状況管理装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

本実施の形態にかかるコミュニケーション状況管理装置で実行されるコミュニケーション状況管理プログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

本実施の形態にかかるコミュニケーション状況管理装置で実行されるコミュニケーション状況管理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施の形態にかかるコミュニケーション状況管理装置で実行されるコミュニケーション状況管理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかるコミュニケーション状況管理装置で実行されるコミュニケーション状況管理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施の形態にかかるコミュニケーション状況管理装置で実行されるコミュニケーション状況管理プログラムは、上述した各部（スケジュール受付部、操作受付部、音声受付部、認識部、行動取得部、受信部、コミュニケーション状況取得部、追加部、送信情報決定部、送信部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１が上記ＲＯＭ５２からコミュニケーション状況管理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

以上のように、本発明にかかるコミュニケーションの状況を管理する装置、方法およびプログラムは、非定型の会議や打合せなどのコミュニケーションを対象として、コミュニケーションに関連する情報を検索可能に管理する装置、方法およびプログラムに適している。

本実施の形態にかかるコミュニケーション状況管理装置の構成を示すブロック図である。 行動決定規則の一例を示す説明図である。 コミュニケーション状況決定規則の一例を示す説明図である。 アクセスレベル決定規則の一例を示す説明図である。 行動情報記憶部に記憶される行動情報のデータ構造の一例を示す説明図である。 入力されるスケジュール情報のデータ構造の一例を示す説明図である。 コミュニケーション状況管理処理の全体の流れを示すフローチャートである。 行動情報記憶部の内容の一例を示す説明図である。 行動情報記憶部の内容の一例を示す説明図である。 検索画面の一例を示す説明図である。 問い合わせ画面の一例を示す説明図である。 本実施の形態にかかるコミュニケーション状況管理装置のハードウェア構成を示す説明図である。

符号の説明

５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 通信Ｉ／Ｆ
６１ バス
１００ コミュニケーション状況管理装置
１０１ スケジュール受付部
１０２ 操作受付部
１０３ 音声受付部
１０４ 認識部
１０５ 行動取得部
１０６ 受信部
１０７ コミュニケーション状況取得部
１０８ 追加部
１０９ 送信情報決定部
１１０ 送信部
１２１ 通信部
１２２ マイク
１３１ 規則記憶部
１３１ａ 行動決定規則
１３１ｂ コミュニケーション状況決定規則
１３１ｃ アクセスレベル決定規則
１３２ 行動情報記憶部
１００１ 利用者名
１００２ 状況
１００３ 検索ボタン

Claims (12)

1. 利用者の行動と他の利用者の行動との関係を表すコミュニケーション状況を管理するとともに、前記利用者が操作する操作端末と前記他の利用者の行動を管理する外部装置とに接続可能なコミュニケーション状況管理装置であって、
   前記操作端末に対する操作内容を表す操作情報と、前記利用者の行動を表す第１行動情報とを対応づけた行動決定規則を記憶する第１規則記憶部と、
   前記他の利用者の行動を表す第２行動情報と、前記コミュニケーション状況とを対応づけたコミュニケーション状況決定規則を記憶する第２規則記憶部と、
   前記第１行動情報を記憶可能な行動情報記憶部と、
   前記操作情報を受付ける操作受付部と、
   前記操作情報に対応する前記第１行動情報を前記第１規則記憶部から取得して前記行動情報記憶部に保存する行動取得部と、
   前記第２行動情報を前記外部装置から受信する受信部と、
   受信された前記第２行動情報に対応する前記コミュニケーション状況を前記第２規則記憶部から取得するコミュニケーション状況取得部と、
   取得された前記コミュニケーション状況を参照し、新たな第１行動情報を前記行動情報記憶部に追加する追加部と、
   を備えたことを特徴とするコミュニケーション状況管理装置。
2. 前記第２規則記憶部は、前記第１行動情報の追加方法をさらに対応づけたコミュニケーション状況決定規則を記憶し、
   前記追加部は、取得された前記コミュニケーション状況に対応する前記追加方法を前記第２規則記憶部から取得し、取得した前記追加方法によって前記第１行動情報を追加すること、
   を特徴とする請求項１に記載のコミュニケーション状況管理装置。
3. 前記利用者が発話した音声の入力を受付ける音声受付部をさらに備え、
   前記第１規則記憶部は、前記操作情報または前記音声の少なくとも一方と、前記第１行動情報とを対応づけた前記行動決定規則を記憶し、
   前記行動取得部は、入力された前記操作情報および入力された前記音声の少なくとも一方に対応する前記第１行動情報を前記第１規則記憶部から取得して前記行動情報記憶部に保存すること、
   を特徴とする請求項１に記載のコミュニケーション状況管理装置。
4. 入力された音声を解析して発話内容を認識する認識部をさらに備え、
   前記第１規則記憶部は、前記操作情報または前記発話内容の少なくとも一方と、前記第１行動情報とを対応づけた前記行動決定規則を記憶し、
   前記行動取得部は、入力された前記操作情報および認識された前記発話内容の少なくとも一方に対応する前記第１行動情報を前記第１規則記憶部から取得して前記行動情報記憶部に保存すること、
   を特徴とする請求項３に記載のコミュニケーション状況管理装置。
5. 入力された音声を解析して前記利用者の発話区間を認識する認識部をさらに備え、
   前記第１規則記憶部は、前記操作情報または前記発話区間の少なくとも一方と、前記第１行動情報とを対応づけた前記行動決定規則を記憶し、
   前記行動取得部は、入力された前記操作情報および認識された前記発話区間の少なくとも一方に対応する前記第１行動情報を前記第１規則記憶部から取得して前記行動情報記憶部に保存すること、
   を特徴とする請求項３に記載のコミュニケーション状況管理装置。
6. 前記利用者の行動予定を表すスケジュール情報の入力を受付けるスケジュール受付部をさらに備え、
   前記第１規則記憶部は、前記操作情報または前記スケジュール情報の少なくとも一方と、前記第１行動情報とを対応づけた前記行動決定規則を記憶し、
   前記行動取得部は、入力された前記操作情報および入力された前記スケジュール情報の少なくとも一方に対応する前記第１行動情報を前記第１規則記憶部から取得して前記行動情報記憶部に保存すること、
   を特徴とする請求項１に記載のコミュニケーション状況管理装置。
7. 取得された前記第１行動情報を前記外部装置に送信する送信部をさらに備えたこと、
   を特徴とする請求項１に記載のコミュニケーション状況管理装置。
8. 前記送信部は、取得された前記第１行動情報と、前記利用者が参照した文書に関する情報を含む前記行動の関連情報とを対応づけて前記外部装置に送信すること、
   を特徴とする請求項７に記載のコミュニケーション状況管理装置。
9. 予め定められた規則に基づいて、前記他の利用者に対して送信する前記関連情報を決定する送信情報決定部をさらに備え、
   前記送信部は、取得された前記第１行動情報と決定された前記関連情報とを対応づけて前記外部装置に送信すること、
   を特徴とする請求項８に記載のコミュニケーション状況管理装置。
10. 前記コミュニケーション状況取得部は、さらに、受信された前記第２行動情報に含まれる能動表現を受動表現に変換し、受信された前記第２行動情報に含まれる受動表現を能動表現に変換することにより、前記第２行動情報を前記利用者の行動とした表した前記第１行動情報を生成し、
    前記追加部は、さらに、生成された前記第１行動情報を前記行動情報記憶部に追加すること、
    を特徴とする請求項１に記載のコミュニケーション状況管理装置。
11. 利用者の行動と他の利用者の行動との関係を表すコミュニケーション状況を管理するとともに、前記利用者が操作する操作端末と前記他の利用者の行動を管理する外部装置とに接続可能なコミュニケーション状況管理装置におけるコミュニケーション状況管理方法であって、
    前記コミュニケーション状況管理装置は、
    前記操作端末に対する操作内容を表す操作情報と、前記利用者の行動を表す第１行動情報とを対応づけた行動決定規則を記憶する第１規則記憶部と、
    前記他の利用者の行動を表す第２行動情報と、前記コミュニケーション状況とを対応づけたコミュニケーション状況決定規則を記憶する第２規則記憶部と、
    前記第１行動情報を記憶可能な行動情報記憶部と、を備え、
    操作受付部が、前記操作情報を受付ける操作受付ステップと、
    行動取得部が、前記操作情報に対応する前記第１行動情報を前記第１規則記憶部から取得して前記行動情報記憶部に保存する行動取得ステップと、
    受信部が、前記第２行動情報を前記外部装置から受信する受信ステップと、
    コミュニケーション状況取得部が、受信された前記第２行動情報に対応する前記コミュニケーション状況を前記第２規則記憶部から取得するコミュニケーション状況取得ステップと、
    追加部が、取得された前記コミュニケーション状況を参照し、新たな第１行動情報を前記行動情報記憶部に追加する追加ステップと、
    を備えたことを特徴とするコミュニケーション状況管理方法。
12. 利用者の行動と他の利用者の行動との関係を表すコミュニケーション状況を管理するとともに、前記利用者が操作する操作端末と前記他の利用者の行動を管理する外部装置とに接続可能なコミュニケーション状況管理装置におけるコミュニケーション状況管理プログラムであって、
    前記コミュニケーション状況管理装置は、
    前記操作端末に対する操作内容を表す操作情報と、前記利用者の行動を表す第１行動情報とを対応づけた行動決定規則を記憶する第１規則記憶部と、
    前記他の利用者の行動を表す第２行動情報と、前記コミュニケーション状況とを対応づけたコミュニケーション状況決定規則を記憶する第２規則記憶部と、
    前記第１行動情報を記憶可能な行動情報記憶部と、を備え、
    前記操作情報を受付ける操作受付手順と、
    前記操作情報に対応する前記第１行動情報を前記第１規則記憶部から取得して前記行動情報記憶部に保存する行動取得手順と、
    前記第２行動情報を前記外部装置から受信する受信手順と、
    受信された前記第２行動情報に対応する前記コミュニケーション状況を前記第２規則記憶部から取得するコミュニケーション状況取得手順と、
    取得された前記コミュニケーション状況を参照し、新たな第１行動情報を前記行動情報記憶部に追加する追加手順と、
    をコンピュータに実行させるコミュニケーション状況管理プログラム。

Images