JPH1040068A - 会議情報記録方法および会議情報記録装置並びに会議情報再生装置 - Google Patents

Abstract

(57)【要約】 【課題】 正確な会議内容を再現するために、音声情報
を補完する情報を、できるだけ少ない情報量で、適切な
タイミングで自動的に記録する。 【解決手段】 共通の表示画面内容を見ながら複数人の
会議参加者が会議を行う場合の音声情報を記録すると共
に、この音声情報を補完するための、適宜のタイミング
の前記表示画面内容を含む画像情報と、必要に応じて前
記表示画面上における任意の会議参加者の指示操作の情
報とを合わせて記録する。会議参加者が指示語を発声し
たときに、当該指示語に対応する任意の会議参加者の表
示画面上の指示操作があるか否かを検出する。指示語に
対応する指示操作があったときに、その指示対象を含む
画像情報と、指示語に対応する指示操作の操作軌跡の情
報とを、指示語の発話部分に関連付けて記録する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、会議における音
声情報、画像情報さらには会議参加者の画面上の指示操
作情報を記録し、再生する方法および装置に関し、特
に、できるだけ少ない情報量で会議の主要部分の内容の
正確な再現が可能となる方法および装置に関わる。

【０００２】

【従来の技術】会議では、多くの情報が会話によって交
換される。会議情報のうち、テキストとしてホワイトボ
ードや議事録など文書化される情報は、わずかであり、
重要な発言が記録されない、正確に思い出せないなどの
問題点がある。

【０００３】この点から、会議の情報を記録する最も原
始的な方法は、すべての情報を記録する方法であり、こ
の種の会議記録手法の一例が、特開平６−３４３１４６
号公報に示されている。

【０００４】この特開平６−３４３１４６号公報の発明
では、会議を、マイクロホンからの音声情報、ビデオカ
メラからの画像情報、会議参加者の文字、図形入力の情
報などからなるマルチメディア情報によって記録するこ
とにより、会議情報をもれなく記録するようにしてい
る。そして、会議参加者の多様な入力情報の入力時刻を
インデックスとして、マルチメディア情報の対応を付け
て記憶しておき、再生時に、このインデックスによりマ
ルチメディア情報を、容易にアクセスできるようにして
いる。

【０００５】この特開平６−３４３１４６号公報の技術
によれば、会議の発言が記録されない、また容易にアク
セスできないという問題を解決することができる。しか
し、この公報のようなマルチメディア記録は、その記録
・保存にきわめて大量の記憶容量を必要とする。特に長
期にわたって、その記録を保存しようとした場合、この
莫大な記憶容量は問題である。画像圧縮に関しては、Ｊ
ＰＥＧ，ＭＰＥＧという汎用的な圧縮技術も存在する
が、それでも十分に情報量を減らすことはできない。す
なわち、会議記録にとって、できるだけ少ない情報量
で、会議の情報を正確に再現することが、重要な課題で
ある。

【０００６】会議の情報をすべて記録するのではなく、
内容を正確に再現するために必要な情報のみを記録する
という観点からすると、音声情報だけでも、かなり正確
な情報が得られる。従来、この音声のみの会議情報の記
録には、一般的には、テープレコーダが使用されてい
る。

【０００７】しかし、会議の発言の特徴として、会議資
料データのような視覚情報を参照しながら、発言してい
るケースが多い。このため、音声情報のみしか記録しな
いときには、何について話しているのかがわからず、発
言内容を正確に理解できないという問題が存在する。会
議の際に使用されたＯＨＰや配布資料を、会議情報の再
生時に参照できたとしても、そのどの部分と対応するの
かの対応関係を知る手段がない。

【０００８】そこで、より正確な再現のために、音声情
報を補完するための画像情報を取り込むことが、従来か
ら考えられている。

【０００９】特開平６−２７６４７８号公報の音声画像
記録表示装置では、音声を録音しながら、その補完情報
としてカメラで静止画像を記録するようにしている。そ
して、この公報においては、記録された音声と画像情報
は、画像の記録時間（タイムコード）によって、対応付
けて保持するようにしている。

【００１０】音声情報を補完するための画像情報を取り
込む場合、すべての画像を取り込むのではなく、必要な
画像のみを取り込むようにするほうがよいが、その場合
には、画像を取り込むタイミングと、撮影する対象の選
定が重要である。

【００１１】画像を取り込むタイミングに関して、どの
時点での画像に意味があるのかを、自動的に判別する方
法として、特開平６−１６５００９号には、撮影時に行
われるズーム、連写などのボタン操作の属性を利用し
て、画像に優先度を持たせる方法が提案されている。

【００１２】画像を取り込むタイミングとして音声認識
を利用することが考えられる。すなわち、例えば特開平
６−６８１６８号公報の発明は、会議情報の記録再生に
関する技術ではないが、映像情報のデータベースに対し
て、あらかじめ音響キーワードを登録しておき、音響キ
ーワードを音声認識により検出して、対応する映像情報
を検索／再生する装置が記載されている。そこで、この
公報の技術を会議記録に適用し、音声認識による音声キ
ーワードを利用して会議音声を補完する画像を取り込む
タイミングを決めるようにすることが考えられるもので
ある。

【００１３】撮影する対象の選定にかかわる技術として
は、会議の参加者が何に注目しているのかを検出する技
術が重要となってくる。特開平７−２００６３２号公報
には、視線の情報を利用して、参加者の注目する情報を
特定する技術が示されている。また、前述した特開平６
−３４３１４６号公報には、ペンのような入力装置から
のストローク情報を抽出して、会議参加者の指示情報を
記録するようにしている。この場合、この公報の発明で
は、ペンの動きが、意味のある指示情報であるかどうか
は、ユーザが意図的に指示したり、ペン自身がそのモー
ドの認識能力を持つようにすることなどを仮定してい
る。

【００１４】なお、記録対象を選定する際、会議では複
数の参加者が存在するため、誰の注目情報を記録すべき
かを選別することも重要である。特開平６−１３９０４
２号公報には、複数のポインティングデバイスの競合か
ら、適切なポインティングデバイスを選択する技術が示
されている。すなわち、この公報の発明では、対面会議
で複数の参加者が、おのおのポインティングデバイスを
操作できる環境を想定し、発言者のポインティングデバ
イスの動きを有意と捉えている。この場合、発言者は、
音圧感知装置により一定レベル以上の音圧が感知された
参加者として特定されるもので、その音圧感知装置と対
になっている参加者のポインティングデバイスに該当す
るカーソルを強調表示することで、選定されたポインテ
ィングデバイスが何かを示すようにしている。

【００１５】

【発明が解決しようとする課題】上述したように、会議
記録においては、できるだけ、少ない情報量で、会議の
内容を正確に再現できることが好ましく、その点では、
会議中の音声はすべて記録すると共に、この音声を補完
する画像情報を併せて記録する方式が望ましい。この場
合、音声情報を補完するための画像情報としては、必要
な情報のみを取り込むようにすることが重要であり、そ
のため、特に、その補完画像情報を取り込むタイミング
と、取り込む対象の特定が重要である。

【００１６】上述したように、そのための技術の提案
が、従来から、種々存在する。しかしながら、上述した
各公報の技術は、以下に説明するような問題点をそれぞ
れ有する。

【００１７】特開平６−２７６４７８号公報の技術は、
音声情報と画像情報の対応がとれないという問題を解決
するが、どの映像が、音声情報を補完するために重要で
あるのかは、利用者の判断に任せられている。さらに、
映像のどこにポイントがあるのかなども、利用者が、テ
キストや手書き画像によって自ら入力しなければなら
ず、手間がかかるという問題がある。

【００１８】また、特開平６−１６５００９号公報の技
術は、どの映像が重要かを撮影者が判断しなければなら
ない、という問題に対して、撮影時のボタン操作から自
動的に重要度を判定することにより、問題を解決してい
る。しかしながら、視覚情報への参照を含む発言のあい
まいさの問題が残る。特に、「これ」とか「その部分」
などの指示語を伴う発言の場合において、その指示語が
何を参照しているのか、音声情報だけではわからない、
という問題が顕著となる。

【００１９】この問題に対し、画像情報だけで補完しよ
うとした場合、無意図的に撮影した映像から、ズーム、
連写などのボタン属性だけで適切な重要度を判別するこ
とは難しい。したがって、特開平６−１６５００９号公
報の場合も、前記特開平６−２７６４７８号公報の技術
と同様に、画像の重要度などの判断は、撮影者に任せら
れることになる。

【００２０】特開平６−６８１６８号公報の音声認識に
よる音声キーワードを利用する技術を、会議音声を補完
するための重要な画像情報を取り込むための手段として
利用した場合には、前記特開平６−１６５００９号公報
および前記特開平６−２７６４７８号公報の技術におけ
る、撮影者が重要度を指定しなければならないという問
題点を改善できるが、この場合には、次のような問題が
ある。

【００２１】１つは、重要と思われるキーワードをあら
かじめ決めておくことが困難であるという点である。ま
た、たとえ決められたとしても、キーワードの発話と映
像の重要度が一致するとは限らず、不要な画像情報を無
駄に取り込んでしまうという問題もある。

【００２２】さらに、すでに記録されたデータベースに
対して、音響キーワードをつけるのに比べ、音響キーワ
ードを、画像情報を取り込むトリガとして使用した場
合、重要なキーワードが発話されたことは、その発話後
に認識されるために、この認識処理による遅れのための
時間的誤差が生じ、適切な映像との正確な対応づけの困
難性が発生してくるという問題がある。

【００２３】何を画像情報として記録すべきか、という
課題に対して、参加者が何に注目しているのかを特定す
ることが課題になるが、特開平７−２００６３２号公報
では、視線検出装置により、何に注目しているかを自動
抽出している。しかし、視線検出装置は、音声情報の補
完情報を取り込む手段としては、高価すぎる。

【００２４】これに対して、特開平６−３４３１４６号
公報では、比較的安価なペン状のポインティングデバイ
スが使われている。しかしながら、この公報の技術で
は、指示モードをユーザが意図的に指示する必要があ
り、ユーザの負担が大きい。また、認識の単位としてス
トローク（指示位置が所定の速度を持って、連続してい
る移動の単位をストロークと呼ぶ）情報を抽出している
が、注目情報の指示操作の単位として、必ずしも、１ス
トロークが適切とは言えない。むしろ、連続した一連の
ストロークから、意味のある指示操作単位を抽出する技
術が課題となる。

【００２５】また、前述したように、複数の参加者が存
在する会議では、その複数の会議参加者のうちの、いず
れの参加者の注目情報を、意味のある情報として記録す
べきかを特定することも重要であり、この課題を解決す
る手段として、前述したように、特開平６−１３９０４
２号公報の技術があるが、ここでは、ポインティングデ
バイスの動きが有意であるかの判断を、発言者の音圧の
みで行っている。

【００２６】しかしながら、音声情報の補完という目的
から考えると、発言の間中、発言者のポインティングデ
バイスの動きを記録し続けることは、無駄な情報量を増
やすことにつながるという問題がある。実際の対面型会
議であれば、カーソルの動きに意味があるのかどうか
は、発言者の顔の表情などの情報からも推測できるが、
再現された画像情報だけから判断することは困難であ
り、中途半端に過剰な情報は、かえって参照する人を混
乱させる可能性がある。

【００２７】また、実際の会議では、参加者のすべて
が、各個に必ずポインティングデバイスを持って発言す
るとは限らず、司会者、あるいは黒板の近くにいる人
が、発言に対して注目情報のポインティングを補助する
という場合もあり、特開平６−１３９０４２号公報の技
術では、このような状況に対応できない。

【００２８】以上の問題に鑑み、この発明では、会議の
情報を、できるだけ少ない情報量で、正確に再現するこ
とができる会議情報記録方法および記録、再生装置にお
いて、音声情報の記録とともに、音声情報を補完するた
めに適切な参加者の注目情報を、できるだけ人間の手間
をかけずに、適切なタイミングで自動的に記録すること
ができる方法および装置を提供することを目的とする。

【００２９】また、この発明は、上記のようにして記録
し、その記録した情報の再生を効果的に行うことができ
る会議情報再生装置を提供することを目的とする。

【００３０】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に記載の発明による会議情報記録方法は、
共通の表示画面内容を見ながら複数人の会議参加者が会
議を行う場合の音声情報を記録すると共に、この音声情
報を補完するための、適宜のタイミングの前記表示画面
内容を含む画像情報と、必要に応じて前記表示画面上に
おける任意の会議参加者の指示操作の情報とを合わせて
記録する方法において、会議参加者が指示語を発話した
ときに、当該指示語に対応する任意の会議参加者の前記
表示画面上の指示操作があるか否かを検出し、前記指示
語に対応する指示操作があったときに、少なくとも、そ
の指示対象を含む画像情報を、前記音声情報の指示語の
発話部分に関連付けて記録するようにしたことを特徴と
する。

【００３１】請求項２に発明においては、上記の請求項
１に記載の会議情報記録方法において、前記指示語に対
応する指示操作があったときに、その指示対象を含む画
像情報に加えて、前記指示語に対応する指示操作の操作
軌跡の情報を、前記指示語の発話部分の音声情報に関連
付けて記録することを特徴とする。

【００３２】また、請求項３の発明による会議情報記録
装置は、会議に寄与する画像情報を表示するための表示
装置と、会議参加者が、前記表示装置の画面上で、任意
の位置を指示するための指示操作手段と、前記指示操作
手段で指示された画面上の位置を認識する位置認識手段
と、前記会議中の音声情報入力を受けるための音声情報
入力手段と、前記音声情報入力手段からの音声情報か
ら、指示語の音声情報を検知する指示語検出手段と、前
記指示語検出手段で検出された指示語に対応する前記指
示操作手段による指示操作を検出する指示操作検出手段
と、前記音声情報入力手段からの会議中の音声を記録す
ると共に、前記指示操作検出手段で前記指示語に対応す
る前記指示操作手段による指示操作が検出されたとき
に、少なくともに、その検出された指示操作の指示対象
を含む画像情報を、前記指示語検出手段で検出された前
記指示語の発話部分の音声情報に関連付けて記録する記
録手段とを具備することを特徴とする。

【００３３】また、請求項４の発明による会議情報記録
装置は、請求項３の会議情報記録装置において、前記記
録手段は、前記指示対象検出手段で検出された指示対象
を含む画像情報に加えて、前記位置認識手段からの位置
情報を用いた前記指示操作手段の指示操作軌跡の情報
を、前記指示語検出手段で検出された前記指示語の発話
部分の音声情報に関連付けて記録することを特徴とす
る。

【００３４】請求項５の発明による会議情報記録装置
は、前記指示操作手段が、複数人の会議参加者に対応し
て複数個設けられる請求項１に記載の会議情報記録装置
において、前記指示対象検出手段は、会議参加者の属性
により、各会議参加者の優先度を判定する参加者属性判
定手段と、前記指示操作手段による表示画面上の指示座
標位置の変動量が、定められた有意な移動量条件を満足
するかどうかにより、その指示操作が有意か否かを判定
する指示操作有意性判定手段と、前記複数個の指示操作
手段による表示画面上の指示座標位置の変動量を比較す
ることにより、前記指示操作手段の優位性を判定する指
示操作手段優位性判定手段とを具備し、前記参加者属性
判定手段の判定結果と、前記指示操作手段優位性判定手
段と、前記指示操作有意性判定手段との判定結果に基づ
いて、前記指示語に対応する前記指示操作手段による指
示操作を検出することを特徴とする。

【００３５】請求項６の発明は、請求項４に記載の会議
情報記録装置において、前記指示操作検出手段が、各指
示操作手段毎に、予め定められた一定時間分の指示操作
位置の座標データを記録する指示履歴記録手段を備え、
前記指示操作検出手段は、前記指示履歴記録手段の座標
データを用いて、前記指示語が検出時点の、前記指示語
の発話時刻に対する時間遅れを補正して、指示操作の開
始時点を検出することを特徴とする。

【００３６】請求項７の発明の会議情報記録装置は、前
記指示操作検出手段が、前記指示操作手段による指示座
標位置の変動量の大きさにより、前記指示操作手段によ
る指示操作の終了を判定する終了位置判定手段と、指示
操作の開始時点とされる時点からの経過時間を監視する
ことにより、前記指示操作手段による指示操作の終了を
判定する終了時間判定手段と、次の指示語の検出を知ら
せる通知手段とを備え、前記終了位置判定手段と、前記
終了時間判定手段と、前記通知手段とに基づいて、前記
指示操作手段による指示操作の終了点を検出することを
特徴とする。

【００３７】請求項８の発明による会議情報記録再生装
置は、会議に寄与する画像情報を表示するための表示装
置と、会議参加者が、前記表示装置の画面上で、任意の
位置を指示するための指示操作手段と、前記指示操作手
段で指示された画面上の位置を認識する位置認識手段
と、前記会議参加者の発言の音声情報入力を受けるため
の音声情報入力手段と、前記音声情報入力手段からの音
声情報から、指示語の音声情報を検知する指示語検出手
段と、前記指示語検出手段で検出された指示語に対応す
る前記指示操作手段による指示操作を検出する指示操作
検出手段と、前記音声情報入力手段からの会議中の音声
を記録すると共に、前記指示操作検出手段で前記指示語
に対応する前記指示操作手段による指示操作が検出され
たときに、少なくともに、その指示対象を含む画像情報
を、前記指示語検出手段で検出された前記指示語の発話
部分の音声情報に関連付けて記録する記録手段と、前記
記録された音声情報を再生する音声再生手段と、前記音
声情報の再生時に、前記指示語の発話時点において、前
記指示語に対応する画像情報を表示する画像情報表示手
段とを備えることを特徴とする。

【００３８】請求項９の発明の会議情報記録再生装置
は、請求項８に記載の会議情報記録再生装置において、
前記記録手段は、前記指示対象検出手段で検出された指
示対象を含む画像情報に加えて、前記位置認識手段から
の位置情報を用いた前記指示操作手段の指示操作軌跡の
情報を、前記指示語検出手段で検出された前記指示語の
発話部分の音声情報に関連付けて記録するものであり、
この指示操作軌跡の情報により、前記音声情報の順次再
生時に、前記指示語の発話時点において表示される前記
指示語に対応する画像情報に重ねて、前記指示操作手段
の指示操作軌跡を表示して、前記指示語に対応する指示
対象を特定することを特徴とする。

【００３９】請求項１０の発明の会議情報再生装置は、
会議中の音声情報と、この音声情報を補完する情報とし
て、会議参加者が指示語を発話したときに、当該指示語
に対応する任意の会議参加者の前記表示画面上の指示操
作があった場合に、その指示対象を含む画像情報と、前
記指示語に対応する前記指示操作の軌跡の情報とが、前
記指示語の発話時点の時刻をリンク情報として、前記音
声情報に関連付けて記録された会議情報の再生装置であ
って、前記画像情報および前記指示操作の操作軌跡を表
示するための表示装置と、前記表示装置の画面に、前記
音声情報の再生位置の変化を、現在再生位置に対応する
画面表示に対して表示するようにする第１の表示制御手
段と、前記リンク情報を参照して、前記現在再生位置よ
りも未来の再生位置の指示語の発話およびそれに関連す
る画像情報の存在を予見させる表示を、前記再生位置の
変化表示に関連させて行うようにする第２の表示制御手
段とを備えることを特徴とする。

【００４０】請求項１１の発明の会議情報再生装置は、
会議中の音声情報と、この音声情報を補完する情報とし
て、会議参加者が指示語を発話したときに、当該指示語
に対応する任意の会議参加者の前記表示画面上の指示操
作があった場合に、その指示対象を含む画像情報と、前
記指示語に対応する前記指示操作の軌跡の情報とが、前
記指示語の発話時点の時刻をリンク情報として、前記音
声情報に関連付けて記録された会議情報の再生装置であ
って、前記画像情報および前記指示操作の操作軌跡を表
示するための表示装置と、前記リンク情報に基づいて定
められる前記指示語に対応する指示操作の開始時点か
ら、予め定められた一定時間前の時点を算出する手段
と、当該一定時間前の時点から、対応する画像情報を前
記表示装置の画面に表示すると共に、前記定められた一
定時間の間、前記表示手段の画面上において、前記指示
操作の開始点に視覚的注目情報表示を行う手段とを備
え、指示対象物に関して予見可能としたことを特徴とす
る。

【００４１】請求項１２の発明の会議情報再生装置は、
会議中の音声情報と、この音声情報を補完する情報とし
て、会議参加者が指示語を発話したときに、当該指示語
に対応する任意の会議参加者の前記表示画面上の指示操
作があった場合に、その指示対象を含む画像情報と、前
記指示語に対応する前記指示操作の軌跡の情報とが、前
記指示語の発話時点の時刻をリンク情報として、前記音
声情報に関連付けて記録された会議情報の再生装置であ
って、前記画像情報および前記指示操作の操作軌跡を表
示するための表示装置と、前記記録された音声情報を再
生する音声再生手段と、前記音声情報の再生時に、前記
指示語の発話時点において、前記指示語に対応する画像
情報を前記表示装置の画面に表示する画像表示制御手段
と、前記画像表示制御手段により前記指示語の発話時点
において表示される前記指示語に対応する画像情報に重
ねて、前記指示操作の軌跡の情報により、対応する前記
指示操作を視覚的に再現する指示操作再現手段と、前記
再現された指示操作の終了時点から、定められた一定時
間経過後の時刻を特定する手段と、前記定められた一定
時間の間、指示操作の軌跡の残像情報を表示する手段
と、前記指示操作の終了点に視覚的注目情報表示を行う
手段と、前記一定時間の経過後に、前記注目情報の表示
を消去する手段とを備えることを特徴とする。

【００４２】

【作用】請求項１の発明の会議情報記録装置では、会議
参加者の発言の音声入力情報から、例えば「この」「そ
の」などの指示語の発話を認識し検出する。そして、こ
の指示語の発話を検出すると、当該指示語に対応する任
意の会議参加者の前記表示画面上の指示操作があるか否
かを検出する。発言者のみの指示操作ではなく、任意の
会議参加者とするのは、指示操作をする者が、発言者で
はなく、司会者等である場合を考慮する必要があるため
である。

【００４３】指示語に対応する指示操作があったときに
は、その指示操作の指示対象を含む画像情報が、当該指
示語の発話部分と関連付けて記録される。例えば画像情
報が、会議内容をビデオカメラで撮像した画像情報であ
れば、指示操作もその画像情報中に含まれる場合もあ
る。

【００４４】こうして、請求項１の発明によれば、指示
語が会議参加者から発話されたときの、当該指示語の指
示対象を含む画像情報が、音声情報を補完する画像情報
として、自動的に記録される。この場合、表示画面に表
示されていないものを指示する指示語が会議参加者から
発話されたときには、当該指示語に対応する指示操作は
存在しないので、不要な画像情報が記録されることはな
い。したがって、最小限の情報量で、会議内容をほぼ正
確に再現できる情報の記録が可能になる。

【００４５】記録する画像情報が、表示画面に表示され
ていた表示内容である時には、指示操作が画像情報に含
まれない場合もあるが、請求項２の発明においては、指
示語に対応する指示操作の操作軌跡の情報が、前記指示
語の発話部分に関連付けられて、前記画像情報と共に記
録される。したがって、この指示操作の軌跡情報を再生
時に用いて指示操作を再現することで、再生時に、画像
情報中の指示語の指示対象を特定することが可能にな
る。

【００４６】また、この請求項２のように、指示語に対
応する指示操作の操作軌跡の情報が、記録されている場
合には、画像情報としては、指示対象が含まれる最小限
の画像、例えば１枚の静止画の情報を記録しておけばよ
い。この静止画の表示画像上で、指示操作の操作軌跡の
情報を用いて、当該指示操作が再現でき、指示対象が特
定されるからである。

【００４７】請求項３の発明の会議情報記録装置におい
ては、上述の請求項１の発明の会議情報記録方法と同様
の作用効果が得られる。同様に、請求項４の発明の会議
情報記録装置においては、上述の請求項２の発明の会議
情報記録方法と同様の作用効果が得られる。

【００４８】請求項５の発明の会議情報記録装置におい
ては、複数人の会議参加者のそれぞれが指示操作手段を
有しており、指示語が発話されたときに、誰が当該指示
語に対応する指示操作をしたかの競合を検出できる。

【００４９】請求項６の発明の会議情報記録装置におい
ては、常に現在時刻よりも一定時間前までの指示操作手
段の指示操作位置の座標データが記録されているので、
指示語が検出されたときに、その検出までの遅れにより
指示操作の開始点が過ぎてしまっても、その遅れ分の時
間だけさかのぼって指示操作の開始点から指示操作位置
の座標データを得ることができる。したがって、指示操
作を正確に再現することが可能となる。

【００５０】請求項７の発明の会議情報記録装置におい
ては、主としてポインティングデバイスの位置座標の変
動量の大きさにより、指示操作の終了を判定するが、そ
の判定ができなかった場合を考慮している。

【００５１】すなわち、指示操作開始時点からの経過時
間を監視して、この経過時間をもとにして指示操作の終
了を判定する。例えば、前記経過時間について、予め、
指示操作を記録するための最短時間および最長時間を定
め、最短時間以上、指示操作を記録することを保証し、
かつ最長時間を経過すると、指示操作は終了したと判定
する。また、次の指示語の検出を知らせる通知手段によ
り、次の指示語検出されたことが検知されたときには、
処理中の指示操作を終了と判定する。以上の終了位置判
定と、終了時間判定と、通知手段からの通知の組み合わ
せにより、認識可能な指示操作軌跡の再現を確保しつ
つ、適切な指示操作の終了条件の判定を行う。

【００５２】また、請求項８の発明の会議情報記録再生
装置においては、会議中の音声情報が順次に記録される
と共に、請求項２の会議情報記録装置で記録する場合と
同様にして、指示語の発話が検知されたときに、その指
示語に対応する指示操作の存在が検知されると、その指
示操作の指示対象を含む画像情報が、音声情報の前記指
示語の発話部分と対応付けられて記録される。

【００５３】そして、再生に当たっては、音声再生手段
により会議中の音声情報が順次に再生されると共に、指
示語の発話時点になり、対応する画像情報が記録されて
いる場合には、その画像情報が自動的に画像情報表示制
御手段により表示される。この画像情報がカメラによる
撮像情報であれば、そのときの指示操作が画像情報に含
まれており、指示語の表示画面上での指示対象が特定さ
れ、会議内容を正確に把握するために役立つ。

【００５４】請求項９の発明では、前記請求項８の会議
情報記録再生装置において、前記指示対象検出手段で検
出された指示対象を含む画像情報に加えて、前記位置認
識手段からの位置情報を用いた前記指示操作手段の指示
操作軌跡の情報が、前記指示語検出手段で検出された前
記指示語の発話部分の音声情報に関連付けて記録されて
いる。したがって、再生時、指示語の発話部分になる
と、関連する画像情報が表示されると共に、その画像情
報に重ねて、前記指示操作手段の指示操作軌跡が自動的
に表示され、指示語に対応する指示対象が特定される。

【００５５】指示操作軌跡の情報が記録されているの
で、画像情報としては、例えば１枚の静止画であって
も、その静止画上に、その操作軌跡情報に基づいた指示
操作が表示される。したがって、画像情報として、指示
操作の開始から終了までを含む複数フレームをカメラ等
で撮影して記録しておく必要はない。

【００５６】また、請求項１０の発明の会議情報再生装
置においては、音声情報が順次に再生されるときに、画
面上に、その再生位置の変化が、例えば現在再生位置を
基準として表示される。このとき、現在再生位置よりも
未来の再生位置も表示され、その未来の再生位置の時点
に存在する指示語の発話、それ対応する画像情報および
指示操作が存在する予見情報が画像表示される。したが
って、再生時に、指示操作を伴う指示語の発話が行われ
た時点を、音声情報の再生をしながら、表示画面で予見
することができる。

【００５７】また、請求項１１の発明の会議情報再生装
置においては、音声情報が順次に再生されるときに、画
面上に、指示語の発話に対応する指示操作による指示対
象を指示語の発話が再生される前に画像表示によりある
程度認識することができるようになる。

【００５８】すなわち、例えば指示操作手段の指示操作
開始時刻から、定められた一定時間前の時刻を算出し、
該当時刻を検知すると、該当時刻に指示語に対応する画
像情報を表示し、定められた一定時間の間、指示操作の
開始点に視覚的注目情報表示を行うようにする。これに
より、ユーザは、前記指示語があることを予知すること
ができると共に、ユーザは、予知された指示語の指示対
象が、例えば表示画面の内のどの部分であるかを予見す
ることができる。

【００５９】また、請求項１２の発明の会議情報記録再
生装置においては、指示操作手段の指示操作終了時刻か
ら、定められた一定時間経過後の時刻を検知すると、定
められた一定時間の間、指示操作の軌跡の残像情報を表
示し、指示操作の終了点に視覚的注目情報表示を行い、
一定時間経過後に、注目情報の表示を消去する。

【００６０】したがって、指示操作が実際の時間では終
了してしまっても、所定の時間の間は、指示操作の軌跡
の残像情報の表示と、指示操作の終了点の視覚的注目情
報表示により、どの位置が指示操作されたが分からなく
なることはない。

【００６１】

【発明の実施の形態】以下、図を参照しながら、この発
明による会議情報記録ないし再生装置の実施の形態を説
明する。

【００６２】図２は、この発明による会議情報記録再生
装置の一実施の形態が適用された電子会議室における対
面型会議の概念図である。

【００６３】図２において、１はパーソナルコンピュー
タ、２は大画面ディスプレイ装置である。パーソナルコ
ンピュータ１は、会議で使用されるデータや文書などの
会議資料の画像情報を、当該会議資料を格納している格
納部から読み出して、大画面ディスプレイ装置２に提供
する。大画面ディスプレイ装置２のスクリーン２Ｄに
は、このパーソナルコンピュータ１から提供された会議
資料の画像が投影されて、表示される。

【００６４】会議参加者１０，１１，１２，１３，１４
は、大画面ディスプレイ装置２のスクリーン２Ｄに投影
された画像情報を通じて、プレゼンテーションやディス
カッションを行う。図２の例の場合、会議参加者１０は
司会者である。その他の会議参加者１１〜１４は一般の
参加者である。なお、この実施の形態では、会議参加者
は５人であるが、参加者の数は任意である。また、司会
者の存在も任意である。

【００６５】２０，２１，２２，２３，２４は指示操作
手段の例としてのポインティングデバイスであり、各参
加者１０，１１，１２，１３，１４毎に１つづつ割り当
てられている。参加者１０〜１４は、大画面ディスプレ
イ装置２のスクリーン２Ｄに表示されたグラフや文書
を、ポインティングデバイス２０，２１，２２，２３，
２４で指し示しながら議論を行う。

【００６６】ポインティングデバイス２０，２１，２
２，２３，２４は、大画面ディスプレイ装置２のスクリ
ーン２Ｄ上の任意の位置を指し示すために使用される。
ポインティングデバイス２０は、大画面ディスプレイ装
置２の近傍に設置され、司会者用のポインティングデバ
イスとして使用される。これは、主に司会者１０が使用
するか、または、他の参加者が大画面ディスプレイ装置
２の近くに来て使用する場合もある。ポインティングデ
バイス２１〜２４は、一般の参加者用のものである。会
議参加者２１〜２４は、各自の席から、これを用い、遠
隔操作によってディスプレイ上の任意の位置を指し示す
ことができる。

【００６７】すなわち、この例のポインティングデバイ
ス２０〜２４は、遠隔操作可能なペン状のデバイスで、
赤外線発光手段を備え、赤外線ビームにより、大画面デ
ィスプレイ装置２のスクリーン２Ｄ上の任意の位置を指
示できる。ポインティングデバイス２０〜２４は、それ
自身の移動量を検知できる構成とされており、その移動
量のデータを、それぞれのＩＤデータ（識別データ）を
伴って、パーソナルコンピュータ１に入力するようにし
ている。

【００６８】参加者が、それぞれのポインティングデバ
イスを取り上げて操作すると、パーソナルコンピュータ
１は、その取り上げられて動いたポインティングデバイ
スについて、有意な運動量を検知し、当該ポインティン
グデバイスが取り上げられたことを検知する。ポインテ
ィングデバイスからのデータには、識別データＩＤが付
与されているので、どのポインティングデバイスが参加
者により取り上げられたをパーソナルコンピュータ１は
検知する。

【００６９】前述したように、各参加者には、それぞれ
一つづつのポインティングデバイスがあらかじめ割り当
てられているので、これにより、誰が、ポインティング
デバイスを取り上げて操作しているかをパーソナルコン
ピュータ１は、検知することになる。

【００７０】なお、ポインティングデバイス２０は、大
画面ディスプレイ装置２のスクリーン２Ｄの近傍に置か
れていることが、あらかじめパーソナルコンピュータ１
に登録されており、このポインティングデバイス２０の
操作者は、通常、司会者であると認識される。

【００７１】大画面ディスプレイ装置２のスクリーン２
Ｄ上では、赤外線のスポット軌跡として、ポインティン
グデバイスの操作軌跡が描かれる。大画面ディスプレイ
装置２は、そのスクリーン２Ｄ上の赤外線スポットの位
置を、当該スクリーン２Ｄ上の位置座標として検知する
ためのセンサやカメラを備え、当該スクリーン２Ｄ上の
位置座標データを、パーソナルコンピュータ１に供給す
るように構成されている。パーソナルコンピュータ１
は、このスクリーン２Ｄ上の位置座標を、自己のディス
プレイ画面上の位置座標に変換して、ポインティングデ
バイスの指示操作位置データとする。

【００７２】なお、この実施の形態では、２次元の大画
面ディスプレイ装置２のスクリーン２Ｄ上での位置を認
識する指示操作検出に関して述べるが、これにとどまる
ものではなく、３次元空間の任意の位置を認識するポイ
ンティングデバイスと、ポインティングデバイスの向き
に連動する指向性のあるカメラとの組み合わせによるも
のでもよい。

【００７３】３０，３１，３２，３３，３４は、会議に
おける参加者の発言や、その他の音声を収音するための
マイクロフォンである。このマイクロホン３０〜３４
は、各参加者毎に対応付けられて、１つづつ割り当てら
れている。マイクロホン３０は、大画面ディスプレイ２
の位置に設置されており、司会者用の音声入力装置であ
る。マイクロホン３１〜３４は一般の会議参加者用の音
声入力装置である。

【００７４】各マイクロホン３０〜３４と、会議参加者
１０〜１４との対応は予めパーソナルコンピュータ１に
登録されて記録されている。これにより、ポインティン
グデバイスと各会議参加者との対応も規定されるもので
ある。

【００７５】図１は、この実施の形態の会議情報記録再
生装置の記録系のシステム構成図を示すものである。こ
れは、主として、各部の処理機能をブロック化した機能
ブロック図の構成である。

【００７６】図１において、５１は表示画像提供部で、
これは、前述したように、この実施の形態では、パーソ
ナルコンピュータ１が備える機能である。この表示画像
提供部５１からは、大画面ディスプレイ装置２のスクリ
ーン２Ｄに投影表示する画像データＶｄが、例えばフレ
ーム単位で出力される。

【００７７】５２はポインティングデバイス群であり、
前述したように、複数人の参加者のそれぞれに割り当て
られた複数個のポインティングデバイス２０〜２４から
なる。各ポインティングデバイス２０〜２４からは、そ
れが操作者により操作されたときに、その相対的な移動
量のデータＰｍ０〜Ｐｍ４が出力され、パーソナルコン
ピュータ１に供給される。

【００７８】また、ポインティングデバイス２０〜２４
は赤外線ビームを発生し、前述したように、そのビーム
スポットによりスクリーン２Ｄ上を走査して、スクリー
ン２Ｄ上の表示文字や表示図形、記号などの指示操作を
する。

【００７９】指示座標発生部５３は、前述したように、
大画面ディスプレイ装置２が有する機能であって、スク
リーン２Ｄ上の赤外線ビームスポットの位置を、カメラ
やセンサで検知し、その指示座標出力データＣｏをパー
ソナルコンピュータ１に供給するものである。この場
合、画面上に複数個のビームスポットが存在する場合に
は、その複数のビームスポットのそれぞれについての座
標出力データがパーソナルコンピュータ１に供給され
る。

【００８０】５４は音声入力装置部で、前述したよう
に、複数人の参加者のそれぞれに割り当てられた複数個
のマイクロホン３０〜３４からなり、その各々の出力音
声信号をパーソナルコンピュータ１に供給するものであ
る。

【００８１】記録制御装置部６０は、参加者の音声入力
情報から指示語を検出し、指示語が検出されたときに、
それに対応する参加者の指示操作およびその指示操作に
よる指示対象を特定し、指示語に対応する指示操作が検
出されたときに、当該指示語の発話時の音声情報および
画像情報を、参加者の指示操作と共に、この例では、指
示語の発話時刻をリンク情報として対応付けて、ファイ
ルに格納するための処理を実施する装置部分である。

【００８２】この実施の形態では、記録制御部６０は、
パーソナルコンピュータ１により実現される機能部分で
ある。図１の記録制御部６０の各部は、その処理制御機
能をブロックとして示したもので、実際的には、各ブロ
ックは、ソフトウエアにより実現されるものである。

【００８３】この実施の形態においては、記録制御部６
０は、指示語検出部６１と、指示語検出通知部６２と、
指示対象検出部６３と、画像取込部６４と、タイマ６５
と、ファイル格納部６６と、ポインティングデバイスの
指示履歴記録部６７と、Ａ／Ｄ変換部６８と、音声信号
混合部６９とを備える。

【００８４】Ａ／Ｄ変換部６８は、音声入力装置部５４
の各マイクロホン３０〜３４からのそれぞれのアナログ
音声信号をデジタル音声信号に変換し、変換後のデジタ
ル音声信号を指示語検出部６１に供給すると共に、音声
信号混合部６９に供給する。音声信号混合部６９は、マ
イクロホン３０〜３４からの音声信号をデジタル信号に
変換したデジタル音声データを混合し、ファイル格納部
６６に供給する。

【００８５】指示語検出部６１は、Ａ／Ｄ変換部６８か
ら入力された、参加者毎の音声データを分析し、参加者
毎に、指示語の発話の認識を行う。指示語の検出処理動
作の詳細例については後述する。指示語検出部６１は、
いずれかの参加者が指示語を発話したときに、その検出
出力を指示語検出通知部６２に出力する。

【００８６】指示語検出通知部６２は、指示語検出部６
１の出力を監視し、指示語の検出出力が現れた時に、指
示語が検出されたことを、指示対象検出部６３と、画像
取込装置６４と、タイマ６５に通知する。

【００８７】指示対象検出部６３は、指示座標発生部５
３からのポインティングデバイスの指示座標データと、
後述する指示履歴記録部６７からのデータとを、その入
力データとして受けて、指示語が発せられたときに、当
該指示語の指示対象を検出するものである。具体的に
は、指示対象検出部６３は、指示語の検出時に操作され
ているポインティングデバイスを検出すると共に、指示
語の検出時に表示されている画面の画像情報上の指示操
作の軌跡を検出することによって、指示対象を検出す
る。

【００８８】この例では、指示対象検出部６３は、ポイ
ンティングデバイス選択部６３ａと、指示操作開始補正
部６３ｂと、指示操作記録部６３ｃと、指示操作終了判
定部６３ｄとを備える。

【００８９】指示対象検出部６３の詳細な処理動作につ
いては、詳しくは後述するが、概要を述べると、指示対
象検出部６３は、指示語検出通知装置６２からの通知に
よって、指示語の検出を検知したときに、ポインティン
グデバイス選択部６３ａによって、後述するようにし
て、複数の参加者の各々が持つ複数個のポインティング
デバイス２０〜２４の中から、指示語の指示操作として
適切なポインティングデバイスを選択する。

【００９０】指示語の指示対象を指示する指示操作が表
示画面において有った時には、データ格納要求を意味す
るデータ格納タイミング信号ＴＭをファイル格納部６６
に出力する。一方、指示語の指示対象が表示画面にな
く、このため指示語に対応する指示操作がない場合に
は、ファイル格納部６６に対するデータ格納タイミング
信号ＴＭは出力されない。

【００９１】そして、指示語に対応する指示操作がある
と検出された場合において、その指示操作に関し、指示
語が発話されてから当該指示語が検知されるまでの時間
遅れにより、実際の指示操作開始点を記録できなくなる
ことを回避するために、指示操作開始補正部６３ｂによ
って、後述するように、指示履歴記録部６７のデータを
用いて指示操作の開始点を求める。そして、指示操作記
録部６３ｃによって指示操作の軌跡を、一連の位置座標
の系列データとして記録する。指示操作終了判定部６３
ｄでは、指示操作の終了の判定を行う。

【００９２】画像取込部６４は、指示語検出通知部６２
からの指示語の検出通知をトリガとして、その時点で大
画面ディスプレイ装置２に表示されている画面情報のス
ナップショット（静止画情報）を画像データとして、こ
の例では取り込む。すなわち、パーソナルコンピュータ
１は、大画面ディスプレイ装置２のスクリーン２Ｄに投
影表示する画像データを管理しているので、その管理デ
ータから、その時点での静止画画像データを取り込むよ
うにするものである。

【００９３】なお、後述するように、この画像取込部６
４に取り込んだ静止画の画像データをすべて会議情報と
して格納するのではなく、指示語に対応する指示操作が
あったときにのみ、取り込んだ静止画の画像情報をファ
イル格納部６６に送り、会議情報として格納するように
するものである。

【００９４】また、この例の場合、画像取込部６４は、
指示語検出通知部６２から指示語の検出通知があったと
き、前回取り込んだ静止画像と、今回取り込む静止画像
とを比較し、同じであったときには、画像取込作業は行
わず、ファイル格納部６６には、画像データに代えて、
画像内容の変更なしの通知を送る。

【００９５】タイマ６５は、指示語検出時点のタイムス
タンプ（時刻）を記録するためのものである。このタイ
ムスタンプは、会議情報として、会議の開始から終了ま
で、すべてが格納される音声情報の指示語の発話時点と
の関連（リンク）のための情報である。このタイムスタ
ンプとしては、音声情報の記録開始時刻や記録終了時刻
を絶対時刻で記録しておく場合には、絶対時刻情報を用
いる。また、音声情報の記録開始時刻や終了時刻を記録
しない場合には、音声情報の記録開始時点である会議開
始時点を起点とする相対時刻の情報を用いる。

【００９６】ファイル格納部６６は、音声入力装置郡５
４からの音声情報と、指示対象検出部６３からの検出さ
れた指示操作の軌跡データと、画像取込部６４からの画
像データと、タイマ６５からの指示語検出時点の前述の
ようなタイムスタンプの情報とを、このファイル格納装
置６６が備える記憶領域７０に格納する。

【００９７】この例の場合、ファイル格納部６６に格納
する音声入力装置郡５４からの音声情報は、各マイクロ
ホン３０〜３４のそれぞれからのアナログ音声信号を、
Ａ／Ｄ変換部６８でデジタル信号に変換し、音声信号混
合部６９でそれらのデジタル音声データを混合したデー
タである。また、画像データは、静止画のデータであ
る。

【００９８】そして、この場合、このファイル格納部６
６は、上述の入力データを、常に格納するのではなく、
指示対象検出部６３からの格納タイミング信号ＴＭによ
り決まる時点のみにおいて、格納する。この格納タイミ
ング信号ＴＭは、前述したように、指示対象検出部６３
において、指示語が発話されたときに、その指示語の指
示対象を指示する指示操作があったと判定されたときに
出力される。

【００９９】また、ファイル格納部６６では、画像デー
タは、後述するように、格納時に静止画の画像データ
と、その静止画データの格納位置を特定するための画像
ポインタの対として格納する。しかし、前述したよう
に、格納時に、画像取込部６４から画像データの変更な
しの通知を受信した場合においては、静止画の画像デー
タの格納は行わず、対応する静止画データは、前回の静
止画データと同じである旨のデータ、例えばnil を画像
ポインタとして記録するようにする。

【０１００】なお、画像取込部６４では、指示語検出通
知部６２から指示語の検出通知があったときに常に画像
の取込作業を行い、ファイル格納部６６において、画像
データを格納する際に、前回格納した画像と今回格納し
ようとする画像とが同一であるか否かを判定して、同一
であるときには、同じ静止画データの格納を行わず、前
回の静止画データと同じである旨のデータ、例えばnil
を画像ポインタとして記録するようにしてもよい。

【０１０１】ファイル格納部６６の記憶領域７０には、
この例では、図３に示すように、データ毎にファイルを
分けて、記憶するようにすると共に、ファイル間をリン
クするリンク情報をもファイル化して記憶するようにす
る。

【０１０２】すなわち、記憶領域７０には、リンク情報
ファイル７１と、音声データファイル７２と、画像デー
タファイル７３と、指示対象ファイル７４とが記録され
る。

【０１０３】リンク情報ファイル７１は、タイムスタン
プを通じて、音声データ、画像データおよび指示対象間
の対応関係を保持するファイルである。

【０１０４】音声データファイル７２は、音声入力装置
群５４から入力された複数のマイクロホン３０〜３４か
らの音声情報を、前述したように、Ａ／Ｄ変換部によっ
てデジタル化し、混合したデータとして保持する。

【０１０５】画像データファイル７３は、画像取込部６
４によって抽出され、かつ、指示語に対応する指示操作
が検出された時点の静止画画像データを保持する。

【０１０６】指示対象ファイル７４は、指示対象検出部
６３によって検出された指示語の指示対象に関するデー
タを、対応する指示操作の位置座標の系列データとして
保持する。

【０１０７】図４は、記憶領域７０に蓄積された情報フ
ァイル７１〜７４のデータ構造を示す図である。

【０１０８】リンク情報ファイル７１は、指示語検出時
刻１０１と、指示対象ポインタ１０２と、画像ポインタ
１０３とから構成される。指示語検出時刻は、指示語が
検出された時点の時間を示すタイムスタンプであり、タ
イマ６５によって生成された値である。タイムスタンプ
によって、音声データファイル７２の指示語に対応する
音声情報が格納されている位置と、リンク関係が生成さ
れる。１０４は音声データ部分であり、指示語の発話部
分は四角で囲って示している。発話された時間順に、指
示語１、指示語２、指示語３、…のように記録されるも
のである。

【０１０９】図４では、指示語１とリンクするタイムス
タンプはTimeStamp1、指示語２とリンクするタイムスタ
ンプはTimeStamp2、指示語３とリンクするタイムスタン
プはTimeStamp3…とされている。

【０１１０】リンク情報ファイル７４の指示対象ポイン
タ１０２は、指示対象ファイル７４の一連の指示操作を
示す位置座標の系列データへのポインタを保持する。図
４の例の場合には、タイムスタンプTimeStamp1をリンク
として、指示語１に対応する指示操作のデータの指示対
象ポインタはObj-Pointer1とされる。また、タイムスタ
ンプTimeStamp2をリンクとして、指示語２に対応する指
示操作のデータの指示対象ポインタはObj-Pointer2とさ
れる。以下同様である。

【０１１１】画像ポインタ１０３は、指示語が検出さ
れ、かつ、対応する指示操作が検出された時の画像イメ
ージデータの、画像データファイル７３へのポインタを
保持する。

【０１１２】画像データファイル７３は、1 画面分のス
ナップショット（静止画）のデータを１単位として、順
次ファイルに蓄積されている。画像取込部６４では、前
述したように、取込処理時に、前画面とのデータの比較
を行い、同一であれば、ファイルへの格納は行わず、変
化のあった画面データのみを選択的に取り込むようにし
ている。前述したように、前の指示語発生時と次の指示
語発生時の間に画面データに変化が存在しない場合は、
画像ポインタ値はnil である。

【０１１３】図４の例の場合には、タイムスタンプTime
Stamp1をリンクとして、指示語１に対応する画像ポイン
タはImage-Pointer1、タイムスタンプTimeStamp2をリン
クとして、指示語２に対応する画像ポインタはnil 、タ
イムスタンプTimeStamp3をリンクとして、指示語３に対
応する画像ポインタはImage-Pointer2とされている。図
４では、画像イメージデータ２と、リンク情報ファイル
の第３レコードの画像ポインタImage-Pointer2との間に
リンクがつけられている様子を示している。

【０１１４】指示対象ファイル７４は、選択されたポイ
ンティングデバイス番号ＰＤＮｏと、ポインティングデ
バイスの一連の位置座標の系列データ（x0，y0）〜（x
n，yn）を一単位とし構成される。図４の例では、指示
対象ポインタの第２レコードObj-Pointer2との間でのリ
ンク関係が示されている。

【０１１５】指示履歴記録部６７は、複数のポインティ
ングデバイス２０〜２４のそれぞれからの移動量のデー
タＰｍ０〜Ｐｍ４を受けると共に、指示座標発生部５３
からの指示座標出力データＣｏを受け、各ポインティン
グデバイス毎の、現在時刻よりも、予め定められた一定
時間前までの座標データを記録し保持する。

【０１１６】この例の場合、指示履歴記録部６７は、デ
ータ記録部６７ａと、このデータ記録部６７ａにより各
ポインティングデバイス毎の一定時間分の座標データを
記録し保存するバッファメモリ６７ｂとを備える。バッ
ファメモリ６７ｂには、各ポインティングデバイス２０
〜２４のそれぞれ専用のメモリ領域が設定されている。
これらの専用のメモリ領域は、それぞれ前記一定時間分
の座標データを記録できる容量を有し、常に、各ポイン
ティングデバイスについて、最新の座標データから、そ
れよりも前記一定時間前までの座標データが、それぞれ
のメモリ領域に書き込まれるように構成されている。

【０１１７】例えば、バッファメモリ６７ｂの各ポイン
ティングデバイス用のメモリ領域は、リングバッファの
構成とされ、そのメモリ領域一杯に座標データが記録さ
れると、次の最新の座標データは、一番古い座標データ
の上に重ね書きされる。

【０１１８】前述したように、ポインティングデバイス
２０〜２４のそれぞれの移動量のデータＰｍ０〜Ｐｍ４
は、それぞれのポインティングデバイスの識別ＩＤ（例
えばポインティングデバイス番号）を含んでいる。指示
履歴記録部６７のデータ記録部６７ａは、移動量のデー
タＰｍ０〜Ｐｍ４を監視し、ポインティングデバイスが
会議参加者により取り上げられることにより、それ自身
の移動量が有意であると認識されるポインティングデバ
イスを検出する。そして、データ記録部６７ａは、ある
ポインティングデバイスについて、その移動量が有意で
あると認識したとき、そのとき指示座標発生部５３から
得られる座標データを当該ポインティングデバイスの指
示位置データとしてバッファメモリ６７ｂの、当該ポイ
ンティングデバイス用のメモリ領域に書き込む。

【０１１９】なお、複数のポインティングデバイスが同
時に使用される場合には、移動量のデータＰｍと、座標
データの変化との相関により、いずれの座標データがい
ずれのポインティングデバイスであるかを選別して認識
して、バッファメモリ６７ｂの各メモリ領域に、対応す
るポインティングデバイスのスクリーン２Ｄ上の指示位
置に対応する座標データを記録するようにする。なお、
前述もしたように、この座標データＣｏは、パーソナル
コンピュータ１の画面上の座標系に変換されたデータで
ある。

【０１２０】このようにして、バッファメモリ６７ｂに
は、ポインティングデバイス２０〜２４のそれぞれにつ
いて、現在時刻よりも一定時間前までの座標データのロ
グが記録される。なお、ポインティングデバイスがスク
リーン２Ｄ上を指示していないときには、座標データと
しては、予め定められたその旨を示す特定のデータが記
録されるものである。

【０１２１】なお、ポインティングデバイス毎にそれが
操作されたか否かの判定は、上述の例のように、各ポイ
ンティングデバイス自身の動きの移動量を検出するので
はなく、ポインティングデバイス毎に電源スイッチを設
け、その電源スイッチがオンとされたときに、操作され
る状態になったと判定するようにしてもよい。また、電
源スイッチではなく、操作開始スイッチなどのトリガス
イッチを設けて、そのトリガスイッチのオンにより操作
の判定を行うようにしてもよい。

【０１２２】次に、図１の主要な各部の処理動作の詳細
な例について説明する。

【０１２３】まず、指示語検出部６１での指示語検出処
理について説明する。この例の場合、指示語検出部６１
は、音声認識により指示語を検出するもので、図１には
図示しなかったが、指示語テーブルＴＢＬを備えてい
る。この指示語テーブルＴＢＬは、指示語の音声情報に
関する特徴を登録しておく辞書のようなものである。

【０１２４】図５は、この指示語テーブル１２０のデー
タ構造の例を説明する図である。この例の場合、指示語
テーブル１２０は、指示語フィールド１２１と、波形ス
ペクトルフィールドの２つのフィールドから構成されて
いる。指示語フィールド１２１は、「これ」、「あ
れ」、「これら」などの指示語を表現するテキストであ
る。波形スペクトルフィールド１２２には、対応する指
示語の音声の特徴パラメータを示す波形スペクトルが登
録されている。

【０１２５】指示語検出部６１は、この指示語テーブル
ＴＢＬを用いて指示語の検出を行う。前述したように、
指示語検出通知部６２は、その指示語の検出に基づいて
指示語検出通知を指示対象検出部６３、画像取込部６
４、タイマ６５に送る。

【０１２６】図６は、記録制御部６０の指示語検出部６
１と、指示語検出通知部６２の処理を説明するフローチ
ャートである。

【０１２７】まず、ステップ１３１では、音声入力装置
部５４から入力された音声データがＡ／Ｄ変換部６８に
より、デジタル信号に変換された音声データを受け付け
る。ステップ１３２では、認識の対象とする音声情報の
区間を検出する。この例では、一定のしきい値以上の音
圧が、一定時間以上継続して検出された場合、その区間
を抽出する。抽出した区間の音声データを変数Input に
代入する。

【０１２８】次に、ステップ１３３では、抽出した音声
データInput を特徴分析し、特徴パラメータ、この例で
は、波形スペクトルを抽出し、変数Parameter に代入す
る。次のステップ１３４では、変数Parameter と指示語
テーブルＴＢＬの波形スペクトルフィールド１２２との
照合を行う。そして、次のステップ１３５では、照合の
結果、同じであると判断できる程度に類似する（これを
マッチングという）指示語が検出されたか否か判断す
る。

【０１２９】ステップ１３３での判断の結果、マッチン
グした指示語が存在しない場合には、ステップ１３１に
戻り、上述の指示語認識処理を続ける。一方、ステップ
１３３での判断の結果、マッチングした指示語が検出さ
れたときには、ステップ１３６に進み、指示語検出フラ
グIflag にtrueを代入する。ついで、ステップ１３７に
おいて、指示語検出通知処理を行う。ここでは、指示対
象検出部６３、画像取り込み装置６４、タイマ６５に、
指示語が検出されたイベントを通知する。この結果とし
て、各装置の処理の起動がトリガされる。

【０１３０】次に、指示対象検出部６３の処理について
説明する。前述したように、指示対象検出部６３は、複
数個のポインティングデバイスのうちから、発話された
指示語に対応して操作されたポインティングデバイスを
検出し、その検出されたポインティングデバイスによる
指示対象の指示操作軌跡を検出するものである。

【０１３１】図７は、ポインティングデバイスによる指
示操作を説明する図である。指示操作とは、例えば、
「あそこの数値は..... 」、「この対応策は、..... 」
というように、指示語を用いながら、ディスプレイに表
示されている、文書やグラフなどの一部を指し示しつ
つ、会話をしているような状況である。通常は、一人の
会議参加者が、指示語の発話をしながら、指示操作をす
ると考えられるが、指示語の発話者と、指示操作をした
者とが異なる場合もある。ある参加者の指示語の発話に
応じて、ディスプレイの近くにいる司会者や他の参加者
が指示操作を場合である。

【０１３２】指示操作の仕方は、さまざまであり、図７
Ａの指示操作軌跡１１１のように、円軌道であったり、
図７Ｂの指示操作軌跡１１２のように、横方向への移動
で指し示したりする。指示操作は、１ストローク（所定
の速度で連続移動している一連の操作をストロークとい
う）で行われる場合もあるし、数ストロークで行われる
場合もある。

【０１３３】指示操作によって指示された対象は、指示
操作の移動軌跡である。従って、指示対象を検出し、特
定することは、指示対象の指示操作の開始点から終了点
までのポインティングデバイスの移動の軌跡を記録する
ことになる。

【０１３４】図８は、指示対象検出部６３での指示対象
検出処理の概要を説明するフローチャートである。

【０１３５】まず、ステップ１５０で、指示語の検出通
知があったかを判断する。前述したように指示語が検出
されると、指示語検出フラグであるIflag にtrueという
値が設定され、指示語検出通知部６２によって、通知さ
れて来るので、それにより通知を検知する。

【０１３６】指示語検出通知が検出されると、ステップ
１５１に進み、指示語検出フラグIflag をfalse に戻し
ておく。次のステップ１５２では、指示操作のポインテ
ィングデバイス位置座標の一連の系列データを保持する
ためのリストpdDataの初期値を空リストに設定する。次
にステップ１５３に進み、複数のポインティングデバイ
スから、指示語が参照しているオブジェクトを指し示す
ために使用された適切なポインティングデバイスを選択
するための処理ルーチンを実行する。このポインティン
グデバイスの選択処理ルーチンについては後述する。こ
のステップ１５３の処理の結果として選択されたポイン
ティングデバイスの識別情報であるポインティングデバ
イス番号が返ってくる。

【０１３７】次に、ステップ１５４に進み、指示語の認
識および検出までにかかる時間分の、指示操作の開始地
点の検出の遅れを補正し、正しい指示操作の開始地点を
求めるための処理ルーチンを実行する。この指示操作開
始点補正処理ルーチンは後述する。この補正処理ルーチ
ンの結果として、指示語発話時刻から指示語検出時刻ま
でに相当する位置データの系列がリストpdDataに保持さ
れて返ってくる。

【０１３８】次にステップ１５５に進む。このステップ
１５５では、時刻の変数Ｔに単位時間△ｔを加え、前記
ステップ１５４の処理ルーチンの処理結果の位置データ
の系列のリストpdDataに追加すべき指示語検出時刻後の
次の位置データを検出する時刻を設定する。すなわち、
変数Ｔは、ポインティングデバイスの位置座標を記録す
るタイミングを管理する変数である。

【０１３９】ステップ１５６からステップ１５９まで
は、指示対象を示すための指示操作のポインティングデ
バイスの位置データの系列を抽出する処理である。予め
定めた単位時間△ｔ毎に位置データが抽出される。たと
えば、△ｔ＝0.1 秒と設定することにより１秒間に１０
個の位置データが検出でき、指示対象を正確に認識する
のに十分なデータ量が得られる。

【０１４０】ステップ１５６では、タイマ６５により発
生する時刻を監視し、現在時刻Ｔｃが時刻Ｔを経過して
いるか否かを判定する。現在時刻Ｔｃが時刻Ｔを経過し
ていない場合には、再度モニタリングを続ける。現在時
刻Ｔｃが時刻Ｔを経過している場合には、ステップ１５
７に進む。

【０１４１】ステップ１５７では、選択されたポインテ
ィングデバイスＰＤの当該時刻Ｔにおける位置座標を検
出し、検出された位置データを、位置の系列データを保
持するリストpdDataに追加する。次いで、ステップ１５
８において、指示操作が終了したかの判定処理を行う。
このステップ１５８での指示操作の終了判定処理の詳細
は、後述する。この終了処理の結果として、指示操作の
終了を判定したか否かの終了判定フラグが返ってくる。
終了判定フラグは、指示操作の終了を判定したときには
true、終了していないときにはfalse である。

【０１４２】次に、ステップ１５９に進み、終了判定フ
ラグについて判断し、終了判定フラグがfalse の場合に
は、ステップ１５５に戻り、指示操作を記録するための
処理を継続する。また、終了判定フラグがtrueの場合
は、この図８の指示対象検出処理ルーチンを終了する。

【０１４３】次に、ステップ１５３のポインティングデ
バイス選択処理の例を説明する。この例の場合、予め会
議参加者に、その属性として、指示操作に関する優先順
位を設定しておく。そして、指示語に対応する指示操作
の検出は、この優先順位にしたがって行う。すなわち、
指示操作を行う蓋然性の高い順に、指示操作が行われた
ポインティングデバイスの選定の処理を行うものであ
る。

【０１４４】図９は、このポインティングデバイスを選
択する際に使用する、参加者間の優先順位に関するデー
タを保持する参加者属性テーブル１８０を示すものであ
る。この参加者属性テーブル１８０は、優先度１８１、
参加者属性名１８２、評価関数１８３、コメント１８４
の各フィールドから構成される。この実施例では、参加
者にはそれぞれポインティングデバイスが割り当てられ
ているので、各参加者は、ポインティングデバイス番号
で識別される。

【０１４５】優先度１８１は、会議参加者の優先度の高
さを示す数値であり、「１」が最も優先度が高く、数値
が大きくなるほど、優先度は低くなる。この実施例の図
９では、優先度は「３」まで登録されている。参加者属
性名１８２は、参加者の属性を表すラベルである。評価
関数１８３は、参加者属性を満足するための条件を規定
し、各参加者の持つポインティングデバイスが、その条
件を満足するかを判定し、条件を満足するポインティン
グデバイス番号のリストを返す関数である。コメント１
８４は参加者属性の内容をテキストで表現したものであ
る。なお、コメント１８４のフィールドはなくてもよ
い。

【０１４６】たとえば、優先度「１」は最も優先順位が
高い。この実施例では、この優先度「１」には、「指示
語発話者」という属性が割り当てられている。「指示語
発話者」を判定するための評価関数はFindicatorであ
る。この評価関数Findicatorは、指示語が検出された音
声入力装置に対応するポインティングデバイスを検出
し、そのポインティングデバイス番号を返す関数であ
る。

【０１４７】同様に優先度「２」には、「司会者」とい
う属性が割り当てられている。「司会者」を判定するた
めの評価関数はFmoderatorである。この評価関数Fmoder
atorは、司会者のポインティングデバイス、すなわち、
この例の場合には、図１におけるポインティングデバイ
ス２０に相当するポインティングデバイス番号を返す関
数である。

【０１４８】また、優先度「３」には、「その他の参加
者」という属性が割り当てられている。「その他の参加
者」を判定するための評価関数はFparticipantである。
この評価関数Fparticipantは、指示語発話者でなく、か
つ、司会者でない者のポインティングデバイス番号を返
す関数である。

【０１４９】次に、図１０およびその続きである図１１
は、複数の競合するポインティングデバイスから、検出
された指示語が参照する指示対象を指示しているポイン
ティングデバイスを選択するための、ポインティングデ
バイス選択処理の処理の流れを示す図である。

【０１５０】まず、一連の変数の初期値設定処理を行
う。すなわち、ステップ２００で変数Ｐの初期値とし
て、最も優先度の低い数値が代入される。この実施例で
は、「３」が代入される。次のステップ２０１では、優
先度のインデックス変数prior に初期値として「１」を
設定する。次のステップ２０２では、最終出力としての
ポインティングデバイス番号ＰＤの初期値として、指示
操作として全く動きのないポインティングデバイスを仮
想的に定義しておき、その番号ＰＤ０を設定する。ここ
で、動きがまったくないポインティングデバイスとは、
指示履歴記録部６７のバッファ内の位置座標の系列デー
タの変動量が、すべて０であるような仮想的なポインテ
ィングデバイスである。

【０１５１】次いで、ステップ２０３以降の、指示語の
指示対象を指示しているポインティングデバイスの選定
処理を実行する。まず、ステップ２０３では、参加者属
性テーブル１８０に登録されたすべての優先度に対して
処理が終了したかを判断する。終了していなければ、ス
テップ２０４に進む。

【０１５２】ステップ２０４では、そのときの変数prio
r に対応する優先度の参加者属性を評価する関数を取り
出し、変数functionに代入する。ステップ２０５で、そ
の評価関数functionを実行し、返ってきた値を変数pdLi
stに代入する。この処理では、変数prior に該当する参
加者属性を満足する参加者、すなわち、評価関数functi
onで定義された条件を満足するポインティングデバイス
番号のリストが、変数pdListとして返ってくる。

【０１５３】ステップ２０６では、変数pdListがnil か
否かが判断される。ステップ２０５からこのステップ２
０６に進んで来た場合、このステップ２０６での判断
は、そのときのインデックス変数prior が示す優先度の
参加者属性を満足するものがあるか否かであり、もし変
数pdListがnil であれば、そのときの優先度のインデッ
クス変数prior に対応する参加者属性を満足するものが
なかったことである。このため、この場合には次の優先
度の処理のためのステップ２１１へ移り、変数prior の
値に１を加えた後、ステップ２０３に戻る。

【０１５４】ステップ２０６での判断において、変数pd
Listに何らかのデバイス番号が存在した場合には、その
ときの優先度のインデックス変数prior に対応する参加
者属性を満足するものが存在するので、図１１のステッ
プ２０７に進む。このステップ２０７では、ポインティ
ングデバイス番号を変数pdListから1 つ取り出し、変数
pdに代入しステップ２０８に進む。

【０１５５】ステップ２０８では、変数pdが示す番号の
ポインティングデバイスが指示語の対象を指示する操作
として、有意な動きを示しているか否かを判定する。そ
の判定結果として、有意であればtrue、有意でなければ
false が返ってくる。このポインティングデバイスの有
意性の判定処理は、後で詳細に説明する。

【０１５６】そして、次のステップ２０９において、有
意性の判定結果を判断し、変数pdが示す番号のポインテ
ィングデバイスの指示操作の動きが有意と判定されなか
った場合は、ステップ２１０に進んで、変数pdListにあ
るポインティングデバイス番号のすべてについて、ステ
ップ２０８の有意性の判定を行ったか否か判断し、pdLi
stにまだ他のポインティングデバイス番号が有る場合に
は、ステップ２０７に戻り、有意性の判定処理を実行す
る。ステップ２１０で、変数pdListにあるポインティン
グデバイス番号のすべてについて有意性の判定を終了し
たと判断したときには、次の優先度の処理のためのステ
ップ２１１へ移り、変数prior の値に１を加えた後、ス
テップ２０３に戻る。

【０１５７】ステップ２０９において、変数pdが示す番
号のポインティングデバイスの指示操作の動きが有意と
判定されたときには、ステップ２２１に進み、そのポイ
ンティングデバイス番号ｐｄを保持しておく。そして、
次のステップ２２２では、選択されるべきポインティン
グデバイスの候補であるＰＤと保持された変数ｐｄとの
間で、どちらが指示操作として優位なポインティングデ
バイスであるかを判定する評価関数Dmaxが実行される。

【０１５８】評価関数Dmaxは、２つのポインティングデ
バイスＰＤとｐｄの指示操作の移動量の大きさを判定
し、移動量の大きいほうのデバイス番号を返す。移動量
の大きさを比較する手段としては、例えば、指示履歴記
録部６７の、それぞれのポインティングデバイスに対応
するバッファの領域の、それぞれの座標データから求め
られるポインティングデバイスの指示位置の変動量Δ
ｘ，Δｙから、所定の単位時間Δｔ間の指示位置の移動
量 Δｄ＝√（Δｘ＊＊２＋Δｙ＊＊２） の総和を比較し、大きいほうを選択する。ここで、＊＊
２は２乗演算を示している。また、√（）は、括弧（）
内の平方根を意味している。以下、同様である。

【０１５９】指示操作の移動量の大きさを比較する手段
としては、もちろん、この方法に限ったことではなく、
所定の単位時間Δｔ間の移動量Δｄ毎に個別に比較し、
移動量Δｄの変化の比率の高いほうを選択する方法を用
いてもよい。

【０１６０】そして、次のステップ２２３では、変数pd
Listにあるポインティングデバイス番号のすべてについ
て、ステップ２０８の有意性の判定を行ったか否か判断
し、pdListにまだ他のポインティングデバイス番号が有
る場合には、ステップ２０７に戻り、同じ優先度の他の
ポインティングデバイスについて、上述の判定処理を実
行する。

【０１６１】ステップ２２３で、変数pdListにあるポイ
ンティングデバイス番号のすべてについて有意性の判定
を終了したと判断したときには、ステップ２２４に進
み、最終的に選択されたポインティングデバイス番号ｐ
ｄが出力ポインティングデバイス番号ＰＤに代入されて
出力される。

【０１６２】ステップ２０３で、参加者属性テーブル１
８０に登録されたすべての優先度に対して処理が終了し
たと判断したときは、すべてのポインティングデバイス
について指示操作の判定処理をした結果、操作が有意で
あると判定されるポインティングデバイスがみつからな
かったことを意味する。このときには、ステップ２１２
に進み、出力するポインティングデバイス番号ＰＤにni
l を代入して、処理を終了する。

【０１６３】図１２は、上述のポインティングデバイス
の選択処理ルーチンにおいて、指示操作が有意なポイン
ティングデバイスの判定を行うための有意性判定処理ス
テップ２０８の処理例の概要を示すフローチャートであ
る。

【０１６４】まず、ステップ２３１では、該当するポイ
ンティングデバイスの現在の位置座標が、大画面ディス
プレイ装置２のスクリーン２Ｄの大きさを示す座標内に
収まっているかの判定が行われる。もし、スクリーン画
面内に収まっていない場合には、ステップ２３４でリタ
ーン値をfalse として処理を終了する。すなわち、該当
するポインティングデバイスの動きは有意な指示操作で
はないと判断する。

【０１６５】一方、該当するポインティングデバイスの
現在の位置座標が、スクリーン画面内に収まっている場
合には、ステップ２３２において、有意な指示操作の移
動量が存在するかを判定する。指示操作の移動量の有意
性の判定の詳細は、図１３および図１４を用いて後述す
る。

【０１６６】ステップ２３２で有意と判定されれば、ス
テップ２３３でリターン値をtrueに設定して処理を終了
する。指示操作の移動量が有意ではないと判定された場
合には、ステップ２３４の処理に進み、リターン値をfa
lse として処理を終了する。

【０１６７】図１３は、この例に場合のポインティング
デバイスの指示位置の有意な移動量を説明するための図
である。図１３において、縦軸は、ポインティングデバ
イスの指示位置の所定の単位時間Δｔ間の移動量Δｄを
表し、前述もしたように、 Δｄ＝√（Δｘ＊＊２＋Δｙ＊＊２） である。横軸は時間ｔを表す。

【０１６８】また、図１３において、ΔＤは、予め定め
られた、有意と認められる単位時間Δｔ当たりの指示位
置の移動距離を表す。Δｄ≧ΔＤならば、該当するポイ
ンティングデバイスの指示位置の移動量は、ある区間Δ
t において、有意であると見なす。ここで、一例とし
て、ΔＤ＝５と設定する。

【０１６９】例えば、Δｔ間に、Δｘ＝３ドット、Δｙ
＝４ドット移動したとする。このとき、 Δｄ＝√（９＋１６）＝５≧ΔＤ であり、有意であると判断される。

【０１７０】図１４は、ポインティングデバイスの指示
位置の移動量が有意であるかを判定する処理を示すフロ
ーチャートである。図１２のステップ２３２の処理に相
当する。

【０１７１】ステップ２５１では、操作履歴記録部６７
のバッファメモリ６７ｂのポインティングデバイスｐｄ
の移動軌跡を保持しているバッファ領域から、その位置
座標系列データを読み込み、変数Ｂｘｙに代入する。次
のステップ２５２では、変数Ｂｘｙの位置座標系列デー
タから、Δｔ間の座標データの差分を求め、この差分か
ら移動距離Δｄを算出し、移動距離リストΔｄListに代
入する。

【０１７２】ステップ２５３では、移動距離リストΔｄ
Listのうち、ある区間において有意な移動量があるかを
判定する。すなわち、Δｄ≧ΔＤを判定する。すべての
区間を判定し、区間内で有意な移動量と判定された単位
区間Δｔが、ある定められた割合Ｒ０以上であれば、該
当するポインティングデバイスｐｄは有意であると判定
する。ここで、例えばＲ０＝７０％とすると、例えば、
Δｄが有意と判定された割合が７５％であった場合、す
なわち、Ｒａｔｅ（Δｄ≧ΔＤ）＝７５％の場合、該当
するポインティングデバイスｐｄは有意と判定される。

【０１７３】ステップ２５３で有意と判定された場合、
ステップ２５４でtrueの値がリターン値として返され
る。一方、有意でないと判定された場合には、ステップ
２５５でリターン値がfalse に設定され、処理が終了す
る。

【０１７４】次に、指示対象検出部６３の指示操作開始
補正部６３ｂの処理動作の詳細について説明する。

【０１７５】図１５は、指示対象の指示操作の開始点と
指示語の検出時点の時間差の概念を説明するための図で
ある。

【０１７６】指示語検出部６１における音声認識処理に
より、指示語を検出するためには、ある一定時間ΔＴを
要する。したがって、指示語検出部６１で指示語が検出
され、検出通知によりタイマ６５から得られるその指示
語が検出された時点のタイムスタンプの時刻を指示語検
出時刻Ｔｒとすると、実際に指示語が発話された時刻で
ある指示語発話開始時刻Ｔｓと指示語検出時刻Ｔｒの間
には、認識時間分の遅れΔＴが生じる。

【０１７７】指示語の指示対象の指示操作は、指示語発
話開始時刻Ｔｓから開始されると仮定すると、指示操作
のポインティングデバイスの軌跡の開始点は、指示語発
話開始時刻Ｔｓからとなるように時間的に戻して、でき
るだけ正確な指示操作の開始点とするようにする補正処
理が必要となる。

【０１７８】この補正処理ため、この実施例では、あら
かじめ一定時間ΔＴを定めておく。実際には、指示語の
発話開始時刻Ｔｓと検出時刻Ｔｒとの時間的ズレΔＴ
は、指示語の長さやそれを検出する処理の複雑さによっ
てまちまちであるため、一定時間ではなく、ΔＴと実際
のＴｒ−Ｔｓとでは、多少の誤差は存在する。しかし、
この例では、その誤差は、無視できる程度の値であると
して、例えば、平均的な音韻数の指示語の場合の認識の
遅れが２秒であったと仮定とすると、ΔＴ＝２秒に設定
する。なお、ΔＴを一定時間とせず、検出した指示語の
音韻数に比例して、定めてももちろん良い。また、指示
語発話開始時刻Ｔｓと指示操作開始時刻とが必ずしも一
致せず、若干、指示操作の開始時刻が早くなることを考
慮して、ΔＴをＴｒ−Ｔｓよりも大きめに定めるように
してもよい。

【０１７９】次に、図１６は、ポインティングデバイス
の位置座標の系列データを保持するバッファメモリ６７
ｂの各メモリ領域のデータ構造を説明する図である。各
ポインティングデバイスは、ある一定時間分ΔＴの位置
座標のログをバッファメモリ６７ｂの対応するメモリ領
域に記録して保持している。前述したように、また、図
１６に示すように、このバッファメモリ６７ｂのメモリ
領域は、各ポインティングデバイス毎に１つづつ設定さ
れ、会議で使用されるすべてのポインティングデバイス
が、このようなバッファメモリ領域を持ち、位置座標の
系列データが記録されている。

【０１８０】データ構造としては、第１レコードには、
該当するポインティングデバイスの番号ＰＤ１，ＰＤ
２，…，ＰＤｎ（ｎは設けられているポインティングデ
バイスの数）が記録される。第２レコード以降は、この
例では、前記単位時間Δｔ毎のポインティングデバイス
の位置座標が記録される。これにより、現在時刻Ｔｃか
らΔＴ前までの、各ポインティングデバイスの座標デー
タのログが保持できる。例えば、ΔＴ＝２秒、Δｔ＝
０．１秒とすると、ｎ＝２０個分の位置座標の記録が保
持されていることとなる。

【０１８１】図１７は、このバッファメモリ６７ｂの記
録データを用いた指示操作開始点補正処理の流れを示す
フローチャートである。

【０１８２】まず、ステップ２７１で、バッファメモリ
６７ｂの各メモリ領域の第１レコードについて、現在選
択されているポインティングデバイスＰＤと一致するか
判断され、一致したメモリ領域が選定されて、そのメモ
リ領域の内容が変数pdBuffに代入される。

【０１８３】そして、次のステップ２７２では、変数pd
Buffの第２レコード以降の位置座標の系列データが抽出
され、それが変数pdDataに代入され、その結果のpdData
がリターン値として返される。この処理により、指示語
発話開始時刻における指示操作開始時点から現在時刻ま
での、ポインティングデバイスＰＤの位置座標の系列デ
ータが、pdDataに保持されたことになる。

【０１８４】なお、前述したように、現在時刻以降のポ
インティングデバイスＰＤの位置座標データは、Δｔ毎
に、指示操作記録部６３ｃに順次に記録されるものであ
る。

【０１８５】次に、指示操作終了判定部６３ｄの処理に
ついて説明する。

【０１８６】図１８および図１９は、指示操作の終了判
定処理の概要を説明するための図である。この例の場
合、指示操作の終了判定条件は、時間と、ポインティン
グデバイスの移動量と、次の指示語の発話の検出の３条
件である。

【０１８７】図１８は、ポインティングデバイスの移動
量に関する終了判定条件を説明するための図である。図
１３の場合と同様に、縦軸は、ポインティングデバイス
の指示位置の所定の単位時間Δｔ間の移動量Δｄを表
し、横軸は時間ｔを表す。

【０１８８】この例では、ポインティングデバイスの指
示位置の移動量が、前述した有意と認められる単位時間
Δｔ当たりの移動距離ΔＤ以下になった時点で、指示操
作が終了したと判定する。ただし、終了判定時間ΔＴ２
を設定し、この終了判定時間ΔＴ２の区間において、所
定の比率以上で、移動量ΔｄがΔＤ以下になったとき
に、この終了判定時間ΔＴ２の区間の先頭時刻を指示操
作終了時刻と判定する。

【０１８９】この例においては、終了判定時間ΔＴ２
を、前述した指示操作開始補正時間ΔＴと同じ値に設定
する。これにより、図１３および図１４を用いて説明し
た有意な指示位置の移動量の判定と同様の処理で、終了
判定が可能となる。

【０１９０】この終了判定では、終了判定時間ΔＴ２の
区間内での比率判定条件は、例えばRate（Δｄ≦ΔＤ）
≧R1である。この例では、R1＝７０％と設定する。例え
ば、単位時間Δｔにおける移動量がΔＤ以下の割合が８
５％であれば、ポインティングデバイスの指示操作の動
きは終了したと判定する。

【０１９１】図１９は、時間に関する終了判定条件を示
す図である。この図１９も、縦軸は、ポインティングデ
バイスの指示位置の所定の単位時間Δｔ間の移動量Δｄ
を表し、横軸は時間ｔを表す。

【０１９２】ΔＴ３は、指示操作軌跡の最短記録時間で
あり、ΔＴ４は指示操作軌跡の最長記録時間である。最
短記録時間ΔＴ３とは、たとえ次の指示語が検出された
としても、最低限ΔＴ３時間分は、指示操作としてポイ
ンティングデバイスの指示座標位置を記録するというも
のである。一方、最長記録時間ΔＴ４とは、たとえポイ
ンティングデバイスの指示位置の移動が有意と判定され
る動きであったとしても、ΔＴ４時間を限度として、そ
れ以上は記録しないというものである。

【０１９３】これらの記録時間ΔＴ３，ΔＴ４を設定し
たのは、１つの指示語の指示対象を特定するには、ある
一定時間あれば十分であり、それ以上のポインティング
デバイスの動きは、指示語との関係においては無意味な
情報として見なすようにしたためである。例えば、ΔＴ
３＝３秒、ΔＴ４＝１０秒とすると、ポインティングデ
バイスの指示操作の軌跡は、最低３秒は記録され、１０
秒を越えると、指示操作は終了したものと見なされる。

【０１９４】図２０は、指示操作の終了判定処理の流れ
の例を示すフローチャートである。まず、ステップ３０
１では、次の指示語が検出されたかを判断する。次の指
示語が検出済みの場合には、ステップ３０２の処理に移
る。一方、次の指示語が検出されていない場合には、ス
テップ３０７の処理に進む。

【０１９５】ステップ３０２では、指示語発話開始時刻
Ｔｓから現在時刻Ｔｃまでの経過時間ΔＴｃが最小記録
時間ΔＴ３を越えていないかが評価される。ΔＴ３以上
の時間を経過している場合には、ステップ３０３で、リ
ターン値としてtrueを返し、終了する。ΔＴ３まで経過
していない場合、すなわち、最小記録時間に満たない場
合には、ステップ３０４に進み、次の指示語に該当する
ポインティングデバイスが現在のポインティングデバイ
ス番号ＰＤと同一かが判定される。同一であれば、ΔＴ
３時間の経過を待たずに、次の指示語の処理に移行する
ため、ステップ３０５でリターン値としてtrueを返す。

【０１９６】次の指示語に該当するポインティングデバ
イスが現在のポインティングデバイス番号ＰＤと同一で
ない場合、次の指示語が検出されているものの、最短時
間の指示操作時間に達していないため、指示操作は終了
していないと判断し、ステップ３０６で、リターン値と
してfalse を返す。

【０１９７】また、ステップ３０７では、まず、指示操
作の記録経過時間ΔＴｃが、最短記録時間ΔＴ３以下で
あるかが判定される。指示操作の記録経過時間ΔＴｃ
が、ΔＴ３以下であれば、指示操作は終了していないと
判断され、ステップ３０８で、リターン値としてfalse
が返される。

【０１９８】指示操作の記録経過時間ΔＴｃが、ΔＴ３
以上経過している場合、ステップ３０９で、今度は経過
時間ΔＴｃが最長記録時間ΔＴ４を越えたか否かが判断
される。経過時間ΔＴｃがΔＴ４を越えた場合、指示操
作は終了と判断され、ステップ３１０でリターン値とし
てtrueが返される。経過時間ΔＴｃが最長記録時間ΔＴ
４を越えていない場合には、ステップ３１１に進んで、
ポインティングデバイスの指示位置の変動量が判定され
る。

【０１９９】このステップ３１１での判定の結果、ポイ
ンティングデバイスの指示位置の変動量の終了条件Rate
（Δｄ≦ΔＤ）≧R1という条件が満足されれば、ポイン
ティングデバイスの指示操作が終了したと判定され、ス
テップ３１２に進んでリターン値としてtrueが返され
る。ポインティングデバイスの指示位置の変動量が終了
条件を満足しない場合には、ステップ３１３に進んで、
リターン値false が返される。以上で、指示操作の終了
判定処理が終了する。

【０２００】以上のようにして、この実施の形態におい
ては、いずれかの会議参加者が指示語の発話をしたとき
に、それに加えて、その指示語の指示対象を指示する指
示操作が実際にあった場合に、その指示語は会議資料を
参照すべき指示であると判定できることから、そのとき
の画像情報として、その指示対象である会議資料を含む
ものを取り込むようにしている。したがって、単なる言
葉の上での指示語の発話であって、会議資料を指示する
ものでない指示語の発話の際には、画像情報は記録しな
いので、無駄な情報の記録を回避できる。

【０２０１】しかも、指示語の発話をトリガとして画像
情報を取り込むものであるので、会議中に参照すべき資
料を効率良く記録することができ、また、会議内容を正
確に再現するためにも十分であると言える。

【０２０２】その上、上述の実施の形態の場合、記録す
る画像情報は静止画であり、動画を記録する場合に比べ
て記録情報量が少なくてよい。また、同じ静止画は、取
り込まないようにしているので、その点でも記録情報量
は少ない。

【０２０３】さらに、指示語が発話されたときの指示対
象への指示操作の軌跡を、指示語の発話時点に関連付け
て記録するようにしたので、指示語の指示対象を正確に
把握することができることが期待できる。その上、指示
操作の軌跡は、指示語の発話の時点にさかのぼって記録
するようにしたので、指示操作軌跡も正確になる。ま
た、指示操作軌跡の終了を、時間と、ポインティングデ
バイスの移動量と、次の指示語の発話の検出の３条件で
判定するようにしたので、指示語との関係においては無
意味な情報をできるだけ、排除して、かつ、指示操作と
して必要十分な軌跡を記録することができるものであ
る。

【０２０４】なお、上述の実施の形態では、パーソナル
コンピュータ１が電子的にメモリに蓄えている画像情報
を取り込むようにしたが、スクリーン２Ｄの表示画像
を、その周辺の会議風景を含めてカメラにより撮影し
て、取り込むようにしてもよい。その場合には、画像取
込部６４は、ビデオカメラの構成であり、指示語検出通
知部６２からの検出通知をトリガとして画像を撮影して
取り込むものである。

【０２０５】このようにカメラで撮影して会議風景を含
む画像情報を取り込む場合には、指示語が発話され、対
応する指示操作があったときの画像情報を、その指示操
作の開始から終了までの区間で、カメラで撮影し、動画
として記録するようにすれば、指示操作対象だけでな
く、指示操作も記録されるので、指示操作軌跡は、記録
する必要はなくなる。

【０２０６】次に、以上説明した実施の形態のようにし
て記録された音声情報、画像情報、指示操作の軌跡の情
報を用いて、会議の再現を行うようにする会議情報再生
処理について説明する。

【０２０７】図２１は、この発明による会議情報記録再
生装置の一実施の形態の再生系にかかわるシステム構成
図を示すブロック図である。これは、図１および図２を
用いて記録系を説明した会議情報記録再生装置の再生系
の場合の例である。

【０２０８】すなわち、この実施の形態では、パーソナ
ルコンピュータ１は、図１に示した記録制御部６０に加
えて、再生制御部４００をも備えるものである。図２１
の再生制御部４００は、主として、その処理制御機能を
ブロックとして示したもので、実際的には、各ブロック
は、ソフトウエアにより実現されるものである。

【０２０９】図２１に示すように、この例においては、
前述のようにして、記憶領域７０には、リンク情報ファ
イル７１を介して関連付けられた音声データファイル７
２、画像データファイル７３、指示対象ファイル７４が
格納されている。そして、この記憶領域７０の各データ
ファイル内容が、再生制御部４００で制御されながら、
再生されて、会議内容がほぼ正確に再現されるものであ
る。

【０２１０】ただし、音声情報は、再生制御部４００で
は、画像や指示操作の再現制御処理のために用いられる
だけで、その再生は音声再生装置４３０において行われ
る。すなわち、音声データファイル７２に格納されてい
る会議の開始から終了までの音声情報は、順次に音声再
生装置４３０に供給されて、順次に再生される。この実
施の形態では、再生制御部４００は、この音声再生装置
４３０に対して、再生開始、停止、巻き戻し、ジャンプ
などの再生指示制御を行う機能も備える。

【０２１１】音声再生装置４３０は、図示しないが、再
生制御部４００からの制御に従い、音声データファイル
７２から音声データを取り出す音声データ取得部と、取
得した音声データァイル７２からのデジタル音声データ
をアナログ音声信号に変換するためのＤ／Ａ変換部と、
そのアナログ音声信号を増幅するアンプと、スピーカと
からなる。アンプには、音質調整機能や音量調整機能が
付加されている。

【０２１２】表示装置４４０は、音声再生装置４３０で
再生される会議音声を補完するための画像情報や指示操
作情報、その他を表示するためのものである。この実施
の形態では、個人のユーザーが会議情報を再現して見る
ためには、大型ディスプレイ装置２に投影して拡大して
表示する必要はなく、パーソナルコンピュータ１のディ
スプレイに表示するだけで十分であるので、表示装置４
４０は、パーソナルコンピュータ１のディスプレイに相
当する。もちろん、スクリーン２Ｄに拡大表示するよう
にしてもよい。

【０２１３】再生制御部４００は、その機能ブロックと
して、タイマ４０１と、表示時刻判定部４０２と、音声
情報表示制御部４１０と、指示対象表示制御部４２０と
を備える。

【０２１４】再生制御部４００は、音声再生装置４３０
で音声データを再生させながら、指示語の発話時点と同
期させて、対応する指示対象物に関する画像情報を表示
装置４４０に表示する。

【０２１５】音声情報表示制御部４１０は、音声情報の
再生時に、音声データファイル７２からの音声データを
取得すると共に、リンク情報ファイル７１からのリンク
情報（指示語検出時刻）を取得し、現在再生位置を基準
として、再生位置の変化を表示するための表示を行う。
この例では、再生位置の経過の変化は再生音声波形を用
いる。また、このように、音声情報を視覚情報として再
生表示すると共に、指示語の検出時点をも視覚情報とし
て再生表示するようにする。さらに、音声情報表示制御
部４１０は、音声再生装置４３０の駆動制御のためのボ
タンアイコンを表示する機能も備える。

【０２１６】音声情報表示制御部４１０は、音声−波形
変換部４１１と、指示語リンク表示制御部４１２と、再
生指示ボタン表示制御部４１３からなる。

【０２１７】音声−波形変換部４１１では、音声情報の
周波数を視覚的な波形形状へと変換し、それを画面に表
示する。指示語リンク表示制御部４１２では、音声波形
により示される再生位置変化表示中の、指示語に対応す
る部分に、指示語が存在し、それに対応付けられた画像
情報へのリンクが存在していることを、視覚化して表示
する。

【０２１８】再生指示ボタン表示制御部４１３は、音声
再生装置４３０への再生指示のためのボタンアイコンを
表示し、ユーザーによりボタンアイコンがマウスなどに
より選択されたときに、選択されたボタンアイコンに応
じた再生指示制御信号を音声再生装置４３０に供給する
ようにする。

【０２１９】表示装置４４０には、いわゆるマルチウイ
ンドウの形式で、この例の場合には、後述するように、
波形情報表示ウインドウと、画像イメージウインドウが
表示される。そのうち、波形表示ウインドウが音声情報
表示制御部４１０により形成される。

【０２２０】図２２は、再生画面における、この波形情
報表示ウインドウのイメージ図である。すなわち、図２
２において、４５１は、この波形情報表示ウインドウの
枠であり、この波形表示ウインドウ内には、音声波形表
示エリア４５２と、指示語リンク表示エリア４５３と、
再生指示ボタン表示エリア４５４とが設けられる。

【０２２１】音声波形表示エリア４５２には、音声再生
装置４３０における音声の再生と連動して、音声−波形
変換部４１１で生成された図示のような音声波形情報が
表示される。図２２において、Ｔｃと表示されている縦
線位置が現在再生中の位置を示す。この現在再生位置Ｔ
ｃは、この場合、表示画面において、固定した位置とさ
れる。したがって、この例では、音声波形は、時間の経
過とともに、右から左方向へと移動していく。Ｔｃより
左側の領域は再生が終了した音声であり、右側は今後再
生される音声情報を示している。この例では、現在再生
中位置Ｔｃは、ウインドウ４５１の中央位置ではなく、
より時間的に未来の部分が広く表示されるように、ウイ
ンドウ４５１の左側に寄った位置に設定されている。

【０２２２】このため、音声情報表示制御部４１０は、
音声再生装置４３０で再生中の時点よりも未来の、少な
くとも、ウインドウ４５１の現在再生中位置Ｔｃよりも
右側の部分に相当する音声データ分を先読みして、音声
データファイル７２から取得するようにしている。

【０２２３】指示語リンク表示エリア４５３は、現在再
生位置Ｔｃに対する音声情報中の指示語の発話部分の区
間を、音声波形表示エリア４５２の音声波形の再生位置
変化に応じた移動に連動して、指示語リンクマーク４５
５で表示することにより、画像情報へのリンクが存在し
ていることを示す表示領域である。

【０２２４】前述したように、音声波形表示エリア４５
２が、より時間的に未来の部分が広く表示されるように
設定されているので、この波形表示に対応するように表
示される指示語リンクマーク４５５は、今後再生される
音声情報に対応して表示されるものである。つまり、指
示語の発話とそれにリンクする画像情報の存在をユーザ
は予見することができる。

【０２２５】再生指示ボタン表示エリア４５４には、音
声再生装置４３０での音声情報再生のための操作を指示
するボタンが表示される。この例では、再生ボタン４５
６と、停止ボタン４５７と、巻き戻しボタン４５８と、
ジャンプボタン４５９とが設けられる。

【０２２６】そして、再生ボタン４５６を選択すると、
音声画像情報の再生が開始される。停止ボタン４５７を
選択すると、再生が停止する。巻き戻しボタン４５８を
選択すると、再生位置が戻される。ジャンプボタン４５
９を選択すると、表示装置４４０の画面に、時刻を指定
するためのポップアップウィンドウが開き、時刻を指定
することにより、任意の時刻の音声画像情報を再生でき
る。

【０２２７】このジャンプボタン４５９を利用すること
により、予見情報としての指示語リンクマーク４５５の
存在位置から時刻を予測して、指示語にリンクする画像
情報が存在する位置にジャンプすることが可能になる。

【０２２８】なお、再生位置の変化を視覚化するための
手段としては、再生音声の波形を用いることに限定され
ず、画面上の、固定された現在再生位置表示に対して視
覚的に変化が分かる態様であれば、どのような表示であ
ってもよい。

【０２２９】表示時刻判定部４０２は、タイマ４０１の
時刻を監視し、リンク情報ファイル７１からの指示語検
出時刻から、指示対象物を表示する時刻を検出し、表示
時刻を検知すると、指示対象表示制御部４２０にそのこ
とを通知する。

【０２３０】指示対象表示制御部４２０の画像表示制御
部４２１は、指示語に対応する指示対象を含む画像を表
示装置４４０に表示する。指示対象表示制御部４２０
は、画像表示制御部４２１と、指示操作再現部４２２
と、予見情報表示制御部４２３と、残像情報表示制御部
４２４とからなる。

【０２３１】指示操作再現部４２２は、参加者のポイン
ティングデバイスによる指示操作の軌跡を、画像表示制
御部４２１により表示された画面イメージ上に再現して
表示する。予見情報表示制御部４２３は、指示操作を再
現する前に、指示操作の開始点への注目情報を表示す
る。残像情報表示制御部４２４は、指示対象の認識をす
るのに十分な時間だけ、指示操作の終了点に、注目情報
を表示する。これら指示操作再現部４２２、予見情報表
示制御部４２３および残像情報表示制御部４２４の処理
については、後で詳細に述べる。

【０２３２】指示対象表示制御部４２０により表示され
るのが、画面イメージウインドウである。この画面イメ
ージウインドウの例を図２３に示す。図２３において、
４６１は、この画面イメージウィンドウのウインドウ枠
を示す。

【０２３３】この画面イメージウインドウは、指示語に
対応する指示対象を表示するためのウィンドウであり、
現在再生中時点Ｔｃに到達した指示語リンクマーク４５
５に対応する画像データファイル７３から取り出された
画面イメージが、表示されるものである。

【０２３４】表示された画面情報の中で、指示対象を表
示するために、指示操作が再現される。指示操作は、矢
印カーソルアイコン４６２の動きとして表示される。図
２３では、この矢印カーソルアイコン４６２の移動軌跡
を太線の実線４６３で表現している。

【０２３５】ディスプレイ画面に画像情報を表示する
時、様々な表示方法が考えられるが、この実施例では、
縮小モードで表示する方法が採用されている。縮小モー
ドでは、波形情報表示ウィンドウと画面イメージウィン
ドウの両者が、表示装置４４０の画面内に収まるよう
に、取り込んだ画面イメージ全体を任意のサイズで縮小
して表示する。

【０２３６】ディスプレイ画面に画像情報を表示する方
法としては、その他にも、例えば、元の画面と同じ大き
さで表示する全画面モードもある。この全画面モードの
場合には、波形情報表示ウィンドウと画面イメージウイ
ンドウとの重なりが発生するため、波形情報表示ウィン
ドウをアイコン化したり、再生指示ボタン表示エリア４
５４だけにするなどして、できるだけ画面全体を見える
ようにする表示方法も、あわせて採用する。

【０２３７】なお、窓枠モードのように、画面サイズは
もとの大きさを変更せず、指示操作を行っている部分を
含む一定サイズの矩形領域を切り取って表示したり、指
示操作の周辺を詳細にし、その他の領域をおおまかに表
示する魚眼レンズモードなどを設けてももちろんよい。

【０２３８】次に、指示対象表示制御部４２０の処理の
詳細について説明する。図２４は、指示対象表示制御処
理の概要を示すフローチャートである。この処理は、予
見情報表示制御部４２３で実行される予見情報表示処理
４７１と、指示操作再現部４２２で実行される操作指示
再現処理４７２と、残像情報表示制御部４２４で実行さ
れる残像情報表示処理４７３との３つのステップを順次
に実行する処理である。以下に、予見情報表示処理４７
１、操作指示再現処理４７２、残像情報表示処理４７３
の各処理を説明する。

【０２３９】まず、操作指示再現処理４７２について説
明する。図２５は、指示操作再現処理４７２の流れを説
明するフローチャートである。

【０２４０】ステップ４８１では、現在の処理を起動し
た指示語に対応するポインティングデバイスの位置座標
の系列データを、指示対象ファイル７４から読み込み、
変数pdDataに代入する。次のステップ４８２では、変数
pdDataから位置座標を１つ取り出し、変数pdに代入す
る。

【０２４１】次のステップ４８３では、pd=nilかどうか
で、すべての位置座標の表示が終了したかを判定する。
終了していない場合には、次のステップ４８４に進み、
表示処理を継続する。すべての位置座標を終了した場合
には、指示操作再現処理は終了する。

【０２４２】ステップ４８４からステップ４８６までの
処理は、矢印カーソルアイコン４６２の表示位置を、１
単位分移動させて表示するための処理である。ステップ
４８４では、現在表示されている矢印カーソルアイコン
を消去する。変数Cpositionとは、矢印カーソルアイコ
ンの現在表示位置の値を保持する変数である。ステップ
４８５では、カーソル位置Cposition を次の位置である
pdに変更する。ステップ４８６では、新しい表示位置Cp
osition に、矢印カーソルアイコンを表示する。Cursor
は、カーソル表示用アイコンのビットマップを保持する
変数である。ステップ４８６の次にはステップ４８２に
戻り、処理を継続する。

【０２４３】以上により、前述の図２３に示した矢印カ
ーソルアイコン４６２による実線４６３に示すような指
示操作が再現される。

【０２４４】図２６および図２７は、予見情報表示およ
び残像情報表示の概要を説明する図である。図２６は、
予見情報表示時間および残像情報表示時間の概念を説明
する図である。予見情報表示処理は、指示操作の開始時
刻に先行して、指示語に対応する画面を表示し、その上
に、指示操作の開始点に相当する場所に、カーソルなど
の注目情報を、予め定めた一定時間ΔＴαだけ、表示す
る処理である。これにより、操作指示が始まることを予
見するための情報を、会議記録の再生者に提供するもの
である。

【０２４５】残像情報表示処理は、指示操作の終了後、
予め定めた一定時間ΔＴβだけ、指示操作の軌跡の残像
および、指示終了点にカーソルアイコンなどの注目情報
を表示する処理である。これは、指示対象をある一定時
間以上表示することによって、対象の認識および内容の
把握に十分な時間を確保し、かつ、指示操作終了後も、
指示対象を正確に認識できる情報を与える。

【０２４６】図２７は、予見情報、指示操作、残像情報
の表示画面のイメージ図である。この例では、例えば、
ΔＴα＝３秒、ΔＴβ＝１０秒と設定された場合として
説明する。

【０２４７】この例の場合には、指示語の発話の３秒前
には、予見情報表示処理が起動され、図２７Ａに示すよ
うな、予見情報表示画面５０１が開く。この予見情報表
示画面５０１では、文書中の棒グラフの中に、矢印カー
ソルアイコン４６２が表示されている。この矢印カーソ
ルアイコン４６２で示される位置が、操作指示の開始点
である。これにより、再生ユーザは指示語の指示対象部
分を予見することが可能になる。

【０２４８】そして、指示操作開始時刻になると、指示
操作再現処理が起動され、図２７Ｂに示すような指示操
作表示画面５０２の状態となる。この指示操作表示画面
５０２では、時間の経過とともに、ポインティングデバ
イスの位置座標に沿って、矢印カーソルアイコン４６２
の表示が移動する。矢印カーソルアイコン４６２の移動
の軌跡は、実線４６３で表示されているが、実際には、
表示されない。矢印カーソルアイコン４６２の動きで、
表示画像上の指示対象が特定される。

【０２４９】指示操作再現処理が終了すると、図２７Ｃ
に示すような残像情報画面５０３となる。この残像情報
画面５０３には、残像情報としてポインティングデバイ
スの指示操作軌跡４６４が表示されると共に、指示操作
の終了点に矢印カーソル４６２が表示される。ポインテ
ィングデバイスの指示操作軌跡は、画像情報が見えにく
くない程度の細い実線ないし波線で示される。この残像
情報画面５０３が、この例では、１０秒間表示され、そ
の後、画面イメージウィンドウは、自動的に閉じられ
る。

【０２５０】図２８は、予見情報表示制御処理の流れを
示すフローチャートであり、図２６をも参照しながら、
この処理の流れを説明する。

【０２５１】ステップ５２１では、指示語検出時刻Ｔｒ
から、開始時刻補正時間であるΔＴ前である指示操作開
始時刻（指示語発話時刻）Ｔｓを求める。次のステップ
５２２では、指示操作開始時刻Ｔｓから、予見情報表示
時間ΔＴα前の時刻を求めることで、予見情報開始表示
時刻Ｔαを算出する。

【０２５２】次のステップ５２３では、現在時刻Ｔｃ
が、予見情報表示開始時刻Ｔαを経過したかを判定す
る。経過していない場合は、経過するまでループを繰り
返す。予見情報表示開始時刻Ｔαを経過した場合、ステ
ップ５２４に進んで、処理中の指示語とリンクの張られ
た画面イメージの画像情報を、画面イメージウィンドウ
として表示する。

【０２５３】続いて、ステップ５２５で、指示対象ファ
イル７４から、該当する指示操作の位置座標系列データ
の第１データを読み込み、カーソル表示位置を表す変数
Cposition に代入する。これは、指示操作の開始点を示
すデータである。次のステップ５２６では、変数Cposit
ion の位置に矢印カーソルアイコン４６２を表示する。

【０２５４】ステップ５２７では、現在時刻Ｔｃが指示
操作開始時刻Ｔｓを経過したかを判定する。経過してい
ない場合には、経過するまでループを繰り返す。現在時
刻Ｔｃが指示操作開始時刻Ｔｓを経過した場合には、以
上の予見情報表示処理は終了する。

【０２５５】次に、図２９は、残像情報の表示処理の流
れを示すフローチャートである。図２６をも参照しなが
ら、この処理の流れを説明する。

【０２５６】まず、ステップ５４１では、指示操作開始
時刻Ｔｓ＝指示語検出時刻Ｔｒ−ΔＴに、指示操作時間
ΔＴｉを加算し、指示操作終了時刻Ｔｅを算出する。こ
こで、ΔＴｉ＝Δｔ×Ｎであり、したがって、 Ｔｅ＝Ｔｒ−ΔＴ＋Δｔ×Ｎ である。なお、Δｔは、操作指示のデータ採取間隔であ
り、Ｎは、指示対象ファイル７４に記録された操作指示
の位置座標系列データのデータ個数である。

【０２５７】次のステップ５４２では、指示操作終了時
刻Ｔｅと残像情報表示時間ΔＴβとから、残像情報表示
終了時刻Ｔβを算出する。

【０２５８】次のステップ５４３では、現在時刻Ｔｃ
が、指示操作終了時刻Ｔｅを経過したかを判定する。経
過していない場合は、経過するまでループを繰り返す。
現在時刻Ｔｃが、指示操作終了時刻Ｔｅを経過した場
合、ステップ５４４に進み、まず、残像情報の１つめの
情報である、ポインティングデバイスの移動軌跡を表示
する。この例では、前述の図２７Ｃに示したように、指
示対象の位置座標の系列データを連結する実線４６４を
表示する。

【０２５９】次のステップ５４５では、指示対象ファイ
ル７４から、該当する指示操作の位置座標系列データの
最後のデータを読み込み、カーソル表示位置を表す変数
Cposition に代入する。これは、指示操作の終了点を示
すデータである。そして、次のステップ５４６では、変
数Cposition の位置に矢印カーソルアイコン４６２を表
示する。

【０２６０】次のステップ５４７では、現在時刻Ｔｃが
残像情報表示終了時刻Ｔβを経過したかを判定する。経
過していない場合には、経過するまでループを繰り返
す。残像情報表示終了時刻Ｔβを経過した場合には、ス
テップ５４８で画面イメージウィンドウを閉じて、以上
の残像情報表示処理は終了する。

【０２６１】以上説明したように、この実施の形態の会
議情報記録再生装置によれば、音声情報だけではあいま
いであった、指示語に対応する外部参照物に関する情報
が補われ、より正確な会議情報の再生が可能となる。ま
た、指示語の指示対象の情報を取り込むタイミング、お
よび指示対象物の特定が自動的に行われて、記録される
ために、人の手間を煩わせることがなく、手間の削減と
なる。さらに、音声情報を補完するために必要最小限の
データが記録されるために、記憶容量が節減できる。

【０２６２】また、複数のポインティングデバイスの競
合が解消でき、指示語が参照している指示対象を指し示
す、最も適切なポインティングデバイスが選択できる。
特に、必ずしも発言者が対象を指し示していない場合
や、発言者に変わって、司会者や表示装置の近くにいた
人が指し示した場合、あるいは、複数人が同時に指し示
した場合などでも、適切に対応でき、より実際の会議の
状況に即したポインティングデバイスの選択が可能とな
り、指示対象の選択の正確さが向上する。

【０２６３】また、音声認識の遅れによる指示操作開始
時点の検知時点を補正でき、指示対象の指示操作の、よ
り正確な記録が可能となる。さらに、指示操作の再現に
おいて、操作の開始点は、最初に注目を集めるという意
味で、重要な役割を持っているが、指示操作の開始点が
より正確に求められることで、記録の再現時の情報の認
識性が向上する。

【０２６４】また、自動的に指示操作の終了が判定でき
るので、ポインティングデバイスの操作者が、意識的に
指示操作の終了を明示的に指示する必要がなく、手間が
軽減できる。また、短時間内に続けて指示語が検出され
る場合でも、一定時間以上、指示操作の記録を行うこと
で、指示操作の視認性を保証できる。さらに、一定時間
以内で記録を終了することで、ポインティングデバイス
の無意味な動きを必要以上に記録しない。これにより、
記録の再生時に、不要な情報によって、記録の参照者を
混乱させることを避け、必要な情報のみを提示できる。
さらに、記憶容量も軽減できる。

【０２６５】また、音声情報およびリンク情報を視覚化
することにより、なんらかの注目すべき情報の存在を予
見させることが可能となり、見逃しを少なくできる効果
がある。また、適切なタイミングで音声情報を補完する
画像情報および指示操作の再現を行い、必要なタイミン
グで情報の提示を終了することにより、会議情報の再現
を参照する人に、過剰な情報を与えて混乱させることを
防ぐことができ、会議内容の把握の効率を向上させる。

【０２６６】また、やや早めに指示語にリンクする画像
を表示し、注目情報の表示が行われることで、指示対象
の存在に関する予見ができるようになる。このことによ
り、実際の会議では、どこを指し示そうとしているか
は、司会者や参加者の挙動から推測可能であるが、再生
時に何の予見もなしに、注目箇所が短時間再生されるだ
けでは、どこが本当に指し示されたのか、見逃す可能性
があるという問題が緩和でき、注目箇所の見逃しを減少
させることができる。

【０２６７】また、指示操作の終了後、即座に指示対象
に関する情報が消えるのではなく、操作終了後も、一定
時間、指示対象に関する残像情報を表示でき、注目箇所
の見逃しを減少させることができる。さらに、指示操作
再現後に、いったん情報から目をそらせた後でも、容易
に指示対象を再認でき、情報へのアクセスの容易性を向
上させる。

【０２６８】さらに、指示語の発話と、リンクする画像
情報ないし指示操作情報の存在を予見する手段があるの
で、これを用いて主要な会議記録部分のみを、いわゆる
飛ばし再生することも可能になる。

【０２６９】なお、以上の例では、ポインティングデバ
イスは、赤外線を発光するものを使用したが、ポインテ
ィングデバイスとしてはこれに限られるものではなく、
例えば、ペンやマウスのように、パーソナルコンピュー
タのディスプレイ上にカーソルとして指示操作位置を示
すようなものであってもよい。その場合には、大型ディ
スプレイ装置２には、指示操作位置を認識する機能を設
ける必要はなく、パーソナルコンピュータ１で、いずれ
のポインティングデバイスが操作されたかを容易に判別
できると共に、各ポインティングデバイスの指示操作位
置の座標データを容易に取得することができる。

【０２７０】また、上述の例では、ポインティングデバ
イスを会議参加者のそれぞれに割り当てて指示語に対応
する指示操作を任意の参加者が行う場合について説明し
たが、共通の１個ないしは会議参加者の数よりは少ない
数のポインティングデバイスにより、任意の会議参加者
が指示操作を行う場合にも、この発明は適用できる。す
なわち、その場合にも、有意な動きを呈するポインティ
ングデバイスの指示操作を対応する指示語に対応する指
示操作とすることにより、指示操作を伴わない単なる指
示語の発話の時点の画像を取り込まないので、必要な画
像情報のみを効率よく会議情報として記録することがで
きるものである。

【０２７１】また、この発明は、図２に示したような会
議室において、複数の参加者が集合して会議を行うシス
テムではなく、ネットワークを通じて接続され、各会議
参加者が、個々のディスプレイに共通の表示画像を表示
させて、その共通の表示画像を見ながら行うネットワー
ク会議システムの会議情報記録再生装置としても適用可
能である。

【０２７２】また、以上の実施の形態は、会議情報の記
録再生を行う装置の場合であるが、記録機能と再生機能
とを分離して、会議情報記録装置単独の構成および会議
情報再生装置単独の構成とすることも可能である。ただ
し、その場合の会議情報再生装置は、この発明による会
議情報記録装置で記録された会議情報の再生専用の構成
となる。

【０２７３】

【発明の効果】以上のように、この発明による会議情報
記録方法および装置によれば、会議の音声情報を補完す
るための画像情報および会議参加者の指示情報として、
適切なタイミングなものであって、適切に選定されたも
ののみが記録されるので、会議の内容を正確に再現する
ことができる情報を、少ない情報量で記録することが可
能になる。

【０２７４】また、会議の音声情報を補完するための画
像情報および会議参加者の指示情報は、適切なタイミン
グで自動的に記録されるので、会議参加者は、会議の記
録を意識して会議を行う必要はなく、また、会議記録の
ための人間を特におく必要もない。

【０２７５】また、この発明による会議情報記録再生装
置によれば、会議の内容を正確に再現することができる
情報を、少ない情報量で記録することが可能であるとと
もに、再生時に、会議の音声情報を再生しながら、指示
語の発話時点で、当該指示語にリンクする画像情報ない
し指示操作が自動的に表示されるので、会議内容を正確
に把握することが容易である。

【図面の簡単な説明】

【図１】この発明による会議情報記録再生装置の一実施
の形態の記録系のシステム構成図を示すブロック図であ
る。

【図２】この発明の実施の形態が適用される電子会議室
における対面型会議の概念図である。

【図３】この発明の実施の形態により記録された会議情
報の記録内容の例を説明するための図である。

【図４】この発明の実施の形態により記録された会議情
報の記録データのデータ構造の例を説明するための図で
ある。

【図５】この発明の実施の形態における指示語検出処理
の概要を説明するための指示語テーブルのデータ構造を
示す図である。

【図６】この発明の実施の形態における指示語検出処理
の例を説明するフローチャートである。

【図７】指示操作を説明する図である

【図８】この発明の実施の形態における指示対象の検出
処理の例の概要を説明するフローチャートである。

【図９】この発明の実施の形態における指示語に対応す
る指示操作手段の選択処理の例に使用する参加者属性テ
ーブルの例を示す図である。

【図１０】この発明の実施の形態における指示語に対応
する指示操作手段選択処理の流れの例の一部を示すフロ
ーチャートである。

【図１１】この発明の実施の形態における指示語に対応
する指示操作手段選択処理の流れの例の続きを示すフロ
ーチャートである。

【図１２】この発明の実施の形態における指示操作手段
の指示操作の有意性判定処理の例の概要を示すフローチ
ャートである。

【図１３】図１２の有意性判定処理における指示操作手
段の有意な移動量を説明するための図である。

【図１４】この発明の実施の形態における指示操作手段
の移動量の有意性を判定する処理の例を示すフローチャ
ートである。

【図１５】この発明の実施の形態における指示操作手段
の指示操作開始時刻を補正するための処理の例を説明す
るための図である。

【図１６】この発明の実施の形態における指示操作手段
の位置座標データを保持するバッファのデータ構造の例
を説明する図である。

【図１７】この発明の実施の形態における指示操作手段
の指示操作開始点補正処理の流れの例を示すフローチャ
ートである。

【図１８】この発明の実施の形態における指示操作手段
の移動量に関する終了判定条件を説明するための図であ
る。

【図１９】この発明の実施の形態における指示操作手段
の時間に関する終了条件を示す図である。

【図２０】この発明の実施の形態における指示操作の終
了判定処理の流れを示すフローチャートである。

【図２１】この発明による会議情報記録再生装置の実施
の形態の再生系のシステム構成図を示すブロック図であ
る。

【図２２】この発明の実施の形態における再生画面の例
のイメージ図である。

【図２３】この発明の実施の形態における再生画面の例
のイメージ図である。

【図２４】この発明の実施の形態における指示対象表示
制御処理の例の概要を示すフローチャートである。

【図２５】この発明の実施の形態における指示対象表示
制御処理の例を説明するフローチャートである。

【図２６】この発明の実施の形態における予見情報表示
および残像情報表示の概要を説明する図である。

【図２７】この発明の実施の形態における予見情報、指
示操作、残像情報の表示画面のイメージを示す図であ
る。

【図２８】この発明の実施の形態における予見情報の表
示処理の流れの例を示すフローチャートである。

【図２９】この発明の実施の形態における残像情報の表
示処理の流れの例を示すフローチャートである。

【符号の説明】

１…パーソナルコンピュータ ２…大型ディスプレイ装置 １０〜１４…会議参加者 ２０〜２４…ポインティングデバイス（指示操作手段） ３０〜３４…マイクロホン ６０…記録制御部 ６１…指示語検出部 ６２…指示語検出通知部 ６３…指示対象検出部 ６４…画像取込装置 ６５…タイマ ６６…ファイル格納部 ６７…指示履歴記録部 ６８…Ａ／Ｄ変換部 ７０…記録領域 ７１…リンク情報ファイル ７２…音声データファイル ７３…画像データファイル ７４…指示対象ファイル ４００…再生制御部 ４０１…タイマ ４０２…表示時刻判定部 ４１０…音声情報表示制御部 ４１１…音声−波形変換部 ４１２…指示語リンク表示制御部 ４２０…指示対象表示制御部 ４２１…画像表示制御部 ４２２…指示操作再現部 ４２３…予見情報表示制御部 ４２４…残像情報表示制御部 ４３０…音声再生装置 ４４０…表示装置

Claims (12)

【特許請求の範囲】
1. 【請求項１】共通の表示画面内容を見ながら複数人の会
   議参加者が会議を行う場合の音声情報を記録すると共
   に、この音声情報を補完するための、適宜のタイミング
   の前記表示画面内容を含む画像情報と、必要に応じて前
   記表示画面上における任意の会議参加者の指示操作の情
   報とを合わせて記録する方法において、 会議参加者が指示語を発話したときに、当該指示語に対
   応する任意の会議参加者の前記表示画面上の指示操作が
   あるか否かを検出し、 前記指示語に対応する指示操作があったときに、少なく
   とも、その指示対象を含む画像情報を、前記音声情報の
   指示語の発話部分に関連付けて記録するようにしたこと
   を特徴とする会議情報記録方法。
2. 【請求項２】前記指示語に対応する指示操作があったと
   きに、その指示対象を含む画像情報に加えて、前記指示
   語に対応する指示操作の操作軌跡の情報を、前記指示語
   の発話部分の音声情報に関連付けて記録することを特徴
   とする請求項１に記載の会議情報記録方法。
3. 【請求項３】会議に寄与する画像情報を表示するための
   表示装置と、 会議参加者が、前記表示装置の画面上で、任意の位置を
   指示するための指示操作手段と、 前記指示操作手段で指示された画面上の位置を認識する
   位置認識手段と、 前記会議中の音声情報入力を受けるための音声情報入力
   手段と、 前記音声情報入力手段からの音声情報から、指示語の音
   声情報を検知する指示語検出手段と、 前記指示語検出手段で検出された指示語に対応する前記
   指示操作手段による指示操作を検出する指示操作検出手
   段と、 前記音声情報入力手段からの会議中の音声を記録すると
   共に、前記指示操作検出手段で前記指示語に対応する前
   記指示操作手段による指示操作が検出されたときに、少
   なくともに、その検出された指示操作の指示対象を含む
   画像情報を、前記指示語検出手段で検出された前記指示
   語の発話部分の音声情報に関連付けて記録する記録手段
   とを具備することを特徴とする会議情報記録装置。
4. 【請求項４】請求項３に記載の会議情報記録装置におい
   て、 前記記録手段は、前記指示対象検出手段で検出された指
   示対象を含む画像情報に加えて、前記位置認識手段から
   の位置情報を用いた前記指示操作手段の指示操作軌跡の
   情報を、前記指示語検出手段で検出された前記指示語の
   発話部分の音声情報に関連付けて記録することを特徴と
   する会議情報記録装置。
5. 【請求項５】前記指示操作手段が、複数人の会議参加者
   に対応して複数個設けられる請求項３に記載の会議情報
   記録装置において、 前記指示対象検出手段は、 会議参加者の属性により、各会議参加者の優先度を判定
   する参加者属性判定手段と、 前記指示操作手段による表示画面上の指示座標位置の変
   動量が、定められた有意な移動量条件を満足するかどう
   かにより、その指示操作が有意か否かを判定する指示操
   作有意性判定手段と、 前記複数個の指示操作手段による表示画面上の指示座標
   位置の変動量を比較することにより、前記指示操作手段
   の優位性を判定する指示操作手段優位性判定手段とを具
   備し、前記参加者属性判定手段の判定結果と、前記指示
   操作有意性判定手段の判定結果と、前記指示操作手段優
   位性判定結果とに基づいて、前記指示語に対応する前記
   指示操作手段による指示操作を検出することを特徴とす
   る会議情報記録装置。
6. 【請求項６】請求項４に記載の会議情報記録装置におい
   て、 各指示操作手段毎に、予め定められた一定時間分の指示
   操作位置の座標データを記録する指示履歴記録手段を備
   え、 前記指示操作検出手段は、前記指示履歴記録手段の座標
   データを用いて、前記指示語の検出時点の、前記指示語
   の発話時刻に対する時間遅れを補正して、指示操作の開
   始時点を検出することを特徴とする会議情報記録装置。
7. 【請求項７】請求項４に記載の会議情報記録装置におい
   て、 前記指示操作検出手段は、 前記指示操作手段による指示座標位置の変動量の大きさ
   により、前記指示操作手段による指示操作の終了を判定
   する終了位置判定手段と、 指示操作の開始時点とされる時点からの経過時間を監視
   することにより、前記指示操作手段による指示操作の終
   了を判定する終了時間判定手段と、 次の指示語の検出を知らせる通知手段とを備え、前記終
   了位置判定手段と、前記終了時間判定手段と、前記通知
   手段とに基づいて、前記指示操作手段による指示操作の
   終了点を検出することを特徴とする会議情報記録装置。
8. 【請求項８】会議に寄与する画像情報を表示するための
   表示装置と、 会議参加者が、前記表示装置の画面上で、任意の位置を
   指示するための指示操作手段と、 前記指示操作手段で指示された画面上の位置を認識する
   位置認識手段と、 前記会議参加者の発言の音声情報入力を受けるための音
   声情報入力手段と、 前記音声情報入力手段からの音声情報から、指示語の音
   声情報を検知する指示語検出手段と、 前記指示語検出手段で検出された指示語に対応する前記
   指示操作手段による指示操作を検出する指示操作検出手
   段と、 前記音声情報入力手段からの会議中の音声を記録すると
   共に、前記指示操作検出手段で前記指示語に対応する前
   記指示操作手段による指示操作が検出されたときに、少
   なくともに、その指示対象を含む画像情報を、前記指示
   語検出手段で検出された前記指示語の発話部分の音声情
   報に関連付けて記録する記録手段と、 前記記録された音声情報を再生する音声再生手段と、 前記音声情報の再生時に、前記指示語の発話時点におい
   て、前記指示語に対応する画像情報を表示する画像情報
   表示手段とを備えることを特徴とする会議情報記録再生
   装置。
9. 【請求項９】請求項８に記載の会議情報記録再生装置に
   おいて、 前記記録手段は、前記指示対象検出手段で検出された指
   示対象を含む画像情報に加えて、前記位置認識手段から
   の位置情報を用いた前記指示操作手段の指示操作軌跡の
   情報を、前記指示語検出手段で検出された前記指示語の
   発話部分の音声情報に関連付けて記録するものであり、 この指示操作軌跡の情報により、前記音声情報の順次再
   生時に、前記指示語の発話時点において表示される前記
   指示語に対応する画像情報に重ねて、前記指示操作手段
   の指示操作軌跡を表示して、前記指示語に対応する指示
   対象を特定することを特徴とする会議情報記録再生装
   置。
10. 【請求項１０】会議中の音声情報と、この音声情報を補
    完する情報として、会議参加者が指示語を発話したとき
    に、当該指示語に対応する任意の会議参加者の前記表示
    画面上の指示操作があった場合に、その指示対象を含む
    画像情報と、前記指示語に対応する前記指示操作の軌跡
    の情報とが、前記指示語の発話時点の時刻をリンク情報
    として、前記音声情報に関連付けて記録された会議情報
    の再生装置であって、 前記画像情報および前記指示操作の操作軌跡を表示する
    ための表示装置と、 前記表示装置の画面に、前記音声情報の再生位置の変化
    を、現在再生位置に対応する画面表示に対して表示する
    ようにする第１の表示制御手段と、 前記リンク情報を参照して、前記現在再生位置よりも未
    来の再生位置の指示語の発話およびそれに関連する画像
    情報の存在を予見させる表示を、前記再生位置の変化表
    示に関連させて行うようにする第２の表示制御手段とを
    備えることを特徴とする会議情報再生装置。
11. 【請求項１１】会議中の音声情報と、この音声情報を補
    完する情報として、会議参加者が指示語を発話したとき
    に、当該指示語に対応する任意の会議参加者の前記表示
    画面上の指示操作があった場合に、その指示対象を含む
    画像情報と、前記指示語に対応する前記指示操作の軌跡
    の情報とが、前記指示語の発話時点の時刻をリンク情報
    として、前記音声情報に関連付けて記録された会議情報
    の再生装置であって、 前記画像情報および前記指示操作の操作軌跡を表示する
    ための表示装置と、 前記リンク情報に基づいて定められる前記指示語に対応
    する指示操作の開始時点から、予め定められた一定時間
    前の時点を算出する手段と、 当該一定時間前の時点から、対応する画像情報を前記表
    示装置の画面に表示すると共に、前記定められた一定時
    間の間、前記表示手段の画面上において、前記指示操作
    の開始点に視覚的注目情報表示を行う手段とを備え、指
    示対象物に関して予見可能としたことを特徴とする会議
    情報再生装置。
12. 【請求項１２】会議中の音声情報と、この音声情報を補
    完する情報として、会議参加者が指示語を発話したとき
    に、当該指示語に対応する任意の会議参加者の前記表示
    画面上の指示操作があった場合に、その指示対象を含む
    画像情報と、前記指示語に対応する前記指示操作の軌跡
    の情報とが、前記指示語の発話時点の時刻をリンク情報
    として、前記音声情報に関連付けて記録された会議情報
    の再生装置であって、 前記画像情報および前記指示操作の操作軌跡を表示する
    ための表示装置と、 前記記録された音声情報を再生する音声再生手段と、 前記音声情報の再生時に、前記指示語の発話時点におい
    て、前記指示語に対応する画像情報を前記表示装置の画
    面に表示する画像表示制御手段と、 前記画像表示制御手段により前記指示語の発話時点にお
    いて表示される前記指示語に対応する画像情報に重ね
    て、前記指示操作の軌跡の情報により、対応する前記指
    示操作を視覚的に再現する指示操作再現手段と、 前記再現された指示操作の終了時点から、定められた一
    定時間経過後の時刻を特定する手段と、 前記定められた一定時間の間、指示操作の軌跡の残像情
    報を表示する手段と、 前記指示操作の終了点に視覚的注目情報表示を行う手段
    と、 前記一定時間の経過後に、前記注目情報の表示を消去す
    る手段とを備えることを特徴とする会議情報再生装置。