JPH09512656A - 対話式ビデオ映像表示システム - Google Patents

Abstract

(57)【要約】 コンピュータ（１２）と、コンピュータ（１２）のビデオ出力ポート（１２ａ）に接続した投映装置（２０、２２）と、少なくとも１個のビデオカメラ（２８ａ、・・・ｎ）とを含む、対話式ビデオ映像表示システムであって、コンピュータはビデオ画像を生成し、投映装置はコンピュータが生成したビデオ画像を投映スクリーン（２６）上に投映し、ビデオカメラは、この映像を録画する。コンピュータは、ビデオカメラに接続されたフレーム・グラバー・ボードを含み、個々のフレーム又は一連のフレームを映像のビデオ録画から捕獲する。捕獲された画像は、コンピュータが生成した画像と比較され、コンピュータに命令を行うためにユーザーによって映像上に導入されたオブジェクトの存在を検出し、コンピュータ操作をトリガーする。また、本発明のシステムは、通常のマウスを使用するいずれの標準的な応用でも使用されるマウスをシミュレーションすることができ、コンピュータが生成したデータの注釈をホワイトボードのようにマーキング可能な投映面で行うことが可能である。

Description

【発明の詳細な説明】 対話式ビデオ映像表示システム 発明の背景 １．発明の分野 本発明は、ビデオ映像（projected video image）表示システムに関する。特 に、本発明は、アクチブ（active）コンピュータ入力デバイスを必要とせずに、 ビデオ映像との対話（interaction）を直接的に行える、コンピュータをベース としたビデオ映像表示システム及び方法に関する。 ２．従来技術の説明 ビデオ画像（video image）を生成するためのコンピュータやコンピュータに よって生成されたビデオ画像を拡大してスクリーンに投映するための投映デバイ スを使用するビデオ映像表示システムは、小規模から中規模程度の会場において グループで行われるプレゼンテーションで一般的に使用されるようになってきて いる。このようなビデオ映像表示システムでは、プレゼンテーション中に新しい 画像を変更したり生成するためのコンピュータに情報を対話的に入力できること が、投映スクリーン（コンピュータから離れた場所にある） の横に立つユーザーに望まれている。 コンピュータとの対話を行う在来のものでは、「アクチブ」要素又はコンピュ ータ入力デバイスを使用してカーサー（cursor）の移動を制御しなければならな い。例を挙げると、一般的なコンピュータ入力デバイスは、ライトペン（light pen）やデジタル化テーブル（digitizing table）のようなアブソリュート・ポ ジショニング・デバイス（absolute positioning device）を含み、また、ジョ イ・スチック（joy stick）、マウス・デバイス（mouse device）やトラック・ ボール（track ball）のようなリラチブ・ポジショニング・デバイス（relative positioning device）を含む。しかし、このようなアクチブ入力デバイスは、 ビデオ映像表示システムでの効果的な使用に制限を与えることがよくある。例え ば、在来のライトペンのようなアブソリュート・ポジショニング・デバイスでは 、ユーザーが、コンピュータに接続したモニターのビデオスクリーン表示と直接 に対話しなければならない。これは、プレゼンテーションの自発性を殺いでしま うことになる。つまり、ユーザーが、コンピュータによって生成されたビデオ画 像を変更したいとき、ユーザーは、コンピュータのモニターと投映スクリーンと の間を往復しなければならない。また、トラック・ボールやマウス・デバイスの ようなリラチブ・ポジショニング・デバイスの場合、ユーザーが、トラック・ボ ールやマウスの操作に十分に慣れていなければならない。これは厄介なものであ り、両手を使用しなければならない（つまり、一方の手でトラック・ボール又は マウス・パッドを保持し、他方の手でトラック・ボール又はマウスを操作して、 カーサーを移動する）。このような両手での操作が、プレゼンテーションの自然 な流れを阻むことになる。 従来技術のビデオ映像表示システムでは、ユーザーがライトペンを手に持って 、コンピュータが生成した画像を提供する投映スクリーン上にユーザーが直接に 強い光をあてて、コンピュータに補助的な情報を与える。このような従来技術の システムでは、スクリーン上の映像に向けた強い光を検出するために、光検出デ バイスが使用される。コンピュータが生成した画像と、映像上の反射光の変化と を区別するために、信号処理装置が使用され、コンピュータに情報を対話的に入 力する。以上のようなシステムの例が、バリー・ブロンソン（Ｂarry Ｂronson ）の米国特許第５１３８３０４号、及びロジャー・エル・マーシャル（Ｒoger Ｌ.Ｍarshall）らの米国特許第５１８１０１５号に開示されている。 しかし、上記の周知のシステムでは、光検出デバイス及び 関係する信号処理装置が、典型的に、特殊な目的のために設計され、このため高 価である、という欠点がある。また、アクチブ入力デバイス（例えば、ライトペ ン）では、プレゼンテーション中に、ライトペンで誤った箇所を指し示したり、 落としたり、破損したりし易く、また、バッテリーがなくなってしまう、という 欠点がある。 映像を変更するために、ユーザーが、ビデオ映像表示システムのコンピュータ とより自然に対話できることが望まれる。また、コンピュータに変更を入力する ためのライトペン、マウスデバイス、トラックボール等のアクチブ入力デバイス を要しないビデオ映像表示システムを提供することが望まれる。特に、所望のコ ンピュータ操作をトリガー（trigger）するために、ユーザーによって映像上に 導入されたオブジェクト（object）とビデオ映像との組み合わせによって作り出 される特定的な特徴形状（feature）又はパターン（pattern）を光学的に認識す る対話式ビデオ映像表示システムを提供することが望まれる。最後に、特殊的に 使用し且つ嵩価な光検出構成成分及び関連する信号処理装置を必要としない対話 式ビデオ映像表示システムを提供することが望まれる。 発明の概要 本発明の目的は、上述の所望の特徴を有し、且つ上述のような従来技術の欠点 を解消することのできる有効な機能をもった装置及び方法を提供することである 。 本発明は、対話式ビデオ映像表示システムを提供する。本発明のシステムは、 ビデオ画像を生成するためのコンピュータと、コンピュータのビデオ出力ポート に接続され、コンピュータによって生成されたビデオ画像を投映スクリーンに投 映するための投映装置と、映像を可視的に録画するために投映面に向けられた在 来のビデオカメラのような光学式録画デバイスとを含む。コンピュータは、ビデ オカメラに接続したフレーム・グラバー・ボード（frame grabber board）等の 画像捕獲（capture）手段を含み、映像のビデオ録画から個々のフレーム又は一 連のフレームを捕獲する。次に、捕獲した画像と、コンピュータが生成した画像 とを比較し、導入されたオブジェクトとビデオ画像との組み合わせによって作り 出された特定的な特徴形状又は認識されるパターン／特徴形状を有するオブジェ クトの存在を検出する。 このオブジェクトは、プレゼンテーション中に、ユーザーによって映像上に導 入される。このオブジェクトは、例えば、特定方向に向けたユーザーの手又は指 、ポインター（ pointer）、ペン等のように、認識可能な特徴形状を有する在来のいずれのポイ ンチング要素（pointing element）であり得る。このポインチング要素を検出し 、コンピュータを動作して特定のタスク（task）を実行するための手段は、好適 に、周知の画像処理アルゴリズム及び技術によって書かれたソフトウエア・プロ グラムで実施される。 操作の第１のモードでは、映像に含まれるボタンを「クリック」する。このボ タンは、例えば、「次の画像へすすめ」、「画像をメモリに保存せよ」等のよう な特定のタスクを実行するためにコンピュータへ指示を送るための指令（instru ction）を含む。このモードでは、ボタンの場所は、コンピュータに予め決定さ れ、予め知られている。ユーザーは、映像上のボタン上にポインチング要素を位 置させる。このとき、ビデオカメラがこの動きを録画する。 特徴形状検出処理に従って、フレーム・グラバーが、ボタン及びポインターを 含む単一のフレームを捕獲する。次に、ボタンの場所に対応する捕獲された画像 上の隠蔽領域の探索がなされる。ポインチング要素が検出されると、アクチブ信 号が生成され、コンピュータが、選択されたボタンに対応する指令を実行する。 操作の第１のモードの簡単な応用では、グレー・スケール （gray scale）比較技術が使用され、所定の光強度の投映面の他の部分と比較し たり、同一ボタン領域で前回測定した影のレベルと比較することによって、投映 されたボタンにある影の量を確認する。この場合、ユーザーは、単に、手や他の オブジェクトを所定の長さの時間の間だけ、投映したボタンを隠蔽又は被覆する ことによって、投映されたボタンを「クリック」できる。 ビデオカメラによって捕獲され、コンピュータが生成した画像と比較するため の映像上の光強度の変化を誘発するために、選択的に、ユーザーは、投映された ボタン上にライトペンのような光源をあてることによって、投映されたボタンを 「クリック」することもできる。 上述の接触（touch）検出処理は、アルゴリズム的には非常に簡単であるが、 対話セッション中に起こる多くの事象によって、「トリガー」を誤ることがある 。このような事象の例としては、（１）投映されたボタンの前をユーザーが横切 るときに起こるようなユーザーによる意図としない事故的なもの、及び（２）外 部ソース（例えば、扉を開けたり、部屋の照明のオン／オフ）による投映区域の 局部的な照度の突然の変化を含む。このような事象に対するシステムの感度を低 減させるために、空間的な配置と一時的な一貫性とを要求す る技術が使用される。コンピュータは、ボタンのターゲット区域を考えるだけで なく、ターゲット区域の周囲の他の隣接する区域又は領域をも考える。これら周 囲の区域又は「見えざるボタン」が曖昧（obscration）である場合、接触検出が 抑制される。この技術は、曖昧な見えざるボタンのいくつかを考慮に入れるよう 変更され、これによって、ユーザーの伸ばした腕が横切ったときにターゲット区 域にある所望のボタンに接触することができる。これを「区別的」接触という。 さらに、一定時間持続される曖昧な形状は、ユーザーが画面を横切る間に起こる トリガーを防止する。 操作の第１のモードのより高度な応用では、コンピュータは、特徴形状摘出又 はパターン相関のようような、より高度な画像処理技術に従ってプログラムされ 、特別なパターン、又は映像と比較されるような捕獲した画像でのパターンの変 化を見つけ出す。このような特別なパターシは、例えば、投映されたボタンに含 まれる投映線にわたって横たえられるペンによって形成される十字を含む。コン ピュータもまた、輪郭、大きさ、色彩等、又は、例えば、チェックマークをする ことに対応した手の動作のような導入されるオブジェクトの特別な移動のような 他の特別な特徴形状を見つけ出すことができるようにプログラムされる。 操作の第２のモードでは、ユーザーは、ビデオ映像上を指し示す。このモード では、所望のマーキングの場所が、コンピュータには予め知らされていない。ユ ーザーは、ポインチング要素又はポインター（コンピュータによって認識可能な パターンや姿勢（posture）を有する）を使用することによって、その場所をマ ーキングする。本発明の好適実施例では、ユーザーは、投映スクリーンに接触す ることによってその位置をマーキングする。投映スクリーンに対するポインチン グ要素又はポインター（コンピュータによって認識可能なパターン又は特徴形状 を有する）の接触は、周知のグレー・スケール比較技術によって再度にわたって 明らかにされ、ポインターがその独自の影と合致するときに検出する。変形的に 、ポインターが投映スクリーンの表面に実際に接触したことを明らかにするため に、投映スクリーンに対して側部方向から角度をつけて向けられた第２のビデオ カメラが使用される。 操作の第２のモードのより高度の応用では、ポインチング要素は、ビデオ映像 と組み合わせて使用され、画像上の位置のマーキングのための所定の特徴形状を 生成する。例えば、ビデオ映像は、画像全体を覆う一連の等間隔の垂直線を含む 。ユーザーは、１個の垂直線上にポインチング要素を維持 させることによって認識可能な十字パターンを生成することにより位置をマーキ ングする。さらに高度な特徴形状は、ビデオ画像に、より複雑なパターンを組み 合わせることによって生成される。 操作の第２のモードの他の応用では、ユーザーは、マウス・ポインチング・デ バイス又はライトペンのようなビデオカーサー制御手段としてポインターを使用 して、手書きのテキストを入力したり、直線、曲線又は他のグラフィック的なオ ブジェクトを映像に直接に描き込むことができる。 操作の第２のモードのその他の応用としては、入力デバイスとして通常のマウ スを使用するいずれのシェルフ・アプリケーション（shelf application）とも 稼働するマウスの全シミュレーションを行うことができる。 本発明の他の目的は、以下の説明及び請求の範囲から明らかになり、添付の図 面に示され、ここで、添付図面は、本発明の好適な実施例及びその原理を示し、 この原理を適用することにより予測される最良の形熊を示すものである。同一又 は同等の原理により具現される本発明の他の実施例が、本発明及び添付の請求の 範囲を逸脱することなく、当業者によってなされるであろう。 図面の簡単な説明 図１は、本発明の第１の実施例のビデオ映像表示システムの概略図である。 図２は、本発明の第２の実施例のビデオ映像表示システムの概略図である。 図３Ａは、ビデオ映像の変更を開始するためのボタンのクリックの処理を示す フローチャートである。 図３Ｂは、ビデオ映像に含まれる投映されたボタンの拡大図であり、投映され たボタン上に導入された特定的な特徴を有するオブジェクト（この場合はユーザ ーの手）を示す。 図３Ｃは、ビデオ映像を除く図３Ｂと同様の投映されたボタンを示し、投映さ れたボタンが、投映された垂直の線を含み、オブジェクトが、特定的な特徴（ポ インター）を有する。 図４は、メニューウインドウのビデオ映像の概略図であり、本発明の操作の一 般的なポインチング及びポジショニングを図示する。 図５Ａ-６は、本発明のビデオマウスの態様を示す。 図５Ａは、アクチブ状態の第１のポップアップメニューウィンドウを有するビ デオ映像を示し、在来のマウス操作を実行するためのユーザーの選択可能なコマ ンドアイテムのリ ストを含む。 図５Ｂは、アクチブ状熊の第２のポップアップメニューウインドウを有するビ デオ映像を示し、マウス操作を終了するための単一のユーザーの選択可能なコマ ンドアイテムのリストを含む。 図６Ａ-６Ｂは、２個の部分に続けて図示したフローチャートであり、ビデオ 映像上でビデオマウス操作をシミュレーションするための処理を示す。 発明の最良の形態の詳細な説明 以下、本発明を例を挙げて詳細に図説するが、この例は、本発明の要部を制限 するものではない。ここでは、本発明の最良の形態で、色々の実施例、変形例及 び変更例を説明し、この説明により、当業者は、本発明を実施することができる 。 図１は、本発明の第１の実施例のビデオ映像表示システム１０の概略図である 。 システム１０は、モニタ１６（選択）にビデオを生成、表示するためのコンピ ュータ１２を含む。在来的に、モニタ１６は、コンピュータ１２のビデオ出力ポ ート１２ａに接続される。また、コンピュータ１２によって生成されたビデオ画 像を拡大投映するための装置１８が、ビデオ出力ポート１２ａに接続される。好 適実施例では、装置１８は、在来の液晶表示（ＬＣＤ）パネル２０と、オーバー ヘッドプロジェクタ２２とを含む。ＬＣＤパネル２０は、コンピュータ１２から のビデオ画像信号を受信し、投映スクリーン２６のような投映面に投映される画 像２４としてオーバーヘッドプロジェクタ２２により投映される光画像を生成す る。投映スクリーン２６は、平面であり、好適に、例えば、多くの会議室で見ら れるホワイトボードのような淡色面である。図示の例では、２個のボタン３２、 ３４が投映され、これらは、投映された画像２４に含まれている。 装置１８が、ＬＣＤパネル２０とオーバーヘッドプロジェクタ２２とを別々に して説明したが、ビデオ画像データを受信し投映することのできる単一の機器が 利用可能となり、本発明に使用され得ることは、理解できる。 システム１０は、さらに、映像２４を録画するための光学式感知デバイス、例 えばビデオカメラ２８ａを含む。ビデオカメラ２８ａは、コンピュータ１２のビ デオ入力ポート１２ｂに接続される。コンピュータのビデオ入力ポート１２ｂは 、在来のフレーム・グラバー・ボード又は同等の画像捕獲手段を含み、ビデオカ メラ２８ａによって録画されるよう に、投映された画像の個々のフレーム又はひとまとまりのフレームを選択的に捕 らえることができる。１台以上の付加的なビデオカメラ２８ｂ、・・・、２８ｎ が含まれて、システム1０の特徴形状検出能力を強化することができる。 コンピュータ１２は、捕獲した画像と、オリジナルのビデオ画像とを比較でき るようにプログラムされる。特定的な特徴形状を有し、捕獲した画像に存在する 認識されるオブジェクトの検出、又は、導入されるオブジェクトと、映像に含ま れる特徴形状との組み合わせによって形成されている認識可能なパターンの検出 において、ビデオ画像の変更や捕獲した画像の保存等のような特定的な指令を行 うようにコンピュータを動作するために、信号が生成される。 図２は、本発明のシステム１０の変形的な実施例を示す。この実施例の図１の 第１の実施例及び図２の第２の実施例と共通する構成成分については、同一の符 号で示す。図２の第２の実施例は、ビデオ画像１４が投映されない代わりに、大 型スクリーンビデオ表示２６ａに拡大表示画像２４ａとして与えられる点で図１ の第１の実施例と異なる。大型スクリーンビデオ表示２６ａは、コンピュータ１ ２のビデオ出力ポート１２ａに直接接続される。この例では、２個の表示ボタン ３２ａ、３４ａが表示画像２４ａに含まれる。 上記のように、好適な光学式感知デバイスが、映像又は表示ビデオ画像を連続 的に録画する少なくとも１個のビデオカメラ２８ａを含む。しかし、例えば電荷 結合素子（ＣＣＤ）画像センサ又はカメラのような他の光学式感知デバイスも同 様にビデオカメラに代えて使用できることがわかる。適当な信号処理装置又はソ フトウエアがＣＣＤ画像センサ又はカメラに接続されて、オリジナルのビデオ生 成した画像との画像比較のため、コンピュータにより使用可能なフォームに録画 画像を変換できることは、当業者には理解できることである。 以下、コンピュータが生成した投映画像と直接に対話し、コンピュータ入力デ バイスのビデオ版を模擬する装置及び方法について、システム１０の動作モード の２つの例を参照して説明する。モード１：ボタン選択（クリック） 図１、２及び３Ａ−３Ｃに、映像又は表示画像に含まれるボタンを選択又は「 クリック」するための動作の第１のモードが示される。映像（図１）又は表示画 像（図２）は、ユーザーのための「指令」を含む。これら「指令」は、映像又は 表示画像に含まれる投映又は表示ボタンにそれぞれ関連する。ユーザーは、ポイ ンターのようなオブジェクトを所望の 投映又は表示ボタン上に位置させるか又は触れるだけでマウスクリックをシミュ レーションできる。 図３Ｃのフローチャートに、単一のボタンをクリックするためのプロセスを示 す。プレゼンテーション中に、ユーザーは、情報を書き込むか又は所望のボタン を選択して効果的に変更するかのいずれかによって映像又は表示画像に情報を入 力する。この時間中は、ビデオカメラ２８ａがこの変更を連続して録画する。フ レーム・グラバーは、ビデオ録画の単一のフレームを捕らえる（工程４０）。次 に、コンピュータは、第１のボタンの場所に対応するフレーム・グラバーによっ て捕らえられたフレームのブロック領域を読み取る（工程４２）。このブロック 領域は、コンピュータには予め知られている場所を有する。次に、ブロック領域 は、特定の特徴形状又は認識可能なパターンを有するオブジェクトの存在を確認 する（工程４４）。オブジェクト又は認識されるパターンがブロックで見つかっ た場合（工程４６）、コンピュータは、選択されたボタンに関連した特定的な制 御機能を実行する（工程５０）。合致するものが無く、又は、オブジェクト又は 認識されるパターンが存在しない場合、コンピュータ操作は全くトリガーされな い。上述のプロセスは、捕らえられたフレームの各々に対して繰り返される。 ２以上のボタンが映像又は表示画像に含まれている場合、映像又は表示画像の ボタンの場所全部に対応するブロック全部が次に捕らえられるフレームの前に認 識可能なパターンを確認するまで、プロセスの工程４２−４６が繰り返される。 特徴形状又は認識アルゴリズムは、バイナリー法（binary method）やグルイ ・スケール法（gray scale method）等を含む周知のアルゴリズムのいずれか１ つを使用できる。当業者には明らかなように、選択される特定の方法は、認識さ れるべきパターンや特徴形状のタイプに大きく依存する。 画像識別は、好適に、パターン相関又は特徴形状抽出アルゴリズムの形でソフ トウエアに具備される。デジタル画像で特徴形状を検出するための技術は従来技 術で知られている。このような技術は、例えば、アズリール・ロセンフェルド（ Ａzriel Ｒosenfeld）及びアヴィナッシュ・カク（Ａvinash Ｋak）の「デジタ ル・ピクチャー・プロセッシング（Ｄigital Ｐicture Ｐrocessing）」（第２ 版、第「巻、アカデミック・プレス、１９８２年）、ラファエル・シー・ゴンザ レス（Ｒafael Ｃ.Ｇonzales）及びリチャード・イー・ウッズ（Ｒichard Ｅ.Ｗ oods）の「デジタル・イメージ・プロセッシング（Ｄigital Ｉmage Ｐrocessin g）」（アディソン-ウェズェイ・パブリッシング・コーポレイション（Ａddison -Ｗesley Ｐublishing Ｃo.）、１９９２年）、及びダナ・エイチ・バラード（Ｄana Ｈ. Ｂallard）及びクリストファ・エム・ブラウン（Ｃhristopher Ｍ.Ｂrown）の「 コンピュータ・ヴィジョン（Ｃomputer Ｖision）」（プレンティス・ホール（ Ｐrentice-Ｈall）、１９８２年）に開示されている。 図３Ｂ−３Ｃは、投映されたボタン３２の上に導入される特定的な特徴形状を 有するオブジェクトの例を示す。図３Ｂでは、ボタン３２は、指令「次（next） 」を表す。動作において、ユーザー３０は、その手３１（又は、他の認識される ポインチング要素）をボタン３２の上に導入し、ボタン３２のクリックをシミュ レーションし、新規のビデオ画像１４を生成する。 図３Ｃでは、投映ボタン３４は投映垂直線３６を含む。ユーザーは、物差し３ ８のようなポインタをボタンの上に導入して十字（cross）を形成する。この十 字が、所望の指令を実行するためのコンピュータによって認識可能な特殊なパタ ーンを表す。与えられた例では、指令「捕獲（capture）」は、コンピュータの メモリのファイルに捕獲した画像を保存するようにコンピュータに信号を送る。 好適に、新規の情報又は更新した情報を含む捕獲した画像の部分だけがメモリ に保存される。言い換えると、本発明の 態様の利点に従って、捕獲した画像と、映像との違いを保存することが可能であ る。これは、グラフィックファイルが典型的な記憶集中（memory intensive）で あるため、メモリ空間を保守するようになされる。捕獲された画像は、後で再度 呼び出すことができ、映像として再度出現する。変形的に、メモリに保存された 色々の捕獲された画像を一旦呼び出し、各々を重ね合わして、多重層効果（mult i-layering effect）を与えることができる。このような多重層効果は、特に、 １以上のユーザーが異なった色の消すことのできるインクマーカーで描くことの できるホワイトボードの形態で投映スクリーンと組み合わせてしようするときに 利点がある。このやり方で、消去可能のインクでの異なった変更を含んだ様々な 画像が捕獲され、メモリに保存され、呼び出して、相互に順次多重に重ね合わせ 、視覚的に順番に配置したものを投映ビデオプレゼンテーションを通じて確実に 理解できるように提供できる。モード２：一般的なポインチング及びポジショニング 図４は、本発明の動作の一般的なポインチング及びポジショニングモードを示 す。この例では、映像２４は、メニューアイテム５２ａ、５２ｂ、・・・５２ｎ を含むメ ニューバー５０と、一般的なポインチング及びポジショニングフィールド５４と を含む。このモードでは、コンピュータは、グラブ（grab）画像全体を探索し、 画像上のどこにオブジェクトがあるのかを検出する。 オブジェクトがメニューアイテム５２ａ、５２ｂ、・・・５２ｎの１つで検出 された場合、コンピュータは、上述した動作の第１のモードに関連して、選択し たメニューアイテムに関連したタスクを行う。オブジェクトが一般的なポインチ ング及びポジショニングフィールドで検出された場合、コンピュータは、ユーザ ーがオブジェクトを位置した場所に対応する場所でポイント又はポジションカー サーを生成する。図示の例では、コンピュータは、ポインチング位置に伸びた２ 本の指６０の形状でオブジェクトを探している。この場合、２個のマーク５６、 ５８は、ユーザーの２本の指が位置した映像上の場所に生成されている。 一般的なポジショニングで位置をマーキングする方法は、コンピュータをプロ グラムすることによって与えられ、ポインチンク要素や映像の組み合わせによっ て生成される特定的な特徴形状を探索することができる。例えば、図４に示すよ うに、映像は、等間隔の垂直線５３ａ−５３ｍで与えることができる。ユーザー は、垂直線５３ｃ上に指５７を位置する ことによって符号５９における位置を直ちにマーキングして、十字形状を形成す ることができる。この十字形状は、この簡単なパターンを検出する最小眼の処理 だけを使用するコンピュータにより確実に認識可能である。コンピュータは、ビ デオ画像でのより複雑なパターンを含むことによってより一層進んだ特徴形状を 探索し認識することができるようにプログラムできる。 動作の第２のモードの他の応用では、上述の特徴形状認識プロセスは、フロン トエンドアプリケーションプログラムに与えられ、他の現在実行中のプログラム から情報を入手し、スクリーン上において、別々のアプリケーションの間で動き 回るマウスをシミュレーションする。このような応用は、マウスやペンのような タイプのインターフェースを補助するオペレーチングシステムを持ったいずれの コンピュータでも可能である。このようなオペレーチングシステムは、例えば、 ＷＩＮＤＯＷＳ（登録商標）（ＷＩＮＤＯＷＳ（登録商標）はマイクロソフト・ コーポレイションの登録商標）である。これは、例えば、基本的なマウス動作に 対応するユーザー選択可能なコマンドアイテムを含む一連のポップアップメニュ ーウィンドウを与えるソフトウエアで書かれたマウスドライバーをフロントエン ドアプリケーションプログラムに含 むことによってなされる。特定のマウス動作を実行するための所望のコマンドア イテムの選択は、上述したような特徴形状認識プロセスに従って、映像でのポッ プアップメニューで表示される所望のコマンドアイテム上に「認識可能」なオブ ジェクト（例えば、ポインター、特定のやり方で維持したユーザーの手や指等） を位置することによってなされる。 本発明のマウスドライバーは、好適に、大半の在来のマウスドライバーで共通 の以下のマウスの４つの基本的な動作をシミュレーションする。 （1） マウスボタンを押すことに対応する「Ｍｏｕｓｅ＿Ｄｏｗｎ」； （2） マウスボタンを放すことに対応する「Ｍｏｕｓｅ＿Ｕｐ」； （3） マウスボタンを押して放すことを２回行うことに対応する「Ｄｏｕｂｌ ｅ＿Ｃｌｉｃｋ」；及び （4） 新しい場所へのマウスの移動に対応する「Ｍｏｕｓｅ＿Ｍｏｖｅ」であ る。 在来のカーサー制御技術に従って、マウスドライバーは、特定の事象に関連し たマウス動作に対応するコマンドアイテムがポップアップメニューから選択され たときにその特定の事象が起こったことを指示するオペレーチングシステムへ メッセージを送る。また、事象が起こった時点のマウスの（Ｘ、Ｙ）座標がオペ レーチングシステムに送られる。マウスのシングルクリックがマウスを移動せず に「Ｍｏｕｓｅ＿Ｄｏｗｎ」及び「Ｍｏｕｓｅ＿Ｕｐ」動作の組み合わせのよう に行われる。このやり方では、ユーザーは、所望のマウス動作を単に選択して、 シングルマウスクリック、ダブルマウスクリック、マウスのドラッグ等をシミュ レーションでき、例えば、クリックすることや、直線を描くことや、曲線を描く ことや、ドラッグやドロップ等のような現在のオペレーチングプログラムの所望 の機能を行うことができる。 図５Ａ−５Ｂは、例として、ＷＩＮＤＯＷＳ（登録商標）ペイントブラシプロ グラムに関連したスクリーン表示を描く映像２６を示す。図示の例では、映像２ ６は、メインペイントブラシウィンドウを表示し、トップメニューバー６２（「 Ｆｉｌｅ（ファイル）」、「Ｅｄｉｔ（編集）」等のようなコマンドアイテムを 有する）、ツールボックス６４及びラインサイズボックス６６を含むメインペイ ントブラシウィンドウのアイテムを示す。 本発明のビデオマウスドライバーの方法は、フローチャートで示す図６ａ−６ ｂに関連して説明され、図６ａ−６ｂには、現在実行中のＷＩＮＤＯＷＳ（登録 商標）アプリケー ションプログラムに関連するようなビデオマウスドライバーの工程をフローチャ ートで示す。本発明の方法が単にＷｌＮＤＯＷＳ（登録商標）タイプのアプリケ ーションに眼定されるものでもなく、マウス、ペン等のコンピュータ入力デバイ スをサポートするいずれのアプリケーションにも与えられることとが理解できる 。 コンピュータ１２によって生成されたビデオ画像が投映面又はスクリーン２６ に装置１８によって投映されると（図１を参照）、ビデオマウスドライバーが開 始する（工程１００）。次に、コンピュータは、ユーザーが映像に指示したか否 かを決定する（工程１０２）。 これは、上述したように、特徴形状／パターン決定プロセスを使用して行われ る。 ユーザーがスクリーンに指示したことをドライバーが検出すると、新しい位置 の座標に従ってＭｏｕｓｅ＿ＭｏｖｅメッセージをＷＩＮＤＯＷＳ（登録商標） に送る（工程１０４）。ＷＩＮＤＯＷＳ（登録商標）は、アプリケーションのカ ーサー６１を移動することによって反応する。カーサーの正確な形状は、特定の アプリケーションに依存する。 次に、ドライバーは、ユーザーが投映又は表示ビデオ画像で指示を継続してい るか否かを確認する（工程１０６）。そ の答えが否定である場合、プログラムはその開始位置（工程１００）に戻る。そ の答えが肯定である場合、つまり、ユーザーが投映又は表示ビデオ画像で指示を している場合、ドライバーは、ユーザーがポインターを移動したか否かを確認す る（肯定１０８）。ユーザーが異なった場所を指示した場合、プログラムは、カ ーサーの場所を更新するために、工程１０４に戻る。ユーザーが、所定時間、例 えば２秒の間、同一の場所を指示している場合（工程１１０）、第１のポップア ップメニューウィンドウ６８がカーサー位置６１に隣接して投映又は表示される （工程１１２）。 第１のポップアップメニュー６８は、４個のコマンドアイテム、すなわちＮＯ Ｐ７０（「ノー・オペレーション（no operation）」の略語）、ＣＬＩＣＫ７２ 、ＤＯＷＮ７４及びＤＯＵＢＬＥ ＣＬｌＣＫ７６を含む。コマンドアイテム７ ０、７２、７４及び７６の各々に隣接して、それぞれ選択ボタン７１、７３、７ ５及び７７がある。図３Ｂ−３Ｃ及び図４を参照して説明したように、これらボ タンは、認識される特徴／パターン決定プロセスによって選択される。 次に、コンピュータは、例えば２秒間の所定時間内にユーザーが選択をなすこ と（工程１１６）ができる第１のポップアップメニューウィンドウ６８に含まれ るコマンドアイテム の選択のために確認をする（工程１１４）。所定時間中に選択がない場合、第１ のポップアップメニューが消え、プログラムは、その開始位置に戻る。選択がな された場合、選択したコマンドアイテムが行われる。 ドライバーは、２つのタイプの選択の間で区別する。第１の選択は、図６Ｂに 示す特別な処理を必要とするＤＯＷＮコマンドである。第２の選択は、ＮＯＰ、 ＣＬＩＣＫ、及びＤＯＵＢＬＥ ＣＬＩＣＫのためである。後者の選択（工程１ ２２）の場合、第１のポップアップメニュー６８が消え、ドライバーは、適当な メッセージをオペレーチングシステムに送ることによってコマンドアイテムを実 行し、少し遅延（例えば２秒）して、プログラムは開始位置（工程１００）に戻 る。この少しの遅延は、ユーザーが新しい所望の場所にポインターを十分な時間 で移動させるのに必要である。 ドライバーはこの方法によってメニューのコマンドを実行し、この方法は、特 定のコマンドに依存する。例えば、シングルマウスクリックをシミュレーション するために、ユーザーは、ＣＬＩＣＫコマンドアイテム７２に対応するボタン７ ３を選択する。この場合、マウスドライバーは、ＷＩＮＤＯＷＳ（登録商標）が マウスクリックとして認識する「Ｍｏｕｓｅ＿Ｕｐ」及び「Ｍｏｕｓｅ＿Ｄｏｗ ｎ」の メッセージをオペレーションシステムに送る。また、マウスドライバーは、その 位置の（Ｘ、Ｙ）座標を送って、カーサー位置を更新する。クリックは、例えば 、曲線を描く時点で実行される特定のアプリケーションに依存する事象をトリガ ーする。 ダブルマウスクリックをシミュレーションするために、ユーザーは、ＤＯＵＢ ＬＥ ＣＬＩＣＫコマンドアイテム７６に対応するボタン７７を選択する。この 動作は、マウスドライバーに信号を送り、所定時間フレーム内に４つのメッセー ジの「Ｍｏｕｓｅ＿Ｄｏｗｎ」、「Ｍｏｕｓｅ＿Ｕｐ」、「Ｍｏｕｓｅ＿Ｄｏｗ ｎ」及び「Ｍｏｕｓｅ＿Ｕｐ」をＷＩＮＤＯＷＳ（登録商標）に送る。 また、ユーザーは、ＮＯＰコマンドアイテム７０に対応するボタン７１を選択 するためのオプションを有する。これは、カーサーの位置に影響を与えずに、第 １のポップアップウィンドウを消し、ドライバーに開始位置（工程１００）に戻 させる。 図６ｂを参照して、ユーザーがＤｏｗｎコマンド７４に対応するボタン７５を 選択した場合、ドライバーは、その位置の座標の付加的情報とともにオペレーシ ョンシステムへＭｏｕｓｅ＿Ｄｏｗｎメッセージを送る（工程１２６）こと によって応答する。また、第１のポップアップメニューウィンドウ６８は消え、 ユーザーは、短い遅延（例えば、２秒）を与えられ、ポインターをボタン７５の 場所からカーサー６１の場所へと戻す。 一旦、Ｍｏｕｓｅ＿Ｄｏｗｎコマンドメッセージを受けると、コンピュータは 、ユーザーの指６０の移動に従って続ける。この最中に、一連の更新した「Ｍｏ ｕｓｅ＿Ｍｏｖｅ」メッセージが、更新した（Ｘ、Ｙ）座標に従ってオペレーチ ングシステムへ送られる（工程１２８）。このプロセスは、ユーザーがポインチ ングの場所を変えない限り続く（工程１２８−１３０）。 ここで、ユーザーがポインターの移動を停止すると、２つのオプションを持つ ことになる（工程１３２）。１つのオプションは、つまり、映像又は表示画像か らユーザーの指を取り去ってしまうことにより、ポインチングを停止することで ある。これは、ドライバーに、Ｍｏｕｓｅ＿ＵｐコマンドをＷＩＮＤＯＷＳ（登 録商標）へ送らせることになり、少しの遅延の後、プログラムがその開始へと戻 る（工程１４０）。 変形的に、ユーザーが同一の場所に依然とポインチングをしていると、第２の ポップアップメニューウィンドウ７８（図５ｂ）が表示される。この第２のポッ プアップメニュー ウィンドウ７８は、好適に、選択ボタン８１に対応するシングルコマンドアイテ ム「Ｕｐ」（図中の符号８０）のみを含む。ユーザーがこのＵｐコマンドアイテ ム８０を選択する（つまり、ユーザーが、対応する選択ボタン８１に指６０を位 置する）と、マウスドライバーが、「Ｍｏｕｓｅ＿Ｕｐ」メッセージをＷＩＮＤ ＯＷＳ（登録商標）へ送り、アプリケーション（この場合は、ＷＩＮＤＯＷＳ（ 登録商標）のペイントブラシプログラム）がそれに従って応答する（工程１４０ ）。次に、このプロセスは、所定の遅延の後、開始へ戻る。選択が（工程１３６ ）、ユーザーに所定時間（例えば、２秒）内になされなかった場合（工程１３８ ）、第２のポップアップメニュー７８が消え、前述のように、ユーザーが、映像 又は表示画像２６に沿って指６０を移動し続ける。これは、工程１３２−１３８ を繰り返す前の指の移動をユーザーが停止するまで、ＷＩＮＤＯＷＳ（登録商標 ）へ送られる新しい「Ｍｏｕｓｅ＿Ｍｏｖｅ」メッセージになる。セルフテスト（self test） システムは、システムのカリブレーションを校合（verify）するために、セル フテストを行うための手段を含む。例えば、システムが、画像に含まれるボタン 上に位置したポイン ターのような特定の特徴形状を有するオブジェクトを含む２つ目の画像を除いて ２つの画像が同一である２つの画像をメモリに保存してある。この特定のボタン は、１つ目の画像では占有されていない。開始又は他のある時点で、システムが 特定のボタン上に位置したポインターを含む２つ目の画像を投映し、この画像と ２つ目の画像とを比較する。セルフテストモードは、コンピュータが特定のボタ ンを識別すると成功する。カリブレーション（calibration） カリブレーションアルゴリズムは、映像及びカメラ２８ａによって捕獲された 画像のそれぞれのＸ、Ｙ軸系をカリブレーションし、フォーカス、色バランス、 歪み及びビデオ映像の他のパラメータを維持する。これは、わかっている場所、 寸法及び色又は光強度を有するコーナー（corner）マーキング２７（図１）のよ うな所定の画像を投映し、所定のコーナーマーキング２７と捕獲した画像の対応 するコーナーマーキングとを比較することによってなされる。 本発明の好適実施例に従って、カリブレーションアルゴリズムは：（1）カリ ブレーションアルゴリズムが、捕獲した画像の品質に悪影響（つまり、画像の歪 み、画像の解像度、 画像の色彩等）を与える投映面上の不要な光反射、マークのズレ、傷、凹凸等を 除去することによって、捕獲した画像を「決定（condition）」する；及び（2） カリブレーションアルゴリズムが、連続する映像及び捕獲した画像を確実に配列 させるための配列関数を決定するために使用される、という２つの事柄を目的と して働く。 カリブレーションアルゴリズムの決定（condition）する部分は、コンピュー タによって生成されたビデオ画像を最初に抑制又は「空白に（blank）」するこ とによって行われ、空白画像が投映面上に映し出される。これは、例えば凹凸な 表面状態、周囲の照明、マークのズレ又は投映面上の傷等のような画像品質に悪 影響を与える投映面上の特定の不規則部分についての情報をシステムが一緒にす ることのできる第１の基準位置又は「基準画像」を与える。 次に、システムは、第１の基準画像として空白映像を捕獲する。次に、複数の 基準マーキング、例えば十字又は目印が投映面上に投映され、１以上の付加的な 基準画像としてフレーム・グラバーによって捕獲される。投映した基準マーキン グ用のＸ及びＹ座標は、コンピュータによって予め決められている。ここで、基 準マーキングは、映像の境界内の投映面上の任意の位置に投映でき、従来技術の カリブレーション 方法で典型的に行われてきたように、丁度、四隅の領域にある必要はない。次に 、基準マーキングを含む捕獲された基準画像は、コンピュータによって生成され た基準マーキングと比較される。この情報を使用して、次に、コンピュータは、 捕獲された付加的な基準画像と、コンピュータによって生成されたビデオ画像の 基準マーキングとの間の相対変位をＸ及びＹ座標値で表す配列関数を決定する。 よって、この配列関数が一旦決定してしまうと、捕獲した画像及び映像の配列を 確実にするために使用される。 上述のカリブレーションアルゴリズムは、システムの個々の装置の構成成分が 使用中に突き当たったり、少しだけ移動したとき、又は、周囲の照明条件が変化 したり、又は、画像品質に影響を与える他のパラメータが起こったときは、いつ でも自動的に与えられる。また、カリブレーションアルゴリズムは、利点的に、 ユーザーが投映面で物理鉄器な変更をすることによって映像に注釈を与える場合 に与えることができる。例えば、投映面が在来のホワイトボードである場合に、 ユーザーは、このホワイトボード上に直接に書き込んで映像の編集や修正を行い たい。ユーザーは、カプチャー（capture）コマンドを起動し、特定の映像への 注釈を保存することができる。コンピュータが、メモリに保存した映像の 記録をすでにもっていることから、注釈のみがメモリに保存される。これは、コ ンピュータがすでに知っている画像情報の再捕獲によって生じる画像の劣化をな くす。また、これは、１つ１つ、又は、グループで、又は全部一度に映像に選択 的に投映することのできる捕獲した注釈（この注釈は、別々のデータとして捕獲 又は保存される）の「多重層（multi-layering）」に利点がある。上述のカリブ レーションアルゴリズムによて確立された配列関数は、コンピュータによって生 成されたいずれの特定のビデオ画像とともに保存された注釈の固有の配列を確実 にするために与えられる。 本発明の範囲内の様々な変更物が、その精神から逸脱せずに、当業者によって なされることが理解されるべきである。したがって、本発明が、添付の請求の範 囲によって定義される。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)， ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，Ｃ Ｈ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ ，ＧＥ，ＨＵ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ， ＬＫ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＮ，ＭＷ，Ｎ Ｏ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＩ ，ＳＫ，ＴＪ，ＴＴ，ＵＡ，ＵＳ，ＵＺ，ＶＮ (72)発明者 アクナー、レウベン アメリカ合衆国カリフォルニア州94306、 パロ・アルト、チマラス・ドライブ649

Claims (1)

1. 【特許請求の範囲】 １．ビデオ映像との対話を行う方法であって、 ビデオ画像を生成するためにコンピュータを使用する工程であって、前記ビデ オ画像が、少なくとも１個の所定領域を含み、前記所定領域が、それに関連する 少なくとも１個の制御される特徴を有する、ところの工程と、 投映面上に前記ビデオ画像を投映する工程と、 所定最小時間の間、前記投映面上の前記映像の上にオブジェクトを導入する工 程と、 前記映像を録画する工程と、 前記オブジェクトを含む前記映像の前記録画からの画像を捕獲する工程と、 前記捕獲した画像と、前記コンピュータが生成したビデオ画像とを比較する工 程であって、前記少なくとも１個の制御された特徴に関係して前記オブジェクト の存在を検出する、ところの工程と、 前記オブジェクトの前記存在に応答して前記コンピュータを起動するための制 御信号を生成する工程、 から成る方法。 ２．請求項１記載の方法であって、 前記少なくとも１個の制御される特徴がボタンを含み、 前記捕獲した画像と、前記コンピュータが生成したビデオ画像とを比較する前 記工程が、さらに、 前記ボタンの場所に対応する前記捕獲した画像の少なくとも１個の隠蔽部分を 読み取る工程と、 前記オブジェクトの前記存在のために前記少なくとも１個の隠蔽部分を確認す る工程と、 前記少なくとも１個の隠蔽部分に隣接して並ぶ他のブロック部分が前記映像に 含まれるこれらの対応する隠蔽部分と実質的に異ならないことを校合する工程、 とから成る、 ところの方法。 ３．請求項１又は２記載の方法であって、 前記オブジェクトの前記存在に応答して前記コンピュータを起動するための前 記制御信号を生成する前記工程が、さらに、 前記映像上に導入される前記オブジェクトの前記場所に応答してコンピュータ 操作をトリガーする工程から成り、 前記ビデオ画像を変更する工程が、前記映像上に導入される前記オブジェクト の前記場所に対応するカーサーを生成する工程から成る、 ところの方法。 ４．請求項３記載の方法であって、 前記コンピュータ上で稼働中の応用プログラムが、コンピュータ入力デバイス のドライバーに応答し、 当該方法が、さらに、 前記映像上でのオブジェクトのユーザーの位置決めに応答して前記映像上のカ ーサーの近くにポップアップメニューウィンドウを選択的に生成する工程であっ て、前記メニューウィンドウが、コンピュータ入力デバイスに関連するドライバ ー選択を表すユーザー選択可能のボタンを含み、前記コンピュータの操作システ ムをトリガーでき、所望のコンピュータ入力制御メッセージを前記応用プログラ ムに送って、所望のコンピュータ操作を行う、ところの工程、及び 所定の時間の間だけオブジェクトをその上に位置することによって前記ボタン の１個を選択する工程、 から成る、方法。 ５．請求項１記載の方法であって、 前記捕獲した画像と、前記コンピュータが生成した画像とを比較する前記工程 が、前記導入したオブジェクトと、前記映像との組み合わせによって生成された 認識可能なパターンを検出する工程を含む、 ところの方法。 ６．請求項１、２、３、４又は５記載の方法であって、 捕獲した画像と、コンピュータが生成した画像とをカリブレーションする工程 を含み、 該工程が、 前記コンピュータによって生成された前記ビデオ画像を一時的に抑制する工程 、 ブランク照明画像を前記投映面に投映する工程、 第１の基準画像として前記ブランク照明画像を捕獲する工程であって、前記第 １の基準画像が、 前記第１の基準画像と、連続的に捕獲される画像とを比較する工程であって、 所望としない光反射、マーキングのズレ、及び不規則性を前記連続的に捕獲され る画像から取り除く、ところの工程、 を含む、 ところの方法。 ７．請求項６記載の方法であって、 捕獲した画像と、コンピュータが生成した画像とをカリブレーションする前記 工程が、さらに、 前記コンピュータによって生成された複数の基準マーキングを前記投映面に投 映する工程であって、前記基準マーキングが、前記コンピュータによって特定さ れるＸ及びＹ座標を 有する、ところの工程、 少なくとも１個の付加的な基準画像として、前記投映された基準画像を捕獲す る工程、 前記少なくとも１個の捕獲した付加的な基準画像と、前記コンピュータによっ て生成された前記基準マーキングとを比較する工程、 前記投映した画像と、前記捕獲した画像との間のＸ及びＹ座標変位を表す配列 関数を決定する工程、及び 前記決定した配列関数を使用して、捕獲した画像と、前記コンピュータによっ て生成されたビデオ画像とを比較し、配列する工程、 から成る、 ところの方法。 ８．請求項７記載の方法であって、 投映された画像と、捕獲した画像とのカリブレーションを証明するためのセル フテストを行う工程を含み、 該工程が、 第１及び第２の画像を保存する工程であって、前記保存された前記第１及び第 ２の画像の各々が、それに関連した共通の所定の場所を有し、前記保存された前 記第２の画像が、さらに、それぞれの所定の場所上に配列したオブジェクトを含 む、ところの工程、 前記保存された前記第２の画像を投映する工程、 前記保存された前記第２の画像を捕獲する工程、及び 前記捕獲した前記保存された前記第２の画像と、前記保存された前記第１の画 像とを比較し、前記捕獲した前記保存された前記第２の画像に含まれる前記基準 オブジェクトが、前記保存した前記第１の画像の前記基準オブジェクトの前記所 定の場所に配列される、ところの工程、 から成る、 ところの方法。 ９．請求項１、２、３、４、５、６又は７記載の方法であって、 ユーザーが前記投映面で前記投映した画像に注釈をしたいとき、 当該方法が、 第１のコンピュータ生成画像を保存する工程、 前記第１のコンピュータ生成画像を前記投映面に投映する工程、 前記第１のコンピュータ生成画像の前記投映を抑制する工程であって、ユーザ ーの行う注釈のみが前記投映面上に残る、ところの工程、 前記ユーザーの行う注釈を前記投映面上で捕獲する工程、及び 前記捕獲されたユーザーの行う注釈を保存する工程であって、前記第１のコン ピュータ生成画像に配列して前記保存した前記捕獲したユーザーの行う注釈の次 の表示を行う、ところの工程、 から成る、 ところの方法。 １０．請求項１、２、３、４、５、６、７、８又は９記載の方法であって、 制御信号を生成する前記工程が、さらに、前記捕獲した画像の少なくとも一 部分を前記コンピュータのメモリに保存する工程から成る、 ところの方法。 １１．対話式ビデオ映像表示システムであって、 ビデオ画像を生成するための手段であって、前記ビデオ画像が、少なくとも１ 個の所定領域を含み、前記所定領域が、それに関連した少なくとも１個の特徴を 有する、ところの手段、 前記ビデオ画像を投映するための手段、 前記投映された画像を録画するための手段、 前記投映した画像の前記録画から画像を捕獲するための手段、 前記捕獲した画像と、前記生成されたビデオ画像とを比較するための画像識別 手段であって、前記投映された画像上に導入されるオブジェクト及び前記少なく とも１個の特徴に関連するものの存在を検出する、画像識別手段、及び 前記画像識別手段に応答する手段であって、前記導入されたオブジェクトが検 出されると、コンピュータ操作画像をトリガーする、ところの手段、 から成るシステム。 １２．請求項１１記載のシステムであって、さらに、 前記投映された画像に関し、前記捕獲した画像の変形を自動的にカリブレーシ ョンするための手段を含む、システム。