JPH03224027A

JPH03224027A - コンピュータ・システムとコンピュータ・システムに対する入力データを求める方法

Info

Publication number: JPH03224027A
Application number: JP2337028A
Authority: JP
Inventors: Robert J Gove; ロバート　ジェイ．ゴウブ
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 1989-11-30
Filing date: 1990-11-30
Publication date: 1991-10-03

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】産業上の利用分野この発明は全般的にコンピュータ・システムに使う入力
装置、更に具体的に云えば、その位置が入力データとな
る様な可動指針の像を捕捉する為にカメラを用いる入力
装置に関する。

従来の技術及び課題対話形コンピュータ・システムのユーザは、種々の入力
装置によってシステムと連絡する。こう云う装置が、シ
ステムの活動を制御するのに使われる或る種のコード化
された情報を］ンピ」−タ・システムに供給する。最も
広く使われている入力装置の内の２種類は、キーボード
と、トラックボール及びライト・ペンの様な指針装置で
ある。

キーボードは本文情報を供給する様に設計されているも
のであるが、それと対照的に、指針装置はコンピュータ
に位置情報を供給する。機械的な指針装置としてはジョ
イスティック、トラックボール及びディジタル化タブレ
ットがあり、その何れもユーザが操作する指針を持って
おり、ユーザは面上で指針を動かすことによって、ｘ−
ｙ座標を選ぶ。最も普及した形の指針装置はトラックボ
ール形のマウスである。こう云う装置は、面との接触を
感知すると云う意味で、機械形である。この他の指針装
置は、ユーザによって制御される指針の位置を決定する
のに光の感知を用いる。−例がライト・ペンであり、こ
れはコンピュータ・スクリーン上の画素を感知する。別
の例は目追跡技術であり、これは人間の目を入力装置と
し、目の角膜からの光ビームをはね返す特別な装置を用
い、ビームが反射する方向を記録する。

指Ｕｉ　Ｋ置のよく知られた２つの用途はカーソル制御
とメニューの選択である。両方の用途は、現存の多くの
指針装置に伴う問題を表わしており、その問題が２次元
情報への制約となっている。例えば、ユーザが３次元指
針の正射影表示を観察していて、指針を動かしたい場合
、ユーザは動きが１つ又は２つの自由度の範囲内に制限
される。こう云う３次元指針装置が使われているが、現
存の技術は、低廉であって、ユーザに便利であって、実
時間か又は実時間に近い追跡ができることと云う目標を
達成していない。

指針装置に関連してこれまでに分っている別の制約は、
１指針」、即ち、ユーザが操作する指針が特別の装置で
あることを必要とすることである。

この制約を避ける為、ユーザの手又は顔を動く指針とし
て使うことが、最近の技術の研究対象になっている。例
えば、１つの方法は手の曲げに反応する光ファイバと、
手の動きを追跡する外部の磁気センサとを持つ特別のグ
ローブを用いている。

別の方法は、ユーザの顔の特徴点を追跡（る為のカメラ
を用いている。何れの方法でも、現在の実験分野は、位
置及び向きを認識づる口とと、実時間の処理を達成する
こととに集中している。

こう云う制約がある為、３次元の位置データと共に向き
のデータを発生ずる入力装置に対する要望が存在する。

この入力装置は、ユーザの身体の動きを含めて、指さす
種々の指針の動きを検出する様に容易に適応し得るもの
であるべきである。

課題を解決する為の手段及び作用この発明の基本的な考えは、コンピュータに対する入力
データを提供する為に、可動指針のカメラから取出した
像を使うことである。カメラから取出した入力は、指針
を追跡して、位置データを発生するのに異なるアルゴリ
ズムを使える様にする。その後、仮想キーボード又はメ
ニュー入力又は身振りの認識と云う様な用途の為に、位
置データがコンピュータの命令と関係づけられる。一般
的に、指針はユーザの手の様に任意の形又は寸法を持っ
ていてよい。

従って、この発明の一面の装置は、可動指１４の位置を
表わすカメラから取出した入力を持つコンピュータ・シ
ステムである。コンピュータ・システムがポスト・プロ
セッサ・システムと、指針のビデオ像を発生するカメラ
と、ビデオ像を捕捉してそれをディジタル信号に変換す
るフレーム捕獲器と、ディジタル信号を指針の位置を表
わすデータに変換する像処理装置とを有する。

この発明の別の一面の方法は、可動指針を追跡するカメ
ラを用いて、コンピュータに対する入力データを取出す
入力装置である。カメラが指針を観察し、像をフレーム
捕獲器に送り出し、この捕獲器がビデオ信号をディジタ
ル信号に変換する。

その後、プロセッサがディジタル化された信号を処理し
て、指針が、コンピュータ・システムを制御するのに使
える形の位置データによって表わされる様にする。この
−面の変形として、特に３次几データを求めるのに適し
たものは、カメラ２個の入力装置であり、この場合、２
つの異なる視点から容積を観察する２つのカメラによっ
て観察空間が監視される。

この発明の別の一面の装置は、可動指針のディジタル化
されたビデオ像を、指針の位置を表わ（データに変換す
る様にプログラムされた像処理装置である。この位置デ
ータは、コンピュータのプログラミングに対する入力と
して、ホスト・コンピュータが使うことができる形であ
る。

この発明の一面の方法は、コンピュータを使って、可動
指針の位置を表わす入力情報を受取る方法である。指針
がカメラ又はその他のビデオ装置を用いて検出される。

ビデオ信号を、指針の位置を表わすデータに変換するこ
とにより、指針が追跡される。向きデータが試行方法を
用いて得られる。位置データは、その動作を制御する為
の入力としてコンピュータによって使われる。特定の位
置を伯のデータと組合せて、身振りの認識をすることが
できる。

この発明の技術的な利点は、カメラから取出した入力に
より、この発明を種々の複雑度の位置データを求める様
に容易に適応させることができることである。例えば、
３次元の位置並びに向きを提供する様に、アルゴリズム
を強化することは容易である。史に、この発明は、コー
ザの手を含めて、任意の可動指針を追跡する為に使うこ
とができる。この発明は、キーボード及びマウスの様な
従来の多くの入力装置の代わりになるものであり、机の
面上で使う場合に拘束されない。この発明は入力手段と
して、身振りの認識もできる。

この発明に特有と考えられる新規な特徴は特許請求の範
囲に記載しであるが、この発明自体、使い方及びその他
の利点は、以下図面について実施例を説明する所から、
最もよく理解されよう。

実　　施　　例関連出願１９８９年１１月１７日に出願され出願人に譲渡された
係属中の米国特許出願１作像コンピュータと動作方法」
を引用する。

定　　義次に述べるのは、「コンピュータ・システム」と共にこ
の発明を使う場合である。この言葉は最も広義に使われ
ており、データ処理装置に制限されない。’ａンビュー
ク・システムは、プロセラ勺の命令を制御［ｌする為に
ディジタル入力を使う任意のシステムであってよい。例
えば、この発明はプロセッサを基本とした制御装置を持
つ装置の遠隔制御に使うことができる。

この発明で云う「位置」と云う言葉は、２次元（２Ｄ）
又は３次元（３Ｄ）空間に於ける物体の場所とその向き
とを含む。勿論、向きは対称的な物体又は点に対しては
無関係であるが、これから説明する様に、この発明の特
別の利点は、その向きが入力データを表わし得る様な奇
形指針を認識することである。

カメラ１個の入力装置第１図はこの発明の一面として、作像入力装置を持つ］
ンピュータ・システムのブロック図である。第１図に示
す様に、システムは幾つかの基本的な部品を持っている
。即ち、カメラ１２、フレーム捕獲器１３、ホスト・プ
ロセッサ・システム１４、及び像処理装置１６である。

１１＼スト・システム・バス１７が、これらの部品の間
の連絡ができる様にする。インターフェース１５が、ボ
ス劃−・プロセッサ・システム１４と像処理装置１６の
間の協働を容易にする。

第１図のシステムの基本入力方式は、コンピュータ・シ
ステムのオペレータ、即ち、ユーザによって、３次元で
可動である指針１１の位置を可視的に検出して追跡する
ことである。指針１１は任意の寸法又は形を持つ物体で
あってよく、実用的な観点で制限されるに過ぎない。例
えば、後で説明するが、指針１１はユーザの手であって
もよい。

指針１１の移動範囲は、カメラ１２の観察角度及び焦点
に見合ったものである。観察空間１１ａが境界となり、
そこから指針１１の相対的な動きを決定づる。観察空間
１１ａは、講師が大きな表示スクリーンを使う時とか機
械のオペレータが工場の床で使う様な手で持つ指針であ
る時の様に、用途によっては非常に大きいことがある。

ユーザに対するフィードバックができる様にする為、指
針１１はコンピュータ・システムの表示スクリーン１４
ａ上に虚像で表わしてもよいし、或いは弛の伺らかの記
号によって表わしてもよい。

何れにせよ、スクリーンの表示が指針１１の動きに対応
する。別のフィードバックとして、表示装置１１４ａは
、観察空間１１ａの境界に対応する境界を持ち、指針１
１が観察空間１１ａ内にある時をユーザに図面で示す。

第１図の入力装置に対する可視信号が、カメラ１２を用
いて得られる。カメラ１２は、結像センサのアレイを用
いて像を捕捉する任意の種類のカメラであってよい。好
ましい実施例では、カメラ１２は、ＣＣＤカメラと普通
呼ばれる電荷結合装置である。普通便われる他のカメラ
と同じく、カメラ１２は何らかの走査機構を持っていて
、２次元及び３次元の可視像がスカラーの時間領域の波
形、即ちビデオ信号に変換される様にする。

カメラ１２はフレーム捕獲器１３と連絡する。

この捕獲器が第２図に示されている。フレーム捕獲器１
３又はそれと同等なｉ置の集成体は、多数のアナログ・
ディジタル変換器２２、メモリ区域２４及びディジタル
・アナログ変換器２６で構成される。フレーム捕獲器１
３がバス１７と連絡し、このバスはメモリ２４にあるデ
ィジタル化されたビデオ・データのアクセスができる様
にする。フレーム捕獲器１３の基本的な作用は、カメラ
１２から来る指針１１の像フレームを捕捉することであ
る。典型的には、フレーム捕獲器１３が捕捉した像を画
素表示として記憶する。更に、フレームの任意の部分を
捕捉して記憶することができる。

こう云う作用をどの様に構成するかは周知であり、その
作用を行なう為に、多数の周知の装置のどれを用いても
よい。

第２図の例では、フレーム捕獲器１３がカメラ１２から
３個までのビデオ信号を受取る。これらの信号は赤−緑
一青であってよいが、この発明にとってカラー信号は必
ずしも必要ではない。同時にフレーム捕獲器１３は各々
の信号をディジタル化し、バス１７を用いて実時間のビ
デオ速度の像収集を行なう。メモリ２４はバス１７を介
して直接的にアクセスしてもよいし、或いは表示装置１
４ａに送ってもよい。

ホス１−・システム１４は数あるコンピュータ・Ｊロセ
ッＩｔ・シス−１ムの内のｆｉ意の１つ、例えば、マイ
クロコンピュータであってよい。例えば、ホスト・シス
テム１４はＩＢＭ　　ＰＣ及びその同類の様な汎用処理
システムであってよい。これは既知の１組の命令を持っ
ていて、上位言語でアプリケーション・プログラム及び
システム・プログラムを発生することができる様にして
いる。

インターフェース１５の形式及び作用は、割当てられた
処理に応じて変化する。前に述べた様に、この発明は２
つのプロセッサ、即ち、後で第４図に示す像処理装置と
ホスト・システム１４に対する汎用プロセッサしか必要
としない。その間の適当なインターフェース１５を作る
ことは、当業者に周知であると考えられる。

第３図は第１図のコンピュータ・システムに使われるイ
ンターフェース１５のブロック図である。

與体的に云うと、インターフェース１５はホスト・プロ
セッサ・システム１４の動作を像処理装置１６の動作と
調整する３、インターフェース１５がＡＴホスト・シス
テムと共に示されていて、この為バス１７を市揚で入手
し得る形のフレーム捕獲器１３と共に使うことができる
。インターフェース１５を適当に変更すれば、この伯の
ホスト・システムに容易に置換えることができる。更に
、フレーム捕獲器１３を像処理装置１６と一体にする場
合、インターフェース１５はフレーム捕獲器のデータの
連絡をする必要はなく、従って一層簡単にして、Ａｓ−
２３０にコネクタに似た物にすることができる。

第１図に戻って説明すると、ホスト・バス１７はフレー
ム捕獲器１３、ホスト・システム１４及びインターフェ
ース１５に共通である。バス１７及びインターフェース
１５を通じて、像処理装置１６がメモリ空間２４にバッ
ファ作用で入っているデータを直接的にアクセスするこ
とができ、このバッファとして入っている像の任意の部
分を像処理装置１６へ転送することができる。バス調停
論理により、システムの相異なるプロセッサの間でのホ
スト・バス１７の分担ができる様にすることが理想的で
ある。

第４図は像処理装置１６のブロック図である。

処理装置１６の重要な作用の条件は、ディジタル化され
たビデオ信号を位置データに変換することである。更に
具体的に云うと、像処理装＠１６は、フレーム捕獲器１
３から受取ったデータから、位置の座標を発生する様に
プログラムされている。

像処理装置１６は、種々の複雑度のデータを処理する様
に構成することができる。その複雑度は、収集すべき位
置データ及び指針１１の特性の複雑度に関係する。後で
説明するが、この発明の最も簡単な実施例では、位置デ
ータが２次元の位置データであり、即ちｘ−ｙ座標であ
り、指針１１は空間内の一点である。この発明を更に強
化して、３次元座標、即ち、ｘ−ｙ−ｚ座標を発生する
ことができる。この他の強化により、向きデータが得ら
れ、これは並進運動と共に、指針１１の向きを変えるこ
とによって、ユーザが入力情報を伝えることができる様
にする。処理のＩＩｌ雑度に彰饗する指針１１の特性は
、その形と動きである。こう云う種々の複雑度の処理に
より、多重の又は特別のプロセッサを使うことに通ずる
ことがある。

即ち、第４図に示す様に、像処理装置は信号プロセッサ
４１及び記号プロセッサ４３の両方で構成することがで
きる。更に、処理装置１６は夫々の処理のプロセッサを
２つ以上持っていてもよい。

信号プロセッサ４１が２次元の標的の追跡と云う様な下
位の視覚のタスクを実施し、これに対して記号プロセッ
サ４３は向きの様な上位のタスクを実施する。各々の種
類のプロセッサに対する具体的なプログラミングは後で
説明する。２つ以上のプロセッサを使うと、実時間又は
実時間に近い性能を達成するのに役立ち、後で説明する
アルゴリズム及びそれと同等のアルゴリズムを並列に使
う技術は、公知である。バス４４が内部バスの典型的な
作用を行なう。

第５図は１個の信号プロセッサ４１のブロック図である
。各々の信号プロセッサ４１はプログラム可能であって
、データの記憶及びプログラムの記憶の両方の為の関連
するメモリ、即ち、データ・メモリ５１及びプログラム
・メモリ５２を持っている。Ｑ柘論ｌ！ＩＩ装置５３、
アキュムレータ５４、乗粋器５５及びシフタ５６の様な
算術素子は、ディジタル処理アルゴリズムの実行を早め
る様に設計されている。制御装置５０が電力信号、クロ
ック信号、制御信号及び割込みの様な種々の入力及び出
力のシステム信号と制御信号を送る。使われる特定のプ
ロセッサの必要に応じて、種々のレジスタ５７及び関連
するポインタ５７ａ、５７ｂ。

スタック５８及びプログラム・カウンタ５９が設けられ
る。信号プロセッサ４１及び同様な信号プロセッサのハ
ードウェアは、信号処理の分野で公知である。

プロセッサ４１並びに第５図に示すプロセッサの一例は
、ＴＭＳ　　３２０であり、これはテキサス・インスツ
ルメンツ・イン］−ボレーテッド社から商業的に入手し
得るディジタル信号プロセッサである。この他の信号プ
ロセッサとしては、プラン・インコーホレーテッドによ
って製造される２Ｒ３４１６１、及びモータローフ・イ
ンコーホレーデラドによって製造される５６０００及び
５６００１がある。信号プロセッサ４１を区別する特徴
は、反復的な乗粋を処理して、その結果を累算する能力
である。特殊プロセッサを使う利点は、ディジタル信号
処理アルゴリズムの実行を早める様に特別に設計された
算術素子及び命令があることである。然し、こう云うタ
スクを実施する任意のプロセッサも、この発明で使われ
るアルゴリズムに対する処理速度が受入れられるもので
あれば、信号プロセッサ４１の代わりに使うことができ
る。信号プロセッサ４１の処理のタスクは、第６図乃至
第１４図について後で説明するが、プロセッサ４１の１
組の命令が上に述べたソフトウェアを支えていると仮定
する。

記号ブロセッυ４３は任意の汎用プロセッサであってよ
いが、上位人工知能形の言語でプログラム可能であるこ
とが理想である。好ましい実施例では、プロセッサ４３
は、テキサス・インスツルメンツ・インコーホレーテッ
ドから商業的に人手し得るＬＩＳＰプロセッサの様な記
号プロセッサである。

第１図は、或る部品を集積することができる点で、機能
的なブロック図と見做すことができる。

特に、この発明を実際に構成する場合、フレーム捕獲器
１３、インターフェース１５及び像処理装［１６の機能
を実施する１個の装置が非常に有利である。更に、こ）
で説明したアルゴリズムの為に特別に設計された像プロ
セッサを像処理装置１６として使うことができる。これ
に関連して云うと、前に引用した係属中の米国特許出願
に記載されている装置が特に適切である。

位置データを求めること第６図は２Ｄ及び３Ｄ位置データと向きデータを求める
追跡工程を示す流れ図である。第６図は、前に述べたハ
ードウェア装置によって可能になる並列的な処理をも示
している。第１図、第４図及び第７図を見れば、処理は
ホスト・システム１４、信号プロセッサ４１及び記号プ
ロセッサ４３で分割することができることが分かる。プ
ロセッサのタスクの割当てを変えても、この発明の機能
的な面を逸脱しない。これから説明する処理工程を並列
にすることを含めて、プロセッサの間でタスクを割当て
ることは、実時間又は実時間に近い処理と表示を行なう
と云うこの発明の１つの目的に関係することである。

第７図は最初の検出工程と共に第６図の追跡工程を示し
ている。この発明の方法は、指針１１の位置データをそ
れから求める為に種々の検出及び追跡アルゴリズムを用
いる。特定のアルゴリズムは変わることがあるが、幾つ
かの基本的な工程は共通である。全般的に、そう云う工
程は、ディジタル化されたビデオ像を受取り、指針１１
を検出し、指針１１を追跡し、ユーザの要請の通りに、
追跡工程で得られた位置データを使ってコンピュータ・
システムを制御することである。検出及び追跡工程には
種々の変形が考えられ、その幾つかを後で説明する。

然し、この発明のどの実施例でも、検出及び追跡の前に
工程７１があり、こ）で観察フレーム１１ａ内にある指
針１１のディジタル化されたビデオ像を発生づる。−口
位置データが収集されたら、工程７４及び７５でポリ様
に、コンピュータ・システムの動作を指示する為に、そ
れが必要に応じて使われる。割込み要請又は同様な制御
メカニズムを使って、ホスト・システム１４で使う為に
、憬処理装＠１６から必要なデータを求めることができ
る。−口位置データがホスト・システム１４に送出され
ると、それは周知の方法により、カーソルの動き又はそ
の他の制御手段に関係づけることができる。例えば、指
針１１がカーソルの動きを表わす場合、メニューの制御
又は製図の指令にｘ−ｙ位置を関係づける方法が知られ
ている。位置座標を利用するこの他の用途は後で説明す
る。

工程７６及び７７で示す様に、指針１１が動きを停止す
るか、又は追跡装置の範囲を逸脱するまで、追跡過程が
フレーム毎に続けられる。向き過程７８及び身撮り認識
過程７９ａ、７９ｂは、後で大夫第１５図及び第１６図
について説明する。

２次元の位置データこの発明のそれほど？！雑でない一実施例では、指針１
１が２次元でだけ追跡される。２Ｄの検出及び追跡では
、多くの異なるアルゴリズムが可能であるが、例として
、幾つかの異なるアルゴリズムをこ）では説明する。

第１の２Ｄ検出及び追跡方法として、適応形中心追跡過
程は、指針１１の現在の位置を検出する為の移動標的検
出過程７２から始まる。第８図に検出過程７２を示す。

工程８１がｔｌに第１のフレームを求める。工程８２が
１２に同じ図の２番目のフレームを求める。工程８３が
ｔｌの像からｔ２の像を差引いた、２つの像の差を見つ
ける。

計算を簡単にする為、機差の閾値分別を工程８４で行な
い、この結果２進像が得られる。工程８５が、水平及び
垂直の２つの２進投影ヒストグラムにより、各々の方向
に於ける中心を計算する。

具体的に云うと、ヒストグラムが、物体を表わす画素合
計を発生し、質量の中心は、左から右へ累算した時、こ
の合計の半分であると仮定する。

第７図に戻って説明すると、指針１１が検出された後、
中心追跡過程７３が開始される。第９図は追跡過程７３
を詳しく示づ。第９図の工程９１乃至９３に示される様
に、追跡過程７３は、前に指針１１に関連していた画素
強度レベルのルックアップ・テーブルを使って、指針１
１を２進像にセグメント状に分割する。検出直後の様に
この情報が存在しない時、工程９２で、追跡過程７３が
、指針１１よりも若干大きい予め限定した領域内にある
全ての画素が指針１１であり、且つその領域の外側の画
素が背景画素であると仮定することにより、ルックアッ
プ・テーブルを推定する。セグメント分割過程は、物体
と背景の間にコントラストの差があることを仮定してい
る。

第１０図に示す様に、処理するデータ但を最小限に抑え
る為、追跡過程７３は、指針１１の寸法及び場所に合せ
た内側及び外側のボックス１０１ａ及び１０１ｂで槙成
されたゲート１０１を使う。

ゲート１０１を使う利点は、所定のプロセラ勺４１に対
するフレーム速度が最適になることである。

内側ボックス１０１ａは、２進指！１１１のＸ及びｙ方
向の範囲である。外側ボックス１０１ｂは一定の境界の
寸法に、指針１１の速度の線形予測であるオフセットを
加えたものである。ボックス１０１ａ、１０１ｂの初期
位置は、第８図の質量の中心の計算から得られる。ボッ
クス１０１ａ及び１０１ｂの初期の寸法は、ユーザが入
力するパラメータである。

第９図に戻って、セグメント分割工程９３の後、■程９
４で、追跡過程７３が各々のフレームに対して次の情報
を計算する。即ち、指針１１の質量の中心、新しい像の
範囲、指針１１の次の位置の予測、及び指針１１とその
局部的な背景の両方の統計を示す２つの強度ヒストグラ
ムである。新しい像の範囲が内側ボックス１０１ａに対
応する。

次の位置の予測が、現在と最近の中心の位置の間の差に
一定の境界を加算した外側ボックス１０１ｂに対応づる
。強度ヒストグラムを使って、次の像のセグメント分割
に使うべき２進ルツクアツプ・テーブルを作り、それを
フィルタ作用にかけて、標本化によるセグメント分割の
誤差を少なくづる。第４図に戻って云うと、追跡アルゴ
リズムを実施する為に２つ以上のブロセッ４Ｊ　４１を
使うことができ、１つのプロセッサ４１は或るタスクに
専用にする。

■程９５で、追跡過程７３が、指針１１の範囲及び予測
された速度に従って、ゲート１０１の寸法を調節する。

最後に、工程９６で、追跡過程７３が、指針及び背景の
新しい統計を反映する様に、セグメント分割用ルックア
ップ・テーブルを更新する。事実上、このアルゴリズム
は新しい背景及び物体が発生する値、即ち、新しいヒス
トグラムの内容を、前の値と平均する。こうすることに
より、■程９２で得られたルックアップ・テーブルの最
初の推定値が、物体が領域から出て行くほどの速度を持
っていなかったと仮定すると、この後のフレームで補正
される。

第７図に戻って説明すると、第２の２Ｄ追跡過程７３は
背鎖差追跡アルゴリズムを使う。この追跡過程７３は、
指針１１のない背景の記憶されている像から、各々の新
しいデータ・フレームを減Ｗする。その後、追跡過程７
３が、その差像を閾値作用にかけて、指針１１の中心を
見つける。このアルゴリズムの利点は、ｇ１粋が複雑で
なく、その為このアルゴリズムによって処理時間が早く
なることである。然し、このアルゴリズムは、背景の変
化には適応せず、その為、それほど頑丈ではない。

第３の２Ｄ追跡アルゴリズムは辺を基本とした追跡であ
る。このアルゴリズムの基本的な方式は、指針１１の辺
を基本とした特徴を見つけて、それを追跡することであ
る。辺の検出の前に、像は擬似２Ｄ中央値フイルタを用
いて予め条件づけて、像を平滑にし、外来の辺を除く。

その後、アルゴリズムが、中央値フィルタにかけた像に
ソーベル辺検出過程を実施することにより、水平及び垂
直の辺の方向及び大ぎさを決定する。この結果出てくる
辺は、薄めアルゴリズムを用いて薄め、最終的に閾値作
用にかける。

第１１図は、２Ｄ位置データを求める為の幾分簡単にし
た追跡過程７３を示す。この方法は、指釧１１が球の様
な対称的な物体であると仮定している。第１１図に示す
様に、この方法は各フレームで、閾値作用にか（）たビ
デオの初めと終りを検査する線毎のループを含んでいる
。工程１１１で、フレーム捕獲器１３からのビデオ信号
に、閾値作用にかけられたビデオが最初に発生するかど
うかを探索する。１本の線当り１つの値だけを検査する
。工程１１２が、閾値があるかどうかを決定する。無け
れば、次の線を探索する。その場合、■程１１３は、最
初の閾値の発生が、指針１１が球である為にＸ中心であ
ると仮定する。■程１１４乃至１１６に示す様に、閾値
作用にかけられた画素が出て来なくなるまで、線カウン
トをインクレメントする。工程１１７で、ｙ中心を次の
様に計尊する。

Ｘ（終り）−×（初め）ｙ（中心）−＋Ｘ（初め）３次元の位置データ；カメラ２個の装置この発明の３次
元用実施例は、指針１１の３Ｄ位置データを決定する為
に像処理装置１６を使う。

こう云う３Ｄ実施例の利点は、３Ｄグラフイツクの発生
をｉ、ＩＩ　ＩＩすることができること、或いは或る容
積の中から指針１１を選ぶことがでさることである。こ
の場合も、特定の実施形式は変わり得るが、１つの観点
は、第１図の装置に２つのカメラを使うか１つを使うか
である。第１２図はカメラ２個の３Ｄ実施例のブロック
図である。指針１１をハウジング１２２の中空の空所１
２１の様な３次元の観察フレーム１１ａ内で動かす。ハ
ウジング１２２内に取付けた２つのカメラ１２８．１２
ｂを使って、指針１１を観察する。カメラ１２ａ及び１
２ｂが異なる方向から、指針１１の２つの図を同時に収
集し、２つの像を適正に整合させる為にゲンロック（ｇ
ｅｎｌｏｃｋ）する。例えば、２つの図が直交していて
、上側のカメラ１２ａがＸ−Ｚ平面を観察し、側面のカ
メラ１２ｂがｘ−ｙ平面を観察してもよい。然し、カメ
ラ１２ａ及び１２ｂが直交する図を求めることが必要で
はない。図の間の角度が分っていれば、既知の方法によ
って深さを抽出することができる。各々のカメラ１２ａ
、１２ｂがフレーム捕獲器１３ａ。

１３ｂと関連しており、このシステムの伯の部分は第１
図に示１ものと同等である。

第１２図の形式に使う方法は、前に述べた検出及び追跡
アルゴリズムと同じアルゴリズムを使うが、３番目の次
元のデータを発生する為の追加のプログラム工程を含む
。第７図のシステムの場合と同じく、カメラ１２ａ、１
２ｂからのビデオ信号が像処理装置１６によって処理さ
れて、位置データとなる。像処理装置１６によって実行
されるアルゴリズムの最初に、第７図について上に述べ
たのと同じ検出工程を用いて、前側カメラ１２ａから見
た指針１１の位置を突止める。然し、別の工程で、上側
カメラ１２ｂが、それからＸ−Ｚ平面に於ける指針１１
の位置を決定し得る様な像を供給する。

カメラ１２ａ、１２ｂによって供給される信号から、３
番目の次元のデータを発生する為の種々のアルゴリズム
が可能である。第１３図はこの１つの方法を示す。この
方法の全体的な考えは、第７図の２次元追跡過程７３を
用いて、第１のカメラによって得られたＸ座標を使って
、第２のカメラの追跡作用を画素の１列に拘束すること
である。

第１３図の方法は閾値及びオフセット係数を使うが、過
程の初期設定の際、ユーザがこれらを対話形で発生する
。オフセット係数は、前側から見た像を上側から見た図
の座標の位置と釣合せる様に、各々のフレームの間で使
われる。オフセットを求めることは、２台のカメラの空
間的な整合外れを補償する為の実質的な較正方式である
。オフセット係数を求める一例は、１つの図で、指針１
１の中心に最初に接触し、その後、２番目の図で中心に
接触することにより、Ｘ次元で両方のカメラを空間的に
整合させることである。

２Ｄ追跡過程７３から得れたＸ座標をオフセット係数に
加算することにより、■程１３１が、カメラの一定の空
間的なオフセットがあれば、それに対する調節をする。

工程１３２が、指針１１の質量の中心のＸ座標に対応す
る、上から見た図のデータの列を取出してくる。これが
７座標の列を作る。工程１３３がこの列に沿った列強度
レベルを閾値作用にか（プる。列の上位の中点が、指針
１１の質量の中心の２座標になる。この為、工程１３４
が、閾値作用にかけた信号によって決定される質量の中
心を２座標に等しいと置く。

この代わりに、上に述べた較正をせずに、３番目の次元
のデータを発生することができる。然し、較正後何もし
ないと、その後の方法は、２番目の図の中心を求める為
に、１つの図からの入力を使う代わりに、真の中心を両
方の図で計算することを必要とする。

３次元の位置データ二カメラ１個の装置この発明のこの
他の３Ｄ実施例は、２個でなく１個のカメラを使う。１
個のカメラを使う時、深さを抽出する種々の方法がある
。１つの方法は、指針１１の相対的な寸法を決定する。

例えば、指針１１が深さ２　で幅Ｗ１であれば、その像
の幅Ｗ２は深さＺ２では既知の一層小さい顧になる。

２番目の方法は、指針１１の特徴点の間の相対的な寸法
を決定する。例えば、指針１１が、深さＺｌの所で距１
１１１ｄ１だけ離れた点Ｐ及びＱを持っていれば、同じ
点か、深さ７２では一層小さい既知の距離Ｚ２だ（）頗
れていよう。この方法に使うことができる指針１１の一
例は、先端に２つ又は更に多くの固定点を持つハンドベ
ルトな苔である。

指針１１が、ユーザの手である時の様に、完全に剛体で
なくても、２つの指関節の様な２点の間の相対的な距離
を使うことができる。手の特性は、手をテーブルの上に
平らに置き、カメラ１２に対して特徴を測定する為の空
間的な基準を供給すること等により、像処理装置１６が
アクセス可能なメモリに登録する。この代わりに、第１
４図に示す様に、特徴を認″７ａ覆る為の特別のグロー
ブを使うことができる。グローブ１４を手の上に置き、
指先及び関節に特徴認識点１４４の印をつける。

リング、線又は格子の様に、第１３図に示した以外のパ
ターンを使うことができる。

３Ｄ作像の為に深さを抽出するこの他の方法は、波長又
は色が位置データに対応する様な或る構成の光を使う方
式を用いるものである。例えば、赤及び緑の照明と云う
様な２色の照明が、２つの看色光源を、６０度隔て）、
カメラ１２から或る水平平面に置くことによって、構成
することかできる。この方法は、感知された像の色を解
析することにより、位置を抽出する。反射光の色は、カ
メラからの空間的な距離に正比例する。

上に述べた検出及び追跡方法について云うと、この他の
方法を作成することができることも承知されたい。追跡
アルゴリズムの基本的な方式は、相関、コントラスト、
色、統計的なモデル、動き及び光の流れを含む。更に頑
丈な追跡アルゴリズムは、追跡される物体を背景から弁
別する特徴抽出と、物体のどこを見るかを推定する動き
の予測との或る組合せを含むのが普通である。こう云う
方式をこの発明と共に使う時、できるだけ実質時間に近
い応答が望ましいと云う点で、大事なのは処理速度であ
る。

向きデータを求めることこの発明の方法の強化としては、指針１１の位置のみな
らず、向きを表わすデータをも求めることである。例え
ば、指針１１が矢印であれば、３Ｄ空間に於（ｊるその
方向を決定することができる。この発明のこの特徴の全
体的な考えは、記号処理を前に述べたディジタル信号処
理と組合せることである。即ち、像処理装置１６は、指
針１１の向きを推定する様に、位置データを使う様に更
にプログラムすることができる。向き決定方法は、指針
１１の特有の挙動を表わす知識ベースに対して、推定値
及び測定値を比較することにより、規則に基づいたプロ
グラミングを使う。即ち、エキスパート・システムが、
規則と、慣性軸の計算の様な画像処理によって得られた
情報との両方の形での、指針１１の挙動の試行を使って
、向きを動的に推定する。

向き決定過程を実施するのに使われる装置が第１図、第
４図、第５図に示されている。下位の向きの計算が、ホ
スト・システム１４又は中間プロセッサ３１によって行
なわれる。エキスパート・システム処理が記号プロセッ
サ４３によって行なわれる。

第７図及び第１５図について説明すると、向きデータを
求める方法は、向き決定過程７８と呼ばれる。向き決定
過程７８の工程］５１が、指別１１の主軸の推定数字を
計算する。主軸を決定する為、向き決定過程７８が、前
に述べた追跡過程７３で得られたセグメント分割の２進
像を使う。更に手の込んだ方法を使ってもよいが、最小
自乗の計算を利用することにより、指針１１を２等分す
る３つの行又はその代わりに３つの列の空間的な中央値
を接続することにより、推定値が得られる。

■程１５２で、エキスパート・システムを使って向きの
推定値を更に仕上げる。例えば、−旦主軸が決定された
ら、１８０度離れた２つの方向の間の選択を行なう。こ
の２つの方向の一方が、■程１５２で示す様に、追跡過
程７３で得られた指針１１の質量の中心を指針１１の物
理的な中心から減算することによって定められたベクト
ルに最も近い方向を拾うことによって選ばれる。この代
わりに、■程１５１で、指針１１からの反射又は異なる
色を比較づることにより、或る構成の光を用いた方法に
よって、向きを推定することができる。

向きデータ収集過程の残りの工程は試行方式を含む。工
程１５３で、指ｔ１１１が、その物理的な中心から変位
した質量の中心を持ち、工程１５２の計算からその方向
が分かると云う規則を想定する。規則で表わされるこの
他の試行を使って、例えば、速度に多少とも関係するが
、前の向きに加重することによって、数値の推定値の曖
昧さを除くことができる。最後に、■程１５４で姿勢の
推定を追加することができる。この発明のカメラ２個の
実施例では、両方の図に対して姿勢の推定値が得られる
。

向きを決定する為のプログラムは、規則ベース、作業メ
モリ及び推論エンジンを持つ、規則を基本としたシステ
ムとして書くことができる。作業メモリは記号データベ
ースであって、開始及び停止フラグ、規則のリスト、及
び規則の間の連絡をするデータを含む。開始及び停止フ
ラグは、各フレームの過程の初期設定と終了を制ｍする
為に使われる。

ある形式のエキスパート・システムでは、各々の規則は
イフぜンエルス（ｉｆ−ｔｈｅｎ−ｅｌｓｅ）形式を持
っている。或る条件が満され）は、その規則を止める。

規則を止めたことによって、一連の事象が開始される。

その規則を作業規則リストから取除いて、１つの規則に
対する無限の繰返えしが起らない様にし、その規則の「
ゼン」部分及びその規則に「エルス」部分があれば、そ
れが開始され、処理が次の規則へ続く。推論エンジンは
、どの規則も止めなくなるまで又は停止フラグがセット
されるまで、規則を処理する。エキスパート・システム
作成装置は、規則を変更することにより、アルゴリズム
を容易に代えることができる。第４図に示す様に、記号
処理を実施する為、処理装置１６と連絡しているかその
中に含まれる特別の記号プロセッサ４３を用いることが
、こう云う種類の処理にとって特に有用である。

向きを決定する為のこの他の方法は、統計式パターン認
識及び神経網方式である。パターン認識は、処理すべき
特徴、即ち、縦横比、像の面積、モーメント等の特徴を
決定し、考えられる向きの数を足場し、特徴の各種類に
対する識別作用を見つけることを必要とする。神経網方
式は、各々の種類、即ち向きに対する代表的なパータン
を選ぶことを必要とする。

こう云う向き決定方法の或る構成例は、形が非常に或る
構成に定まっていて頑丈な指針１１に対するものである
。この様な頑丈な形の場合、平坦な面に対する特徴点の
投影は、向きが変化すると変化する。この様な指針１１
の一例は、先端に３つの球を持つハンドベルトな筈であ
る。この様な指針１１の向きを決定するアルゴリズムは
、球の間の相対的な距離を計算する。この方法は、指針
１１としてユーザの顔を使い、目及び鼻の様な、顔にあ
る選ばれた特徴の相対的な位置を認識する場合に拡張す
ることができる。

この他の向き決定方法は、指針１１に対する更に複雑な
形、並びにユーザの手の様な頑丈でない形に対処する。

こう云う実施例では、指針１１の特徴を抽出する方法が
必要である。頑丈でない場合の向き決定方法は、幾何学
的な特徴と動きの試行的な解析又はモデルを基本とした
方式を含む。

上に述べた規則に基づくエキスパート・システム方式は
、動きと共に位置を時間空間的に決定することができる
様にする。

身振りの認識第１６図はこの発明の身振り認識の特徴を示す。

この特徴は、種々の身振り認識アルゴリズムに対する入
力として、位置データを使う。例えば、指針１１が予定
の長さの時間の間、或る位置に保持されていれば、位置
及び時間のその組合せを認識し、コンピュータの或る機
能と関係づけられる。

こうすることにより、１本の指で指し示すことが、第１
のメニューを選択することを表わし、２本口の指で指し
示すことが第２のメニューを選択することを表わすと云
う様にすることができる。

即ち、身振り認識過程の工程１６１は、上に述べた様な
位置データを収集するのと同じ過程で構成される。位置
データは２Ｄの位置又は３Ｄの位置であってよく、何れ
の場合も、向きデータを含んでいてよい。工程１６２が
、或るフレームと次のフレームで、或いは予定数のフレ
ームの間、像が変化したかどうかを決定する。変化がな
ければ、特定の位置が身振りと解釈される。工程１６３
がコンピュータの活動に割込んで、身振りに関連する命
令を確認して実行する。−例は、電力遮断信号を制御す
る中止の身振りである。

第１６図の方法は、身振りを認識する為の非常に多数あ
る方法の内の１つに過ぎない。２番目の方法は、位置デ
ータの特定の順序を、即ち、人指し指の後に拳を閉じた
ことを身振りと解釈することができる。

一般的に、特定の身振りの定義は、他の任意の言語と同
じ開発過程を含む。−旦身振りが定義されたら、それを
認識する能力は、位置データを収集し、コンピュータの
命令と位置データとを関係づけるためにコンピュータに
プログラミングを施こすと云う上に述べた方式を適用す
ることである。

指針の表示追跡及び向き決定アルゴリズムのどんな構成の場合でも
、表示装置１４ａに指針１１の実像を表示する為には、
指針１１は記号的にワイＡ７・フレムとして表わηこと
ができる。製図関数を用いて或る順序に接続した時、座
標点のリストが、表示装置１４ａに於ける指！′１１１
の形を形成する。

密実な表示の様なこの他の表示を使ってもよいが、更に
複雑な計算を必要とすると云う負担がか）る。

表示リストは、指針１１を追跡し、その輪郭を表わすの
に必要なセグメントの数を最小にすることによって取出
される。ｘ−ｙ座標を、指針１１の質量の中心に於いて
１つの点に対して測定する。

その後、３Ｄ空間に変換される点の数を最小限に抑える
為、各点に２本の線が接続されている様に逐次リストを
構成する。

一般的に、各々の処理されたフレームは、リストの各々
の要素の並進、倍率作用及び回転により、グラフィック
表示ｌ装置１４ａに多数の点の表示リストを投影する。

３Ｄ変換は、各々の軸の周りの回転及び並進に対する単
純なマトリクス変換である。

即ち、（ｘ、ｙ、ｚ）が３Ｄ容積内の或る点の位置を特
定し、（α、β、θ）がｘ−ｙ−ｚ軸の周りの回転を特
定する場合、２Ｄ座標は次の様に計算される。

×（表示）−（ｘｘ（ｃｏｓ　　βＸ　ＣＯＳ　　θ）
）＋（ｙｘ（ｃｏｓ　　Ｂｘｓｉｎ　　θ））＋（−ｚ
ｘ（ｓｉｎ　　β））ｙ（表示）　−（ｘｘ　（（ｓｌｎ　　ａｘｓｉｎ　　
β×ｃｏｓ　　θ）　＋　（−ｃｏｓ　　αｘｓｉｎθ
）））＋　（ｙＸ　（（ｓｉｎ　　ａｘｓｉｎ　　βＸ
５ｉｎ　　θ）　＋　（ＣＯ３（２ＸＣＯ３θ）））＋
　（Ｚ　Ｘ　（Ｓｉｎ　　αＸＣＯ３β））計算能力を
節約する為、この方法は各々のフレームに対し、ｘ、ｙ
及び２の角度の正弦及び余弦を予め計算し、それらを−
時変数として使う。

指針１１がユーザの手である時の様に、指針１１が剛体
でない時、問題は、質量中心からの特徴点の距離が、向
きの変化並びに曲げることの結果として変わることであ
る。上に述べた様な特徴抽出方法を使い、表示リストを
更新しなければならない。

特定の用途に対する実施例現実の表示をする能力と共に、指針１１を検出して追跡
する能力を組合せることにより、この発明の幾つかの特
定の用途が生ずる。この様な１つの用途は、コンピュー
タに対する入力としてキーボードを使うと共に、視覚に
基づいた作像装置を用いる。キーボード入力の代わりに
、指さし入力を希望する時、ユーザは単に自分の手を挙
げる、手は、キーボードの真上にあるフレーム１１ａの
様な検出区域まで挙げる。第１図の装置の様な作像入力
装置が、スクリーン・カーソルの作動によって応答する
。

別の用い方は、第１７図に示す仮想キーボードである。

キーボード１７１が表示装置１４ａにグラフとして表示
される。指針１１はユーザの手である。この発明を利用
して、観察フレーム１１ａ内にある手の指を追跡する。

ユーザがキーを［押す］度にユーザの指の位置がキーボ
ード位置に関係づけられ、キーを押した時の様に、適正
なコドが作動される。ユーザに対するフィードバックの
為、表示装置１４ａのスクリーンには、好ましくは手の
グラフ表示の様な記号をも表示することができる。この
代わりに、キーボード１７１の代わりに、肖像メニュー
を使うことができる。仮想キーボードの利点は、キーボ
ード入力からメニュー入力への切換えが、ソフトウェア
を用いて容易に達成されることである。

ユーザの手が指針１１として使われる用途では、第１８
図に、背景から手を抽出する計算条件を減少する為の装
置が示されている。指にあるしＥＤの様な光源１８１を
、好ましくはｃｃＤを用いて、カメラ１２で感知する。

小さな直交軸レール上にある３つの光源を持つ光＋１１
ｉ１８１を用意することにより、点の間の距離並びにカ
メラまでの焦点距離が分っている場合、ユーザは３Ｄの
向き、回転及び並進を行なうことができる。各々の軸の
弁別は、最初にレールを整合させ、その後それを追跡覆
る為の相次ぐ更新を行なうことによって達成し冑る。第
１８図に示す様に、光源１８１は小さな電池１８２から
給電される。この発明のこの他の用途は、前に引用した
係属中の米国特許出願に記載されている。

好ましい実施例の特徴この好ましい実施例の種々の重要な特徴を下に要約する
。

指針の動きに対応するカメラから取出された入力を求め
ると共に使う、ホスト・コンピュータ・システムと共に
使われる入力装置が、少なくとも２次元で動く時の指針
のビデオ像を発生する為のカメラ、或る時点に於ける像
を捕捉して、その像をディジタル信号に変換するフレー
ム捕獲器、及びディジタル信号を指針の位置を表わす位
置データに変換づる像処理装置と共に示された。像処理
装置は少なくとも１つのディジタル信号プロセッサで構
成される。このディジタル信号プロセッサには、像検出
及び追跡プロセスがプログラムされている。像処理装置
は、３次元の位置データを求める為の追跡アルゴリズム
がプログラムされている。更にこの像処理ＶＲ置は、向
きデータを取出ず為の記号プロセッサを持っていてよい
。更に、この入力装置は、身振りの認識の為、時間の関
数として位置データを解釈づる様にプログラムされたプ
ロセッサを含んでいてもよい。

コンピュータ・システムに対する入力データを求める方
法を説明した。この方法は、第１のカメラ及び第２のカ
メラを用いて指針を観察し、第１のカメラ及び第２のカ
メラからのビデオ信号をディジタル化し、指針がカメラ
の範囲内で動く時の第１のカメラ及び第２のカメラから
のディジタル化されたビデオ信号を処理することによっ
て、指針の位置を追跡し、追跡する工程の出力から、指
針の３次元位置データを発生する工程を含む。

コンピュータ・システムに対する入力データを求める方
法を説明した。この方法は、カメラを用いて指針を観察
し、カメラからのビデオ信号をディジタル化し、指針が
カメラの範囲内で動く時のディジタル化されたビデオ信
号を処理することにより、指針の位置を追跡し、追跡す
る工程の出力から、指ｔ１のディジタル位置データを発
生し、この位置データを、指針の動きを表わす試行規則
と共に用いて、指針の向きを表わ１データを発生する。

コンピュータに対する仮想入力装置データを供給する方
法を説明した。この方法は、コンピュータの表示スクリ
ーンに入力装置の像を表示し、カメラを用いて指針を追
跡し、指針の現在位置を入力装置の選択と関係づけ、指
針を表示装置に表示する工程を含む。

この他の実施例この発明を特定の実施例について説明したが、この説明
はこの発明を制約するものと解してはならない。以上の
説明から、当業者には、こ・に説明した実施例の種々の
変更並びにこの発明のこの他の実施例が容易に考えられ
よう。従って、特許請求の範囲は、この発明の範囲内に
含まれるこの様な変更を包括するものであることを承知
されたい。

以上の説明に関連して、この発明は更に下記の実施態様
を有する。

（１）　　指針の動きに対応するカメラから取出された
入力を求めて使うコンピュータ・システムに於いて、前
記指針が少なくとも２次元で動く時の該指針のビデオ像
を発生するカメラと、該カメラからのビデオ像を受取っ
て、或る時点に於ける像を捕捉して、線像をディジタル
信号に変換するフレーム捕獲器と、該フレーム捕獲器か
らのディジタル信号を受取って、該ディジタル信号を、
前記指針の位置を表わす位置データに変換する像処理装
置と、該位置データを受取って、該データを当該ホスト
・システムに対する入力として使うホス１−・コンピュ
ータ・システムとを有するコンピュータ・システム。

（２）　　（１）項に記載したコンピュータ・システム
に於いて、ホス１〜・プロセッサ・システムに接続され
た表示装置を有するコンピュータ・システム。

（３）　　（２）項に記載したコンピュータ・システム
に於いて、コンピュータ・システムが表示装置でオペレ
ータに対するフィードバックを供給する様に１０グラム
されており、該フィードバックは表示装置上の２号の位
置を指ｉｔの位置と関係づ【Ｊるコンビコータ・システ
ム。

（４）　　（１）項に記載した］ンビュータ・システム
に於いて、像処理装置が少なくとも１つのディジタル信
号プロセッサを有するコンピュータ・システム。

（５）　　（４）項に記載したコンピュータ・システム
に於いて、ディジタル信号プロセッサが、ディジタル化
されたビデオ信号を記憶するメモリと関連しているコン
ピュータ・システム。

（６）　　（４）項に記載したコンピュータ・システム
に於いて、信号プロセッサに像検出及び追跡プロセスが
プログラムされているコンピュータ・システム。

（７）　　（４）項に記載したコンピュータ・システム
に於いて、更に像処理装置が向きデータを取出す為の記
号プロセッサを有するコンピュータ・システム。

（８）　　（１）項に記載したコンピュータ・システム
に於いて、第２のカメラ及び第２フレーム捕獲器を有し
、像処１！Ｉ！装置は第２のフレーム捕獲器からのデー
タをも受取るコンピュータ・システム。

（９）　　指針の動きに対応する入力データを求める為
に、ホスト・コンピュータ・システムと共に使われるカ
メラ２個の入力装置に於いて、少なくとも２次元で動く
時の前記指針のビデオ像を発生する第１のカメラと、少
なくとも２次元で動く時の前記指針のビデオ像を発生し
、前記第１のカメラから観察する平面と直交する平面を
観察する様に配置されている第２のカメラと、或る時点
に於ける第１のカメラからの像を捕捉し、線像をディジ
タル信号に変換する第１のフレーム捕獲器と、或る時点
に於ける第２のカメラからの像を捕捉し、線像をディジ
タル信号に変換する第２のフレーム捕獲器と、前記ディ
ジタル信号を指針の位置を表わす位置データに変換する
像処理装置とを有するカメラ２個の入力′４Ａ置。

（１０）動く指針に対応する、カメラから取出された入
力を持つコンピュータ・システムで使われ、ディジタル
化されたビデオ信号を処理する像処理装置に於いて、デ
ィジタル信号ブロセツづと、誤信号プロセッサによって
アクセスが可能であって、該信号プロセッサによって実
行されるプログラムを記憶するプログラム・メモリとを
有し、前記信号プロセッサは、前記ディジタル化された
ビデオ信号を、少なくとも２次元に於ける前記指針の動
きを表わす位置データに変換する様にプログラムされて
いる像処理装置。

（１１）　　（１０）項に記載した像処理装置に於いて
、信号プロセッサが、ディジタル化されたビデオ信号を
３次元に於ける指針の動きを表わす位置データに変換す
る様にプログラムされている像処理装置。

（１２）　　（１０１項に記載した像処理装置に於いて
、更に、記号プロセッサと該記号プロセッサによってア
クセス可能であって、該記号プロセッサによって実行さ
れるプログラムを記憶するプログラム・メモリとを有し
、該プログラムは前記記号プロセッリに命令して、向き
データを発生する為にディジタル化されたビデオ信号を
使う様にしだ像処ｆ！１装置。

（１３）　　（１０１項に記載した像処理ＩＩ？に於い
て、前記信号プロセッサが使うデータを記憶するデータ
・メモリを有する像処理装置。

（１４）コンピュータ・システムに対する入力データを
求める方法に於いて、カメラを用いて指針を観察し、該
カメラからのビデオ信号をディジタル化し、前記指針が
前記カメラの範囲内で動く時、ディジタル化されたビデ
オ信号を処理することによって前記指針の位置を追跡し
、前記コンピュータ・システムで使う為、前記追跡する
工程の出力から前記指針のディジタル位置データを発生
する工程を含む方法。

（１５）　　（１４）項に記載した方法に於いて、追跡
する工程が２次元の位置データを発生する方法。

（１６）　　（１４）項に記載した方法に於いて、前記
追跡によって３次元の位置データが発生される方法。

（１７）　　（１６）項に記載した方法に於いて、３次
元の位置データの３番目の次元が第２のカメラを用いて
注出される方法。

（１８）　　（１６）項に記載した方法に於いて、前記
３次元のデータの３番目の次元が或る構成の光方式を用
いて抽出される方法。

（１９）　　（１６）項に記載した方法に於いて、３次
元のデータの３番目の次元が、カメラに向かって並びに
それから遠ざかる向きに動く時の指針の相対的な寸法を
用いて注出される方法。

（２０）　　（１４）項に記載した方法に於いて、追跡
工程の間に使う為、指針の外観の特徴の特性を抽出する
工程を含む方法。

（２１）　　（１４）項に記載にした方法に於いて、指
針がコンピュータ・システムのユーザの手である方法。

（２２）　　（２１）項に記載した方法に於いて、処理
する工程の間に使う為、手に或るパターンを記す工程を
含む方法。

（２３）　　（１４）項に記載した方法に於いて、位置
データをコンピュータによって実行される命令に関係づ
ける工程を含む方法。

（２４）　　（１４）項に記載した方法に於いて、位置
データから指針の身振りを認識覆る工程を含む方法。

（２５）入力装置が動く指針のカメラ像からデータを求
める。カメラ（１２）が指針（１１）を観察し、フレー
ム捕獲器（１３）がディジタル化されたフレームとして
像を発生する。像処理装置（１６）がディジタル化され
た像を受取り、検出及び追跡過程を用いて、指針（１１
）の位置を座標系に於ける位置に関係づける。その後、
この位置データがコンピュータ・システムによって実行
されるプログラミングに対する入力として使われる。入
力装置は任意の形の指針から位置データを求めることが
できると共に、３次元並びに向きを表わす位置データを
求めることができる。

【図面の簡単な説明】

第１図はカメラｉｌｌ！ｉｔの入力装置を含むコンピュ
ータ・システムのブロック図、第２図は第１図のフレー
ム捕獲器のブロック図、第３図は第１図のコンビコータ
・システムに使われるインターフェースのブロック図、
第４図は第１図の像処理装置のブロック図、第５図は第
４図に示す様な１個の信号プロセッサのブロック図、第
６図は第１図及び第４図のフレーム捕獲器、ホスト・プ
ロセッサ及び像処理装置によって行なわれるタスクを示
す機能的なブロック図、第７図は第６図の検出及び追跡
工程を構成する様な、カメラ像から位置データを発生す
る為にコンピュータを使う方法の流れ図、第８図は第６
図及び第７図の方法に含まれる検出過程の別の構成を示
す流れ図、第９図は第６図及び第７図の方法に使われる
追跡過程の別の形を示す流れ図、第１０ａ図及び第１０
ｂ図は第６図及び第７図の追跡過程に使われる指針ゲー
トの図、第１１図は第６図及び第７図の追跡過程の別の
形を示す流れ図、第１２図はカメラ２個の入力装置のブ
ロック図、第１３図は３次元の位置データを求める為に
２個のカメラを使う方法の流れ図、第１４図はカメラ１
個で位置データを求めるのに使われる、ユーザの手に着
用する特別のグローブを示す図、第１５図は第６図及び
第７図の向き決定過程の流れ図、第１６図はこの発明の
身振り認識の特徴を示す図、第１７図はユーザの指の動
きを検出することによって仮想キーボードを作動するこ
の発明の使いｈを示す図、第１８図は像の認識を容易に
する為、示す図である。主な符号の説明１１：指針１２：カメラ１３：フレーム捕獲器１４：ホスト・コンピュータ１６：像処理装置ユーザの手に着用する光源を・システム

Claims

【特許請求の範囲】

（１）指針の動きに対応するカメラから取出された入力
を求めて使うコンピュータ・システムに於いて、前記指
針が少なくとも２次元で動くときの該指針のビデオ像を
発生するカメラと、該カメラからのビデオ像を受取つて
、或る時点に於ける像を捕捉して、該像をディジタル信
号に変換するフレーム捕獲器と、該フレーム捕獲器から
のディジタル信号を受取って、該ディジタル信号を、前
記指針の位置を表わす位置データに変換する像処理装置
と、該位置データを受取つて、該データを当該ホスト・
システムに対する入力として使うホスト・コンピュータ
・システムとを有するコンピュータ・システム。
（２）コンピュータ・システムに対する入力データを求
める方法に於いて、カメラを用いて指針を観察し、該カ
メラからのビデオ信号をディジタル化し、前記指針が前
記カメラの範囲内で動くとき、ディジタル化されたビデ
オ信号を処理することによって前記指針の位置を追跡し
、前記コンピュータ・システムで使う為、前記追跡する
工程の出力から前記指針のディジタル位置データを発生
する工程を含む方法。