JPH113429A - 観察者トラッキング自動立体表示装置、画像トラッキングシステム、および画像トラッキング方法 - Google Patents

観察者トラッキング自動立体表示装置、画像トラッキングシステム、および画像トラッキング方法

Info

Publication number
JPH113429A
JPH113429A JP10106222A JP10622298A JPH113429A JP H113429 A JPH113429 A JP H113429A JP 10106222 A JP10106222 A JP 10106222A JP 10622298 A JP10622298 A JP 10622298A JP H113429 A JPH113429 A JP H113429A
Authority
JP
Japan
Prior art keywords
image
tracking system
target image
observer
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10106222A
Other languages
English (en)
Other versions
JP3565707B2 (ja
Inventor
Nicolas Steven Holliman
スティーヴン ホリマン ニコラス
Qi He Hong
ヒ ホング キ
David Ezra
エズラ ディビッド
Graham John Woodgate
ジョン ウッドゲート グラハム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPH113429A publication Critical patent/JPH113429A/ja
Application granted granted Critical
Publication of JP3565707B2 publication Critical patent/JP3565707B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【課題】 望ましくないまたは非実用的な大きい計算パ
ワーを必要とせずに、ターゲット画像の位置を高速に示
す、画像トラッキングシステム、観察者トラッキング自
動立体表示装置、および画像トラッキング方法を提供す
る。 【解決手段】 画像シーケンスを与える第１の手段と、
該第１の手段から前に与えられた画像内におけるターゲ
ット画像の位置を求める第２の手段とを備えた画像トラ
ッキングシステムは、該第１の手段から前に与えられた
該画像と後に与えられた画像との間における該ターゲッ
ト画像の動きを求める第３の手段と、該第２の手段によ
って求められた該位置を該第３の手段によって求められ
た該動きで修正したものとして、該後に与えられた画像
内における該ターゲット画像の位置を示す第４の手段と
をさらに備える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像トラッキング
のシステムおよび方法に関する。本発明は、このような
システムおよび方法を使用できる観察者トラッキング自
動立体表示装置にも関する。本発明のシステムおよび方
法は、セキュリティ監視、映像および画像圧縮、テレビ
会議、コンピュータゲーム、ドライバーモニタリング、
グラフィカルユーザインターフェース、カメラオートフ
ォーカスシステムおよびマルチメディアなどの他の用途
にも使用できる。
【０００２】
【従来の技術】自動立体表示装置は周知であり、その一
例は、EP0602934、EP0656555、EP0708351、EP0726482、
およびGB9619097.0に開示されている。添付の図１は、
典型的な自動立体表示装置の基本的な構成要素を模式的
に示す。この表示装置は、表示装置システム１およびト
ラッキングシステム２を有する。トラッキングシステム
２は、センサ信号をトラッキングプロセッサ４に与える
トラッキングセンサ３を有する。トラッキングプロセッ
サは、センサ信号から観察者位置データ信号を求める。
観察者位置データ信号は、表示装置システム１の表示装
置制御プロセッサ５に与えられる。プロセッサ５は、位
置データ信号をウィンドウステアリング信号に変換し、
これを、表示装置７と協働するステアリングメカニズム
６に与える。これにより、観察者８は、広範囲にわたる
観察者位置において自動立体的に表示装置を観察するこ
とができる。
【０００３】添付の図２は、純粋に例示として、表示装
置７およびステアリングメカニズム６を含む表示装置シ
ステム１の一部を示す。ステアリングメカニズム６は光
源１０を有し、光源１０は、個々に制御可能な発光素子
の直線状アレイを有する。部分的に銀メッキされたミラ
ー等のビームスプリッタ１１は、光源１０からの光をミ
ラー１２に向けて透過するとともに、光源１０からの光
をもう１つのミラー１３に向けて反射する。ミラー１２
によって反射された光は、レンズ１４を通過し、そし
て、立体対(stereoscopic pair)の内の右目用画像を有
する液晶装置（ＬＣＤ）の形態である空間光変調器（Ｓ
ＬＭ）によって変調される。同様に、ミラー１３によっ
て反射された光は、レンズ１６を通過し、立体対の内の
左目用画像を有するＬＣＤ１７によって空間的に変調さ
れる。例えば部分的に銀メッキされたミラーの形態であ
るビーム結合器１８によって、ＬＣＤ１５からの光は、
観察者８の右目用観察ウィンドウ１９に向けて反射され
る。ＬＣＤ１７からの光は、ビーム結合器１８を透過
し、観察者８の左目用観察ウィンドウ２０を形成する。
各観察ウィンドウ１９および２０の幅は、あらゆる可能
性のある眼の間の間隔をカバーするように十分に大き
い。典型的な眼の間の間隔の値は、約５５〜約７０ミリ
メートルである。図３に示すように、表示装置７および
観察者８を含む３次元（３Ｄ）空間は、デカルト座標に
よって表すことができる。但し、Ｘは横方向、Ｙは縦方
向、Ｚは長手方向を表す。
【０００４】添付の図４ａに示すように、菱形の照射(i
llumination)領域２１および２２が形成されており、観
察者の右目が領域２１内にあり且つ観察者の左目が領域
２２内にあれば、表示装置７全体にわたって３Ｄ画像が
知覚されるようになっている。これらの菱形領域は観察
ゾーンと呼ばれ、その幅は、両観察ウィンドウ１９およ
び２０を含む「最良観察」ウィンドウ平面２３において
最大である。観察ゾーン２１および２２は、表示装置７
の長手方向における理論上の観察自由度を示している。
【０００５】観察者の観察自由度を拡張するために、上
記のように、観察者トラッキングおよび表示装置の制御
部(control)を設けることが可能である。観察者の頭の
動きを追従して、観察者の目が適切な観察ゾーン内に維
持されるように、観察ウィンドウ１９および２０の位置
が「ステアリング」される。このような表示装置におい
て不可欠な部分は、観察者の頭および／または目の位置
を特定するトラッキングシステム２である。実際には、
観察者の両目の間の中心点をトラッキングすればよい場
合が一般的である。なぜなら、図４ｂの左側に示すよう
に、この中心点が左右の観察ウィンドウの境界位置だか
らである。図４ｂの右側に示すように比較的大きく頭が
回転した場合でも、このようなシステムは、観察ウィン
ドウ１９および２０を正確に位置決めし、自動立体観察
を維持する。
【０００６】各観察ウィンドウは、添付の図５に示すよ
うに照度(illumination)プロファイルによって特徴づけ
られる有効観察領域(useful viewing region)を有す
る。横軸は平面２３内の位置を表し、縦軸は照度を表
す。理想的な照度プロファイルは、隣接ウィンドウ同士
がすき間なく隣接した矩形のプロファイルであるが、こ
れは、実際には得られない。
【０００７】図５に示すように、最大平均強度の半値に
おける照度プロファイル幅をウィンドウ幅とする。隣接
観察ウィンドウのプロファイルは、常にすき間なく隣接
するわけではなく、（図のように）アンダーラップ、ま
たはオーバーラップを有する。プロファイルの「最上
部」には均一性にばらつきがあるが、これが、有効幅を
表している。強度は、有効幅の外で突然０になるのでは
なく、急峻に低下してエッジ幅を規定する。プロファイ
ルは、すぐに０にはならず、隣接プロファイルとオーバ
ーラップし、これにより、クロストークを生じる。理想
的な矩形の照度プロファイルと実際のプロファイルとの
差は、光学系における収差、散乱、デフォーカス、回
折、および表示装置の光学素子における幾何学的な誤差
を含む複数の劣化メカニズムの組合せによって生じる。
トラッキングシステム２の目的の１つは、観察者の目を
常に最良観察領域内に維持することである。
【０００８】観察ウィンドウ１９および２０が連続的に
動き得ることが理想的であるが、実際には、観察ウィン
ドウは、固定位置間において不連続な「ステップ」単位
で動き得る。ステアリングメカニズム６は、光源１０の
移動または切替えを制御することにより、観察ウィンド
ウ位置を制御する。これらの位置を切り替えるのに必要
な位置の数および時間は、表示装置およびステアリング
メカニズムによって異なる。添付の図６は、光源１０が
１４個のすき間なく隣接したイルミネータを有し、各観
察ウィンドウの幅がイルミネータ４個分である、図２に
示すタイプの表示装置の場合に実現可能な観察ウィンド
ウ位置の範囲(range)の一例を示す。この例の場合、観
察ウィンドウが取り得る位置は１１個であるが、その代
表的な位置を参照符号２５で示す。１つのイルミネータ
が結像すると、参照符号２６で示すように、ウィンドウ
平面２３において幅約１６ミリメートルの「ストリッ
プ」または「ステップ」となり、４つの隣接するストリ
ップによってウィンドウ幅は約６４ミリメートルにな
る。トラッキングシステム２は、観察者の目の瞳孔を、
参照符号２７で示すような２つのストリップの中間に維
持しようとする。観察者が、領域２７の中心から離れて
横方向に１ステップ分動く前に、トラッキングシステム
２は、移動方向の次のストリップ２６を照射するととも
に、反対側即ち最後尾のストリップを消灯する。
【０００９】トラッキングシステム２によって得られた
位置データを、表示装置ウィンドウ位置に合わせるため
には、例えばEP0769881に開示される較正処理が必要と
なる。典型的な表示装置７は、添付の図７の２８のよう
に、表示装置の光心２９と呼ばれる共通の原点から拡が
る、複数の円錐またはくさび形の観察ゾーンを与える。
観察者の両目の中心が、あるウィンドウから別のウィン
ドウに移動する度に切替えが行われなければならない位
置がこれらの観察ゾーンによって決まる。この場合、観
察ゾーンは、表示装置に対する観察者の横方向（Ｘ）と
長手方向（Ｚ）によって特定される水平方向平面内にお
いて、角度的に隔てられている。
【００１０】理想的なトラッキングおよび表示装置シス
テムは、あらゆる頭の動きに即座に応答する。実際に
は、あらゆる実用的なトラッキングおよび表示装置シス
テムが頭の動きを検出しこれに応答するには、常に、あ
る有限時間が必要となる。観察ウィンドウが移動するス
テップが有限個しかない場合には、即時的な応答は必ず
しも必要ではない。この場合、トラッキングシステムの
性能要件は、観察ウィンドウの位置の更新を必要とせず
に観察者が目を動かし得る距離に関係する。
【００１１】図６に示すウィンドウステップを形成する
図２に示す自動立体表示装置の場合、システムが応答し
てウィンドウ位置を更新することを必要とせずに、観察
者が動くことができるのは、１ステップに等しい距離ｄ
である。観察者の頭の移動距離ｄおよび最大速度ｖによ
って、要求されるトラッキングシステムのシステム応答
時間ｔは、 ｔ＝ｄ／ｖ として求められる。
【００１２】平均的な観察者の通常の頭の移動速度は、
約３００ミリメートル／秒未満であるが、観察者がこれ
よりも速い速度で動くことも珍しくはない。これは、表
示された立体画像内のオブジェクトの急な動きに観察者
が反応するときに最もよく起こる。典型的な最大頭移動
速度は、約５００ミリメートル／秒である。この速度に
おいて、ｄの値が典型的な約１６ミリメートルである場
合、トラッキングおよび表示装置システムが、観察者の
頭の動きを検出してこれに応答するのに有する時間は約
３２ミリ秒である。この応答時間が達成されなかった場
合、観察者が、フリッカ等の不快な視覚的アーチファク
ト(visual artifacts)を見る場合がある。添付の図８に
おいて、参照符号３０は、ミリメートル／秒単位の最大
頭移動速度の関数としての要求されるシステム応答時間
をミリ秒単位で示す。
【００１３】実際には、トラッキングおよび表示装置シ
ステムの実際の応答時間は、観察者の位置を求めるのに
必要な時間だけでなく、この情報をステアリングメカニ
ズムに送るのに必要な通信時間、ならびに現ウィンドウ
位置と次のウィンドウ位置との切換えに必要な時間をも
含む。
【００１４】要求されるシステム応答時間は、トラッキ
ングシステムの精度によっては、上記より短くなる。測
定誤差の影響は、観察ウィンドウが移動されるまでに観
察者が移動し得るステップ距離ｄの減少に等価であるの
で、要求されるシステム応答時間は、 Ｔ＝（ｄ−ｅ）／ｖ となる。但し、ｅは測定誤差である。図８の破線３１
は、ｅが約５ミリメートルである場合の応答時間を示
す。従って、要求される応答時間は、約５００ミリメー
トル／秒の最大頭移動速度の場合、約２２ミリ秒にまで
低減される。
【００１５】測定誤差ｅを低減することが望ましいが、
実際には、これを０にまで低減することは不可能であ
り、トラッキングに用いられる画像解像度およびアルゴ
リズムを含む複数の要因により、この誤差をどこまで小
さくできるかには限界がある。一般に、位置データを測
定するアルゴリズムが実行されるまでは、測定誤差を求
めるのは困難である。この理由から、上記式は、 ｖ＝（ｄ−ｅ）／Ｔ と書き換えられる。
【００１６】これにより、観察者が連続的な３Ｄ画像を
見ることができる最大頭移動速度が、所与の測定誤差お
よび所与の応答時間について与えられる。測定誤差が小
さく応答時間が短い程、観察者が頭を動かし得る速度が
大きくなる。従って、ステップの大きさ、測定誤差、お
よびシステム応答時間は、例えば約５００ミリメートル
／秒の所望の基準を満たすｖの値が得られるようにする
べきである。
【００１７】観察者が目と目の間に装着する逆反射スポ
ットによって反射される赤外線放射(infrared radiatio
n)を検出して行われる公知のタイプの赤外線トラッキン
グシステムの１つは、DynaSightセンサと呼ばれ、Origi
n Instrumentsから入手可能である。赤外線センサに対
する逆反射スポットの３Ｄ座標は、最大約６４Ｈｚのレ
ートで得られる。これにより、逆反射スポットに対する
観察者の頭の位置に関する必要な情報が与えられ、頭が
動いても左画像および右画像を正しい方の目に向けるこ
とができる。
【００１８】
【発明が解決しようとする課題】赤外線ビデオカメラを
使用した観察者の頭の位置の検出は、WO96/18925および
US5016282に開示されている。その他のこのようなシス
テムは、IScanおよびHHIから入手可能である。しかし、
赤外線を利用した全てのシステムは、赤外線ビデオカメ
ラシステムが必要になること、制御された赤外線光源の
使用、およびそれに伴う部品のコスト、赤外線源とその
センサの間の複雑な構成、マーカーを観察者に装着する
不便さ、赤外線源のために付加的な電源が必要になるこ
と、近距離から観察者の目に赤外線光が入ることによる
不快さ、の問題のいくつかまたは全てを有する。
【００１９】可視光ビデオカメラを使用するトラッキン
グシステムもいくつかある。例えば、US4975960は、小
鼻をトラッキングすることによって口の位置を特定し、
視覚強化型音声認識(vision-augmented speech recogni
tion)を行うシステムを開示している。しかし、この技
術の精度は多くの用途、特に、観察者トラッキング自動
立体表示装置の制御には不十分である。
【００２０】別の技術が以下の文献に開示されている。
1996年11月にCVPRに提出されたT.S. Jebara and A. Pen
tlandの"ParametrizedStructure from Motion for 3D A
daptive Feedback Tracking of Faces", MITMedia Labo
ratories, Perceptual Computing Technical Report 40
1、 A. Azarbayejaniらの"Real-Time 3D tracking of th
e Human Body", MIT Laboratories, Perceptual Comput
ing Section Technical Report No. 374, Proc IMAGE'C
OM 1996, Bordeaux, France, 1996年5月、Computer Visi
on and Pattern Recognition Conference、CVPR'96に提
出されたN. Oliver and A. Pentlandの"LAFTER:Lips an
d Face Real Time Tracker", MIT Media Laboratories,
Perceptual ComputingSection Technical Report No.
396、および、A. Pentlandの"Smart Rooms", Scientifi
c American, Volume 274, No. 4, pp.68-76,1996年４
月。しかし、これらの技術においては、商品化には非現
実的である高度なアルゴリズムを複数使用しなければな
らない。さらに、信頼性を確保するには、ある程度の照
明管理が必要である。
【００２１】A. Suwaらの"A video quality improvemen
t technique for videophone and Videoconference ter
minal", JEEE Workshop on Visual Signal Processing
andCommunications, 21-22、1993年９月, Melbourne, A
ustraliaは、ビデオカメラを用いた別の技術を開示す
る。この技術は、スキンカラーアルゴリズム(skin colo
ur algorithm)を用いた映像圧縮向上システム(video co
mpression enhancement system)を提供し、頭の位置の
近似トラッキングを行うことにより、テレビ電話用途に
おける圧縮比を向上する。しかし、そのトラッキング精
度は多くの用途において不十分である。
【００２２】従来のビデオカメラのほとんどの出力はア
ナログであり、コンピュータ処理を行うためには、これ
をデジタルデータに変換する必要がある。商業上魅力的
な市販のビデオカメラは、各フレーム３２をインターレ
ースされた２つのフィールド３３および３４で構成する
添付の図９に示すようなインターレースラスタスキャン
技術を利用している。各フィールドについて、そのフィ
ールドを処理する前に、そのフィールドをデジタル化す
るのにある固定時間がかかる。これを、添付の図１０に
示す。第１のフィールドは期間３５の間にデジタル化さ
れ、計算を開始できるのは時間３６であるので、第１の
フィールドは、第２のフィールドをデジタル化し得る期
間３７において処理できる。画像のデジタル化の開始か
ら位置データが得られるまでの時間間隔を待ち時間(tim
e latency)と呼ぶ。図中、この待ち時間を参照符号３８
で示す。更新頻度は、位置データの更新頻度に関連す
る。図１０に示す場合のように、計算時間が１フィール
ドをデジタル化する時間を上回らない場合、更新頻度
は、フィールドデジタル化レートと同じである。
【００２３】上記のように、要求されるシステム応答時
間は、待ち時間３８だけでなく、位置情報をウィンドウ
ステアリングメカニズムに送るのに必要な通信時間、な
らびに現ウィンドウ位置と次のウィンドウ位置との切換
えに必要な時間をも含む。
【００２４】フィールドのデジタル化は、「リングバッ
ファ(ring buffer)」を用いて、計算処理と並行して行
われる。図１１に模式的に示すように、リングバッファ
３９は、２つのメモリブロック４０および４１を含むメ
モリバッファである。メモリブロック４０および４１
は、それぞれが、フィールドバッファであり、１フィー
ルド分のデジタル画像を格納するのに十分な大きさであ
る。従って、バッファ４０および４１の一方を現フィー
ルドのデジタル化に使用している間、他方のバッファに
よって前フィールドを処理することができる。
【００２５】１フィールド分の画像を捕捉するのに必要
な時間は、約５０フィールド／秒で動作するＰＡＬカメ
ラを使用した場合には約２０ミリ秒であり、約６０フィ
ールド／秒で動作するＮＴＳＣカメラを使用した場合に
は約１６．７ミリ秒である。上記および図８に示したよ
うに、典型的な自動立体表示装置において、最大頭移動
速度が約５００ミリメートル／秒であり、測定誤差が約
５ミリメートルである場合、図１に示したトラッキング
システム２、表示装置制御プロセッサ５およびステアリ
ングメカニズム６が、頭の動きを検出してこれに応答す
るのに有する時間は、わずかに約２２ミリ秒である。Ｐ
ＡＬカメラを使用する場合、画像を処理し、通信および
ウィンドウステアリングに起因する他の待ち時間をカバ
ーするのに残された時間は、約２ミリ秒である。ＮＴＳ
Ｃカメラを使用した場合、この時間を約５．３ミリ秒ま
で延長することができる。このように、利用可能な時間
によって、商業上魅力的な標準ハードウェアを用いる場
合に使用可能な処理技術が制限される。実際にかかる時
間が上記の制限時間を越える場合には、観察者がフリッ
カの無い立体画像を見るために、頭の動きを制限する必
要が生じ得る。
【００２６】非標準の高速カメラを用いれば、映像フィ
ールドをデジタル化するのに必要な時間は低減される
が、これは、コストが実質的に増大するので望ましくな
い。高速カメラを使用しても、それを動作させる速度に
は限界があり得る。コストを削減し、使い易さを高める
ためには、可視光または赤外線の特別な光源を必要とし
ないことが非常に望ましい。従って、トラッキングシス
テム２は、通常の電源を使用したときに光源の強度が約
１００Ｈｚまたは約１２０Ｈｚで振動する通常の光源で
使用可能であるべきである。これは、例えばイギリスの
電源周波数５０Ｈｚ、あるいはアメリカの電源周波数６
０Ｈｚの２倍である。カメラがこの周波数に近いあるい
はそれを上回る速度で動作する場合、異なる時間におけ
る画像の強度は大幅に異なり得る。この影響を解消する
には、さらに複雑な計算が必要になり、高速カメラを使
用する利点が相殺されてしまう。
【００２７】将来的な商品化の際のコストの観点から、
利用可能な計算パワーには実用上限界がある。従って、
画像データ量をできるだけ少なくするために、低解像度
カメラが好ましい。しかし、観察者の頭が画像の中の小
さい部分しか占めないように、ビデオカメラは、少なく
とも自動立体表示装置の観察領域と同程度の大きさの視
野をカバーしなければならない。従って、目等の対象画
像領域の解像度は非常に低くなる。フィールドレートの
使用によって、垂直方向の解像度は半分になる。
【００２８】ある画像中において対象画像即ち「ターゲ
ット画像」の位置を特定する公知技術が多数存在する。
これらの技術の多くは複雑であり、有用な特徴を抽出す
るために過度の計算パワーおよび／または高い解像度の
画像を必要とする。従って、このような技術は、多くの
商業的用途において非実用的である。
【００２９】公知の画像トラッキング技術の１つは、R.
BrunelliおよびT. Poggioの"FaceRecognition: Featur
es Versus Templates", IEEE Trans on Pattern Analys
isand Machine Intelligence, Volume 15, No. 10, 199
3年10月に開示されている。この技術を添付の図１２に
示す。第１の工程４５において、位置特定の対象である
ターゲット画像を１つ含む「テンプレート」を捕捉す
る。図１３は、サーチ対象画像４６と、ターゲット画像
を含むテンプレート４７とを示す。テンプレートを捕捉
した後、それを用いて、各画像フィールドのサブセクシ
ョンの全てを順番に調べる(interrogate)。工程４８に
おいて、最後にデジタル化された画像を取得し、工程４
９において、テンプレートと「その下にある(underlyin
g)」画像エリアの最良の相関関係が存在する位置を検索
することによってテンプレートマッチングを行う。具体
的には、テンプレートと同じ大きさおよび同じ形状であ
る画像４６のサブセクションを画像の左上コーナーから
選択し、これをテンプレート４７と相関させる。この相
関関係を格納し、画素１列分右のサブセクションを選択
することにより上記処理を繰り返す。これを、画像の最
上行について繰り返し、その後、画素１行分下に移動し
てこの処理を繰り返す。従って、添付の図１４に示すよ
うに、Ｍ×Ｎ画素の画像およびｍ×ｎ画素のテンプレー
トの場合、位置の数は（Ｍ−ｍ＋１）×（Ｎ−ｎ＋１）
となる。これらの位置についての交差相関(cross-corre
lation)関係は、これらの位置の２次関数を形成し、添
付の図１５に示す面のようにプロットされ得る。この面
のピークは、最良マッチング位置を示す。
【００３０】工程５０において、ピーク相関関係即ち最
良相関関係が所定の閾値よりも大きいかどうかを判定す
る。そうである場合、最後にデジタル化された画像内に
ターゲット画像が検索されたと仮定でき、この情報を、
例えば図１２の参照符号５１のように使用することによ
り、観察者トラッキング自動立体表示装置を制御するこ
とができる。次のデジタル化画像が捕捉されると、工程
４８〜工程５１が繰り返され、その後も同様の処理が繰
り返される。
【００３１】別のテンプレートマッチング技術が、US38
28122に開示されている。US3828122は、航空機搭載ミサ
イル用の、一連の画像を提供するビデオカメラを有する
ターゲットトラッキング装置を開示する。ユーザは、表
示装置の画像上で（小さい矩形を含んだ）大きい矩形を
動かすことによって、第１の画像上にターゲットを特定
する。小さい矩形がターゲットに重なったとき、小さい
矩形の中の画像がターゲットメモリに格納される。次の
画像を受け取ると、大きい矩形の中の画像の位置を現フ
レームメモリに格納し、装置はターゲットが大きい矩形
の中心にあるかどうかを判定する。具体的には、ターゲ
ットメモリの内容を、大きい矩形の中における小さい矩
形の全ての位置について、現フレームメモリの内容に相
関させ、最大相関値を示す位置を選択する。
【００３２】テンプレートマッチングは、コンピュータ
で実施するには比較的容易な処理であるが、計算集約型
の処理である。直接テンプレートマッチングを行うに
は、非常に高性能なコンピュータハードウェアが必要で
あり、これは、商品化のためには非実用的である。
【００３３】EP0579319は、テレビ電話からの一連の画
像において顔の動きをトラッキングする方法を開示す
る。第１のフレームにおいて、顔の画像についての重心
(centroid)および動きベクトルを求め、これを用いて、
次のフレームの重心を推定する。第１のフレームと次の
フレームとにおける重心の周りのエリアを比較すること
により、推定した重心の周りに画像を形成する。第１の
フレームと前フレームの顔の位置を比較することによ
り、動きベクトルを推定する。
【００３４】この技術には、いくつかの欠点がある。例
えば、重心を中心として形成される画像の形状およびサ
イズが、フレーム毎に異なり得る。従って、重心が、例
えば観察者の目と目の中間点である顔の画像中の同じ位
置を指さない。この結果、トラッキングにおける実質的
な誤差を生じる。さらに、第１のフレームにおいて重心
の初期位置を求めた後、それ以降の重心位置推定は、動
きベクトルを求めることによって行われる。従って、動
きベクトルを求める際に誤差が累積し得る。このよう
に、この技術は、テレビ電話の用途には適しているかも
しれないが、観察者トラッキング自動立体表示装置にお
ける使用には精度が不十分である。
【００３５】本発明はかかる問題点を解決するためのも
のであって、その目的は、望ましくないまたは非実用的
な大きい計算パワーを必要とせずに、ターゲット画像の
位置を高速に示す、画像トラッキングシステム、観察者
トラッキング自動立体表示装置および画像トラッキング
方法を提供することである。
【００３６】
【課題を解決するための手段】本発明による画像トラッ
キングシステムは、画像シーケンスを与える第１の手段
と、該第１の手段から前に与えられた画像内におけるタ
ーゲット画像の位置を求める第２の手段とを備えた画像
トラッキングシステムであって、該第１の手段から前に
与えられた該画像と後に与えられた画像との間における
該ターゲット画像の動きを求める第３の手段と、該第２
の手段によって求められた該位置を該第３の手段によっ
て求められた該動きで修正したものとして、該後に与え
られた画像内における該ターゲット画像の位置を示す第
４の手段とをさらに備えるシステムであり、これによ
り、上記目的が達成される。
【００３７】画像間におけるターゲット画像の動きは比
較的速く検出できるが、誤差が累積するので、これを単
独で用いることはできない。ターゲット画像の位置を求
めるには比較的時間がかかるが、より多くの時間が利用
可能な前画像に基づいて行うことができる。各トラッキ
ングサイクルについて、示される位置は、第２の手段に
よって正確に求められた位置と、第３の手段によって求
められた動きに基づいているので、誤差が累積すること
はなく、ターゲット画像の位置が高い精度で比較的速く
示される。トラッキングシステムが多くの用途において
商業上魅力的になるように、商業上許容可能な計算パワ
ーを用いることも可能である。
【００３８】前に与えられる画像および後に与えられる
画像は、シーケンスからの任意の２つの画像であり得る
が、前記後に与えられた画像が、前記前に与えられた画
像と連続していてもよい。
【００３９】前記前に与えられた画像が、前記シーケン
スの画像のそれぞれを順番に含んでいてもよい。
【００４０】前記画像シーケンスをリアルタイムで与え
るように前記第１の手段が構成されていてもよい。
【００４１】前記後に与えられた画像が、現在与えられ
ている画像であってもよい。
【００４２】前記第１の手段が、ビデオカメラを含んで
いてもよい。
【００４３】前記第１の手段が、前記前に与えられた画
像および前記後に与えられた画像を格納するメモリを含
んでいてもよい。
【００４４】前シーケンスの画像が、インターレースさ
れたフィールドである連続するフィールドを含んでいて
もよい。
【００４５】前記第２、第３および第４の手段が、プロ
グラムドデータプロセッサを含んでいてもよい。
【００４６】前記第３の手段によって求められた動きを
前記第２の手段によって求められた位置に加算するよう
に前記第４の手段が構成されていてもよい。
【００４７】前記後に与えられる画像が前記第１の手段
によって与えられるとすぐに前記動きを求めるように前
記第３の手段が構成されていてもよい。
【００４８】前記第３の手段が前記動きを求めるとすぐ
に、後に与えられた画像上における前記ターゲット画像
の位置を求めるように前記第２の手段が構成されていて
もよい。
【００４９】シーケンスの画像よりも小さく且つ前記第
４の手段によって示される位置を含む第１の画像部分内
において前記ターゲット画像をサーチするように前記第
２の手段が構成されていてもよい。
【００５０】前記第４の手段によって示される前記位置
が、実質的に前記第１の画像部分の中心であってもよ
い。
【００５１】前記第１の画像部分内における前記サーチ
が不成功であった場合に、前記前に与えられた画像全体
において前記ターゲット画像をサーチするように前記第
２の手段が構成されていてもよい。
【００５２】初期の前に与えられた画像全体において前
記ターゲット画像をサーチするように前記第２の手段が
構成されていてもよい。
【００５３】前記第１の画像部分内の複数の第１の部分
において前記ターゲット画像のテンプレートマッチング
を行って最良一致を検索するように前記第２の手段が構
成されていてもよい。
【００５４】前記第１の位置よりも細かく位置し且つ前
記最良一致に対応する位置の近傍に配された複数の第２
の位置において前記ターゲット画像のテンプレートマッ
チングを行うように前記第２の手段が構成されていても
よい。
【００５５】前記ターゲット画像と前記第１の位置に対
応する領域との間の相関値、および、該ターゲット画像
と前記第２の位置に対応する領域との間の相関値の少な
くとも一方を求めて、最大相関値を選択するように前記
第２の手段が構成されていてもよい。
【００５６】前記最大相関値を許容可能性に対する閾値
と比較するように前記第２の手段が構成されていてもよ
い。
【００５７】前記シーケンスの画像の１つの一部を格納
することにより、前記ターゲット画像を捕捉する第５の
手段を備えていてもよい。
【００５８】前記第５の手段が、前記画像シーケンスを
表示する表示装置と、該表示装置上に境界画像を生成す
る画像生成装置と、該境界画像内の画像領域の捕捉を始
動するためのユーザが操作できる制御装置とを含んでい
てもよい。
【００５９】前記第５の手段が、前記表示装置上の前記
境界画像の位置を制御するためのユーザが操作できるさ
らなる制御装置を含んでいてもよい。
【００６０】全体が前記ターゲット画像の中にあり且つ
該ターゲット画像よりも小さい第２の画像部分内の複数
の画像要素において動きを求めるように前記第３の手段
が構成されていてもよい。
【００６１】前記ターゲット画像の並進的な動きを求め
るように前記第３の手段が構成されていてもよい。
【００６２】１組の方程式
【００６３】
【数２】
【００６４】を解くように前記第３の手段が構成されて
いて、ｘiおよびｙiはｉ番目の画像要素のデカルト座標
であり、ｉは１≦ｉ≦ｊである整数であり、ｊは１より
も大きい整数であり、ｆ1およびｆ2は前記前に与えられ
た画像および前記後に与えられた画像を表す関数であ
り、ΔｘおよびΔｙは前記動きのデカルト成分であって
もよい。
【００６５】本発明の観察者トラッキング自動立体表示
装置は、上記のシステムを含む観察者トラッキング自動
立体表示装置であり、これにより、上記目的が達成され
る。
【００６６】前記第１の手段が、前記表示装置の光心に
配置されたビデオカメラを含んでいてもよい。
【００６７】本発明の画像トラッキング方法は、前に与
えられた画像内におけるターゲット画像の位置を求める
工程と、該前に与えられた画像と後に与えられた画像の
間における該ターゲット画像の動きを求める工程と、該
前に与えられた画像内の位置を該求められた動きで修正
したものとして、該後に与えられた画像内における該タ
ーゲット画像の位置を示す工程とを包含するシーケンシ
ャルに与えられる画像の画像トラッキング方法であり、
これにより、上記目的が達成される。
【００６８】以下、本発明の作用を説明する。
【００６９】画像トラッキングシステムは、画像シーケ
ンスをプロセッサに与えるためのビデオカメラまたは他
の装置を備えている。画像は、映像フィールドシーケン
スの形態でリアルタイムに与えられる。プロセッサは、
例えば画像フィールドの中のターゲット画像の位置が特
定され得る領域に限定してテンプレートマッチング技術
を用いることによって、前画像フレーム内におけるター
ゲット画像の位置を求める。その後、プロセッサは、例
えば微分技術を用いることによって、前フィールドと次
のフィールドの間の動きを求める。その後、前フィール
ド内におけるターゲット画像の位置と、前フィールドと
それに連続する次のフィールドの間の動きとの和とし
て、更新されたターゲット画像位置を形成する。この位
置データを、例えば自動立体３Ｄ表示装置のウィンドウ
ステアリングメカニズムに供給する。これにより、観察
者の目をトラッキングし、観察者の動きの自由度が拡大
された表示装置の自動立体観察を確実にする。
【００７０】
【発明の実施の形態】以下、添付の図面を参照しなが
ら、実施例によって本発明をさらに説明する。全ての図
面において、同一の参照符号は同一の部材を示す。
【００７１】図１６は、本発明の実施形態の構成する観
察者トラッキング自動立体表示装置を示す。観察者トラ
ッキング自動立体表示装置は、これも本発明の実施形態
を構成するビデオ画像トラッキングシステムを含む。図
１６に示すトラッキングシステム２は、図１のものとは
異なり、トラッキングセンサ３が、約６０Ｈｚのフィー
ルドレートで動作するＳＯＮＹ ＸＣ９９９ ＮＴＳＣカ
メラを含み、トラッキングプロセッサ４にはマウス６０
が設けられている。トラッキングプロセッサ４は、約１
５０ＭＨｚで動作するＲ４４００プロセッサを備えたＩ
ｎｄｙシリーズのＳｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓエ
ントリーレベルマシン(entry level machine)と、カメ
ラ３によって捕捉される各フィールド毎に６４０×２４
０画素（ピクセル）の解像度を持つ映像デジタイザおよ
びフレーム記憶装置とを有する。カメラ３は、３Ｄ表示
装置７の上に配置され、表示装置の正面に座っている観
察者８に向けられる。観察者８とカメラ３の間の通常の
距離は、約０．８５メートルであり、この距離におい
て、観察者は、横方向即ちＸ方向において約５００ミリ
メートルの移動自由度を有する。カメラ３によって形成
される画像における２つの画素間の距離は、Ｘ方向およ
びＹ方向において、それぞれ、約０．７および約１．４
ミリメートルに相当する。それぞれインターレースされ
たフィールドが個々に用いられるので、Ｙ方向の解像度
は半分になる。後述のテンプレートは、１５０×５０画
素の大きさに選択される。これは、約１０５×７０ミリ
メートルの領域に相当する。マウス６０は、後述のテン
プレート捕捉の際に用いられる。カメラ３は、周囲照明
下におけるユーザの画像の連続的なシーケンスを捕捉
し、これをプロセッサ４に与える。
【００７２】図１７は、プロセッサ４が行うトラッキン
グ方法を概括的に記載する。初期化ステージの工程６１
において、ターゲット画像を有するテンプレートをイン
タラクティブに捕捉する。初期化ステージに続いて、工
程６２のグローバルテンプレートサーチからトラッキン
グステージが始まり、引き続き、動き検出工程６３およ
びローカルターゲットサーチが行われる。工程６５で
は、トラッキングが失なわれたかどうかをチェックす
る。トラッキングが失われていた場合、制御部は、工程
６２に戻り、もう１度グローバルテンプレートサーチを
行う。トラッキングが失われていなかった場合、制御部
は、動き検出工程６３に戻る。このように、工程６３〜
工程６５はトラッキングループを形成し、これは、トラ
ッキングが維持されている限り行われる。動き検出工程
６３は、微分動き測定法(differential movement metho
d)によって、位置データ６６を供給する。微分動き測定
法は、連続するフィールド間におけるターゲット画像の
動きを求め、これを、先行フィールドについて先行の工
程６４のグローバルテンプレートマッチングによって検
索された位置に加算する。
【００７３】図１８は、図１７のトラッキング方法をよ
り詳細に示す。インタラクティブテンプレート捕捉工程
６１では、ユーザに、表示装置７およびマウス６０を用
いてテンプレートを形成するターゲット画像を選択させ
る。この動作モードの間、図１９に示すように、表示装
置７は、ビデオカメラ３によって捕捉される観察者８の
画像を表示している。プロセッサ４は、この画像に、必
要なテンプレートサイズのグラフィカルガイド６７と、
観察者の目を表示装置７上の矩形６７内に入れて中心線
６８に合わせるように観察者に指示するテキストとをオ
ーバーレイする。観察者は、観察者自身がグラフィカル
ガイド６７に対して正しい位置になったところで、マウ
ス６０のボタンを操作する。これにより、グラフィカル
ガイド６７内の観察者の画像の一部をプロセッサ４が捕
捉および格納し、これをテンプレートまたはターゲット
画像として使用する。
【００７４】あるいは、マウス６０を用いて、グラフィ
カルガイド６７を、観察者の目に対して正しい位置にな
るようにドラッグして、その後、マウスボタンを押して
ターゲット画像を格納するようにしてもよい。
【００７５】インタラクティブテンプレート捕捉６１の
利点の１つは、観察者が、許容可能な位置精度で、テン
プレートの選択に関する決定を行うことができることで
ある。これは、人間の顔の認識、および、目の領域のよ
うな対象画像領域の選択を含む。人間の視覚によればこ
の処理は簡単であるが、コンピュータにとっては、年
齢、性別、目の形状および様々な照明条件の下での肌の
色が異なる可能性のある全ての種類の人間について、テ
ンプレート捕捉を行うことは困難である。テンプレート
捕捉は、あらゆる形状および色の眼鏡をかけた観察者に
対して行うことができるが、他の公知のタイプのトラッ
キングシステムは、眼鏡をかけた観察者には対応できな
い。
【００７６】図１８に示すように、工程６１は、最新の
デジタル画像をプロセッサ４のフレーム記憶装置から取
り出す工程６９を含む。工程７０において、テンプレー
ト位置を示すグラフィックスオーバーレイを描画する。
工程７１では、マウスボタン等の入力装置が操作された
かどうかを検出することによって、テンプレート位置が
正しいかどうかをテストする。正しくない場合には、制
御部は工程６９に戻る。ターゲット画像が捕捉される
と、制御部は、グローバルテンプレートサーチ工程６２
に進む。
【００７７】工程７２において、フレーム記憶装置から
次の利用可能なデジタル画像を取得し、工程７３におい
て、この画像全体にテンプレートマッチングを適用し
て、テンプレートを形成するターゲット画像の開始位置
（座標：Ｘ0、Ｙ0）を検索する。後述するように、開始
位置は、テンプレートとその下にある画像エリアとの最
良相関値が得られる位置である。工程７４において、工
程７３で求めた最良相関値が所定の閾値よりも大きいか
どうかを判定する。最良相関値が閾値を越えない場合に
は、制御部は、工程７２に戻り、次の利用可能なデジタ
ル画像についてこの処理を繰り返す。最良相関値が閾値
を越える場合、制御部は、ターゲット確認を伴った動き
検出を行う工程６３、６４および６５に進む。
【００７８】工程７５において、最後に処理された画像
ｆ1を格納し、次の利用可能な画像ｆ2を取り出して処理
する。工程７６において、画像ｆ1およびｆ2について、
後述の微分法を適用して、両画像間におけるテンプレー
トの移動即ち動きを計算する。この動きは、デカルト成
分ΔＸおよびΔＹを持つ。工程７７では、工程７６にお
いて計算された動きを、前のテンプレートマッチングの
際に求めた位置に加算して位置データを更新する。これ
により、工程７８で、表示装置制御プロセッサ５を介し
てウィンドウステアリングメカニズム６に出力される位
置データＸ0、Ｙ0は、Ｘ0＋ΔＸ、Ｙ0＋ΔＹとして生成
される。
【００７９】工程７８の後、工程７９において、後述の
ように、画像ｆ2にテンプレートマッチングを適用す
る。具体的には、位置Ｘ0、Ｙ0を中心とした画像中の小
さい領域に対して階層サーチを適用する。このテンプレ
ートマッチングは、交差相関技術を含み、工程８０にお
いて、工程７９で求めた最良相関値を所定の閾値と比較
することによって、トラッキングが失なわれたかどうか
を検出する。最良相関値が所定の閾値未満である場合、
制御部は、グローバルテンプレートサーチ６２の中の工
程７２に戻り、次の利用可能なデジタル画像内における
ターゲット画像の位置を再び特定する。最良相関値が所
定の閾値よりも大きい場合、工程８１において、最良相
関値位置をパラメータＸ0およびＹ0として入力すること
により位置データを更新する。その後、制御部は工程７
５に戻り、観察者トラッキングが必要である間、工程７
５〜工程８１を繰り返す。
【００８０】テンプレートマッチング工程７３は、図１
２〜図１４を参照しながら上記したタイプのものであ
る。初期工程の際、および、工程８０においてトラッキ
ングが失われたと判定される度に、全画像エリア中にお
けるターゲット画像の位置を特定する必要がある。具体
的には、画像全体中におけるターゲット画像の位置が分
かるまでの間は、微分動き測定法７６を開始することは
できない。
【００８１】好適な実施形態においては、図１４を参照
しながら説明したように、テンプレート中のターゲット
画像を、テンプレートによってオーバーレイされた各サ
ブセクションに交差相関させることによってテンプレー
トマッチングが行われる。テンプレートと画像中の現サ
ブセクションとの相似性(similarity)は、あらゆる適切
な測定基準(metric)によって測定され得るが、好適な実
施形態においては正規化された交差相関を用いる。テン
プレートマッチングされる画像エリアの左上コーナーの
座標ｘ0、ｙ0に対する正規化された交差相関Ｃ（ｘ0、
ｙ0）は、
【００８２】
【数３】
【００８３】但し、ｆ（ｘ、ｙ）は、入力画像を表す関
数、Ｔｐ（ｘ、ｙ）は、テンプレートのターゲット画像
を表す関数、（ｘ、ｙ）は、テンプレート内の各画素の
座標、Ｍは、テンプレート内の合計画素数 Ｃfは、ｆ（ｘ、ｙ）の自己相関値 ＣTpは、テンプレートＴｐ（ｘ、ｙ）の自己相関値とし
て計算される。
【００８４】上記自己相関値は、
【００８５】
【数４】
【００８６】
【数５】
【００８７】によって与えられる。
【００８８】交差相関Ｃ（ｘ0、ｙ0）の値は、［０．
０，１．０］の範囲内にある。但し、最大値１．０は、
テンプレートがその下にある画像と同一であるときに得
られる。
【００８９】これと同じテンプレートマッチング技術を
工程７９においても用いているが、工程７９では、図２
０に示すように、現在利用可能な画像の中の比較的小さ
い領域に対してテンプレートマッチングを適用する。参
照符号８５は、前画像フィールド内において特定された
ターゲット画像位置を示す。連続するビデオ画像フィー
ルド間の時間間隔において、生じ得る最大動きは、観察
者の最大移動速度によって制限される。上記した特定の
ハードウェア例の場合、これは、約８．３３ミリメート
ルの最大垂直または水平移動８６に相当する。従って、
観察者の目の領域は、テンプレートと同じ（矩形の）形
状を有するとともにテンプレートと同心であり、縦横の
サイズがそれぞれ約１６．６７ミリメートルだけ大きい
境界８７内になければならない。このように、テンプレ
ートマッチング工程７９は境界８７内に限定されてお
り、計算時間が最少限に抑えられる。
【００９０】工程７３および工程７９のテンプレートマ
ッチングをさらに最適化するには、図２１に示すよう
に、最適化階層テンプレートマッチング技術を採用す
る。このテンプレートマッチングは、第１および第２の
サブ工程で行われる。第１のサブ工程において、工程７
３では画像全体（工程７９では境界８７）中の疎らな位
置においてテンプレートマッチングを行う。下にある画
像セクションとの交差相関を行うのに、テンプレート４
７の全画素を用いるのではなく、比較的粗いグリッドの
交点にある８８および８９のような画像要素を用いる。
これにより、テンプレートおよび下にある画像領域がサ
ブサンプリングされ、交差相関計算において処理しなけ
ればならないデータの量が低減される。各画像要素を表
すデータを切り捨て(truncate)ることによって計算時間
をさらに削減し得る。
【００９１】参照符号９０は、最後に検出されたターゲ
ット画像の位置を示す。テンプレートマッチングの第１
のサブ工程が完了した時点で、例えば、位置９１を中心
としたターゲット画像について相関値が最大となること
が分かる。
【００９２】その後、第２のサブ工程を行って、ターゲ
ット画像の位置を高精度化(refine)する。上記と同じ交
差相関計算を行うが、ここでは、より小さい領域９２に
限定してサーチを行う。領域９２の寸法は、縦横それぞ
れ、第１のサブ工程における疎らな段階（ステップ）の
２倍である。このサブ工程は、より細かい段階（ステッ
プ）およびより高い画像要素解像度を用いて行われ、こ
の結果、現処理中画像フィールド内のターゲット画像に
ついて高精度化された位置９３が検索される。
【００９３】テンプレートマッチング工程を２工程より
多数のサブ工程に分割してもよいが、実際には、効率お
よび精度の観点から２サブ工程の構成が適当であること
が分かっている。これは、第１のサブ工程において２つ
の隣接する位置間のステップサイズを大きくし過ぎる
と、正しい「粗」位置を簡単に見過ごしてしまうからで
ある。
【００９４】上記のように、工程７４および８０におい
ては、それぞれ工程７３および７９において得られた最
良交差相関値を所定の閾値と比較することにより、ター
ゲット画像が、現画像内（工程７４）あるいは画像の境
界８７内（工程８０）に存在するかどうかを判定する。
もし、頭の動きが並進的であり、強度変化が全くなく、
カメラが線形(linear)であり、光学系の故障が全くな
く、電子回路からのランダムノイズが全くなく、デジタ
ル化誤差が全くない場合、最良一致(best-matched)位置
における交差相関値は、理論上１となる。
【００９５】実際には、これらの条件を満たすことは不
可能であり、テンプレートによって画像内に完全な一致
が検索されることはない。従って、最良交差相関値を所
定の閾値と比較し、これにより、許容可能な一致が検索
されたかどうかを確立するとともに、交差相関値の比較
的低い、不適切な画像部分にシステムがロックすること
を防ぐ。予め設定される閾値は、様々な照明条件の下で
多数の異なる種類の人間を対象として実験を行うことに
よって発見的に求める。最大値１．０の正規化された交
差相関値を用いる場合、典型的な閾値の値は約０．５で
ある。
【００９６】テンプレート４７はどのような形状であっ
てもよいが、コンピュータ処理が容易な矩形が好まし
い。テンプレートのサイズは、ターゲット画像の位置を
求める効率および精度に影響し得るので重要である。テ
ンプレートが大きい程、より鋭いピーク相関が得られ、
ピーク位置がより正確に求められる。この主な理由は、
画像領域が大きい程、顔の特徴をより多く含み、このた
め、ピーク位置からの微少な移動でも交差相関値をより
実質的に変化させるからである。しかし、テンプレート
が大きい程、より多くの計算時間を必要とする。また、
テンプレートマッチングが画像の背景内容に影響される
ことを防ぐために、テンプレートは、画像内の観察者の
顔の境界を越えるべきではない。これらのファクタのバ
ランスがとれる典型的なサイズは、画像内の観察者の両
目の領域を丁度カバーする程度のサイズである。上記の
パラメータの場合、１５０×５０画素のテンプレートサ
イズが適切である。
【００９７】観察者の両目の中間点を用いて観察ウィン
ドウのステアリングを制御しているが、上記の較正を人
間の観察者が行う場合には、コーナー等のテンプレート
の他の位置を用いることも可能である。較正の結果に
は、暗示的且つ自動的にオフセットが含まれる。
【００９８】微分法７６においては、２つの連続する画
像フィールド間の相対移動を測定し、この移動が純粋に
並進的であると仮定する。この移動は、周知のテイラー
近似を用いて２つの連続する画像フィールドの強度の差
から求められる。テイラー近似は、例えば、T.S.Huang
（編）, Image Sequence Analysis, ISBN 3-540-10919-
6, 1983年、に開示されている。ｆ1（ｘ、ｙ）が、連続
するフィールドの内の第１のフィールドの点（ｘ、ｙ）
における画像特徴の強度であり、この画像特徴が（Δ
ｘ、Δｙ）だけ移動して第２のフィールドにおいて位置
（ｘ＋Δｘ、ｙ＋Δｙ）にあるとすると、第２のフレー
ムのグレーレベルｆ2（ｘ＋Δｘ、ｙ＋Δｙ）は同じグ
レーレベルを有する、即ち、 ｆ1（ｘ、ｙ）＝ｆ2（ｘ＋Δｘ、ｙ＋Δｙ） となる。
【００９９】動きの量が微少である場合、上記式の右辺
は、１次の微分項(first order differential terms)を
切り捨てたテイラー展開を用いて、
【０１００】
【数６】
【０１０１】と近似することができる。
【０１０２】上記式において、ΔｘおよびΔｙは、動き
を表す未知数である。このように、２つの連続する画像
における１対の画素から１つの式が得られるので、２対
の画素からは２つの式の線形システムが得られる。この
線形システムは、上記２つの未知数について解くことが
でき、これにより、動きが与えられる。実際には、ラン
ダムな誤差を低減するために、周知の最少２乗法を利用
して、多数の画素を用いる。例えば、約５０〜約６０個
の画素を用いることが可能である。
【０１０３】画素対は、観察者の目の領域等のターゲッ
ト画像から選択するべきである。しかし、連続するフィ
ールド間の動きが求められるまでの間、ターゲットの実
際の位置は未知である。実際には、図２０を参照しなが
ら上記したように、２つの連続するフィールド間の実際
の動きには限界があるので、図２０に示す領域９４から
画素対を選択することが可能である。観察者の移動速度
が設定最大速度未満であれば、領域９４は、移動の方向
に関わらず、連続する画像フィールド内に頭の一部を常
に含んでいる。
【０１０４】微分法をより明瞭に説明するために、１次
元の例を図２２に示す。この場合、テイラー近似は、
【０１０５】
【数７】
【０１０６】にまで低減する。これは、
【０１０７】
【数８】
【０１０８】のように書き直すことができる。但し、 Δｆ＝ｆ1（ｘ）−ｆ2（ｘ） である。
【０１０９】図２２に示す曲線９５および９６は、ある
画像の連続するフィールドに対応する、時間ｔ1および
ｔ2における１次元動きターゲットの画像をそれぞれ表
している。この移動が行われた時点で、時間ｔ1におい
て位置ｘ0にある点Ｐ1は、時間ｔ2においては位置ｘ0＋
Δｘにある点Ｐ1’である。同様に、時間ｔ1における点
Ｐ2は、時間ｔ2において点Ｐ2’になる。図２２におい
て簡単な三角形の幾何学形状で示すように、動きΔｘ
は、位置ｘ0における強度差Δｆおよびこの位置におけ
るターゲット強度の勾配から計算できる。
【０１１０】実際には、偏導関数(partial derivative
s)で表される２次元テイラー近似における勾配は、数値
の差、即ち、
【０１１１】
【数９】
【０１１２】
【数１０】
【０１１３】によって近似され得る。
【０１１４】これらの近似は、画像フィールドに存在す
る不可避のノイズの影響を受ける。この影響を低減する
方法の１つは、小さいウィンドウに対して多項式面(pol
ynominal surface)をフィッティングさせることであ
る。例えば、３×３画素のウィンドウに対して、 ｆ（ｘ、ｙ）＝ａｘ2＋ｂｙ2＋ｃｘｙ＋ｄｘ＋ｅｙ＋ｇ の面をフィッティングさせることが可能である。
【０１１５】パラメータ｛ａ、ｂ、ｃ、ｄ、ｅ、ｇ｝
は、費用関数(cost function)
【０１１６】
【数１１】
【０１１７】を最小化することによって求められる。但
し、合算(summation)は、現画素を中心とした３×３の
ウィンドウに対して行われる。最小化は、各パラメータ
に関する偏導関数が０の場合に達成される。これによ
り、容易に解くことができる方程式系が得られる。する
と、ｆ（ｘ、ｙ）の偏導関数は、
【０１１８】
【数１２】
【０１１９】
【数１３】
【０１２０】のように計算される。３×３のウィンドウ
について、最終的な式は、
【０１２１】
【数１４】
【０１２２】
【数１５】
【０１２３】によって表すことができる。
【０１２４】微分法７６は計算上効率的であり、ここに
記載される特定の実施形態において、約２ミリ秒しか必
要とせず、適切な精度を提供するので、工程７８におい
て供給される位置データの出力を用いて自動立体表示装
置のステアリングメカニズム６を制御することができ
る。しかし、動き検出法だけを用いて安定なトラッキン
グを行うことはできない。なぜなら、検出される動きに
は常に測定誤差があるからである。合間に訂正を行わず
に動き検出法を繰り返すだけでは、誤差が累積し、正確
なトラッキングがすぐに失われる。連続するフィールド
のそれぞれについて正確な位置測定を行うためにはテン
プレートマッチング工程７９が必要である。微分法７６
で１回の反復処理に生じる誤差は小さすぎて正確な観察
者トラッキングに影響しない。工程７９で行われるター
ゲット確認において、検出された位置において、ターゲ
ット画像が本当にそこにあることを確認するとともに、
次の動き検出工程７６の前に、位置データを高精度化す
る。上記のように、動き検出工程にかかる時間は約２ミ
リ秒であり、フィールド反復レートが約６０Ｈｚの場
合、次のデジタル化画像が用意されるまでに約１４．７
ミリ秒が残る。この「待ち時間」は、テンプレートマッ
チング工程７９がターゲット確認を行うのに十分であ
る。
【０１２５】工程７７において、工程７６で検出された
動きを、前画像フィールドについて工程７９において求
められた位置に加算する。このように、工程７８におい
てターゲット画像位置を示すのに１回の微分法工程７６
の結果（含まれる誤差は１組のみ）だけを用いるので、
微分法工程７６における累積誤差が回避される。テンプ
レートマッチング工程７９において、誤差を含むターゲ
ット画像位置が計算されるが、現ターゲット画像に対し
て１回毎にテンプレートマッチングを行うので、この誤
差は累積しない。従って、得られる位置データは、常
に、正しいターゲット位置＋単一の測定誤差となる。
【０１２６】動き検出とテンプレートマッチングとは効
率的に協働する。動き検出は、高速に位置データを生成
し、これにより、待ち時間が最小限になる。動き検出の
結果によって、テンプレートマッチングのサーチエリア
が限定される。テンプレートマッチングを利用すること
によって、ターゲット位置を確認するとともに、動き検
出による測定誤差の累積を防ぐ。この効率的な組合せに
よって、短い待ち時間、高い更新頻度および十分な測定
精度の要件が満たされるので、観察者トラッキング自動
立体３Ｄ表示装置に適した信頼性の高いトラッキングシ
ステムを提供することが可能になる。
【０１２７】図２３は、画像フィールドシーケンスのデ
ジタル化のタイミングに関連した、工程７６および７９
のタイミングを示す。デジタル化は、時間９７から開始
され、図１６に示すようなフィールドレート６０Ｈｚの
ＮＴＳＣビデオカメラを用いて、各フィールドが、約１
６．６７ミリ秒の期間内にデジタル化される。プロセッ
サ４は、図１１に示すタイプのリングバッファを含んで
おり、次のフィールドを捕捉している間に、各フィール
ドが各バッファメモリから利用可能である。
【０１２８】時間９８から計算が開始され、グローバル
テンプレートサーチ６２が既に行われてターゲット画像
の初期位置が与えられているとすると、約２ミリ秒以内
に工程７６が行われ、位置データＰｍｄが利用可能とな
り、これを前工程７９においてテンプレートマッチング
によって求めた位置Ｐｔｍに加算することができる。従
って、新しいフィールドが捕捉およびデジタル化された
後すぐに、工程７６が開始される。工程７９は、工程７
６が完了した後すぐに終了し、これにかかる時間は約１
０ミリ秒である。従って、各画像フィールドについての
画像全体のトラッキングは、１つの画像フィールドをデ
ジタル化するのに必要な時間以内に完了するので、観察
者位置測定の反復レートは、約６０Ｈｚのフィールド反
復レートに等しい。位置測定の待ち時間は、約１８．７
ミリ秒であり、約５ミリメートルよりも優れたＸ方向精
度を得ることが可能である。これは、例えば図２に示す
自動立体表示装置において使用される画像トラッキング
システムには十分である。
【０１２９】グローバルテンプレートサーチ６２には、
約６０ミリ秒の固定時間がかかる。例えば観察者がビデ
オカメラ３の視野外に出ることにより、工程６３、６４
および６５においてターゲット画像が失われた場合、ト
ラッキングシステムはターゲット画像が失われたことを
検出し、観察者が視野の中に戻ってトラッキングシステ
ムが再びその位置を特定するまでの間、グローバルテン
プレートサーチ６２に切り換える。
【０１３０】微分法７６は、２つの連続するフィールド
間の動きが画素３〜４個分を越えない場合に良好に機能
する。これは、大凡、図２に示す自動立体サイズの典型
的な実施形態における観察者の平均速度であるが、実際
には、観察者がこの２倍の速度で動く場合も時々ある。
このような状況下では、微分法は、動きを過小評価する
傾向がある。この問題を解決する技術の１つは、反復微
分法(iterative differential method)を用いることで
ある。例えば、連続するフィールド間においてターゲッ
ト画像が７画素分動いたにも関わらず第１の反復処理に
おいて動きを４画素と推定した場合、次の反復処理まで
の間、第２の画像フィールドは４画素分だけシフトし得
る。このとき、シフトしたフィールドと前フィールドと
の間の相対的動きは約３画素であるが、これは、正確に
測定され得る。２回よりも多い反復処理を用いることも
可能であるが、実際には、２回の反復処理が適当である
ことが分かっている。
【０１３１】上記のように、観察者位置データは、図３
に示すようにデカルト座標で表すことができる。上記の
トラッキングシステムは、ＸＹ方向頭トラッキングを実
現するが、観察者がＺ方向には移動せずに表示装置のウ
ィンドウ平面２３内に留まっている場合には、Ｘ位置デ
ータのみでも十分な場合がある。通常、観察者がＺ方向
に動く場合には、Ｚ方向トラッキングが必要となる。し
かし、カメラ３のレンズ９９の光心が表示装置の光心２
９と位置的に整合している特別な場合には、Ｚ方向トラ
ッキングは明示的には必要でない。
【０１３２】図７に示すように、観察ゾーン２８は、水
平方向ＸＺ平面において角度的に隔てられている。図２
４に示すように、カメラレンズ９９の光心が表示装置の
光心２９と位置的に整合している場合、参照符号１００
等の同一の切替線上の全ての点が、参照符号１０１等の
カメラ３の結像面１０２上の同一の点に結像する。従っ
て、カメラのある画素のＸ位置は、観察者の角度的な位
置を示し、これを図７の光学系に直接供給することによ
り、観察者のＺ位置を全く知る必要なく、正しくステア
リングされた観察ウィンドウを得ることができる。従っ
て、この特定の構成により、単一のカメラを使用して、
精度を高めて応答時間を短縮することが可能となり、ト
ラッキングシステムが、このタイプの自動立体表示装置
に特に適したものとなる。
【０１３３】図４に示すように、自動立体表示装置は、
典型的には、ある程度の長手方向の観察自由度を観察者
に与える。具体的には、観察者の目が適切な菱形観察ゾ
ーン２１および２２内に維持されている限り、観察者は
表示装置全体にわたって３Ｄ画像を知覚する。しかし、
長手方向即ちＺ方向に移動した場合、観察者がビデオカ
メラ３に対して近づいたり離れたりするため、ターゲッ
ト画像のサイズが変化する。微分法７６においては、タ
ーゲットが短い距離しか動かないように、最新の２つの
連続する画像フィールドを用いている。従って、このス
ケーリングの影響(scaling effect)は最小限であり、重
大な問題を引き起こすことはない。
【０１３４】スケーリングの影響は、テンプレートマッ
チング工程７３および７９にとってより重要である。な
ぜなら、各画像フィールドが、常に、テンプレート捕捉
工程６１で得た固定テンプレートを用いてサーチされる
からである。このスケーリングの影響の結果、最大相関
値は、最適値１未満になる。上記した特定の実施形態の
場合、測定誤差が約５ミリメートルを上回らなければ、
トラッキングシステムは、約０．８５メートルの最良観
察位置から前後に約１５０ミリメートルの長手方向の移
動を許容できる。
【０１３５】上記のように、工程７４および８０におい
て、所定の閾値を用いて、ターゲット画像の位置が特定
されたかどうかをテストする。予め設定される閾値は、
様々な照明条件下において、異なる位置および方向の様
々な人間に対処できるように、十分に小さくなければな
らない。しかし、この閾値は、ターゲット画像を誤った
ターゲット画像から区別できる程度には大きくなければ
ならない。ターゲット確認は、図２５および図２６に示
す色調（Ｈ）、彩度（Ｓ）、明度（Ｖ）測定等の追加の
方法を用いてさらなるチェックを行うことによって向上
し得る。
【０１３６】図２５に示す画像トラッキングは、図１７
および図１８に示すものとは異なり、工程１０３および
１０４が挿入されている。人間の皮膚の彩度が均一にな
ることは周知である。この均一性は、グレーレベル等の
他の画像特徴と比べて、異なる照明条件による影響を受
けにくい。照明が均一であれば、顔の大部分にわたって
顔の色調および彩度は共に滑らかに変化する。照明が不
均一であっても、画像の彩度は観察者の顔の両側で非常
にバランスがとれた状態を維持するが、強度画像(inten
sity picture)は、目に見えて片側では暗く反対側では
明るくなり得る。また、観察者の顔の平均彩度値は、よ
り顕著に、背景の平均彩度値と異なる。観察者の顔の彩
度の平均値は、頭を移動する際にもほとんど変化しな
い。これにより、ターゲット確認をさらにチェックする
ことができる。
【０１３７】図２６は、可能性のある全ての光の色を含
んだ二重円錐としてＨＳＶを示す。二重円錐の軸は、黒
から白へのグレースケールの進行を表す。軸からの距離
は、彩度を表す。軸を中心とした角度方向は色調を表
す。
【０１３８】赤、緑および青（ＲＧＢ）の出力を提供す
るビデオカメラ３の場合、ＨＳＶフォーマットへの変換
は、ＲＧＢ信号の最大値および最小値を検索することに
よって行われる。この場合、Ｖ成分は最大信号の値によ
って得られる。彩度Ｓは、Ｖ成分が０である場合には０
になり、そうでない場合には、最大および最小ＲＧＢ値
の差を最大値で割ったものになる。色調は、 Ｖ＝０の場合、 Ｈ＝０ ｃ ｍａｘ＝Ｒの場合、 Ｈ＝（Ｇ−Ｂ）／ｄ ｃ ｍａｘ＝Ｇの場合、 Ｈ＝２＋（Ｂ−Ｒ）／ｄ ｃ ｍａｘ＝Ｂの場合、 Ｈ＝４＋（Ｒ−Ｇ）／ｄ となる。但し、ｄは、ＲＧＢ値の最大値と最少値の差で
あり、ｃ ｍａｘは、ＲＧＢ値の最大値である。
【０１３９】ピーク相関値が閾値を上回る場合、工程１
０３において、テンプレートの下にある画像フィールド
の中の最適位置にある領域を、上記のようにＲＧＢフォ
ーマットからＨＳＶフォーマットに変換する。ターゲッ
ト画像の平均値ｓ１を計算し、これを、テンプレートの
平均彩度と比較する（平均彩度は、固定であり、テンプ
レート捕捉工程６１の間に計算することができる）。平
均彩度の差Ｓは、｜ｓ１−ｓ２｜／ｓ２として計算し、
これを、工程１０４において、典型的に約０．７〜０．
８である別の所定の閾値と比較する。平均彩度が閾値よ
りも大きい場合、制御部は動き検出工程６３に戻り、タ
ーゲット確認が成功したことを示す。Ｓが閾値未満であ
った場合には、制御部はグローバルテンプレートサーチ
工程６２に戻る。このように、この追加的なチェックに
よって、正しくないターゲット画像に誤ってロックする
可能性が低くなる。
【０１４０】上記のシステムは、あらゆる頭の移動の際
に顔がほぼ真っ直ぐな位置にある単一のユーザに対して
単一のテンプレートを用いている。実際には、ユーザ
は、少しであれば、頭を傾斜および／または回転させて
よい。顔の大きさ、顔の特徴および画像の信号対ノイズ
比等の複数のファクタに応じて、厳密な範囲はユーザに
よって異なる。複数のテンプレートを用いて、より大き
い回転および傾斜を許容するように、システムを改変す
ることが可能である。図２７の初めの行は、ユーザが、
角度−Ａ度から＋Ａ度まで傾斜し得る場合の単一のテン
プレートを示す。第２のテンプレートを角度２Ａで作成
した場合、このテンプレートを用いて、Ａ度〜３Ａ度の
範囲で傾斜した目の領域に対してテンプレートマッチン
グを行うことができる。同様に、第３のテンプレートを
角度−２Ａで作成することにより、傾斜範囲を−Ａ〜−
３Ａに拡張することができる。
【０１４１】この例の場合、初めに、第１のテンプレー
トを用いて最良一致領域を検索し得る。最良相関値が所
定の閾値を上回る場合には、その目の領域を検索する。
そうでない場合には、第２のテンプレートを用いて、テ
ンプレートマッチング処理を適用する。最良相関値が所
定の閾値を上回る場合には、その目の領域を検索する。
そうでない場合には、第３のテンプレートを用いて、テ
ンプレートマッチング処理を適用する。
【０１４２】例えば、第２のテンプレートを用いて目の
領域が検索された場合、次のフレームに対するテンプレ
ートマッチングは、第１のテンプレートではなく、第２
のテンプレートを用いて開始され得る。最良相関値が所
定の閾値を上回る場合には、その目の領域を検索する。
そうでない場合には、その目の領域が検索されるまで、
他の２つのテンプレートを順番に用いることができる。
【０１４３】より多くのテンプレートを用いれば、許容
される傾斜範囲がさらに拡張され得る。
【０１４４】ユーザが頭を所望の角度に傾斜させて、上
記のインタラクティブな方法を適用して、第２および第
３のテンプレートを作成することが可能である。しか
し、これは不便であり、またその必要でもない。なぜな
ら、第２および第３のテンプレートは、第１のテンプレ
ートを所望の角度だけ回転させて計算によって作成する
ことが可能だからである。
【０１４５】この方法を適用して、図２８に示すように
ユーザが垂直方向軸を中心として頭を回転させる際の許
容される回転の範囲を拡張することが可能である。但
し、この付加的なテンプレートは、個々に手動で捕捉し
なければならない。
【０１４６】複数のテンプレートを使用すると、使用す
るテンプレートの数に等しいファクタ分だけ、必要な計
算パワーが増大する。同じ性能を維持するためには、よ
り高性能な逐次処理コンピュータ、または並列コンピュ
ータを用いる必要がある。上記のテンプレートマッチン
グ処理自体、および複数のテンプレートの使用は、並列
処理に非常に適している。将来、並列計算がもっと容易
に利用できるようになれば、このような多重テンプレー
ト技術が、実施および計算効率の点で有利になるであろ
う。
【０１４７】本発明の範囲内で様々な改変を行うことが
可能である。例えば、記載した実施形態におけるトラッ
キングシステムの大部分は、プログラムドデータプロセ
ッサとして実施されているが、他の実施態様としては、
カメラ、デジタル信号処理チップおよび適切な記憶装置
等の個別の部品の使用が挙げられる。システムを、少な
くとも部分的にカメラシステムに内蔵された専用のシリ
コンチップまたはチップセットとして実現することも可
能である。そのようなカメラは、標準映像信号用の第１
の出力と、位置データ用の第２の出力とを有し得る。Ｃ
ＭＯＳを利用したカメラシステム等のカメラセンサに直
接集積されたシステムは、アナログビデオデータの生成
および処理のためのデジタル／アナログコンバータおよ
びアナログ／デジタルコンバータを必要とせず、これに
より、コストを低減し、性能を向上させる機会を提供す
る。また、可視光カメラの使用を記載したが、赤外線光
システム等の他のセンサを用いてもよい。
【０１４８】
【発明の効果】本発明によると、望ましくないまたは非
実用的な大きい計算パワーを必要とせずに、ターゲット
画像の位置を高速に示す画像トラッキングシステムを提
供することができる。
【０１４９】本発明によると、観察者が、マーカーまた
は他の装置を装着する必要がなく邪魔にならない、自動
立体表示装置における観察者トラッキング技術が提供さ
れる。また、比較的安価な「受動的」ビデオカメラによ
って観察者を観察することができ、背景または照明を特
別に制御する必要もない。観察者トラッキングに必要な
全てのデータは、ビデオ画像のみからリアルタイムで抽
出することができる。
【０１５０】本発明の技術は、リアルタイム、例えば最
大約６０Ｈｚで、約２０ミリ秒未満の待ち時間で動作す
ることができる。これにより、観察者は、頭移動速度を
事実上全く制限されることなく、表示装置の視野内で自
由に動くことができる。計算パワーに対する過度の要求
がなく、低コストで商品化することができる。
【０１５１】本発明の技術は、特別な光源の配置なしで
周囲光の下で動作できる。これにより、より広い使用環
境において使い易さが増す。能動的な可視または赤外線
光源からの光が目に入ることが全くないので、視覚的不
快感がない。能動的な光源のための部品および電源が不
要なので、コストが削減される。
【０１５２】観察者が一旦表示装置を離れた後に戻って
来た際にも、トラッキングシステムは、非常に短い時間
でターゲットの位置を再特定できるので、ユーザは、立
体映像を再び見ることができるようになるまでに、実質
的な遅延を全く感じない。トラッキング処理を行ってい
る間に、機能が失われることもなく、周囲の照明が大幅
に変化しない限りはシステムを再起動する必要もない。
【図面の簡単な説明】
【図１】公知タイプの観察者トラッキング自動立体表示
装置の模式図である。
【図２】特定の公知タイプの自動立体表示装置の平面図
である。
【図３】自動立体表示装置における観察ウィンドウの生
成を示す図である。
【図４ａ】自動立体表示装置における観察ゾーンの生成
を示す平面図である。
【図４ｂ】目の位置が水平な場合、および水平方向に対
して傾斜している場合における、観察ウィンドウと、観
察者の目との所望の相対位置を示す図である。
【図５】自動立体表示装置の観察ウィンドウの典型的な
照度プロファイルを示すグラフである。
【図６】自動立体表示装置の観察ウィンドウの不連続な
位置を示す図である。
【図７】自動立体表示装置における観察ゾーンの生成を
示す平面図である。
【図８】最大観察者頭移動速度の関数としての観察者ト
ラッキング応答時間を示すグラフである。
【図９】インターレースされた奇数フィールドおよび偶
数フィールドで構成される１つの画像フレームを示す図
である。
【図１０】フィールドのデジタル化および処理のタイミ
ングを示す図である。
【図１１】リングバッファを使用してデジタル化および
処理を同時に行う方法を示す図である。
【図１２】公知のテンプレートマッチング技術のフロー
チャートである。
【図１３】画像と適切なテンプレートとのテンプレート
マッチングを示す図である。
【図１４】画像全体のテンプレートマッチングに必要な
反復処理の回数を示す図である。
【図１５】異なる画像位置についての交差相関値を表す
２次元の面を示す図である。
【図１６】本発明の実施形態を構成する観察者トラッキ
ング表示装置およびトラッキングシステムを示す模式図
である。
【図１７】本発明の実施形態を構成する画像トラッキン
グ方法を示す概略フローチャートである。
【図１８】図１７の方法のより詳細なフローチャートで
ある。
【図１９】テンプレートを捕捉する際の表示装置の様子
を示す図である。
【図２０】テンプレートマッチングの対象である画像の
中の限定された領域を示す図である。
【図２１】階層テンプレートマッチングを示す図であ
る。
【図２２】微分動き測定法を示す図である。
【図２３】図１７および図１８の方法のタイミングを示
す図である。
【図２４】３Ｄ表示装置に対する好適なビデオカメラ位
置を示す平面図である。
【図２５】テンプレートマッチングの別の技術を示す図
である。
【図２６】色調（Ｈ）、彩度（Ｓ）、明度（Ｖ）空間を
示す図である。
【図２７】頭の傾斜に対処するための多重テンプレート
技術を示す図である。
【図２８】垂直軸を中心とした頭の回転の影響を示す図
である。
【符号の説明】
１ 表示装置システム ２ トラッキングシステム ３ トラッキングセンサ ４ トラッキングプロセッサ ５ 表示装置制御プロセッサ ６ ステアリングメカニズム ７ ３Ｄ表示装置 ８ 観察者
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ディビッド エズラ イギリス国 オーエックス10 ０アールエ ル オックスフォードシャー， ワリンフ ォード， ブライトウェル−カム−ソトウ ェル， モンクス メッド 19 (72)発明者 グラハム ジョン ウッドゲート イギリス国 アールジー９ １エイチエフ オックスフォードシャー， ヘンリー− オン−テムズ， ビカレッジ ロード ９

Claims (29)

    【特許請求の範囲】
  1. 【請求項１】 画像シーケンスを与える第１の手段と、
    該第１の手段から前に与えられた画像内におけるターゲ
    ット画像の位置を求める第２の手段とを備えた画像トラ
    ッキングシステムであって、 該第１の手段から前に与えられた該画像と後に与えられ
    た画像との間における該ターゲット画像の動きを求める
    第３の手段と、 該第２の手段によって求められた該位置を該第３の手段
    によって求められた該動きで修正したものとして、該後
    に与えられた画像内における該ターゲット画像の位置を
    示す第４の手段とをさらに備えた画像トラッキングシス
    テム。
  2. 【請求項２】 前記後に与えられた画像が、前記前に与
    えられた画像と連続している、請求項１に記載の画像ト
    ラッキングシステム。
  3. 【請求項３】 前記前に与えられた画像が、前記シーケ
    ンスの画像のそれぞれを順番に含んでいる、請求項１ま
    たは２に記載の画像トラッキングシステム。
  4. 【請求項４】 前記画像シーケンスをリアルタイムで与
    えるように前記第１の手段が構成されている、請求項１
    から３のいずれかに記載の画像トラッキングシステム。
  5. 【請求項５】 前記後に与えられた画像が、現在与えら
    れている画像である、請求項４に記載の画像トラッキン
    グシステム。
  6. 【請求項６】 前記第１の手段が、ビデオカメラを含
    む、請求項４または５に記載の画像トラッキングシステ
    ム。
  7. 【請求項７】 前記第１の手段が、前記前に与えられた
    画像および前記後に与えられた画像を格納するメモリを
    含む、請求項１から６のいずれかに記載の画像トラッキ
    ングシステム。
  8. 【請求項８】 前記画像シーケンスが、インターレース
    されたフィールドである連続するフィールドを含む、請
    求項１から７のいずれかに記載の画像トラッキングシス
    テム。
  9. 【請求項９】 前記第２、第３および第４の手段が、プ
    ログラムドデータプロセッサを含む、請求項１から８の
    いずれかに記載の画像トラッキングシステム。
  10. 【請求項１０】 前記第３の手段によって求められた動
    きを前記第２の手段によって求められた位置に加算する
    ように前記第４の手段が構成されている、請求項１から
    ９のいずれかに記載の画像トラッキングシステム。
  11. 【請求項１１】 前記後に与えられる画像が前記第１の
    手段によって与えられるとすぐに前記動きを求めるよう
    に前記第３の手段が構成されている、請求項１から１０
    のいずれかに記載の画像トラッキングシステム。
  12. 【請求項１２】 前記第３の手段が前記動きを求めると
    すぐに、後に与えられた画像上における前記ターゲット
    画像の位置を求めるように前記第２の手段が構成されて
    いる、請求項１１に記載の画像トラッキングシステム。
  13. 【請求項１３】 シーケンスの画像よりも小さく且つ前
    記第４の手段によって示される位置を含む第１の画像部
    分内において前記ターゲット画像をサーチするように前
    記第２の手段が構成されている、請求項１から１２のい
    ずれかに記載の画像トラッキングシステム。
  14. 【請求項１４】 前記第４の手段によって示される前記
    位置が、実質的に前記第１の画像部分の中心である、請
    求項１３に記載の画像トラッキングシステム。
  15. 【請求項１５】 前記第１の画像部分内における前記サ
    ーチが不成功であった場合に、前記前に与えられた画像
    全体において前記ターゲット画像をサーチするように前
    記第２の手段が構成されている、請求項１３または１４
    に記載の画像トラッキングシステム。
  16. 【請求項１６】 初期の前に与えられた画像全体におい
    て前記ターゲット画像をサーチするように前記第２の手
    段が構成されている、請求項１３から１５のいずれかに
    記載の画像トラッキングシステム。
  17. 【請求項１７】 前記第１の画像部分内の複数の第１の
    部分において前記ターゲット画像のテンプレートマッチ
    ングを行って最良一致を検索するように前記第２の手段
    が構成されている、請求項１３から１６のいずれかに記
    載の画像トラッキングシステム。
  18. 【請求項１８】 前記第１の位置よりも細かく位置し且
    つ前記最良一致に対応する位置の近傍に配された複数の
    第２の位置において前記ターゲット画像のテンプレート
    マッチングを行うように前記第２の手段が構成されてい
    る、請求項１７に記載の画像トラッキングシステム。
  19. 【請求項１９】 前記ターゲット画像と前記第１の位置
    に対応する領域との間の相関値、および、該ターゲット
    画像と前記第２の位置に対応する領域との間の相関値の
    少なくとも一方を求めて、最大相関値を選択するように
    前記第２の手段が構成されている、請求項１７または１
    ８に記載の画像トラッキングシステム。
  20. 【請求項２０】 前記最大相関値を、許容可能性に対す
    る閾値と比較するように前記第２の手段が構成されてい
    る、請求項１９に記載の画像トラッキングシステム。
  21. 【請求項２１】 前記シーケンスの画像の１つの一部を
    格納することにより、前記ターゲット画像を捕捉する第
    ５の手段を備えている、請求項１から２０のいずれかに
    記載の画像トラッキングシステム。
  22. 【請求項２２】 前記第５の手段が、前記画像シーケン
    スを表示する表示装置と、該表示装置上に境界画像を生
    成する画像生成装置と、該境界画像内の画像領域の捕捉
    を始動するためのユーザが操作できる制御装置とを含
    む、請求項２１に記載の画像トラッキングシステム。
  23. 【請求項２３】 前記第５の手段が、前記表示装置上の
    前記境界画像の位置を制御するためのユーザが操作でき
    るさらなる制御装置を含む、請求項２２に記載の画像ト
    ラッキングシステム。
  24. 【請求項２４】 全体が前記ターゲット画像の中にあり
    且つ該ターゲット画像よりも小さい第２の画像部分内の
    複数の画像要素において動きを求めるように前記第３の
    手段が構成されている、請求項１から２３のいずれかに
    記載のシステム。
  25. 【請求項２５】 前記ターゲット画像の並進的な動きを
    求めるように前記第３の手段が構成されている、請求項
    ２４に記載の画像トラッキングシステム。
  26. 【請求項２６】 １組の方程式 【数１】 を解くように前記第３の手段が構成されていて、ｘiお
    よびｙiはｉ番目の画像要素のデカルト座標であり、ｉ
    は１≦ｉ≦ｊである整数であり、ｊは１よりも大きい整
    数であり、ｆ1およびｆ2は前記前に与えられた画像およ
    び前記後に与えられた画像を表す関数であり、Δｘおよ
    びΔｙは前記動きのデカルト成分である、請求項２５に
    記載の画像トラッキングシステム。
  27. 【請求項２７】 請求項１から２６のいずれかに記載の
    システムを含む観察者トラッキング自動立体表示装置。
  28. 【請求項２８】 前記第１の手段が、前記表示装置の光
    心に配置されたビデオカメラを含む、請求項２７に記載
    の観察者トラッキング自動立体表示装置。
  29. 【請求項２９】 前に与えられた画像内におけるターゲ
    ット画像の位置を求める工程と、 該前に与えられた画像と後に与えられた画像の間におけ
    る該ターゲット画像の動きを求める工程と、 該前に与えられた画像内の位置を該求められた動きで修
    正したものとして、該後に与えられた画像内における該
    ターゲット画像の位置を示す工程とを包含する、シーケ
    ンシャルに与えられる画像の画像トラッキング方法。
JP10622298A 1997-04-17 1998-04-16 観察者トラッキング自動立体表示装置、画像トラッキングシステム、および画像トラッキング方法 Expired - Fee Related JP3565707B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9707782A GB2324428A (en) 1997-04-17 1997-04-17 Image tracking; observer tracking stereoscopic display
GB9707782.0 1997-04-17

Publications (2)

Publication Number Publication Date
JPH113429A true JPH113429A (ja) 1999-01-06
JP3565707B2 JP3565707B2 (ja) 2004-09-15

Family

ID=10810934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10622298A Expired - Fee Related JP3565707B2 (ja) 1997-04-17 1998-04-16 観察者トラッキング自動立体表示装置、画像トラッキングシステム、および画像トラッキング方法

Country Status (4)

Country Link
US (1) US6075557A (ja)
EP (1) EP0877274A3 (ja)
JP (1) JP3565707B2 (ja)
GB (1) GB2324428A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259991A (ja) * 2001-02-28 2002-09-13 Sony Corp 画像処理装置およびその方法
CN101461251B (zh) 2005-04-25 2011-10-19 斯维亚托斯拉夫·伊万诺维奇·阿尔塞尼奇 立体投影系统
US8842107B2 (en) 2012-07-17 2014-09-23 Samsung Display Co., Ltd. Display device and method for operating the display device
JP2015525366A (ja) * 2012-05-18 2015-09-03 リアルディー インコーポレイテッド 指向性光源用制御システム
RU2698919C2 (ru) * 2017-07-18 2019-09-02 Святослав Иванович АРСЕНИЧ Стереодисплей (варианты), видеокамера для стереосъёмки и способ компьютерного формирования стереоизображений для этого стереодисплея

Families Citing this family (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3802653B2 (ja) * 1997-05-21 2006-07-26 オリンパス株式会社 立体画像表示装置
AUPP048097A0 (en) * 1997-11-21 1997-12-18 Xenotech Research Pty Ltd Eye tracking apparatus
US6239830B1 (en) * 1998-01-21 2001-05-29 New York University Displayer and method for displaying
CN1178467C (zh) * 1998-04-16 2004-12-01 三星电子株式会社 自动跟踪运动目标的方法和装置
US20010008561A1 (en) * 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) * 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6937696B1 (en) 1998-10-23 2005-08-30 Varian Medical Systems Technologies, Inc. Method and system for predictive physiological gating
US7158610B2 (en) * 2003-09-05 2007-01-02 Varian Medical Systems Technologies, Inc. Systems and methods for processing x-ray images
US6757422B1 (en) * 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
US6243494B1 (en) * 1998-12-18 2001-06-05 University Of Washington Template matching in 3 dimensions using correlative auto-predictive search
US6301387B1 (en) * 1998-12-18 2001-10-09 University Of Washington Template matching using correlative auto-predictive search
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
SG91841A1 (en) * 1999-11-03 2002-10-15 Kent Ridge Digital Labs Face direction estimation using a single gray-level image
JP2001209802A (ja) * 1999-11-15 2001-08-03 Fuji Photo Film Co Ltd 顔抽出方法および装置並びに記録媒体
US20040189804A1 (en) * 2000-02-16 2004-09-30 Borden George R. Method of selecting targets and generating feedback in object tracking systems
JP3825222B2 (ja) * 2000-03-24 2006-09-27 松下電器産業株式会社 本人認証装置および本人認証システムならびに電子決済システム
KR100710347B1 (ko) * 2000-05-12 2007-04-23 엘지전자 주식회사 3차원 영상 디스플레이 장치 및 방법
US7221780B1 (en) * 2000-06-02 2007-05-22 Sony Corporation System and method for human face detection in color graphics images
US20080024598A1 (en) * 2000-07-21 2008-01-31 New York University Autostereoscopic display
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
US6751345B2 (en) * 2001-02-12 2004-06-15 Koninklijke Philips Electronics N.V. Method and apparatus for improving object boundaries extracted from stereoscopic images
US6760465B2 (en) 2001-03-30 2004-07-06 Intel Corporation Mechanism for tracking colored objects in a video sequence
US6985179B2 (en) * 2001-03-30 2006-01-10 Intel Corporaiton Determining image quality for improving object trackability
US6752498B2 (en) 2001-05-14 2004-06-22 Eastman Kodak Company Adaptive autostereoscopic display system
US20040164939A1 (en) * 2001-05-15 2004-08-26 Johnson Mark Thomas Display device comprising a plurality of leds
US7769430B2 (en) * 2001-06-26 2010-08-03 Varian Medical Systems, Inc. Patient visual instruction techniques for synchronizing breathing with a medical procedure
AUPR676201A0 (en) * 2001-08-01 2001-08-23 Canon Kabushiki Kaisha Video feature tracking with loss-of-track detection
KR100516638B1 (ko) 2001-09-26 2005-09-22 엘지전자 주식회사 화상 통신 시스템
US20030128175A1 (en) * 2002-01-09 2003-07-10 International Business Machines Corporation Stereoscopic display system and method
US20030210378A1 (en) * 2002-01-17 2003-11-13 Riza Nabeel Agha Optoelectronic eye examination system
AU2003245283A1 (en) * 2002-05-15 2003-12-02 The Board Of Governors For Higher Education, State Of Rhode Island And Providence Plantations An imaging system and method for tracking the motion of an object
US7620444B2 (en) 2002-10-05 2009-11-17 General Electric Company Systems and methods for improving usability of images for medical applications
US7400344B2 (en) * 2002-12-19 2008-07-15 Hitachi Kokusai Electric Inc. Object tracking method and object tracking apparatus
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
AU2003901528A0 (en) * 2003-03-31 2003-05-01 Seeing Machines Pty Ltd Eye tracking system and method
US7203277B2 (en) 2003-04-25 2007-04-10 Brainlab Ag Visualization device and method for combined patient and object image data
US7956889B2 (en) 2003-06-04 2011-06-07 Model Software Corporation Video surveillance system
US7463823B2 (en) 2003-07-24 2008-12-09 Brainlab Ag Stereoscopic visualization device for patient image data and video images
JP3787783B2 (ja) * 2003-09-02 2006-06-21 松下電器産業株式会社 対象物進行方向検出方法
US8571639B2 (en) * 2003-09-05 2013-10-29 Varian Medical Systems, Inc. Systems and methods for gating medical procedures
US20050053267A1 (en) * 2003-09-05 2005-03-10 Varian Medical Systems Technologies, Inc. Systems and methods for tracking moving targets and monitoring object positions
JP4543644B2 (ja) * 2003-09-16 2010-09-15 富士ゼロックス株式会社 データ認識装置
TWI225622B (en) * 2003-10-24 2004-12-21 Sunplus Technology Co Ltd Method for detecting the sub-pixel motion for optic navigation device
US20050104958A1 (en) * 2003-11-13 2005-05-19 Geoffrey Egnal Active camera video-based surveillance systems and methods
GB2409030A (en) 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
US20060007191A1 (en) * 2004-06-03 2006-01-12 International Business Machines Corporation System and method for adjusting a screen
US8300043B2 (en) * 2004-06-24 2012-10-30 Sony Ericsson Mobile Communications AG Proximity assisted 3D rendering
EP1621153B1 (de) * 2004-07-28 2007-08-15 BrainLAB AG Stereoskopische Visualisierungsvorrichtung für Patientenbilddaten und Videobilder
DE102004059729B3 (de) * 2004-12-11 2006-04-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autostereoskopischen Erzeugung von dreidimensionalen Bildinformationen aus gerasterten Subpixelauszügen und Anordnung zur Verfahrensdurchführung
US7672540B2 (en) * 2005-07-13 2010-03-02 Siemens Medical Solutions USA, Inc, Nonrigid registration of cardiac perfusion MR images using adaptive local template matching
US9363487B2 (en) * 2005-09-08 2016-06-07 Avigilon Fortress Corporation Scanning camera-based video surveillance system
US20070058717A1 (en) * 2005-09-09 2007-03-15 Objectvideo, Inc. Enhanced processing for scanning video
US8098885B2 (en) * 2005-11-02 2012-01-17 Microsoft Corporation Robust online face tracking
KR100704634B1 (ko) * 2005-12-19 2007-04-09 삼성전자주식회사 사용자의 위치에 따른 입체 영상을 디스플레이하는 장치 및방법
US7359105B2 (en) 2006-02-07 2008-04-15 Sharp Kabushiki Kaisha Spatial light modulator and a display device
US20070196005A1 (en) * 2006-02-23 2007-08-23 White Christopher A Feature Tracing Process for M-mode Images
US20070208904A1 (en) * 2006-03-03 2007-09-06 Wu-Han Hsieh Wear leveling method and apparatus for nonvolatile memory
US7876906B2 (en) 2006-05-30 2011-01-25 Sonitus Medical, Inc. Methods and apparatus for processing audio signals
CA2661136A1 (en) 2006-08-11 2008-02-14 Thomson Licensing Accurate motion portrayal for display and digital projectors
US8291912B2 (en) * 2006-08-22 2012-10-23 Sonitus Medical, Inc. Systems for manufacturing oral-based hearing aid appliances
EP2064916B1 (en) * 2006-09-08 2018-12-05 SoundMed, LLC Methods and apparatus for treating tinnitus
US8270638B2 (en) 2007-05-29 2012-09-18 Sonitus Medical, Inc. Systems and methods to provide communication, positioning and monitoring of user status
US20080304677A1 (en) * 2007-06-08 2008-12-11 Sonitus Medical Inc. System and method for noise cancellation with motion tracking capability
US20090028352A1 (en) * 2007-07-24 2009-01-29 Petroff Michael L Signal process for the derivation of improved dtm dynamic tinnitus mitigation sound
US20120235632A9 (en) * 2007-08-20 2012-09-20 Sonitus Medical, Inc. Intra-oral charging systems and methods
US8433080B2 (en) * 2007-08-22 2013-04-30 Sonitus Medical, Inc. Bone conduction hearing device with open-ear microphone
US8224013B2 (en) 2007-08-27 2012-07-17 Sonitus Medical, Inc. Headset systems and methods
US7682303B2 (en) 2007-10-02 2010-03-23 Sonitus Medical, Inc. Methods and apparatus for transmitting vibrations
US20090105523A1 (en) * 2007-10-18 2009-04-23 Sonitus Medical, Inc. Systems and methods for compliance monitoring
JP4882956B2 (ja) * 2007-10-22 2012-02-22 ソニー株式会社 画像処理装置および画像処理方法
US8795172B2 (en) * 2007-12-07 2014-08-05 Sonitus Medical, Inc. Systems and methods to provide two-way communications
US8270637B2 (en) 2008-02-15 2012-09-18 Sonitus Medical, Inc. Headset systems and methods
US7974845B2 (en) 2008-02-15 2011-07-05 Sonitus Medical, Inc. Stuttering treatment methods and apparatus
US8023676B2 (en) 2008-03-03 2011-09-20 Sonitus Medical, Inc. Systems and methods to provide communication and monitoring of user status
US8150075B2 (en) 2008-03-04 2012-04-03 Sonitus Medical, Inc. Dental bone conduction hearing appliance
US20090226020A1 (en) 2008-03-04 2009-09-10 Sonitus Medical, Inc. Dental bone conduction hearing appliance
US20090270673A1 (en) * 2008-04-25 2009-10-29 Sonitus Medical, Inc. Methods and systems for tinnitus treatment
US10667727B2 (en) * 2008-09-05 2020-06-02 Varian Medical Systems, Inc. Systems and methods for determining a state of a patient
US20100061596A1 (en) * 2008-09-05 2010-03-11 Varian Medical Systems Technologies, Inc. Video-Based Breathing Monitoring Without Fiducial Tracking
US8328360B2 (en) * 2009-04-03 2012-12-11 Seiko Epson Corporation Retro-reflective light diffusing autostereoscopic 3D display systems
US7993016B2 (en) * 2009-04-03 2011-08-09 Seiko Epson Corporation Retro-reflective light diffusing display systems
US8287127B2 (en) * 2009-04-03 2012-10-16 Seiko Epson Corporation Aerial three-dimensional image display systems
US8433082B2 (en) 2009-10-02 2013-04-30 Sonitus Medical, Inc. Intraoral appliance for sound transmission via bone conduction
US20110181587A1 (en) * 2010-01-22 2011-07-28 Sony Corporation Image display device having imaging device
JP5398612B2 (ja) * 2010-03-23 2014-01-29 富士フイルム株式会社 動体検出装置および方法
US20110310003A1 (en) * 2010-05-21 2011-12-22 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Image display device and method of displaying images
US8651726B2 (en) 2010-11-19 2014-02-18 Reald Inc. Efficient polarized directional backlight
US20140041205A1 (en) 2010-11-19 2014-02-13 Reald Inc. Method of manufacturing directional backlight apparatus and directional structured optical film
US9519153B2 (en) 2010-11-19 2016-12-13 Reald Inc. Directional flat illuminators
US9250448B2 (en) 2010-11-19 2016-02-02 Reald Inc. Segmented directional backlight and related methods of backlight illumination
US9237337B2 (en) 2011-08-24 2016-01-12 Reald Inc. Autostereoscopic display with a passive cycloidal diffractive waveplate
KR101887058B1 (ko) * 2011-11-11 2018-08-09 엘지전자 주식회사 입체영상 처리 장치 및 입체영상 처리 장치의 전력 제어 방법
KR101874494B1 (ko) * 2011-11-25 2018-07-06 삼성전자주식회사 특징점의 삼차원 위치 계산 장치 및 방법
US8704904B2 (en) 2011-12-23 2014-04-22 H4 Engineering, Inc. Portable system for high quality video recording
GB2499426A (en) * 2012-02-16 2013-08-21 Dimenco B V Autostereoscopic display device with viewer tracking system
WO2013131036A1 (en) 2012-03-01 2013-09-06 H4 Engineering, Inc. Apparatus and method for automatic video recording
US9723192B1 (en) 2012-03-02 2017-08-01 H4 Engineering, Inc. Application dependent video recording device architecture
JP2015513858A (ja) 2012-03-02 2015-05-14 エイチ4 エンジニアリング, インコーポレイテッドH4 Engineering, Inc. 多機能自動ビデオ記録装置
CN104380185B (zh) 2012-05-18 2017-07-28 瑞尔D斯帕克有限责任公司 定向背光源
US9235057B2 (en) 2012-05-18 2016-01-12 Reald Inc. Polarization recovery in a directional display device
US9350980B2 (en) 2012-05-18 2016-05-24 Reald Inc. Crosstalk suppression in a directional backlight
US9678267B2 (en) 2012-05-18 2017-06-13 Reald Spark, Llc Wide angle imaging directional backlights
EP2850471B1 (en) 2012-05-18 2020-08-26 RealD Spark, LLC Directionally illuminated waveguide arrangement
US9188731B2 (en) 2012-05-18 2015-11-17 Reald Inc. Directional backlight
TWI636283B (zh) 2012-05-18 2018-09-21 美商瑞爾Ｄ斯帕克有限責任公司 定向背光源、定向顯示裝置及其光源陣列的控制方法
CN104685867B (zh) 2012-07-23 2017-03-08 瑞尔D斯帕克有限责任公司 观察者跟踪自动立体显示器
US20140028812A1 (en) * 2012-07-27 2014-01-30 Kabushiki Kaisha Toshiba Three-dimensional video display apparatus
EP2904778B1 (en) * 2012-10-02 2020-05-27 RealD Spark, LLC Temporally multiplexed display with landscape and portrait operation modes
CN105008983B (zh) 2012-12-21 2018-08-07 瑞尔D斯帕克有限责任公司 用于定向显示器的超透镜组件
KR101996655B1 (ko) * 2012-12-26 2019-07-05 엘지디스플레이 주식회사 홀로그램 표시 장치
BR112015020160B1 (pt) 2013-02-22 2022-01-18 Reald Spark, Llc Retroiluminação direcional
JP2014241473A (ja) * 2013-06-11 2014-12-25 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
EP3011734A4 (en) 2013-06-17 2017-02-22 RealD Inc. Controlling light sources of a directional backlight
TWI510101B (zh) * 2013-09-12 2015-11-21 Au Optronics Corp 飽和度調整方法與色彩調整系統
EP3058562A4 (en) 2013-10-14 2017-07-26 RealD Spark, LLC Control of directional display
WO2015057588A1 (en) 2013-10-14 2015-04-23 Reald Inc. Light input for directional backlight
US9551825B2 (en) 2013-11-15 2017-01-24 Reald Spark, Llc Directional backlights with light emitting element packages
US11067736B2 (en) 2014-06-26 2021-07-20 Reald Spark, Llc Directional privacy display
US9835792B2 (en) 2014-10-08 2017-12-05 Reald Spark, Llc Directional backlight
WO2016105541A1 (en) 2014-12-24 2016-06-30 Reald Inc. Adjustment of perceived roundness in stereoscopic image of a head
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
WO2016168305A1 (en) 2015-04-13 2016-10-20 Reald Inc. Wide angle imaging directional backlights
US10228505B2 (en) 2015-05-27 2019-03-12 Reald Spark, Llc Wide angle imaging directional backlights
KR102463169B1 (ko) 2015-09-07 2022-11-04 삼성전자주식회사 시점 추적 방법 및 장치
CN108351951B (zh) 2015-10-26 2023-02-07 瑞尔D斯帕克有限责任公司 智能隐私系统、设备及其方法
US10459321B2 (en) 2015-11-10 2019-10-29 Reald Inc. Distortion matching polarization conversion systems and methods thereof
WO2017083041A1 (en) 2015-11-13 2017-05-18 Reald Inc. Wide angle imaging directional backlights
US10359561B2 (en) 2015-11-13 2019-07-23 Reald Spark, Llc Waveguide comprising surface relief feature and directional backlight, directional display device, and directional display apparatus comprising said waveguide
CN108463787B (zh) 2016-01-05 2021-11-30 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
US11079619B2 (en) 2016-05-19 2021-08-03 Reald Spark, Llc Wide angle imaging directional backlights
EP4124795B1 (en) 2016-05-23 2024-04-10 RealD Spark, LLC Wide angle imaging directional backlights
JP6390671B2 (ja) * 2016-07-29 2018-09-19 オムロン株式会社 画像処理装置および画像処理方法
WO2018129059A1 (en) 2017-01-04 2018-07-12 Reald Spark, Llc Optical stack for imaging directional backlights
WO2018187154A1 (en) 2017-04-03 2018-10-11 Reald Spark, Llc Segmented imaging directional backlights
US10303030B2 (en) 2017-05-08 2019-05-28 Reald Spark, Llc Reflective optical stack for privacy display
US10126575B1 (en) 2017-05-08 2018-11-13 Reald Spark, Llc Optical stack for privacy display
EP3622342A4 (en) 2017-05-08 2021-02-17 RealD Spark, LLC OPTICAL STACK FOR DIRECTIVE DISPLAY
EP4293574A3 (en) 2017-08-08 2024-04-03 RealD Spark, LLC Adjusting a digital representation of a head region
TWI878209B (zh) 2017-09-15 2025-04-01 美商瑞爾Ｄ斯帕克有限責任公司 顯示裝置及應用於顯示裝置的視角控制光學元件
US11070791B2 (en) 2017-11-06 2021-07-20 Reald Spark, Llc Privacy display apparatus
EP3743766B1 (en) 2018-01-25 2026-02-11 RealD Spark, LLC Touch screen for privacy display
CN115718382A (zh) 2018-01-25 2023-02-28 瑞尔D斯帕克有限责任公司 用于防窥显示装置的反射式光学堆叠物
EP4214441A4 (en) 2020-09-16 2024-08-28 RealD Spark, LLC VEHICLE EXTERNAL LIGHTING DEVICE
CN113524197B (zh) * 2021-08-10 2022-10-21 深圳市金凯博自动化测试有限公司 一种高效快速自动精准定位装置
US12585094B2 (en) 2022-06-22 2026-03-24 Reald Spark, Llc Anamorphic directional illumination device
WO2024030274A1 (en) 2022-08-02 2024-02-08 Reald Spark, Llc Pupil tracking near-eye display
CN119948379A (zh) 2022-08-11 2025-05-06 瑞尔D斯帕克有限责任公司 变形定向照明装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3828122A (en) * 1970-09-29 1974-08-06 Bendix Corp Tv area correlation tracker
GB1605201A (en) * 1978-03-02 1983-05-25 Elliott Brothers London Ltd Target tracking arrangements
US4975960A (en) * 1985-06-03 1990-12-04 Petajan Eric D Electronic facial tracking and detection system and method and apparatus for automated speech recognition
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US5323470A (en) * 1992-05-08 1994-06-21 Atsushi Kara Method and apparatus for automatically tracking an object
GB9215102D0 (en) * 1992-07-16 1992-08-26 Philips Electronics Uk Ltd Tracking moving objects
US5349379A (en) * 1992-09-09 1994-09-20 Dimension Technologies Inc. Autostereoscopic display illumination system allowing viewing zones to follow the observer's head
EP0602934B1 (en) * 1992-12-17 1999-03-10 Sharp Kabushiki Kaisha Autostereoscopic directional display apparatus
DE69422803T2 (de) * 1993-03-03 2000-06-15 Graham Stewart B. Street Bildausrichtung und Gerät
EP1209508B1 (en) * 1993-12-01 2004-10-27 Sharp Kabushiki Kaisha Display for 3D images
AUPN003894A0 (en) * 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
DE19500315C1 (de) * 1995-01-07 1995-10-26 Siegbert Prof Dr Ing Hentschke Personenadaptiver autostereoskoper Shutter-Bildschirm (PAAS)
GB2297876A (en) * 1995-02-09 1996-08-14 Sharp Kk Observer tracking autostereoscopic display
GB2306826A (en) * 1995-10-18 1997-05-07 Sharp Kk Display, method of calibrating an observer tracking display and observer tracking autostereoscopic 3D display
GB2317291A (en) * 1996-09-12 1998-03-18 Sharp Kk Observer tracking directional display

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259991A (ja) * 2001-02-28 2002-09-13 Sony Corp 画像処理装置およびその方法
CN101461251B (zh) 2005-04-25 2011-10-19 斯维亚托斯拉夫·伊万诺维奇·阿尔塞尼奇 立体投影系统
JP2015525366A (ja) * 2012-05-18 2015-09-03 リアルディー インコーポレイテッド 指向性光源用制御システム
US8842107B2 (en) 2012-07-17 2014-09-23 Samsung Display Co., Ltd. Display device and method for operating the display device
US8970570B2 (en) 2012-07-17 2015-03-03 Samsung Display Co., Ltd. Display device and method for operating the display device
RU2698919C2 (ru) * 2017-07-18 2019-09-02 Святослав Иванович АРСЕНИЧ Стереодисплей (варианты), видеокамера для стереосъёмки и способ компьютерного формирования стереоизображений для этого стереодисплея

Also Published As

Publication number Publication date
US6075557A (en) 2000-06-13
JP3565707B2 (ja) 2004-09-15
EP0877274A2 (en) 1998-11-11
GB9707782D0 (en) 1997-06-04
EP0877274A3 (en) 1999-12-29
GB2324428A (en) 1998-10-21

Similar Documents

Publication Publication Date Title
JP3565707B2 (ja) 観察者トラッキング自動立体表示装置、画像トラッキングシステム、および画像トラッキング方法
JP3761059B2 (ja) ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ
US20120133754A1 (en) Gaze tracking system and method for controlling internet protocol tv at a distance
US6504942B1 (en) Method of and apparatus for detecting a face-like region and observer tracking display
US6757422B1 (en) Viewpoint position detection apparatus and method, and stereoscopic image display system
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
US9542755B2 (en) Image processor and image processing method
JP6548518B2 (ja) 情報処理装置および情報処理方法
WO2018126654A1 (zh) 显示系统和用于显示面板的驱动方法
US6856341B2 (en) Viewpoint detecting apparatus, viewpoint detecting method, and three-dimensional image display system
JP2001195582A (ja) 画像検出装置、画像検出方法、立体表示装置、表示コントローラ、立体表示システムおよびプログラム記憶媒体
TWI610059B (zh) 三維量測方法及應用其之三維量測裝置
US10705604B2 (en) Eye tracking apparatus and light source control method thereof
KR101642402B1 (ko) 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
JP2017199148A (ja) 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
US20230014562A1 (en) Image processing apparatus, image processing method, and image processing program
JP5004099B2 (ja) カーソル移動制御方法及びカーソル移動制御装置
KR20190085620A (ko) 공간 내의 물체 운동 분석 장치 및 그 제어 방법
US20250220307A1 (en) Method and display apparatus incorporating gaze-based motion blur compensation
JP7110657B2 (ja) 画像処理装置、画像処理方法およびプログラム
JPH06174463A (ja) 実時間３次元運動測定装置およびその方法
JPH09243327A (ja) 視線検出装置及びその方法
JPH10154220A (ja) 画面上の注視点検出システム
Lee et al. Gaze tracking system using structure sensor & zoom camera

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040608

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 9

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

LAPS Cancellation because of no payment of annual fees