JPH11259688A - 画像記録装置並びにその位置及び向きの決定方法 - Google Patents
画像記録装置並びにその位置及び向きの決定方法Info
- Publication number
- JPH11259688A JPH11259688A JP11009274A JP927499A JPH11259688A JP H11259688 A JPH11259688 A JP H11259688A JP 11009274 A JP11009274 A JP 11009274A JP 927499 A JP927499 A JP 927499A JP H11259688 A JPH11259688 A JP H11259688A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- image recording
- pickup device
- recording apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 光フィールドを用いて画像記録装置の動きを
トラッキングする装置及び方法を提供する。 【解決手段】 画像記録装置は、周囲環境の連続フレー
ム画像を得る画像ピックアップデバイスと、画像ピック
アップデバイスにより得られた連続フレームを記憶する
フレーム記憶装置と、連続フレームに基づいて画像ピッ
クアップデバイスの位置及び向きを決定するプロセッサ
とを有し、連続画像フレームを記録し（Ｓ２００）、連
続フレームの各フレーム毎に画像記録装置の位置及び向
きを決定し（Ｓ３００）、新しい画像フレームを記録し
（Ｓ５００）、連続画像フレームのフレームに対する画
像記録装置の位置及び向きに基づいて、新しい画像フレ
ームに対する画像記録装置の位置及び向きを決定する
（Ｓ６００）。
トラッキングする装置及び方法を提供する。 【解決手段】 画像記録装置は、周囲環境の連続フレー
ム画像を得る画像ピックアップデバイスと、画像ピック
アップデバイスにより得られた連続フレームを記憶する
フレーム記憶装置と、連続フレームに基づいて画像ピッ
クアップデバイスの位置及び向きを決定するプロセッサ
とを有し、連続画像フレームを記録し（Ｓ２００）、連
続フレームの各フレーム毎に画像記録装置の位置及び向
きを決定し（Ｓ３００）、新しい画像フレームを記録し
（Ｓ５００）、連続画像フレームのフレームに対する画
像記録装置の位置及び向きに基づいて、新しい画像フレ
ームに対する画像記録装置の位置及び向きを決定する
（Ｓ６００）。
Description
【０００１】
【発明の属する技術分野】本発明は、画像ベースでレン
ダリング（描画）する装置及び方法に関する。特に本発
明は、後で３次元構造又は環境を再構成するためのデー
タを提供するために、光フィールドを用いてカメラの動
きをトラッキングする装置及び方法に関する。
ダリング（描画）する装置及び方法に関する。特に本発
明は、後で３次元構造又は環境を再構成するためのデー
タを提供するために、光フィールドを用いてカメラの動
きをトラッキングする装置及び方法に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】コンピ
ュータグラフィック業界は、多数収集した２次元画像を
用いて３次元のオブジェクト又は環境を表現する方法
に、ますます関心を持つようになってきた。この方法
は、画像ベースレンダリングと呼ばれる。オブジェクト
又は環境を表現する１つの方法は、光フィールドを用い
る方法である。
ュータグラフィック業界は、多数収集した２次元画像を
用いて３次元のオブジェクト又は環境を表現する方法
に、ますます関心を持つようになってきた。この方法
は、画像ベースレンダリングと呼ばれる。オブジェクト
又は環境を表現する１つの方法は、光フィールドを用い
る方法である。
【０００３】光フィールドとは、３次元自由空間Ｒ3 の
入射ラインの集合上に誘導された放射輝度による３次元
シーンのあらゆる表現である。光フィールドには、２次
元画像を収集したものとしてこの放射輝度をサンプリン
グし記憶する表現、及び３次元自由空間Ｒ3 のラインを
表現するデータ構造にこの放射輝度をサンプリングし記
憶する表現が含まれるが、これらの表現に限定されるわ
けではない。
入射ラインの集合上に誘導された放射輝度による３次元
シーンのあらゆる表現である。光フィールドには、２次
元画像を収集したものとしてこの放射輝度をサンプリン
グし記憶する表現、及び３次元自由空間Ｒ3 のラインを
表現するデータ構造にこの放射輝度をサンプリングし記
憶する表現が含まれるが、これらの表現に限定されるわ
けではない。
【０００４】例えば、２次元画像のオブジェクト又は環
境をカメラ位置の２次元集合Ｐにおいて高密度にサンプ
リングすると、Ｐを通過する全てのライン沿いに見られ
る放射輝度がサンプリングされている。これらの放射輝
度は、例えば、各要素が３次元自由空間Ｒ3 の１ライン
に対応する４次元アレイに記憶することができる。３次
元集合の位置から捕獲したオブジェクトのあらゆる画像
は、このアレイから適切なラインを収集することにより
再構成することができる。このような表現を光フィール
ドと呼ぶ。
境をカメラ位置の２次元集合Ｐにおいて高密度にサンプ
リングすると、Ｐを通過する全てのライン沿いに見られ
る放射輝度がサンプリングされている。これらの放射輝
度は、例えば、各要素が３次元自由空間Ｒ3 の１ライン
に対応する４次元アレイに記憶することができる。３次
元集合の位置から捕獲したオブジェクトのあらゆる画像
は、このアレイから適切なラインを収集することにより
再構成することができる。このような表現を光フィール
ドと呼ぶ。
【０００５】図１及び下記の説明を参照すれば、光フィ
ールドを最も良く理解できるであろう。図１は光フィー
ルドの光スラブ表現を示している。３次元自由空間Ｒ3
の２つの平行な平面Ｐ1 及びＰ2 を通過するラインの集
合を考えてみよう。平面Ｐ1の点ｐ1 及び平面Ｐ2 の点
ｐ2 の各対は、唯一のラインを画定する。Ｐ1 及びＰ 2
に平行なラインを除く各ラインは、点ｐ1 及びｐ2 の唯
一の対を画定する。従って３次元自由空間Ｒ3 の全ての
ラインの集合は４次元空間であり、この４次元空間は、
点ｐ1 及びｐ2 を指定するのに必要な４つの座標(u,v,
s,t) によりパラメータ化されることができる。
ールドを最も良く理解できるであろう。図１は光フィー
ルドの光スラブ表現を示している。３次元自由空間Ｒ3
の２つの平行な平面Ｐ1 及びＰ2 を通過するラインの集
合を考えてみよう。平面Ｐ1の点ｐ1 及び平面Ｐ2 の点
ｐ2 の各対は、唯一のラインを画定する。Ｐ1 及びＰ 2
に平行なラインを除く各ラインは、点ｐ1 及びｐ2 の唯
一の対を画定する。従って３次元自由空間Ｒ3 の全ての
ラインの集合は４次元空間であり、この４次元空間は、
点ｐ1 及びｐ2 を指定するのに必要な４つの座標(u,v,
s,t) によりパラメータ化されることができる。
【０００６】Ｒ3 の指定の点ｐを通るラインは２次元の
部分集合を形成し、この２次元の部分集合はこのパラメ
ータ化に基づく平面である。画像は、ｐを焦点としたこ
の「ラインの平面」の矩形の部分集合である。
部分集合を形成し、この２次元の部分集合はこのパラメ
ータ化に基づく平面である。画像は、ｐを焦点としたこ
の「ラインの平面」の矩形の部分集合である。
【０００７】これらのような光フィールドは、オブジェ
クトの多数の画像を含む４次元空間のラインの部分集合
を収集することにより画像を再構成するのに用いること
ができる。４次元空間のラインの部分集合は、画像記録
デバイスをオブジェクトに向け、２次元の矩形を横切る
ように画像記録デバイスを物理的に走査することによっ
て、収集される。ラインの２次元の集合は、それぞれの
画像記録デバイスの位置で収集される。全ての画像のラ
インは、２つの平行な平面（一方は動いているカメラを
含み、他方はオブジェクトの前にある）を用いてパラメ
ータ化され、４次元アレイとして記憶される。４次元ア
レイの各ライン沿いに見られる放射輝度は、ライン座標
によりアドレスされる。２つの平面付近の３次元のどこ
かに焦点を有するオブジェクトの画像は、このアレイか
らそのラインそれぞれの放射輝度を収集することによ
り、抽出することができる。このようにして、画像はリ
アルタイムで再構成することができる。
クトの多数の画像を含む４次元空間のラインの部分集合
を収集することにより画像を再構成するのに用いること
ができる。４次元空間のラインの部分集合は、画像記録
デバイスをオブジェクトに向け、２次元の矩形を横切る
ように画像記録デバイスを物理的に走査することによっ
て、収集される。ラインの２次元の集合は、それぞれの
画像記録デバイスの位置で収集される。全ての画像のラ
インは、２つの平行な平面（一方は動いているカメラを
含み、他方はオブジェクトの前にある）を用いてパラメ
ータ化され、４次元アレイとして記憶される。４次元ア
レイの各ライン沿いに見られる放射輝度は、ライン座標
によりアドレスされる。２つの平面付近の３次元のどこ
かに焦点を有するオブジェクトの画像は、このアレイか
らそのラインそれぞれの放射輝度を収集することによ
り、抽出することができる。このようにして、画像はリ
アルタイムで再構成することができる。
【０００８】これらの光フィールドは、適当な大きさに
圧縮することができ、ハイエンド(high-end)装置におい
てリアルタイムでレンダリングできるほどに速くアクセ
スすることができる。しかし、これらの光フィールドを
捕獲する方法は、コンピュータ制御されたカメラのガン
トリーのようなデバイスを用いて、２次元の平面を横切
るようにカメラを機械的に走査する方法に限られてき
た。このようなデバイスについては、レボイ(Levoy) ら
の“Light Field Rendering ”(Computer Graphics Pro
ceedings, SIGGRAPH '96, P.528, 531-542) に開示され
ている。これらのデバイスにおいて、コンピュータは、
光フィールドを捕獲するプロセスの各フレームでカメラ
の位置をトラッキングし続ける。このようなデバイスは
通常高価であり、扱うことのできるオブジェクトの大き
さが指定の領域及び範囲に限られており、製造し使用す
るのに多くの時間と金を投資する必要がある。
圧縮することができ、ハイエンド(high-end)装置におい
てリアルタイムでレンダリングできるほどに速くアクセ
スすることができる。しかし、これらの光フィールドを
捕獲する方法は、コンピュータ制御されたカメラのガン
トリーのようなデバイスを用いて、２次元の平面を横切
るようにカメラを機械的に走査する方法に限られてき
た。このようなデバイスについては、レボイ(Levoy) ら
の“Light Field Rendering ”(Computer Graphics Pro
ceedings, SIGGRAPH '96, P.528, 531-542) に開示され
ている。これらのデバイスにおいて、コンピュータは、
光フィールドを捕獲するプロセスの各フレームでカメラ
の位置をトラッキングし続ける。このようなデバイスは
通常高価であり、扱うことのできるオブジェクトの大き
さが指定の領域及び範囲に限られており、製造し使用す
るのに多くの時間と金を投資する必要がある。
【０００９】光フィールドを捕獲するもう１つ別の方法
は、基準点、つまり３次元自由空間Ｒ3 にあり何らかの
座標フレームでその正確な位置がわかる点を用いる方法
である。ゴートラー(Gortler) らの“The Lumigraph ”
(Computer Graphics Proceedings, SIGGRAPH '96, P.52
8, 543-554) は、基準点を用いて３次元環境の画像を得
る１つの方法を開示している。しかし、この方法では、
環境内に多数の基準点を設け、画像フィールドのこれら
の基準点を各画像を捕獲する間維持する必要がある。従
って、カメラの動ける範囲が、多数の基準点のある領域
に限られてしまう。
は、基準点、つまり３次元自由空間Ｒ3 にあり何らかの
座標フレームでその正確な位置がわかる点を用いる方法
である。ゴートラー(Gortler) らの“The Lumigraph ”
(Computer Graphics Proceedings, SIGGRAPH '96, P.52
8, 543-554) は、基準点を用いて３次元環境の画像を得
る１つの方法を開示している。しかし、この方法では、
環境内に多数の基準点を設け、画像フィールドのこれら
の基準点を各画像を捕獲する間維持する必要がある。従
って、カメラの動ける範囲が、多数の基準点のある領域
に限られてしまう。
【００１０】従って、手持ちカメラを用いて、特定の可
動領域、即ち基準点を含む領域に制限されることなく、
３次元環境の画像を捕獲することができれば、有益であ
りより実用的であろう。しかし、手持ちのデバイスを用
いる際に根本的に困難な点は、画像を捕獲するプロセス
の各フレームにおけるカメラの位置及び向きをトラッキ
ングする点である。
動領域、即ち基準点を含む領域に制限されることなく、
３次元環境の画像を捕獲することができれば、有益であ
りより実用的であろう。しかし、手持ちのデバイスを用
いる際に根本的に困難な点は、画像を捕獲するプロセス
の各フレームにおけるカメラの位置及び向きをトラッキ
ングする点である。
【００１１】カメラトラッキングという問題は、コンピ
ュータビジョンに頻繁に起こる。カメラトラッキングの
１つの技法は、１つの画像フレームから次の画像フレー
ムへの光のフローを測定することである。この技法にお
いて、各ピクセルは最も良くマッチングするカラーを有
する隣接したピクセルに一致すると仮定される。ピクセ
ルの動きの全体の組み合わせが、カメラの動きと解釈さ
れる。この方法は、２つの連続した画像フレーム間の動
きをトラッキングする場合に用いると、良い結果を得る
ことができる。しかし、環境を捕獲するのに必要とされ
るような多数のフレームに対しては、カメラ位置に関す
るエラーが急速に増加する。
ュータビジョンに頻繁に起こる。カメラトラッキングの
１つの技法は、１つの画像フレームから次の画像フレー
ムへの光のフローを測定することである。この技法にお
いて、各ピクセルは最も良くマッチングするカラーを有
する隣接したピクセルに一致すると仮定される。ピクセ
ルの動きの全体の組み合わせが、カメラの動きと解釈さ
れる。この方法は、２つの連続した画像フレーム間の動
きをトラッキングする場合に用いると、良い結果を得る
ことができる。しかし、環境を捕獲するのに必要とされ
るような多数のフレームに対しては、カメラ位置に関す
るエラーが急速に増加する。
【００１２】カメラトラッキングのもう１つ別の技法は
点対応方法であり、（例えばオブジェクトの角のよう
な）外面的特徴で区別できる点を画像から抽出し、この
点を１つの画像フレームから次の画像フレームへとトラ
ッキングする。これらの点は、カメラトラッキングの間
基準点の役割を果たす。この方法は光のフローを測定す
る方法よりは良い結果を得ることができるが、同じ３次
元の点を画像フレームから画像フレームへとトラッキン
グするのは困難であり、この方法自体かなり時間がかか
り厄介である。
点対応方法であり、（例えばオブジェクトの角のよう
な）外面的特徴で区別できる点を画像から抽出し、この
点を１つの画像フレームから次の画像フレームへとトラ
ッキングする。これらの点は、カメラトラッキングの間
基準点の役割を果たす。この方法は光のフローを測定す
る方法よりは良い結果を得ることができるが、同じ３次
元の点を画像フレームから画像フレームへとトラッキン
グするのは困難であり、この方法自体かなり時間がかか
り厄介である。
【００１３】さらに、カメラトラッキングし３次元環境
の画像を捕獲し後でその環境を再構成する際の問題は、
任意の映像のシーケンスからデータを捕獲する際の問題
とは異なる。カメラのオペレータは、自分がその環境の
データを捕獲しようとしており、そのために特定の方法
でカメラを動かそうとしていることを知っている。従っ
て、対話式データ収集システムはカメラのオペレータに
フィードバックすることができ、しっかりとカメラトラ
ッキングを続けて所望のデータを得るための指示をオペ
レータに与える。
の画像を捕獲し後でその環境を再構成する際の問題は、
任意の映像のシーケンスからデータを捕獲する際の問題
とは異なる。カメラのオペレータは、自分がその環境の
データを捕獲しようとしており、そのために特定の方法
でカメラを動かそうとしていることを知っている。従っ
て、対話式データ収集システムはカメラのオペレータに
フィードバックすることができ、しっかりとカメラトラ
ッキングを続けて所望のデータを得るための指示をオペ
レータに与える。
【００１４】
【課題を解決するための手段】本発明は、画像記録デバ
イスの動きをトラッキングする方法及び装置を提供す
る。この方法及び装置においては、手持ちの画像記録デ
バイスを用いることができる。
イスの動きをトラッキングする方法及び装置を提供す
る。この方法及び装置においては、手持ちの画像記録デ
バイスを用いることができる。
【００１５】本発明はまた、光フィールドを用いて画像
記録デバイスの動きをトラッキングする簡単な方法及び
装置も提供する。
記録デバイスの動きをトラッキングする簡単な方法及び
装置も提供する。
【００１６】本発明はさらに、オペレータにフィードバ
ックして、光フィールドを十分に含む連続フレームを捕
獲する、対話式システムを提供する。
ックして、光フィールドを十分に含む連続フレームを捕
獲する、対話式システムを提供する。
【００１７】本発明はさらに、オペレータにフィードバ
ックして、３次元構造を再構成するための十分なデータ
を提供する、対話式システムを提供する。
ックして、３次元構造を再構成するための十分なデータ
を提供する、対話式システムを提供する。
【００１８】本発明の方法及び装置は、フレームのライ
ンに沿った放射輝度及び前のフレームの対応するライン
に沿った放射輝度をチェックすることにより、各フレー
ムにおける画像記録デバイスの位置及び向きを検出す
る。従って、画像記録デバイスの位置をトラッキングし
続ける別個のデバイスを必要としない。
ンに沿った放射輝度及び前のフレームの対応するライン
に沿った放射輝度をチェックすることにより、各フレー
ムにおける画像記録デバイスの位置及び向きを検出す
る。従って、画像記録デバイスの位置をトラッキングし
続ける別個のデバイスを必要としない。
【００１９】本発明の方法及び装置は、前のフレームで
捕獲されたライン沿いに見られる放射輝度をチェックす
ることにより、各フレームにおける画像記録デバイスの
位置及び向きを非常に正確に検出する。
捕獲されたライン沿いに見られる放射輝度をチェックす
ることにより、各フレームにおける画像記録デバイスの
位置及び向きを非常に正確に検出する。
【００２０】本発明の請求項１の態様は、周囲環境の画
像を得る画像ピックアップデバイスであり、該画像が連
続フレームである画像ピックアップデバイスを有し、該
画像ピックアップデバイスにより得られた連続フレーム
を記憶するフレーム記憶装置を有し、連続フレームに基
づいて該画像ピックアップデバイスの位置及び向きを決
定するプロセッサを有する、画像記録装置であって、フ
レームが複数のラインを含み、該プロセッサが、現在の
フレームにある複数のラインのうちの少なくとも１つに
沿った放射輝度を、連続フレーム内の少なくとも１つの
前のフレームにある複数のラインのうちの対応するライ
ンに沿った放射輝度と相関させることにより、該画像ピ
ックアップデバイスの位置を決定する。
像を得る画像ピックアップデバイスであり、該画像が連
続フレームである画像ピックアップデバイスを有し、該
画像ピックアップデバイスにより得られた連続フレーム
を記憶するフレーム記憶装置を有し、連続フレームに基
づいて該画像ピックアップデバイスの位置及び向きを決
定するプロセッサを有する、画像記録装置であって、フ
レームが複数のラインを含み、該プロセッサが、現在の
フレームにある複数のラインのうちの少なくとも１つに
沿った放射輝度を、連続フレーム内の少なくとも１つの
前のフレームにある複数のラインのうちの対応するライ
ンに沿った放射輝度と相関させることにより、該画像ピ
ックアップデバイスの位置を決定する。
【００２１】本発明の請求項１５の態様は、画像記録装
置の位置及び向きの決定方法であって、連続画像フレー
ムを記録するステップと、連続フレームの各フレーム毎
に画像記録装置の位置及び向きを決定するステップと、
新しい画像フレームを記録するステップと、連続画像フ
レームのフレームに対する画像記録装置の位置及び向き
に基づいて、新しい画像フレームに対する画像記録装置
の位置及び向きを決定するステップと、を備える。
置の位置及び向きの決定方法であって、連続画像フレー
ムを記録するステップと、連続フレームの各フレーム毎
に画像記録装置の位置及び向きを決定するステップと、
新しい画像フレームを記録するステップと、連続画像フ
レームのフレームに対する画像記録装置の位置及び向き
に基づいて、新しい画像フレームに対する画像記録装置
の位置及び向きを決定するステップと、を備える。
【００２２】本発明のこれらの及びその他の特徴並びに
利点は、下記の好適な実施の形態の詳細な説明に述べら
れており、またこの詳細な説明から明らかである。
利点は、下記の好適な実施の形態の詳細な説明に述べら
れており、またこの詳細な説明から明らかである。
【００２３】
【発明の実施の形態】本発明の好適な実施の形態を図面
を参照しながら詳細に記載する。図２は画像ピックアッ
プデバイス１１０、プロセッサ１２０、フレーム記憶装
置１３０、メモリ１４０、出力コントローラ１５０、及
び出力デバイス１６０を含む画像記録装置１００を示
す。画像ピックアップデバイス１１０は、画像ピックア
ップデバイス１１０が動作している環境の画像を検知す
る。記録されると、この画像はフレームである。画像ピ
ックアップデバイス１１０としてはビデオカメラ、静止
写真カメラ、デジタルカメラ、電子カメラ、画像編集機
などが挙げられる。本発明の１つの好適な実施の形態で
は、画像ピックアップデバイス１１０は手持ちのカメラ
である。記録された各フレームはプロセッサ１２０へ入
力され、プロセッサ１２０はフレーム記憶装置１３０中
にこれらのフレームを記録する。フレーム記憶装置１３
０はビデオテープ、写真フィルム、ＣＤ−ＲＯＭ、磁気
媒体、ＲＡＭ、ハードドライブ、フロッピーディスク及
びディスクドライブ、フラッシュメモリなどを含む。そ
の後フレームＩ’はプロセッサ１２０へ伝送される。
を参照しながら詳細に記載する。図２は画像ピックアッ
プデバイス１１０、プロセッサ１２０、フレーム記憶装
置１３０、メモリ１４０、出力コントローラ１５０、及
び出力デバイス１６０を含む画像記録装置１００を示
す。画像ピックアップデバイス１１０は、画像ピックア
ップデバイス１１０が動作している環境の画像を検知す
る。記録されると、この画像はフレームである。画像ピ
ックアップデバイス１１０としてはビデオカメラ、静止
写真カメラ、デジタルカメラ、電子カメラ、画像編集機
などが挙げられる。本発明の１つの好適な実施の形態で
は、画像ピックアップデバイス１１０は手持ちのカメラ
である。記録された各フレームはプロセッサ１２０へ入
力され、プロセッサ１２０はフレーム記憶装置１３０中
にこれらのフレームを記録する。フレーム記憶装置１３
０はビデオテープ、写真フィルム、ＣＤ−ＲＯＭ、磁気
媒体、ＲＡＭ、ハードドライブ、フロッピーディスク及
びディスクドライブ、フラッシュメモリなどを含む。そ
の後フレームＩ’はプロセッサ１２０へ伝送される。
【００２４】プロセッサ１２０は画像ピックアップデバ
イス１１０から得られた連続するｍ個のフレームの各フ
レーム毎に、画像ピックアップデバイス１１０の位置を
決定する。これは、画像フレーム中で分かっている点の
位置を画像ピックアップデバイス１１０の相対位置を決
定するのに用いる方法であれば、あらゆる方法を用いて
行うことができる。次いでプロセッサ１２０は、各フレ
ーム中の、画像ピックアップデバイス１１０の位置を通
るラインの部分集合を決定する。
イス１１０から得られた連続するｍ個のフレームの各フ
レーム毎に、画像ピックアップデバイス１１０の位置を
決定する。これは、画像フレーム中で分かっている点の
位置を画像ピックアップデバイス１１０の相対位置を決
定するのに用いる方法であれば、あらゆる方法を用いて
行うことができる。次いでプロセッサ１２０は、各フレ
ーム中の、画像ピックアップデバイス１１０の位置を通
るラインの部分集合を決定する。
【００２５】次に画像ピックアップデバイス１１０は新
しいフレームの画像データを捕獲し、これをプロセッサ
１２０に伝送する。新しいフレームＩ中の画像ピックア
ップデバイス１１０の位置及び向きは、以下の略述に従
って決定される。
しいフレームの画像データを捕獲し、これをプロセッサ
１２０に伝送する。新しいフレームＩ中の画像ピックア
ップデバイス１１０の位置及び向きは、以下の略述に従
って決定される。
【００２６】画像ピックアップデバイス１１０の位置及
び向きの決定はリアルタイムで行われるため、画像記録
デバイスのオペレータに出力デバイス１６０を介してフ
ィードバックが行われる。例えば、オペレータはカメラ
を緩やかに、又は円滑に動かすことができず、位置合わ
せを維持できないことがある。位置合わせとは前の画像
と現在の画像とをマッチングすることである。図３に示
すように、位置合わせが失われると、画像記録装置１０
０はオペレータに基準点に戻るよう指示を与えることが
できる。基準点とは、その正確な位置が論理に基づいて
分かっている点を指す。この指示は視覚によるものでも
聴覚によるものでも、又その両方であってもよい。例え
ば、画像記録装置１００は図３に示すようにディスプレ
イ１６０上に「基準点に戻れ("Return to Fiducial Poi
nts") 」というメッセージを表示してもよく、及び／又
はスピーカ１７０を通じてメッセージを告知してもよ
い。
び向きの決定はリアルタイムで行われるため、画像記録
デバイスのオペレータに出力デバイス１６０を介してフ
ィードバックが行われる。例えば、オペレータはカメラ
を緩やかに、又は円滑に動かすことができず、位置合わ
せを維持できないことがある。位置合わせとは前の画像
と現在の画像とをマッチングすることである。図３に示
すように、位置合わせが失われると、画像記録装置１０
０はオペレータに基準点に戻るよう指示を与えることが
できる。基準点とは、その正確な位置が論理に基づいて
分かっている点を指す。この指示は視覚によるものでも
聴覚によるものでも、又その両方であってもよい。例え
ば、画像記録装置１００は図３に示すようにディスプレ
イ１６０上に「基準点に戻れ("Return to Fiducial Poi
nts") 」というメッセージを表示してもよく、及び／又
はスピーカ１７０を通じてメッセージを告知してもよ
い。
【００２７】同様に、オペレータがトラバースした現在
の経路の視覚的なフィードバックを得ることは、オペレ
ータにとって有用なことである。従って、図４に示すよ
うに、本発明の１つの実施の形態において、プロセッサ
１２０はディスプレイ１６０に、予め計算された画像記
録デバイスの位置を表す視覚的な表示であるドット１６
２、トラバースした経路を表す曲線、などを出力しても
よい。
の経路の視覚的なフィードバックを得ることは、オペレ
ータにとって有用なことである。従って、図４に示すよ
うに、本発明の１つの実施の形態において、プロセッサ
１２０はディスプレイ１６０に、予め計算された画像記
録デバイスの位置を表す視覚的な表示であるドット１６
２、トラバースした経路を表す曲線、などを出力しても
よい。
【００２８】更に、図５に示すように、画像記録装置１
００はディスプレイ１６０上でオペレータに動作につい
ての指示を与えることもできる。これらの動作の指示
は、光フィールドの疎らにサンプリングされた部分のデ
ータを供給する位置に移動するよう、オペレータに指示
を行う。更に画像記録装置１００は、オペレータに前の
フレームデータがその時点では位置合わせが行われてい
ない領域から離れるよう指示することもできる。
００はディスプレイ１６０上でオペレータに動作につい
ての指示を与えることもできる。これらの動作の指示
は、光フィールドの疎らにサンプリングされた部分のデ
ータを供給する位置に移動するよう、オペレータに指示
を行う。更に画像記録装置１００は、オペレータに前の
フレームデータがその時点では位置合わせが行われてい
ない領域から離れるよう指示することもできる。
【００２９】画像記録装置１００の構成要素は、図４に
示すように全ての要素が１つのハウジング１８０中に収
容されるように１つのユニットの一部分であってもよ
く、又図３のように分離していてもよい。例えば画像記
録装置１００は、手持ちの単一の画像記録装置１００で
あってもよく、その中に画像ピックアップデバイス１１
０、プロセッサ１２０、フレーム記憶装置１３０、及び
出力デバイス１６０及びスピーカ１７０が収容されてい
る。或いは、画像ピックアップデバイス１１０は、プロ
セッサ１２０、メモリ１３０及び１４０、出力デバイス
１６０及び１７０を収容するコンピュータ又はパーソナ
ルデジタル補助手段などのデバイスにケーブルを介して
接続されたビデオ記録デバイスであってもよい。当業者
には容易に明らかとなるであろうが、本発明を実行する
のに他の組合せを用いてもよい。
示すように全ての要素が１つのハウジング１８０中に収
容されるように１つのユニットの一部分であってもよ
く、又図３のように分離していてもよい。例えば画像記
録装置１００は、手持ちの単一の画像記録装置１００で
あってもよく、その中に画像ピックアップデバイス１１
０、プロセッサ１２０、フレーム記憶装置１３０、及び
出力デバイス１６０及びスピーカ１７０が収容されてい
る。或いは、画像ピックアップデバイス１１０は、プロ
セッサ１２０、メモリ１３０及び１４０、出力デバイス
１６０及び１７０を収容するコンピュータ又はパーソナ
ルデジタル補助手段などのデバイスにケーブルを介して
接続されたビデオ記録デバイスであってもよい。当業者
には容易に明らかとなるであろうが、本発明を実行する
のに他の組合せを用いてもよい。
【００３０】図６は本発明に従う好適な画像記録方法を
概略で示したフローチャートである。図６に示すよう
に、この方法はステップＳ１００で開始される。次い
で、ステップＳ２００で画像記録デバイスが連続するｍ
個のフレームを捕獲し、それらを画素ラインの集合とし
てフレーム記憶装置１３０中に記憶する。次にステップ
Ｓ３００で、それぞれ向き”ｏ”及び”ｏ’”を有する
焦点”ｐ”及び”ｐ’”として定義されるカメラ位置が
決定される。前述したように一連の、正確に位置合わせ
されたフレーム（このフレームから開始する）を生成す
る簡単な方法は、基準点を用いた方法である。
概略で示したフローチャートである。図６に示すよう
に、この方法はステップＳ１００で開始される。次い
で、ステップＳ２００で画像記録デバイスが連続するｍ
個のフレームを捕獲し、それらを画素ラインの集合とし
てフレーム記憶装置１３０中に記憶する。次にステップ
Ｓ３００で、それぞれ向き”ｏ”及び”ｏ’”を有する
焦点”ｐ”及び”ｐ’”として定義されるカメラ位置が
決定される。前述したように一連の、正確に位置合わせ
されたフレーム（このフレームから開始する）を生成す
る簡単な方法は、基準点を用いた方法である。
【００３１】基準点を得るには、種々の方法が用いられ
得る。本発明の好適な実施の形態では、基準点は直角に
結合した３本の別個の矢線などの物理的座標のフレーム
を形成することにより得られてもよい。３つの矢線の点
（即ち、基準点）は画像中に容易に見出される。基準点
から、座標フレームに対するカメラの相対的な位置及び
向きが決定される。その後画像記録デバイスが基準点の
周りをゆっくりと動いて所望の画像を捕獲することがで
きる。このようにして、最初の光フィールドが捕獲され
る。最初の光フィールドの捕獲後は、画像ピックアップ
デバイス１１０の視野内に基準点を維持することはもは
や必要ではない。
得る。本発明の好適な実施の形態では、基準点は直角に
結合した３本の別個の矢線などの物理的座標のフレーム
を形成することにより得られてもよい。３つの矢線の点
（即ち、基準点）は画像中に容易に見出される。基準点
から、座標フレームに対するカメラの相対的な位置及び
向きが決定される。その後画像記録デバイスが基準点の
周りをゆっくりと動いて所望の画像を捕獲することがで
きる。このようにして、最初の光フィールドが捕獲され
る。最初の光フィールドの捕獲後は、画像ピックアップ
デバイス１１０の視野内に基準点を維持することはもは
や必要ではない。
【００３２】次いでステップＳ４００で、これらのフレ
ーム毎に光フィールドに記憶された画素ラインの集合の
部分集合を用いて画像が識別される。焦点のシーケンス
は三次元の自由空間Ｒ3 において曲線”Ｃ”に沿って”
ｍ”個のポイントのシーケンス”Ｐ”を形成する。曲
線”Ｃ”はその環境におけるカメラの動きを表してい
る。
ーム毎に光フィールドに記憶された画素ラインの集合の
部分集合を用いて画像が識別される。焦点のシーケンス
は三次元の自由空間Ｒ3 において曲線”Ｃ”に沿って”
ｍ”個のポイントのシーケンス”Ｐ”を形成する。曲
線”Ｃ”はその環境におけるカメラの動きを表してい
る。
【００３３】次にステップＳ５００で、画像ピックアッ
プデバイス１１０は新しいフレームＩ、即ちある新た
な、未知の焦点ｐを通るラインの新しい部分集合を得
る。この目的は光フィールドにおいて新しいフレームを
前のフレームと相関させることによりｐ及びｏを決定す
ることである。
プデバイス１１０は新しいフレームＩ、即ちある新た
な、未知の焦点ｐを通るラインの新しい部分集合を得
る。この目的は光フィールドにおいて新しいフレームを
前のフレームと相関させることによりｐ及びｏを決定す
ることである。
【００３４】図８に示すように、集合”Ｐ”中のｐ及び
他のあらゆる点ｐ’を通るライン”ｌ”はｐ’に対応す
る前のフレームＩ’によりすでに捕獲され、光フィール
ドに記憶されていると考えられる点に注目することは重
要である。特に、画像記録デバイスが前のフレームＩ’
の画像平面上へのｐの投射が前のフレームＩ’の中に入
るようにｐ’で向いている場合、又、逆に、画像記録デ
バイスが新しいフレームＩの画像平面上のｐ’の投射が
新しいフレームＩの中に入るようにｐで向いている場
合、ｌはフレームＩ及びＩ’の両方において捕獲され
る。従って、画像記録デバイスの正しいｐ及びｏがわか
ると、Ｉ中のｌに割り当てられる放射輝度はＩ’中のｌ
に割り当てられる放射輝度と等しくなるはずである。ｐ
及びｏの値は、Ｉ中のラインＬ＝｛ｌ1 ，．．．，
ｌm ｝の位置及びこれらの位置における放射輝度の予測
と一致する。ｍが大きい場合には、これによりｐ及びｏ
の正しい値の非常に正確な検証がなされる。
他のあらゆる点ｐ’を通るライン”ｌ”はｐ’に対応す
る前のフレームＩ’によりすでに捕獲され、光フィール
ドに記憶されていると考えられる点に注目することは重
要である。特に、画像記録デバイスが前のフレームＩ’
の画像平面上へのｐの投射が前のフレームＩ’の中に入
るようにｐ’で向いている場合、又、逆に、画像記録デ
バイスが新しいフレームＩの画像平面上のｐ’の投射が
新しいフレームＩの中に入るようにｐで向いている場
合、ｌはフレームＩ及びＩ’の両方において捕獲され
る。従って、画像記録デバイスの正しいｐ及びｏがわか
ると、Ｉ中のｌに割り当てられる放射輝度はＩ’中のｌ
に割り当てられる放射輝度と等しくなるはずである。ｐ
及びｏの値は、Ｉ中のラインＬ＝｛ｌ1 ，．．．，
ｌm ｝の位置及びこれらの位置における放射輝度の予測
と一致する。ｍが大きい場合には、これによりｐ及びｏ
の正しい値の非常に正確な検証がなされる。
【００３５】次いでステップＳ６００で、新しいフレー
ムのために画像記録デバイスの位置ｐ及び向きｏが決定
される。ステップＳ７００では、制御ルーチンが新しい
画像フレームのために動作を反復するか否かを決定す
る。これは、画像ピックアップデバイス１１０が記録を
まだ続けているか否か、又画像ピックアップデバイス１
１０が移動したか否か、などを決定することにより行わ
れてもよい。動作を繰り返す場合には、制御はステップ
Ｓ５００に戻る。そうでない場合には制御はステップＳ
８００に進み、ここで制御ルーチンは終了する。
ムのために画像記録デバイスの位置ｐ及び向きｏが決定
される。ステップＳ７００では、制御ルーチンが新しい
画像フレームのために動作を反復するか否かを決定す
る。これは、画像ピックアップデバイス１１０が記録を
まだ続けているか否か、又画像ピックアップデバイス１
１０が移動したか否か、などを決定することにより行わ
れてもよい。動作を繰り返す場合には、制御はステップ
Ｓ５００に戻る。そうでない場合には制御はステップＳ
８００に進み、ここで制御ルーチンは終了する。
【００３６】図７は位置及び向き決定ステップＳ６００
をより詳細に示したものである。詳細には、制御ルーチ
ンはステップＳ６００で開始されステップＳ６１０に続
く。ステップＳ６１０では空間”Ｓ”中で画像ピックア
ップデバイス１１０を含みそうな小さい容量”ｖ”を識
別することにより位置ｐ及び向きｏの推定値”ｅ”が決
定される。空間Ｓは画像ピックアップデバイス１１０が
とり得る位置の六次元空間である。
をより詳細に示したものである。詳細には、制御ルーチ
ンはステップＳ６００で開始されステップＳ６１０に続
く。ステップＳ６１０では空間”Ｓ”中で画像ピックア
ップデバイス１１０を含みそうな小さい容量”ｖ”を識
別することにより位置ｐ及び向きｏの推定値”ｅ”が決
定される。空間Ｓは画像ピックアップデバイス１１０が
とり得る位置の六次元空間である。
【００３７】ステップＳ６１０では、画像記録デバイス
の位置及び向きの推定値ｅを得るために画像ピックアッ
プデバイス１１０の動作に関するいくつかの仮定がなさ
れる。画像ピックアップデバイス１１０の動作が速すぎ
ない場合には、位置ｐと前の位置ｐ’との相違はあまり
大きくない。画像ピックアップデバイス１１０がその並
進及び回転の軌道を突然に変化させることがなければ、
新しい位置ｐは前の位置ｐ’のある数を大まかに外挿す
るのがよい。オペレータがその環境を後で再現するため
に画像を捕獲しようとしていることを自分で理解し、そ
れに従って画像ピックアップデバイス１１０を操作する
と考えられるため、これらの仮定は正しいと考えられ
る。
の位置及び向きの推定値ｅを得るために画像ピックアッ
プデバイス１１０の動作に関するいくつかの仮定がなさ
れる。画像ピックアップデバイス１１０の動作が速すぎ
ない場合には、位置ｐと前の位置ｐ’との相違はあまり
大きくない。画像ピックアップデバイス１１０がその並
進及び回転の軌道を突然に変化させることがなければ、
新しい位置ｐは前の位置ｐ’のある数を大まかに外挿す
るのがよい。オペレータがその環境を後で再現するため
に画像を捕獲しようとしていることを自分で理解し、そ
れに従って画像ピックアップデバイス１１０を操作する
と考えられるため、これらの仮定は正しいと考えられ
る。
【００３８】新しいフレームＩ中の位置ｐの大まかな推
定値を得るために、従来の方法を用いることも可能であ
る。例えば、前のフレームＩ’と現在のフレームＩとの
間の光フロー（２つの画像間の差異を一定の放射輝度の
点の集合の動きとして解釈する）の計算は高価ではな
く、又画像ピックアップデバイス１１０の動作の推定値
を得ることもできる。同様に、画像ピックアップデバイ
スの位置の大まかな推定値を得るのに点を対応させる方
法も用いることができる。
定値を得るために、従来の方法を用いることも可能であ
る。例えば、前のフレームＩ’と現在のフレームＩとの
間の光フロー（２つの画像間の差異を一定の放射輝度の
点の集合の動きとして解釈する）の計算は高価ではな
く、又画像ピックアップデバイス１１０の動作の推定値
を得ることもできる。同様に、画像ピックアップデバイ
スの位置の大まかな推定値を得るのに点を対応させる方
法も用いることができる。
【００３９】次いでステップＳ６２０で、画像への精密
なマッチングを見出すため容量ｖが稠密にサンプリング
される。ステップＳ６２０では空間Ｓ中で大まかな推定
値ｅが与えられると、光フィールド中に記憶されたライ
ンに対応するＩ中の１つもしくはそれ以上のラインに最
もよくマッチングする点即ち画素を見出すためにＳの小
さな周囲の容量がサンプリングされる。次にステップＳ
６３０でマッチングの誤差が空間Ｓの点の関数”Ｆ”と
して決定される。空間Ｓ中の点”ｓ”におけるＦの値
は、Ｉがｓにあると仮定した場合にＩにオーバーラップ
している部分Ｌの予測放射輝度と、対応する点Ｉの観測
値との差である。これらの差は孤立値の存在を見込んで
のものであり、ランダム画像ノイズを補償するものであ
るが、量子化誤差によってのみ影響をうけるべき非孤立
値のかなり正確なマッチングを要するものである。
なマッチングを見出すため容量ｖが稠密にサンプリング
される。ステップＳ６２０では空間Ｓ中で大まかな推定
値ｅが与えられると、光フィールド中に記憶されたライ
ンに対応するＩ中の１つもしくはそれ以上のラインに最
もよくマッチングする点即ち画素を見出すためにＳの小
さな周囲の容量がサンプリングされる。次にステップＳ
６３０でマッチングの誤差が空間Ｓの点の関数”Ｆ”と
して決定される。空間Ｓ中の点”ｓ”におけるＦの値
は、Ｉがｓにあると仮定した場合にＩにオーバーラップ
している部分Ｌの予測放射輝度と、対応する点Ｉの観測
値との差である。これらの差は孤立値の存在を見込んで
のものであり、ランダム画像ノイズを補償するものであ
るが、量子化誤差によってのみ影響をうけるべき非孤立
値のかなり正確なマッチングを要するものである。
【００４０】最後にステップＳ６４０で、厳密な当ては
めのために得られた値を最適化する。ステップＳ６４０
では、最も厳密な対応を得る目的で誤差を最小化するた
め、マッチングが最適化される。ステップＳ６５０で制
御はステップＳ７００に戻る。
めのために得られた値を最適化する。ステップＳ６４０
では、最も厳密な対応を得る目的で誤差を最小化するた
め、マッチングが最適化される。ステップＳ６５０で制
御はステップＳ７００に戻る。
【００４１】従って本発明では、画像記録デバイスの位
置は、新たに捕獲したフレーム中の放射輝度ラインを前
に獲得された光フィールドにある放射輝度ラインに相関
させることにより正確にトラッキングされることができ
る。
置は、新たに捕獲したフレーム中の放射輝度ラインを前
に獲得された光フィールドにある放射輝度ラインに相関
させることにより正確にトラッキングされることができ
る。
【００４２】これらの相関されたフレームはこの後、光
フィールドを拡大するために、既存の光フィールドに加
えられてもよい。これらのフレームの光フィールドへの
追加は、フレームが捕獲されている際に動的に行われて
もよく、又はオフラインで行われてもよい。このように
して、光フィールドは更なるカメラトラッキング及び画
像記録で使用する前にオフラインで前処理されてもよ
い。
フィールドを拡大するために、既存の光フィールドに加
えられてもよい。これらのフレームの光フィールドへの
追加は、フレームが捕獲されている際に動的に行われて
もよく、又はオフラインで行われてもよい。このように
して、光フィールドは更なるカメラトラッキング及び画
像記録で使用する前にオフラインで前処理されてもよ
い。
【００４３】更に、フレームを最初の光フィールドに追
加するこの工程は、より大きい光フィールドを得るため
に繰返し行われてもよい。このように、後に再現するた
めに全環境が捕獲されることができる。
加するこの工程は、より大きい光フィールドを得るため
に繰返し行われてもよい。このように、後に再現するた
めに全環境が捕獲されることができる。
【００４４】本発明のトラッキングの使用にあたって
は、一旦最初の光フィールドが獲得されると、画像フレ
ーム中に基準点を維持することは必要でない。最初の光
フィールドの獲得後は、トラッキングは新しいフレーム
中の放射輝度ラインを光フィールド中の放射輝度ライン
と相関させることにより達成される。これにより画像記
録装置はずっと大きい環境で使用することが可能とな
る。
は、一旦最初の光フィールドが獲得されると、画像フレ
ーム中に基準点を維持することは必要でない。最初の光
フィールドの獲得後は、トラッキングは新しいフレーム
中の放射輝度ラインを光フィールド中の放射輝度ライン
と相関させることにより達成される。これにより画像記
録装置はずっと大きい環境で使用することが可能とな
る。
【００４５】図４に示すように、画像記録装置１００は
プログラムされた汎用コンピュータを用いて実行される
ことが好ましい。しかしながら、この画像記録装置１０
０は専用コンピュータ、プログラミングされたマイクロ
プロセッサ又はマイクロコントローラ、及び周辺集積回
路素子、ＡＳＩＣ又は他の集積回路、離散素子回路など
のハードウェア電子又は論理回路、ＰＬＤ、ＰＬＡ、Ｆ
ＰＧＡ又はＰＡＬなどのプログラマブル論理デバイス、
などを用いて実行することも可能である。一般に、有限
状態の機械が図６及び図７に示したフローチャートを実
行することができるものであれば、本発明の画像記録を
実行するためにあらゆるデバイスが使用可能である。
プログラムされた汎用コンピュータを用いて実行される
ことが好ましい。しかしながら、この画像記録装置１０
０は専用コンピュータ、プログラミングされたマイクロ
プロセッサ又はマイクロコントローラ、及び周辺集積回
路素子、ＡＳＩＣ又は他の集積回路、離散素子回路など
のハードウェア電子又は論理回路、ＰＬＤ、ＰＬＡ、Ｆ
ＰＧＡ又はＰＡＬなどのプログラマブル論理デバイス、
などを用いて実行することも可能である。一般に、有限
状態の機械が図６及び図７に示したフローチャートを実
行することができるものであれば、本発明の画像記録を
実行するためにあらゆるデバイスが使用可能である。
【００４６】本発明は最初の光フィールドを獲得するの
に基準点を用いるものとして記載したが、本発明はこの
ような構成に限定されるものではない。当業者には、最
初の光フィールドがガントリー型デバイス、点対応方
法、又は他のあらゆる方法により獲得できることが容易
に明らかとなるであろう。
に基準点を用いるものとして記載したが、本発明はこの
ような構成に限定されるものではない。当業者には、最
初の光フィールドがガントリー型デバイス、点対応方
法、又は他のあらゆる方法により獲得できることが容易
に明らかとなるであろう。
【００４７】本発明は特定の実施形態を用いて詳述した
が多くの代替物、変更、変形が存在し得ることは当業者
には明白であろう。従って、本明細書中に記載した本発
明の好適な実施形態はあくまでも本発明の主旨の明確化
を意図するものであり、本発明は前記した実施形態に限
定されるものではない。前記請求項に示す本発明の精神
と範囲から離れることなく種々の変更形態が存在し得
る。
が多くの代替物、変更、変形が存在し得ることは当業者
には明白であろう。従って、本明細書中に記載した本発
明の好適な実施形態はあくまでも本発明の主旨の明確化
を意図するものであり、本発明は前記した実施形態に限
定されるものではない。前記請求項に示す本発明の精神
と範囲から離れることなく種々の変更形態が存在し得
る。
【図１】光フィールドの光スラブ表現を示す図である。
【図２】本発明の装置のブロック図である。
【図３】オペレータへのメッセージが表示される及び／
又は告知される、本発明の１つの実施の形態の図であ
る。
又は告知される、本発明の１つの実施の形態の図であ
る。
【図４】画像ピックアップデバイスのパスが表示され
る、本発明の１つの実施の形態の図である。
る、本発明の１つの実施の形態の図である。
【図５】オペレータへの動作指示が表示される、本発明
の１つの実施の形態の図である。
の１つの実施の形態の図である。
【図６】本発明の方法の１つの実施の形態を略述したフ
ローチャートである。
ローチャートである。
【図７】図６の新しいフレームの位置及び向きを決定す
るステップをより詳細に示した、フローチャートであ
る。
るステップをより詳細に示した、フローチャートであ
る。
【図８】画像記録装置の動きのカーブに沿った２つのフ
レームを示す図である。
レームを示す図である。
１１０ 画像ピックアップデバイス １６０ ディスプレイ １７０ スピーカー １８０ ハウジング
【手続補正書】
【提出日】平成１１年４月２７日
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正内容】
【図１】
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正内容】
【図３】
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正内容】
【図４】
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正内容】
【図５】
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正内容】
【図８】
Claims (21)
- 【請求項１】 周囲環境の画像を得る画像ピックアップ
デバイスであり、該画像が連続フレームである画像ピッ
クアップデバイスを有し、 該画像ピックアップデバイスにより得られた連続フレー
ムを記憶するフレーム記憶装置を有し、 連続フレームに基づいて該画像ピックアップデバイスの
位置及び向きを決定するプロセッサを有する、画像記録
装置であって、 フレームが複数のラインを含み、該プロセッサが、現在
のフレームにある複数のラインのうちの少なくとも１つ
に沿った放射輝度を、連続フレーム内の少なくとも１つ
の前のフレームにある複数のラインのうちの対応するラ
インに沿った放射輝度と相関させることにより、該画像
ピックアップデバイスの位置を決定する、 画像記録装置。 - 【請求項２】 前記プロセッサが、前記フレーム記憶装
置に記憶された連続フレームから最初の光フィールドを
決定する、請求項１に記載の画像記録装置。 - 【請求項３】 前記プロセッサが、現在のフレームにあ
る複数のラインのうちの少なくとも１つに沿った放射輝
度を、最初の光フィールドにある複数のラインのうちの
対応するラインに沿った放射輝度と相関させて、前記画
像ピックアップデバイスの位置及び向きを決定する、請
求項２に記載の画像記録装置。 - 【請求項４】 前記画像ピックアップデバイスの位置及
び向きが決定された後、前記プロセッサが現在のフレー
ムを最初の光フィールドに加える、請求項３に記載の画
像記録装置。 - 【請求項５】 前記画像ピックアップデバイスがフレー
ムを得ていない間に、前記プロセッサが現在のフレーム
を最初の光フィールドに加える、請求項４に記載の画像
記録装置。 - 【請求項６】 前記画像ピックアップデバイスが手持ち
カメラである、請求項１に記載の画像記録装置。 - 【請求項７】 前記画像ピックアップデバイスを介して
現在のフレームを表示し、指示及び情報を前記画像記録
装置のオペレータに与える対話式ディスプレイをさらに
有する、請求項１に記載の画像記録装置。 - 【請求項８】 前記対話式ディスプレイが、前記画像ピ
ックアップデバイスを位置決めするための指示を与え
る、請求項７に記載の画像記録装置。 - 【請求項９】 前記対話式ディスプレイが、オペレータ
により現在トラバースされているパスに関する情報を与
える、請求項７に記載の画像記録装置。 - 【請求項１０】 前記画像ピックアップデバイス、前記
フレーム記憶装置、前記プロセッサ、及び前記対話式デ
ィスプレイが、１つのハウジングに含まれる、請求項７
に記載の画像記録装置。 - 【請求項１１】 前記画像ピックアップデバイス、前記
フレーム記憶装置、前記プロセッサ、及び前記対話式デ
ィスプレイが、分散コンピュータシステムの部分であ
る、請求項７に記載の画像記録装置。 - 【請求項１２】 オペレータにより現在トラバースされ
ているパスを指定する音声情報を出力する音声出力デバ
イスをさらに有する、請求項１に記載の画像記録装置。 - 【請求項１３】 前記画像ピックアップデバイスを位置
決めするための音声指示を出力する音声出力デバイスを
さらに有する、請求項１に記載の画像記録装置。 - 【請求項１４】 音声指示及び情報を前記画像記録装置
のオペレータに出力する音声出力デバイスをさらに有す
る、請求項１に記載の画像記録装置。 - 【請求項１５】 画像記録装置の位置及び向きの決定方
法であって、 連続画像フレームを記録するステップと、 連続フレームの各フレーム毎に画像記録装置の位置及び
向きを決定するステップと、 新しい画像フレームを記録するステップと、 連続画像フレームのフレームに対する画像記録装置の位
置及び向きに基づいて、新しい画像フレームに対する画
像記録装置の位置及び向きを決定するステップと、 を備える画像記録装置の位置及び向きの決定方法。 - 【請求項１６】 連続フレームの各フレーム毎に画像記
録装置の位置及び向きを決定するステップが、基準点に
関する画像記録装置の位置及び向きを決定するステップ
を含む、請求項１５に記載の方法。 - 【請求項１７】 新しい画像フレームに対する画像記録
装置の位置及び向きを決定するステップが、連続画像フ
レームの少なくとも１つの画像フレーム及び新しい画像
フレームにおいて一致する少なくとも１つのラインの検
出を含み、検出された少なくとも１つのラインが、連続
画像フレームの少なくとも１つの画像フレーム及び新し
い画像フレームにおいて実質的に一致する放射輝度を有
する、請求項１５に記載の方法。 - 【請求項１８】 連続画像フレームからの最初の光フィ
ールドの決定をさらに含む、請求項１５に記載の方法。 - 【請求項１９】 新しい画像フレームに対する画像記録
装置の位置及び向きを決定するステップが、新しい画像
フレームにある少なくとも１つのラインに沿った放射輝
度を、最初の光フィールドにある対応するラインに沿っ
た放射輝度と相関させることを含む、請求項１８に記載
の方法。 - 【請求項２０】 画像記録装置の位置及び向きが決定さ
れた後、新しい画像フレームが最初の光フィールドに加
えられる、請求項１９に記載の方法。 - 【請求項２１】 画像記録装置が画像フレームを記録し
ていない間に、新しい画像フレームが最初の光フィール
ドに加えられる、請求項２０に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US007776 | 1987-01-28 | ||
| US09/007,776 US6342917B1 (en) | 1998-01-16 | 1998-01-16 | Image recording apparatus and method using light fields to track position and orientation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11259688A true JPH11259688A (ja) | 1999-09-24 |
| JP4242495B2 JP4242495B2 (ja) | 2009-03-25 |
Family
ID=21728091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00927499A Expired - Fee Related JP4242495B2 (ja) | 1998-01-16 | 1999-01-18 | 画像記録装置並びにその位置及び向きの決定方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6342917B1 (ja) |
| EP (1) | EP0930583A1 (ja) |
| JP (1) | JP4242495B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9513744B2 (en) * | 1994-08-15 | 2016-12-06 | Apple Inc. | Control systems employing novel physical controls and touch screens |
| US6750848B1 (en) * | 1998-11-09 | 2004-06-15 | Timothy R. Pryor | More useful man machine interfaces and applications |
| US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| US20020036617A1 (en) | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
| US7015950B1 (en) | 1999-05-11 | 2006-03-21 | Pryor Timothy R | Picture taking method and apparatus |
| US6766036B1 (en) * | 1999-07-08 | 2004-07-20 | Timothy R. Pryor | Camera based man machine interfaces |
| GB9927678D0 (en) | 1999-11-23 | 2000-01-19 | Canon Kk | Image processing apparatus |
| JP3840109B2 (ja) * | 1999-11-23 | 2006-11-01 | キヤノン株式会社 | 画像処理装置 |
| AU2090701A (en) * | 1999-12-13 | 2001-06-18 | Princeton Video Image, Inc. | 2-d/3-d recognition and tracking algorithm for soccer application |
| JP2001290820A (ja) * | 2000-01-31 | 2001-10-19 | Mitsubishi Electric Corp | 映像収集装置、映像検索装置および映像収集検索システム |
| US7328119B1 (en) * | 2000-03-07 | 2008-02-05 | Pryor Timothy R | Diet and exercise planning and motivation including apparel purchases based on future appearance |
| JP3747737B2 (ja) * | 2000-05-10 | 2006-02-22 | 日本電気株式会社 | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 |
| GB0023681D0 (en) | 2000-09-27 | 2000-11-08 | Canon Kk | Image processing apparatus |
| GB2370737B (en) | 2000-10-06 | 2005-03-16 | Canon Kk | Image processing apparatus |
| US20080024463A1 (en) * | 2001-02-22 | 2008-01-31 | Timothy Pryor | Reconfigurable tactile control display applications |
| US8306635B2 (en) | 2001-03-07 | 2012-11-06 | Motion Games, Llc | Motivation and enhancement of physical and mental exercise, rehabilitation, health and social interaction |
| US20040056957A1 (en) * | 2002-09-20 | 2004-03-25 | Crandall John Christopher | System and method for capturing images based upon subject orientation |
| US20040056953A1 (en) * | 2002-09-20 | 2004-03-25 | Crandall John Christopher | System and method for controlling service delivery |
| US20040056954A1 (en) * | 2002-09-20 | 2004-03-25 | Crandall John Christopher | System and method for monitoring within a vehicle |
| US20040059752A1 (en) * | 2002-09-20 | 2004-03-25 | Crandall John Christopher | System and method for wirelessly viewing restricted data |
| US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
| US20100231506A1 (en) * | 2004-09-07 | 2010-09-16 | Timothy Pryor | Control of appliances, kitchen and home |
| BRPI0606477A2 (pt) * | 2005-01-07 | 2009-06-30 | Gesturetek Inc | sensor de inclinação baseado em fluxo ótico |
| ES2325698B1 (es) * | 2006-01-20 | 2010-10-19 | Universidad De La Laguna | Camara de fase para la medida de distancias y de aberraciones de frente de onda en diversos entornos mediante slice de fourier. |
| US7840042B2 (en) * | 2006-01-20 | 2010-11-23 | 3M Innovative Properties Company | Superposition for visualization of three-dimensional data acquisition |
| US7698014B2 (en) * | 2006-01-20 | 2010-04-13 | 3M Innovative Properties Company | Local enforcement of accuracy in fabricated models |
| US20080005418A1 (en) * | 2006-05-09 | 2008-01-03 | Jorge Julian | Interactive interface for electronic devices |
| EP3144879A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | A method and an apparatus for generating data representative of a light field |
| US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0554128A (ja) * | 1991-02-07 | 1993-03-05 | Hughes Aircraft Co | 写真測定を使用する自動ビデオ映像データベースの生成 |
| JPH05108827A (ja) * | 1991-10-18 | 1993-04-30 | Olympus Optical Co Ltd | 画像相関演算装置 |
| JPH05313229A (ja) * | 1991-10-11 | 1993-11-26 | Gec Marconi Ltd | コンピュータビジョンシステム |
| JPH0660183A (ja) * | 1992-06-30 | 1994-03-04 | American Teleph & Telegr Co <Att> | 時空的画像におけるエッジおよび角の検出・追跡方法 |
| JPH0886615A (ja) * | 1994-09-19 | 1996-04-02 | Mitsubishi Electric Corp | 映像表示装置及び映像表示システム |
| JPH08251561A (ja) * | 1995-03-09 | 1996-09-27 | Nec Corp | 画像通信端末装置のユーザインタフェース |
| JPH08294025A (ja) * | 1995-04-24 | 1996-11-05 | Olympus Optical Co Ltd | カメラ |
| JPH0934916A (ja) * | 1995-07-25 | 1997-02-07 | Yokogawa Electric Corp | 無線データ収集装置 |
| JPH09163217A (ja) * | 1995-09-19 | 1997-06-20 | Samsung Electron Co Ltd | カメラ映像の動きベクトル検出装置および動きベクトル検出方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996024216A1 (en) * | 1995-01-31 | 1996-08-08 | Transcenic, Inc. | Spatial referenced photography |
| JPH08336069A (ja) * | 1995-04-13 | 1996-12-17 | Eastman Kodak Co | 電子スチルカメラ |
| US6011585A (en) * | 1996-01-19 | 2000-01-04 | Apple Computer, Inc. | Apparatus and method for rotating the display orientation of a captured image |
| US6192145B1 (en) * | 1996-02-12 | 2001-02-20 | Sarnoff Corporation | Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points |
-
1998
- 1998-01-16 US US09/007,776 patent/US6342917B1/en not_active Expired - Lifetime
-
1999
- 1999-01-11 EP EP99300153A patent/EP0930583A1/en not_active Withdrawn
- 1999-01-18 JP JP00927499A patent/JP4242495B2/ja not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0554128A (ja) * | 1991-02-07 | 1993-03-05 | Hughes Aircraft Co | 写真測定を使用する自動ビデオ映像データベースの生成 |
| JPH05313229A (ja) * | 1991-10-11 | 1993-11-26 | Gec Marconi Ltd | コンピュータビジョンシステム |
| JPH05108827A (ja) * | 1991-10-18 | 1993-04-30 | Olympus Optical Co Ltd | 画像相関演算装置 |
| JPH0660183A (ja) * | 1992-06-30 | 1994-03-04 | American Teleph & Telegr Co <Att> | 時空的画像におけるエッジおよび角の検出・追跡方法 |
| JPH0886615A (ja) * | 1994-09-19 | 1996-04-02 | Mitsubishi Electric Corp | 映像表示装置及び映像表示システム |
| JPH08251561A (ja) * | 1995-03-09 | 1996-09-27 | Nec Corp | 画像通信端末装置のユーザインタフェース |
| JPH08294025A (ja) * | 1995-04-24 | 1996-11-05 | Olympus Optical Co Ltd | カメラ |
| JPH0934916A (ja) * | 1995-07-25 | 1997-02-07 | Yokogawa Electric Corp | 無線データ収集装置 |
| JPH09163217A (ja) * | 1995-09-19 | 1997-06-20 | Samsung Electron Co Ltd | カメラ映像の動きベクトル検出装置および動きベクトル検出方法 |
Non-Patent Citations (1)
| Title |
|---|
| 苗村健, 外２名: ""光線情報の正投影表現に基づく３次元空間の記述"", 映像情報メディア学会誌, vol. 第５１巻, 第１２号, JPN6008040665, 20 December 1997 (1997-12-20), JP, pages 2082 - 2089, ISSN: 0001110489 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US6342917B1 (en) | 2002-01-29 |
| JP4242495B2 (ja) | 2009-03-25 |
| EP0930583A1 (en) | 1999-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4242495B2 (ja) | 画像記録装置並びにその位置及び向きの決定方法 | |
| JP3021556B2 (ja) | 映像情報処理装置とその方法 | |
| US6415051B1 (en) | Generating 3-D models using a manually operated structured light source | |
| CN111127422A (zh) | 图像标注方法、装置、系统及主机 | |
| US20030202120A1 (en) | Virtual lighting system | |
| US20030210407A1 (en) | Image processing method, image processing system and image processing apparatus | |
| JP2874710B2 (ja) | 三次元位置計測装置 | |
| CN100437639C (zh) | 图像处理装置和图像处理方法 | |
| JP2000512410A (ja) | 参照モデルを用いて画像情報を索引付けをする方法 | |
| JP7657308B2 (ja) | シーンの３次元モデルを生成するための方法、装置、およびシステム | |
| JP2010014718A (ja) | 対象物を３ｄデジタル化するための方法及び装置 | |
| CN112262411B (zh) | 图像关联方法、系统和装置 | |
| CN114821544A (zh) | 感知信息生成方法、装置、车辆、电子设备及存储介质 | |
| WO1999059100A1 (en) | Euclidean reconstruction of 3d scene from 2d images following a non-rigid transformation | |
| GB2312582A (en) | Insertion of virtual objects into a video sequence | |
| CN1145074C (zh) | 用于使用数字相机自动捕获图象的方法和设备 | |
| JP2003006618A (ja) | ３次元モデルの生成方法および装置並びにコンピュータプログラム | |
| US7711507B2 (en) | Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium | |
| JPH10320558A (ja) | キャリブレーション方法並びに対応点探索方法及び装置並びに焦点距離検出方法及び装置並びに３次元位置情報検出方法及び装置並びに記録媒体 | |
| JP2005031044A (ja) | 三次元誤差測定装置 | |
| CN116740716B (zh) | 视频标注方法、装置、电子设备及介质 | |
| JP3149923B2 (ja) | 曲線長計測装置及びその計測方法並びに曲線の長さを計測するための制御プログラムを格納した記憶媒体 | |
| JP2001245323A (ja) | ３次元入力方法および装置 | |
| JP3452188B2 (ja) | ２次元動画像中の特徴点の追跡方法 | |
| CN117635702A (zh) | 图像采集设备的定位方法、投影系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060118 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081225 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |