JPH09219814A - シーン自己動き決定方法 - Google Patents
シーン自己動き決定方法Info
- Publication number
- JPH09219814A JPH09219814A JP9012205A JP1220597A JPH09219814A JP H09219814 A JPH09219814 A JP H09219814A JP 9012205 A JP9012205 A JP 9012205A JP 1220597 A JP1220597 A JP 1220597A JP H09219814 A JPH09219814 A JP H09219814A
- Authority
- JP
- Japan
- Prior art keywords
- translation
- image
- rotation
- points
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Vascular Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】 シーンの２つの画像フレーム間での自己動き
(ego-motion)を決定する際に、並進及び回転の両推定値
を高精度で得ることができる方法を提供する。 【解決手段】 ２つの画像フレーム中のエピポーラライ
ンセグメントにおける対応画素間でのカメラ自己動きに
伴う並進及び回転に関する２つの並進パラメータ及び３
つの回転パラメータを並進及び回転の推定値として推定
し（３２）、これら推定値のコスト関数を算定し（３
３）、前記推定値を修正し前記コスト関数を算定するこ
とを繰り返し行い、所望の自己動きとして用いられる最
小のフィガ・オブ・メリット(figure of merit) を有す
るコスト関数が得られるような並進及び回転の推定値を
見つけ（３４、３５）、これらを、シーンの２つの画像
フレーム間での自己動きとして決定する。
(ego-motion)を決定する際に、並進及び回転の両推定値
を高精度で得ることができる方法を提供する。 【解決手段】 ２つの画像フレーム中のエピポーラライ
ンセグメントにおける対応画素間でのカメラ自己動きに
伴う並進及び回転に関する２つの並進パラメータ及び３
つの回転パラメータを並進及び回転の推定値として推定
し（３２）、これら推定値のコスト関数を算定し（３
３）、前記推定値を修正し前記コスト関数を算定するこ
とを繰り返し行い、所望の自己動きとして用いられる最
小のフィガ・オブ・メリット(figure of merit) を有す
るコスト関数が得られるような並進及び回転の推定値を
見つけ（３４、３５）、これらを、シーンの２つの画像
フレーム間での自己動きとして決定する。
Description
【０００１】
【発明の属する技術分野】本発明は、コンピュータービ
ジョンに関し、特に、あるシーンの２つの画像フレーム
からそのシーンの自己動き（ego-motion: 自己振れ）及
び構造を推定する方法に関する。
ジョンに関し、特に、あるシーンの２つの画像フレーム
からそのシーンの自己動き（ego-motion: 自己振れ）及
び構造を推定する方法に関する。
【０００２】
【従来の技術】コンピュータービジョンでは、画像とし
て与えられたデータを解析し、対象世界に関する知識に
基づいた推論を行うことにより、その画像が表す現実世
界の情景（シーン）に関する記述を作成することを目的
としている。
て与えられたデータを解析し、対象世界に関する知識に
基づいた推論を行うことにより、その画像が表す現実世
界の情景（シーン）に関する記述を作成することを目的
としている。
【０００３】あるシーンの２つの画像フレームから自己
動き及び構造を推定することは、多くの分野において、
特に、ナビゲーションや３次元シーン再現において有用
である。
動き及び構造を推定することは、多くの分野において、
特に、ナビゲーションや３次元シーン再現において有用
である。
【０００４】一対の画像からカメラ動きパラメータを復
元しようという試みについて多くの研究が行われてき
た。ほとんどすべての場合、オプティカルフロー(optic
al flow)あるいは特徴点対応が初期計測量として用いら
れる。画像の明るさパタンは画像に投影された物体の動
きに伴って動くが、オプティカルフローは明るさパタン
の見かけの動きである。オプティカルフローを用いる場
合には、オプティカルフローの算定に関するいくつかの
固有の問題（アパーチャ、ラージモーションなど）によ
り、無視できるレベルまで誤差を低下させることができ
ない。強度導関数を直接にあるいは通常のフローを用い
た方法でさえも、ノイズの影響を受けやすい。特徴をベ
ースとする方法で、有意の特徴点の選択及び追跡を信頼
性をもって行なうことは、一般に、非常に困難である。
元しようという試みについて多くの研究が行われてき
た。ほとんどすべての場合、オプティカルフロー(optic
al flow)あるいは特徴点対応が初期計測量として用いら
れる。画像の明るさパタンは画像に投影された物体の動
きに伴って動くが、オプティカルフローは明るさパタン
の見かけの動きである。オプティカルフローを用いる場
合には、オプティカルフローの算定に関するいくつかの
固有の問題（アパーチャ、ラージモーションなど）によ
り、無視できるレベルまで誤差を低下させることができ
ない。強度導関数を直接にあるいは通常のフローを用い
た方法でさえも、ノイズの影響を受けやすい。特徴をベ
ースとする方法で、有意の特徴点の選択及び追跡を信頼
性をもって行なうことは、一般に、非常に困難である。
【０００５】自己動きについての従来方法は、シーン中
に存在する構造を暗示的あるいは明示的に決定する。例
えば、特徴をベースとする方法では、直接的に動き推定
値を計算するが、構造は、特徴対応が与えらると、暗示
的に獲得可能となる。直接的方法では、通常反復的に、
すなわち、まず動きについて次いで構造についての推定
値を調整するといったやり方で、自己動きおよび構造の
両方を明示的に推定する。このように、良好な動き推定
は、良好な構造推定（または少なくとも点対応推定）を
必要とするものと思われる。
に存在する構造を暗示的あるいは明示的に決定する。例
えば、特徴をベースとする方法では、直接的に動き推定
値を計算するが、構造は、特徴対応が与えらると、暗示
的に獲得可能となる。直接的方法では、通常反復的に、
すなわち、まず動きについて次いで構造についての推定
値を調整するといったやり方で、自己動きおよび構造の
両方を明示的に推定する。このように、良好な動き推定
は、良好な構造推定（または少なくとも点対応推定）を
必要とするものと思われる。
【０００６】本発明者らにより１９９５年３月３１日に
出願され出願人に譲渡された米国特許出願第０８／４１
４，３９７号には、あるシーンの２つの画像フレームか
らそのシーンの自己動きおよび構造を決定する方法が開
示されている。この方法は、そのシーンに関連する回転
及び想定された既知の並進に基づいて３次元空間を、あ
るいは、並進と想定された既知の回転に基づいて２次元
空間を探索することに基づいている。この方法は、対応
していると仮定し得るエピポーララインに沿って算定さ
れた強度ヒストグラムの特性を用いている。これらの特
性は画像の明るさが一定であるという仮定によるもので
あるため、対応するエピポーララインのヒストグラムは
不変であること、および、ほとんど対応するラインのヒ
ストグラムは類似していて、その類似性は画像中に存在
する空間的相関の関数であることが仮定される。２つの
エピポーララインの２つのヒストグラム間の差が、２つ
のエピポーララインが真に対応する場合に最小となり、
２つのエピポーラライン間のずれの程度にともない単調
に増大するという特性により、並進が既知であると仮定
した３次元エピポーラ探索において、単純に、２つの画
像フレーム間の回転運動を推定することが可能となる。
２つの画像フレーム間の回転量から引き出される推定値
を、さらなるフレーム処理に用いて、画像シーンの３次
元表現を生成することもできる。
出願され出願人に譲渡された米国特許出願第０８／４１
４，３９７号には、あるシーンの２つの画像フレームか
らそのシーンの自己動きおよび構造を決定する方法が開
示されている。この方法は、そのシーンに関連する回転
及び想定された既知の並進に基づいて３次元空間を、あ
るいは、並進と想定された既知の回転に基づいて２次元
空間を探索することに基づいている。この方法は、対応
していると仮定し得るエピポーララインに沿って算定さ
れた強度ヒストグラムの特性を用いている。これらの特
性は画像の明るさが一定であるという仮定によるもので
あるため、対応するエピポーララインのヒストグラムは
不変であること、および、ほとんど対応するラインのヒ
ストグラムは類似していて、その類似性は画像中に存在
する空間的相関の関数であることが仮定される。２つの
エピポーララインの２つのヒストグラム間の差が、２つ
のエピポーララインが真に対応する場合に最小となり、
２つのエピポーラライン間のずれの程度にともない単調
に増大するという特性により、並進が既知であると仮定
した３次元エピポーラ探索において、単純に、２つの画
像フレーム間の回転運動を推定することが可能となる。
２つの画像フレーム間の回転量から引き出される推定値
を、さらなるフレーム処理に用いて、画像シーンの３次
元表現を生成することもできる。
【０００７】
【発明が解決しようとする課題】上記方法は、２つの画
像フレーム間に含まれる回転運動の推定値を極めて正確
に提供できるものの、並進運動の推定値を提供する際に
は、比較的、ノイズが多くなることがわかっている。
像フレーム間に含まれる回転運動の推定値を極めて正確
に提供できるものの、並進運動の推定値を提供する際に
は、比較的、ノイズが多くなることがわかっている。
【０００８】それ故、本発明の目的は、並進および回転
の両推定値を高精度で得ることができる方法を提供する
ことである。
の両推定値を高精度で得ることができる方法を提供する
ことである。
【０００９】
【課題を解決するための手段】本発明は、構造や対応の
推定からは独立して自己動きを復元することを可能とし
た、「構造なしの動き」と呼ばれる概念系に基づいてい
る。このことの利点は、推定されるべき５つの未知の動
きパラメータが存在するということである。そこで、こ
のような方法は汎用性がありかつ正確であるはずである
と期待される。初期の実験結果により、このことがうら
づけられる。
推定からは独立して自己動きを復元することを可能とし
た、「構造なしの動き」と呼ばれる概念系に基づいてい
る。このことの利点は、推定されるべき５つの未知の動
きパラメータが存在するということである。そこで、こ
のような方法は汎用性がありかつ正確であるはずである
と期待される。初期の実験結果により、このことがうら
づけられる。
【００１０】本発明の方法は、ある点の近傍における画
像の挙動を統計的にモデル化することに基づいている。
そこで、このモデルは、想定されたカメラ動きの尤度を
推定するのに用いられる。
像の挙動を統計的にモデル化することに基づいている。
そこで、このモデルは、想定されたカメラ動きの尤度を
推定するのに用いられる。
【００１１】画像の挙動が良好であれば、すなわち、隣
接する強度点の強度差の分散が、点の間の距離とともに
単調に増大するのであれば、真の動き探索を決定するこ
とは単純である。これは、最小化すべき関数が唯一の最
小値（解である）のみを有するからである。
接する強度点の強度差の分散が、点の間の距離とともに
単調に増大するのであれば、真の動き探索を決定するこ
とは単純である。これは、最小化すべき関数が唯一の最
小値（解である）のみを有するからである。
【００１２】本発明の目標は、可能な回転と並進につい
て空間を探索することによって、２つのフレーム間での
動きを決定することである。推定すべきパラメータの数
は、回転については３つで、並進については２つであ
る。並進成分が２つだけ必要とされるのは、並進の大き
さは推定することができず、その方向のみになるからで
ある（スケールのあいまい性(scale ambiguity) によ
る）。そこで、並進は単位大きさを有すると仮定され、
並進の推定は、単位球面上での並進の方向の決定に転換
される。
て空間を探索することによって、２つのフレーム間での
動きを決定することである。推定すべきパラメータの数
は、回転については３つで、並進については２つであ
る。並進成分が２つだけ必要とされるのは、並進の大き
さは推定することができず、その方向のみになるからで
ある（スケールのあいまい性(scale ambiguity) によ
る）。そこで、並進は単位大きさを有すると仮定され、
並進の推定は、単位球面上での並進の方向の決定に転換
される。
【００１３】このような探索を可能にするためには、想
定される動きの尤度を評価するコスト関数が必要であ
る。このようなコスト関数の必須の特徴は、（１）シー
ン中の構造に対する不変性、（２）正しい動き推定値に
おいて明確に定義された大局的最小値、（３）局所的最
小値がないこと（すなわち、動き推定値における誤差の
関数として、少なくとも局所的に滑らかな、好ましくは
単調な変動）にある。
定される動きの尤度を評価するコスト関数が必要であ
る。このようなコスト関数の必須の特徴は、（１）シー
ン中の構造に対する不変性、（２）正しい動き推定値に
おいて明確に定義された大局的最小値、（３）局所的最
小値がないこと（すなわち、動き推定値における誤差の
関数として、少なくとも局所的に滑らかな、好ましくは
単調な変動）にある。
【００１４】以下に、差の平方値の和という形式に基づ
いたフィガ・オブ・メリット(figure of merit) をみち
びくこのような構造不変の評価関数の１つについて説明
する。より具体的には、フィガ・オブ・メリットは、一
方の画像の画素と、他方の画像における想定された対応
するエピポーラ(epipolar)ラインセグメントに沿ったサ
ンプル点との間の誤差の平方値の和という大局的和に基
づいている。このコスト関数をみちびくために、画像に
おける局所的強度変動の単純な統計モデルを導入する。
このようなモデルが有効である場合には、評価関数は、
単調に減少し、且つ、単一の明確に定義された大局的最
小値を有することが説明できる。いくつかの自然なシー
ンにおける実験的な結果がこのことをうらづける。
いたフィガ・オブ・メリット(figure of merit) をみち
びくこのような構造不変の評価関数の１つについて説明
する。より具体的には、フィガ・オブ・メリットは、一
方の画像の画素と、他方の画像における想定された対応
するエピポーラ(epipolar)ラインセグメントに沿ったサ
ンプル点との間の誤差の平方値の和という大局的和に基
づいている。このコスト関数をみちびくために、画像に
おける局所的強度変動の単純な統計モデルを導入する。
このようなモデルが有効である場合には、評価関数は、
単調に減少し、且つ、単一の明確に定義された大局的最
小値を有することが説明できる。いくつかの自然なシー
ンにおける実験的な結果がこのことをうらづける。
【００１５】特に、本発明によるプロセスは、３つの回
転パラメータと２つの並進パラメータとを含む、上述し
たような推定を行なうことを含んでいる。コスト関数を
用いて、一方の画像の画素と、仮定された対応するエピ
ポーララインセグメントにおける対応画素との間の誤差
の平方値の和を含む各推定値を評価する。一般に所望の
大局的最小値である和の最小値に到達するまで、勾配下
降探索(gradient descent search) を用いて、さまざま
な推定値を選択する。
転パラメータと２つの並進パラメータとを含む、上述し
たような推定を行なうことを含んでいる。コスト関数を
用いて、一方の画像の画素と、仮定された対応するエピ
ポーララインセグメントにおける対応画素との間の誤差
の平方値の和を含む各推定値を評価する。一般に所望の
大局的最小値である和の最小値に到達するまで、勾配下
降探索(gradient descent search) を用いて、さまざま
な推定値を選択する。
【００１６】画像強度が一定であるという仮定が適用で
きない場合は、正規化により、上述したプロセスを開始
するのが望ましい。正規化は、ダイナミックヒストグラ
ムワーピング技術により行なうことができる。
きない場合は、正規化により、上述したプロセスを開始
するのが望ましい。正規化は、ダイナミックヒストグラ
ムワーピング技術により行なうことができる。
【００１７】
【発明の実施の形態】次に本発明の実施の形態について
説明する。
説明する。
【００１８】本発明の第１の実施の形態によれば、シー
ンの２つの画像フレーム間での自己動き(ego-motion)を
決定する方法において、前記２つの画像フレーム中のエ
ピポーラ(epiplor) ラインセグメントにおける対応画素
間でのカメラ自己動きに伴う並進及び回転に関する２つ
の並進パラメータ及び３つの回転パラメータを並進及び
回転に関する推定値として推定するステップと、前記推
定値のコスト関数を算定するステップと、前記推定値を
修正し前記コスト関数を算定することを繰り返し行い、
所望の自己動きとして用いられる最小のフィガ・オブ・
メリット(figure of merit) を有する前記コスト関数が
得られるような並進及び回転に関する推定値を見つける
ステップとを含む自己動き決定方法が得られる。
ンの２つの画像フレーム間での自己動き(ego-motion)を
決定する方法において、前記２つの画像フレーム中のエ
ピポーラ(epiplor) ラインセグメントにおける対応画素
間でのカメラ自己動きに伴う並進及び回転に関する２つ
の並進パラメータ及び３つの回転パラメータを並進及び
回転に関する推定値として推定するステップと、前記推
定値のコスト関数を算定するステップと、前記推定値を
修正し前記コスト関数を算定することを繰り返し行い、
所望の自己動きとして用いられる最小のフィガ・オブ・
メリット(figure of merit) を有する前記コスト関数が
得られるような並進及び回転に関する推定値を見つける
ステップとを含む自己動き決定方法が得られる。
【００１９】好ましくは、この第１の実施の形態による
自己動き決定方法において、前記コスト関数は、一方の
画像の画素と、他方の画像における想定された対応する
前記エピポーララインセグメントに沿ったサンプル点と
の差の平方値の和に依存して決定される。
自己動き決定方法において、前記コスト関数は、一方の
画像の画素と、他方の画像における想定された対応する
前記エピポーララインセグメントに沿ったサンプル点と
の差の平方値の和に依存して決定される。
【００２０】上述の第１の実施の形態による自己動き決
定方法は、予備ステップとして、上記２つの画像フレー
ムの画素強度レベルの正規化を行うステップを含んでも
よい。
定方法は、予備ステップとして、上記２つの画像フレー
ムの画素強度レベルの正規化を行うステップを含んでも
よい。
【００２１】好ましくは、前記正規化は、ダイナミック
ヒストグラムワーピングによって行われる。
ヒストグラムワーピングによって行われる。
【００２２】本発明の第２の実施の形態によれば、想定
された既知の回転及び未知の並進を有する与えられたシ
ーンの２つの画像フレーム間でのカメラ並進の測度(mea
sure) を導きだす方法において、第１の画像フレーム中
の点Ａを選択するステップと、第２の画像フレーム中の
前記点Ａに対応するゼロ視差(disparity) 点を算定する
ステップと、前記ゼロ視差点を通過し、かつ拡大焦点(f
ocus of expansion)の候補として方向付けられた複数個
の異なるラインセグメントを選択するステップと、前記
ラインセグメントの各々の上の多数の点を選択するステ
ップと、選択されたラインセグメントの各々の上の多数
の点について誤差測度を計算して最小誤差を有するライ
ンセグメントを見つけるステップと、前記最小誤差をも
つラインセグメントを用いて真の拡大焦点を特定するス
テップとを含むことを特徴とする方法が得られる。
された既知の回転及び未知の並進を有する与えられたシ
ーンの２つの画像フレーム間でのカメラ並進の測度(mea
sure) を導きだす方法において、第１の画像フレーム中
の点Ａを選択するステップと、第２の画像フレーム中の
前記点Ａに対応するゼロ視差(disparity) 点を算定する
ステップと、前記ゼロ視差点を通過し、かつ拡大焦点(f
ocus of expansion)の候補として方向付けられた複数個
の異なるラインセグメントを選択するステップと、前記
ラインセグメントの各々の上の多数の点を選択するステ
ップと、選択されたラインセグメントの各々の上の多数
の点について誤差測度を計算して最小誤差を有するライ
ンセグメントを見つけるステップと、前記最小誤差をも
つラインセグメントを用いて真の拡大焦点を特定するス
テップとを含むことを特徴とする方法が得られる。
【００２３】本発明の第３の実施の形態によれば、想定
された既知の並進と未知の回転を有する与えられたシー
ンの２つの画像フレーム間でのカメラ回転の測度(measu
re) を導きだす方法において、第１の画像フレーム中の
点Ａを選択するステップと、第２の画像フレーム中の前
記点Ａに対応するゼロ視差(disparity) 点を算定するス
テップと、これら候補ゼロ視差点を通過し、かつ拡大焦
点にしたがって方向付けられた複数個の異なるラインセ
グメントを選択するステップと、前記ラインセグメント
の各々の上の多数の点を選択するステップと、前記選択
されたラインセグメントの各々の上の多数の点の各々に
ついて誤差測度を計算して最小誤差を有するラインセグ
メントを見つけるステップと、前記最小誤差をもつライ
ンセグメントを用いて真の拡大焦点を特定するステップ
とを含むことを特徴とする方法が得られる。
された既知の並進と未知の回転を有する与えられたシー
ンの２つの画像フレーム間でのカメラ回転の測度(measu
re) を導きだす方法において、第１の画像フレーム中の
点Ａを選択するステップと、第２の画像フレーム中の前
記点Ａに対応するゼロ視差(disparity) 点を算定するス
テップと、これら候補ゼロ視差点を通過し、かつ拡大焦
点にしたがって方向付けられた複数個の異なるラインセ
グメントを選択するステップと、前記ラインセグメント
の各々の上の多数の点を選択するステップと、前記選択
されたラインセグメントの各々の上の多数の点の各々に
ついて誤差測度を計算して最小誤差を有するラインセグ
メントを見つけるステップと、前記最小誤差をもつライ
ンセグメントを用いて真の拡大焦点を特定するステップ
とを含むことを特徴とする方法が得られる。
【００２４】上述の第２及び第３の実施の形態による方
法は、予備ステップとして、上記２つの画像フレームの
画素強度レベルの正規化を行うステップを含んでもよ
い。
法は、予備ステップとして、上記２つの画像フレームの
画素強度レベルの正規化を行うステップを含んでもよ
い。
【００２５】次に、本発明の実施例について図面を参照
して説明する。
して説明する。
【００２６】ある点の周囲の画像の挙動を表すために単
純な統計モデルが用いられる。１つの画像Ａにおける、
与えられた点
純な統計モデルが用いられる。１つの画像Ａにおける、
与えられた点
【００２７】
【数１】 の近傍の強度分布について考察する。２点間の距離が十
分に小さいと仮定すると、強度ｂを有する与えられた点
分に小さいと仮定すると、強度ｂを有する与えられた点
【００２８】
【数２】 を条件とした、強度ａを有する点
【００２９】
【数３】 の確率は、正規分布を有すると考えられる。すなわち、
次の式が与えられる。
次の式が与えられる。
【００３０】
【数４】 ここで、
【００３１】
【数５】 は、平均ｂと分散
【００３２】
【数６】 を有するガウス分布である。分散
【００３３】
【数７】 は、
【００３４】
【数８】 の関数である。この特性が、シーン中に存在する相関に
関連することは直観的に認識され、次いで実験的に立証
される。
関連することは直観的に認識され、次いで実験的に立証
される。
【００３５】与えられた画像について、選択された近傍
内のすべての可能な分離点(separations)
内のすべての可能な分離点(separations)
【００３６】
【数９】 に対し、分布のパラメータ
【００３７】
【数１０】 を評価することができる。与えられた
【００３８】
【数１１】 について、画像におけるすべての点
【００３９】
【数１２】 に対して抽出されたサンプルの分布を次式のように評価
しよう。
しよう。
【００４０】
【数１３】 ここで、このサンプルの平均は常に０である。分散
【００４１】
【数１４】 はサンプルから得られ、次式で表わされる。
【００４２】
【数１５】 ここで、ｎは、取り出されたサンプルの数である。
【００４３】すべての
【００４４】
【数１６】 について、ｒmax が近傍の最大サイズをあらわすとした
場合に、
場合に、
【００４５】
【数１７】 となるような分散が推定されると、画像強度の局所的挙
動を記述する有用な大局的統計量を得る。この統計量
は、画像内のすべての画素の近傍における強度値の分布
を直接的に計測することにより、実験的に決定される。
本発明者らは、典型的な自然画像について、分散が、
動を記述する有用な大局的統計量を得る。この統計量
は、画像内のすべての画素の近傍における強度値の分布
を直接的に計測することにより、実験的に決定される。
本発明者らは、典型的な自然画像について、分散が、
【００４６】
【数１８】 を中心とした単一の最小値をもって、距離とともに、概
ね単調に増大することを見出だした。この特性は、尤度
測度を抽出するために利用される。分散と距離との関係
は、単調に増大するが、等方性ではなく、方向によっ
て、強度の相関がより強いことが示されている。
ね単調に増大することを見出だした。この特性は、尤度
測度を抽出するために利用される。分散と距離との関係
は、単調に増大するが、等方性ではなく、方向によっ
て、強度の相関がより強いことが示されている。
【００４７】次に深度不変コスト関数の展開に話しを進
める。回転が既知であれば、想定された並進Ｔの尤度を
評価する必要があり、逆の場合は、回転Ｒについて評価
する必要がある。
める。回転が既知であれば、想定された並進Ｔの尤度を
評価する必要があり、逆の場合は、回転Ｒについて評価
する必要がある。
【００４８】図１を参照すると、画像Ａにおける所定の
点
点
【００４９】
【数１９】 及びカメラ動きに対して、無限深度を有する画像Ｂにお
ける対応点
ける対応点
【００５０】
【数２０】 （ゼロ視差(disparity) 点）を、拡大焦点(focus of ex
pansion:ＦＯＥ）と同様に算定することができる。図１
では、∞はinfinity（無限遠）で表されている。後に説
明される図においても、∞はinfinity（無限遠）で表さ
れる。並進は既知であるが回転は未知であるということ
は、ＦＯＥは既知であるが、点
pansion:ＦＯＥ）と同様に算定することができる。図１
では、∞はinfinity（無限遠）で表されている。後に説
明される図においても、∞はinfinity（無限遠）で表さ
れる。並進は既知であるが回転は未知であるということ
は、ＦＯＥは既知であるが、点
【００５１】
【数２１】 の位置が未知であるということを意味する。逆に、回転
が既知だが、並進が未知ということは、画像Ｂにおける
対応点
が既知だが、並進が未知ということは、画像Ｂにおける
対応点
【００５２】
【数２２】 は既知だが、ＦＯＥの位置は未知であることを意味す
る。点
る。点
【００５３】
【数２３】 の真の深度は分からないため、実際の対応する点
【００５４】
【数２４】 が、未知の深度ｚに依存する、点
【００５５】
【数２５】 の近傍のどこかにあることだけを推定することができ
る。実際には、それは、真の
る。実際には、それは、真の
【００５６】
【数２６】 と真の拡大焦点とを結ぶ線分上に常に位置している。点
【００５７】
【数２７】 と（未知の）点
【００５８】
【数２８】 は対応しているため、
【００５９】
【数２９】 のまわりの分散関数は、
【００６０】
【数３０】 のものと同一であるはずである。
【００６１】未知の並進の場合について、長さｒmax を
有するラインセグメントｕが、ゼロ視差点
有するラインセグメントｕが、ゼロ視差点
【００６２】
【数３１】 を始点として選択され、候補ＦＯＥに向けて方向づけら
れる。ｒmax の値は、期待される最大視差を反映するよ
うに選択される。候補ＦＯＥにより、候補並進が与えら
れ、その逆の場合もある。セグメントｕに沿って多数の
サンプル強度値ｕi を選択し、誤差測度(error measur
e) ｅu を次式のとおり定義したとする。
れる。ｒmax の値は、期待される最大視差を反映するよ
うに選択される。候補ＦＯＥにより、候補並進が与えら
れ、その逆の場合もある。セグメントｕに沿って多数の
サンプル強度値ｕi を選択し、誤差測度(error measur
e) ｅu を次式のとおり定義したとする。
【００６３】
【数３２】 この時には、ｅu は、セグメントｕが
【００６４】
【数３３】 を含み、ＦＯＥを指している場合に、最小値となる。画
像の分散関数が良好な挙動をみせている場合に、この最
小値が存在し、一義的である。これについては、以下に
詳細に述べる。
像の分散関数が良好な挙動をみせている場合に、この最
小値が存在し、一義的である。これについては、以下に
詳細に述べる。
【００６５】さて、候補ＦＯＥが良好であれば、この特
性を推定に用いることができる。多数の点
性を推定に用いることができる。多数の点
【００６６】
【数３４】 を選択し、ｑi が
【００６７】
【数３５】 を始点とし、候補ＦＯＥを指しているセグメントである
とした場合の個々のラインセグメント誤差測度ｅqiの和
を算出するならば、この候補ＦＯＥが実際に、真のＦＯ
Ｅであれば、これらの誤差測度はすべて同時に最小値と
なることが予測される。このように、ＦＯＥの尤度の大
局的推定値として、個々のラインセグメント誤差測度の
和Ｓ＝Σｅqiを用いる。挙動の良好な画像の場合には、
唯一の最小値を期待して、勾配降下(gradiant descent)
に基づく正確なＦＯＥについての単純な探索を行なうこ
とができる。
とした場合の個々のラインセグメント誤差測度ｅqiの和
を算出するならば、この候補ＦＯＥが実際に、真のＦＯ
Ｅであれば、これらの誤差測度はすべて同時に最小値と
なることが予測される。このように、ＦＯＥの尤度の大
局的推定値として、個々のラインセグメント誤差測度の
和Ｓ＝Σｅqiを用いる。挙動の良好な画像の場合には、
唯一の最小値を期待して、勾配降下(gradiant descent)
に基づく正確なＦＯＥについての単純な探索を行なうこ
とができる。
【００６８】ＦＯＥを固定（既知の並進）し候補の回転
に結びつけられる候補点
に結びつけられる候補点
【００６９】
【数３６】 を選択することにより、回転を推定するこの方法を容易
に変更することができる。
に変更することができる。
【００７０】動き空間を効果的に探索するためには、コ
スト関数が、明確に定義された大局的最小値を有してい
なければならず、もし局所的最小値を有しているとして
も、それはごくわずかでなければならない。既知の回転
について、一様で単調な画像強度相関を仮定すると、並
進の探索空間は、単一の大局的最小値のみを特徴付け
る。その逆もまた真である。これら両方の場合におい
て、全５Ｄ探索の場合のように、回転／並進のあいまい
性に伴う問題はない。
スト関数が、明確に定義された大局的最小値を有してい
なければならず、もし局所的最小値を有しているとして
も、それはごくわずかでなければならない。既知の回転
について、一様で単調な画像強度相関を仮定すると、並
進の探索空間は、単一の大局的最小値のみを特徴付け
る。その逆もまた真である。これら両方の場合におい
て、全５Ｄ探索の場合のように、回転／並進のあいまい
性に伴う問題はない。
【００７１】効果的な探索についての第二の条件は、初
期探索点を簡単に選択できるように、収束領域を大きく
とることである。この領域（および関数の一般的なめら
かさ）は、局所的画像強度統計値から抽出可能でなけれ
ばならない。質的に、高周波数強度変動は、広い収束領
域を許さない（あいまい性のため）のに対し、低周波数
変動はかなり大きな動きを許容することは明らかであ
る。
期探索点を簡単に選択できるように、収束領域を大きく
とることである。この領域（および関数の一般的なめら
かさ）は、局所的画像強度統計値から抽出可能でなけれ
ばならない。質的に、高周波数強度変動は、広い収束領
域を許さない（あいまい性のため）のに対し、低周波数
変動はかなり大きな動きを許容することは明らかであ
る。
【００７２】良好な挙動の画像について、セグメントｕ
が
が
【００７３】
【数３７】 を含み、真のゼロ視差点と真のＦＯＥを結んでいると
き、式（３）の誤差測度ｅu の単一の最小値が観察され
ることを証明する。良好な挙動の画像とは、単調に増加
する分散関数を有するものとして定義する。定義によ
り、この関数は、（０，０）において常に大局的最小値
を有するため、この条件は、尤度関数が一義的な最小値
を有することを保証するのに十分である。このことは、
次に説明する。
き、式（３）の誤差測度ｅu の単一の最小値が観察され
ることを証明する。良好な挙動の画像とは、単調に増加
する分散関数を有するものとして定義する。定義によ
り、この関数は、（０，０）において常に大局的最小値
を有するため、この条件は、尤度関数が一義的な最小値
を有することを保証するのに十分である。このことは、
次に説明する。
【００７４】図２は、未知の並進の場合の２つのセグメ
ントｕとｖについての誤差関数を示している。図２に示
すように、
ントｕとｖについての誤差関数を示している。図２に示
すように、
【００７５】
【数３８】 の近傍において、
【００７６】
【数３９】 を始点とし、ｎ個のサンプル強度を含むセグメントｕに
ついて考察する。分布特性から、各サンプルは、次式で
あらわされる分布を有するランダム変数ｕi のように挙
動すると言うことができる。
ついて考察する。分布特性から、各サンプルは、次式で
あらわされる分布を有するランダム変数ｕi のように挙
動すると言うことができる。
【００７７】
【数４０】 ここで、
【００７８】
【数４１】 はサンプルｕi から、
【００７９】
【数４２】 に対応する点の未知の位置である、位置
【００８０】
【数４３】 への距離（ｘ，ｙ）である。式（３）から、誤差測度ｅ
u は、ランダム変数であり、次式で定義される。
u は、ランダム変数であり、次式で定義される。
【００８１】
【数４４】 これは、次式で定義される期待値をもつ。
【００８２】
【数４５】 さて、やはり
【００８３】
【数４６】 を始点とし、但し点
【００８４】
【数４７】 により近い第２のセグメントｖを仮定する。一組のサン
プルｖi をセグメントｕと同じサンプリングを用いて選
択する。誤差測度ｅv は、ランダム変数として次式のと
おり定義される。
プルｖi をセグメントｕと同じサンプリングを用いて選
択する。誤差測度ｅv は、ランダム変数として次式のと
おり定義される。
【００８５】
【数４８】 これは次式であらわされる期待値を有する。
【００８６】
【数４９】 ここで、
【００８７】
【数５０】 はサンプルｖi から位置
【００８８】
【数５１】 への距離（ｘ，ｙ）である。さて、ｅv の期待値は常に
Ｅ（ｅu ）より小さいことを証明しよう。まず第一に、
次式の関係が当然成立する。
Ｅ（ｅu ）より小さいことを証明しよう。まず第一に、
次式の関係が当然成立する。
【００８９】
【数５２】 すると、次式がみちびかれる。
【００９０】
【数５３】 これは、
【００９１】
【数５４】 を含むセグメントに近づくにつれて、期待される誤差値
は小さくなり、最終的には、候補ＦＯＥが真のＦＯＥに
対応するときに最小値に達するということを示してい
る。分散関数が単調であるかぎり、この最小値は、存在
することが保証され、しかも一義的である。
は小さくなり、最終的には、候補ＦＯＥが真のＦＯＥに
対応するときに最小値に達するということを示してい
る。分散関数が単調であるかぎり、この最小値は、存在
することが保証され、しかも一義的である。
【００９２】図３は、未知の回転の場合の２つのセグメ
ントｕとｖについての誤差関数を示している。図３を図
２に比較すれば明らかなように、上述の図１及び図２を
用いた未知の並進の場合の説明において、ＦＯＥとゼロ
視差点を単に入れ替えるだけで、同一の処理を回転の推
定に適用することができる。
ントｕとｖについての誤差関数を示している。図３を図
２に比較すれば明らかなように、上述の図１及び図２を
用いた未知の並進の場合の説明において、ＦＯＥとゼロ
視差点を単に入れ替えるだけで、同一の処理を回転の推
定に適用することができる。
【００９３】図４を参照すると、本発明による処理のフ
ローチャートが示されている。ステップ３１に示すよう
に、カメラ調整あるいは変化する照明状態のために、比
較される２つのフレーム間の強度レベルの差が大きい場
合には、２つのフレーム画像の強度レベルを正規化すれ
ば、用いられるコスト関数における所望の大局的最小値
を見出だすことを促進できる。ダイナミックヒストグラ
ムワーピングは、正規化のための公知技術である。この
技術は、２つのヒストグラムにおけるピークがほぼ同じ
強度レベルにおいて発生するように画像の一方あるいは
両方の強度レベルのヒストグラムを作成することを含ん
でいる。あるいは、ヒストグラム・スペシフィケーショ
ンなどのその他適当な正規化技術を用いることもでき
る。
ローチャートが示されている。ステップ３１に示すよう
に、カメラ調整あるいは変化する照明状態のために、比
較される２つのフレーム間の強度レベルの差が大きい場
合には、２つのフレーム画像の強度レベルを正規化すれ
ば、用いられるコスト関数における所望の大局的最小値
を見出だすことを促進できる。ダイナミックヒストグラ
ムワーピングは、正規化のための公知技術である。この
技術は、２つのヒストグラムにおけるピークがほぼ同じ
強度レベルにおいて発生するように画像の一方あるいは
両方の強度レベルのヒストグラムを作成することを含ん
でいる。あるいは、ヒストグラム・スペシフィケーショ
ンなどのその他適当な正規化技術を用いることもでき
る。
【００９４】このような正規化が施されると、次のステ
ップ３２では、想定カメラ動きに対応する５つのパラメ
ータを推定する。次のステップ３３では、エピポーラセ
グメントの差の平方値の和を用いたやり方で、想定動き
のフィガ・オブ・メリット（性能指数）を算定する。
ップ３２では、想定カメラ動きに対応する５つのパラメ
ータを推定する。次のステップ３３では、エピポーラセ
グメントの差の平方値の和を用いたやり方で、想定動き
のフィガ・オブ・メリット（性能指数）を算定する。
【００９５】ステップ３４に示すように最小値が見出だ
されるまで、ステップ３２および３３を繰り返すことに
よりこのプロセスが続行される。ステップ３５として示
すように、公知の勾配降下(gradient descent)技術を用
いて以降の推定値が選択される。
されるまで、ステップ３２および３３を繰り返すことに
よりこのプロセスが続行される。ステップ３５として示
すように、公知の勾配降下(gradient descent)技術を用
いて以降の推定値が選択される。
【００９６】探索は、勾配(gradient)に基づいた方法を
用いて実施される。すべての次元において、与えられた
点のまわりの関数の値を比較することにより勾配に対す
る近似値を算定する。用いられる刻み量は単位球面上
で、並進については±５°、回転については±１°であ
る。つぎに、この近似勾配を、０．０２°と０．１°の
間に正規化し、現在の最小値を更新するのに用いる。解
に収束するためには、この方法を、通常約６０〜１００
回反復する必要がある。まだ、速度については重点を置
いていないため、この探索方法はかなりの改善の余地が
あることが予測される。
用いて実施される。すべての次元において、与えられた
点のまわりの関数の値を比較することにより勾配に対す
る近似値を算定する。用いられる刻み量は単位球面上
で、並進については±５°、回転については±１°であ
る。つぎに、この近似勾配を、０．０２°と０．１°の
間に正規化し、現在の最小値を更新するのに用いる。解
に収束するためには、この方法を、通常約６０〜１００
回反復する必要がある。まだ、速度については重点を置
いていないため、この探索方法はかなりの改善の余地が
あることが予測される。
【００９７】解を見出だすために勾配降下技術を用いる
ため、初期推定値は非常に重要である。実施されたすべ
ての実験において、画像のテクスチャからみちびかれた
収束の制約を考慮しつつ、実際的な初期推定値を、注意
を払って、すなわち、解からできるだけ遠くに選択し
た。ここで重要なことは、動き追跡の最も現実的な状況
においては、動きは類似する傾向がありしたがってより
速い収束が可能となるという事実を活用して、前のフレ
ームから得た動きパラメータを、次のフレームのための
初期推定値として用いるべきであるということである。
完全に収束領域の外にある場合を除いて、初期推定値の
唯一の影響は、解への収束の速度に対するものである。
ため、初期推定値は非常に重要である。実施されたすべ
ての実験において、画像のテクスチャからみちびかれた
収束の制約を考慮しつつ、実際的な初期推定値を、注意
を払って、すなわち、解からできるだけ遠くに選択し
た。ここで重要なことは、動き追跡の最も現実的な状況
においては、動きは類似する傾向がありしたがってより
速い収束が可能となるという事実を活用して、前のフレ
ームから得た動きパラメータを、次のフレームのための
初期推定値として用いるべきであるということである。
完全に収束領域の外にある場合を除いて、初期推定値の
唯一の影響は、解への収束の速度に対するものである。
【００９８】一般に、２５個までのサンプルが、対応が
仮定された各セグメントに沿って取り出され、式（２）
において尤度を算定するために用いられる。大半の画像
について、良好な推定値を迅速に見出だすために用いる
ことができるような有用な結果を生じさせるためには数
百個の点だけで十分である。用いられる点の数を増やす
ことにより、推定の精度も増大する。
仮定された各セグメントに沿って取り出され、式（２）
において尤度を算定するために用いられる。大半の画像
について、良好な推定値を迅速に見出だすために用いる
ことができるような有用な結果を生じさせるためには数
百個の点だけで十分である。用いられる点の数を増やす
ことにより、推定の精度も増大する。
【００９９】ある仮定された動きのための評価関数は、
画像の勾配に依存せず、大量の強度差情報を蓄積するこ
とからなる。したがって、この方法は、ノイズに対して
非常に強いことが期待される。すなわち、ノイズの多い
状態であっても優れた精度が期待される。
画像の勾配に依存せず、大量の強度差情報を蓄積するこ
とからなる。したがって、この方法は、ノイズに対して
非常に強いことが期待される。すなわち、ノイズの多い
状態であっても優れた精度が期待される。
【０１００】実験結果によると、画像ノイズレベルと回
転角度誤差の関係は、ほぼ線形であるということが示さ
れ、これは、画像ノイズが２倍になると、推定回転角度
についての誤差が２倍になることを意味している。
転角度誤差の関係は、ほぼ線形であるということが示さ
れ、これは、画像ノイズが２倍になると、推定回転角度
についての誤差が２倍になることを意味している。
【０１０１】これらの結果は、本発明の技術が相関のな
いノイズに対して非常に耐性をもつことを示している。
汚れたレンズを持つ単一のカメラなどによる、相関をも
つノイズについてはやや劣っているようである。
いノイズに対して非常に耐性をもつことを示している。
汚れたレンズを持つ単一のカメラなどによる、相関をも
つノイズについてはやや劣っているようである。
【０１０２】以上、２つのフレーム間で完全な動きを見
出だすための新しい概念系を紹介した。この方法は、シ
ーンの構造に関する情報を必要とせず算定もしないた
め、「構造なしの動き」と呼ばれる。動き解析の問題
は、可能な動きの空間における探索と、一方の画像内の
点と他方の画像におけるそれらに対応するエピポーラセ
グメントの間の差の平方値の和に基づいて仮定された動
きを評価する尤度測度の展開として提起される。
出だすための新しい概念系を紹介した。この方法は、シ
ーンの構造に関する情報を必要とせず算定もしないた
め、「構造なしの動き」と呼ばれる。動き解析の問題
は、可能な動きの空間における探索と、一方の画像内の
点と他方の画像におけるそれらに対応するエピポーラセ
グメントの間の差の平方値の和に基づいて仮定された動
きを評価する尤度測度の展開として提起される。
【０１０３】尤度関数は、回転が既知あるいは並進が既
知のいずれかの場合について、画像の挙動が良好である
こと、すなわち、２つの点の間の強度差の分散が、それ
らの間の距離についての単調増加関数であることを条件
として、ただ一つの大局的最小値を示すことが分かっ
た。完全な動きの場合にも、一義的な大局的最小値がや
はり存在するが、回転運動および並進運動間の周知のあ
いまい性に支配されることがある。
知のいずれかの場合について、画像の挙動が良好である
こと、すなわち、２つの点の間の強度差の分散が、それ
らの間の距離についての単調増加関数であることを条件
として、ただ一つの大局的最小値を示すことが分かっ
た。完全な動きの場合にも、一義的な大局的最小値がや
はり存在するが、回転運動および並進運動間の周知のあ
いまい性に支配されることがある。
【０１０４】実験結果は、この方法を広範な画像に適用
でき、非常に優れた精度を達成し、ノイズに対して強い
耐性を示すことを示唆している。大きなフレーム間動き
を処理することができ、これらの動きは、画像中に存在
する局所的強度変動の特性によってのみ制限される。
でき、非常に優れた精度を達成し、ノイズに対して強い
耐性を示すことを示唆している。大きなフレーム間動き
を処理することができ、これらの動きは、画像中に存在
する局所的強度変動の特性によってのみ制限される。
【０１０５】以上、本発明を好ましい実施例について説
明したが、本発明の趣旨および範囲を逸脱することなく
種々の変形が可能であることはいうまでもない。
明したが、本発明の趣旨および範囲を逸脱することなく
種々の変形が可能であることはいうまでもない。
【０１０６】
【発明の効果】以上説明したように本発明によれば、並
進及び回転の両推定値を高精度で得ることができる。
進及び回転の両推定値を高精度で得ることができる。
【図１】本発明を説明するための図であり、動きの起き
たシーンの２つのフレームを示し、画像Ｂは、画像Ａに
示された点の可能な位置の軌跡を示す。
たシーンの２つのフレームを示し、画像Ｂは、画像Ａに
示された点の可能な位置の軌跡を示す。
【図２】本発明を説明するための図であり、未知の並進
の場合の２つのセグメントｕとｖについての誤差関数を
示している。
の場合の２つのセグメントｕとｖについての誤差関数を
示している。
【図３】本発明を説明するための図であり、未知の回転
の場合の２つのセグメントｕとｖについての誤差関数を
示している。
の場合の２つのセグメントｕとｖについての誤差関数を
示している。
【図４】本発明を説明するためのフローチャートであ
る。
る。
Ａ 画像 Ｂ 画像
Claims (8)
- 【請求項１】 シーンの２つの画像フレーム間での自己
動き(ego-motion)を決定する方法において、 前記２つの画像フレーム中のエピポーラ(epiplor) ライ
ンセグメントにおける対応画素間でのカメラ自己動きに
伴う並進及び回転に関する２つの並進パラメータ及び３
つの回転パラメータを並進及び回転に関する推定値とし
て推定するステップと、 前記推定値のコスト関数を算定するステップと、 前記推定値を修正し前記コスト関数を算定することを繰
り返し行い、所望の自己動きとして用いられる最小のフ
ィガ・オブ・メリット(figure of merit) を有する前記
コスト関数が得られるような並進及び回転に関する推定
値を見つけるステップとを含む自己動き決定方法。 - 【請求項２】 前記コスト関数は、一方の画像の画素
と、他方の画像における想定された対応する前記エピポ
ーララインセグメントに沿ったサンプル点との差の平方
値の和に依存して決定されることを特徴とする請求項１
に記載のシーン自己動き決定方法。 - 【請求項３】 予備ステップとして、上記２つの画像フ
レームの画素強度レベルの正規化を行うステップを含む
ことを特徴とする請求項１に記載のシーン自己動き決定
方法。 - 【請求項４】 前記正規化は、ダイナミックヒストグラ
ムワーピングによって行われることを特徴とする請求項
３に記載のシーン自己動き決定方法。 - 【請求項５】 想定された既知の回転及び未知の並進を
有する与えられたシーンの２つの画像フレーム間でのカ
メラ並進の測度(measure) を導きだす方法において、 第１の画像フレーム中の点Ａを選択するステップと、 第２の画像フレーム中の前記点Ａに対応するゼロ視差(d
isparity) 点を算定するステップと、 前記ゼロ視差点を通過し、かつ拡大焦点(focus of expa
nsion)の候補として方向付けられた複数個の異なるライ
ンセグメントを選択するステップと、 前記ラインセグメントの各々の上の多数の点を選択する
ステップと、 選択されたラインセグメントの各々の上の多数の点につ
いて誤差測度を計算して最小誤差を有するラインセグメ
ントを見つけるステップと、 前記最小誤差をもつラインセグメントを用いて真の拡大
焦点を特定するステップとを含むことを特徴とする方
法。 - 【請求項６】 予備ステップとして、上記２つの画像フ
レームの画素強度レベルの正規化を行うステップを含む
ことを特徴とする請求項５に記載の方法。 - 【請求項７】 想定された既知の並進と未知の回転を有
する与えられたシーンの２つの画像フレーム間でのカメ
ラ回転の測度(measure) を導きだす方法において、 第１の画像フレーム中の点Ａを選択するステップと、 第２の画像フレーム中の前記点Ａに対応するゼロ視差(d
isparity) 点を算定するステップと、 これら候補ゼロ視差点を通過し、かつ拡大焦点にしたが
って方向付けられた複数個の異なるラインセグメントを
選択するステップと、 前記ラインセグメントの各々の上の多数の点を選択する
ステップと、 前記選択されたラインセグメントの各々の上の多数の点
の各々について誤差測度を計算して最小誤差を有するラ
インセグメントを見つけるステップと、 前記最小誤差をもつラインセグメントを用いて真の拡大
焦点を特定するステップとを含むことを特徴とする方
法。 - 【請求項８】 予備ステップとして、上記２つの画像フ
レームの画素強度レベルの正規化を行うステップを含む
ことを特徴とする請求項７に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/592249 | 1996-01-26 | ||
| US08/592,249 US5751838A (en) | 1996-01-26 | 1996-01-26 | Correction of camera motion between two image frames |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09219814A true JPH09219814A (ja) | 1997-08-19 |
Family
ID=24369920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9012205A Pending JPH09219814A (ja) | 1996-01-26 | 1997-01-27 | シーン自己動き決定方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5751838A (ja) |
| EP (1) | EP0786739B1 (ja) |
| JP (1) | JPH09219814A (ja) |
| DE (1) | DE69717176T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008282386A (ja) * | 2007-05-10 | 2008-11-20 | Honda Motor Co Ltd | 物体検出装置、物体検出方法及び物体検出プログラム |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5864366A (en) * | 1997-02-05 | 1999-01-26 | International Business Machines Corporation | System and method for selecting video information with intensity difference |
| US6009210A (en) * | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
| JP3660492B2 (ja) * | 1998-01-27 | 2005-06-15 | 株式会社東芝 | 物体検知装置 |
| DE19860038C1 (de) * | 1998-12-23 | 2000-06-29 | Siemens Ag | Verfahren zur Bewegungskorrektur bei Serien von Bildern eines starren Körpers |
| CA2359637A1 (en) * | 1999-01-26 | 2000-07-27 | Stephen F. Fulghum, Jr. | Autofluorescence imaging system for endoscopy |
| US6507661B1 (en) * | 1999-04-20 | 2003-01-14 | Nec Research Institute, Inc. | Method for estimating optical flow |
| US6307959B1 (en) | 1999-07-14 | 2001-10-23 | Sarnoff Corporation | Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation |
| AU1793301A (en) * | 1999-11-26 | 2001-06-04 | Mobileye, Inc. | System and method for estimating ego-motion of a moving vehicle using successiveimages recorded along the vehicle's path of motion |
| US7058903B1 (en) | 2000-02-11 | 2006-06-06 | Sony Corporation | Image database jog/shuttle search |
| US7262778B1 (en) | 2000-02-11 | 2007-08-28 | Sony Corporation | Automatic color adjustment of a template design |
| US7136528B2 (en) | 2000-02-11 | 2006-11-14 | Sony Corporation | System and method for editing digital images |
| US6567469B1 (en) | 2000-03-23 | 2003-05-20 | Koninklijke Philips Electronics N.V. | Motion estimation algorithm suitable for H.261 videoconferencing applications |
| US20020073143A1 (en) * | 2000-08-31 | 2002-06-13 | Edwards Eric D. | File archive and media transfer system with user notification |
| JP4159794B2 (ja) * | 2001-05-02 | 2008-10-01 | 本田技研工業株式会社 | 画像処理装置及び方法 |
| JP4602983B2 (ja) * | 2003-05-09 | 2010-12-22 | アビッド テクノロジー インコーポレイテッド | 構造化透かしの埋め込み及び検出のための方法及び装置 |
| US7567731B2 (en) | 2004-07-15 | 2009-07-28 | Harris Corporation | Method and system for simultaneously registering multi-dimensional topographical points |
| US20060215036A1 (en) * | 2005-03-25 | 2006-09-28 | Multivision Intelligent Surveillance (Hk) Ltd. | Method and apparatus for video stabilization |
| EP1811457A1 (en) * | 2006-01-20 | 2007-07-25 | BRITISH TELECOMMUNICATIONS public limited company | Video signal analysis |
| US8477246B2 (en) * | 2008-07-11 | 2013-07-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems, methods and devices for augmenting video content |
| US8320606B1 (en) | 2008-08-29 | 2012-11-27 | Adobe Systems Incorporated | Video watermarking with fast detection |
| US9805473B2 (en) * | 2008-09-19 | 2017-10-31 | Siemens Healthcare Gmbh | Method and system for segmentation of brain structures in 3D magnetic resonance images |
| US8385590B1 (en) | 2008-11-05 | 2013-02-26 | Adobe Systems Incorporated | Video watermarking with temporal patterns |
| US8213673B2 (en) * | 2009-06-09 | 2012-07-03 | Avio Technology, Inc. | Watermarking of motion pictures |
| US9025841B2 (en) * | 2009-11-18 | 2015-05-05 | Siemens Aktiengesellschaft | Method and system for segmentation of the prostate in 3D magnetic resonance images |
| EP2352127A1 (en) * | 2009-12-04 | 2011-08-03 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | Camera movement estimation |
| US20110268365A1 (en) * | 2010-04-30 | 2011-11-03 | Acer Incorporated | 3d hand posture recognition system and vision based hand posture recognition method thereof |
| CN105284122B (zh) * | 2014-01-24 | 2018-12-04 | Sk 普兰尼特有限公司 | 用于通过使用帧聚类来插入广告的装置和方法 |
| IL233684B (en) | 2014-07-17 | 2018-01-31 | Shamir Hanan | Stabilizing and displaying remote images |
| US20240370971A1 (en) * | 2023-05-05 | 2024-11-07 | Nvidia Corporation | Image stitching with ego-motion compensated camera calibration for surround view visualization |
| US12524960B2 (en) | 2023-07-14 | 2026-01-13 | Nvidia Corporation | Spatial masking for stitched images and surround view visualizations |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5259040A (en) * | 1991-10-04 | 1993-11-02 | David Sarnoff Research Center, Inc. | Method for determining sensor motion and scene structure and image processing system therefor |
| US5611000A (en) * | 1994-02-22 | 1997-03-11 | Digital Equipment Corporation | Spline-based image registration |
| US5436672A (en) * | 1994-05-27 | 1995-07-25 | Symah Vision | Video processing system for modifying a zone in successive images |
-
1996
- 1996-01-26 US US08/592,249 patent/US5751838A/en not_active Expired - Lifetime
-
1997
- 1997-01-27 JP JP9012205A patent/JPH09219814A/ja active Pending
- 1997-01-27 EP EP97101221A patent/EP0786739B1/en not_active Expired - Lifetime
- 1997-01-27 DE DE69717176T patent/DE69717176T2/de not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008282386A (ja) * | 2007-05-10 | 2008-11-20 | Honda Motor Co Ltd | 物体検出装置、物体検出方法及び物体検出プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0786739B1 (en) | 2002-11-20 |
| EP0786739A2 (en) | 1997-07-30 |
| EP0786739A3 (en) | 1998-04-01 |
| US5751838A (en) | 1998-05-12 |
| DE69717176D1 (de) | 2003-01-02 |
| DE69717176T2 (de) | 2003-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH09219814A (ja) | シーン自己動き決定方法 | |
| US20180284777A1 (en) | Method, control apparatus, and system for tracking and shooting target | |
| US7986813B2 (en) | Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor | |
| US6865289B1 (en) | Detection and removal of image occlusion errors | |
| US8755630B2 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
| JP4644248B2 (ja) | 多重視野特徴記述子を用いた同時位置決め及びマッピング | |
| KR101532864B1 (ko) | 모바일 디바이스들에 대한 평면 맵핑 및 트래킹 | |
| CN111445526A (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
| US20140253785A1 (en) | Auto Focus Based on Analysis of State or State Change of Image Content | |
| Pan et al. | Robust and accurate object tracking under various types of occlusions | |
| WO1999053427A1 (en) | Face recognition from video images | |
| JPWO2005043466A1 (ja) | 物体の状態を推定する推定システム、推定方法および推定プログラム | |
| CN101142586A (zh) | 执行人脸识别的方法 | |
| EP2087468A2 (en) | Estimating a location of an object in an image | |
| Lebeda et al. | Texture-independent long-term tracking using virtual corners | |
| CN113129332B (zh) | 执行目标对象跟踪的方法和装置 | |
| CN117440246A (zh) | 一种基于lk光流法的抗抖动实时目标跟踪方法 | |
| JP2016500890A (ja) | 並列化可能なアーキテクチャ内の画像を使用して、サーフェルの局所的なジオメトリまたは面法線を初期化し、解くための方法 | |
| JP4774818B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN119672766B (zh) | 眼镜设备中手关节检测的方法、存储介质、电子设备及产品 | |
| WO1999027493A9 (en) | Detection of image correspondence using radial cumulative similarity | |
| CN119071632A (zh) | 一种基于Tof调焦的AI用户行为学习方法 | |
| JP4836065B2 (ja) | エッジトラッキング方法及びそのコンピュータプログラム | |
| CN114581522B (zh) | 一种支撑点搜索的单目视觉室内定位方法 | |
| Picos et al. | Evolutionary correlation filtering based on pseudo-bacterial genetic algorithm for pose estimation of highly occluded targets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20010321 |