JP2003242484A - カメラ運動・物体形状復元方法、装置、プログラム、同プログラムを記録した記録媒体 - Google Patents
カメラ運動・物体形状復元方法、装置、プログラム、同プログラムを記録した記録媒体Info
- Publication number
- JP2003242484A JP2003242484A JP2002039217A JP2002039217A JP2003242484A JP 2003242484 A JP2003242484 A JP 2003242484A JP 2002039217 A JP2002039217 A JP 2002039217A JP 2002039217 A JP2002039217 A JP 2002039217A JP 2003242484 A JP2003242484 A JP 2003242484A
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- object shape
- camera motion
- measurement matrix
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 カメラ運動および物体形状を高精度に、かつ
雑音にロバストに復元する。 【解決手段】 時系列画像から測定した特徴点の時間的
動きから、反復的透視投影型因子分解法の中で、情報基
準量を算出し、これにより、雑音を除去するととも、カ
メラ運動の復元に必要な条件式を設定することで、雑音
にロバストなカメラ運動を復元し、同時に、物体形状を
復元する。また、透視投影型因子分解法を反復的に繰り
返す計算において、カメラ運動または物体形状のどちら
かに優勢な分解が存在するため、この優勢を検出し、カ
メラ運動と物体形状を同時に、かつ高精度に復元するた
めに、カメラ運動または物体形状のどちらか優勢な方を
拘束して、さらに、反復的透視投影型因子分解法を繰り
返す。
雑音にロバストに復元する。 【解決手段】 時系列画像から測定した特徴点の時間的
動きから、反復的透視投影型因子分解法の中で、情報基
準量を算出し、これにより、雑音を除去するととも、カ
メラ運動の復元に必要な条件式を設定することで、雑音
にロバストなカメラ運動を復元し、同時に、物体形状を
復元する。また、透視投影型因子分解法を反復的に繰り
返す計算において、カメラ運動または物体形状のどちら
かに優勢な分解が存在するため、この優勢を検出し、カ
メラ運動と物体形状を同時に、かつ高精度に復元するた
めに、カメラ運動または物体形状のどちらか優勢な方を
拘束して、さらに、反復的透視投影型因子分解法を繰り
返す。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像入力装置で取
得した時系列画像データから時系列画像中の対象物の形
状およびカメラの運動を復元する方法および装置に関す
る。
得した時系列画像データから時系列画像中の対象物の形
状およびカメラの運動を復元する方法および装置に関す
る。
【０００２】
【従来の技術】コンピュータビジョン分野では、時系列
画像データから、対象物の形状を計測または獲得する手
法として、ステレオ計測やエピポーラ解析を用いた３次
元解析手法がある。また、最近では、カメラの運動と対
象物の形状に関する３次元情報を同時に計測または獲得
する手法の代表的な手法として、因子分解法(1)C.Tomas
i,T.kanede,"Shape and Motion from Image Streams Un
der Orthography:A Factorization Methood"Internatio
nal Jornal of Vision,Vol.9,No.2.1992. 2)B.Triggs,
"Factorization Method for Projective Structure an
d Motion" Proc.CVPR96.1996. 3)C.J Poelman,T.kanad
e" A Paraperspective Factorization Method for Shap
e and Motion Recovery" IEEE Transactions Pattern A
nalysis and Machine Intelligence,Vol.19,No.3,199
7.))がある。
画像データから、対象物の形状を計測または獲得する手
法として、ステレオ計測やエピポーラ解析を用いた３次
元解析手法がある。また、最近では、カメラの運動と対
象物の形状に関する３次元情報を同時に計測または獲得
する手法の代表的な手法として、因子分解法(1)C.Tomas
i,T.kanede,"Shape and Motion from Image Streams Un
der Orthography:A Factorization Methood"Internatio
nal Jornal of Vision,Vol.9,No.2.1992. 2)B.Triggs,
"Factorization Method for Projective Structure an
d Motion" Proc.CVPR96.1996. 3)C.J Poelman,T.kanad
e" A Paraperspective Factorization Method for Shap
e and Motion Recovery" IEEE Transactions Pattern A
nalysis and Machine Intelligence,Vol.19,No.3,199
7.))がある。
【０００３】これらの手法によれば、対象物が撮影され
ている複数の時系列画像から、３次元の形状に関する情
報、およびカメラ視点に関する運動を獲得、復元するこ
とができる。さらに、これらの手法を利用することによ
り、空撮映像から市街地の３次元（空間）データを獲得
することができ、３次元（立体）地図生成の自動化が期
待できる。しかし、空撮時の気象条件や市街地空撮での
ビル風の影響により、また空撮映像中の雑音成分の影響
により、カメラ運動の復元が困難な場合がある。
ている複数の時系列画像から、３次元の形状に関する情
報、およびカメラ視点に関する運動を獲得、復元するこ
とができる。さらに、これらの手法を利用することによ
り、空撮映像から市街地の３次元（空間）データを獲得
することができ、３次元（立体）地図生成の自動化が期
待できる。しかし、空撮時の気象条件や市街地空撮での
ビル風の影響により、また空撮映像中の雑音成分の影響
により、カメラ運動の復元が困難な場合がある。
【０００４】また、因子分解法を反復的に作用させるこ
とで、近似カメラモデル、例えば、平行透視モデルか
ら、現実のカメラモデルに近い透視投影での因子分解が
可能であるが、この手法によるカメラ運動と物体形状復
元において、お互いに影響するような分解が行われるた
め、反復的に透視投影型の因子分解法において、カメラ
運動または物体形状のどちらかに偏って復元される可能
性があった。
とで、近似カメラモデル、例えば、平行透視モデルか
ら、現実のカメラモデルに近い透視投影での因子分解が
可能であるが、この手法によるカメラ運動と物体形状復
元において、お互いに影響するような分解が行われるた
め、反復的に透視投影型の因子分解法において、カメラ
運動または物体形状のどちらかに偏って復元される可能
性があった。
【０００５】反復的な透視投影型因子分解法として、以
下の文献がある。 1)S.Christy and R.Horaud. "Euclidean Shape and Mot
ion from Multiple Perspective Views by Affine Iter
ations" ,INRIA Technical Report RP-2421,1994. 2)S.Christy and R.Horaud, "Euclidean Shape and Mot
ion from Multiple Perspective Views by Affine Iter
ations",IEEE Transactions Pattern Analysis and Mac
hine Intelligence,Vol.18, No.11,pp.2495-2503,1996. 3)S.Christy and R.Horaud, "Euclidean Reconstructio
n: from Paraperspective to Perspective",ECCV96,199
6. 4)M.Han and T.Kanede, "Perspective Factorization M
ethods for EuculideanReconstruction",CMU-RI-TR-99-
22,1999
下の文献がある。 1)S.Christy and R.Horaud. "Euclidean Shape and Mot
ion from Multiple Perspective Views by Affine Iter
ations" ,INRIA Technical Report RP-2421,1994. 2)S.Christy and R.Horaud, "Euclidean Shape and Mot
ion from Multiple Perspective Views by Affine Iter
ations",IEEE Transactions Pattern Analysis and Mac
hine Intelligence,Vol.18, No.11,pp.2495-2503,1996. 3)S.Christy and R.Horaud, "Euclidean Reconstructio
n: from Paraperspective to Perspective",ECCV96,199
6. 4)M.Han and T.Kanede, "Perspective Factorization M
ethods for EuculideanReconstruction",CMU-RI-TR-99-
22,1999
【０００６】
【発明が解決しようとする課題】一般に、画像入力装置
（カメラ）から取得した時系列画像から、カメラの動き
と対象物の形状を同時に復元する場合、時系列画像に混
入するランダム雑音の影響や、撮影時のカメラの微小な
動きを正確に復元することは困難である。このような問
題を扱うべく、コンピュータビジョンでは、因子分解
法、特に、反復的透視投影型因子分解法があり、透視投
影モデルを幾何的な線形モデルで近似した平行透視型因
子分解法を反復的に作用させることにより、カメラの動
きおよび物体形状を復元することが可能である。
（カメラ）から取得した時系列画像から、カメラの動き
と対象物の形状を同時に復元する場合、時系列画像に混
入するランダム雑音の影響や、撮影時のカメラの微小な
動きを正確に復元することは困難である。このような問
題を扱うべく、コンピュータビジョンでは、因子分解
法、特に、反復的透視投影型因子分解法があり、透視投
影モデルを幾何的な線形モデルで近似した平行透視型因
子分解法を反復的に作用させることにより、カメラの動
きおよび物体形状を復元することが可能である。
【０００７】しかし、カメラの動きと物体形状を同時
に、かつ高精度に復元することは難しい。特に、空撮映
像では、撮影時の気象条件や、都市部でのビル風の影響
により、機体の動きはランダムに振動し、シームレスな
時系列画像ではない。そのため、ランダム性雑音の影響
も大きく、従来の因子分解法（反復的透視投影型因子分
解法）では、常に、安定的に、カメラの動きと物体の形
状を、同時に、かつ高精度に復元することは不可能であ
る。
に、かつ高精度に復元することは難しい。特に、空撮映
像では、撮影時の気象条件や、都市部でのビル風の影響
により、機体の動きはランダムに振動し、シームレスな
時系列画像ではない。そのため、ランダム性雑音の影響
も大きく、従来の因子分解法（反復的透視投影型因子分
解法）では、常に、安定的に、カメラの動きと物体の形
状を、同時に、かつ高精度に復元することは不可能であ
る。
【０００８】本発明の目的は、カメラ運動と物体の形状
を高精度に、かつ雑音にロバストに復元するカメラ運動
・物体形状復元方法、装置、プログラム、同プログラム
を記録した記録媒体を提供することにある。
を高精度に、かつ雑音にロバストに復元するカメラ運動
・物体形状復元方法、装置、プログラム、同プログラム
を記録した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】本発明は、空撮映像特有
のカメラの振動に対しても、正確にカメラ運動を復元す
るため、時系列画像から測定した特徴点の時間的動きか
ら、反復的透視投影型因子分解法の中で、情報基準量を
算出し、これにより、雑音を除去するととも、カメラ運
動の復元に必要な条件式を設定することで、雑音にロバ
ストなカメラ運動を復元し、同時に、物体形状を復元す
る。また、透視投影型因子分解法を反復的に繰り返す計
算において、カメラ運動または物体形状のどちらかに優
勢な分解が存在するため、この優勢を検出し、カメラ運
動と物体形状を同時に、かつ高精度に復元するために、
カメラ運動または物体形状のどちらか優勢な方を拘束し
て、さらに、反復的透視投影型因子分解法を繰り返す
（以下では、拘束分解と称している）ことで、分解に偏
りの少ない因子分解をすることを特徴とする。
のカメラの振動に対しても、正確にカメラ運動を復元す
るため、時系列画像から測定した特徴点の時間的動きか
ら、反復的透視投影型因子分解法の中で、情報基準量を
算出し、これにより、雑音を除去するととも、カメラ運
動の復元に必要な条件式を設定することで、雑音にロバ
ストなカメラ運動を復元し、同時に、物体形状を復元す
る。また、透視投影型因子分解法を反復的に繰り返す計
算において、カメラ運動または物体形状のどちらかに優
勢な分解が存在するため、この優勢を検出し、カメラ運
動と物体形状を同時に、かつ高精度に復元するために、
カメラ運動または物体形状のどちらか優勢な方を拘束し
て、さらに、反復的透視投影型因子分解法を繰り返す
（以下では、拘束分解と称している）ことで、分解に偏
りの少ない因子分解をすることを特徴とする。
【００１０】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００１１】図１を参照すると、本発明の一実施形態の
カメラ運動・物体形状復元装置は特徴点配置部１と時系
列画像追跡部２と計測行列記録部３と計測行列ロード部
４と情報基準量処理部５と因子分解法処理部６と正規解
／反転解判定部７と解収束判定部８と計測行列生成部９
で構成されている。
カメラ運動・物体形状復元装置は特徴点配置部１と時系
列画像追跡部２と計測行列記録部３と計測行列ロード部
４と情報基準量処理部５と因子分解法処理部６と正規解
／反転解判定部７と解収束判定部８と計測行列生成部９
で構成されている。
【００１２】まず、特徴点配置部１により、空撮画像が
時間管理で格納されている時系列画像データベース１０
から、画像を１枚取り出し、これを初期画像として、そ
の画像上に特徴点を配置する。この場合、エッジ検出、
ハフ変換、ならびに、濃淡の２次元勾配などの画像処理
により自動的に特徴点を配置するか、または、オペレー
タが視覚的に目立つ画像中の点にポイント入力するなど
して、特徴点を配置する。このとき配置する特徴点の数
をＰ個（ｊ＝１，２，・・・，Ｐ）とし、配置したとき
の特徴点の２次元座標値（ｘ1j，ｙ1j）：ｊ＝１，２，
・・・，Ｐを記録しておく。
時間管理で格納されている時系列画像データベース１０
から、画像を１枚取り出し、これを初期画像として、そ
の画像上に特徴点を配置する。この場合、エッジ検出、
ハフ変換、ならびに、濃淡の２次元勾配などの画像処理
により自動的に特徴点を配置するか、または、オペレー
タが視覚的に目立つ画像中の点にポイント入力するなど
して、特徴点を配置する。このとき配置する特徴点の数
をＰ個（ｊ＝１，２，・・・，Ｐ）とし、配置したとき
の特徴点の２次元座標値（ｘ1j，ｙ1j）：ｊ＝１，２，
・・・，Ｐを記録しておく。
【００１３】次に、時系列画像追跡部２にて、初期画像
に続く時系列画像をデータベース１０から１枚ずつ読み
込み、初期画像に配置した特徴点を、時系列画像間の濃
淡の変化などに着目した手法などを利用することで画像
追跡し、計測行列記録部３にて、各時系列画像（初期画
像から第ｉ番目の画像）の特徴点の画像座標値（ｘij，
ｙij）を記録する。時系列画像を読み出し続けた場合、
初期画像に配置した特徴点の中で、画像中から消失した
り、オクルージョンなどにより隠れてしまったときは、
画像追跡を停止し、特徴点追跡を終了する。特徴点追跡
が終了した時点で、読み出した時系列画像の数ｉ＝１，
２，・・・，Ｆは、初期画像を含めてＦ枚とする。
に続く時系列画像をデータベース１０から１枚ずつ読み
込み、初期画像に配置した特徴点を、時系列画像間の濃
淡の変化などに着目した手法などを利用することで画像
追跡し、計測行列記録部３にて、各時系列画像（初期画
像から第ｉ番目の画像）の特徴点の画像座標値（ｘij，
ｙij）を記録する。時系列画像を読み出し続けた場合、
初期画像に配置した特徴点の中で、画像中から消失した
り、オクルージョンなどにより隠れてしまったときは、
画像追跡を停止し、特徴点追跡を終了する。特徴点追跡
が終了した時点で、読み出した時系列画像の数ｉ＝１，
２，・・・，Ｆは、初期画像を含めてＦ枚とする。
【００１４】計測行列記録部３では、各時系列画像にお
ける特徴点の時間的な画像座標的配置の変化量が記録さ
れている。特徴点の時間的な画像座標的配置の変化を行
列としてデータ化したものを計測行列［Ａ］と称し、式
（１）のデータ形式とする。
ける特徴点の時間的な画像座標的配置の変化量が記録さ
れている。特徴点の時間的な画像座標的配置の変化を行
列としてデータ化したものを計測行列［Ａ］と称し、式
（１）のデータ形式とする。
【００１５】
【数１】
まず、計測行列ロード部４において、反復回数が１回目
か２回目以上なのかを判定し、反復回数１回目のとき
は、計測行列記録部３から出力される計測行列を読み出
し、それ以上の反復ループであるときは、正規解と反転
解から生成した計測行列を読み出す。以下は、１回目の
反復ループでの処理、反復回数が２回目以降の正規解、
反転解としたとき、同様の処理を行う。
か２回目以上なのかを判定し、反復回数１回目のとき
は、計測行列記録部３から出力される計測行列を読み出
し、それ以上の反復ループであるときは、正規解と反転
解から生成した計測行列を読み出す。以下は、１回目の
反復ループでの処理、反復回数が２回目以降の正規解、
反転解としたとき、同様の処理を行う。
【００１６】次に、情報基準量処理部５では、図２に示
すような処理フローで、情報基準量が計算される。ま
ず、計測行列データ入力部１１により計測行列［Ａ］デ
ータを入力し、共分散行列計算部１２にて、この計測行
列［Ａ］の行列要素から、２×２サイズのサブ行列Ｃjk
を要素とする以下で定義する共分散行列［Ｃ］を求め
る。共分散行列の計算には、文献「金谷健一、゛因子分
解しない因子分解法：平行投影から透視変換へ"、電子
情報通信学会パターン認識とメディア理解研究会、ＰＲ
ＭＵ９８−２６、１９９８」があり、この共分散行列に
似た共分散行列を使用している。
すような処理フローで、情報基準量が計算される。ま
ず、計測行列データ入力部１１により計測行列［Ａ］デ
ータを入力し、共分散行列計算部１２にて、この計測行
列［Ａ］の行列要素から、２×２サイズのサブ行列Ｃjk
を要素とする以下で定義する共分散行列［Ｃ］を求め
る。共分散行列の計算には、文献「金谷健一、゛因子分
解しない因子分解法：平行投影から透視変換へ"、電子
情報通信学会パターン認識とメディア理解研究会、ＰＲ
ＭＵ９８−２６、１９９８」があり、この共分散行列に
似た共分散行列を使用している。
【００１７】
【数２】
さらに、固有値分解計算部１３では、式（２）の共分散
行列を、式（３）に示すように固有値分解し、固有値行
列「Ｖc］を得る。ただし、式（３）での［Ｌc］は、そ
れぞれの固有値に対応する固有値ベクトルから構成され
る行列である。
行列を、式（３）に示すように固有値分解し、固有値行
列「Ｖc］を得る。ただし、式（３）での［Ｌc］は、そ
れぞれの固有値に対応する固有値ベクトルから構成され
る行列である。
【００１８】
【数３】
次に、無効固有値検出部１４では、固有値計算部１３で
求めた固有値の中から、無効な固有値を検出する。ここ
での無効な固有値とは、値０にほぼ等しいと判断される
固有値であり、検出方法は、固有値行列の対角要素を降
順に並べたときに、固有値の値が１０-10以下の値であ
るとき、無効な固有値と見なして、固有値から除外す
る。このようなフィルタリングを通過した固有値（全部
でｐ個とする）のみを取り出す。
求めた固有値の中から、無効な固有値を検出する。ここ
での無効な固有値とは、値０にほぼ等しいと判断される
固有値であり、検出方法は、固有値行列の対角要素を降
順に並べたときに、固有値の値が１０-10以下の値であ
るとき、無効な固有値と見なして、固有値から除外す
る。このようなフィルタリングを通過した固有値（全部
でｐ個とする）のみを取り出す。
【００１９】次に、情報基準量計算部１５にて、式
（４）に示す情報基準量ＭＤＬ（ｋ）を計算する。ＭＤ
Ｌ（Ｋ）の計算は、文献「M.Wax and T.Kailath" Detec
tion ofSignals by Information Theoretic Criteria",
IEEE Transaction Acoustics,Acoustics,Speech, and S
ignal Processing,Vol.ASSP-33,No.2,1985.」で定義さ
れている式を利用する（後述のAIC（k）も同様）。
（４）に示す情報基準量ＭＤＬ（ｋ）を計算する。ＭＤ
Ｌ（Ｋ）の計算は、文献「M.Wax and T.Kailath" Detec
tion ofSignals by Information Theoretic Criteria",
IEEE Transaction Acoustics,Acoustics,Speech, and S
ignal Processing,Vol.ASSP-33,No.2,1985.」で定義さ
れている式を利用する（後述のAIC（k）も同様）。
【００２０】
【数４】
最後に、情報基準量出力部１６では、式（４）のＭＤＬ
（ｋ）を最小にするときのパラメータｋ＝ｎを検索し、
これを情報基準量として出力する。なお、式（５）のＡ
ＩＣ（ｋ）を計算して、この値を最小にするときのパラ
メータｋ＝ｎも、情報基準量として利用することもでき
る。
（ｋ）を最小にするときのパラメータｋ＝ｎを検索し、
これを情報基準量として出力する。なお、式（５）のＡ
ＩＣ（ｋ）を計算して、この値を最小にするときのパラ
メータｋ＝ｎも、情報基準量として利用することもでき
る。
【００２１】
【数５】
図１の情報基準量処理部５にて情報基準量ｎが計算でき
ると、次の因子分解法処理部６にてカメラ運動と物体形
状を復元する。
ると、次の因子分解法処理部６にてカメラ運動と物体形
状を復元する。
【００２２】図３に、因子分解法処理部６での処理フロ
ーを示す。まず、図１で記録した計測行列［Ａ］を、計
測行列データ入力部２１において読み込む。次に、特異
値分解処理部２２において、この行列データ［Ａ］を式
（６）に示す特異値分解で行列分解する。
ーを示す。まず、図１で記録した計測行列［Ａ］を、計
測行列データ入力部２１において読み込む。次に、特異
値分解処理部２２において、この行列データ［Ａ］を式
（６）に示す特異値分解で行列分解する。
【００２３】
【数６】
さらに、行列分解部２３で行列分解した後、図１での情
報基準量ｎにより、さらに行列を式（７）のように分離
する。雑音除去部２４で式（７）の第二項を雑音成分と
見なして、雑音除去する。
報基準量ｎにより、さらに行列を式（７）のように分離
する。雑音除去部２４で式（７）の第二項を雑音成分と
見なして、雑音除去する。
【００２４】次に、カメラ運動拘束条件設定部２５で、
雑音除去された、式（８）に示す行列において、ｎ×ｎ
サイズの行列［Ｑ］を想定し、この行列［Ｑ］を求める
ためのカメラ運動拘束条件を設定する。カメラ運動拘束
条件は、［Ｕ］［Ｑ］＝［Ｍ］としたとき、［Ｍ］の第
ｉ行の行ベクトル
雑音除去された、式（８）に示す行列において、ｎ×ｎ
サイズの行列［Ｑ］を想定し、この行列［Ｑ］を求める
ためのカメラ運動拘束条件を設定する。カメラ運動拘束
条件は、［Ｕ］［Ｑ］＝［Ｍ］としたとき、［Ｍ］の第
ｉ行の行ベクトル
【００２５】
【外１】
と、第ｊ番目の行ベクトル
【００２６】
【外２】
に関するノルムと内積を拘束する式であり、式（９）の
ような連立方程式を設定する。なお、ここで求めるの
は、［Ｑ]2 であるため、行列［Ｑ］算出部２６で、式
（１０）のように、固有値分解して、平方した行列
「Ｑ］＝「ＬQ］［ＶQ］ 1/2 を得る。
ような連立方程式を設定する。なお、ここで求めるの
は、［Ｑ]2 であるため、行列［Ｑ］算出部２６で、式
（１０）のように、固有値分解して、平方した行列
「Ｑ］＝「ＬQ］［ＶQ］ 1/2 を得る。
【００２７】３次元化分離部２７では、求めたｎ×ｎサ
イズの行列［Ｑ］から、式（１１）に示すように、行方
向の４次元以上の要素を削除し、ｎ×３サイズの行列
［Ｑ］を得る。
イズの行列［Ｑ］から、式（１１）に示すように、行方
向の４次元以上の要素を削除し、ｎ×３サイズの行列
［Ｑ］を得る。
【００２８】
【数７】
【数８】
さらに、式（８）に示すように、カメラ運動出力部２８
Ａ，２８Ｂにより、雑音除去された後の行列［Ｕ］によ
りカメラ運動［Ｍ］と、物体形状出力部２９Ａ，２９Ｂ
により、雑音除去した後の行列［Ｗ］［Ｖ］により、物
体形状［Ｓ］を算出する。
Ａ，２８Ｂにより、雑音除去された後の行列［Ｕ］によ
りカメラ運動［Ｍ］と、物体形状出力部２９Ａ，２９Ｂ
により、雑音除去した後の行列［Ｗ］［Ｖ］により、物
体形状［Ｓ］を算出する。
【００２９】このとき、正と負の解が存在する。すなわ
ち、正規解とする［Ｍ］と［Ｓ］のペアと、反転解とす
る−［Ｍ］と−［Ｓ］のペアである。図３では、正規解
と反転解を求め、図１での正規解記憶部３０Ａおよび反
転解記憶部３０Ｂへ転送し、それぞれ独立に格納する。
ち、正規解とする［Ｍ］と［Ｓ］のペアと、反転解とす
る−［Ｍ］と−［Ｓ］のペアである。図３では、正規解
と反転解を求め、図１での正規解記憶部３０Ａおよび反
転解記憶部３０Ｂへ転送し、それぞれ独立に格納する。
【００３０】次に、図１にある正規解／反転解判定部７
で正規解と反転解の判定を行う。正規解と反転解に対し
て、図４にある処理フローにより判定処理が行われる。
まず、カメラ運動データ入力部３１Ａ、物体形状データ
入力部３１Ｂよりカメラ運動データと物体形状データを
入力し、正規解、反転解、それぞれに対して、逆投影計
算部３２で式（１２）の逆投影計算を行う。ここで、正
規解の場合、カメラ運動行列を［Ｍ］、各フレームに対
応するカメラ運動ベクトルを
で正規解と反転解の判定を行う。正規解と反転解に対し
て、図４にある処理フローにより判定処理が行われる。
まず、カメラ運動データ入力部３１Ａ、物体形状データ
入力部３１Ｂよりカメラ運動データと物体形状データを
入力し、正規解、反転解、それぞれに対して、逆投影計
算部３２で式（１２）の逆投影計算を行う。ここで、正
規解の場合、カメラ運動行列を［Ｍ］、各フレームに対
応するカメラ運動ベクトルを
【００３１】
【外３】
とし、物体形状行列を［Ｓ］、第ｊ番目の３次元座標値
ベクトルを
ベクトルを
【００３２】
【外４】
とする。
【００３３】
【数９】
なお、εijを奥行き情報とし、ここでのｋiおよびＴzi
は、式（１３）から算出する。
は、式（１３）から算出する。
【００３４】
【数１０】
逆投影計算は、復元されたカメラ運動行列と物体形状行
列により、画像面での画像座標値を計算することであ
る。次に、式（１２）による逆投影で求めた投影結果
（ｕij，ｖij）と（ｘij，ｙij）を成分とする計測行列
［Ａ］との誤差行列［δＡ］を投影誤差計算部３３で計
算し、この誤差行列［δＡ］
列により、画像面での画像座標値を計算することであ
る。次に、式（１２）による逆投影で求めた投影結果
（ｕij，ｖij）と（ｘij，ｙij）を成分とする計測行列
［Ａ］との誤差行列［δＡ］を投影誤差計算部３３で計
算し、この誤差行列［δＡ］
【００３５】
【数１１】
から、［δＡ］T［δＡ］を求め、この対角要素を加算
した量を計測行列との誤差とする。誤差比較部３４で、
正規解の場合の誤差と、反転解の場合の誤差のうち、ど
ちらが小さいかを判定し、誤差を小さくする方のカメラ
運動行列と物体形状行列のペアをカメラ運動・物体形状
データ記憶部３５に記憶する。
した量を計測行列との誤差とする。誤差比較部３４で、
正規解の場合の誤差と、反転解の場合の誤差のうち、ど
ちらが小さいかを判定し、誤差を小さくする方のカメラ
運動行列と物体形状行列のペアをカメラ運動・物体形状
データ記憶部３５に記憶する。
【００３６】これまで説明してきたように、反復ループ
において、正規解ファミリー（反復回数１回目で正規解
として残し、それ以降の反復で、これを親として正規解
と反転解を得て、計測行列との誤差を最小にする方の解
を残し、次の反復を行う系列）と反転解ファミリー（反
復回数１回目で反転解として残し、それ以降の反復で、
これを親として正規解と反転解を得て、計測行列との誤
差を最小にする方の解を残し、次の反復を行う系列）で
のカメラ運動と物体形状を独立に復元し反復を継続し、
各反復で復元したとき、正規解ファミリーにおいて正規
解と反転解のうちで計測行列との誤差を小さくする方の
解を残し、一方、反転解ファミリーにおいて正規解と反
転解のうちで計測行列との誤差を小さくする方の解を残
し、次の反復ループを繰り返す。
において、正規解ファミリー（反復回数１回目で正規解
として残し、それ以降の反復で、これを親として正規解
と反転解を得て、計測行列との誤差を最小にする方の解
を残し、次の反復を行う系列）と反転解ファミリー（反
復回数１回目で反転解として残し、それ以降の反復で、
これを親として正規解と反転解を得て、計測行列との誤
差を最小にする方の解を残し、次の反復を行う系列）で
のカメラ運動と物体形状を独立に復元し反復を継続し、
各反復で復元したとき、正規解ファミリーにおいて正規
解と反転解のうちで計測行列との誤差を小さくする方の
解を残し、一方、反転解ファミリーにおいて正規解と反
転解のうちで計測行列との誤差を小さくする方の解を残
し、次の反復ループを繰り返す。
【００３７】次に、図１の解収束判定部８では、記憶し
た解が収束しているかの判定を行う。この収束の判定に
は、現時点での反復における計測行列との誤差と、その
前後する反復時の計測行列との誤差において、二次式で
近似したときの二次係数の値を監視し、この係数が値０
に近いとき（または許容誤差範囲内のとき）を、収束し
たと判定する。収束したと判定した場合、正規解ファミ
リーでの現在の反復ループでの解と反復解ファミリーで
の現在の反復ループでの解のうちで、計測行列との誤差
を最小とする方の解を最終解として出力する。
た解が収束しているかの判定を行う。この収束の判定に
は、現時点での反復における計測行列との誤差と、その
前後する反復時の計測行列との誤差において、二次式で
近似したときの二次係数の値を監視し、この係数が値０
に近いとき（または許容誤差範囲内のとき）を、収束し
たと判定する。収束したと判定した場合、正規解ファミ
リーでの現在の反復ループでの解と反復解ファミリーで
の現在の反復ループでの解のうちで、計測行列との誤差
を最小とする方の解を最終解として出力する。
【００３８】一方、収束していないと判定した場合、正
規ファミリーの場合の式（１５）の計測行列と、反転フ
ァミリーの場合の式（１５）の計測行列を計測行列生成
部９で生成し、次の反復ループでの処理を行う。
規ファミリーの場合の式（１５）の計測行列と、反転フ
ァミリーの場合の式（１５）の計測行列を計測行列生成
部９で生成し、次の反復ループでの処理を行う。
【００３９】
【数１２】
【００４０】
【数１３】
このとき、各反復での正規ファミリー、反転ファミリー
での解の誤差が収束していると判定したとき、反復ルー
プを終了し、正規ファミリーでの解と反転ファミリー解
のうちで、計測行列との誤差を小さくする方の解を最終
解とし、カメラ運動行列と物体形状行列を出力して、処
理を終える。
での解の誤差が収束していると判定したとき、反復ルー
プを終了し、正規ファミリーでの解と反転ファミリー解
のうちで、計測行列との誤差を小さくする方の解を最終
解とし、カメラ運動行列と物体形状行列を出力して、処
理を終える。
【００４１】以上により、カメラ運動により表現される
撮影時のカメラ姿勢と物体形状を表現する３次元座標値
を獲得することが可能となる。
撮影時のカメラ姿勢と物体形状を表現する３次元座標値
を獲得することが可能となる。
【００４２】図５は図１の処理フローで得られた最終解
であるカメラ運動行列と物体形状行列に対して、引き続
いて処理を行う拘束分解の処理フローを示す図である。
であるカメラ運動行列と物体形状行列に対して、引き続
いて処理を行う拘束分解の処理フローを示す図である。
【００４３】まず、最終解としてのカメラ運動行列と物
体形状行列データを入力する（ステップ４１Ａ，４１
Ｂ）。次に、カメラ運動行列と物体形状行列から、式
（１５）に従って、次の反復時で使用する計測行列
［Ａ］を生成する（ステップ４２）。この計測行列
［Ａ］から、１回だけの反復により、図１での処理フロ
ーに従ってカメラ運動と物体形状を復元する（ステップ
４３Ａ，４３Ｂ）。
体形状行列データを入力する（ステップ４１Ａ，４１
Ｂ）。次に、カメラ運動行列と物体形状行列から、式
（１５）に従って、次の反復時で使用する計測行列
［Ａ］を生成する（ステップ４２）。この計測行列
［Ａ］から、１回だけの反復により、図１での処理フロ
ーに従ってカメラ運動と物体形状を復元する（ステップ
４３Ａ，４３Ｂ）。
【００４４】このとき、最終解でのカメラ運動行列と今
回の反復で復元したカメラ運動行列との間の誤差、およ
び最終解での物体形状行列と今回の反復で復元した物体
形状行列との間の誤差を求め（ステップ４４Ａ，４４
Ｂ）、どちらの誤差が小さいかを判定する（ステップ４
５）。ここで、カメラ運動間での誤差が物体形状間での
誤差よりも小さい場合運動優勢と判定し、物体形状間で
の誤差がカメラ運動間での誤差よりも小さい場合形状優
勢と判定する。
回の反復で復元したカメラ運動行列との間の誤差、およ
び最終解での物体形状行列と今回の反復で復元した物体
形状行列との間の誤差を求め（ステップ４４Ａ，４４
Ｂ）、どちらの誤差が小さいかを判定する（ステップ４
５）。ここで、カメラ運動間での誤差が物体形状間での
誤差よりも小さい場合運動優勢と判定し、物体形状間で
の誤差がカメラ運動間での誤差よりも小さい場合形状優
勢と判定する。
【００４５】次に、運動優勢と判定された場合、図１の
処理フローで復元した最終解のうち、カメラ運動行列
処理フローで復元した最終解のうち、カメラ運動行列
【００４６】
【外５】
を拘束（次に反復を継続するとき、固定するという意
味）し、さらに反復ループを繰り返し、物体形状行列を
復元する（ステップ４６Ａ）。このときの処理フローを
図６に示す。まず、式（１）の計測行列［Ａ］を読み込
み（ステップ５１）、式（６）に従って特異値分解する
（ステップ５２）。このとき、分解した各々の行列に対
して、特異値行列［Ｗ］のランク３を境界にして式（１
６）のように分離し、式（１７）のように、第二項を雑
音成分と見なして除去する（ステップ５３）。
味）し、さらに反復ループを繰り返し、物体形状行列を
復元する（ステップ４６Ａ）。このときの処理フローを
図６に示す。まず、式（１）の計測行列［Ａ］を読み込
み（ステップ５１）、式（６）に従って特異値分解する
（ステップ５２）。このとき、分解した各々の行列に対
して、特異値行列［Ｗ］のランク３を境界にして式（１
６）のように分離し、式（１７）のように、第二項を雑
音成分と見なして除去する（ステップ５３）。
【００４７】また、式（１７）のように分解した後、拘
束しておいたカメラ運動行列をメモリからロードし（ス
テップ５４）、行列［Ｑ］を決定して（ステップ５
５）、その反復ループにおける物体形状行列［Ｓ］を決
定する（ステップ５６）。このとき、カメラ運動行列を
拘束するので、どの反復においても、
束しておいたカメラ運動行列をメモリからロードし（ス
テップ５４）、行列［Ｑ］を決定して（ステップ５
５）、その反復ループにおける物体形状行列［Ｓ］を決
定する（ステップ５６）。このとき、カメラ運動行列を
拘束するので、どの反復においても、
【００４８】
【外６】
とする。したがって、求める行列［Ｑ］は、式（１８）
に従って得る。
に従って得る。
【００４９】
【数１４】
この［Ｑ］を使って、式（１９）に従って物体形状行列
［Ｓ］を得る。
［Ｓ］を得る。
【００５０】
【数１５】
さらに、物体形状行列［Ｓ］が得られた後、式（１２）
の逆投影計算を行い（ステップ５７）、元の計測行列と
の誤差を式（１４）に従って計算する（ステップ５
８）。このとき、１つ前の反復ループでの誤差との差が
許容誤差ε以下かどうか判定し（ステップ５９）、以下
の場合、収束したとして反復計算を終了し、その反復ル
ープにおけるカメラ運動行列と物体形状行列を、最終解
として出力する。許容誤差を越えれば計測行列を生成す
る（ステップ６０）。
の逆投影計算を行い（ステップ５７）、元の計測行列と
の誤差を式（１４）に従って計算する（ステップ５
８）。このとき、１つ前の反復ループでの誤差との差が
許容誤差ε以下かどうか判定し（ステップ５９）、以下
の場合、収束したとして反復計算を終了し、その反復ル
ープにおけるカメラ運動行列と物体形状行列を、最終解
として出力する。許容誤差を越えれば計測行列を生成す
る（ステップ６０）。
【００５１】一方、形状優勢と判定された場合、図１の
処理フローで復元した最終解のうち、物体形状行列
処理フローで復元した最終解のうち、物体形状行列
【００５２】
【外７】
を拘束（次に反復を継続するとき、固定するという意
味）し、さらに反復ループを繰り返し、カメラ運動行列
を復元する（ステップ４６Ｂ）。このときの処理フロー
を図７に示す。まず、式（１）の計測行列［Ａ］を読み
込み（ステップ６１）、式（６）に従って特異値分解す
る（ステップ６２）。このとき、分解した各々の行列に
対して、特異値行列［Ｗ］のランク３を境界にして式
（１６）のように分離し、式（１７）のように、第二項
を雑音成分と見なして除去する（ステップ６３）。
味）し、さらに反復ループを繰り返し、カメラ運動行列
を復元する（ステップ４６Ｂ）。このときの処理フロー
を図７に示す。まず、式（１）の計測行列［Ａ］を読み
込み（ステップ６１）、式（６）に従って特異値分解す
る（ステップ６２）。このとき、分解した各々の行列に
対して、特異値行列［Ｗ］のランク３を境界にして式
（１６）のように分離し、式（１７）のように、第二項
を雑音成分と見なして除去する（ステップ６３）。
【００５３】また、式（１７）のように分解した後、拘
束しておいた物体形状行列をメモリからロードし（ステ
ップ６４）、行列［Ｑ］を決定して（ステップ６５）、
その反復ループにおけるカメラ運動行列［Ｍ］と物体形
状行列［Ｓ］を決定する（ステップ６６）。このとき、
物体形状行列を拘束するので、どの反復においても、
束しておいた物体形状行列をメモリからロードし（ステ
ップ６４）、行列［Ｑ］を決定して（ステップ６５）、
その反復ループにおけるカメラ運動行列［Ｍ］と物体形
状行列［Ｓ］を決定する（ステップ６６）。このとき、
物体形状行列を拘束するので、どの反復においても、
【００５４】
【外８】
とする。したがって、求める行列［Ｑ］は、式（２０）
に従って得る。
に従って得る。
【００５５】
【数１６】
この［Ｑ］を使って、式（２１）に従って物体形状行列
［Ｍ］を得る。
［Ｍ］を得る。
【００５６】
【数１７】
さらに、カメラ運動行列［Ｍ］が得られた後、式（１
２）の逆投影計算を行い（ステップ６７）、元の計測行
列との誤差を式（１４）に従って計算する（ステップ６
８）。このとき、１つ前の反復ループでの誤差との差が
許容誤差ε以下かどうか判定し（ステップ６９）、以下
の場合、収束したとして反復計算を終了し、その反復ル
ープにおけるカメラ運動行列と物体形状行列を、最終解
として出力する。許容誤差εより大きければ計測行列を
生成する（ステップ７０）。
２）の逆投影計算を行い（ステップ６７）、元の計測行
列との誤差を式（１４）に従って計算する（ステップ６
８）。このとき、１つ前の反復ループでの誤差との差が
許容誤差ε以下かどうか判定し（ステップ６９）、以下
の場合、収束したとして反復計算を終了し、その反復ル
ープにおけるカメラ運動行列と物体形状行列を、最終解
として出力する。許容誤差εより大きければ計測行列を
生成する（ステップ７０）。
【００５７】以上により、カメラ運動により表現される
撮影時のカメラ姿勢と物体形状を表現する３次元座標値
を獲得することが可能となる。
撮影時のカメラ姿勢と物体形状を表現する３次元座標値
を獲得することが可能となる。
【００５８】なお、本実施形態のカメラ運動・物体形状
復元装置の処理は専用のハードウェアにより実現される
もの以外に、その機能を実現するためのプログラムを、
コンピュータ読み取り可能な記録媒体に記録して、この
記録媒体に記録されたプログラムをコンピュータシステ
ムに読み込ませ、実行するものであってもよい。コンピ
ュータ読み取り可能な記録媒体とは、フロッピー（登録
商標）ディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記
録媒体、コンピュータシステムに内蔵されるハードディ
スク装置等の記憶装置を指す。さらに、コンピュータ読
み取り可能な記録媒体は、インターネットを介してプロ
グラムを送信する場合のように、短時間の間、動的にプ
ログラムを保持するもの（伝送媒体もしくは伝送波）、
その場合のサーバとなるコンピュータシステム内部の揮
発性メモリのように、一定時間プログラムを保持してい
るものも含む。
復元装置の処理は専用のハードウェアにより実現される
もの以外に、その機能を実現するためのプログラムを、
コンピュータ読み取り可能な記録媒体に記録して、この
記録媒体に記録されたプログラムをコンピュータシステ
ムに読み込ませ、実行するものであってもよい。コンピ
ュータ読み取り可能な記録媒体とは、フロッピー（登録
商標）ディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記
録媒体、コンピュータシステムに内蔵されるハードディ
スク装置等の記憶装置を指す。さらに、コンピュータ読
み取り可能な記録媒体は、インターネットを介してプロ
グラムを送信する場合のように、短時間の間、動的にプ
ログラムを保持するもの（伝送媒体もしくは伝送波）、
その場合のサーバとなるコンピュータシステム内部の揮
発性メモリのように、一定時間プログラムを保持してい
るものも含む。
【００５９】
【発明の効果】以上説明したように、本発明によれば、
空中撮影した時系列画像から、カメラの動き、すなわ
ち、カメラ運動と、対象物、すなわち、物体形状を高精
度に獲得、復元することが可能となる。また、これまで
の航空測量で用いられていた航空写真測量並の高精度な
３次元立体視が可能であり、現状のセンシング技術で
は、より詳細な機体の動き、すなわち、カメラ運動を復
元することが可能である。
空中撮影した時系列画像から、カメラの動き、すなわ
ち、カメラ運動と、対象物、すなわち、物体形状を高精
度に獲得、復元することが可能となる。また、これまで
の航空測量で用いられていた航空写真測量並の高精度な
３次元立体視が可能であり、現状のセンシング技術で
は、より詳細な機体の動き、すなわち、カメラ運動を復
元することが可能である。
【図１】本発明の一実施形態のカメラ運動・物体形状復
元装置のブロック図である。
元装置のブロック図である。
【図２】情報基準量処理部５のブロック図である。
【図３】因子分解法処理部６のブロック図である。
【図４】正規解／反転解判定部７のブロック図である。
【図５】拘束分解処理のフローチャートである。
【図６】カメラ運動を拘束にした場合の拘束分解処理の
フローチャートである。
フローチャートである。
【図７】物体形状を拘束にした場合の拘束分解処理のフ
ローチャートである。
ローチャートである。
１ 特徴点配置部
２ 時系列画像追跡部
３ 計測行列記録部
４ 計測行列ロード部
５ 情報基準量処理部
６ 因子分解法処理部
７ 正規解／反転解判定部
８ 解収束判定部
９ 計測行列生成部
１０ 時系列画像データベース
１１ 計測行列データ入力部
１２ 共分散行列計算部
１３ 固有値分解計算部
１４ 無効固有値検出部
１５ 情報基準量計算部
１６ 情報基準量出力部
２１ 計測行列データ入力部
２２ 特異値分解部
２３ 行列分解部
２４ 雑音除去部
２５ カメラ運動拘束条件設定部
２６ 行列［Ｑ］算出部
２７ ３次元化分離部
２８Ａ，２８Ｂ カメラ運動出力部
２９Ａ，２９Ｂ 物体形状出力部
３０Ａ 正規解記憶部
３０Ｂ 反転解記憶部
３１Ａ カメラ運動データ入力部
３１Ｂ 物体形状データ入力部
３２ 逆投影計算部
３３ 投影誤差計算部
３４ 誤差比較部
３５ カメラ運動・物体形状データ記憶部
４１Ａ，４１Ｂ，・・・，５１〜６０ ステップ
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 石川 裕治
東京都千代田区大手町二丁目３番１号 日
本電信電話株式会社内
(72)発明者 若林 佳織
東京都千代田区大手町二丁目３番１号 日
本電信電話株式会社内
(72)発明者 有川 知彦
東京都千代田区大手町二丁目３番１号 日
本電信電話株式会社内
Ｆターム(参考） 5B057 AA14 BA02 DA06 DB02 DB05
DB09 DC09 DC13 DC16 DC30
5C054 AA06 CA04 CE12 CH01 EA07
FD01 HA05
5L096 AA03 AA06 AA09 BA08 BA18
CA04 DA02 FA24 FA67 FA69
GA03
Claims (14)
- 【請求項１】 画像入力装置で取得した時系列画像中の
対象とする画像における特徴点に関する画像座標値の時
間的変化量から、対象とする時系列画像中の対象物の形
状および時系列に関するカメラの運動を復元する方法で
あって、 時系列画像中の特徴点の時間的変動量を集計したデータ
である計測行列中の雑音成分をフィルタリングした後の
正味の成分から、カメラ運動を復元するための条件式を
設定する第１のステップと、 前記条件式からカメラ運動を復元し、同時に物体形状を
復元し、該カメラ運動と物体形状を画像面へ逆投影し
て、生成された計測行列と元の計測行列との誤差を算出
し、その誤差の値が収束しているかどうか、または許容
誤差以内かどうか判定し、前記計測行列との誤差が収束
していない、または、許容誤差以上と判定された場合
に、復元されたカメラ運動と物体形状から、各時系列に
おけるカメラ視点から物体形状の重心までの奥行き情報
を計算し、該奥行き情報を前記計測行列の各要素に掛け
合わせた要素で計測行列を構成して行列要素を更新し、
その更新された計測行列から透視投影モデルでのカメラ
運動と物体形状を復元する反復を繰り返す第２のステッ
プと、 第２のステップにおいて、カメラ運動と物体形状から生
成された次の反復のための計測行列と、元の計測行列と
の誤差が収束している、または許容誤差以下と判定され
た場合、収束解として、その反復時点での復元されたカ
メラ運動と物体形状を出力し、計測行列からの分解にお
いて、カメラ運動または物体形状行列のどちらかに優勢
的に分解しているかを示す傾向を検出する第３のステッ
プと、 第３のステップにおいて、優勢と判定されたカメラ運動
または物体形状の一方を固定または拘束して、第１のス
テップ以降の処理を繰り返し、物体形状行列またはカメ
ラ運動行列を復元する第４のステップとを有するカメラ
運動・物体形状復元方法。 - 【請求項２】 第３のステップにおいて、カメラ運動に
優勢に分解されている傾向があると判定したとき、各反
復ステップにおいて、更新された計測行列から部分的に
分解した行列において、カメラ運動成分に相当する行列
を優勢と判定した時点でのカメラ運動を保持し、この保
持したカメラ運動と部分行列から物体形状を復元する、
請求項１に記載の方法。 - 【請求項３】 第３のステップにおいて、物体形状に優
勢に分解されている傾向があると判定したとき、各反復
ステップにおいて、更新された計測行列から部分的に分
解した行列において、物体形状成分に相当する行列を優
勢と判定した時点での物体形状行列を保持し、この保持
した物体形状と部分行列からカメラ運動を復元する、請
求項１に記載の方法。 - 【請求項４】 前記計測行列から共分散行列を構成し、
その共分散行列から情報基準量を計算し、計測行列を特
異値分解してから、この情報基準量により雑音を除去
し、残った部分行列から、情報基準量の次元数により、
カメラ運動を拘束する条件式を設定する、請求項１に記
載の方法。 - 【請求項５】 前記のカメラ運動と物体形状を復元する
場合、正規のカメラ運動と物体形状と反転または鏡映の
関係にあるカメラ運動と物体形状を復元しながら、反復
的に計測行列を更新し、透視投影モデルでのカメラ運動
と物体形状を復元し、計測行列の更新の各反復処理にお
いて、次の反復処理に残す、正規または反転のカメラ運
動と物体形状の組み合わせを、生成された計測行列と元
の計測行列との誤差により判断し、最終的に元の計測行
列に近い最も誤差の小さい組み合わせを残す、請求項１
に記載の方法。 - 【請求項６】 第３のステップにおいて、各反復時での
計測行列と元の計測行列との誤差の値を蓄積または記憶
し、その誤差の近傍の誤差曲線を多項式により近似し、
該近似式の高次係数から、その反復におけるカメラ運動
と物体形状への分解に関する安定性を検出し、収束す
る、または許容誤差以下と判定し、カメラ運動と物体形
状の収束解を求める、請求項１に記載の方法。 - 【請求項７】 画像入力装置で取得した時系列画像中の
対象とする画像における特徴点に関する画像座標値の時
間的変化量から、対象とする時系列画像中の対象物の形
状および時系列に関するカメラの運動を復元する装置で
あって、 時系列画像中の特徴点の時間的変動量を集計したデータ
である計測行列中の雑音成分をフィルタリングした後の
正味の成分から、カメラ運動を復元するための条件式を
設定する第１の手段と、 前記条件式からカメラ運動を復元し、同時に物体形状を
復元し、該カメラ運動と物体形状を画像面へ逆投影し
て、生成された計測行列と元の計測行列との誤差を算出
し、その誤差の値が収束しているかどうか、または許容
誤差以内かどうか判定し、前記計測行列との誤差が収束
していない、または許容誤差以上と判定された場合に、
復元されたカメラ運動と物体形状から、各時系列におけ
るカメラ視点から物体形状の重心までの奥行き情報を計
算し、該奥行き情報を前記計測行列の各要素に掛け合わ
せた要素で計測行列を構成して行列要素を更新し、その
更新された計測行列から透視投影モデルでのカメラ運動
と物体形状を復元する反復を繰り返す第２の手段と、 第２の手段において、カメラ運動と物体形状から生成さ
れた次の反復のための計測行列と、元の計測行列との誤
差が収束している、または許容誤差以下と判定された場
合、収束解として、その反復時点での復元されたカメラ
運動と物体形状を出力し、計測行列からの分解におい
て、カメラ運動または物体形状行列のどちらかに優勢的
に分解しているかを示す傾向を検出する第３の手段を有
し、 第３の手段において、優勢と判定されたカメラ運動また
は物体形状の一方を固定または拘束して、前第１のステ
ップ以降の処理を繰り返して、物体形状行列またはカメ
ラ運動行列を復元するカメラ運動・物体形状復元装置。 - 【請求項８】 第３の手段において、カメラ運動に優勢
に分解されている傾向があると判定したとき、各反復ス
テップにおいて、更新された計測行列から部分的に分解
した行列において、カメラ運動成分に相当する行列を優
勢と判定した時点でのカメラ運動を保持し、この保持し
たカメラ運動と部分行列から物体形状を復元する、請求
項７記載の装置。 - 【請求項９】 第３の手段において、物体形状に優勢に
分解されている傾向があると判定したとき、各反復ステ
ップにおいて、更新された計測行列から部分的に分解し
た行列において、物体形状成分に相当する行列を優勢と
判定した時点での物体形状行列を保持し、この保持した
物体形状行列と部分行列からカメラ運動を復元する、請
求項７に記載の装置。 - 【請求項１０】 前記計測行列から共分散行列を構成
し、その共分散行列から情報基準量を計算し、計測行列
を特異値分解してから、この情報基準量により雑音を除
去し、残った部分行列から、情報基準量の次元数によ
り、カメラ運動を拘束する条件式を設定する、請求項７
記載の装置。 - 【請求項１１】 前記のカメラ運動と物体形状を復元す
る場合、正規のカメラ運動と物体形状と反転または鏡映
の関係にあるカメラ運動と物体形状を復元しながら、反
復的に計測行列を更新し、透視投影モデルでのカメラ運
動と物体形状を復元し、計測行列の更新の各反復処理に
おいて、次の反復処理に残す、正規または反転のカメラ
運動と物体形状の組み合わせを、生成された計測行列と
元の計測行列との誤差により判断し、最終的に元の計測
行列に近い最も誤差の小さい組み合わせを残す、請求項
７に記載の装置。 - 【請求項１２】 第３の手段において、各反復時での計
測行列と元の計測行列との誤差の値を蓄積または記憶
し、その誤差の近傍の誤差曲線を多項式により近似し、
該近似式の高次係数から、その反復におけるカメラ運動
と物体形状への分解に関する安定性を検出し、収束す
る、または許容誤差以下と判定し、カメラ運動と物体形
状の収束解を求める、請求項７に記載の装置。 - 【請求項１３】 請求項１から６のいずれか１項に記載
の方法をコンピュータに実行させるためのカメラ運動・
物体形状復元プログラム。 - 【請求項１４】 請求項１から６のいずれか１項に記載
の方法をコンピュータに実行させるためのカメラ運動・
物体形状復元プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002039217A JP3902743B2 (ja) | 2002-02-15 | 2002-02-15 | カメラ運動・物体形状復元方法、装置、プログラム、同プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002039217A JP3902743B2 (ja) | 2002-02-15 | 2002-02-15 | カメラ運動・物体形状復元方法、装置、プログラム、同プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003242484A true JP2003242484A (ja) | 2003-08-29 |
| JP3902743B2 JP3902743B2 (ja) | 2007-04-11 |
Family
ID=27780319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002039217A Expired - Fee Related JP3902743B2 (ja) | 2002-02-15 | 2002-02-15 | カメラ運動・物体形状復元方法、装置、プログラム、同プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3902743B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009301353A (ja) * | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | 三次元形状推定装置及びコンピュータプログラム |
| US8107735B2 (en) | 2007-04-10 | 2012-01-31 | Denso Corporation | Three dimensional shape reconstitution device and estimation device |
| US12320862B2 (en) | 2020-07-15 | 2025-06-03 | Lg Energy Solution, Ltd. | Battery management system, battery pack, energy storage system and battery management method |
-
2002
- 2002-02-15 JP JP2002039217A patent/JP3902743B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8107735B2 (en) | 2007-04-10 | 2012-01-31 | Denso Corporation | Three dimensional shape reconstitution device and estimation device |
| JP2009301353A (ja) * | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | 三次元形状推定装置及びコンピュータプログラム |
| US12320862B2 (en) | 2020-07-15 | 2025-06-03 | Lg Energy Solution, Ltd. | Battery management system, battery pack, energy storage system and battery management method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3902743B2 (ja) | 2007-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111780764B (zh) | 一种基于视觉地图的视觉定位方法、装置 | |
| CN113238189B (zh) | 基于阵列测量和稀疏先验信息的声源辨识方法、系统 | |
| CN113936090B (zh) | 三维人体重建的方法、装置、电子设备及存储介质 | |
| US20090052796A1 (en) | Match, Expand, and Filter Technique for Multi-View Stereopsis | |
| CN115937520B (zh) | 基于语义信息引导的点云运动目标分割方法 | |
| CN114663983A (zh) | 网状拓扑结构获取方法、装置、电子设备及存储介质 | |
| CN116258877A (zh) | 土地利用场景相似度变化检测方法、装置、介质及设备 | |
| CN111680573A (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
| Davoodnia et al. | Upose3D: uncertainty-aware 3D human pose estimation with cross-view and temporal cues | |
| Moreno et al. | ERODE: An efficient and robust outlier detector and its application to stereovisual odometry | |
| CN107481281B (zh) | 相对位姿计算方法和装置及航天飞行器交会对接系统 | |
| JP5281479B2 (ja) | カメラ運動・物体形状復元方法、カメラ運動・物体形状復元装置、カメラ運動・物体形状復元プログラム及びこのプログラムを記録した記録媒体 | |
| CN116228992A (zh) | 基于视觉定位系统模型的不同类型图像的视觉定位方法 | |
| JP2003242484A (ja) | カメラ運動・物体形状復元方法、装置、プログラム、同プログラムを記録した記録媒体 | |
| JP7489247B2 (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
| US20260045031A1 (en) | 3d reconstruction of a target | |
| CN116883447B (zh) | 基于空时张量分解的红外图像目标与背景分离方法及系统 | |
| JP2022190289A (ja) | 画像認識支援装置、画像認識支援方法、及び画像認識支援プログラム | |
| JP3871582B2 (ja) | 物体形状復元・移動物体検出方法、物体形状復元・移動物体検出装置、物体形状復元・移動物体検出プログラム、およびこのプログラムを記録した記録媒体 | |
| JP2009129049A (ja) | 物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体 | |
| CN118115393A (zh) | 用混合普通韦尔施函数进行矩阵恢复的方法和电子装置 | |
| Sainz et al. | Recovering 3D metric structure and motion from multiple uncalibrated cameras | |
| JP3606308B2 (ja) | ３次元構造獲得方法及び記録媒体並びに装置 | |
| JP2004252714A (ja) | 空間情報獲得方法、装置、空間情報獲得プログラム、および該プログラムを記録した記録媒体 | |
| JP3759712B2 (ja) | カメラパラメータ推定方法、装置、プログラム、および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040120 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040120 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040120 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050614 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070104 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |