JPH06129833A - ３次元復元方式 - Google Patents
３次元復元方式Info
- Publication number
- JPH06129833A JPH06129833A JP4275729A JP27572992A JPH06129833A JP H06129833 A JPH06129833 A JP H06129833A JP 4275729 A JP4275729 A JP 4275729A JP 27572992 A JP27572992 A JP 27572992A JP H06129833 A JPH06129833 A JP H06129833A
- Authority
- JP
- Japan
- Prior art keywords
- time
- image
- affine transformation
- feature point
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 １個のカメラから入力される複数枚の画像か
ら物体の３次元構造を復元するとき、初めに位置関係を
表すパラメータを求め、複雑な抱束関係を持つ運動パラ
メータを後に求めることにより、方程式をとき易くする
ことを目的とする。 【構成】 第一時刻の画像の特徴点検出部１と、第二時
刻の画像の特徴点検出部２と、第三時刻の画像の特徴点
検出部３を有し、画像より３次元構造を復元する３次元
復元方式において、位置関係の算出手段４と、運動パラ
メータ算出手段５を具備し、先ず位置関係の算出手段４
において平面のパラメータを算出し、次に運動パラメー
タ算出手段５により運動パラメータを算出するように構
成する。
ら物体の３次元構造を復元するとき、初めに位置関係を
表すパラメータを求め、複雑な抱束関係を持つ運動パラ
メータを後に求めることにより、方程式をとき易くする
ことを目的とする。 【構成】 第一時刻の画像の特徴点検出部１と、第二時
刻の画像の特徴点検出部２と、第三時刻の画像の特徴点
検出部３を有し、画像より３次元構造を復元する３次元
復元方式において、位置関係の算出手段４と、運動パラ
メータ算出手段５を具備し、先ず位置関係の算出手段４
において平面のパラメータを算出し、次に運動パラメー
タ算出手段５により運動パラメータを算出するように構
成する。
Description
【０００１】
【産業上の利用分野】本発明は２次元画像情報から３次
元構造を復元する３次元復元方式に係り、特に１個のカ
メラから入力される複数枚の画像からその３次元構造を
復元するものである。
元構造を復元する３次元復元方式に係り、特に１個のカ
メラから入力される複数枚の画像からその３次元構造を
復元するものである。
【０００２】
【従来の技術】画像処理によって外界の３次元構造を復
元する方式はロボットや無人自動車用の視覚システムを
実現させるために必須の技術である。従来２次元情報か
ら３次元構造を復元する方法として、三角測量の原理を
用いた両眼立体視に基づく方法が提案されている。しか
しこの場合には２台のカメラの位置や方向を精巧に設定
しておくことが必要であり、利用しずらい面があった。
元する方式はロボットや無人自動車用の視覚システムを
実現させるために必須の技術である。従来２次元情報か
ら３次元構造を復元する方法として、三角測量の原理を
用いた両眼立体視に基づく方法が提案されている。しか
しこの場合には２台のカメラの位置や方向を精巧に設定
しておくことが必要であり、利用しずらい面があった。
【０００３】また唯１台のカメラを用いる方法として
は、Ullmanが異なる３つの時刻にそれぞれ入力された画
像中に含まれる剛体上の４つの特徴点の対応から剛物体
の運動と、４つの特徴点の３次元的な位置関係を求める
方法を提案した。しかしこの方法は、解を求めるために
非線形の方程式を解かなければならず、必ずしも正しい
解が得られるという保証がなかった。
は、Ullmanが異なる３つの時刻にそれぞれ入力された画
像中に含まれる剛体上の４つの特徴点の対応から剛物体
の運動と、４つの特徴点の３次元的な位置関係を求める
方法を提案した。しかしこの方法は、解を求めるために
非線形の方程式を解かなければならず、必ずしも正しい
解が得られるという保証がなかった。
【０００４】この問題を解決するためHuang 等は、Ullm
anの場合と同じ設定条件のもとで、線形の解法を提案し
た。Huang 等の方法は、図６（Ｂ）に示す如く、３次元
の物体Ｐ（図６（Ｂ）の例では４角錐）をＴＶカメラで
写したときの２次元画像をＱとするとき、時刻Ｔ1 、Ｔ
2 、Ｔ3 の異なる３時刻でこの３種類の２次元画像よ
り、図６（Ａ）に示す如く、第一時刻の画像の特徴点検
出部６１、第二時刻の画像の特徴点検出部６２、第三時
刻の画像の特徴点検出部６３から得られた各時刻のそれ
ぞれ４点の（Ｘ、Ｙ）情報から、運動パラメータ及び４
点間の位置関係の２組の未知数のうち、運動パラメータ
算出部６４により位置関係を表す未知数を消去した後、
運動パラメータだけの方程式を導き、位置関係の算出部
６５により４点の位置を算出した。
anの場合と同じ設定条件のもとで、線形の解法を提案し
た。Huang 等の方法は、図６（Ｂ）に示す如く、３次元
の物体Ｐ（図６（Ｂ）の例では４角錐）をＴＶカメラで
写したときの２次元画像をＱとするとき、時刻Ｔ1 、Ｔ
2 、Ｔ3 の異なる３時刻でこの３種類の２次元画像よ
り、図６（Ａ）に示す如く、第一時刻の画像の特徴点検
出部６１、第二時刻の画像の特徴点検出部６２、第三時
刻の画像の特徴点検出部６３から得られた各時刻のそれ
ぞれ４点の（Ｘ、Ｙ）情報から、運動パラメータ及び４
点間の位置関係の２組の未知数のうち、運動パラメータ
算出部６４により位置関係を表す未知数を消去した後、
運動パラメータだけの方程式を導き、位置関係の算出部
６５により４点の位置を算出した。
【０００５】
【発明が解決しようとする課題】ところが、図６（Ａ）
に示す手法では、初めに運動パラメータ算出部６４で運
動パラメータだけの方程式を導いてこれを解くが、運動
パラメータは多くの未知数が互いに抱束しあっているた
めに解法が複雑になり、高速な演算が容易でなかった。
従って本発明の目的は、運動パラメータを消去してまず
位置関係を表すパラメータについて算出した３次元復元
方式を提供することである。
に示す手法では、初めに運動パラメータ算出部６４で運
動パラメータだけの方程式を導いてこれを解くが、運動
パラメータは多くの未知数が互いに抱束しあっているた
めに解法が複雑になり、高速な演算が容易でなかった。
従って本発明の目的は、運動パラメータを消去してまず
位置関係を表すパラメータについて算出した３次元復元
方式を提供することである。
【０００６】
【課題を解決するための手段】前記目的を達成するた
め、本発明では、図１に示す如く、第一時刻の画像の特
徴点検出部１、第二時刻の画像の特徴点検出部２、第三
時刻の画像の特徴点検出部３等から得られた、各時刻の
それぞれの２次元情報から、まず位置関係の算出部４に
おいて、最初に複雑な抱束関係を持つ運動パラメータを
消去した後、位置関係を表すパラメータについての方程
式を導き、これを得るようにする。
め、本発明では、図１に示す如く、第一時刻の画像の特
徴点検出部１、第二時刻の画像の特徴点検出部２、第三
時刻の画像の特徴点検出部３等から得られた、各時刻の
それぞれの２次元情報から、まず位置関係の算出部４に
おいて、最初に複雑な抱束関係を持つ運動パラメータを
消去した後、位置関係を表すパラメータについての方程
式を導き、これを得るようにする。
【０００７】
【作用】これにより、方程式の性質が簡単になり、つま
り方程式が解き易くなり、演算量を削減することができ
る。なお位置関係を表すパラメータも、後述するように
適切な変数に置き換えることで、方程式の形をより簡単
化可能となり、解き易くなる。
り方程式が解き易くなり、演算量を削減することができ
る。なお位置関係を表すパラメータも、後述するように
適切な変数に置き換えることで、方程式の形をより簡単
化可能となり、解き易くなる。
【０００８】
【実施例】本発明を一実施例にもとづき説明するに先立
ち、本発明の原理を説明する。図６（Ｂ）においてＰは
３次元物体であり４つの特徴点の３次元的な位置Ｐ0 、
Ｐ 1 、Ｐ2 、Ｐ3 、が、例えばＹＶカメラによる撮影等
により、ＸＹ平面上での２次元の画像Ｑ に移った点Ｑ
0 、Ｑ1 、Ｑ2 、Ｑ3 の関係を表している。図６（Ｂ）
においてＸＹ平面が画像平面であり、３次元空間上の点
が平行投影で画像に写されることを仮定した。また物体
Ｐは剛体であることを仮定した。このとき、物体の運動
は、平行移動量と回転量により、完全に記述できる。
ち、本発明の原理を説明する。図６（Ｂ）においてＰは
３次元物体であり４つの特徴点の３次元的な位置Ｐ0 、
Ｐ 1 、Ｐ2 、Ｐ3 、が、例えばＹＶカメラによる撮影等
により、ＸＹ平面上での２次元の画像Ｑ に移った点Ｑ
0 、Ｑ1 、Ｑ2 、Ｑ3 の関係を表している。図６（Ｂ）
においてＸＹ平面が画像平面であり、３次元空間上の点
が平行投影で画像に写されることを仮定した。また物体
Ｐは剛体であることを仮定した。このとき、物体の運動
は、平行移動量と回転量により、完全に記述できる。
【０００９】画像Ｑは平行投影を仮定したので、物体Ｐ
を画像Ｑに垂直な方向（図６（Ｂ）ではＺ軸方向）にい
くら移動させても画像Ｑは変化しない。従って画像Ｑか
ら物体Ｐの垂直方向の位置は原理的に検出できない。ま
た画像の変化から物体の垂直方向の運動も検出できな
い。
を画像Ｑに垂直な方向（図６（Ｂ）ではＺ軸方向）にい
くら移動させても画像Ｑは変化しない。従って画像Ｑか
ら物体Ｐの垂直方向の位置は原理的に検出できない。ま
た画像の変化から物体の垂直方向の運動も検出できな
い。
【００１０】一方、画像面に平行な方向（水平方向）へ
の移動量は、図６（Ｂ）から容易にわかるように、画像
平面における移動量をそのまま物体の移動量と考えてよ
い。つまり水平方向の移動量は画像平面上で特徴点間の
対応がわかれば容易に求められる。
の移動量は、図６（Ｂ）から容易にわかるように、画像
平面における移動量をそのまま物体の移動量と考えてよ
い。つまり水平方向の移動量は画像平面上で特徴点間の
対応がわかれば容易に求められる。
【００１１】従って、問題は物体の回転量を求めること
と、４つの特徴点の相対的な位置関係を求めることにな
る。４つの特徴点の位置に関して、画像平面に平行な成
分は画像上での座標値の関係と等しいので、相対的なＺ
座標を求めれば３次元空間上での特徴点の位置関係が求
められる。
と、４つの特徴点の相対的な位置関係を求めることにな
る。４つの特徴点の位置に関して、画像平面に平行な成
分は画像上での座標値の関係と等しいので、相対的なＺ
座標を求めれば３次元空間上での特徴点の位置関係が求
められる。
【００１２】ところで物体の回転量とＺ座標の相対的な
位置関係を求めるためには、物体の４つの特徴点のうち
１つは原点にあるものと考えても一般性を失わない。つ
まり、図２に示すように、１つの特徴点を原点Ｏに固定
し、原点Ｏのまわりの回転量と残りの３特徴点Ｐ1 、Ｐ
2 、Ｐ3 のＺ座標を求めればよい。なお図２のＰ1 、Ｐ
2 、Ｐ3 と図６（Ｂ）のＰ1 、Ｐ2 、Ｐ3 とは対応する
ものではない。
位置関係を求めるためには、物体の４つの特徴点のうち
１つは原点にあるものと考えても一般性を失わない。つ
まり、図２に示すように、１つの特徴点を原点Ｏに固定
し、原点Ｏのまわりの回転量と残りの３特徴点Ｐ1 、Ｐ
2 、Ｐ3 のＺ座標を求めればよい。なお図２のＰ1 、Ｐ
2 、Ｐ3 と図６（Ｂ）のＰ1 、Ｐ2 、Ｐ3 とは対応する
ものではない。
【００１３】いま２つの異なる時刻Ｔ1 、Ｔ2 を考え、
原点Ｏのまわりの回転を３×３の行列Ｒで表す。この回
転Ｒによって一番目の時刻Ｔ1 において（ｘ、ｙ、ｚ）
にある点は次式で定まる点（ｘ’、ｙ’、ｚ’）に移
る。
原点Ｏのまわりの回転を３×３の行列Ｒで表す。この回
転Ｒによって一番目の時刻Ｔ1 において（ｘ、ｙ、ｚ）
にある点は次式で定まる点（ｘ’、ｙ’、ｚ’）に移
る。
【００１４】
【数１】
【００１５】ただし、Ｒｉｊは回転行列Ｒの成分であ
る。ここで、第一の時刻における原点以外の三つの特徴
点Ｐ1 、Ｐ2 、Ｐ3 の座標を、それぞれ（ｘ1 、ｙ1 、
ｚ1 ）、（ｘ2 、ｙ2 、ｚ2 ）、（ｘ3 、ｙ3 、ｚ 3 ）
とする。ここで求めるべき量は回転行列Ｒと、三つの特
徴点のＺ座標ｚ1 、ｚ2 、ｚ3 である。
る。ここで、第一の時刻における原点以外の三つの特徴
点Ｐ1 、Ｐ2 、Ｐ3 の座標を、それぞれ（ｘ1 、ｙ1 、
ｚ1 ）、（ｘ2 、ｙ2 、ｚ2 ）、（ｘ3 、ｙ3 、ｚ 3 ）
とする。ここで求めるべき量は回転行列Ｒと、三つの特
徴点のＺ座標ｚ1 、ｚ2 、ｚ3 である。
【００１６】いま、三つの特徴点によって定まる平面の
方程式を ｚ＝ａｘ＋ｂｘ＋ｃ （２） と置く。平面上の点（ｘ、ｙ、ａｘ＋ｂｘ＋ｃ）は回転
Ｒによって
方程式を ｚ＝ａｘ＋ｂｘ＋ｃ （２） と置く。平面上の点（ｘ、ｙ、ａｘ＋ｂｘ＋ｃ）は回転
Ｒによって
【００１７】
【数２】
【００１８】に移る。画像平面上の点の座標に関して、
第一時刻の画像Ｑ1 と第二時刻の画像のＱ2には
第一時刻の画像Ｑ1 と第二時刻の画像のＱ2には
【００１９】
【数３】
【００２０】の関係が成立する。これらの式を整理する
と、
と、
【００２１】
【数４】
【００２２】が得られる。この（３）式は、画像平面上
の点は、アフィン変換によって変換を受けることを示し
ている。一方、第二時刻における３つの特徴点Ｐ1 ’、
Ｐ2 ’、Ｐ3 ’の座標をそれぞれ（ｘ1 ’、ｙ1 ’、ｚ
1 ’）、（ｘ2 ’、ｙ2 ’、ｚ2 ’）、（ｘ3 ’、
ｙ3’、ｚ3 ’）とする。このとき画像平面上において
三点（ｘ1 、ｙ1 ）、（ｘ2、ｙ2 ）、（ｘ3 、ｙ3 ）
はそれぞれ（ｘ1 ’、ｙ1 ’）、（ｘ2 ’、ｙ2 ’）、
（ｘ3 ’、ｙ3 ’）に移動する。この三点の対応によっ
て第一時刻の画像と、第二時刻の画像を結びつけるアフ
ィン変換が完全に定まる。
の点は、アフィン変換によって変換を受けることを示し
ている。一方、第二時刻における３つの特徴点Ｐ1 ’、
Ｐ2 ’、Ｐ3 ’の座標をそれぞれ（ｘ1 ’、ｙ1 ’、ｚ
1 ’）、（ｘ2 ’、ｙ2 ’、ｚ2 ’）、（ｘ3 ’、
ｙ3’、ｚ3 ’）とする。このとき画像平面上において
三点（ｘ1 、ｙ1 ）、（ｘ2、ｙ2 ）、（ｘ3 、ｙ3 ）
はそれぞれ（ｘ1 ’、ｙ1 ’）、（ｘ2 ’、ｙ2 ’）、
（ｘ3 ’、ｙ3 ’）に移動する。この三点の対応によっ
て第一時刻の画像と、第二時刻の画像を結びつけるアフ
ィン変換が完全に定まる。
【００２３】実際、定めるべきアフィン変換を、
【００２４】
【数５】
【００２５】とすると、
【００２６】
【数６】
【００２７】が成立するが、この６つの方程式をＡ、
Ｂ、Ｃ、Ｄ、α、βについて解けば、前記（４）式のア
フィン変換の係数が求まると、前記（３）式と（４）式
を比較すれば、求めるべき回転Ｒ、平面のパラメータ
ａ、ｂ、ｃとアフィン変換の係数の間の下記の関係式が
得られる。
Ｂ、Ｃ、Ｄ、α、βについて解けば、前記（４）式のア
フィン変換の係数が求まると、前記（３）式と（４）式
を比較すれば、求めるべき回転Ｒ、平面のパラメータ
ａ、ｂ、ｃとアフィン変換の係数の間の下記の関係式が
得られる。
【００２８】
【数７】
【００２９】上記（５）式の最後の２式を使ってＲ13＝
α／ｃ、Ｒ23＝β／ｃを最初の４式に代入することでこ
れら（５）式を変形すると、
α／ｃ、Ｒ23＝β／ｃを最初の４式に代入することでこ
れら（５）式を変形すると、
【００３０】
【数８】
【００３１】が得られる。ここでＲは回転行列であるの
で
で
【００３２】
【数９】
【００３３】が成立する。この（７）式に前記（６）式
を代入すると、平面のパラメータａ、ｂ、ｃだけを未知
数とする次の方程式が得られる。
を代入すると、平面のパラメータａ、ｂ、ｃだけを未知
数とする次の方程式が得られる。
【００３４】
【数１０】
【００３５】これらの式を整理すると、下記の（８−
１）〜（８−３）式が得られる。
１）〜（８−３）式が得られる。
【００３６】
【数１１】
【００３７】（８−１）×β−（８−３）×αより、下
記の（９）式が得られる。
記の（９）式が得られる。
【００３８】
【数１２】
【００３９】（８−２）×α−（８−３）×βより、下
記の（１０）式が得られる。
記の（１０）式が得られる。
【００４０】
【数１３】
【００４１】前記（９）式、（１０）式を整理すると、
下記の（１１）式、（１２）式が得られる。
下記の（１１）式、（１２）式が得られる。
【００４２】
【数１４】
【００４３】ここで前記（１１）式と（１２）式を２つ
の未知数ａ／ｃとｂ／ｃについて解けばよいと考えられ
るが、実際には両式の左辺が互いに比例関係にあるので
これら２つの式は独立ではなく、この２つの式だけから
では解が求まらない。
の未知数ａ／ｃとｂ／ｃについて解けばよいと考えられ
るが、実際には両式の左辺が互いに比例関係にあるので
これら２つの式は独立ではなく、この２つの式だけから
では解が求まらない。
【００４４】（１１）×α−（１２）×βの左辺は常に
ゼロであるので下記（Ａ）式でなければならない。
ゼロであるので下記（Ａ）式でなければならない。
【００４５】
【数１５】
【００４６】アフィン変換の係数の間にこの関係が成り
立たないときは２つの時刻間の対応付けが正しくないと
判定できる。前記（１１）式と（１２）式だけは解が求
められないので、第一の時刻と第三の時刻の画像に関し
て、前記（３）式以降の展開を繰り返す。ただしアフィ
ン変換の係数と回転行列のそれぞれに’記号を付す。こ
のとき前記（１１）式と（１２）式に対応して下記の
（１３）式、（１４）式が成立する。
立たないときは２つの時刻間の対応付けが正しくないと
判定できる。前記（１１）式と（１２）式だけは解が求
められないので、第一の時刻と第三の時刻の画像に関し
て、前記（３）式以降の展開を繰り返す。ただしアフィ
ン変換の係数と回転行列のそれぞれに’記号を付す。こ
のとき前記（１１）式と（１２）式に対応して下記の
（１３）式、（１４）式が成立する。
【００４７】
【数１６】
【００４８】（１１）式から（１４）式において、（１
１）式と（１２）式は一般に独立であるのでａ／ｃとｂ
／ｃについての連立一次方程式として解くことができ
る。そしてａ／ｃとｂ／ｃが得られると、前記（８−
３）式を使用して、ａ、ｂ、ｃが算出できる。ただし前
記（８−１）式〜（８−３）式はａ、ｂ、ｃの符号を同
時に反転させると、もとの式に戻るので、−ａ、−ｂ、
−ｃも解になる。即ち２通りの解が存在する。ここで、
ａ、ｂ、ｃは３次元物体の底面の位置する平面を示すパ
ラメータであり、この平面とＺ軸の交点がｃ、ａとｂは
平面の傾きを示す。
１）式と（１２）式は一般に独立であるのでａ／ｃとｂ
／ｃについての連立一次方程式として解くことができ
る。そしてａ／ｃとｂ／ｃが得られると、前記（８−
３）式を使用して、ａ、ｂ、ｃが算出できる。ただし前
記（８−１）式〜（８−３）式はａ、ｂ、ｃの符号を同
時に反転させると、もとの式に戻るので、−ａ、−ｂ、
−ｃも解になる。即ち２通りの解が存在する。ここで、
ａ、ｂ、ｃは３次元物体の底面の位置する平面を示すパ
ラメータであり、この平面とＺ軸の交点がｃ、ａとｂは
平面の傾きを示す。
【００４９】更に前記（６）式にこれらの値を代入すれ
ば、回転行列のうち、Ｒ11、Ｒ12、Ｒ13、Ｒ21、Ｒ22、
Ｒ23が求められる。なお回転行列には次式の性質がある
ので、次式によって残りの成分Ｒ31、Ｒ32、Ｒ33も定ま
る。
ば、回転行列のうち、Ｒ11、Ｒ12、Ｒ13、Ｒ21、Ｒ22、
Ｒ23が求められる。なお回転行列には次式の性質がある
ので、次式によって残りの成分Ｒ31、Ｒ32、Ｒ33も定ま
る。
【００５０】
【数１７】
【００５１】もう１つの回転Ｒ’も同様に求められる。
以上の方法により、平面のパラメータと、運動パラメー
タ（回転行列）を算出することができる。本発明の第１
実施例を図３に基づき説明する。図３において図１と同
記号は同一部分を示す。図３において、１１、１２はそ
れぞれ特徴点間の対応付け部、１３、１４はそれぞれア
フィン変換係数算出部、１５は平面のパラメータ算出
部、１６、１７はそれぞれ回転パラメータ算出部であ
る。
以上の方法により、平面のパラメータと、運動パラメー
タ（回転行列）を算出することができる。本発明の第１
実施例を図３に基づき説明する。図３において図１と同
記号は同一部分を示す。図３において、１１、１２はそ
れぞれ特徴点間の対応付け部、１３、１４はそれぞれア
フィン変換係数算出部、１５は平面のパラメータ算出
部、１６、１７はそれぞれ回転パラメータ算出部であ
る。
【００５２】まず、第一時刻の画像の特徴点検出部１に
より、例えば図２における第一時刻の画像Ｑ1 の特徴点
（ｘ1 、ｙ1 ）、（ｘ2 、ｙ2 ）、（ｘ3 、ｙ3 ）を算
出し、第二時刻の画像の特徴点検出部２により画像Ｑ2
の特徴点（ｘ1 ’、ｙ1 ’、（ｘ2 ’、ｙ2 ’）、（ｘ
3 ’、ｙ3 ’）を算出し、第三時刻の画像の特徴点検出
部３により画像Ｑ3 の特徴点（ｘ1 ”、ｙ1 ”）、（ｘ
2 ”、ｙ2 ”）、（ｘ 3 ”、ｙ3 ”）を算出する。
より、例えば図２における第一時刻の画像Ｑ1 の特徴点
（ｘ1 、ｙ1 ）、（ｘ2 、ｙ2 ）、（ｘ3 、ｙ3 ）を算
出し、第二時刻の画像の特徴点検出部２により画像Ｑ2
の特徴点（ｘ1 ’、ｙ1 ’、（ｘ2 ’、ｙ2 ’）、（ｘ
3 ’、ｙ3 ’）を算出し、第三時刻の画像の特徴点検出
部３により画像Ｑ3 の特徴点（ｘ1 ”、ｙ1 ”）、（ｘ
2 ”、ｙ2 ”）、（ｘ 3 ”、ｙ3 ”）を算出する。
【００５３】特徴点間の対応付け部１１は、前記第一時
刻の画像Ｑ1 の特徴点と前記第二時刻の画像Ｑ2 の特徴
点の対応関係、即ち４組の特徴点の対応関係を求める。
実際は、図２に示す如く、特徴点の１つは原点Ｏに固定
されているので、３組の特徴点の対応関係を求める。
刻の画像Ｑ1 の特徴点と前記第二時刻の画像Ｑ2 の特徴
点の対応関係、即ち４組の特徴点の対応関係を求める。
実際は、図２に示す如く、特徴点の１つは原点Ｏに固定
されているので、３組の特徴点の対応関係を求める。
【００５４】同様に、特徴点間の対応付け部１２は、前
記第二時刻の画像Ｑ2 の特徴点と前記第三時刻の画像Ｑ
3 の特徴点との対応関係、即ち４組の特徴点の対応関係
を求める。実際は、これまた３組の対応関係を求める。
記第二時刻の画像Ｑ2 の特徴点と前記第三時刻の画像Ｑ
3 の特徴点との対応関係、即ち４組の特徴点の対応関係
を求める。実際は、これまた３組の対応関係を求める。
【００５５】それからアフィン変換係数算出部１３は、
前記特徴点間の対応付け部１１より出力される（ｘ1 、
ｙ1 ）、（ｘ2 、ｙ2 ）、（ｘ3 、ｙ3 ）、（ｘ1 ’、
ｙ1’、（ｘ2 ’、ｙ2 ’）、（ｘ3 ’、ｙ3 ’）にも
とづき、前記（４）’式を解く。同様にアフィン変換係
数算出部１４は、前記特徴点間の対応付け部１２より出
力される（ｘ1 ’、ｙ1 ’）、（ｘ2 ’、ｙ2 ’）、
（ｘ3 ’、ｙ3 ’）、（ｘ1 ”、ｙ1 ”）、（ｘ2 ”、
ｙ2 ”）、（ｘ3 ”、ｙ3 ”）にもとづき、（４）’式
を解く。これらによりそれぞれ画像Ｑ1 とＱ2 によるア
フィン変換係数Ａ、Ｂ、Ｃ、Ｄ、α、βが得られ、また
画像Ｑ2 とＱ3 によるアフィン変換係数Ａ’、Ｂ’、
Ｃ’、Ｄ’、α’、β’が得られる。
前記特徴点間の対応付け部１１より出力される（ｘ1 、
ｙ1 ）、（ｘ2 、ｙ2 ）、（ｘ3 、ｙ3 ）、（ｘ1 ’、
ｙ1’、（ｘ2 ’、ｙ2 ’）、（ｘ3 ’、ｙ3 ’）にも
とづき、前記（４）’式を解く。同様にアフィン変換係
数算出部１４は、前記特徴点間の対応付け部１２より出
力される（ｘ1 ’、ｙ1 ’）、（ｘ2 ’、ｙ2 ’）、
（ｘ3 ’、ｙ3 ’）、（ｘ1 ”、ｙ1 ”）、（ｘ2 ”、
ｙ2 ”）、（ｘ3 ”、ｙ3 ”）にもとづき、（４）’式
を解く。これらによりそれぞれ画像Ｑ1 とＱ2 によるア
フィン変換係数Ａ、Ｂ、Ｃ、Ｄ、α、βが得られ、また
画像Ｑ2 とＱ3 によるアフィン変換係数Ａ’、Ｂ’、
Ｃ’、Ｄ’、α’、β’が得られる。
【００５６】平面のパラメータ算出部１５では、これら
２組のアフィン変換係数をもとに、第一時刻における４
つの特徴点のうち、原点に位置していない残りの３つの
特徴点の３次元位置により定まる平面の方程式ｚ＝ａｘ
＋ｂｘ＋ｃにおいて、前記（１１）式〜（１３）式を解
くことでａ／ｃ、ｂ／ｃを求めた後に、（８−３）式を
用いてａ、ｂ、ｃを算出する。
２組のアフィン変換係数をもとに、第一時刻における４
つの特徴点のうち、原点に位置していない残りの３つの
特徴点の３次元位置により定まる平面の方程式ｚ＝ａｘ
＋ｂｘ＋ｃにおいて、前記（１１）式〜（１３）式を解
くことでａ／ｃ、ｂ／ｃを求めた後に、（８−３）式を
用いてａ、ｂ、ｃを算出する。
【００５７】回転パラメータ算出部１６は、平面のパラ
メータ算出部１５から得られた平面のパラメータａ、
ｂ、ｃと、前記アフィン変換係数Ａ、Ｂ、Ｃ、Ｄ、α、
βをもとに、前記（６）式から運動パラメータＲ11、Ｒ
12、Ｒ13、Ｒ21、Ｒ22、Ｒ23を算出する。
メータ算出部１５から得られた平面のパラメータａ、
ｂ、ｃと、前記アフィン変換係数Ａ、Ｂ、Ｃ、Ｄ、α、
βをもとに、前記（６）式から運動パラメータＲ11、Ｒ
12、Ｒ13、Ｒ21、Ｒ22、Ｒ23を算出する。
【００５８】同様に回転パラメータ算出部１７は、平面
のパラメータ算出部１５から得られた平面のパラメータ
ａ、ｂ、ｃと、アフィン変換係数算出部１４から得られ
たアフィン変換係数Ａ’、Ｂ’、Ｃ’、Ｄ’、α’、
β’により、前記（６）式から運動パラメータＲ11’、
Ｒ12’、Ｒ13’、Ｒ21’、Ｒ22’、Ｒ23’を算出する。
のパラメータ算出部１５から得られた平面のパラメータ
ａ、ｂ、ｃと、アフィン変換係数算出部１４から得られ
たアフィン変換係数Ａ’、Ｂ’、Ｃ’、Ｄ’、α’、
β’により、前記（６）式から運動パラメータＲ11’、
Ｒ12’、Ｒ13’、Ｒ21’、Ｒ22’、Ｒ23’を算出する。
【００５９】次に、図４により本発明の第２実施例を説
明する。画像処理にあたり、いつも特徴点の対応付けを
とることが成功するとは限らず、失敗してとれない場合
がある。図４はこの特徴点の対応付けがとれたか否かを
判定し、とれなかったらもう一度とり直す。この対応付
けがとれたか否かを判定するため、図４では対応付け正
否判定部１８、１９を設けるものである。
明する。画像処理にあたり、いつも特徴点の対応付けを
とることが成功するとは限らず、失敗してとれない場合
がある。図４はこの特徴点の対応付けがとれたか否かを
判定し、とれなかったらもう一度とり直す。この対応付
けがとれたか否かを判定するため、図４では対応付け正
否判定部１８、１９を設けるものである。
【００６０】図４においては、図３の実施例と同様に、
第一時刻の画像の特徴点検出部１、第二時刻の画像の特
徴点検出部２、第三時刻の画像の特徴点検出部３によ
り、それぞれ図２に示す画像Ｑ1 、Ｑ2 、Ｑ3 の各特徴
点を算出し、特徴点間の対応付け部１１は画像Ｑ1 、Ｑ
2 の特徴点の対応関係を求め、特徴点間の対応付け部１
２は画像Ｑ1 Ｑ3 の特徴点の対応関係を求める。
第一時刻の画像の特徴点検出部１、第二時刻の画像の特
徴点検出部２、第三時刻の画像の特徴点検出部３によ
り、それぞれ図２に示す画像Ｑ1 、Ｑ2 、Ｑ3 の各特徴
点を算出し、特徴点間の対応付け部１１は画像Ｑ1 、Ｑ
2 の特徴点の対応関係を求め、特徴点間の対応付け部１
２は画像Ｑ1 Ｑ3 の特徴点の対応関係を求める。
【００６１】そしてアフィン変換係数算出部１３は、前
記画像Ｑ1 、Ｑ2 より得られた特徴点間の対応付け部１
１から出力されるデータにもとづき前記（４）’式を解
き、アフィン変換係数Ａ、Ｂ、Ｃ、Ｄ、α、βを得る。
またアフィン変換係数算出部１４は、前記画像Ｑ1 、Ｑ
3 より得られた特徴点間の対応付け部１２から出力され
るデータにもとづき、これまた前記（４）’式を解き、
アフィン変換係数Ａ’、Ｂ’、Ｃ’、Ｄ’、α’、β’
を得る。
記画像Ｑ1 、Ｑ2 より得られた特徴点間の対応付け部１
１から出力されるデータにもとづき前記（４）’式を解
き、アフィン変換係数Ａ、Ｂ、Ｃ、Ｄ、α、βを得る。
またアフィン変換係数算出部１４は、前記画像Ｑ1 、Ｑ
3 より得られた特徴点間の対応付け部１２から出力され
るデータにもとづき、これまた前記（４）’式を解き、
アフィン変換係数Ａ’、Ｂ’、Ｃ’、Ｄ’、α’、β’
を得る。
【００６２】対応付け正否判定部１８は、前記アフィン
変換係数Ａ、Ｂ、Ｃ、Ｄ、α、βにより前記（Ａ）式の
演算を行う。また対応付け正否判定部１９は前記アフィ
ン変換係数Ａ’、Ｂ’、Ｃ’、Ｄ’、α’、β’により
前記（Ａ）式の演算を行う。
変換係数Ａ、Ｂ、Ｃ、Ｄ、α、βにより前記（Ａ）式の
演算を行う。また対応付け正否判定部１９は前記アフィ
ン変換係数Ａ’、Ｂ’、Ｃ’、Ｄ’、α’、β’により
前記（Ａ）式の演算を行う。
【００６３】これらにより（Ａ）式の演算が成立すれ
ば、前記図３の実施例と同様に、平面のパラメータ算出
部１５により平面のパラメータａ、ｂ、ｃを算出し、ま
た回転パラメータ算出部１６、１７により、それぞれ運
動パラメータＲ11、Ｒ12、Ｒ13、Ｒ21、Ｒ22、Ｒ23及び
Ｒ11’、Ｒ12’、Ｒ13’、Ｒ21’、Ｒ22’、Ｒ23’を算
出する。
ば、前記図３の実施例と同様に、平面のパラメータ算出
部１５により平面のパラメータａ、ｂ、ｃを算出し、ま
た回転パラメータ算出部１６、１７により、それぞれ運
動パラメータＲ11、Ｒ12、Ｒ13、Ｒ21、Ｒ22、Ｒ23及び
Ｒ11’、Ｒ12’、Ｒ13’、Ｒ21’、Ｒ22’、Ｒ23’を算
出する。
【００６４】もし（Ａ）式の演算が成立しなければ、Ｎ
Ｏのルートにより、再び第一時刻の画像の特徴点検出部
１、第二時刻の画像の特徴点検出部２、第三時刻の画像
の特徴点検出部３より得られた各画像にもとづき、同様
の対応付け処理をやり直すことになる。
Ｏのルートにより、再び第一時刻の画像の特徴点検出部
１、第二時刻の画像の特徴点検出部２、第三時刻の画像
の特徴点検出部３より得られた各画像にもとづき、同様
の対応付け処理をやり直すことになる。
【００６５】更に、図５により、本発明の第３実施例を
説明する。本発明では、Ｚ軸の回りに３次元物体が回転
しているとき解けない。しかしどの位回転しているかは
わかるので、それが出力できる。
説明する。本発明では、Ｚ軸の回りに３次元物体が回転
しているとき解けない。しかしどの位回転しているかは
わかるので、それが出力できる。
【００６６】Ｚ軸の回りに３次元物体が回転しているか
否かを判定するため、図５に示す如く、Ｚ軸回転判定部
２０、２１を設ける。そして前記（４）’式により得ら
れたアフィン変換係数のうちαとβがともにゼロか否か
判定する。ともにゼロの場合には、Ｚ軸の回りに回転し
ているものと判定する。そしてこの場合、回転パラメー
タ算出部２２、２３により前記（６）式を演算し、それ
ぞれ回転パラメータだけを算出する。
否かを判定するため、図５に示す如く、Ｚ軸回転判定部
２０、２１を設ける。そして前記（４）’式により得ら
れたアフィン変換係数のうちαとβがともにゼロか否か
判定する。ともにゼロの場合には、Ｚ軸の回りに回転し
ているものと判定する。そしてこの場合、回転パラメー
タ算出部２２、２３により前記（６）式を演算し、それ
ぞれ回転パラメータだけを算出する。
【００６７】
【発明の効果】本発明によれば、例えば前記（７）式の
如き、複雑な運動パラメータを先ず消去して、位置関係
を表すパラメータつまり平面のパラメータについての方
程式を導くようにして、演算すべき方程式を解き易くし
たので、演算量を削減することができる。
如き、複雑な運動パラメータを先ず消去して、位置関係
を表すパラメータつまり平面のパラメータについての方
程式を導くようにして、演算すべき方程式を解き易くし
たので、演算量を削減することができる。
【００６８】しかも、本発明の第２実施例によれば特徴
点間の対応付けがとれたか否かを途中で判定できるの
で、正確な判断を早く行うことができる。更に本発明の
第３実施例によれば、物体がＺ軸回転しているか否かを
途中で判定できるので、これまた正確な判断を早く行う
ことができる。
点間の対応付けがとれたか否かを途中で判定できるの
で、正確な判断を早く行うことができる。更に本発明の
第３実施例によれば、物体がＺ軸回転しているか否かを
途中で判定できるので、これまた正確な判断を早く行う
ことができる。
【図１】本発明の原理図である。
【図２】物体の移動状態説明図である。
【図３】本発明の第１実施例である。
【図４】本発明の第２実施例である。
【図５】本発明の第３実施例である。
【図６】従来例及び特徴点と画像の説明図である。
１ 第一時刻の画像の特徴点検出部 ２ 第二時刻の画像の特徴点検出部 ３ 第三時刻の画像の特徴点検出部 ４ 位置関係の算出部 ５ 運転パラメータ算出部 １１、１２ 特徴点間の対応付け部 １３、１４ アフィン変換係数算出部 １５ 平面のパラメータ算出部 １６、１７ 回転パラメータ算出部
Claims (5)
- 【請求項１】 第一時刻の画像の特徴点検出部（１）
と、第二時刻の画像の特徴点検出部（２）と、第三時刻
の画像の特徴点検出部（３）を有し、画像より３次元構
造を復元する３次元復元方式において、 位置関係の算出手段（４）と、 運動パラメータ算出手段（５）を具備し、 先ず位置関係の算出手段（４）において平面のパラメー
タを算出し、次に運動パラメータ算出手段（５）により
運動パラメータを算出するように構成したことを特徴と
する３次元復元方式。 - 【請求項２】 第一時刻の画像の特徴点検出部（１）
と、第二時刻の画像の特徴点検出部（２）と、第三時刻
の画像の特徴点検出部（３）を有し、画像より３次元構
造を復元する３次元復元方式において、 画像間で特徴点の対応を検出する対応検出手段（１
１）、（１２）と、 画像間の特徴点の対応からアフィン変換係数を算出する
アフィン変換係数算出手段（１３）、（１４）と、 第一時刻と第二時刻の間のアフィン変換係数と、第一時
刻と第三時刻との間のアフィン変換係数から第一時刻に
おける４つの特徴点のうち１つを原点とみなしたときの
残りの３点により定まる平面のパラメータを算出する平
面のパラメータ算出手段（１５）を具備したことを特徴
とする３次元復元方式。 - 【請求項３】 請求項２において、 アフィン変換係数の間に所定の関係が成立しているか否
かを判定し、成立していないときは特徴点の対応付けが
正しくないと判断する対応付け正否判定手段（１８）、
（１９）を設けたことを特徴とする３次元復元方式。 - 【請求項４】 前記請求項２において、 前記平面のパラメータ算出部（１５）から算出された平
面のパラメータと、前記アフィン変換係数算出手段（１
３）、（１４）から算出されたアフィン変換係数から、
第一時刻と第二時刻間の回転パラメータならびに第一時
刻と第三時刻の間の回転パラメータを算出する回転パラ
メータ算出手段（１６）、（１７）を具備したことを特
徴とする３次元復元方式。 - 【請求項５】 前記請求項３において、 第一時刻と第二時刻の間のアフィン変換係数または第一
時刻と第三時刻の間のアフィン変換係数の特定の２つの
係数がいずれもゼロの場合、物体がＺ軸の回りを回転し
ているものと判別するＺ軸回転判定手段（２０）、（２
１）を具備したことを特徴とする３次元復元方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4275729A JPH06129833A (ja) | 1992-10-14 | 1992-10-14 | ３次元復元方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4275729A JPH06129833A (ja) | 1992-10-14 | 1992-10-14 | ３次元復元方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06129833A true JPH06129833A (ja) | 1994-05-13 |
Family
ID=17559573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4275729A Withdrawn JPH06129833A (ja) | 1992-10-14 | 1992-10-14 | ３次元復元方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06129833A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6038074A (en) * | 1997-05-20 | 2000-03-14 | Ricoh Company, Ltd. | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image |
| JP2000331160A (ja) * | 1999-05-24 | 2000-11-30 | Nec Corp | 画像マッチング装置、画像マッチング方法及び画像マッチング用プログラムを記録した記録媒体 |
| US7379564B2 (en) | 2002-12-18 | 2008-05-27 | Aisin Seiki Kabushiki Kaisha | Movable body circumstance monitoring apparatus |
| JP2016092567A (ja) * | 2014-11-04 | 2016-05-23 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
-
1992
- 1992-10-14 JP JP4275729A patent/JPH06129833A/ja not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6038074A (en) * | 1997-05-20 | 2000-03-14 | Ricoh Company, Ltd. | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image |
| JP2000331160A (ja) * | 1999-05-24 | 2000-11-30 | Nec Corp | 画像マッチング装置、画像マッチング方法及び画像マッチング用プログラムを記録した記録媒体 |
| US7379564B2 (en) | 2002-12-18 | 2008-05-27 | Aisin Seiki Kabushiki Kaisha | Movable body circumstance monitoring apparatus |
| JP2016092567A (ja) * | 2014-11-04 | 2016-05-23 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115345822B (zh) | 一种面向航空复杂零件的面结构光自动化三维检测方法 | |
| JP6551184B2 (ja) | シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム | |
| JP5713159B2 (ja) | ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム | |
| EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
| Larsson et al. | Revisiting radial distortion absolute pose | |
| CN110977985A (zh) | 一种定位的方法及装置 | |
| CN113012226B (zh) | 相机位姿的估计方法、装置、电子设备及计算机存储介质 | |
| KR19990008059A (ko) | 3차원 물체의 2차원 영사에 근거한 3차원 물체의 재생, 운용 방법 및 그 장치 | |
| Li | Camera calibration of a head-eye system for active vision | |
| CN111160298A (zh) | 一种机器人及其位姿估计方法和装置 | |
| CN113763481B (zh) | 一种移动场景中多相机视觉三维地图构建与自标定方法 | |
| CN106408556A (zh) | 一种基于一般成像模型的微小物体测量系统标定方法 | |
| CN116597096B (zh) | 场景重建方法、装置、存储介质及电子设备 | |
| Wu et al. | A camera calibration method based on OpenCV | |
| JP2020135092A (ja) | 学習データ生成装置、方法及びプログラム | |
| CN114952832A (zh) | 基于单目六自由度物体姿态估计的机械臂拼装方法及装置 | |
| CN110930444B (zh) | 一种基于双边优化的点云匹配方法、介质、终端和装置 | |
| Ammi et al. | Flexible microscope calibration using virtual pattern for 3-d telemicromanipulation | |
| JP7612633B2 (ja) | 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム | |
| JPH06129833A (ja) | ３次元復元方式 | |
| Luong et al. | An optimization framework for efficient self-calibration and motion determination | |
| CN113048985B (zh) | 已知相对旋转角度条件下的像机相对运动估计方法 | |
| CN117853649A (zh) | 基于sfm和渲染技术的图像-位姿数据库生成方法及装置 | |
| JP3548652B2 (ja) | 物体形状復元装置及びその方法 | |
| JPH08263696A (ja) | ３次元オブジェクトモデル作成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20000104 |