JPH08161502A - 複数画像間の対応点抽出方法及び画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 基準画像中の対応点が存在する全域で対応点
を求めることを可能にし、また、探索される画像中でも
全域で類似度の計算を行えるようにして、対応点抽出の
精度を向上させる。 【構成】 複数の画像間の対応をテンプレートマッチン
グ法に基づき明らかにする対応点抽出方法であって、第
１の画像１１０と第２の画像１２０とで対応点を抽出す
る場合に、テンプレートの前記第１の画像上の位置に対
応して、前記テンプレートの領域を変化させる（１０
４，１０６）。前記テンプレートの領域の変化は、前記
第１の画像の周辺部で前記テンプレートの領域が前記第
１の画像の領域に制限されることで変化する。前記領域
の変化したテンプレートと前記第２の画像との重なりに
基づいて、更に計算領域を変化させる（１１４，１１
６）。前記計算領域の変化は、前記第２の画像の周辺部
で前記計算領域が前記第２の画像の領域に制限される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、時系列に得られた複数
枚の画像もしくは複数の撮像系から得られた複数枚の画
像間の対応を明らかにするための複数画像間の対応点抽
出方法及び画像処理装置に関するものである。

【０００２】

【従来の技術】従来、複数枚の画像間の対応を明らかに
する対応点抽出方法の代表的な手法として、テンプレー
トマッチング法が知られている。このテンプレートマッ
チング法は、基準となる画像中の対応を取りたい１つの
点を囲むテンプレートを考え、そのテンプレートと探索
される画像上の領域との類似度を計算することにより対
応点を決定する方法である。

【０００３】図７を使用して、このテンプレートマッチ
ング法の概念を説明する。例えば、図７の基準画像７０
１中の人間の右耳上の１点Ｑが、探索される画像７０２
中のどこに対応するかを求める場合は、その点Ｑを中心
としてある大きさのテンプレート７０３を作成し、その
テンプレート７０３を探索される画像中で移動させて各
点での類似度を計算し、探索される画像７０２中の類似
度が最も高くなった点を基準画像７０１中の点Ｑの対応
点とする。

【０００４】なお、この類似度を求める計算は、（１）
式のように画素値の差分を使用する方法や、（２）式の
ように画素値の相関知を使用する方法などがある。

【０００５】

【数１】 上記式中で、Ｆ(ij)は探索される画像を現わし、またＡ
(ij)はテンプレートを現わしており、上記式はテンプレ
ートの位置を(x,y) だけ移動させたときの類似度を示す
ものである。（１）式に基づく計算を行った場合は、対
応点はＥ(x,y)が最小となった点であり、理論上Ｅ(x,y)
の最小値は“０”である。また、（２）式に基づく計
算を行った場合は、対応点はσ(x,y) が最大になった点
であり、理論上σ(x,y) の最大値は“１”である。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来例では、図８に示すように、対応点を得たい点（８０
５，８０６）を中心にテンプレートを作成するため、基
準画像８０１中でテンプレート８０２，８０３を作成で
きる点は基準画像の中心部に存在する領域８０４内の点
となり、基準画像８０１中で周辺部に存在する点は対応
点を求めることができなかった。また同様に、探索され
る画像中でも全点で類似度の計算をするわけではなく、
探索される画像中の中心部だけである。

【０００７】したがって、図９のように基準画像９０１
中の１点Ａの対応点Ａ’が、探索画像９０２中の周辺部
に存在する場合は、対応点が存在しないか、または誤っ
た対応点を検出してしまうという問題点が存在した。そ
こで、本発明の目的は、基準画像中の対応点が存在する
全域で対応点を求めることを可能にし、また、探索され
る画像中でも全域で類似度の計算を行えるようにして、
対応点抽出の精度を向上させる複数画像間の対応点抽出
方法及び画像処理装置を提供することである。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明の複数画像間の対応点抽出方法は、複数の画
像間の対応をテンプレートマッチング法に基づき明らか
にする対応点抽出方法であって、第１の画像と第２の画
像とで対応点を抽出する場合に、テンプレートの前記第
１の画像上の位置に対応して、前記テンプレートの領域
を変化させることを特徴とする。

【０００９】ここで、前記テンプレートの領域の変化
は、前記第１の画像の周辺部で前記テンプレートの領域
が前記第１の画像の領域に制限されることで変化する。
また、前記領域の変化したテンプレートと前記第２の画
像との重なりに基づいて、更に計算領域を変化させる。
また、前記計算領域の変化は、前記第２の画像の周辺部
で前記計算領域が前記第２の画像の領域に制限されるこ
とで変化する。また、前記対応点抽出方法で抽出された
対応点から移動物体を抽出する。また、前記第１の画像
と第２の画像とが異なる撮像装置で同期して撮像された
画像である場合に、対応点の抽出の前に各画像にエピポ
ーラ変換が行われる。また、前記対応点抽出方法で抽出
された対応点から対称物までの距離を計算する。

【００１０】又、本発明の画像処理装置は、複数の画像
間の対応をテンプレートマッチング法に基づき明らかに
する画像処理装置において、第１の画像と第２の画像と
を入力する画像入力手段と、テンプレートの前記第１の
画像上の位置に対応して、前記テンプレートの領域を変
化させるテンプレート変更手段とを備えることを特徴と
する。

【００１１】ここで、前記テンプレート変更手段は、前
記第１の画像の周辺部で前記テンプレートの領域を前記
第１の画像の領域に制限する第１領域制限手段を備え
る。また、前記領域の変化したテンプレートと前記第２
の画像との重なりに基づいて、計算領域を変化させる計
算領域変化手段を更に備える。また、前記計算領域変化
手段は、前記第２の画像の周辺部で前記計算領域を前記
第２の画像の領域に制限する第２領域制限手段を備え
る。また、抽出された対応点から移動物体を抽出する移
動物体抽出手段を更に備える。また、前記第１の画像と
第２の画像とが異なる撮像装置で同期して撮像された画
像である場合に、対応点の抽出の前に各画像にエピポー
ラ変換を行うエピポーラ変換手段を更に備える。また、
抽出された対応点から対称物までの距離を計算する距離
計算手段を更に備える。

【００１２】

【作用】上記のような構成のテンプレートマッチング法
では、基準画像中の全域で対応点を求めるためのテンプ
レートを作成することが可能となり、また探索される画
像中でも全域で類似度の計算を行うことが可能となる。

【００１３】

【実施例】以下、本発明の実施例について添付図面を用
い詳細に説明する。 ＜実施例１：時系列画像の例＞図２は、本実施例の画像
処理装置の対応点抽出に係わる部分のシステムの一例を
示す図である。

【００１４】２０１は、撮像装置であるカメラ、２０２
は、カメラ２０１で得られた画像を格納するメモリ、２
０３は、メモリ２０２中の画像と現時点にカメラ２０１
で得られた画像との対応点抽出を行う対応点抽出処理
部、２０４は、対応点抽出処理部２０３で得られた各画
素の移動ベクトルから移動物体を抽出する移動物体抽出
部である。このシステムは、カメラ２０１で撮像された
画像から移動物体を正確に抽出し、移動物体のみ表示さ
せたり、または動画像圧縮のために移動物体の領域を切
り出したりすることなどに使用される。

【００１５】次に、このシステムの動作を説明する。カ
メラ２０１から入力された画像は、メモリ２０２と対応
点抽出処理部２０３とにそれぞれ入る。メモリ２０２
は、１つ前に入力された画像の上に現時点で入力された
画像が上書きされないように複数枚分の画像の大きさの
容量をもつなどの工夫がされている。対応点抽出処理部
２０３では、メモリ２０２からの１つ前の画像と入力さ
れた画像との間で全域の対応点抽出を行う。この対応点
抽出処理方法については後で説明する。この対応点抽出
処理部２０３で、１つ前の入力画像を基準にした場合の
移動ベクトルが求まる。移動物体抽出部２０４では、対
応点抽出処理部２０３で得られた基準画像の各画素の移
動ベクトルをベクトルの向きや大きさなどで分類し、領
域分けを行い、背景部と異なった移動ベクトルの領域を
移動物体として抽出する。

【００１６】続いて、対応点抽出処理部２０３で行う基
準画像中全域の対応点抽出処理方法について説明する。
図１に、基準画像からテンプレートを作成する方法及び
そのテンプレートの探索される画像中での移動のさせ方
の概要を示す。図１の（ａ）中に示される領域が、対応
を求めたい点１０１〜１０３に対するテンプレート１０
４〜１０６である。この図１の（ａ）に示されるような
画像を、メモリ２０２からの基準画像１１０とすると、
その画像からテンプレートを作成する際に、基準画像１
１０の中心部では従来と同じように作成し（テンプレー
ト１０５）、基準画像１１０の周辺部では、対応を求め
た点１０１，１０３を中心に基準画像１１０の中心部で
得られたテンプレート１０５と同じ大きさの領域を考
え、その領域と基準画像１１０とが重なる部分をテンプ
レート１０４，１０６（図１の（ａ）の斜線領域）とし
て作成する。

【００１７】例えば、基準画像１１０の中心部の点のテ
ンプレートが７×７画素とすると、図１の（ａ）中の対
応点を求めたい点１０１のテンプレートは４×４画素の
テンプレート１０４となる。このように、基準画像１１
０の周辺部にある対応を求めたい点のテンプレートは、
中心部にある対応を求めたい点のテンプレートと比較し
て、その形や大きさが変化し、また対応を求めたい点の
位置はそのテンプレートの中心点から偏移することとな
る。

【００１８】次に、図１の（ｂ）を使用し、カメラ２０
１から入力される画像を探索される画像１２０とした場
合に、上記のように得られたテンプレートを使用して、
その画像１２０中で類似度を計算する方法について説明
する。ここでは、代表例として図１の（ａ）の基準画像
１１０中のテンプレート１０６を使用する。まず、図１
の（ｂ）のように対応を求めたい点１０３と探索される
画像１２０上の各点１１１〜１１３とを重ねる。する
と、図１の（ｂ）中で網目模様で示した領域が、テンプ
レート１０６と探索される画像１２０とが重なった領域
となる。そして、この網目模様で示される領域の画素値
を使用し、従来例で示した（１）式または（２）式を使
用して類似度を計算する。

【００１９】例えば図１の（ｂ）で、網目模様で示した
領域の水平方向の長さがｈ_r 、垂直方向がｖ_r であった
とすると、（１）（２）式のΣの範囲は水平方向がｈ
_r 、垂直方向がｖ_r となる。ここで、最大のテンプレー
トの水平方向のサイズをｈ、垂直方向のサイズをｖ、基
準画像１１０から作成するテンプレートの水平方向のサ
イズをｈ_m 、垂直方向のサイズをｖ_m とすると、以上説
明したことをまとめると、サイズに関しては次の式が成
立する。

【００２０】

【数２】 また、類似度の計算において（１）式を使用する場合は
残差和を用いるので、各点のＥ(x,y) ではなく、Ｅ(x,
y) をそれを計算するのに行った残差計算Ｃの数で除し
た１回あたりの残差Ｅ’(x,y) ＝Ｅ(x,y) ／Ｃを用い
て、対応点を決定した方が精度が向上する。

【００２１】上記説明したように、基準画像中の全域で
テンプレートを作成できるようにし、また検索される画
像中でも全領域でテンプレートが移動できるような対応
点抽出処理部２０３を有する、図２に示すようなシステ
ムでは、移動物体を精度よく抽出することが可能であ
る。また、従来動画像圧縮では画像をいくつかのブロッ
クに分割し、そのブロックで移動領域を抽出していた
が、この方法では、画素単位でかつ精度よく移動領域を
抽出できるために、圧縮率の向上とともに画像を伸張さ
せた時の解像度が向上するという効果がある。

【００２２】なお、上記実施例ではカメラで撮像した画
像を使用したが、このことは本質的なことではなく、例
えばＣＤ−ＲＯＭなどからの画像を使用しても、上記効
果は得られるので、カメラからの画像に限定するもので
はない。 ＜実施例２：複数の撮像系画像の例＞図３は、本実施例
の画像処理装置の対応点抽出に係わる部分のシステムの
他励を示す図であり、複数のカメラを用いて、得られた
画像を使用して、被写体の距離分布を得る装置の構成図
である。

【００２３】３０１は、撮像装置である右側カメラ、３
０２は、同じく撮像装置である左側カメラ、３０３は、
右側カメラ３０１で輻輳角有の状態で得られた画像を輻
輳角無しで得られたように変換する右側エピポーラ変換
部、３０４は、同様な機能を有する左側エピポーラ変換
部、３０５は、右側エピポーラ変換部３０３と左側エピ
ポーラ変換部３０４とで得られた画像間の対応点を抽出
する対応点抽出処理部、３０６は、対応点抽出処理部３
０５で得られた対応点から三角測量の原理で被写体の距
離分布を計算する距離計測部、３０７は、右側カメラ３
０１と左側カメラ３０２とで撮像するタイミングを合わ
せる同期回路である。

【００２４】次に、このシステムの動作を説明する。同
期回路３０７で同期をとられて、右側カメラ３０１と左
側カメラ３０２とから同時に撮像された右画像３０８と
左画像３０９とは、それぞれ右側エピポーラ変換部３０
３、左側エピポーラ変換部３０４で輻輳角なしの状態で
得られたようにエピポーラ変換される。

【００２５】以下、このエピポーラ変換について説明す
る。図４に示す様に、３軸をＸ，Ｙ，Ｚ、軸の回りの回
転をＡ，Ｂ，Ｃ、並進運動をＵ，Ｖ，Ｗ、焦点距離を
ｆ、撮像面内の座標軸をx,y 、物点Ｐ(x,y,z) の撮像面
上の点をｐ(x,y) で表す。この時、 ｘ＝ｆ×Ｘ／ｚ …（３） ｙ＝ｆ×Ｙ／ｚ …（４） が成立する。

【００２６】今、３軸が回転し、並進運動した場合、

【００２７】

【数３】 が、成り立つ。この時、Ｘ',Ｙ',Ｚ' は新たな３軸であ
る。従ってＰ（X',Y',Z') の撮像面上への点ｐ(x',y')
は ｘ´＝ｆ×Ｘ´／ｚ …（６） ｙ´＝ｆ×Ｙ´／ｚ …（７） この時、オプティカルフロー、すなわち(u,u) ＝(x',
y') −(x,y) は、

【００２８】

【数４】 である。今、説明を簡単にするため、Ｂのみを考える。
（Ａ＝Ｃ＝Ｕ＝Ｕ＝Ｗ＝φ）とすると、上記(5) 式に
は、

【００２９】

【数５】 これを(8) 式に代入して考えると、

【００３０】

【数６】 が導かれる。この時、 α＝ｔａｎ^-1（ｘ／ｆ）＝ｔａｎ^-1（Ｘ／Ｚ） である。

【００３１】ここで、回転Ｂを輻輳角と考えると、上記
式を用いて変換することによりエピポーラ変換が行われ
る。なお、この輻輳角は、図４には図示していないが、
輻輳角制御機構内のエンコーダなどで計測される。この
ようにして、得られた変換後の右エピポーラ画像３１１
と左エピポーラ画像３１２との対応点抽出を、対応点抽
出処理部３０５で行う。左エピポーラ画像３１２を基準
画像とすると、基準画像からのテンプレート作成は実施
例１で示したのと同様にして、基準画像中の全域でテン
プレートを作成することが可能である。右エピポーラ画
像３１１を探索される画像とすると、テンプレートの移
動領域が実施例１とは異なる。

【００３２】この移動領域について説明する。右側エピ
ポーラ変換部３０３及び左側エピポーラ変換部３０４で
左右画像がエピポーラ変換されて、得られる画像は平行
撮像した時と同等になるので、対応点は画像の垂直方向
に関しては同じ所に存在する。このため、基準画像５０
１中の１点５０４の対応点を抽出するのに、図５のよう
に一列分だけテンプレート５０３を動かせばよくなり、
探索される画像５０２中で計算に使用する領域５０５〜
５０７も図示したように変化する。

【００３３】なお、計算誤差や輻輳角の読みとり誤差を
考慮して、一列分だけでなく数列分の領域で検索するこ
とも有効である。対応点抽出部３０５で、このようにし
て全域で対応点が得られた結果を利用して、距離計測部
３０６で、被写体の距離分布を三角測量則に基づき計算
する。計算のしかたを以下説明する。

【００３４】図６に示すように、左右各撮像レンズ群３
０１，３０２の物体側主平面の中心点Ｏ_L ，Ｏ_R をそれ
ぞれＸ軸上でＺ軸に対して線対称に配置し、その中心点
Ｏ_L，Ｏ_R 間を結ぶ基線の長さを基線長ｂとすると、各
中心点Ｏ_L ，Ｏ_R の座標は、それぞれ（−ｂ／２，０，
０）、（ｂ／２，０，０）で表される。また、３次元空
間内の１点Ｐを各中心点Ｏ_L ，Ｏ_R に向けて投影した時
の左右各ＣＣＤセンサＡ_SL，Ａ_SR上での投影点は、それ
ぞれＰ_L 、Ｐ_R となり、点Ｐ,Ｐ_L,Ｐ_R の座標をそれぞ
れ（Ｘ_P,Ｙ_P,Ｚ_P ）, （Ｘ_PL, Ｙ_PL, Ｚ_PL）, （Ｘ_PR,
Ｙ_PR, Ｚ_PR）で表わす。ここで求めたいのは点Ｐ（Ｘ_P,
Ｙ_P,Ｚ_P ）であり、対応点抽出部３０５より（Ｘ_PL, Ｙ
_PL）と（Ｘ_PR, Ｙ_PR）のペアは得られており、また光軸
が平行撮影の時レンズの焦点距離をｆとするとＺ_PL＝Ｚ
_PR＝ｆである。よって、これらの得られている値を、次
の３式に代入して距離分布を得ることができる。

【００３５】

【数７】 上記説明したように、基準画像中の全画素に対応する点
を検出することが出来る対応点抽出部３０５を有する図
３のようなシステムでは、ブロックごとの距離分布では
なく画素レベルのなめらかな距離分布を得ることが可能
になるという効果がある。

【００３６】なお、実施例２では画像をエピポーラ変換
したが、エピポーラ変換せずに実施例１のように検索さ
れる画像中全域にテンプレートを移動させて対応点を抽
出する方法もある。どちらの方法でも対応点が存在する
基準画像中の全画素で対応点を抽出することは可能であ
る。

【００３７】尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器から成る装置に適用
しても良い。また、本発明はシステム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。

【００３８】

【発明の効果】以上説明したように、本発明によれば、
複数枚の画像間の対応点の抽出を行う際に、対応点が存
在する基準画像中の全域に対して対応点が求まるため、
従来よりも高密度で多数の対応点が得られ、対応点抽出
精度が向上するという効果がある。

【図面の簡単な説明】

【図１】本実施例の改良したテンプレートマッチング法
を説明する図である。

【図２】実施例１の移動体抽出のシステムの一例を示す
図である。

【図３】実施例２の距離測定のシステムの一例を示す図
である。

【図４】エピポーラ変換の説明図である。

【図５】実施例２の探索領域を示す図である。

【図６】三角測量を説明する図である。

【図７】従来のテンプレートマッチング法を説明する図
である。

【図８】従来のテンプレートマッチング法の問題を説明
する図である。

【図９】従来のテンプレートマッチング法の問題を説明
する図である。

【符号の説明】

１０１ 従来のテンプレート中心点 １０２ 従来のテンプレート中心点 １０３ 従来のテンプレート中心点 １０４ テンプレート １０５ テンプレート １０６ テンプレート １１０ 基準画像 １１１ 探索される画像上の点 １１２ 探索される画像上の点 １１３ 探索される画像上の点 １１４ 計算に使用する領域 １１５ 計算に使用する領域 １１６ 計算に使用する領域 １２０ 探索される画像 ５０２ 探索される画像 ｆ 焦点距離 Ａ_SL センサ面 Ａ_SR センサ面 Ｏ_L レンズの物体側主平面中心点 Ｏ_R レンズの物体側主平面中心点 ｂ 基線長

Claims (14)

【特許請求の範囲】
1. 【請求項１】 複数の画像間の対応をテンプレートマッ
   チング法に基づき明らかにする対応点抽出方法であっ
   て、 第１の画像と第２の画像とで対応点を抽出する場合に、 テンプレートの前記第１の画像上の位置に対応して、前
   記テンプレートの領域を変化させることを特徴とする複
   数画像間の対応点抽出方法。
2. 【請求項２】 前記テンプレートの領域の変化は、前記
   第１の画像の周辺部で前記テンプレートの領域が前記第
   １の画像の領域に制限されることで変化することを特徴
   とする請求項１記載の複数画像間の対応点抽出方法。
3. 【請求項３】 前記領域の変化したテンプレートと前記
   第２の画像との重なりに基づいて、更に計算領域を変化
   させることを特徴とする請求項１記載の複数画像間の対
   応点抽出方法。
4. 【請求項４】 前記計算領域の変化は、前記第２の画像
   の周辺部で前記計算領域が前記第２の画像の領域に制限
   されることで変化することを特徴とする請求項３記載の
   複数画像間の対応点抽出方法。
5. 【請求項５】 請求項１または３記載の前記対応点抽出
   方法で抽出された対応点から移動物体を抽出することを
   特徴とする移動物体抽出方法。
6. 【請求項６】 前記第１の画像と第２の画像とが異なる
   撮像装置で同期して撮像された画像である場合に、 対応点の抽出の前に各画像にエピポーラ変換が行われる
   ことを特徴とする請求項１または３記載の複数画像間の
   対応点抽出方法。
7. 【請求項７】 請求項６記載の前記対応点抽出方法で抽
   出された対応点から対称物までの距離を計算することを
   特徴とする距離計測方法。
8. 【請求項８】 複数の画像間の対応をテンプレートマッ
   チング法に基づき明らかにする画像処理装置において、 第１の画像と第２の画像とを入力する画像入力手段と、 テンプレートの前記第１の画像上の位置に対応して、前
   記テンプレートの領域を変化させるテンプレート変更手
   段とを備えることを特徴とする画像処理装置。
9. 【請求項９】 前記テンプレート変更手段は、前記第１
   の画像の周辺部で前記テンプレートの領域を前記第１の
   画像の領域に制限する第１領域制限手段を備えることを
   特徴とする請求項８記載の画像処理装置。
10. 【請求項１０】 前記領域の変化したテンプレートと前
    記第２の画像との重なりに基づいて、計算領域を変化さ
    せる計算領域変化手段を更に備えることを特徴とする請
    求項８記載の画像処理装置。
11. 【請求項１１】 前記計算領域変化手段は、前記第２の
    画像の周辺部で前記計算領域を前記第２の画像の領域に
    制限する第２領域制限手段を備えることを特徴とする請
    求項１０記載の画像処理装置。
12. 【請求項１２】 抽出された対応点から移動物体を抽出
    する移動物体抽出手段を更に備えることを特徴とする請
    求項８または１０記載の画像処理装置。
13. 【請求項１３】 前記第１の画像と第２の画像とが異な
    る撮像装置で同期して撮像された画像である場合に、 対応点の抽出の前に各画像にエピポーラ変換を行うエピ
    ポーラ変換手段を更に備えることを特徴とする請求項８
    または１０記載の画像処理装置。
14. 【請求項１４】 抽出された対応点から対称物までの距
    離を計算する距離計算手段を更に備えることを特徴とす
    る請求項１３記載の画像処理装置。