JP3145831B2 - 画像処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、撮像手段を用いて物
体との距離を導出する場合等において画像のオプティカ
ルフローを導出するための画像処理方法に関する。

【０００２】

【従来の技術】従来、ある物体までの距離を画像処理に
よって求める場合、図９に示すように１台のＣＣＤカメ
ラ等の撮像手段１により撮像された物体の画像データを
アナログ／デジタル変換（以下Ａ／Ｄ変換という）器２
によりＡ／Ｄ変換し、フレームメモリ３にＡ／Ｄ変換さ
れた画像データを記憶し、画像処理手段４によりある時
刻における画像と１フレームに相当する時間等の所定時
間後の画像とのマッチング処理を行ったのち、オプティ
カルフローを算出して物体までの距離を導出している。

【０００３】ところで、このように物体までの距離を求
めるためにオプティカルフローを導出する場合、上記し
たようにある時刻における画像と所定時間後の画像との
マッチング処理が行われるが、通常ある時刻での画像中
の数画素分の微小ウィンドウにおける画像データの濃度
パターンと同じパターンが所定時間後の画像中のどこに
あるかを検索することによってなされる。

【０００４】即ち、図１０に示すように撮像手段１の撮
像面をＸ−Ｙ座標平面と仮定したときに、この座標平面
において、ある時刻での画像が図１０中の実線に示すよ
うになり、所定時間後の画像が図１０中の破線で示すよ
うに移動した場合に、上記した微小ウィンドウを１画素
ずつずらして数式１で与えられる相関値Ｃを演算し、図
１１に示すように、この相関値Ｃが最小となる位置を求
めることによってマッチングがとれたことになる。

【０００５】

【数１】

【０００６】但し、数式１及び図１１において、Ｉ１は
ある時刻における画像の濃度値，Ｉ２は所定時間後の画
像の濃度値、ｍ，ｎはそれぞれＸ方向，Ｙ方向の位置を
表わす。

【０００７】尚、このようなマッチング処理は画像の移
動ベクトルであるオプティカルフローを導出する際だけ
ではなく、画像認識などの静止画像処理等においても行
われるものである。

【０００８】

【発明が解決しようとする課題】しかし、従来のマッチ
ング処理は、ウィンドウを１画素ずつずらして相関値を
とることによって行われるため、演算に長時間を要し、
例えば車両に搭載して前方の車両との車間距離を算出す
るなど、高速処理が要求される場合にはあまり適さな
い。

【０００９】そこで、この発明は上記のような問題点を
解消するためになされたもので、演算に要する時間を大
幅に短縮できるようにすることを目的とする。

【００１０】

【課題を解決するための手段】この発明に係る画像処理
方法は、撮像手段により物体を撮像して得られた画像デ
ータをアナログ／デジタル変換処理し、前記撮像手段に
よるある時刻での画像と所定時間後の画像との対応する
点を検索してオプティカルフローを導出する画像処理方
法において、前記ある時刻での画像を線画変換して線画
画像を形成し、得られた前記線画画像の線パターンの法
線方向に濃度勾配が存在していると仮想して仮想濃度勾
配を設定し、設定した前記仮想濃度勾配の勾配値，前記
線パターン上の第１の点の接線角，前記第１の点と前記
所定時間後の画像から得られる線パターン上の前記第１
の点に最も近い第２の点との間の距離，前記両点を結ぶ
線と前記第２の点における接線とのなす角に基づき、オ
プティカルフローの拘束式を導出し、前記拘束式に基づ
く所定範囲内でマッチング処理を行うことを特徴として
いる。

【００１１】また、上記した仮想濃度勾配を平均化フィ
ルタを用いた線パターンに沿ったフィルタリングによっ
て設定し、通常の勾配法によるオプティカルフローの拘
束式を導出するようにしてもよい。

【００１２】

【作用】この発明においては、線画変換によって得られ
た線パターンの接線に基づいて仮想濃度勾配を設定し、
接線角から得られるオプティカルフローの拘束式を連立
してオプティカルフローを導出する際、拘束式に基づく
所定範囲でのみマッチング処理を行えばよく、マッチン
グの処理範囲の制限によって処理時間の短縮が図れる。

【００１３】また、フィルタリングによる仮想濃度勾配
からオプティカルフローの拘束式を得る場合も同様であ
る。

【００１４】

【実施例】

（第１実施例）図１はこの発明に係る画像処理方法の第
１実施例の動作説明用フローチャート、図２ないし図６
は動作説明図である。

【００１５】ここで、本実施例に適用される装置は図９
と同様の構成であるため、以下の説明では図９も引用す
るが、画像処理手段４の機能が従来と相違する。

【００１６】即ち、ある時刻ｔでのフレーム画像を所定
の微分オペレータ等により線画変換して線画画像を形成
し、得られた線画画像の線パターンの法線方向に濃度勾
配が存在していると仮想して仮想の濃度勾配、いわゆる
仮想濃度勾配を設定し、設定した仮想濃度勾配の勾配
値，線パターン上の第１の点の接線角θ，第１の点と時
刻ｔから所定のΔｔ時間経過後の画像から得られる線パ
ターン上の第１の点に最も近い第２の点との間の距離
ｄ，これら両点を結ぶ線を第２の点における接線とのな
す角φに基づき、オプティカルフローを算出するように
なっている。

【００１７】具体的には、上記した線画画像とは物体の
輪郭を表わす太さが“１”の線によって示される２値画
像であり、例えばある時刻ｔにおけるフレーム画像のデ
ータを線画変換することにより図２中にＬ１で示す線パ
ターンが得られ、時刻ｔからΔｔ時間後のフレーム画像
を線画変換することにより図２中にＬ２で示す線パター
ンが得られると、線パターンＬ１，Ｌ２それぞれの接線
Ｔ１，Ｔ２に直角な法線方向に最も急勾配の仮想濃度勾
配Ｇｔが設定される。この際、各接線Ｔ１，Ｔ２はそれ
ぞれの線パターンＬ１，Ｌ２上の任意の位置に設ければ
よい。また、一般にある濃度分布の勾配は、Ｘ方向とＹ
方向の微分値で定義され、座標に対してどの角度で勾配
を読むかによって、０度から最も急勾配な値まで変化
し、本実施例では、接線Ｔ１，Ｔ２に直角な法線方向
に、最も急勾配な仮想濃度勾配が発生すると仮定して前
記仮想濃度勾配Ｇｔが設定される。

【００１８】従って、図３に示すように、線パターンＬ
１上の任意の第１の点Ｐ１（ｘ，ｙ，ｔ）における接線
角θ，点Ｐ１における仮想濃度勾配の勾配値Ｇ，点Ｐ１
とこの点Ｐ１に最も近い線パターンＬ２上の第２の点Ｐ
２との間の距離ｄ，及び両点Ｐ１，Ｐ２を結ぶ線と第２
の点Ｐ２における接線Ｔ２と直交する法線とのなす角φ
に基づき、数式２ないし数式４の演算により仮想濃度勾
配のＸ方向、Ｙ方向、Ｔ方向（時間方向）のそれぞれの
値としての濃度勾配Ｖｘ，Ｖｙ，Ｖｔ（以下同様）が得
られる。

【００１９】

【数２】

【００２０】

【数３】

【００２１】

【数４】

【００２２】このとき、Ｖｘ，Ｖｙ及びＶｔは図４
（ａ），（ｂ）に示すように表わされ、動画像処理分野
で一般に知られている勾配方を用いてオプティカルフロ
ーを導出する場合の拘束式に適用すれば、数式２ないし
数式４により与えられるＶｘ，Ｖｙ，Ｖｔから数式５で
表わされるオプティカルフローの拘束式が成立する。こ
の数式５において、ｕ，ｖはオプティカルフローのＸ，
Ｙ方向成分である。

【００２３】

【数５】

【００２４】ところで、上記した接線角θはチェインコ
ードを用いて数式６の演算により求められ、数式６にお
いてＮｐはチェインコードの個数，Ｆｉはチェインコー
ドの値である。

【００２５】

【数６】

【００２６】このチェインコードを用いる手法は、例え
ば図５に示すように３×３画素の範囲内において、中央
画素に対して隣接画素が位置“０”〜“７”のどこにあ
るかによって“０”〜“７”の方向コードを割り当てる
というものであり、このチェインコードによって、隣接
する画素への方向がわかるので、これを利用して接線角
θを求めることができ、具体的には、図６に示すような
画素範囲において、中央の点での接線角θは数式７の演
算によって求められる。

【００２７】

【数７】

【００２８】そして、オプティカルフロー（ｕ，ｖ）が
数式５の関係式を満たす範囲内で、即ち図７に示す太線
上でのみマッチング処理を行ってマッチングしたときの
ｕ，ｖの値からオプティカルフローを導出すればよく、
従来に比べて大幅に計算時間を短縮することができるこ
とになる。

【００２９】従って、図１のフローチャートに示すよう
に、数式２ないし数式４によるＶｘ，Ｖｙ，Ｖｔの演算
が行われたのち（ステップＳ１）、各線パターンに沿っ
て求めたオプティカルフローの拘束式を連立させ、数式
８及び数式９を解くことによりオプティカルフローが導
出される（ステップＳ２）。

【００３０】

【数８】

【００３１】

【数９】

【００３２】このように、第１実施例によれば、線画変
換によって得られた線パターンの接線に基づいて仮想濃
度勾配を設定し、接線角から得られるオプティカルフロ
ーの拘束式を連立してオプティカルフローを導出する
が、この際拘束式に基づく所定範囲内でのみマッチング
処理を行えばよいため、従来に比べて演算に要する時間
を大幅に短縮することができる。

【００３３】（第２実施例）図８はこの発明の第２実施
例の動作説明用フローチャートである。

【００３４】第１実施例で説明したように、線画変換に
よって得られた線画画像が複雑な場合には、図８に示す
ように、線画に沿って簡単な平均化フィルタを用いたフ
ィルタリングを施して仮想濃度勾配を設定し（ステップ
Ｔ１）、数式１０ないし１２の演算によってＶｘ，Ｖ
ｙ，Ｖｔを求めたのち（ステップＴ２）、上記した数式
５で表わされるオプティカルフローの拘束式を得ると共
に、所定時間の経過前，後の線パターンに沿ってオプテ
ィカルフローの拘束式を連立させ（ステップＴ３）、オ
プティカルフローを導出するものである。

【００３５】

【数１０】

【００３６】

【数１１】

【００３７】

【数１２】

【００３８】そして、このようにオプティカルフローを
導出する際に、第１実施例の場合と同様にオプティカル
フローの拘束式に基づく所定範囲内でのみマッチング処
理を行えばよい。

【００３９】このとき、フィルタリングにより得られる
濃度勾配は必ずしも線形ではなく、線パターンの曲率が
大きくなるに連れて非線形になるが、概ね線形に近い濃
度勾配が得られ、実用上特に問題はない。

【００４０】従って、第２実施例によれば、第１実施例
と同等の効果を得ることができる。

【００４１】

【発明の効果】以上のように、この発明の画像処理方法
によれば、線画変換によって得られる線画に対して仮想
濃度勾配を設定し、設定した仮想濃度勾配からオプティ
カルフローの拘束式を導出し、この拘束式に基づく所定
範囲内でマッチング処理を行うため、マッチングの処理
範囲を限定して高速化を図ることができ、従来よりも演
算時間を大幅に短縮することができ、例えば車両に搭載
して前方の車両との車間距離を算出するなど、高速処理
が要求される場合に有効である。

【図面の簡単な説明】

【図１】この発明の画像処理方法の第１実施例の動作説
明用のフローチャートである。

【図２】第１実施例の動作説明図である。

【図３】第１実施例の動作説明図である。

【図４】第１実施例の動作説明図である。

【図５】第１実施例の動作説明図である。

【図６】第１実施例の動作説明図である。

【図７】第１実施例の動作説明図である。

【図８】この発明の第２実施例の動作説明用のフローチ
ャートである。

【図９】この発明の前提となる画像処理装置のブロック
図である。

【図１０】従来例の動作説明図である。

【図１１】従来例の動作説明図である。

【符号の説明】

１ 撮像手段 ４ 画像処理手段

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 - 11/30 G06T 1/00 315 G06T 1/00 400 G06T 7/60 180

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 撮像手段により物体を撮像して得られた
   画像データをアナログ／デジタル変換処理し、前記撮像
   手段によるある時刻での画像と所定時間後の画像との対
   応する点を検索してオプティカルフローを導出する画像
   処理方法において、 前記ある時刻での画像を線画変換して線画画像を形成
   し、得られた前記線画画像の線パターンの法線方向に濃
   度勾配が存在していると仮想して仮想濃度勾配を設定
   し、設定した前記仮想濃度勾配の勾配値，前記線パター
   ン上の第１の点の接線角，前記第１の点と前記所定時間
   後の画像から得られる線パターン上の前記第１の点に最
   も近い第２の点との間の距離，前記両点を結ぶ線と前記
   第２の点における接線とのなす角に基づき、オプティカ
   ルフローの拘束式を導出し、前記拘束式に基づく所定範
   囲内でマッチング処理を行うことを特徴とする画像処理
   方法。
2. 【請求項２】 請求項１記載の画像処理方法において、
   前記線画変換により得られた線画画像の線パターンに沿
   い平均化フィルタによるフィルタリングを施して仮想濃
   度勾配を設定し、設定した前記仮想濃度勾配に基づき勾
   配方法によりオプティカルフローの拘束式を導出するこ
   とを特徴とする画像処理方法。