JPH0229878A - 画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は、複数のテクスチャ領域間でそれぞれの構成画
素の対応付けを行なう技術に関し、例えば、ステレオ画
像内の対応領域間で構成画像の視差を検出する技術に関
する。

（従来の技術） 一般的な画像には各種の性質を有する領域が混在してい
る。テクスチャはそれらの中から各領域をか何であるか
を視覚により判断する上で重要な役割りを果している０
例えば、メロンを含む画像においては、メロンのテクス
チャ（模様）が、メロンの領域を他から分離していると
ともに、遠くのテクスチャは細かく、近くのテクスチャ
は粗く見えることから、その遠近感、すなわち立体形状
を表現している。

つまり、例えば、撮像面を実質的に同一面にし、光軸を
互いに平行にする２つのカメラにより、同一の対象を撮
像し、各テクスチャ領域を構成する画素についてそれぞ
れ対応付けを行ない、視差を求めることにより、対象ま
での距離が求まり、それを立体的な画像に再現すること
が可能になる。

従来より、各画像から構成要素を線分として抽出し、そ
れぞれの特徴量を求めて抽出した線分どうしを対応付け
する方法が知られている。

（発明が解決しようとするｌｌ１Ｉ） しかしながら、この方法は専ら単純な画像についてのみ
有効であり、テクスチャ領域のように非常に多くの構成
要素を高密度で含んでいる領域に適用すると、各構成要
素をそれぞれ独立に識別可能な線分として抽出するため
には、厖大なメモリが必要となる。また、それを解決し
たとしても、構成要素の空間的な密度が高いため対応候
補となる線分が増大し、１つ１つの線分について対応を
検討することは事実上不可能に近い。

本発明は、簡単な処理により、複数のテクスチャ領域間
で、それぞれの構成画素の対応付は適切に行なう画像処
理方法を提供することを目的とする。

〔発明の構成〕

（１１題を解決するための手段） 上記目的を達成するため、本発明においては、微小区分
の画素で構成される原画像から分割した第１のテクスチ
ャ領域と第２のテクスチャ領域に対し。

第１のテクスチャ領域の境界線の特徴量と。

第２のテクスチャ領域の境界線の特徴量とを比較して第
１のテクスチャ領域の境界線を構成する画素と、第２の
テクスチャ領域の境界線を構成する画素との対応関係を
示す対応データを第１のテクスチャ領域の境界線を構成
する画素のそれぞれに対応付けて求め、 第１のテクスチャ領域内の画素と、少なくともそれに隣
接する画素の対応データで示される第２のテクスチャ領
域の画素と相関関係から、該第１のテクスチャ領域内の
画素の対応データを求め、第１のテクスチャ領域内の各
画素の対応データにより、それぞれに対応する第２のテ
クスチャ領域の画素を求めるものとする。

（作用） これによれば、テクスチャ領域では、ある種の構成要素
が比較的高密度で存在し、限られた範囲では略等しい特
性を有することから、テクスチャ領域の境界線の構成す
る画素に求めた対応データをその内側に拡張している。

これに要する処理は。

第１のテクスチャ領域の画素と、その画素に隣接する画
素が有する対応データで示される第２のテクスチャ領域
の画素またはその周辺の画素との相関を求める処理、お
よび相関からその第１のテクスチャ領域の画素の対応デ
ータを求める処理のみであり、至って簡単である。この
場合、上記述べたテクスチャ領域の特性に本発明の根拠
があるので、その処理の信頼性は高い。

なお、本発明の好ましい実施例においては、第１のテク
スチャ領域と第２のテクスチャ領域を、それぞれ同一対
象を有する異なる原画像から分割する。また、第１のテ
クスチャ領域内の画素の対応データは、第１のテクスチ
ャ領域内を一定の方向から逐次構成画素を注目すること
により求めた後、それとは逆の方向から逐次構成画素を
注目することによりそれを補正して求めている。これに
より処理精度が非常に高くなる。

ここで、本発明は、対応を求めるテクスチャ領域を２つ
に限る意図がないことを付記しておく。

つまり、３以上のテクスチャ領域があるときには、その
任意の１つを第１のテクスチャ領域とし、他を第２のテ
クスチャ領域とすれば、全く同じ手順で対応する画素が
求まるからである。

本発明の他の目的および特徴は、以下の図面を参照した
実施例説明より明らかになろう。

（実施例） 第１ａ図に、本発明を一例で実施する、画像処理装置の
構成を示す。

この装置は、コンピュータ１．ＩＴＶカメラユニット２
ならびに３９画像メモリ４．デイスプレィ５．プリンタ
６、フロッピーディスク７、およびキーボードターミナ
ル８等でなる。

ＩＴＶカメラユニット２および３は、それぞれ、前方の
シーンを撮像して５１２　Ｘ　５１２画素区分でアナロ
グデータを出力する同諸元のＩＴＶカメラ２１゜３１、
および、ＩＴＶカメラ２１または３１の出力アナログデ
ータをデジタル変換して２５６階ｇの原画像データを生
成するＡ／Ｄコンバータ２２゜３２でなる。

ＩＴＶ’カメラ２１と３１とは、第１ｂ図に示すように
（ただし、これはＩＴＶカメラ２１および３１による撮
像のモデルを示し、各カメラの構造を示すものではない
）、ＩＴＶカメラ２１を左にＩＴＶカメラ３１を右にし
て水平に並べられており、それぞれの光軸２１１および
３１１は平行であり、かつ、それぞれの撮像面２１２お
よび３１２は同一面にある。したがって、各撮像面の上
辺をそれぞれＸＬ軸ｙＸＲ軸、左辺をそれぞれＹＬ軸、
ＹＲ軸とするとき、ＸＬ軸とＸＲ軸は同一直線上にあり
、ＹＬ軸と７代軸とは平行になる。なお、以下において
は、ＩＴＶカメラ２１が撮像した画像を左画像と、ＩＴ
Ｖカメラ３１が撮像した画像を右画像と呼ぶものとする
。

画像メモリ４は読み書き自在であり、左画像や右画像の
原画像データを始めとして種々の処理データを記憶する
。

デイスプレィユニット５およびプリンタ６はコンピュー
タ１の処理結果等を出力し、フロッピーディスク７はそ
の処理結果等を登録しておく。また、キーボードターミ
ナル８はオペレータにより操作されて、各種の指示が入
力される。

コンピュータ１には、さらにホストコンピュータが接続
されており、そこから与えられた指示、またはキーボー
ドターミナル８より与えられた指示に従って各部を制御
し、対応する処理を行なう。

以下、その処理のうち、前方のシーンの３次元グラフィ
ック表示を行なうための、″立体処理″について説明す
る。

第２図は、キーボードターミナル８より与えられた立体
処理実行指示により起動される立体処理ルーチンの概略
を示すゼネラルフローであり、第３ａ図〜第３ｈ図はそ
の中の重要ステップを詳細に示すサブフローである。

コンピュータ１は、立体処理の開始に当って、Ｓｌ　（
フローチャートのステップに付した番号を示す：以下同
義）において画像メモリ４およびこの処理で用いるレジ
スタを初期化し、Ｓ２においてＩＴＶカメラユニット２
および３を介して左画像および右画像の原画像データを
画像メモリ４内に書き込む。この後、Ｓ３において、各
画像の画像分割を行なう。

この画像分割について第３ａ図を参照して説明する。

５１０１においては、左画像に対して順方向ラスタスキ
ャンを設定する。順方向ラスタスキャンは、第１ｂ図に
示す撮像領域２１２　（３１２）内を、ＸＬ（ＸＲ）軸
を主走査軸とし、ＹＬ（ＹＲ）軸を副走査軸として左上
端画素から右下画素に至る経路で各画素に注目する走査
をいい、ここでは、その走査開始位置を初期化する。な
お、因みに後述する逆方向ラスタスキャンは、この逆に
、右下端画素から左上画素に至る経路で各画素に注目す
る走査をいう。

８１０２〜５１０５では、順方向ラスタスキャンを行な
いながら微分データおよび傾きデータを生成し、微分デ
ータのヒストグラムを作成する。

微分データは、注目画素およびその８近傍画素の原画像
データを第４図に示すように呼称するとき、 （ｐｚ　＋Ｐ２　＋Ｐ８）−（ｐａ　＋ｐｓ　＋ｐａ）
で与えられる主走査方向微分データと。

（Ｐ２　＋Ｐａ　＋Ｐ４）−（Ｐ６　＋Ｐ７　＋ｐｓ　
）で与えられる副走査方向微分データとの和であり。

原画像データの空間的な変化量を示す、また、傾きデー
タは、上記の主走査方向微分データと副走査方向微分デ
ータとの比、すなわち、 副走査方向微分データｌ主走査方向微分データを８分類
したものであり、原画像データが空間的に変化して行く
方向を示す、コンピュータ１は。

これらのデータを各・画素に対応付けして画像メモリ４
に書き込む。

ヒストグラムは微分データの大きさと出現頻度を求めた
ものであり、コンピュータ１は順方向ラスクスキャンを
終了すると、５１０６においてこのヒストグラムより閾
値を設定して微分データを２値化し、２値化データを各
画素に対応付けして記憶する。

このようにして２値化した結果、原画像データが空間的
に急激に変化する部位、すなわちパエッジ〃が検出され
る。このエツジが、前方シーンに存在する物の輪郭やテ
クスチャを示しているときにはそれが連続となることが
好ましいが、撮像条件等により、必ずしも連続とはなら
ない、そこで、５１０７において再び順方向ラスクスキ
ャンを設定すると、３１０８以下において不連続なエツ
ジを接続する処理を行なう。

８１０８において、未だ接続処理を行なっていないエツ
ジの端点画素（エツジの切れ目画素）を検出すると順方
向ラスクスキャンを中断して、その画素を注目画素とし
、５１０９においてその８近傍画素から、注目画素の傾
きデータが示す方向にある画素を延長候補画素に選定し
、５１１０においてその判定を行なう、ここでは、延長
候補画素、および、それに注目画素の傾きデータと直交
する方向に連結する両側２画素の微分データを比較し、
延長候補画素対応微分データが最大であれば尾根と判定
する。

尾根と判定した場合には５１１１においてその延長候補
画素にエツジを延長する。このとき、延長した画素が再
び端点画素となる場合には５１１２から５１０９に戻り
それに注目して上記を繰り返すが、そうでないとき番；
はエツジが接続されたことになるので、５１１５に進み
順方向ラスクスキャンを再開する。また、・尾根で゛な
いと判定した場合には５１１３において上記の延長候補
画素の両側２画素のうちの山側の画素に延長候補画素を
更新する。

この・とき、更新した延長候補画素が注目画素の８近傍
にあれば５１１０に戻り上記の判定を行なうが、それを
□外れた場合にはエツジは切れているものとして５１１
５に進み順方向ラスクスキャンを再開する。

左画像について以上の画像分割を終了すると、全く同じ
手順で右画像の画像分割を実行する。

第５ａ図および第５ｂ図は、ある左画像および右画像に
対してそれぞれ画像分割を行なった結果を示す、これよ
り、ポット、メロン、カップならびにソーヤの輪郭およ
びメロンのテクスチャが線画で明確に表わされているこ
とがわかる。

コンピュータ１は１画像分割を終了すると８４において
各画像の高エツジ密度領域の抽出を行なう、これについ
て第３ｂ図を参照して説明する。

ここでは、８２０１において左画像に対する順方向ラス
クスキャンを設定し、Ｓ　２０２〜５２１３でなるルー
プを実行する。

５２０２においては注目画素を中心とするｎＸｎ画素（
本実施例ではｎ＝２１とした）でなるウィンドを設定し
、５２０３においてはレジスタＭｅをクリアし、５２０
４においてはウィンド内の順方向ラスクスキャンを設定
する。

８２０５〜５２０８はウィンド内のエツジ構成画素をカ
ウントするループであり、その数はレジスタＭ６に格納
される。

３２０９〜８２１１は、ウィンド内の全画素（ｎ　Ｘ　
ｎ）に対するエツジ構成画素（レジスタＭｅの値）の割
合（Ｍ　ｅ／ｎ　Ｘ　ｎ）からエツジ密度を判定し、所
定密度Ｐａ”　（本実施例では１／６とした）を超える
とき、高エツジ密度領域の画素であるとしてその注目画
素に対応して“高′″（高エツジ密度領域の画素を示す
ラベル）を書き込む。

左画像について以上の高エツジ密度領域の抽出を終了す
ると、全く同じ手順で右画像の高エツジ密度領域の抽出
を実行する６ 第６ａ図および第６ｂ図は、前述した第５ａ図および第
５ｂ図について、それぞれ高エツジ密度領域の抽出を行
なった結果であり、抽出領域を黒画素で示している。こ
れらの図には、第５ａ図および第５ｂ図より高エツジ密
度領域と当然予想されるメロンを示す領域が抽出されて
いるが、その輪郭はあまり鮮明ではない。

コンピュータ１は、高エツジ密度領域の抽出を終了する
と８５において各画像の領域のラベリングを行なう。こ
れについて第３Ｃ図を参照して説明する。

５３０１においては左画像に対する順方向ラスタスキャ
ンを設定し、５３０２においてはラベルデータを−様な
面の領域用の初期値Ｌ″にセットする。

注目画素がエツジ構成画素であり、かつ、ラベリングの
済んでいない画素であれば、順方向ラスタスキャンを中
断して、　５３０５においてレジスタＭｔおよびＭｒを
クリアし、５３０６〜５３１１でなるループにおいて、
エツジを追跡しながら、エツジを構成する画素に対応付
けてラベルデータＬを書き込み、レジスタＭｒにそのエ
ツジを構成する画素数をカウントし、レジスタＭｔにそ
のエツジの高エツジ密度領域に含まれる部分の画素数を
カウントする。このエツジ追跡においては、分岐がある
毎に追跡方向に対して一定方向のエツジを選択する。し
たがって、第７ａ図に示すように、エツジが複数の閉じ
た領域を構成しているときには、そのうちの、最小単位
となる閉領域（例えばＲ１）の周縁を追跡することにな
る。また、レジスタＭｒのカウント値はその閉領域の周
縁画素数を、レジスタＭｔのカウント値は高エツジ密度
領域の抽出による画像（ハツチングで示す）を重ねたと
きにそれに含まれるその閉領域の周縁画素数をそれぞれ
示すものとなる。

５３１２においては、レジスタＭｒのカウント値とレジ
スタＭｔのカウント値の比を求める。この比は、追跡し
たエツジのうち、高エツジ密度領域に含まれる割合を示
すものであり、この比が所定値Ｍｓ”　（本実施例では
０．５としている）以下のときには−様な面の領域と判
定し、５３１４においてラベルデータＬを１インクリメ
ントした後、順方向ラスタスキャンを再開するが、所定
値Ｍｓを超えるときにはテクスチャ領域と判定し、５３
１５〜５３１７において再度エツジを追跡しながら、エ
ツジを構成する画素に対応付けて書き込んだラベルデー
タをｔ“に書き換えた後、順方向ラスタスキャンを再開
する。

以上の処理により、−様な面の領域のエツジには、それ
ぞれを識別するラベルが付され、テクスチャ領域のエツ
ジには共通のラベルｔ′が付される。これは、テクスチ
ャ領域のエツジは第５ａ図および第５ｂ図に示されるよ
うに無数にあり、そ九ぞれに独立なラベルを付すること
か実際的でないとの判断による。例えば、第７ａ図の場
合には、各小領域を構成するエツジの全部あるいは殆ど
が高エツジ密度領域に含まれているので、その全ての画
素に対応するラベルデータはｔ″となる。

５３２１〜５３２７でなるループにおいては、順方向ラ
スタスキャンを行いながら、エツジで閉じられる領域内
に、そのエツジと同じラベルを付する。

つまり、注目画素のラベルデータが初期化のままのとき
（０）には、その上下左右に連続する画像に付されたラ
ベルデータを各方向毎に読み取り、各方向に共通するラ
ベルデータがあるときはそのラベルデータを注目画素の
ラベルデータとして書き込み、共通するラベルデータが
ないときは背景画素であることを示すラベルデータ＃　
Ａ　１１を注目画素のラベルデータとして書き込む。た
だし、これにおいて、エツジで閉じられる領域内に別の
エツジで閉じられる領域があり、各方向に共通するラベ
ルデータは複数になるときには、複数の共通するラベル
データのうち、ラスタスキャンにおいて出現した順序が
最も新しいものを注目画素のラベルデータとする。

例えば、ラベルデータＬ１を付したエツジで囲まれる領
域Ａ１内にラベルデータＬ２を付したエツジで囲まれる
領域Ａ２があるとき、ラスタスキャンにおいては、領域
Ａ１外の画素、領域Ａ１内であって領域Ａ２外の画素、
領域Ａ２内の画素、領域Ａ１内であって領域Ａ２外の画
素、領域Ａｉ外の画素、の順で注目し、領域Ａ１外の画
素に注目したときには共通するラベルデータがな−ので
ラベルデータ“Ａ”を注目画素のラベルデータとして書
き込み、領域Ａｉ内であって領域Ａ２外の画素に注目し
たときには共通するラベルデータＬ１を検出するのでそ
れを注目画素のラベルデータとして書き込み、領域Ａ２
内の画素に注目したときには共通するラベルデータＬ１
およびＬ２を検出するが、そのうち後から出現したラベ
ルデータＬ２をその注目画素のラベルデータとする。

以上の左画像に対する処理と同様の処理を右画像に対し
て実行する。

第８ａ図および第８ｂ図は、前述した第５ａ図および第
６ａ図あるいは第５ｂ図および第６ｂ図を構成するデー
タを用いて上記の処理を行ない、テクスチャ領域のみを
示した結果である。これらの図と第６ａ図および第６ｂ
図とを比較すると、メロンを示す領域が鮮明に抽出され
ていることがわかる。これは、第７ｂ図に示すように、
エツジを基準に高エツジ密度領域を切出したため、境界
が連続したことによる。

コンピュータ１は、領域のラベリングを終了すると８６
において各画像のテクスチャ領域の統合およびラベリン
グを行なう、これについて第３ｄ図を参照して説明する
。

５４０１においては左画像に対する順方向ラスタスキャ
ンを設定し、５４０２においてはラベルデータをテクス
チャ領域用の初期値Ｔ“にセットする。

テクスチャ領域には、前述のラベリングによりラベルデ
ータとして共通の値ｔ０を書き込んでいるので、５４０
３および５４０４においてそれを見ながらテクスチャ領
域の画素を探索する。その画素が領域境界の画素であり
、未処理であれば、順方向うスタスキャンを中断し、Ｓ
４０フ〜５４０９でなるループにおいて、領域境界画素
を追跡しながら各画素に対応付けしてラベルデータをＴ
に書換える。

１つのテクスチャ領域についてこれを終了すると、５４
１０においてラベルデータＴを１インクリメントするの
で、順方向ラスタスキャンを終了すると、各テクスチャ
領域を識別するラベルが、各テクスチャ領域の境界画素
に対応して付される。

次に、　８４１４〜５４１９でなるループにおいて、順
方向ラスタスキャンを行いながら、各テクスチャ領域の
境界画素に対応して付したラベルをその領域内の全画素
に付する。これは、ラベルデータｔ”により弁別できる
各テクスチャ領域内の画素を検出する毎に、その左隣の
画素（以下左画素：周縁画素または処理済み画素である
）に対応するラベルデータを読み取り、それを用いて注
目画素対応のラベルデータを書き換えることによりなさ
れる。

以上と同様の処理を右画像に対しても行なう。

このように、８３〜Ｓ６の処理を実行した結果、左右画
像毎に、−様な面の領域とテクスチャ領域が、それぞれ
独立な領域として認識される単位で分割される。

続いて、コンピュータ１は、Ｓ７において左画像の各領
域の境界線と右画像の各領域の境界線とを特徴量により
対応付ける。これについて第３ｅ図を参照して説明する
。

５５０１においては左画像に対する以下の５５０２〜５
５１２でなるループの順方向ラスタスキャン処理を設定
する。

５５０２においては注目画素に対応するラベルデータを
読み取り、それが″Ａ”でなければ、その注目画素は−
様な面の領域またはテクスチャ領域に属するので、５５
０４において、そのラベルデータに対応付けした画素カ
ウンタを１アツプし、そのラベルデータに対応付けした
和階調を格納するレジスタに注目画素の原画像データ（
階調データ）を加え、そのラベルデータに対応付けした
２乗和階調を格納するレジスタに注目画素の原画像デー
タの２乗を加える。

このときの注目画素が、未処理の境界画素であれば、順
方向ラスタスキャンを中断し、８５０７〜５５０９でな
るループにおいて、領域を左に見ながら境界画素を追跡
し、注目画素とその４つ先（追跡において）の画素の座
標から直線近似により注目画素のベクトルデータを求め
、注目画素に対応付けて書き込む。これを終了すると、
５５１０においてそのとき求めたベクトルデータを参照
し、ベクトルデータの近似性および画素の連続性からそ
の領域の境界線をセグメンテーションし、各セグメント
のラベル、始点および終点の座標、所属領域のラベルを
テーブルにまとめる。

この後、順方向ラスクスキャンを再開し、上記を繰り返
すと、各領域の境界線のセグメンテーションが完了し、
各領域毎にその構成画素数、構成画素対応の原画像デー
タの総和および２乗和が求まるので、５５１３において
はこれらのデータを用いて各領域の平均階調および階調
の分散を求める。

各領域の構成画素数、平均階調および分散は、それぞれ
の領域の特徴量となる。

５５１４においては、上記と同様にして右画像内の各領
域の境界線のセグメンテーション、および各領域の特徴
量検出を実行する。

、Ｓ　５１５においては、左画像の各領域と右画像の各
領域とを対応付けする。この際、左画像の領域の特徴量
と、その候補となる右画像の領域の特徴量が許容範囲で
等しいことを条件とする。

８５１６においては、左右画像で互いに対応付けされた
領域の境界線のセグメントを対応付ける。

ここでは、両セグメントの始点および終点が許容範囲に
おいて等しいエピポーラ線上にあり、かつ、それらを結
ぶ線分の傾きおよび長さが許容範囲で等しく、その線分
に対して領域の存在する方向が等しいことを条件とする
。このようにして、左右画像の境界線のセグメントを対
応付けると、左画像の境界線のセグメントを構成する画
素に対する、右画像の境界線のセグメントを構成する画
素との視差（各画像を重ねたときの主走査方向のずれ）
を求め、前者（左画像の境界線のセグメントを構成する
画素）に対応付けて記憶する。

コンピュータ１は、さらに、Ｓ８において左画像の各テ
クスチャ領域の境界線と右画像の各テクスチャ領域の境
界線とを相関により対応付ける。

これについて第３ｆ図を参照して説明する。

５６０１においては左画像に対する以下の５６０２〜５
６１８でなるループの順方向ラスクスキャン処理を設定
する。

８６０２〜５６０５において、未処理のテクスチャ領域
の境界画素を検出すると、順方向ラスクスキャンを中断
して８６０６以下に進む。

未処理の境界画素は、前述の特徴量による境界線の対応
付けにおいて対応画素との視差データを有しているので
、８６０６においてそれを読み取り。

レジスタＤに格納する。

５６０７においては、注目画素（検出した未処理の境界
画素）を中心とするｍ　Ｘ　ｍ　’画素（本実施例では
ｍ　＝　ｍ　’　＝　７とした）に対応する原画像デー
タの総和（以下ｍ　Ｘ　ｍ　’和階調という）を演算し
てレジスタＥおよびｅ□に格納し、Ｓ　６０１１におい
ては、視差データＤ（レジスタＤの値−便宜上同記号を
用いている：他について同義）がら２を減じた値をレジ
スタｉに、それに２を加えた値をレジスタＩに、それぞ
れ格納する。

５６０９において注目画素との視差がｉとなる右画像の
画素（以下右画像の視差１画素という）のｍ　Ｘ　ｍ　
’和階調を求めてレジスタａｉに格納し。

Ｓ　６１０においては、レジスタｅＯの値とレジスタｅ
ｉの値の差、すなわち、注目画素のｍ　Ｘ　ｍ　’和階
調と視差１画素のｍ　Ｘ　ｍ　’和階調の差と、レジス
タＥの値とを比較する。このとき、前者が後者未満であ
ればＳ　６１１においてレジスタＥに前者を格納し、レ
ジスタＤにレジスタｉの値を格納する。

この後、５６１２においてレジスタｉを１インクリメン
トし、その値がレジスタ■の値を超えるまで、上記の処
理を繰り返す。

つまり、本実施例においては、左右画像の互いに相関の
高い画素は、同一エピポーラ線上にあり。

かつ、その周囲の階調が略等しいものとして、３６０９
〜５６１３において、注目画素のｍ　ｘ　ｍ　’和階調
に最も近いｍＸｍ’Ｘｍ調和有する右画素（相関が最も
高い右画素）を、右画像の視差り画素および主走査軸に
沿ったその前後４画素の中から選出している。

５６１４においては、レジスタＥの値、すなわち、注目
画素とこのとき選出した右画素の各ｍＸｍ・和階調の差
を相関データとし、レジスタＤの値、すなわち、その右
画素の視差を視差データとして注目画素に対応付けて記
憶する。

５６１５において領域を左に見ながら境界画素を更新し
、８６０６以下の処理を繰り返す。

１つのテクスチャ領域の境界線について上記の相関によ
る対応付けを終了すると順方向ラスクスキャンを再開し
、全テクスチャ領域の境界線対応付けを行なう。

第９ａ図は左画像のテクスチャ領域の境界線を示し、第
９ｂ図は相関による対応付けを行なった結果の右画像、
すなわち、左画像の境界線を構成する画素の視差データ
で示される右画素を示す６以上のようにして、左右画像
のテクスチャ領域の境界線の対応付けを終了すると、次
に、Ｓ９において順方向ラスクスキャンを行ないながら
、各テクスチャ領域の左側の境界線の視差データに基づ
いて、その内側の画素の対応付けを行なう。

まず、その処理の概念を第１０ａ図、第１０ｂ図および
第１０ｃ図を参照して説明する。

例えば、左画像の順方向ラスクスキャンを行なって注目
画素Ｐｏ　　（第４図に示した記号を準用：他について
同じ）を移動している間に、あるテクスチャ領域の左側
の境界線Ｂ−の構成画素の右隣の画素を検出したものと
する。この場合、注目画素Ｐａの左隣の画素（左画素）
ｐｓは左側の境界線ＢＬの構成画素となり、直上の画素
（上画素）ｐｓは処理を終了した画素となり、それぞれ
は視差データＱあるいはＵを有している１本実施例にお
いては隣接画素は互いに略等しい視差データを有するも
のと仮定し、これらの視差データａおよびＵを注目画素
Ｐａに適用して右画像の視差Ω画素ｐｏ’ならびに主走
査軸に沿ったその前後４画素、および、右画像の視差上
画素ｐｏ”ならびに主走査軸に沿ったその前後４画素を
求め、これらについて注目画素Ｐｏとの相関を検討する
。さらにその内側では、処理済みの視差データを用いて
同様の検討を繰り返す。

より具体的に第３ｇ図を参照して説明する。

５７０１において左画像に対して順方向ラスクスキャン
処理を設定し、　８７０２〜５７０５において未処理の
テクスチャ領域内画素を探索する。これを検出すると８
７０６以下に進む。

８７０６においては注目画素の左画素の視差データを読
み取ってレジスタａに、上画素の視差データを読み取っ
てレジスタＵに、それぞれ格納し、８７０７においては
注目画素のｍ　Ｘ　ｍ　’和階調を演算してレジスタＥ
およびｅｇに格納し、８７０Ｂにおいては視差データＵ
から２を減じた値をレジスタｉに格納する。

８７１０〜Ｓ　７１４テなるループは、前述したＳ　６
０９〜５６１３でなるループと同じ処理を行なっており
、注目画素のｍ　Ｘ　ｍ　’和階調に最も近いｍ　Ｘ　
ｍ　’和階調を有する右画素（相関が最も高い右画素）
を。

視差Ｑで指定される右画素および主走査軸に沿ったその
前後４画素の中から選出し、注目画素とその右画素の各
ｍ　ｘ　ｍ　’和階調の差をレジスタＥに、その右画素
の視差をレジスタＤにそれぞれ格納している。

次に、５７１７〜５７２１でなるループにおいて視差デ
ータＵを用いて全く同じ処理を行なう、これにより、右
画像の視差ａ画素ならびにその前後４画素および右画像
の視差上画素ならびにその前後４画素の中から、相関が
最も高い右画素が選択され、レジスタＥにはその相関デ
ータが、レジスタＤにはその画素の視差データが、それ
ぞれ格納されるので、５７２２においてそれらのデータ
を注目画素に対応付けて記憶する。

以上説明したように、この処理は左側の境界線の視差デ
ータをその内側の各画素に伝播させるものということが
できる。したがって、注目画素が左側の境界線から離れ
るに従ってその視差データの不確かさが増す、そこで、
Ｓ１０において、今度は逆方向ラスクスキャンによりそ
の対応を補正する。

第１１ａ図〜第１１ｃ図を参照されたい。例えば、左画
像の逆方向ラスクスキャンを行なって注目画素Ｐｏを移
動している間に、あるテクスチャ領域の右側の境界線Ｂ
８の構成画素の左隣の画素を検出したものとする。この
注目画素ｐ。は前述の初期対応処理で求めた視差データ
Ｄを有しており、また、その右隣の画素（右画素）ｐｓ
は右側の境界線ＢＲの構成画素であるので、当然視差デ
ータｒを有している。本来であれば、これらの視差デー
タは略等しくなるはずであるが、このときの注目画素Ｐ
ａが左側の境界線ＢＬから大きく離れているときには前
述したようにそれが異なることがある。その場合には、
右画像の視差り画素Ｐａおよび右画像の視差１画素Ｐｏ
ＩＩならびに主走査軸に沿ったその前後４画素について
注目画素Ｐ。

との相関を検討する。さらにその内側では、処理済みの
視差データを用いて同様の検討を行なう。

より具体的に第３ｈ図を参照して説明する。

５８０１において左画像に対して逆方向ラスクスキャン
処理を設定し、５８０２〜５８０５において未処理のテ
クスチャ領域内画素を探索する。；れを検出すると８８
０６以下に進む。

８８０６においては注目画素の相関データを読み取って
レジスタＥに、その視差データを読み取ってレジスタＤ
に、注目画素の右画素の視差データを読み取ってレジス
タｒに、それぞれ格納し、５８０７においては注目画素
のｍＸｍ’Ｘｍ調和演算してレジスタｅＱに格納する。

８８０８においては、注目画素の視差データＤと右画素
の視差データｒとを比較し、それらの差が所定値Ｐｓ　
　（本実施例では２とする）未満であれば、その注目画
素の相関データＥと視差データＤを確定するが、そうで
ないときに１ｉ８８０９以下の処理を行なう。

８８０９以下は前述と同様であり、視差データｒを用い
て右画像の視差り画素および、視差１画素とその前後４
画素の中から注目画素との相関の最も高い右画素を選出
し、注目画素に対応して記憶している相関データおよび
視差データをそれぞれ補正する。

以上、Ｓ１０までの処理を終了すると、コンピュータ１
は、それぞれの画素に対応付けた視差データにより、各
ＩＴＶカメラユニットの設置位置から各画素に対応する
対象物上の点までの距離を算出する。これについて再度
第１ｂ図を参照されたい。

同一の対象物上の点ＱをＩＴＶカメラ２１および３１で
撮像し、その画像について上記の処理を行なった結果、
左画像の画素ＱＬと右画像の画素ＱＲとが対応している
ことがわかったものとする。

つまり点Ｑは、ＩＴＶカメラ２１の焦点ＯＬとその撮像
面２１１の画素ＱＬとを結ぶ直線と、ＩＴＶカメラ３１
の焦点？５８とその撮像面３１１の画素ＱＲとを結ぶ直
線との交点に存在することになる。

したがって、ＩＴＶカメラ２１および３１の光軸間距離
２ａ、それらの焦点距離ｆを用いれば、画素ＱＬとＱＲ
との視差りより、 Ｚ　＝　２　ａ　ｆ　／　Ｄ　　　　　　　　　　”・
（１）として対象物上の点Ｑまでの距離Ｚが求まる。

Ｓｔｔにおいてこの第（１）式に従って各画素毎に対応
する対象物上の点までの距離データを求め、Ｓ１２にお
いてその距離データを用いてデイスプレィ５上に対象物
の立体表示を行なう。第１２図はその一例を示し、第５
ａ図や第５ｂ図等に示したものと同じ原画像の処理結果
を、そのうちのテクスチャ領域（メロン）のみについて
立体表示を行なったものである。この図を参照すると、
メロンの球形の曲面がよく表現されており、本実施例に
よる左画像と右画像との対応結果が正しいことがわかる
。

以上をまとめると、本実施例においてはＩＴＶカメラ２
１および３１により撮像した左画像と右画像について次
の処理を加える。

（１）各画像毎に微分し、エツジを抽出による画像分割
を行なう； （２）各画像毎に空間的にエツジの存在密度が高い領域
を抽出する； （３）各画像のエツジ密度の低い領域にはそれぞれ個別
のラベルを、エツジ密度の高い領域には共通のラベルを
、それぞれ付する； （４）各画像のエツジ密度の高い領域のうち、それぞれ
独立な領域として認識可能な一塊りの領域をテクスチャ
領域として個別のラベルを付する；（５）各画像の各抽
出領域の境界線をセグメンテーションし、左画像のセグ
メントと右画像のセグメントとを特徴量に基づいて対応
付けする：（６）左画像のテクスチャ領域の境界線と右
画像のテクスチャ領域の境界線とを相関に基づいて対応
付けする； （７）左画像のテクスチャ領域の左側の境界線の視差デ
ータによりその領域内画素の視差データを求める； （８）左画像のテクスチャ領域の右側の境界線の視差デ
ータによりその領域内画素の視差データを補正する； （９）各画素の視差データよりカメラ設置位置から各画
素対応の対称物上の点までの距離を求め。

立体表示を行なう。

つまり、本実施例では、画像のテクスチャ領域とそうで
ない領域とを分割しているので、各領域に対して適切な
処理を行なうことができる。この分割においては、テク
スチャ領域内には、その構成基礎となる要素がある程度
の密度で配列されていることに注目しているので、処理
が簡単であり、また適切である。

また、左画像と右画像との対応を求める際には、隣接す
る画素間の視差が略等しいことに注目して、まず領域の
境界の対応付けを行ない、左側の境界の視差に基づいて
領域内の視差を求めた後、右側の境界の視差に基づいて
これを補正している。テクスチャー領域のように構成要
素が多く、特徴量による対応付けが回置な場合にも簡単
かつ正確にこれをなし得る。

なお、上記実施例においては、左右の２画像を用いてい
るが、さらに多くの画像を処理する場合には上記同様の
処理をそれぞれについて行なえば良い。

また、エツジの抽出やエツジで囲む領域内画素のラベリ
ング（エツジのラベルの領域内伝播）、あるいは境界の
セグメンテーション等の手法は、−例を示したものであ
ることを付記しておく。

〔発明の効果〕

以上説明したとおり、本発明によれば、テクスチャ領域
では、ある種の構成要素が比較的高密度で存在し、空間
的な限られた範囲では略等しい特性を有することに注目
し、テクスチャ領域の境界線の構成する画素に求めた対
応データをその内側に拡張しているので、処理が至って
簡単であり、信頼性も高い。

また、実施例説明に示したように、第１のテクスチャ領
域内の画素の対応データを、第１のテクスチャ領域内を
一定の方向から逐次構成画素を注目することにより求め
た後、それとは逆の方向から逐次構成画素を注目するこ
とによりそれを補正すれば、処理精度が非常に高くなる
。

なお、対応を求めるテクスチャ領域が３以上の場合には
、その任意の１つを第１のテクスチャ領域とし、他を第
２のテクスチャ領域とす九ば、全く同じ手順で対応する
画素を求めることができる。

【図面の簡単な説明】

第１ａ図は本発明を一例で実施する画像処理装置の構成
を示すブロック図であり、第１ｂ図は第１ａ図に示した
ＩＴＶカメラ２１と３１による撮像のモデルを示す模式
図である。 第２図、第３ａ図、第３ｂ図、第３ｃ図、第３ｄ図。 第３ａｌ！ｌ、第３ｆ図、第３ｇ図および第３ｈ図は第
１ａ図に示したコンピュータ１の動作を示すフローチャ
ートである。 第４図は注目画素と８近傍画素との空間的な関係を示す
平面図である。 第５ａ図、第５ｂ図、第６ａ図、第６ｂ図、第７ａ図、
第７ｂ図、第８ａ図、第８ｂ図、第９ａ図、第９ｂ図、
第１０ａ図、第１０ｂ図、第１０ｃ図、第１１ａ図、第
１１ｂ図、第１１ｃ図および第１２図は第１ａ図に示し
たコンピュータ１の処理の具体的な例を示す平面図であ
る。 １：コンピュータ ２．３：ＩＴＶカメラユニット ２１．３１　：　Ｉ　Ｔ　Ｖカメラ ２２．３２　：　Ａ　／　Ｄコンバータ４：画像メモリ ５：デイスプレィ ６：プリンタ ７：フロッピーディスク ８：キーボードターミナル 第 ｂ 図 第 ａ 第２ 図 図 第　ラａ 図 第 ａ 図 第 ｂ 図 第’＋ＩＪ 図 第 ８ａ ［′に１ 第 ａ ［ス１ 第 ８１′１ 図 第 ｂ じ４

Claims (4)

【特許請求の範囲】
1. （１）微小区分の画素で構成される原画像から分割した
   第１のテクスチャ領域と第２のテクスチャ領域に対し、 第１のテクスチャ領域の境界線の特徴量と、第２のテク
   スチャ領域の境界線の特徴量とを比較して第１のテクス
   チャ領域の境界線を構成する画素と、第２のテクスチャ
   領域の境界線を構成する画素との対応関係を示す対応デ
   ータを第１のテクスチャ領域の境界線を構成する画素の
   それぞれに対応付けて求め、 第１のテクスチャ領域内の画素と、少なくともそれに隣
   接する画素の対応データで示される第２のテクスチャ領
   域の画素と相関関係から、該第１のテクスチャ領域内の
   画素の対応データを求め、第１のテクスチャ領域内の各
   画素の対応データにより、それぞれに対応する第２のテ
   クスチャ領域の画素を求める、画像処理方法。
2. （２）前記第１のテクスチャ領域内の画素の対応データ
   は、少なくとも第１のテクスチャ領域内を一定の方向か
   ら、逐次構成画素を注目することにより求める、前記特
   許請求の範囲第（１）項記載の画像処理方法。
3. （３）前記第１のテクスチャ領域内の画素の対応データ
   は、少なくとも第１のテクスチャ領域内を一定の方向か
   ら、逐次構成画素を注目することにより求めた後、それ
   とは逆の方向から、逐次構成画素を注目することにより
   それを補正して求める、前記特許請求の範囲第（１）項
   記載の画像処理方法。
4. （４）前記第１のテクスチャ領域と第２のテクスチャ領
   域は、それぞれ同一対象を有する異なる原画像から分割
   する、前記特許請求の範囲第（１）項、第（２）項また
   は第（３）項記載の画像処理方法。