JPH0229879A - 画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は、各種の性質を有する領域が混在する画像の画
像分割に関する。

（従来の技術） 一般的な画像には各種の性質を有する領域が混在してい
る。テクスチャはそれらの中から各領域をか何であるか
を視覚により判断する上で重要な役割りを果している６
例えば、メロンを含む画像においては、メロンのテクス
チャ（模様）が、メロンの領域を他から分離していると
≧もに、遠くのテクスチャは細かく、近くのテクスチャ
は粗く見えることから、その遠近感、すなわち立体形状
を表現している。つまり、画像処理を行なう上でも、テ
クスチャの領域を合理的に分割できれば、その領域が示
す対象に関する各種の処理１例えば距離検出による立体
表示や認識処理等に便利である。

一般には、テクスチャ領域では、いくつかの基本的な構
成要素がある種の規則のもとに配列されていることに基
づいて構成要素を抽出し、その配列規則を解析する試み
がなされている。

（発明が解決しようとする課題） ところで、これに従えば、メロンであればその網目を構
成する線素の１つ１つについて特徴量を検出し、それを
統計的に処理することになる。この処理量は非常に多く
、処理データも厖大となるため、メモリ容量の小さいマ
イクロコンピュータ程度では国璽が予想される。

本発明は、簡単な処理により、各種の性質を有する領域
が混在している画像からテクスチャ領域を適切に分割す
る画像処理方法を提供することを目的とする。

〔発明の構成〕

（課題を解決するための手段） 上記目的を達成するため、本発明においては、原画像を
構成する微小区分の画素の各画像データを２値化して２
値化データを生成し、該２値化データの空間的な密度の
高い領域を分割し、２値化データがその空間的な連続性
から分割する領域と、２値化データの空間的な密度の高
い領域との重りに基づいて、テクスチャ領域を分割する
。

ものとする。

（作用） これによれば、テクスチャ領域には、ある種の構成要素
が比較的高密度で存在しているので、その密度に注目し
た本発明は、これを容易に分割し得る。この際、該密度
のみならず、２値化データの空間的な連続性により分割
される領域との重なりに基づいているので、領域の境界
が明確になり。

適切な分割が行なわれる。

なお、本発明の好ましい実施例においては、２値化デー
タを、画像データの空間的変化を示す変化データを２値
化することにより求めている。これにより、単純に２値
化した場合より、テクスチャの構成要素を明確に検出し
、かつ、その連続性を確保し得る。

本発明の他の目的および特徴は、以下の図面を参照した
実施例説明より明らかになろう。

（実施例） 第１ａ図に、本発明を一例で実施する１画像処理装置の
構成を示す。

この装置は、コンピュータ１．ＩＴＶカメラユニット２
ならびに３９画像メモリ４．デイスプレィ５．プリンタ
６、フロッピーディスク７、およびキーボードターミナ
ル８等でなる。・・ＩＴＶカメラユニット２および３は
、それぞれ、前方のシーンを撮像して５１２Ｘ５１２画
素区分でアナログデータを出力する同諸元のＩＴＶカメ
ラ２１゜３１、および、ＩＴＶカメラ２１または３１の
出力アナログデータをデジタル変換して２５６階調の原
画像データを生成するＡ／Ｄコンバータ２２゜３２でな
る。

ＩＴＶカメラ２１と３１とは、第１ｂ図に示すように−
（ただし、これはＩＴＶカメラ２１および３１による撮
像のモデルを°示し、各カメラの構造を示すものではな
い）、ＩＴ’Ｖカメラ２１を左にＩＴＶカメラ３１を右
にして水平に並べられており、それぞれの光軸２１１お
よび３１１は平行であ□す、かつ、それぞれの撮像面２
１２および３１２は同一面にある。したがって、各撮像
面の上辺をそれぞれＸＬ軸、Ｘ代軸、左辺をそれぞれ・
ＹＬ軸ｓＹＲ軸とするとき、ＸＬ軸とＸ、軸は同一直線
上に漬り、ＹＬ軸とＹＲ軸とは平行になる。なお、以下
においては、ＩＴＶカメラ２１が撮像した画像を左画像
と、ＩＴＶカメラ３１が撮像した画像を右画像と呼ぶも
のとする。

画像メモリ４は読み書き自在であり、左画像や右画像の
原画像データを始めとして種々の処理データを記憶する
。

デイスプレィユニット５およびプリンタ６はコンピュー
タ１の処理結果等を出力し、フロッピーディスク７はそ
の処理結果等を登録しておく、また、キーボードターミ
ナル８はオペレータにより操作されて、各種の指示が入
力される。

コンピュータ１には、さらにホストコンピュータが接続
さ、れており、そこから与えられた指示、またはキーボ
ードターミナル８より与えられた指示に従って各部を制
御し、対応する処理を行なう。

以下、その処理のうち、前方のシーンの３次元グラフィ
ック表示を行なうための、″立体処理”について説明す
る。

第２図は、キーボードターミナル８より与えられた立体
処理実行指示により起動される立体処理ルーチンの概略
を示すゼネラルフローであり、第３ａ図〜第３ｈ図はそ
の中の重要ステップを詳細に示すサブフローである。

コンピュータ１は、立体処理の開始に当って。

Ｓｌ（フローチャートのステップに付した番号を示す：
以下同義）において画像メモリ４およびこの処理で用い
るレジスタを初期化し、Ｓ２においてＩＴＶカメラユニ
ット２および３を介して左画像および右画像の原画像デ
ータを画像メモリ４内に書き込むにの後、Ｓ３において
、各画像の画像分割を行なう。

この画像分割について第３ａ図を参照して説明する。

５１０１においては、左画像に対して順方向ラスタスキ
ャンを設定する。順方向ラスタスキャンは、第１ｂ図に
示す撮像領域２１２　（３１２）内を、ＸＬ（ＸＲ）軸
を主走査軸とし、ＹＬ（ＹＲ）軸を副走査軸として左上
端画素から右下画素に至る経路で各画素に注目する走査
をいい、ここでは、その走査開始位置を初期化する。な
お、因みに後述する逆方向ラスタスキャンは、この逆に
、右下端画素から左上画素に至る経路で各画素に注目す
る走査をいう。

８１０２〜５１０５では、順方向ラスタスキャンを行な
いなから微分データおよび傾きデータを生成し、微分デ
ータのヒストグラムを作成する。

微分データは、注目画素およびその８近傍画素の原画像
データを第４図に示すように呼称するとき、 （ＰＩ　＋Ｐ２　十Ｐ８　）−（Ｐ４　＋Ｐｓ　＋Ｐ６
　）で与えられる主走査方向微分データと、（Ｐ２＋Ｐ
３＋Ｐ４）　　（Ｐ６＋Ｐ７＋Ｐ８）で与えられる副走
査方向微分データとの和であり、原画像データの空間的
な変化量を示す。また、傾きデータは、上記の主走査方
向微分データと副走査方向微分データとの比、すなわち
、 副走査方向微分データ／主走査方向微分データを８分類
したものであり、原画像データが空間的に変化して行く
方向を示す。コンピュータ１は、これらのデータを各画
素に対応付けして画像メモリ４に書き込む。

ヒストグラムは微分データの大きさと出現頻度を求めた
ものであり、コンピュータ１は順方向ラスタスキャンを
終了すると、５１０６においてこのヒストグラムより閾
値を設定して微分データを２値化し、２値化データを各
画素に対応付けして記憶する。

このようにして２値化した結果、原画像データが空間的
に急激に変化する部位、すなわち″エツジ″が検出され
る。このエツジが、前方シーンに存在する物の輪郭やテ
クスチャを示しているときにはそれが連続となることが
好ましいが、撮像条件等により、必ずしも連続とはなら
ない。そこで。

５１０７において再び順方向ラスタスキャンを設定する
と、８１０８以下において不連続なエツジを接続する処
理を行なう。

８１０８において、未だ接続処理を行なっていないエツ
ジの端点画素（エツジの切れ目画素）を検出すると順方
向ラスタスキャンを中断して、その画素を注目画素とし
、５１０９においてその８近傍画素から、注目画素の傾
きデータが示す方向にある画素を延長候補画素に選定し
、５１１０においてその判定を行なう。ここでは、延長
候補画素、および、それに注目画素の傾きデータと直交
する方向に連結する両側２画素の微分データを比較し、
延長候補画素対応微分データが最大であれば尾根と判定
する。

尾根と判定した場合には５１１１においてその延長候補
画素にエツジを延長する。このとき、延長した画素が再
び端点画素となる場合には５１１２から５１０９に戻り
それに注目して上記を繰り返すが、そうでないときには
エツジが接続されたことになるので、５１１５に進み順
方向ラスタスキャンを再開する。また、尾根でないと判
定した場合には５１１３において上記の延長候補画素の
両側２画素のうちの山側の画素に延長候補画素を更新す
る。

このとき、更新した延長候補画素が注目画素の８近傍に
あれば５１１０に戻り上記の判定を行なうが、それを外
れた場合にはエツジは切れているものとして５１１５に
進み順方向ラスタスキャンを再開する。

左画像について以上の画像分割を終了すると、全く同じ
手順で右画像の画像分割を実行する。

第５ａ図および第５ｂ図は、ある左画像および右画像に
対してそれぞれ画像分割を行なった結果を示す、これよ
り、ポット、メロン、カップならびにソーサの輪郭およ
びメロンのテクスチャが線画で明確に表わされているこ
とがわかる。

コンピュータ１は、画像分割を終了すると８４において
各画像の高エツジ密度領域の抽出を行なう、これについ
て第３ｂ図を参照して説明する。

ここでは、８２０１において左画像に対する順方向ラス
タスキャンを設定し、Ｓ　２０２〜５２１３でなるルー
プを実行する。

５２０２においては注目画素を中心とするｎＸｎ画素（
本実施例ではｎ＝２１とした）でなるウィンドを設定し
、５２０３においてはレジスタＭｅをクリアし、８２０
４においてはウィンド内の順方向ラスタスキャンを設定
する。

８２０５〜８２０８はウィンド内のエツジ構成画素をカ
ウントするループであり、その数はレジスタＭｅに格納
される。

８２０９〜３２１１は、ウィンド内の全画素（ｎ　Ｘ　
ｎ）に対するエツジ構成画素（レジスタＭ６の値）の割
合（Ｍｅ／ｎＸｎ）からエツジ密度を判定し、所定密度
Ｐａ’　　（本実施例では１７６とした）を超えるとき
、高エツジ密度領域の画素であるとしてその注目画素に
対応して゛高″（高エツジ密度領域の画素を示すラベル
）を書き込む。

左画像について以上の高エツジ密度領域の抽出を終了す
ると、全く同じ手順で右画像の高エツジ密度領域の抽出
を実行する。

第６ａ図および第６ｂ図は、前述した第５ａＩ！１およ
び第５ｂ図について、それぞれ高エツジ密度領域の抽出
を行なった結果であり、抽出領域を黒画素で示している
。これらの図には、第５ａｌ！Ｉおよび第５ｂ図より高
エツジ密度領域と当然予想されるメロンを示す領域が抽
出されているが、その輪郭はあまり鮮明ではない。

コンピュータ１は、高エツジ密度領域の抽出を終了する
と８５において各画像の領域のラベリングを行なう、こ
れについて第３ｃ図を参照して説明する。

５３０１においては左画像に対する順方向ラスタスキャ
ンを設定し、５３０２においてはうベルデータを′−様
な面の領域”用の初期値Ｌ″にセットする。

注目画素がエツジ構成画素であり、かつ、ラベリングの
済んでいない画素であれば、順方向ラスタスキャンを中
断して、５３０５においてレジスタＭｔおよびＭｒをク
リアし、５３０６〜５３１１でなるループにおいて、エ
ツジを追跡しなから、エツジを構成する画素に対応付け
てラベルデータＬを書き込み、レジスタＭｒにそのエツ
ジを構成する画素数をカウントし、レジスタＭｔＩＩ、
そのエツジの高エツジ密度領域に含まれる部分の画素数
をカウントする。このエツジ追跡においては、分岐があ
る毎に追跡方向に対して一定方向のエツジを選択する。

したがって、第７ａ図に示すように、エツジが複数の閉
じた領域を構成しているときには、そのうちの、最小単
位となる閉領域（例えばＲ１）の周縁を追跡することに
なる。また、レジスタＭｒのカウント値はその閉領域の
周縁画素数を、レジスタＭｔのカウント値は高エツジ密
度領域の抽出による画像（ハツチングで示す）を重ねた
ときにそれに含まれるその閉領域の周縁画素数をそれぞ
れ示すものとなる。

５３１２においては、レジスタＭｒのカウント値とレジ
スタＭｔのカウント値の比を求める。この比は、追跡し
たエツジのうち、高エツジ密度領域に含まれる割合を示
すものであり、この比が所定値Ｍ　ｓ　”″　（本実施
例では０．５としている）以下のときには−様な面の領
域と判定し、Ｓ　３１４においてラベルデータＬを１イ
ンクリメントした後、順方向ラスタスキャンを再開する
が、所定値Ｍｓ“を超えるときにはテクスチャ領域と判
定し、５３１５〜５３１７において再度エツジを追跡し
なから、エツジを構成する画素に対応付けて書き込んだ
ラベルデータをｔ″に書き換えた後、順方向ラスタスキ
ャンを再開する。

以上の処理により、−様な面の領域のエツジには、それ
ぞれを識別するラベルが付され、テクスチャ領域のエツ
ジには共通のラベルｔ”が付される。これは、テクスチ
ャ領域のエツジは第５ａ図および第５ｂ図に示されるよ
うに無数にあり、それぞれに独立なラベルを付すること
が実際的でないとの判断による６例えば、第７ａ図の場
合には、各小領域を構成するエツジの全部あるいは殆ど
が高エツジ密度領域に含まれているので、その全ての画
素に対応するラベルデータはｔ”となる。

５３２１〜５３２７でなるループにおいては、順方向ラ
スタスキャンを行いなから、エツジで閉じられる領域内
に、そのエツジと同じラベルを付する６つまり、注目画
素のラベルデータが初期化のままのとき（０）には、そ
の上下左右に連続する画像に付されたラベルデータを各
方向毎に読み取り、各方向に共通するラベルデータがあ
るときはそのラベルデータを注目画素のラベルデータと
して書き込み、共通するラベルデータがないときは背景
画素であることを示すラベルデータ゛′Ａ″を注目画素
のラベルデータとして書き込む、ただし、これにおいて
、エツジで閉じられる領域内に別のエツジで閉じられる
領域があり、各方向に共通するラベルデータは複数にな
るときには、複数の共通するラベルデータのうち、ラス
タスキャンにおいて出現した順序が最も新しいものを注
目画素のラベルデータとする。

例えば、ラベルデータＬ１を付したエツジで囲まれる領
域Ａｌ内にラベルデータＬ２を付したエツジで囲まれる
領域Ａ２があるとき、ラスタスキャンにおいては、領域
Ａ１外の画素、領域Ａ１内であって領域Ａ２外の画素、
領域Ａ２内の画素、領域Ａ１内であって領域Ａ２外の画
素、領域Ａ１外の画素、の順で注目し、領域Ａ１外の画
素に注目したときには共通するラベルデータがないので
ラベルデータ″Δ″を注目画素のラベルデータとして書
き込み、領域Ａ１内であって領域Ａ２外の画素に注目し
たときには共通するラベルデータＬ１を検出するのでそ
れを注目画素のラベルデータとして書き込み、領域Ａ２
内の画素に注目したときには共通するラベルデータＬ１
およびＬ２を検出するが、そのうち後から出現したラベ
ルデータＬ２をその注目画素のラベルデータとする。

以上の左画像に対する処理と同様の処理を右画像に対し
て実行する。

第８ａ図および第８ｂ図は、前述した第５ａ図および第
６ａ図あるいは第５ｂ図および第６ｂ図を構成するデー
タを用いて上記の処理を行ない、テクスチャ領域のみを
示した結果である。これらの図と第６ａ図および第６ｂ
図とを比較すると、メロンを示す領域が鮮明に抽出され
ていることがわかる。これは、第７ｂ図に示すように、
エツジを基準に高エツジ密度領域の切出したため、境界
が連続したことによる。

コンピュータ１は、領域のラベリングを終了すると８６
において各画像のテクスチャ領域の統合およびラベリン
グを行なう。これについて第３ｄ図を参照して説明する
。

５４０１においては左画像に対する順方向ラスタスキャ
ンを設定し、５４０２においてはラベルデータをテクス
チャ領域用の初期値Ｔ”にセットする。

テクスチャ領域には、前述のラベリングによりラベルデ
ータとして共通の値ｔ“を書き込んでいるので、５４０
３および５４０４においてそれを見なからテクスチャ領
域の画素を探索する。その画素が領域境界の画素であり
、未処理であれば、順方向ラスタスキャンを中断し、８
４０７〜５４０９でなるループにおいて、領域境界画素
を追跡しなから各画素に対応付けしてラベルデータをＴ
に書換える。

１つのテクスチャ領域についてこれを終了すると、５４
１０においてラベルデータＴを１インクリメントするの
で、順方向ラスタスキャンを終了すると、各テクスチャ
領域を識別するラベルが、各テクスチャ領域の境界画素
に対応して付される。

次に、５４１４〜５４１９でなるループにおいて、順方
向ラスタスキャンを行いなから、各テクスチャ領域の境
界画素に対応して付したラベルをその領域内の全画素に
付する。これは、ラベルデータｔ１により弁別できる各
テクスチャ領域内の画素を検出する毎に、その左隣の画
素（以下左画素＝周縁画素または処理済み画素である）
に対応するラベルデータを読み取り、それを用いて注目
画素対応のラベルデータを書き換えることによりなされ
る。

以上と同様の処理を右画像に対しても行なう。

このように、８３〜Ｓ６の処理を実行した結果、左右画
像毎に、−様な面の領域とテクスチャ領域が、それぞれ
独立な領域として認識される単位で分割される。

続いて、コンピュータ１は、Ｓ７において左画像の各領
域の境界線と右画像の各領域の境界線とを特徴量により
対応付ける。これについて第３ｅ図を参照して説明する
。

５５０１においては左両像に対する以下の５５０２〜５
５１２でなるループの順方向ラスタスキャン処理を設定
する。

５５０２においては注目画素に対応するラベルデータを
読み取り、それが“Ａ”でなければ、その注目画素は−
様な面の領域またはテクスチャ領域に属するので、５５
０４において、そのラベルデータに対応付けした画素カ
ウンタを１アツプし、そのラベルデータに対応付けした
和階調を格納するレジスタに注目画素の原画像データ（
階調データ′）を加え、そのラベルデータに対応付けし
た２乗和階調を格納するレジスタに注目画素の原画像デ
ータの２乗を加える。

このときの注目画素が、未処理の境界画素であれば、順
方向ラスタスキャンを中断し、５５０７〜５５０９でな
るループにおいて、領域を左に見なから境界画素を追跡
し、注目画素とその４つ先（追跡において）の画素の座
標から直線近似により注目画素のベクトルデータを求め
、注目画素に対応付けて書き込む、これを終了すると、
８５１０においてそのとき求めたベクトルデータを参照
し、ベクトルデータの近似性および画素の連続性からそ
の領域の境界線をセグメンテーションし、各セグメント
のラベル、始点および終点の座標、所属領域のラベルを
テーブルにまとめる。

この後、順方向ラスタスキャンを再開し、上記を繰り返
すと、各領域の境界線のセグメンテーションが完了し、
各領域毎にその構成画素数、構成画素対応の原画像デー
タの総和および２乗和が求まるので、５５１３において
はこれらのデータを用いて各領域の平均階調および階調
の分散を求める。

各領域の構成画素数、平均階調および分散は、それぞれ
の領域の特徴量となる。

５５１４においては、上記と同様にして右画像内の各領
域の境界線のセグメンテーション、および各領域の特徴
量検出を実行する。

５５１５においては、左画像の各領域と右画像の各領域
とを対応付けする。この際、左画像の領域の特徴量と、
その候補となる右画像の領域の特徴量が許容範囲で等し
いことを条件とする。

８５１６においては、左右画像で互いに対応付けされた
領域の境界線のセグメントを対応付ける。

ここでは１両セグメントの始点および終点が許容範囲に
おいて等しいエピポーラ線上にあり、かつ、それらを結
ぶ線分の傾きおよび長さが許容範囲で等しく、その線分
に対して領域の存在する方向が等しいことを条件とする
。このようにして、左右面像の境界線のセグメントを対
応付けると、左画像の境界線のセグメントを構成する画
素に対する、右画像の境界線のセグメントを構成する画
素との視差（各画像を重ねたときの主走査方向のずれ）
を求め、前者（左画像の境界線のセグメントを構成する
画素）に対応付けて記憶する。

コンピュータ１は、きらに、Ｓ８において左画像の各テ
クスチャ領域の境界線と右画像の各乎りスチャ領域の境
界線とを相関により対応付ける。

これについて第３ｆ図を参照して説明する。

５６０１においては左画像に対する以下の５６０２〜５
６１８でなるループの順方向ラスタスキャン処理を設定
する。

８６０２〜Ｓ　６Ｑ５において、未処理のテクスチャ領
域の境界画素を検出すると、順方向ラスタスキャンを中
断して５６０６以下に進む。

未処理の境界画素は、前述の特徴量による境界線の対応
付けにおいて対応画素との視差データを有しているので
、３６０６においてそれを読み取り、レジスタＤに格納
する。

５６０７においては、注目画素（検出した未処理の境界
画素）を中心とするｍ　Ｘ　ｍ　’画素（本実施例では
ｍ＝ｍ’＝７とした）に対応する原画像データの総和（
以下ｍＸｍ’Ｘｍ調和いう）を演算してレジスタＥおよ
びｅｏに格納し、８６０８においては、視差データＤ（
レジスタＤの値：便宜上同記号を用いている：他につい
て同義）から２を減じた値をレジスタｉに、それに２を
加えた値をレジスタＩに、それぞれ格納する。

５６０９において注目画素との視差がｉとなる右画像の
画素（以下右画像の視差１画素という）のｍＸｍ’Ｘｍ
調和求めてレジスタｅｉに格納し、５６１０においては
、レジスタｅｏの値とレジスタｅｉの値の差、すなわち
、注目画素のｍ　Ｘ　ｍ　’和階調と視差１画素のｍＸ
ｍ’Ｘｍ調和差と、レジスタＥの値とを比較する。この
とき、前者が後者未満であれば５６１１においてレジス
タＥに前者を格納し、レジスタＤにレジスタｉの値を格
納する。

この後、５６１２においてレジスタｉを１インクリメン
トし、その値がレジスタＩの値を超えるまで、上記の処
理を繰り返す。

つまり、本実施例においては、左右画像の互いに相関の
高い画素は、同一エピポーラ線上にあり。

かつ、その周囲の階調が略等しいものとして、５６０９
〜５６１３において、注目画素のｍ　Ｘ　ｍ　’和階調
に最も近いｍＸｍ’Ｘｍ調和有する右画素（相関が最も
高い右画素）を、右画像の視差り画素および主走査軸に
沿ったその前後４画素の中から選出している。

５６１４においては、レジスタＥの値、すなわち、注目
画素とこのとき選出した右画素の各ｍ　Ｘ　ｍ　’和階
調の差を相関データとし、レジスタＤの値、すなわち、
その右画素の視差を視差データとして注目画素に対応付
けて記憶する。

５６１５において領域を左に見なから境界画素を更新し
、８６０６以下の処理を繰り返す。

１つのテクスチャ領域の境界線について上記の相関によ
る対応付けを終了すると順方向ラスタスキャンを再開し
、全テクスチャ領域の境界線対応付けを行なう。

第９ａ図は左画像のテクスチャ領域の境界線を示し、第
９ｂ図は相関による対応付けを行なった結果の右画像、
すなわち、左画像の境界線を構成する画素の視差データ
で示される右画素を示す。

以上のようにして、左右画像のテクスチャ領域の境界線
の対応付けを終了すると、次に、Ｓ９において順方向ラ
スタスキャンを行ないなから、各テクスチャ領域の左側
の境界線の視差データに基づいて、その内側の画素の対
応付けを行なう。

まず、その処理の概念を第１０ａ図、第１０ｂ図および
第１０ｃ図を参照して説明する。

例えば、左画像の順方向ラスタスキャンを行なって注目
画素ｐｏ　　（第４図に示した記号を準用：他について
同じ）を移動している間に、あるテクスチャ領域の左側
の境界線ＢＬの構成画素の右隣の画素を検出したものと
する。この場合、注目画素ｐｏの左隣の画素（左画素）
ｐｓは左側の境界線ＢＬの構成画素となり、直上の画素
（上画素）Ｐ３は処理を終了した画素となり、それぞれ
は視差データＱあるいはＵを有している６本実施例にお
いては隣接画素は互いに略等しい視差データを有するも
のと仮定し、これらの視差データＱおよびＵを注目画素
ｐｏに適用して右画像の視差２画素Ｐｏ’ならびに主走
査軸に沿ったその前後４画素、および、右画像の視差上
画素ｐｏ″ならびに主走査軸に沿ったその前後４画素を
求め、これらについて注目画素Ｐａとの相関を検討する
。さらにその内側では、処理済みの視差データを用いて
同様の検討を繰り返す。

より具体的に第３ｇ図を参照して説明する。

５７０１において左画像に対して順方向ラスタスキャン
処理を設定し、５７０２〜５７０５において未処理のテ
クスチャ領域内画素を探索する。これを検出すると８７
０６以下に進む。

８７０６においては注目画素の左画素の視差データを読
み取ってレジスタＱに、上画素の視差データを読み取っ
てレジスタＵに、それぞれ格納し。

５７０７においては注目画素のｍ　Ｘ　ｍ　’和階調を
演算してレジスタＥおよび６Ｑに格納し、８７０８にお
いては視差データＵから２を減じた値をレジスタｉに格
納する。

８７１０〜５７１４でなるループは、前述した５６０９
〜５６１３でなるループと同じ処理を行なっており、注
目画素のｍＸｍ’Ｘｍ調和最も近いｍＸｍ’Ｘｍ調和有
する右画素（相関が最も高い右画素）を、視差Ｑで指定
される右画素および主走査軸に沿ったその前後４画素の
中から選出し、注目画素とその右画素の各ｍＸｍ’Ｘｍ
調和差をレジスタＥに、その右画素の視差をレジスタＤ
にそれぞれ格納している。

次に、５７１７〜５７２１でなるループにおいて視差デ
ータＵを用いて全く同じ処理を行なう、これにより、右
画像の視差０画素ならびにその前後４画素および右画像
の視差Ｕ画素ならびにその前後４画素の中から、相関が
最も高い右画素が選択され。

レジスタＥにはその・相関データが、レジスタＤにはそ
の画素の視差データが、それぞれ格納されるのでご５７
２２においてそれらのデータを注目画素に対応付けて記
憶する。

以上説明したように、この処理は左側の境界線の視差デ
ータをその内側の各画素に伝播させるものということが
できる。したがって、注目画素が左側の境界線から離れ
るに従ってその視差データの不確かさが増す、そこで、
５１０において、今度は逆方向ラスクスキャンによりそ
の対応を補正する。

第１１ａ図〜第１１ｃ図を参照されたい０例えば。

左画像の逆方向ラスクスキャンを行なって注目画素Ｐａ
を移動している間に、あるテクスチャ領域の右側の境界
線Ｂ、の構成画素の左隣の画素を検出したものとする。

この注目画素Ｐｏは前述の初期対応処理で求めた視差デ
ータＤを有しており。

また、その右隣の画素（右画素）ｐｓは右側の境界線８
代の構成画素であるので、当然視差データｒを有してい
る６本来であれば、これらの視差データは略等しくなる
はずであるが、このときの注目画素Ｐｏが左側の境界線
ＢＬから大きく離れているときには前述したようにそれ
が異なることがある。その場合には、右画像の視差り画
素Ｐ。

および右画像の視差１画素Ｐｏ″ならびに主走査軸に沿
ったその前後４画素について注目画素Ｐａとの相関を検
討する。さらにその内側では。

処理済みの視差データを用いて同様の検討を行なう。

より具体的に第３ｈ図を参照して説明する。

５８０１において左画像に対して逆方向ラスクスキャン
処理を設定し、５８０２〜ｓ　ａｏｓにおいて未処理の
テクスチャ領域内画素を探索する。これを検出すると８
８０６以下に進む、　　　　　　　　′５８０６におい
ては注目画素の相関データを読み取ってレジスタＥに、
その視差データを読み取ってレジスタＤに、注目画素の
右画素の視差データを読み取ってレジスタｒに、それぞ
れ格納し、５８０７においては注目画素のｍ　Ｘ　ｍ　
’和階調を演算してレジスタｇ（、に格納する。

８８０８においては、注目画素の視差データＤと右画素
の視差データｒとを比較し、それらの差が所定値Ｐｇ’
　　（本実施例では２とする）未満であれば、その注目
画素の相関データＥと視差データＤを確定するが、そう
でないときには８８０９以下の処理を行なう。

８８０９以下は前述と同様であり、視差データｒを用い
て右画像の視差り画素および、視差１画素とその前後４
画素の中から注目画素との相関の最も高い右画素を選出
し、注目画素に対応して記憶している相関データおよび
視差データをそれぞれ補正する。

以上、８１０までの処理を終了すると、コンピュータ１
は、それぞれの画素に対応付けた視差データにより、各
ＩＴＶカメラユニットの設置位胃から各画素に対応する
対象物上の点までの距離を算出する。これについて再度
第１ｂ図を参照されたい。

同一の対象物上の点ＱをＩＴＶカメラ２１および３１で
撮像し、その画像について上記の処理を行なった結果、
左画像の画素ＱＬと右画像の画素ＱＲとが対応している
ことがわかったものとする。

つまり点Ｑは、ＩＴＶカメラ２１の焦点ｏＬとその撮像
面２１１の画素ＱＬとを結ぶ直線と、ＩＴＶカメラ３１
の焦点０．とその撮像面３１１の画素ＱＲとを結ぶ直線
との交点に存在することになる。

したがって、ＩＴＶカメラ２１および３１の光軸間距離
２ａ、それらの焦点距離ｆを用いれば、画素ＱＬとＱＲ
との視差りより、 Ｚ　＝　２　ａ　ｆ　／　Ｄ　　　　　　　　　　・＝
・（１）として対象物上の点Ｑまでの距離Ｚが求まる。

Ｓｌｌにおいてこの第（１）式に従って各画素毎に対応
する対象物上の点までの距離データを求め、Ｓ１２にお
いてその距離データを用いてデイスプレィ５上に対象物
の立体表示を行なう。第１２図はその一例を示し、第５
ａ図や第５ｂ図等に示したものと同じ原画像の処理結果
を、そのうちのテクスチャ領域（メロン）のみについて
立体表示を行なったものである。この図を参照すると、
メロンの球形の曲面がよく表現されており、本実施例に
よる左画像と右画像との対応結果が正しいことがわかる
。

以上をまとめると、本実施例においてはＩＴＶカメラ２
１および３１により撮像した左画像と右画像について次
の処理を加える。

（１）各画像毎に微分し、エツジを抽出による画像分割
を行なう； （２）各画像毎に空間的にエツジの存在密度が高い領域
を抽出する； （３）各画像のエツジ密度の低い領域にはそれぞれ個別
のラベルを、エツジ密度の高い領域には共通のラベルを
、それぞれ付する； （４）各画像のエツジ密度の高い領域のうち、それぞれ
独立な領域として認識可能な一塊りの領域をテクスチャ
領域として個別のラベルを付する；（５）各画像の各抽
出領域の境界線をセグメンテーションし、左画像のセグ
メントと右画像のセグメントとを特微量に基づいて対応
付けする；（６）左画像のテクスチャ領域の境界線と右
画像のテクスチャ領域の境界線とを相関に基づいて対応
付けする； （７）左画像のテクスチャ領域の左側の境界線の視差デ
ータによりその領域内画素の視差データを求める； （８）左画像のテクスチャ領域の右側の境界線の視差デ
ータによりその領域内画素の視差データを補正する； （９）各画素の視差データよりカメラ設置位置から各画
素対応の対称物上の点までの距離を求め。

立体表示を行なう。

つまり１本実施例では、画像のテクスチャ領域とそうで
ない領域とを分割しているので、各領域に対して適切な
処理を行なうことができる。この分割においては、テク
スチャ領域内には、その構成基礎となる要素がある程度
の密度で配列されていることに注目しているので、処理
が簡単であり、また適切である。

また、左画像と右画像との対応を求める際には、隣接す
る画素間の視差が略等しいことに注目して、まず領域の
境界の対応付けを行ない、左側の境界の視差に基づいて
領域内の視差を求めた後、右側の境界の視差に基づいて
これを補正している。テクスチャー領域のように構成要
素が多く、特微量による対応付けが困難な場合にも簡単
かつ正確にこれをなし得る。

なお、上記実施例においては、左右の２画像を用いてい
るが、さらに多くの画像を処理する場合には上記同様の
処理をそれぞれについて行なえば良い。

また、エツジの抽出やエツジで囲む領域内画素のラベリ
ング（エツジのラベルの領域内伝播）、あるいは境界の
セグメンテーション等の手法は、−例を示したものであ
ることを付記しておく。

〔発明の効果〕

以上説明したとおり、本発明によれば、テクスチャ領域
に、ある種の構成要素が比較的高密度で存在しているこ
とに注目しているので、このテクスチャ領域を容易に分
割し得る。この際、該密度のみならず、２値化データの
空間的な連続性により分割される領域との重なりに基づ
いているので領域の境界が明確になり、適切な分割が行
なわれる。

また、実施例で示したように、２値化データを、画像デ
ータの空間的変化を示す変化データを２値化することに
より求めれば、単純に２値化した場合より、テクスチャ
の構成要素を明確に検出し、かつ、その連続性を確保し
得るも゛のとなり、テクスチャ領域の分割はより確かな
ものとなる。

【図面の簡単な説明】

第１ａ図は本発明を一例で実施する画像処理装置の構成
を示すブロック図であり、第１ｂ図は第１ａ図に示した
ＩＴＶカメラ２１と３１による撮像のモデルを示す模式
図である。 第２図、第３ａ図、第３ｂ図、第３ｃ図、第３ｄ図。 第３ｅ図、第３ｆ図、第３ｇ図および第３ｈ図は第１ａ
図に示したコンピュータ１の動作を示すフローチャート
である。 第４図は注目画素と８近傍画素との空間的な関係を示す
平面図である。 第５ａ図、第５ｂ図、第６ａ図、第６ｂ図、第７ａ図、
第７ｂ図、第８ａ図、第８ｂ図、第９ａ図、第９ｂ図、
第１０ａ図、第１０ｂ図、第１０ｃ図、第１１ａ図、第
１１ｂ図、第１ｉｅ図および第１２図は第１ａ図に示し
たコンピュータ１の処理の具体的な例を示す平面図であ
る。 １：コンピュータ ２．３：ＩＴＶカメラユニット ２１．３１　：　Ｉ　ＴＶカメラ ２２．３２　：　Ａ　／　Ｄコンバータ４：画像メモリ ５：デイスプレィ ６：プリンタ ７：フロッピーディスク ８：キーボードターミナル 第１ｂ図 第１ａ　Ｌ図 第５８ 図 第 ａ 図 ？ＩＫ　Ｓｂ図 第 りＩＪ 口η 第 Ｓａ ｒ’：＜＋ 第 １Ｉ 図 第 Ｘｉ ［ＸＮ 第 （孕）） 図 第 ０ａ 図 第 ０ｂ 図 第 ０Ｃ Ｌ図 第 １ａ 図 第 １ｂ 図 第 １Ｃ し４

Claims (2)

【特許請求の範囲】
1. （１）原画像を構成する微小区分の画素の各画像データ
   を２値化して２値化データを生成し、該２値化データの
   空間的な密度の高い領域を分割し、２値化データがその
   空間的な連続性から分割する領域と、２値化データの空
   間的な密度の高い領域との重りに基づいて、テクスチャ
   領域を分割する、画像処理方法。
2. （２）前記２値化データは、前記画像データの空間的な
   変化を示す変化データを２値化して得る、前記特許請求
   の範囲第（１）項記載の画像処理方法。