JPH09161074A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 特殊な装置を一切必要とせず、過去に蓄積さ
れた画像を含むあらゆる２次元画像から物体間の遠近関
係を推測し、３次元データを生成する方法を提供する。 【解決手段】 画像を格納するフレームバッファ１と、
フレームバッファ１から画像を読み出し出力する画像読
み出し手段２と、画像読み出し手段２の出力から輪郭を
抽出し出力とする輪郭抽出手段３と、輪郭抽出手段３の
出力から輪郭同士がＴ字型に交わっている部分を検出し
座標を位置出力、Ｔ字が奥行き方向を軸に傾いている角
度を角度出力とする交点検出手段４と、輪郭抽出手段３
の出力を境界として輪郭画像を複数の領域に分割出力す
る領域分割手段５と、交点検出手段４の位置出力と角度
出力を基に領域分割手段５が出力する複数の領域間の遠
近関係を推測しこれを奥行きデータとして第１の推測出
力とする第１の奥行き推測手段６とを備えたことを特徴
とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、奥行き方向の距離
情報を持たない２次元画像から、画像中の複数物体間の
遠近関係を抽出する画像処理装置に関する。

【０００２】

【従来の技術】近年、コンピュータの性能が上昇するに
つれ、パーソナルユースのコンピュータでも３次元ＣＧ
などが手軽に処理できるようになってきた。しかしなが
ら３次元物体の形状データは２次元データとは異なり、
簡易に入力する装置がなく、データ取得が困難であっ
た。これを解決するため画像認識の分野では、カメラか
ら入力された画像から３次元物体の形状認識や復元ある
いは奥行き方向の距離情報の抽出など、３次元情報を取
得する技術の必要性が高まってきている。

【０００３】例えば物体までの距離を求める方式として
は、異なった位置に設置された２つのカメラで同じ物体
を撮影し、視差を利用して距離を算出する方式が考案さ
れている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
ような構成は特殊な撮影装置を必要とするためコストの
増大が回避できず、しかも過去に撮影され蓄積されてき
た２次元画像データを利用することができないという問
題点を有していた。また、各画素毎の視差をすべて処理
しなければならないためリアルタイム処理に向いていな
いという問題も有している。

【０００５】そこで、本発明は上記問題点に鑑み、遠方
の物体の一部を近傍の物体が隠蔽すると２物体の輪郭は
Ｔ字型に交わることに着目し、特殊な撮影装置を一切必
要とせず過去に蓄積された画像を含むあらゆる２次元画
像から物体間の遠近関係を簡便に推測・抽出して３次元
データを生成する画像処理装置を提供することにある。

【０００６】

【課題を解決するための手段】上記問題点を解決するた
めに本発明は、奥行き方向の距離情報を持たない２次元
画像から複数の物体間の遠近関係を抽出し３次元データ
を生成する画像処理装置において、２次元画像を格納す
るフレームバッファと、フレームバッファから２次元画
像を読み出して出力する画像読み出し手段と、画像読み
出し手段の出力を入力とし、入力から輪郭線を抽出して
出力する輪郭抽出手段と、輪郭抽出手段の出力を入力と
し、入力された輪郭線同士がＴ字型に交わっている座標
を位置出力、交わった輪郭線が形づくるＴ字が奥行き方
向を軸に回転している角度を角度出力とする交点検出手
段と、画像読み出し手段の出力と輪郭抽出手段の出力を
入力とし、画像読み出し手段の出力を輪郭抽出手段の出
力する輪郭線を境として領域分割して出力する領域分割
手段と、交点検出手段の位置出力と角度出力と領域分割
手段の出力とを入力とし、交点検出手段の位置出力と角
度出力を基に、領域分割手段の出力する領域相互間の遠
近関係を推測し出力とする推測手段とを備える。

【０００７】本発明は上記した構成によって、まず画像
読み出し手段がフレームバッファから処理画像を読み出
し出力する。輪郭抽出手段は画像読み出し手段の出力か
ら輪郭を抽出し出力する。領域分割手段は輪郭抽出手段
の出力する輪郭線を境界として画像を領域分割し出力す
る。交点検出手段は輪郭抽出手段の出力から輪郭がＴ字
に交わっている部分を検出し、検出したＴ字の位置と傾
きをそれぞれ位置出力と角度出力とする。第１の推測手
段は交点検出手段の位置出力と角度出力から領域分割出
力の出力する領域相互間の遠近関係を推測し出力する。

【０００８】本発明では、視点近くにある物体が遠方に
ある物体を遮る場合に生じる輪郭線の形状に注視するこ
とによって、２次元画像から物体の奥行きを推測し３次
元データを生成することができる。

【０００９】第２の発明では、生成する３次元データの
精度を上げるため、微小領域ごとの模様の細かさを元に
算出した微小領域の視点からの相対距離を用いる。

【００１０】第３の発明では、精度向上に輪郭線の密度
から求めた視点からの相対距離を用いる。模様の細かさ
を直接扱うと処理量が増大するため、輪郭線の密度で模
様の細かさを代用することにより、３次元データの精度
を向上しつつ処理量の増大を抑えた画像処理装置を実現
することが可能となる。

【００１１】

【発明の実施の形態】以下、本発明の一実施例の画像処
理装置について、図面を参照しながら説明する。

【００１２】（実施の形態１）図１は本発明の第１の実
施例における画像処理装置のブロック図である。

【００１３】図１において、１は被処理画像が格納され
ているフレームバッファである。２はフレームバッファ
１から被処理画像を読み出し、画像出力とする読み出し
手段である。３は読み出し手段２の画像出力を入力と
し、入力から輪郭線を抽出して輪郭出力とする輪郭抽出
手段である。４は輪郭抽出手段３の輪郭出力を入力と
し、入力の輪郭線同士がＴ字型に交わっている座標と交
わる角度を検出して座標を位置出力、角度を角度出力と
する交点検出手段である。５は輪郭抽出手段３の輪郭出
力とを入力とし、輪郭抽出手段３の輪郭出力を境界とし
て画像を領域分割し領域出力とする領域分割手段であ
る。６は交点検出手段４の位置出力と角度出力と領域分
割手段５の領域出力とを入力とし、交点検出手段４の位
置出力と角度出力から領域分割手段５の出力する分割さ
れた領域相互間の遠近関係を推測し第１の推測出力とす
る第１の推測手段である。

【００１４】以上のように構成された画像処理装置につ
いて、以下図１を用いてその動作を説明する。ただし、
ここでは被処理画像を図４に示した画像とする。図５は
本実施例による画像処理過程の各部の出力である。

【００１５】まずフレームバッファ１から読み出し手段
２が被処理画像を読み出し、画像出力（図４参照）とす
る。

【００１６】輪郭抽出手段３は読み出し手段２の画像出
力から輪郭線を抽出して輪郭出力（図５(a)参照）とす
る。

【００１７】次に交点検出手段４は輪郭抽出手段３の輪
郭出力から輪郭線がＴ字型に交わっている部分を検出
し、交点の座標とＴ字が奥行き方向を回転軸としてどれ
だけ回転しているかを出力する。例えば交点のｘｙ座標
を(100,50)、Ｔ字の回転を反時計回り方向に45°である
とすると、交点検出手段４の位置出力は(100,50)、角度
出力は45°となる。交点検出手段４の交点検出は入力の
全領域について行い、本実施例の被処理画像の場合、位
置出力(100,50),角度出力45°と、位置出力(100,150),
角度出力-45°の２組（図５(b)参照）が交点検出手段４
の出力となる。

【００１８】領域分割手段５は、輪郭抽出手段３の輪郭
出力を境界として画像を領域分割する。本実施例の被処
理画像の場合、画像出力は三つの領域に分割され領域出
力（図５(c)参照）となる。

【００１９】第１の奥行き推測手段６は領域分割手段５
の出力する領域相互間の遠近関係を交点検出手段４の位
置出力と角度出力から推測する。本実施例の被処理画像
の場合、交点検出手段４は２組の出力を行なうため、第
１の奥行き推測手段６による推測も二回行なわれる。

【００２０】第１の奥行き推測手段６は位置出力(100,5
0),角度出力45°という入力を受け取ると、座標(100,5
0)においては右下45°から延びた輪郭線が右上がりの輪
郭線によって断ち切られていると解釈し、このことから
座標(100,50)より左上にある領域Ａは領域Ｂおよび領域
Ｃを遮るような位置に存在すると推測する。つまり、領
域Ａは領域Ｂと領域Ｃよりも視点に近い位置に存在する
と解釈する。

【００２１】同様に、位置出力(100,150),角度出力-45
°という入力に対しても領域Ａが領域Ｂおよび領域Ｃよ
りも近傍にあるという推測を行ない、以上二回の推測結
果に矛盾が生じないことから、領域Ａが最も視点近傍に
存在するという推測結果を得、第１の推測出力とする。

【００２２】また、もし仮に複数の推測結果間で矛盾が
生じた場合には多数決判定を行ない、矛盾する推測の数
が最も少なくなるような推論結果を第１の推測出力とす
るか、あるいは矛盾する推測の数に矛盾する領域の面積
を乗じた値が最も少なくなるような推測結果を選んで第
１の奥行き推測出力とする。

【００２３】以上のように、本実施例によれば、輪郭が
Ｔ字型に交わる位置と輪郭が形づくるＴ字の傾きに注目
することにより、単一の２次元画像から遠近情報を抽出
する画像処理装置を提供することが出来る。

【００２４】（実施の形態２）図２は本発明の第２の実
施例における画像処理装置のブロック図である。図２に
おいて図１と同一の機能を有するものには同一の符号を
付してその詳細な説明を省略する。ただし、ここでは被
処理画像を図４に示した画像とする。図６は本実施例に
よる画像処理過程の各部の出力である。

【００２５】図２において、７は画像入力手段１の画像
出力を入力とし、入力を一定サイズの微小ブロックに分
割した後、微小ブロックの距離を推測して出力とする第
１の距離検出手段７である。

【００２６】７１は入力を一定サイズの微小ブロックに
分割して第１のブロック出力（図６(d)参照）とする第
１のブロック分割手段７１である。７２は第１のブロッ
ク分割手段７１の第１のブロック出力を入力とし、入力
されたブロックを２次元周波数変換して周波数出力とす
る周波数変換手段７２である。７３は周波数変換手段７
２の周波数出力を入力とし、入力の周波数分布を基に模
様の細かさを検出して検出出力（図６(e)参照）とする
模様検出手段７３である。７４は模様検出手段７３の検
出出力を入力とし、入力された模様の細かさを基にブロ
ックの距離を算出して出力（図６(f)参照）する第１の
距離算出手段７４である。

【００２７】８は推測手段６の第１の奥行き推測出力と
第１の距離検出手段７の出力とを入力とし、両入力に対
してもっとも矛盾の少ない遠近関係の組み合わせを推測
して第２の推測出力とする第２の奥行き推測手段８であ
る。

【００２８】以上のように、本実施例によれば、輪郭が
Ｔ字型に交わる位置と輪郭が形づくるＴ字の傾きに注目
し、同時に２次元画像の小領域ごとの模様の細かさに注
目することにより、単一の２次元画像から遠近情報を精
度よく抽出する画像処理装置を提供することが出来る。

【００２９】（実施の形態３）図３は本発明の第３の実
施例における画像処理装置のブロック図である。図３に
おいて図１と同一の機能を有するものには同一の符号を
付してその詳細な説明を省略する。ただし、ここでは被
処理画像を図４に示した画像とする。図７は本実施例に
よる画像処理過程の各部の出力である。

【００３０】図３において、９は輪郭抽出手段２の輪郭
出力を入力とし、入力を一定サイズの微小ブロックに分
割した後微小ブロックの距離を推測して出力とする第２
の距離検出手段９である。

【００３１】９１は入力を一定サイズの微小ブロックに
分割して第２のブロック出力（図７(d)参照）とする第
２のブロック分割手段９１である。９２は第２のブロッ
ク分割手段９２の第２のブロック出力を入力とし、入力
されたブロック内の輪郭の密度を検出して密度出力（図
７(e)参照）とする密度検出検出手段９２である。９３
は密度検出手段９２の密度出力を入力とし、入力を基に
ブロックの距離を推測して出力（図７(f)参照）とする
第２の距離算出手段９３である。

【００３２】１０は第１の推測手段６の第１の奥行き推
測出力と第２の距離検出手段９の出力とを入力とし、両
入力に対してもっとも矛盾の少ない遠近関係の組み合わ
せを推測して推測出力とする第３の奥行き推測手段１０
である。

【００３３】図２と異なるのは、距離の推測に模様の細
かさを周波数変換したものを用いる代わりに、輪郭の密
度を検出したものを用いたことである。これにより検出
手段の構造を簡略化すると共に検出速度の高速化を実現
する。

【００３４】

【発明の効果】以上のように、本発明は画像から輪郭線
を抽出して、輪郭線がＴ字型に交わる部分を基に輪郭線
で区切られた領域相互の前後関係を推測する手段を設け
ることにより、何ら特別な撮影装置や撮影テクニックに
頼ることなく単一の２次元画像から３次元データを生成
する画像処理装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における画像処理装置の
ブロック図

【図２】本発明の第２の実施例における画像処理装置の
ブロック図

【図３】本発明の第３の実施例における画像処理装置の
ブロック図

【図４】本発明の第１の実施例の説明のための被処理画
像を示す図

【図５】本発明の第１の実施例による画像処理過程の出
力図

【図６】本発明の第２の実施例による画像処理過程の出
力図

【図７】本発明の第３の実施例による画像処理過程の出
力図

【符号の説明】

１ フレームバッファ ２ 画像読み出し手段 ３ 輪郭抽出手段 ４ 交点検出手段 ５ 領域分割手段 ６ 第１の奥行き情報推測手段 ７ 第１の距離検出手段 ７１ 第１のブロック分割手段 ７２ 周波数変換手段 ７３ 模様検出手段 ７４ 第１の距離算出手段 ８ 第２の奥行き情報推測手段 ９ 第２の距離検出手段 ９１ 第２のブロック分割手段 ９２ 密度検出手段 ９３ 第２の距離算出手段 １０ 第３の奥行き情報推測手段

Claims (3)

【特許請求の範囲】
1. 【請求項１】奥行き方向の距離情報を持たない２次元画
   像から複数の物体間の遠近関係を抽出し３次元データを
   生成する画像処理装置において、 ２次元画像を格納するフレームバッファと、 前記フレームバッファから画像を読み出し出力する画像
   読み出し手段と、 前記画像読み出し手段の出力を入力とし、前記画像読み
   出し手段の出力から輪郭線を抽出して出力とする輪郭抽
   出手段と、 前記輪郭抽出手段の出力を入力とし、前記輪郭抽出手段
   の出力から輪郭線同士がＴ字型に交わっている部分を検
   出し交わっている座標を位置出力、交わっている輪郭線
   が形成するＴ字が奥行き方向を軸に傾いている角度を角
   度出力とする交点検出手段と、 前記輪郭抽出手段の出力を入力とし、前記輪郭抽出手段
   の出力を境界として輪郭線画像を複数の領域に分割して
   出力する領域分割手段と、 前記交点検出手段の位置出力と角度出力と前記領域分割
   手段の出力とを入力とし、前記交点検出手段の位置出力
   と角度出力を基に領域分割手段が出力する複数の領域相
   互間の遠近関係を推測しこれを奥行きデータとして第１
   の推測出力とする第１の奥行き推測手段とを備えたこと
   を特徴とする画像処理装置。
2. 【請求項２】前記画像読み出し手段の出力を入力とし、
   前記画像読み出し手段の出力を一定サイズのブロックに
   分割して出力とする第１のブロック分割手段と、 前記第１のブロック分割手段の出力を入力とし、前記第
   １のブロック分割手段の出力をブロック毎に２次元周波
   数変換して出力とする周波数変換手段と、 前記周波数変換手段の出力を入力とし、前記周波数変換
   手段の出力からブロック毎の模様の細かさを検出し出力
   とする模様検出手段と、 前記模様検出手段の出力を入力とし、模様の細かいブロ
   ックほど遠方にあるという仮定の下に前記模様検出手段
   の出力からブロック毎の奥行き方向の距離を算出して出
   力とする第１の距離算出手段と、 前記第１の推測手段の第１の推測出力と前記第１の距離
   算出手段の出力とを入力とし、前記第１の推測手段の第
   １の推測出力と前記第１の距離算出手段の出力の間に矛
   盾がない場合は前記第１の距離算出手段の出力をそのま
   ま第２の推測出力とし、矛盾がある場合には矛盾箇所に
   対して前記第１の距離算出手段の出力を基準にしてもっ
   とも矛盾が少なくなる遠近関係の組合せを第２の推測出
   力とする第２の推測手段とを備えたことを特徴とする請
   求項１記載の画像処理装置。
3. 【請求項３】前記輪郭抽出手段の出力を入力とし、前記
   輪郭抽出手段の出力を一定サイズのブロックに分割して
   出力とする第２のブロック分割手段と、 前記第２のブロック分割手段の出力を入力とし、前記第
   ２のブロック分割手段の出力するブロック内の輪郭線の
   密度を検出し出力とする密度検出手段と、 前記密度検出手段の出力を入力とし、輪郭線の密度が高
   いブロックほど遠方にあるという仮定の下に前記密度検
   出手段の出力からブロックの奥行き方向の距離を算出し
   て出力とする第２の距離算出手段と、 前記第１の推測手段の第１の推測出力と前記第２の距離
   算出手段の出力とを入力とし、前記第１の推測手段の第
   １の推測出力と前記第２の距離算出手段の出力の間に矛
   盾がない場合には前記第２の距離算出手段の出力をその
   まま第３の推測出力とし、矛盾がある場合には矛盾箇所
   に対して前記第２の距離算出手段の出力を基準にしても
   っとも矛盾が少なくなる遠近関係の組合せを第３の推測
   出力とする第３の推測手段とを備えたことを特徴とする
   請求項１記載の画像処理装置。