JP2000230809A

JP2000230809A - 距離データの補間方法，カラー画像階層化方法およびカラー画像階層化装置

Info

Publication number: JP2000230809A
Application number: JP11200622A
Authority: JP
Inventors: Takeo Azuma; 健夫吾妻; Kazuo Nobori; 一生登; Atsushi Morimura; 淳森村; Kenya Uomori; 謙也魚森
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1998-12-09
Filing date: 1999-07-14
Publication date: 2000-08-22

Abstract

(57)【要約】【課題】距離画像中で距離計測が行なえなかった
領域における距離データを補間する方法を提供するこ
と、および距離データを用いたカラー画像の階層化を行
なう方法・装置を提供すること。【解決手段】レンジファインダによる距離画像の撮像
と同時に、ＣＣＤ１０によりカラー画像を撮像する。距
離データ補間部１７は、撮像したカラー画像情報を用
い、着目画素と参照画素間での色の違いおよび画素座標
値の違いに応じた重み付け補間によって、着目画素にお
ける距離データを周囲の画素における距離データから補
間により求める。階層化処理手段１８は、距離データを
用いてカラー画像を階層化し、抽出された画像は、画像
合成部２１において他の画像と合成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、距離データの補間
方法，カラー画像階層化方法およびカラー画像階層化装
置に関する。

【０００２】

【従来の技術】投影光と観察画像の三角測量に基づいて
３次元形状計測を行うレンジファインダ装置としては、
例えば、文献：吉見ら,"複数光源によるレンジファイン
ダシステム", 日本ロボット学会誌, Vol.9, No.7, pp.8
03-812, 1991. に述べられている光切断法によるもの
や、文献：佐藤、井口, "空間コード化による距離画像
入力", 電子通信学会論文誌'85/3Vol.J68-D No3 に示さ
れているパタン光投影法によるものがある。

【０００３】また、画像の階層化，部品化に関する従来
の技術としては、背景を青色一色にして手前の人物を色
情報を用いて抽出するクロマキー技術（ブルーバック）
がある。ここで、「画像の階層化，部品化」とは、画像
中の一部分をその他の部分と区別して抽出，分離し、独
立して処理可能とすることをいう。

【０００４】

【発明が解決しようとする課題】しかし、三角測量によ
る距離測定では、光の投射位置と反射光の受光位置とが
異なるため、受光位置からは見える被写体の一部が、光
の投射位置からは見えないということもあり得る。つま
り、被写体の形状等に起因する遮蔽（オクルージョン）
により、被写体の一部の領域に関して距離を計測できな
い場合がある。このような問題は、被写体表面の光の反
射率が低い場合や、被写体の表面が光を散乱する性質を
もっている場合にも生じる。

【０００５】また、上述のクロマキー技術により、例え
ば、人(前景)を背景から抽出・分離する場合、背景が単
一の色で、しかも、人の体や服と異なる色でなければ、
人物の抽出を行うことができない。

【０００６】このような問題点に鑑み、本発明は、距離
画像中で距離計測が行えなかった領域における距離デー
タを補間する方法を提供すると共に、クロマキーのよう
に背景を単一色にすることなく、実写画像から人物等の
前景を抽出してカラー画像の階層化を行えるカラー画像
階層化方法および装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明では、同一の対象
について撮像したカラー画像の情報を用いた重み付け補
間によって距離データを補間する。画素の座標値のみな
らず、被写体の色情報も考慮して補間を行うため、カラ
ー画像との整合性を加味した適切な距離データの補間を
行える。

【０００８】また、本発明では、上述の補間処理がなさ
れた距離画像の距離情報を用いて、カラー画像を階層化
する。距離画像のもつ奥行きの情報を基にしてカラー画
像を階層化するため、クロマキーのように背景を単一色
にすることなく、実写画像から人物等の領域を抽出する
ことができる。ゆえに、カラー画像の階層化に伴なう制
約を軽減することができる。

【０００９】また、補間処理を経た距離画像には距離デ
ータの欠損領域がないので、カラー画像の全画素を階層
化の対象とすることができる。

【００１０】また、着目画素と参照画素間における色の
違いを考慮して距離データの補間がなされているので、
距離データの補間領域においても、前景・背景間の境界
は、カラー画像における前景・背景間の境界と高精度に
一致する。したがって、距離データ（被写体の奥行き情
報）に基づきカラー画像の前景を背景から分離して抽出
したときに、抽出された前景物体の輪郭はシャープなも
のとなり、画像階層化処理の精度が向上する。

【００１１】

【発明の実施の形態】本発明の第１の態様は、距離画像
中の距離計測が行われなかった領域に属する画素の距離
データを、前記画素の近傍に位置する距離計測が行われ
た画素の距離データを参照して補間する方法であって、
前記距離画像の撮影対象についてカラー画像も取得して
おき、補間の対象となる着目画素に対応する前記カラー
画像における画素の色と、参照画素に対応する前記カラ
ー画像における画素の色とを用いて重み付け係数を算出
し、算出された重み付け係数を前記参照画素の距離デー
タに作用させて距離データを求めるものである。

【００１２】画素の座標値のみならず、被写体の色情報
も考慮して補間を行うため、カラー画像との整合性を加
味した高精度な距離データの補間を行える。

【００１３】本発明の第２の態様では、第１の態様にお
いて、前記重み係数を、前記着目画素に対応する前記カ
ラー画像における画素の色と、前記参照画素に対応する
前記カラー画像における画素の色との差情報をパラメー
タとして含む計算式によって算出するようにした。

【００１４】近接する画素との間の色の違いを反映させ
て重み係数を適応的に変化させることによって、カラー
画像との整合性を加味した高精度な距離データの補間を
行える。

【００１５】本発明の第３の態様は、第２の態様におい
て、前記重み付け係数を算出するための前記計算式は、
前記着目画素と前記参照画素の座標値の差情報をパラメ
ータとして含むようにした。

【００１６】これにより、着目画素と参照画素間の座標
位置の差情報と、カラー画像における対応画素間の色情
報の差情報とを考慮した、高精度の距離データの補間を
行うことができる。

【００１７】本発明の第４の態様では、第１〜第３の態
様のいずれかにおいて、前記距離計測が行われなかった
領域の境界線に接する、距離計測が行われた複数の画素
を前記参照画素とする。

【００１８】境界線に接する複数の画素（好ましくは全
画素）を参照画素とすることにより、補間の精度が向上
する。

【００１９】本発明の第５の態様では、第１〜第３の態
様のいずれかにおいて、前記着目画素から一定の距離内
にある、距離計測が行われた複数の画素を前記参照画素
とする。

【００２０】これにより、参照画素の数を絞り込むこと
ができ、補間処理における負担が軽減される。

【００２１】本発明の第６の態様では、第１〜第３の態
様のいずれかにおいて、前記距離計測が行われなかった
領域の境界線に接し、かつ前記着目画素から一定の距離
内にある、距離計測が行われた複数の画素を前記参照画
素とする。

【００２２】これにより、参照画素の数を絞り込むこと
ができ、補間処理における負担が軽減される。

【００２３】本発明の第７の態様では、第１の態様にお
いて、カラー画像をクラスタリングし、距離欠損領域に
おける距離データの補間をするにあたり、同一のクラス
タ内の距離データの分布が滑らかになるように、かつ、
クラスタ境界では、距離データが不連続となるように、
距離データの分布を決定する。

【００２４】カラー画像において色が異れば、距離画像
においても距離が異なるのが一般的である。すなわち、
カラー画像を領域分割した結果として検出されるクラス
タ境界は、距離画像における距離データの境界とも一致
する可能性が高い。この観点から、クラスタ境界を意識
したデータ補間を行なうことにより、距離データの補間
の精度が向上する。また、距離画像とカラー画像の整合
性が高いために、距離データを用いたカラー画像の階層
化に際し、前景・背景を精度よく分離／抽出することが
できる。

【００２５】本発明の第８の態様では、第１の態様にお
いて、カラー画像にエッジ強調処理を施して得られた
「エッジ」を意識したデータ補間を行なう。

【００２６】クラスタ境界は必ずしも物体の輪郭とは一
致しない場合があるため、エッジ情報を用いて、境界の
位置を補正して、距離データの補間精度を向上させるも
のである。

【００２７】本発明の第９の態様では、第１〜第８の態
様のいずれかにおいて、前記距離画像および前記カラー
画像は、光学的に同じ視点で撮像された画像とする。

【００２８】これにより、距離画像とカラー画像との間
の整合性が維持されることになり、距離情報を用いたカ
ラー画像の階層化が容易となる。

【００２９】本発明の第１０の態様では、第１の態様〜
第８の態様のいずれかにおいて、前記距離画像は、カラ
ー画像とは異なる視点で撮像して得られた距離画像に視
点変換処理を施し、前記カラー画像の視点と同じ視点で
撮像したのと等価な画像に変換された距離画像である。

【００３０】撮像システムの構成上、カラー画像の撮像
視点と距離画像の撮像視点とが異なるものとなった場合
でも、距離画像の距離情報を用いた視点変換処理によっ
て、視点を同じくして撮像されたと同じ距離画像を得る
ことができ、よって、距離画像を用いたカラー画像の階
層化が可能となる。

【００３１】本発明の第１１の態様は、同一対象につい
て距離画像とカラー画像を取得し、距離画像のもつ距離
情報を用いて前記カラー画像を階層化し、前記カラー画
像中の一部分をその他の部分と区別して独立に処理可能
とする方法であって、前記カラー画像の階層化の前に、
前記距離画像中に距離計測が行われなかった領域がある
かを判定し、前記領域がある場合に、前記領域内の画素
について、前記請求項１〜請求項７のいずれかに記載の
方法によって距離データを補間して前記距離画像中から
距離データの欠如部分をなくす第１のステップと、前記
第１のステップを経た距離画像の各画素がもつ距離情報
に基づき、前記カラー画像の全画素を対象として階層化
処理を施す第２のステップと、を有する。

【００３２】補間処理がなされた距離画像の距離情報を
用いて、カラー画像を階層化するので、クロマキーのよ
うに背景を単一色にすることなく、実写画像から人物等
の領域を抽出することができる。また、補間処理を経た
距離画像には距離データの欠損領域がないので、カラー
画像の全画素を階層化の対象とすることができる。ま
た、着目画素と参照画素間における色の違いを考慮して
距離データの補間がなされているので、距離データの補
間領域においても、前景・背景間の境界は、カラー画像
における前景・背景間の境界と高精度に一致する。した
がって、距離データ（被写体の奥行き情報）に基づきカ
ラー画像の前景を背景から分離して抽出したときに、抽
出された前景物体の輪郭はシャープなものとなり、画像
階層化処理の精度が向上する。

【００３３】本発明の第１２の態様は、第１１の態様の
カラー画像階層化方法により階層化されたカラー画像の
一部を抽出し、他の画像と合成する。

【００３４】これにより、クロマキー技術のような前景
と背景の色の制限を排して、画像合成を行うことができ
る。

【００３５】本発明の第１３の態様では、レンジファイ
ンダによって得られる距離画像中で距離計測が行われな
かった領域を抽出する距離データの欠損領域抽出手段
と、前記距離計測が行われなかった領域に属する画素に
ついての距離データを、前記画素の近傍に位置する距離
計測が行われた画素の距離データを参照して補間する距
離補間手段とを具備し、前記距離補間手段は、着目画素
の距離データを参照画素の距離データに基づき補間する
ときに、前記距離画像の対象について撮像されたカラー
画像における、前記着目画素の色と前記参照画素の色を
用いて重み係数を取得し、その重み付け係数を前記参照
画素の距離データに作用させて補間データを得る構成と
した。

【００３６】これにより、カラー画像との高い整合性を
保ちつつ、精度よく距離画像データを補間できる新規な
距離データ補間装置が得られる。

【００３７】また、本発明の第１４の態様では、第１３
の態様において、前記距離補間手段は、前記距離画像の
対象について撮像されたカラー画像における、前記着目
画素と参照画素のそれぞれに対応する画素間での色の違
いの情報を反映させて重み付け係数を取得し、その重み
付け係数を前記参照画素の距離データに作用させて補間
データを得るようにした。

【００３８】これにより、カラー画像との高い整合性を
保ちつつ、精度よく距離画像データを補間できる新規な
距離データ補間装置が得られる。

【００３９】また、本発明の第１５の態様は、第１３の
態様において、前記距離補間手段は、前記距離画像の対
象について撮像されたカラー画像における、前記着目画
素と参照画素のそれぞれに対応する画素間での色の違い
の情報および前記着目画素と参照画素間での画素座標値
の違いを反映させて重み付け係数を取得し、その重み付
け係数を前記参照画素の距離データに作用させて、補間
データを得る構成とした。

【００４０】これにより、カラー画像との高い整合性を
保ちつつ、精度よく距離画像データを補間できる新規な
距離データ補間装置が得られる。

【００４１】また、本発明の第１６の態様では、カラー
画像のクラスタ境界を意識した距離データの補間を行
い、第１７の態様では、エッジ強調処理により得られる
エッジを意識した距離データの補間を行い、これによ
り、距離データ補間装置におけるデータの補間精度を向
上させる。

【００４２】また、本発明の第１８の態様では、第１３
〜第１７のいずれかの態様の距離データ補間装置と、こ
の距離データ補間装置による補間処理を経た距離画像の
各画素がもつ距離情報に基づき、前記距離画像の対象に
ついて撮像されたカラー画像の全画素を対象として階層
化処理を施す階層化装置と、を有する構成とした。

【００４３】これにより、距離情報を利用して正確な画
像の抽出等を行える、新規なカラー画像階層化装置が得
られる。

【００４４】以下、本発明の実施の形態について、図面
を参照して具体的に説明する。

【００４５】（実施の形態１）図１は、距離画像を用い
たカラー画像の階層化を行うためのシステムの全体構成
を示すブロック図である。

【００４６】被写体２３を撮像するレンジファインダ
は、基本的な構成として、光源Ａ（参照符号１）と、光
源Ｂ（参照番号２）と、ハーフミラー３と、回転ミラー
４と、レンズ５と、ハーフミラー６，７と、ＣＣＤ（固
体撮像素子）８，９，１０と、光源制御部１０と、回転
制御部１１と、光源Ａ画像処理部１２ａおよび光源Ｂ画
像処理部１２ｂと、カラーカメラ信号処理部１３と、制
御部１４と、距離計算部１５とを有している。

【００４７】光源Ａと光源Ｂの波長は、一般に赤外領域
に設定され、各光源の光の波長は異なる。光源Ａ，光源
Ｂから出力される光はハーフミラー３で合成される。ま
た、３つのＣＣＤ（固体撮像素子）８，９，１０は、ハ
ーフミラー６，７により分割された光をそれぞれ受光す
るので、光学的な視点は同じである。

【００４８】また、レンジファインダは、撮像により得
られた距離画像に対して補間処理やカラー画像の階層化
を実行するための特別な構成として、距離データの欠損
領域判定部１６と、距離データ補間部１７と、階層化処
理部１８とを有している。

【００４９】また、画像合成装置２１は、階層化処理部
１８により抽出されたカラー画像の一部（例えば、前景
の物体）を、ビデオカメラ１９で撮像された画像または
画像メモリ２０から出力される画像と合成して、新たな
画像を形成する働きをする。本システムでは、合成され
た画像は、画像メモリ２２に格納されるようになってい
る。

【００５０】このシステムにおける、特徴的な動作手順
が図２に示される。

【００５１】すなわち、レンジファインダにより、距離
画像データとカラー画像データを取得する(ステップＳ
Ｔ１)。続いて、距離画像中に距離データの欠損領域が
あるかどうかを判定し、データの欠損領域がある場合に
は、距離データを補間により求める（ステップＳＴ
２）。この場合、同時に撮像されたカラー画像の色情報
を用いて距離データを補間する。

【００５２】次に、補間処理を経て欠損が穴埋めされた
距離画像の距離情報（奥行き情報）を用いてカラー画像
の階層化処理（画像の抽出や分離処理）を行う（ステッ
プＳＴ３）。次に、階層化によって抽出・分離された画
像を、他の画像と合成して（ステップＳＴ４）、画像メ
モリに格納する(ステップＳＴ５)。

【００５３】以上が、図１のシステムの特徴的な動作の
概要である。以下、各処理について図３〜図６を用いて
具体的に説明する。

【００５４】図３は、図１の構成の中から、距離データ
の欠損領域判定部１６と距離データ補間部１７を抜き出
して示すものである。

【００５５】距離データの欠損領域判定部１６は、距離
画像（Ｓ１）と評価値画像（Ｓ２）とに基づき、距離画
像（Ｓ１）中で距離データが欠損している領域を判定・
抽出する。評価値画像としては、例えば、レンジファイ
ンダの距離計算時に用いる光強度画像を使用できる。

【００５６】距離データが欠損していると判定されて抽
出される領域は、例えば、距離画像のデータが極端に大
きな領域や、逆に極端に小さな領域であり、あるいは、
評価値画像（光強度画像）において光強度が一定値以下
もしくは一定値以上の領域である。

【００５７】距離データ補間部１７は、距離データの欠
損領域として抽出された領域を示す信号（Ｓ４）と、距
離画像（Ｓ１）および距離画像と同一視点で撮像したカ
ラー画像（Ｓ３）を入力とし、所定の補間演算によっ
て、距離データの欠損領域における距離データを算出す
る。

【００５８】距離データは、対応する画素間での色の違
い、および画素座標値の違いに応じて重み付け係数を算
出し、その重み付け係数を参照画素の距離データに作用
させて求められる（重み付け補間）。

【００５９】図４は、距離データの欠損領域における距
離データを、重み付け補間によって算出する方法を説明
するための図である。図４において、領域Ａは距離デー
タの欠損領域であり、領域Ｂは距離データを持つ周囲の
領域である。

【００６０】距離データの欠損領域Ａ内の画素（ｘ，
ｙ）における距離データは、周囲の領域Ｂに属し、かつ
その領域と接する参照画素（ｓ，ｔ）における距離デー
タを参照し、下記（数１）の重み付け補間により決定す
る。

【００６１】

【数１】

【００６２】（数１）において、積分路Ｃは距離データ
の欠損領域と接する周囲の全画素である（図４に太い黒
線で記載されている）。また、（数１）の分子は、重み
の合計を１にするための正規化項である。

【００６３】（数１）で注目すべきことは、画像空間中
における着目画素と参照画素間の距離情報ｒx,yに加え
て、色空間中における着目画素と参照画素間の距離情報
ｒRGBをパラメータとして重み付け係数を求めているこ
とである。求められた重み付け係数は参照画素の距離デ
ータに乗算され、その結果を距離データ欠損領域の周囲
の全画素について合算し（線積分）て補間による距離デ
ータが求められる。

【００６４】このように、（数１）の重み付け補間で
は、着目画素における距離データは、着目画素と参照画
素間の座標値の違い及びＲＧＢの画素値の違いに応じて
重み付けされて求められる。その結果、着目画素におけ
る距離データは、画素平面上での距離が近く（画素座標
値の違いが少なく）、色の近い（ＲＧＢの画素値の違い
が少ない）参照画素における距離データの影響を強く受
けるように補間される。以上のように本実施の形態によ
れば、距離画像と同時に撮像したカラー画像の情報を用
い、距離データの欠損領域内の着目画素と参照画素間で
の色の違い、および、画素座標値の違いに応じた重み付
け補間によって、距離データを周囲の画素における距離
データから決定することができる。

【００６５】この結果、補間により距離データが新たに
求められた領域を含む距離画像の前景・背景間の境界
は、カラー画像での前景・背景間の境界と精度よく一致
する。したがって、距離画像のもつ距離情報に基づきカ
ラー画像の一部(例えば前景)を抽出する際、抽出された
カラー画像(前景)の周囲に、背景の色が混じって境界が
不鮮明となるといった不都合が生じない。すなわち、距
離画像を用いたカラー画像階層化時の物体輪郭の検出精
度を向上させることが可能となる。

【００６６】なお、本実施の形態における距離データの
欠損領域での距離計算式は、（数１）に示すものに限る
必要はなく、下記の（数２）に示すものでもよい。

【００６７】

【数２】

【００６８】（数２）では、（数１）における安定化項
λが省略されている。

【００６９】また、距離データの補間演算式は、（数
１），（数２）に限定されるものではなく、（数３），
（数４）に示すものを使用してもよい。（数３），（数
４）では、（数１），（数２）における画像空間中での
距離の２乗と色空間中での距離の２乗を、画像空間中で
の距離と色空間中での距離に置き換えたものである。。

【００７０】

【数３】

【００７１】

【数４】

【００７２】さらに、本実施の形態における距離データ
の補間演算式として、（数３）、（数４）において用い
た画像空間中での距離と色空間中での距離を、画像空間
中での着目画素と参照画素間の座標値の差の絶対値の和
と、色空間中での着目画素と参照画素間の色成分の差の
絶対値の和とに置き換えた、（数５）、（数６）に示す
演算式を採用することもできる。

【００７３】

【数５】

【００７４】

【数６】

【００７５】また、本実施の形態における距離データの
補間演算においては、線積分の積分路上の全ての画素を
参照画素とせず、積分路上の数画素おきに参照画素を間
引いて、参照画素数を減少させることも有効である。こ
の場合、計算時間を短縮できるというメリットがある。

【００７６】また、距離データの補間演算は、距離デー
タの欠損領域と接する周囲の画素を積分路とする線積分
に限る必要はない。例えば、画像内で着目画素から一定
距離内にある距離データを持つ画素を参照する面積分を
行っても同様の結果を得ることができる。さらに、画像
内で着目画素から一定距離内にあり、距離データの欠損
領域と接する周囲の画素を積分路とする線積分によって
も同様の結果を得ることができる。また、面積分の積分
領域内での全ての画素を参照画素とするかわりに、参照
画素を積分領域内の数画素おきにするように間引いて、
計算時間を短縮することもできる。

【００７７】以上説明した距離データを求める動作をま
とめると図５のようになる。つまり、距離データの欠損
領域を抽出し（ステップＳＴ１）、次に、距離データの
欠損領域に接する参照画素の距離データに、カラー画像
での色の違いおよび画素座標値の違いに応じた重み係数
を演算し、全参照画素について合算する（ステップＳＴ
２）。

【００７８】図６は、図１のシステムにおける、階層化
処理部１８の内部構成例を示すブロック図である。

【００７９】図示されるように、階層化処理部１８に
は、同一対象についての距離画像（Ｓ５）とカラー画像
が並列に入力される。この階層化処理部１８は、入力さ
れる距離画像（Ｓ５）の距離画像値と所定のしきい値と
を比較し、その判定結果を出力する比較手段５１と、抽
出・分離手段５２とを有する。

【００８０】比較手段５１の判定の結果、距離画像の値
がしきい値未満の場合には、抽出・分離手段５２は、カ
ラー画像（Ｓ３）の画素値を、前景画像（Ｓ６）として
出力し、背景画像としては、便宜上、一定の画素値（例
えば黒や青等）を出力する。逆に、距離画像の値が一定
のしきい値以上の場合には、カラー画像（Ｓ３）の画素
値を背景画像として出力し、前景画像（Ｓ６）には、便
宜上、一定の画素値を出力する。このような処理によっ
て、前景と背景を分離し、前景のみを抽出することがで
きる。

【００８１】上述したとおり、距離画像を補間している
ため、距離データの欠損領域がなく、しかも、カラー画
像の色情報も加味した補間であるため、距離画像での前
景・背景間の境界は、カラー画像での前景・背景間の境
界と高精度に一致している。したがって、カラー画像の
全画素について、距離画像を用いた階層化を精度よく行
うことができる。

【００８２】なお、補間処理をしない距離画像を用いて
階層化を行う場合には、距離画像中で距離計測が行えな
かった画素については、例えば、扱える距離範囲の最大
値を充填する等、一定の距離値を充填することにより、
カラー画像の全画素について距離画像を用いた階層化を
行うことができる。以上のように、本実施の形態によれ
ば、距離画像を用いることにより、背景を単一の色にす
ることなく実写画像から人物等の前景を抽出し、カラー
画像の階層化を行うことができる。なお、本実施の形態
では、簡単のため２層の階層化について説明したが、同
様のしきい値処理により階層数を３以上にできることは
明らかである。

【００８３】（実施の形態２）図７は、本実施の形態に
おいて距離画像の測定に用いるレンジファインダ装置の
構成を示すブロック図である。

【００８４】図示されるように、レンジファインダ装置
は、光源３０と、スリット３１と、複数の距離画像撮像
用カメラ３２ａ〜３２ｃと、カラー画像撮像用カメラ３
４と、スリット駆動部３５と、撮像タイミング制御部３
６と、画像処理部３７と、距離計算部３８と、距離統合
部３９と、を具備する。

【００８５】前掲の実施の形態では、距離画像を撮像す
るカメラとカラー画像を撮像するカメラの光学的視点は
一致していたが、本実施の形態では、両者は不一致であ
る。そこで、本実施の形態では、距離画像とカラー画像
の視点を一致させるべく、視点変換を行う。

【００８６】図８は、本実施の形態におけるデータ補間
装置の構成を示すブロック図である。図８の構成は、図
３の構成とほぼ同じであるが、本実施の形態では、視点
変換部５０が設けられている点で異なる。

【００８７】視点変換部５０は、距離画像（Ｓ１）と距
離データの欠損領域判定結果を示す画像（Ｓ４）とを入
力とし、各画像を視点変換して、カラー画像の視点に一
致させる。視点変換は、下記の（数７）に示す式により
行う。

【００８８】（数７）において、視点変換パラメータＡ
〜Ｌは、更正時に決定する。すなわち、３次元座標値
（Ｘ，Ｙ，Ｚ）が既知の物体をカラー画像用カメラで撮
像し、カラー画像での座標値（ｘ，ｙ）と既知の３次元
座標値（Ｘ，Ｙ，Ｚ）との組を複数計測し、最小２乗当
てはめによりＡ〜Ｌを決定し、更正を行う・

【００８９】

【数７】

【００９０】以上のように本実施の形態によれば、距離
画像とカラー画像の視点が異なる場合にも、両者の視点
を一致させることにより、カラー画像の情報を用いて、
着目画素における距離データを周囲の画素における距離
データから決定することができる。この結果、補間処理
がなされた領域を含む距離画像における前景・背景間の
境界は、カラー画像での前景・背景間の境界と高精度に
一致するようになり、距離画像を用いたカラー画像階層
化時の前景物体輪郭の検出精度を向上させることができ
る。

【００９１】また、本実施の形態においては、座標変換
として視点変換について述べたが、下記（数８）や（数
９）に示す１次変換や２次変換を、先に説明した視点変
換の後処理あるいは距離計算の前処理とすることもでき
る。

【００９２】

【数８】

【００９３】

【数９】

【００９４】これにより、光学系の特性の違いを補正す
ることが可能となる。

【００９５】（実施の形態３）図９は、実施の形態１の
変形にかかる距離画像を用いたカラー画像の階層化を行
うためのシステムの全体構成を示すブロック図である。

【００９６】図９において、実施の形態１と同一の動作
をするものについては、図１と同一の符号を付し、説明
を省略する。

【００９７】本実施の形態も、前掲の実施の形態と同様
に、カラーカメラで撮像した被写体の色情報も考慮して
欠損した距離データを補間し、距離情報から判断される
前景・背景の境界を、色情報から判断される前景・背景
の境界と一致させるようにし、カラー画像と距離画像と
の間で被写体の境界の整合をとるという点で共通してい
る。

【００９８】ただし、本実施の形態では、画像の画素値
（カラー画像であればＲ，Ｇ，Ｂの３次元の特徴空間に
おける画素値）を複数のクラスタに分類し、距離画像の
境界が各クラスタの境界に一致するように、距離データ
を補間する。

【００９９】すなわち、色が異なる領域については、撮
像カメラからの各距離も異なっているであろうし、同じ
色の領域内にある部分については、撮像カメラからの距
離も同じであろう、という前提にたって、クラスタの境
界の情報を距離データの補間処理に役立てるものであ
る。

【０１００】以下、クラスタリング部１７０１と距離デ
ータの補間部１７０２の動作について説明する。

【０１０１】クラスタリング部１７０１は、カラー画像
のクラスタリング（領域分割）を行う。広義のクラスタ
リングは、対象の画像を、特徴の均一な部分画像（クラ
スタ）に分割する処理であり、これによって画像の大局
的な構造の把握が容易となる。本実施の形態では、上述
のとおり、ＲＧＢ空間における画素値のクラスタリング
を行なう。本実施の形態におけるクラスタは、カラー画
像における色の類似性に基づいて分割された閉じた領域
を意味する。

【０１０２】クラスタリングの方法は、画素値（カラー
画像であればＲ，Ｇ，Ｂの３次元空間における画素値）
を複数のクラスタに分類するものであればよく、特に限
定されるものではない。

【０１０３】本実施の形態では、クラスタリングの手法
として、k-mean法（ｋ平均アルゴリズム）を用いる。以
下、k-mean法について説明する。

【０１０４】k-mean法は、データ全体をあらかじめ与え
た数のクラスタに分類するアルゴリズムである。k-mean
法は以下の4つの手順によりクラスタリングを行なう。（１）クラスタ数、終了条件の決定. （２）初期クラスタを配置. （３）データの配置. （４）終了判定. (終了しない場合には、（３）に戻
る)。本実施の形態ではクラスタ数は固定の値として与える
（例えば１０）。また、終了条件は各クラスタに配置さ
れるデータ数が収束するか、もしくは、クラスター更新
の繰り返し計算の回数が一定の回数（例えば10回）に達
した場合とする。

【０１０５】初期クラスタの配置は、全データの平均ベ
クトルｍ、標準偏差ベクトルσより、ｉ番目のクラスタ
重心ｃiを（数１０）で求める。

【０１０６】

【数１０】

【０１０７】ここで、ｎはクラスタ数、ｉ＝１，
２，．．．，ｎ。

【０１０８】クラスタリング部１７０１によるクラスタ
リング結果は、クラスタ画像（Ｓ６）、すなわち、クラ
スタ数の多値化画像として出力される。

【０１０９】図１０は、クラスタと距離データの欠損領
域の位置関係を示す図である。図１０では、簡単のため
にクラスタ数を「７」としている。上述のクラスタリン
グ処理により、画像中の画素は、クラスタ１（参照符号
９０１）からクラスタ７（参照符号９０７）のいずれか
に分類される。

【０１１０】また、図１０において、斜線を施して示さ
れる領域９０８ａ，９０８ｂ，９０８ｃが、距離データ
の欠損領域である。図示されるように、距離データの欠
損領域９０８ａはクラスタ２（参照符号９０２）に属
し、距離データの欠損領域９０８ｂはクラスタ５（参照
符号９０５）に属し、距離データの欠損領域９０８ｃは
クラスタ７（参照符号９０７）に属している。

【０１１１】次に、欠損領域９０８ａ〜９０８ｃにおけ
る距離値の決定（補間）方法について説明する。図９に
おいて、距離データの補間部１７０２は、距離計算部１
５から出力される距離画像（Ｓ１）と、距離データの欠
損領域判定部１６から出力される評価値画像（Ｓ２）
と、クラスタリング部１７０１から出力されるクラスタ
画像（Ｓ６）とに基づき、距離データの欠損領域におけ
る距離値を決定する。

【０１１２】距離データの欠損領域における距離値は、
この欠損領域における距離値の分布ｄ(x,y)についての
エネルギーＥ（数１１）を定義し、これを最小化する距
離値の分布として決定される。

【０１１３】

【数１１】

【０１１４】この式からわかるように、距離データの欠
損領域におけるエネルギーＥは、画素の（ｘ，ｙ）座標
と、距離ｄと、距離ｄの変数ｘによる偏微分と、距離ｄ
の変数ｙによる偏微分をパラメータとする関数により現
わされる。具体的には、距離ｄの偏微分値を各々２乗し
て加算し、これに重み係数ｗ（ｘ，ｙ）を乗算したもの
を領域Ａについて面積分し、これに１／２を乗算しても
求められる。

【０１１５】ここで、積分領域Ａは、距離データの欠損
領域と、このデータの欠損領域の周囲に接する１画素分
の領域（距離データが取得されている領域に属する）と
を含む領域である。距離データが取得されている領域を
含むのは、この距離データを参照して距離データの欠損
領域の距離データを補間するからである。

【０１１６】また、重み関数ｗ（ｘ，ｙ）は、一つのク
ラスタ内にある各画素に対しては、正の大きな値をとる
ように設定され、クラスタ境界の画素（すなわち、違う
クラスタの画素と接する画素）については、ゼロもしく
は正の小さな値をとるように設定される（重み関数ｗは
負になることはない）。つまり、他のクラスタとの境界
にある画素と、クラスタ内にある画素とを明確に区別
し、重み係数に大きな差をつけるようにする。

【０１１７】これにより、（数１１）を最小化する欠損
領域における距離値の分布は、クラスタ境界で大きく変
化し、一つのクラスタ内では滑らかに変化するようにな
る。すなわち、一つのクラスタに属するデータの欠損領
域の距離データの決定は、その欠損領域の周囲の画素で
あって、かつ、そのクラスタに属する画素の距離値を参
照して行われることになる。したがって、そのクラスタ
内では、距離値は、周囲の画素の距離値を基準として少
しずつ滑らかに変化していく。

【０１１８】一方、異なるクラスタと接する境界の画素
の距離値は、クラスタ内で滑らかな分布を示していた他
の画素の距離値と大きく異なることになり、ここで、距
離値の不連続が発生することになる。

【０１１９】これにより、色の境界に合致するように距
離データにも境界が正確に形成されることになり、カラ
ー画像と距離画像との間で、前景・背景の輪郭が高精度
に一致するようになる。

【０１２０】（数１１）を最小化する欠損領域における
距離値の分布は、以下のように求められる。すなわち、
上述のエネルギー値Ｅが極値を取る条件は、変分δE =
0 として、以下のようになる。

【０１２１】

【数１２】

【０１２２】そして、この条件を満たす、欠損領域にお
ける距離値の分布を、例えば、反復法、有限要素法、境
界要素法などの数値計算によって決定する。

【０１２３】（実施の形態４）図１１は、実施の形態３
の変形にかかる距離画像を用いたカラー画像の階層化を
行うためのシステムの全体構成を示すブロック図であ
る。図１１において、実施の形態３と同一の動作をする
ものについては、図９と同一の符号を付し、説明を省略
する。

【０１２４】本実施の形態の特徴は、カラー画像におい
てエッジ強度を検出し、エッジ情報により、上述の（数
１１）における重み係数ｗ（ｘ，ｙ）を補正することで
ある。実施の形態３では、クラスタの境界に着目して距
離データを補間しているが、クラスタ境界は、厳密にみ
れば、前景と背景の境界と一致しないことがあるため、
より精度をあげるために、エッジ強調処理により得られ
たエッジの情報を利用して距離データの補間を行なうも
のである。

【０１２５】以下、エッジ強度検出部１７０３および距
離データの補間部１７０４の動作について説明する。

【０１２６】エッジ強度検出部１７０３は、カラー画像
の各画素についてエッジ強度を計算する。エッジ強度
は、例えば、カラー画像の輝度勾配のノルム（水平輝度
勾配と垂直輝度勾配の２乗和の平方根）、もしくは、Ｒ
ＧＢそれぞれの成分の勾配のノルムの和として計算す
る。なお、エッジ強度は上記の様に垂直水平の両方の成
分を考慮したものが望ましいが、水平勾配の絶対値のみ
から計算してもよい。

【０１２７】距離データの補間部１７０４は、距離計算
部１５による距離画像（Ｓ１）、距離データの欠損領域
判定部１６による評価値画像（Ｓ２）、クラスタリング
部１７０１によるクラスタ画像（Ｓ６）、エッジ強度検
出部によるエッジ強度（Ｓ７）から、距離データの欠損
領域における距離値を決定する。

【０１２８】距離データの欠損領域における距離値は、
該欠損領域での距離値の分布ｄ(x,y)についてのエネル
ギーＥ（数１３）を定義し、これを最小化する距離値の
分布として決定する。

【０１２９】

【数１３】

【０１３０】ここで、積分領域Ａは距離データの欠損領
域、および、距離データの欠損領域と接する周囲の画素
である。また、重み関数Ｗ（ｘ、ｙ）は、（数１１）に
おける重み関数ｗ（ｘ，ｙ）をエッジ強度によって補正
したものである。

【０１３１】エッジ強度による重みの補正は、エッジ強
度の大きいところで重みが小さくなるように補正する。
これにより、（数１３）を最小化する欠損領域における
距離値の分布は、クラスタ境界で大きく変化し、クラス
タ内では滑らかに変化する。また、欠損領域の周囲の距
離値とは、クラスタリングの結果に応じて、同一クラス
タの画素における距離値とは滑らかに接続し、異なるク
ラスタの画素における距離値とは不連続となる。さら
に、欠損領域内のエッジ強度の大きい画素において距離
値が大きく変化する様に決定される。

【０１３２】（数１３）のエネルギー値Ｅが極値を取る
条件は、変分δE = 0 より、以下のようになる。

【０１３３】

【数１４】

【０１３４】この（数１４）を満たす欠損領域における
距離値の分布は、例えば、反復法、有限要素法、境界要
素法などの数値計算によって決定される。

【０１３５】

【発明の効果】以上説明したように、本発明によれば、
距離画像における前景・背景間の境界を、カラー画像に
おける前景・背景間の境界と一致させ、距離画像を用い
たカラー画像階層化時の前景物体輪郭の検出精度を向上
させることができる。また、クロマキーのように背景を
単一色にすることなく、実写画像から人物等の前景を抽
出し、カラー画像の階層化を行うことができ、その実用
的効果は大きい。

【図面の簡単な説明】

【図１】本発明の実施の形態１における、距離画像を用
いたカラー画像の階層化を行うためのシステムの全体構
成を示すブロック図

【図２】実施の形態１にかかるシステムの主要な動作を
示すフロー図

【図３】実施の形態１における距離データ補間装置の構
成を示すブロック図

【図４】実施の形態１における距離データの補間演算を
説明するための図

【図５】実施の形態１における距離データ補間演算処理
の手順を示すフロー図

【図６】実施の形態１における画像階層化装置の構成を
示すブロック図

【図７】本発明の実施の形態２におけるレンジファイン
ダの構成を示すブロック図

【図８】実施の形態２における距離データ補間装置の構
成を示すブロック図

【図９】本発明の実施の形態３におけるレンジファイン
ダの構成を示すブロック図

【図１０】実施の形態３におけるクラスタリングおよび
距離データの欠損領域を説明するための図

【図１１】実施の形態４におけるレンジファインダの構
成を示すブロック図

【符号の説明】

１光源Ａ２光源Ｂ３ハーフミラー４回転ミラー５レンズ６，７ハーフミラー８，９，１０固体撮像素子１１回転制御部１２ａ，１２ｂ画像処理部１３カラーカメラ信号処理部１４制御部１５距離計算部１６距離データの欠損領域判定部１７距離データ補間部１８階層化処理部１９カラー画像撮像用カメラ２０画像メモリ２１画像合成装置２２画像メモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者森村淳大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者魚森謙也大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 2F065 AA22 AA45 AA61 BB05 CC16 DD00 EE05 FF04 FF09 HH12 JJ03 JJ16 JJ26 LL12 LL13 LL37 QQ14 QQ24 QQ27 QQ32 5B057 BA15 CA01 CB01 CE08 CE09 DA07 DB03 DB06 DC02 DC16 DC25 5L096 AA02 CA05 FA06 FA66 GA08 GA19 GA40 MA07

Claims

【特許請求の範囲】

【請求項１】距離画像中の距離計測が行われなかった
領域に属する画素の距離データを、前記画素の近傍に位
置する距離計測が行われた画素の距離データを参照して
補間する方法であって、前記距離画像の撮影対象につい
てカラー画像も取得しておき、補間の対象となる着目画
素に対応する前記カラー画像における画素の色と、参照
画素に対応する前記カラー画像における画素の色とを用
いて重み係数を算出し、算出された重み付け係数を前記
参照画素の距離データに作用させて距離データを求める
ことを特徴とする距離データの補間方法。
【請求項２】前記重み付け係数を、前記着目画素に対
応する前記カラー画像における画素の色と、前記参照画
素に対応する前記カラー画像における画素の色との差情
報をパラメータとして含む計算式によって算出すること
を特徴とする請求項１記載の距離データの補間方法。
【請求項３】前記重み付け係数を算出するための前記
計算式は、前記着目画素の座標値と前記参照画素の座標
値との差情報をパラメータとして含むことを特徴とする
請求項２記載の距離データの補間方法。
【請求項４】前記距離計測が行われなかった領域の境
界線に接する、距離計測が行われた複数の画素を前記参
照画素とすることを特徴とする請求項１〜請求項３のい
ずれかに記載の距離データの補間方法。
【請求項５】前記着目画素から一定の距離内にある、
距離計測が行われた複数の画素を前記参照画素とするこ
とを特徴とする請求項１〜請求項３のいずれかに記載の
距離データの補間方法。
【請求項６】前記距離計測が行われなかった領域の境
界線に接し、かつ前記着目画素から一定の距離内にあ
る、距離計測が行われた複数の画素を前記参照画素とす
ることを特徴とする請求項１〜請求項３のいずれかに記
載の距離データの補間方法。
【請求項７】前記カラー画像を複数のクラスタに分割
すると共に、クラスタ境界を検出し、クラスタ境界の情
報を利用して、同一クラスタ内の画素が分布するところ
では距離データの値が滑らかに変化し、かつ、クラスタ
境界においては距離データの値が不連続に変化するよう
に、前記距離計測が行われなかった領域における距離デ
ータの分布を決定することを特徴とする請求項１記載の
距離データの補間方法。
【請求項８】前記カラー画像を複数のクラスタに分割
してクラスタ境界を検出すると共に、前記カラー画像か
らエッジ強度を抽出し、前記距離画像中の距離計測が行
われなかった領域における距離データの分布を、前記ク
ラスタ境界と前記エッジ強度とをパラメータとして含む
計算式を最小化するように決定することを特徴とする請
求項１記載の距離データの補間方法。
【請求項９】前記距離画像および前記カラー画像は、
光学的に同じ視点で撮像された画像であることを特徴と
する請求項１〜請求項８のいずれかに記載の距離データ
の補間方法。
【請求項１０】前記距離画像は、カラー画像とは異な
る視点で撮像して得られた距離画像に視点変換処理を施
し、前記カラー画像の視点と同じ視点で撮像したのと等
価な画像に変換された距離画像であることを特徴とする
請求項１〜請求項８のいずれかに記載の距離データの補
間方法。
【請求項１１】同一対象について距離画像とカラー画
像を取得し、距離画像のもつ距離情報を用いて前記カラ
ー画像を階層化し、前記カラー画像中の一部分をその他
の部分と区別して独立に処理可能とする方法であって、
前記カラー画像の階層化の前に、前記距離画像中に距離
計測が行われなかった領域があるかを判定し、前記領域
がある場合に、前記領域内の画素について、前記請求項
１〜請求項７のいずれかに記載の方法によって距離デー
タを補間して前記距離画像中から距離データの欠如部分
をなくす第１のステップと、前記第１のステップを経た
距離画像の各画素がもつ距離情報に基づき、前記カラー
画像の全画素を対象として階層化処理を施す第２のステ
ップと、を有することを特徴とするカラー画像階層化方
法。
【請求項１２】請求項１１記載のカラー画像階層化方
法により階層化されたカラー画像の一部を抽出し、他の
画像と合成することを特徴とする画像合成方法。
【請求項１３】レンジファインダによって得られる距
離画像中で距離計測が行われなかった領域を抽出する距
離データの欠損領域抽出手段と、前記距離計測が行われ
なかった領域に属する画素についての距離データを、前
記画素の近傍に位置する距離計測が行われた画素の距離
データを参照して補間する距離補間手段と、を具備し、
前記距離補間手段は、着目画素の距離データを参照画素
の距離データに基づき補間するときに、前記距離画像の
対象について撮像されたカラー画像における、前記着目
画素の色と前記参照画素の色を用いて重み付け係数を取
得し、その重み付け係数を前記参照画素の距離データに
作用させて補間データを得ることを特徴とする距離デー
タ補間装置。
【請求項１４】前記距離補間手段は、前記距離画像の
対象について撮像されたカラー画像における、前記着目
画素と参照画素のそれぞれに対応する画素間での色の違
いの情報を反映させて重み付け係数を取得し、その重み
付け係数を前記参照画素の距離データに作用させて補間
データを得ることを特徴とする請求項１３記載の距離デ
ータ補間方法。
【請求項１５】前記距離補間手段は、前記距離画像の
対象について撮像されたカラー画像における、前記着目
画素と参照画素のそれぞれに対応する画素間での色の違
いの情報および前記着目画素と参照画素間での画素座標
値の違いを反映させて重み付け係数を取得し、その重み
付け係数を前記参照画素の距離データに作用させて補間
データを得ることを特徴とする請求項１３記載の距離デ
ータ補間装置。
【請求項１６】前記距離補間手段は、前記距離画像の
撮影対象について取得されたカラー画像をクラスタリン
グした結果として得られるクラスタ境界の情報を利用し
て、同一クラスタ内の画素が分布するところでは距離デ
ータの値が滑らかに変化し、クラスタ境界において距離
データの値が不連続に変化するように、前記距離画像中
の距離計測が行われなかった領域における距離データの
分布を決定することを特徴とする請求項１３記載の距離
データ補間装置。
【請求項１７】前記距離補間手段は、前記距離画像の
撮影対象について取得されたカラー画像をクラスタリン
グした結果として得られるクラスタ境界の情報と、前記
カラー画像から抽出されたエッジ強度とを利用し、前記
クラスタ境界の情報と前記エッジ強度とをパラメータと
して含む計算式を最小化するように、前記距離画像中の
距離計測が行われなかった領域における距離データの分
布を決定することを特徴とする請求項１３記載の距離デ
ータ補間装置。
【請求項１８】請求項１３〜請求項１７のいずれかに
記載の距離データ補間装置と、この距離データ補間装置
による補間処理を経た距離画像の各画素がもつ距離情報
に基づき、前記距離画像の対象について撮像されたカラ
ー画像の全画素を対象として階層化処理を施す階層化装
置と、を有することを特徴とするカラー画像階層化装
置。