JP3149839B2

JP3149839B2 - 物体抽出装置

Info

Publication number: JP3149839B2
Application number: JP00192998A
Authority: JP
Inventors: 裕一仁野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1998-01-07
Filing date: 1998-01-07
Publication date: 2001-03-26
Anticipated expiration: 2018-01-07
Also published as: JPH11203482A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体抽出装置に関
し、特に、動物体が存在している領域を画像上から抽出
する物体抽出装置に関する。

【０００２】

【従来の技術】従来、物体抽出装置を用いた物体抽出手
法として、例えば、１９９６年度電子情報通信大会ソサ
イエティ大会論文誌Ｄ−４０４「ステレオ画像を利用し
た動物体検出」（里田他１９９６．９）によって提案さ
れたステレオ画像による物体抽出手法がある。

【０００３】図５（ａ），（ｂ）は、この物体抽出手法
を示す図である。この物体抽出手法によれば、まず、図
５（ａ）に示すように、対象物体のない画像をステレオ
カメラで撮影する。このステレオカメラで撮影された左
画像（左カメラの撮像面Ｓ_l）および右画像（右カメラ
の撮像面Ｓ_r）からなるステレオ画像を対象にして、こ
れらの画像の画素間の対応関係を計算する。対応関係の
計算とは、背景上の任意の一点Ｐ_bに対応する左画像上
の画素Ｐ_lおよび右画像上の画素Ｐ_rを求めることであ
る。なお、図において、Ｃ_lは左カメラのレンズの中心
を表しＣ_rは左カメラのレンズの中心を表す。この対応
関係の計算は、画像全体を対象として行い、その結果は
画像ファイル等の形式で記憶する。

【０００４】次に、図５（ｂ）に示すように、対象物体
が存在するフレームにおいて、入力されたステレオ画像
を対象に、記憶していた画素間の対応関係を参照して、
対応関係にある画素間の類似度尺度として相関値あるい
は差分値のいずれかを計算し、計算した値をしきい値と
比較することで対応の崩れを判定する。そして、対応が
崩れている（類似度が低くなっている）画素を物体が存
在している領域として抽出する。

【０００５】即ち、図５（ａ）のように、対象物体が存
在していない画像では、対応関係にある画素Ｐ_l，Ｐ_r
は同一の点Ｐ_bを指す。従って、画素Ｐ_l，Ｐ_rの対応
はとれており、その類似度は高くなる。しかし、図５
（ｂ）のように、対象物体Ｏが存在していた場合、その
物体Ｏが存在している領域では、それらの画素Ｐ_l，Ｐ
_rは物体Ｏ上の別の点Ｐ_ol，Ｐ_orを指してしまうことに
なり、画素Ｐ_l，Ｐ_rの類似度が崩れ類似度が低下す
る。この類似度が低下した領域を、物体Ｏの表示領域と
して抽出するものである。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
物体抽出装置を用いた物体抽出手法によれば、画素間の
対応の崩れを判定するために用いられるしきい値に１つ
の値しか用いていないため以下の問題がある。（１）例えば、背景が複雑な場合、背景を物体として抽
出しないようにするために、しきい値を高めに設定しな
ければならないが、しきい値を高めに設定すると、物体
が存在することによる類似度の変化を敏感に検出するこ
とができなくなり、物体をあまり抽出できないという問
題がある。（２）また、物体の抽出には物体や背景のテクスチャお
よび明るさが影響を及ぼすが、用いるしきい値を一つだ
けとすると、それに対処することができず、物体の抽出
精度を著しく低下させてしまうという問題がある。この
問題を、図６を参照して説明する。

【０００７】図６は、明るさ（画素の輝度）、テクスチ
ャによる画素間の差分値の変化を説明する図である。対
応関係にある画素（図５（ａ）における画素Ｐ_l，
Ｐ_r）と、対応関係が崩れた画素（図５（ｂ）における
画素Ｐ_l，Ｐ_r）の輝度と差分値の相関関係を、テクス
チャの有無に分けて表したものである。この図から、差
分値は画素の輝度、テクスチャの有無に応じて大きく変
化することがわかる。図６においては、非対応でテクス
チャ有りの相関関係をもとにしきい値を設定している。
このため、例えば、背景にはテクスチャが有り、物体に
はテクスチャが無い場合には、それを物体を抽出するこ
とができない。このことは、差分値の代わりに相関値を
用いた場合も同様である。

【０００８】なお、図６におけるテクスチャの有無は、
テクスチャ有りとは非常に細かいテクスチャが有ること
であり、テクスチャが無いとはテクスチャが画像中に全
く見受けられないことである。そのため、実際の環境を
想定した場合、差分値と輝度値の実際の相関関係は、テ
クスチャの細かさに応じて図６に示した相関関係の間を
変動すると考えられる。このようなことからも、従来の
物体抽出装置を用いた物体抽出手法によっては、高精度
な抽出を期待することができない。

【０００９】従って、本発明の目的は、背景・動物体の
テクスチャの違いや明るさの影響を受けず、高精度な抽
出を行うことができる物体抽出装置を提供することにあ
る。

【００１０】

【課題を解決するための手段】かかる目的を達成するた
めに、請求項１記載の物体抽出装置の発明は、複数の照
明条件別に複数の異なる位置で撮像することで得られる
画像群を、動物体が存在しない初期状態と初期状態以外
の状態で取得する画像入力部と、画像入力部が取得した
初期状態の画像群のうち、任意の照明条件下で取得した
画像群の間で画素間の対応を検出する対応検出部と、画
像入力部が取得した画像群のうちの少なくとも一つの画
像を構成している画素の輝度を計算する輝度計算部と、
対応検出部が検出した画素間の対応に従って、輝度、色
等の１または複数の指標で定められている類似度尺度の
しきい値を画素の輝度値別に画素単位で計測するしきい
値計測部と、画像入力部が取得した初期状態以外の状態
の画像群のうち、同一時に取得された画像群を、画素間
の対応に従って調べることにより、類似度尺度を指標毎
に画素単位で計算し、類似度尺度を画素の輝度に応じた
しきい値と指標毎に画素単位で比較し、比較の結果のな
かで１つ以上の指標の類似度尺度がしきい値で定められ
る範囲外となった画素を対応の崩れている画素として検
出する領域検出部と、を具備したことを特徴とする。

【００１１】請求項２記載の発明は、請求項１の物体抽
出装置の発明において、しきい値計測部は、初期状態の
画像群毎に、対応検出部が検出した対応に従って画素間
の類似度尺度の平均値を求める平均計算部と、平均計算
部が求めた平均値から許容範囲とするずれを計算するず
れ計算部とを有し、領域検出部は、画像入力部が取得し
た初期状態以外の状態の画像群を対象に、対応検出部が
検出した対応に従って画素間の類似度尺度を計算し、類
似度尺度から平均計算部が計算した平均値を減算した
後、ずれ計算部が計算したずれをしきい値として、減算
結果の絶対値がずれより大きい画素を、対応の崩れてい
る画素として検出することを特徴とする。

【００１２】請求項３記載の発明は、請求項１または２
の物体抽出装置において、しきい値計測部、および領域
検出部は、類似度尺度として、対応検出部が検出した対
応する画素間の各指標の差分値を、その一方の画素の輝
度値で割った値を用いることを特徴とする。

【００１３】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態を詳細に説明する。図１は、本発明の物体
抽出装置に係る第１の実施の形態を示すブロック図であ
る。

【００１４】この物体抽出装置は、異なった位置でステ
レオカメラによって撮影した画像を入力する画像入力部
１と、画像入力部１に入力された各画像の画素間の対応
を検出する対応検出部２と、対応検出部２で対応が検出
された各画素の座標を記憶する対応記憶部３と、対応記
憶部３に記憶されている画素間の対応に基づいて画像入
力部１に入力された各画像の全ての画素に対して対応の
崩れを検出するためのしきい値を画素単位で計測するし
きい値計測部４と、しきい値計測部４で計測されたしき
い値を記憶するしきい値記憶部５と、しきい値記憶部５
に記憶されたしきい値に基づいて画像入力部１に入力さ
れた各画像の全ての画素に対して対応記憶部３に記憶さ
れている画素間の対応を調べ対応が崩れている画素を検
出する領域検出部とから構成されている。

【００１５】以上の構成に基づいて、動作を説明する。
まず、初期段階として動物体のないシーン（即ち、背景
画像）をステレオカメラで撮影し、画像入力部１に入力
する。画像入力部１に入力された背景画像は対応検出部
２に入力され、背景画像の画素間の対応検出を行う。こ
の対応検出は、背景画像を撮影するステレオカメラの位
置関係からエピポーラ条件を求めることによって行う。
即ち、２台のステレオカメラのカメラ中心を結ぶ直線と
背景シーン上の１点を結ぶ平面がステレオ画像と交差し
てできる２本直線の直線の組がエピポーラ直線であり、
背景中の任意の点はステレオ画像中のエピポーラ直線対
上の画素に映っているという条件である。この左右画像
のすべてのエピポーラ直線対上で画素の対応点を求め
る。そして、対応が検出された各画素の座標を確認し対
応記憶部３に記憶する。

【００１６】次に、上記の画像中の各画素において、そ
の画素の各画像について指標となる輝度，色相，明度，
彩度を計算する。この各指標の計算は、東大出版会「画
像解析ハンドブック」（高木幹雄監修）ｐ．１０３，ｐ
ｐ４８６−４８９で説明されている手法を利用する。そ
して、対応づけられた画素同士の各指標の差分値を計算
する。その後、その差分値に対し、一定の値（全スケー
ルの１／１００程度の値）を加えたものを各指標のしき
い値として決定する。以上がしきい値計測部４の処理で
ある。そして、しきい値計測部４で決められた各指標の
しきい値を、しきい値記憶部５に保存する。

【００１７】以上のような設定を行った後、画像入力部
１の入力画像を領域検出部６に入力する。領域検出部６
では、対応記憶部３に格納した対応関係にある画素の座
標を使って、背景以外の物体の領域を検出する。これを
図５を用いて説明する。初期段階で背景画像の対応づけ
をしたとき、背景のある点Ｐ_bについて、左画像の画素
Ｐ_lと右画像の画素Ｐ_rが対応していたとする。物体Ｏ
を撮影したとき、この点Ｐ_bが物体によって隠された場
合、Ｐ_lとＰ_rが映している点は物体上の異なった点Ｐ
_ol，Ｐ_orとなり、対応しなくなる。ここで、対応しなく
なったかどうかの判定には以下のような計算法を用い
る。（１）画素Ｐ_lとＰ_rとの輝度，色相，明度，彩度の差
分を計算する。（２）計算された上記類似度尺度のうち、しきい値記憶
部５に記憶されているしきい値より１つでも大きくなる
場合は対応が崩れたと判定する。（３）そうでない場合は、対応が取れていると判定す
る。このように、しきい値計測部４において画素単位で
しきい値を設定し、領域検出部６で画素単位でしきい値
を参照しながら抽出するとともに、しきい値計測部４で
各指標毎にしきい値を定め、領域検出部６で各指標を利
用して抽出するので、高精度な抽出ができる。

【００１８】図２は、本発明の物体抽出装置に係る第２
の実施の形態を示すブロック図である。第２の実施の形
態においては、しきい値計測部４が、平均計算部４１と
ずれ計算部４２とで構成され、しきい値記憶部５が、平
均記憶部５１とずれ記憶部５２で構成される点に特徴が
ある。ここで、平均計算部４１は、対応する画素同士の
各類似度尺度を計算しその平均値を計算するものであ
り、ずれ計算部４２は、平均計算部４１が求めた平均値
から許容される範囲のずれを計算するものである。ま
た、しきい値記憶部５は、平均計算部４１で求めた平均
値を記憶するものであり、ずれ記憶部５２は、ずれ計算
部４２で求めたずれを記憶するものである。なお、図１
と共通する部分については、同一の符号を付したので重
複する説明は省略する。

【００１９】以上の構成において、動作を説明する。対
応記憶部３までの処理は、第１の実施の形態と同様であ
る。第２の実施の形態においては、対応記憶部３までの
処理が終わった後、動物体の無いフレームのＮ×２枚
（実用上は、Ｎ＝１０程度で十分である。）のステレオ
画像を撮影し、平均計算部４１とずれ計算部４２から構
成されるしきい値計測部４に入力する。平均計算部４１
では、入力されたＮ×２枚の画像全てにおいて、全画素
において輝度，色相，明度，彩度の各指標を計算する。
そして、それらの対応関係にある画素同士の輝度，色
相，明度，彩度の差分のＮ枚の平均値を計算する。そし
て、計算の結果を平均記憶部５１に記憶する。

【００２０】ずれ計算部４２では、入力されたＮ枚の画
像全てにおいて、全画素において対応する画素同士の輝
度，色相，明度，彩度の差分を計算し、先程の平均値を
もとにそれぞれの標準偏差を計算する。そして、その標
準偏差の３倍の値をずれ記憶部５２に記憶する。これ
は、ノイズのずれが正規分布をとると仮定した場合に、
平均値からのずれが標準偏差の３倍以上ずれる確率は、
０．００２７と極めて小さいからである。なお、ここで
は、このずれの値を標準偏差を用いて求めているが、Ｎ
枚の画像において、それぞれ平均値からのずれを計算
し、そのずれの最大値をずれ記憶部５２に送ってもよ
い。

【００２１】領域検出部６では、物体領域の判定は以下
のように行う。なお、領域検出部６では、他の処理は第
１の実施の形態と同じである。（１）画素Ｐ_lとＰ_rの輝度，色相，明度，彩度の差分
を計算する。（２）計算された上記類似度尺度について平均記憶部５
１に記憶されている値との差の絶対値を計算する。（３）そして、計算された絶対値の値がずれ記憶部５２
に記憶されているしきい値より大きくなる指標が１つで
もある場合は対応が崩れていると判定する。（４）そうでない場合は、対応がとれていると判定す
る。

【００２２】このように、平均計算部４１で計算される
各類似度尺度の平均値と抽出するかどうかの判定の対象
となる画素およびそれと対応関係にある画素とのずれ
が、ずれ計算部４２で計算されるノイズによるずれの範
囲内にあるかどうかで、動物体か背景かの判定をするこ
とにより、動物体と背景のテクスチャの違いに柔軟に対
処した動物体抽出ができる。これは、各類似度尺度は対
応関係にある画素同士が実際に対応しているか以外に、
抽出するかどうかの判定の対象となる画素の周辺のテク
スチャによっても大きく変化するからである。

【００２３】図３は、本発明の物体抽出装置に係る第３
の実施の形態を示すブロック図である。図２と共通する
部分については、同一の符号を付したので重複する説明
は省略するが、第３の実施の形態においては、画像入力
部１と領域検出部８の間に、輝度計算部７としきい値決
定部８が設けられている点に特徴がある。

【００２４】ここで、輝度計算部７は、画像入力部１か
ら入力される画像のうち少なくとも一つの画像について
輝度を計算するものであり、しきい値決定部８は、平均
記憶部５１に記憶されている輝度と各類似度尺度との平
均値の組み合わせと、ずれ記憶部５２に記憶されている
輝度とずれの平均値との組み合わせの中から輝度計算部
７で計算された輝度値に最も近い輝度に対応している平
均値，ずれの値を選択するものである。

【００２５】以上の構成において、動作を説明する。対
応記憶部３までの処理は、第２の実施の形態と同様であ
る。従って、第２の実施の形態と異なる部分についての
み説明する。第３の実施の形態においては、対応記憶部
３までの処理が終わった後、動物体の無いフレームを撮
影する。このとき、照明の明るさを複数段階（Ｍ段階）
撮影しながら、Ｎ枚の画像を撮影し、平均計算部４１と
ずれ計算部４２から構成されるしきい値計測部４に入力
する（なお、実用上、Ｍ＝３，Ｎ＝１０程度で十分であ
る。）。ただし、このような場合、動物体を含むシーン
を撮影するのと同じ照明の画像を１通り、それより少し
暗い画像と少し明るい画像の２通り撮影する。

【００２６】平均計算部４１では、入力されたＭ×Ｎ×
２枚のステレオ画像の全てにおいて、全画素において輝
度，色相，明度，彩度を計算する。そして、各輝度段階
において、それらの対応関係にある画素同士の輝度、色
相、明度、彩度の差分値のＮ枚の平均値を計算する。こ
の計算の結果を平均記憶部５１に記憶する場合には、片
方の画像（ここでは左画像とするが、右画像であっても
よい）の画素の輝度と平均値を対応づけて記憶する。

【００２７】ずれ計算部４２では、入力されたＭ×Ｎ×
２枚のステレオ画像の全てにおいて、全画素において輝
度，色相，明度，彩度を計算し、前述の平均値をもとに
それぞれの標準偏差を計算する。

【００２８】そして、左画像の画素の輝度と、その標準
偏差の３倍の値を対応づけて、ずれ記憶部５２に記憶す
る。なお、ここでも、ずれの値について標準偏差を用い
て求めているが、Ｎ枚の画像において、それぞれ平均値
からのずれを計算し、そのずれの最大値をずれ記憶部５
２に記憶してもよい。

【００２９】次に、輝度計算部７では、物体領域の判定
に該当する画素（図５のＰ_l）の輝度値を計算する。そ
して、しきい値決定部８では、輝度計算部７で得られた
輝度値を参照しながら、平均記憶部５１に記憶されてい
るＭ個の平均値、ずれ記憶部５２に記憶されているＭ個
のずれ値のうち、輝度計算部７で計算された輝度値に最
も近い輝度に対応している平均値，ずれの値を選択し、
領域検出部６に送る。

【００３０】なお、この平均値、ずれの値は輝度計算部
７で計算された輝度値に最も近い輝度２つに対応してい
るものを選択し、それらの線形和で最終的に決定しても
よい。具体的には、左画像中の抽出するかどうかの判定
の対象となる画素の輝度値をＩ₀，Ｉ₀に近い２つの輝
度Ｉ₅，Ｉ_lに対応する各指標の平均値，ずれの値をそ
れぞれａ₅，ｄ₅，ａ_l，ｄ_lとすると（ただし、Ｉ₅
＜Ｉ₀＜Ｉ_l）、しきい値として利用する平均値ａ₀、
ずれの値ｄ₀は以下の式により求まる。

【００３１】

【数１】

【００３２】領域検出部６では、物体領域の判定は以下
のように行う。（１）画素Ｐ_lとＰ_rとの輝度，色相，明度，彩度の差
分を計算する。（２）計算された上記類似度尺度について、しきい値決
定部８から送られてきた平均値との差の絶対値を計算す
る。（３）そして、計算された絶対値の値がしきい値決定部
８から送られてきたしきい値より１つの類似度尺度でも
大きくなる場合は対応が崩れていると判定する。（４）そうでない場合は、対応がとれていると判定す
る。このようにして物体領域を検出することができる。

【００３３】図４は、本発明の物体抽出装置に係る第４
の実施の形態を示す図である。第３の実施の形態では、
初期設定として動物体のないフレームにおいて明るさを
変えながら撮影し、その明るさに応じてしきい値の設定
が必要となるが、第４の実施の形態では、第２の実施の
形態において、類似度尺度として各指標の差分値を抽出
するかどうかを判定する画素の輝度値で割ったものを使
用することにより、第３の実施の形態で得られるのと同
様の効果を得るようにしている。

【００３４】図に即して具体的に説明すると、図４では
図６でのテクスチャがある場合における対応・非対応の
画素同士の差分値をその輝度値で割ったもののその輝度
による変化を示しているが、これによると、一定の輝度
の範囲内（０．１−０．７）でこの指標はあまり変化し
ないことがわかる。これは、テクスチャ変化が輝度に対
して一定の割合で変化するものと考えると、明るい場合
にはテクスチャ変化による輝度変化の量が大きく、暗い
場合には小さいことに起因している。従って、背景・動
物体がこの輝度の範囲内（０．１−０．７）にある場合
には、この類似度尺度を用いるだけで、第３の実施の形
態のように明るさに応じてしきい値を設定しなくても、
背景・動物体における明るさの変化の影響を受けずに、
動物体を抽出することができる。

【００３５】

【発明の効果】以上の説明から明らかなように、請求項
１記載の発明によれば、抽出するかどうかの判定の対象
となる画素の輝度を輝度計算部で計算し、それをもとに
しきい値決定部で各類似度尺度の平均値、ずれの範囲を
決定し、動物体抽出するため、類似度尺度の明るさに対
する影響を受けない動物体抽出ができる。

【００３６】請求項２記載の発明によれば、しきい値計
測部で複数の画像を対象としてしきい値を計測し、領域
検出部でこのしきい値に基づいて抽出するため、高精度
な抽出ができる。

【００３７】請求項３記載の発明によれば、各指標の差
分値を抽出するかどうか判定する画素の輝度値で割った
ものを類似度尺度として使用するため、明るさに応じた
しきい値の変更をすることなく、類似度尺度の明るさに
対する影響を受けない動物体抽出ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図で
ある。

【図２】本発明の第２の実施の形態を示すブロック図で
ある。

【図３】本発明の第３の実施の形態を示すブロック図で
ある。

【図４】本発明の第４の実施の形態を示すグラフであ
る。

【図５】従来のステレオ画像による物体抽出手法の説明
図である。

【図６】従来の物体抽出手法において、対応関係にある
画素とない画素の差分値の明るさとテクスチャ変化によ
る影響を示したグラフである。

【符号の説明】１画像入力部２対応検出部３対応記憶部４しきい値計測部５しきい値記憶部６領域検出部７輝度計算部８しきい値決定部４１平均計算部４２ずれ計算部５１平均記憶部５２ずれ記憶部

Claims

(57)【特許請求の範囲】

【請求項１】複数の照明条件別に複数の異なる位置で
撮像することで得られる画像群を、動物体が存在しない
初期状態と該初期状態以外の状態で取得する画像入力部
と、前記画像入力部が取得した前記初期状態の画像群のう
ち、任意の照明条件下で取得された画像群の間で画素間
の対応を検出する対応検出部と、前記画像入力部が取得した画像群のうちの少なくとも一
つの画像を構成している画素の輝度を計算する輝度計算
部と、前記対応検出部が検出した前記画素間の対応に従って、
輝度、色等の１または複数の指標で定められている類似
度尺度のしきい値を前記画素の輝度値別に前記画素単位
で計測するしきい値計測部と、前記画像入力部が取得した前記初期状態以外の状態の画
像群のうち、同一時に取得された画像群を、前記画素間
の対応に従って調べることにより、前記類似度尺度を前
記指標毎に前記画素単位で計算し、該類似度尺度を前記
画素の輝度に応じたしきい値と前記指標毎に前記画素単
位で比較し、該比較の結果のなかで１つ以上の指標の類
似度尺度が前記しきい値で定められる範囲外となった画
素を対応の崩れている画素として検出する領域検出部
と、を具備したことを特徴とする物体抽出装置。
【請求項２】前記しきい値計測部は、前記初期状態の
画像群毎に、前記対応検出部が検出した対応に従って画
素間の類似度尺度の平均値を求める平均計算部と、前記
平均計算部が求めた平均値から許容範囲とするずれを計
算するずれ計算部とを有し、前記領域検出部は、前記画像入力部が取得した初期状態
以外の状態の画像群を対象に、前記対応検出部が検出し
た対応に従って画素間の類似度尺度を計算し、該類似度
尺度から前記平均計算部が計算した平均値を減算した
後、前記ずれ計算部が計算したずれをしきい値として、
該減算結果の絶対値が該ずれより大きい画素を、前記対
応の崩れている画素として検出することを特徴とする請
求項１記載の物体抽出装置。
【請求項３】前記しきい値計測部、および前記領域検
出部は、前記類似度尺度として、前記対応検出部が検出
した対応する画素間の各指標の差分値を、その一方の画
素の輝度値で割った値を用いることを特徴とする請求項
１または２項に記載の物体抽出装置。