JP4800367B2 - 移動対象抽出装置、移動対象抽出方法及び移動対象抽出プログラム - Google Patents

Description

本発明は、ある背景の前段で前景として移動している移動対象を撮影した撮影画像から移動対象を抽出する移動対象抽出装置、移動対象抽出方法及び移動対象抽出プログラムの技術に関する。

現在、実環境を撮影した映像から人や車など特定の移動対象を抽出する画像処理技術が存在している。そして、そのような移動対象を背景から抽出する具体的方法としては、例えば、撮影された映像から時間的に連続する２枚の画像を取り出して各画素の輝度変動、換言すれば輝度値の差分を計算し、撮影された映像における一定時間の複数の画像に対して同様の計算を繰り返して移動対象の移動方向等を特定する背景差分法を用いることができる。しかしながら、このような方法は抽出しようとする移動対象以外の背景に輝度変動や揺らぎがないことを前提条件とするため、常に一定の輝度が与えられている会社の受付窓口での監視サービス等でしか利用できず、抽出精度が非常に低いことが知られている。

そこで、背景の輝度についても時々刻々と変化することについても考慮し、一定期間に撮影した背景のみの画像から背景の平均輝度を平均画像として予め計算しておき、その平均画像に対する移動対象の輝度変動を計算することにより、前述の抽出精度を高くする方法が存在している。
田村 秀行 監修、"コンピュータ画像処理入門 第５章 画像の特徴抽出と解析・認識"、総研出版、1985年、p.118-125 "ベイズ推定"、［online］、ウィキぺディア フリー百科事典、［平成20年10月9日検索］、インターネット＜URL : http://ja.wikipedia.org/wiki/%E3%83%99%E3%82%A4%E3%82%BA%E6%8E%A8%E5%AE%9A＞

しかしながら、撮影しようとする実環境には風の影響に起因する樹木の揺れや地球の自転に起因する太陽光の陰影の変化等の様々な要因が含まれるため、平均画像自体も時々刻々と変化し、背景から移動対象を確実に抽出することは困難である。移動対象については人や車の具体的形状を予めモデル化しておくことにより、移動対象をある程度抽出することが可能となるが、移動対象は人や車以外にも存在し、たとえ人のみを対象とする場合であっても撮影方向によっては人としての形状が変化するため、形状に関するモデル化も困難である。以上から、前景と背景とが時空間的に同時に変化するため、前述した単純な背景差分法では前景としての移動対象を抽出することが困難であるという問題があった。

本発明は、上記を鑑みてなされたものであり、前景として移動している移動対象を安定かつ精度よく抽出する移動対象抽出装置、移動対象抽出方法及び移動対象抽出プログラムを提供することを課題とする。

第１の請求項に係る発明は、ある背景の前段で前景として移動している移動対象を撮影した撮影画像から前記移動対象を抽出する移動対象抽出装置において、前記背景のみを撮影した背景画像であって、所定の範囲で動作する動的領域を有する時系列な複数の背景画像を蓄積しておく背景画像蓄積手段と、前記背景画像を表現している各濃淡値が占める割合を背景発生確率として計算する背景発生確率計算式を蓄積しておく背景発生確率計算式蓄積手段と、前記撮影画像において前記前景の濃淡値が占める割合を所定の前景発生確率として蓄積しておく前景発生確率蓄積手段と、ベイズ推定法を適用した条件付き確率であって、前記撮影画像を構成する各画素が濃淡値で表現される場合に、当該画素が背景である条件付き背景確率と前景である条件付き前景確率との比率を用いて、当該画素が背景であるか前景であるかを分類する画素分類式を蓄積しておく画素分類式蓄積手段と、前記撮影画像を入力し、撮影画像格納手段に格納する入力手段と、前記背景発生確率計算式蓄積手段から前記背景発生確率計算式を読み出すと共に前記背景画像蓄積手段から前記背景画像を読み出して、当該背景画像の各濃淡値に対して前記背景発生確率をそれぞれ計算する計算手段と、前記背景発生確率計算式蓄積手段から前記背景確率発生計算式を読み出して、前記複数の背景画像の前記動的領域について前記背景発生確率をそれぞれ計算し、各濃淡値に対して当該背景発生確率を生起頻度とするヒストグラムを複数生成する第１のヒストグラム生成手段と、非線形最小二乗法を用いて前記複数のヒストグラムに近似する近似関数を生成する第１の近似関数生成手段と、連続する２枚の前記背景画像を用いて、前記動的領域内で任意点が移動する速度を正規化相互相関法を用いて計算する速度ベクトル計算手段と、当該動的領域内で当該速度を有する前記任意点が占める割合を速度発生確率として計算し、各速度に対して当該速度発生確率を生起頻度とするヒストグラムを生成する第２のヒストグラム生成手段と、非線形最小二乗法を用いて当該ヒストグラムに近似する近似関数を生成する第２の近似関数生成手段と、前記画素分類式蓄積手段から前記画素分類式を読み出し、前記前景発生確率蓄積手段から前記前景発生確率を読み出し、更に前記撮影画像格納手段から前記撮影画像を読み出して、当該撮影画像を構成している各画素に対して、当該各画素の濃淡値に対応する前記計算手段で計算された前記背景発生確率を前記条件付き背景確率とすると共に当該前景発生確率を前記条件付き前景確率として前記画素分類式をそれぞれ計算し、当該各画素が背景であるか前景であるかを分類する画素分類手段と、前記前景として分類された画素を前記移動対象として抽出する抽出手段と、を有し、前記画素分類手段は、前記動的領域については、前記第１の近似関数生成手段で生成された近似関数を満たす背景発生確率と、前記第２の近似関数生成手段で生成された近似関数を満たす速度発生確率との乗算値を、前記条件付き背景確率として前記分類を行うことを要旨とする。

第２の請求項に係る発明は、前記速度ベクトル計算手段は、前記連続する２枚の背景画像の各動的領域で同一の濃淡値を持つ対応点間の距離を計算することにより、前記動的領域内で任意点が移動する速度を計算するものであって、求めたい対応点を含む一定領域（Ｍ×Ｎ）を一単位とし、前記２枚の背景画像の動的領域における一定領域間の類似度Ｒを以下の式（但し、（ｉ，ｊ）は画素の位置であり、Ｉは一方の背景画像の濃淡値であり、Ｉ（Ｉの上に−（バー）付）は当該背景画像の平均濃淡値であり、Ｔは他方の背景画像の濃淡値であり、Ｔ（Ｔの上に−（バー）付）は当該背景画像の平均濃淡値である）を用いて計算し、当該類似度Ｒが最大となる一定領域を対応点とする

ことを要旨とする。

第３の請求項に係る発明は、前記第１の近似関数生成手段及び前記第２の近似関数生成手段は、コーシー分布又はカイ分布を用いて前記近似関数を生成することを要旨とする。

第４の請求項に係る発明は、ある背景の前段で前景として移動している移動対象を撮影した撮影画像から前記移動対象を抽出する移動対象抽出方法において、前記背景のみを撮影した背景画像であって、所定の範囲で動作する動的領域を有する時系列な複数の背景画像を背景画像蓄積手段に蓄積しておく第１のステップと、前記背景画像を表現している各濃淡値が占める割合を背景発生確率として計算する背景発生確率計算式を背景発生確率計算式蓄積手段に蓄積しておく第２のステップと、前記撮影画像において前記前景の濃淡値が占める割合を所定の前景発生確率として前景発生確率蓄積手段に蓄積しておく第３のステップと、ベイズ推定法を適用した条件付き確率であって、前記撮影画像を構成する各画素が濃淡値で表現される場合に、当該画素が背景である条件付き背景確率と前景である条件付き前景確率との比率を用いて、当該画素が背景であるか前景であるかを分類する画素分類式を画素分類式蓄積手段に蓄積しておく第４のステップと、前記撮影画像を入力し、撮影画像格納手段に格納する第５のステップと、前記背景発生確率計算式蓄積手段から前記背景発生確率計算式を読み出すと共に前記背景画像蓄積手段から前記背景画像を読み出して、当該背景画像の各濃淡値に対して前記背景発生確率をそれぞれ計算する第６のステップと、前記背景発生確率計算式蓄積手段から前記背景確率発生計算式を読み出して、前記複数の背景画像の前記動的領域について前記背景発生確率をそれぞれ計算し、各濃淡値に対して当該背景発生確率を生起頻度とするヒストグラムを複数生成する第７のステップと、非線形最小二乗法を用いて前記複数のヒストグラムに近似する近似関数を生成する第８のステップと、連続する２枚の前記背景画像を用いて、前記動的領域内で任意点が移動する速度を正規化相互相関法を用いて計算する第９のステップと、当該動的領域内で当該速度を有する前記任意点が占める割合を速度発生確率として計算し、各速度に対して当該速度発生確率を生起頻度とするヒストグラムを生成する第１０のステップと、非線形最小二乗法を用いて当該ヒストグラムに近似する近似関数を生成する第１１のステップと、前記画素分類式蓄積手段から前記画素分類式を読み出し、前記前景発生確率蓄積手段から前記前景発生確率を読み出し、更に前記撮影画像格納手段から前記撮影画像を読み出して、当該撮影画像を構成している各画素に対して、当該各画素の濃淡値に対応する前記第６のステップで計算された前記背景発生確率を前記条件付き背景確率とすると共に当該前景発生確率を前記条件付き前景確率として前記画素分類式をそれぞれ計算し、当該各画素が背景であるか前景であるかを分類する第１２のステップと、前記前景として分類された画素を前記移動対象として抽出する第１３のステップと、を有し、前記第１２のステップは、前記動的領域については、前記第８のステップで生成された近似関数を満たす背景発生確率と、前記第１１のステップで生成された近似関数を満たす速度発生確率との乗算値を、前記条件付き背景確率として前記分類を行うことを要旨とする。

第５の請求項に係る発明は、前記第９のステップは、前記連続する２枚の背景画像の各動的領域で同一の濃淡値を持つ対応点間の距離を計算することにより、前記動的領域内で任意点が移動する速度を計算するものであって、求めたい対応点を含む一定領域（Ｍ×Ｎ）を一単位とし、前記２枚の背景画像の動的領域における一定領域間の類似度Ｒを以下の式（但し、（ｉ，ｊ）は画素の位置であり、Ｉは一方の背景画像の濃淡値であり、Ｉ（Ｉの上に−（バー）付）は当該背景画像の平均濃淡値であり、Ｔは他方の背景画像の濃淡値であり、Ｔ（Ｔの上に−（バー）付）は当該背景画像の平均濃淡値である）を用いて計算し、当該類似度Ｒが最大となる一定領域を対応点とする

ことを要旨とする。

第６の請求項に係る発明は、前記第８のステップ及び前記第１１のステップは、コーシー分布又はカイ分布を用いて前記近似関数を生成することを要旨とする。

第７の請求項に係る発明は、請求項４乃至６のいずれか１項に記載の移動対象抽出方法における各ステップをコンピュータによって実行させることを要旨とする。

本発明によれば、前景として移動している移動対象を安定かつ精度よく抽出する移動対象抽出装置、移動対象抽出方法及び移動対象抽出プログラムを提供することができる。

〔第１の実施の形態〕
第１の実施の形態に係る移動対象抽出装置の構成及び処理の流れについて説明する前に、本発明の特徴について説明する。本発明は、実環境を撮影した撮影画像の背景から、その背景の前段で前景として移動している移動対象を抽出する移動対象抽出装置に関する発明である。例えば、興味対象である歩行者や走行車両などの移動対象を、山や海などの背景から抽出することを目的としている。

具体的には、背景のみの背景画像を予め撮影しておき、その背景画像と上述した撮影画像との両者を用いて移動対象を抽出する処理を行うものであるが、その際にベイズ推定法を適用した点に特徴がある。ベイズ推定とは、ある証拠に基づいて、その原因となった事象を推定するための確率論的方法である（非特許文献２参照）。ｐを画像における確率とすると、事象ｂが生じたという条件で事象ａが生じる条件付き確立をｐ（ａ｜ｂ）で表現することができる。

このベイズ推定法に基づけば、ω_０を背景の画素，ω_１を前景の画素とした場合に、撮影画像を構成する各画素が濃淡値Ｉで表現される条件下で、この撮影画像における任意の画素が背景である条件付き確率ｐ（ω_０｜Ｉ）を式（１）で、任意の画素が前景である条件付き確率ｐ（ω_１｜Ｉ）を式（２）で表現することができる。

なお、式（１）の右辺の分子に記載されたｐ（ω_０）は、その任意の画素が背景である事前背景確率であり、式（２）の右辺の分子に記載されたｐ（ω_１）は、その任意の画素が前景である事前前景確率である。

また、式（１）の右辺の分子に記載されたｐ（Ｉ｜ω_０）は、式（１）で示された条件付き背景確率ｐ（ω_０｜Ｉ）の尤度である。本発明では、この尤度を、背景画像を表現している各濃淡値の画素数が全画素数に対して占める割合（背景発生確率）としている（式（３）参照）。なお、式（３）の右辺の分子に記載されたｑ（Ｉ）は、背景画像において濃淡値がＩである画素数であり、分母に記載されたΣｑ（Ｉ）は、背景画像の総画素数である。

一方、式（２）の右辺の分子に記載されたｐ（Ｉ｜ω_１）は、式（２）で示された条件付き前景確率ｐ（ω_１｜Ｉ）の尤度である。本発明では、この尤度を、撮影画像において前景の濃淡値が占める割合（前景発生確率）としている。一般に、この前景発生確率は未知であるため、ここでは最も低い確率であると仮定し、例えば式（４）に示すように、前景としての移動対象が一様な一色の輝度（濃淡）を有するものとする。なお、濃淡値とは０〜２５５の２５６段階で表現されことが一般的であるため、前景発生確率を１／２５６としている。

そして、撮影画像の各画素について、その各画素が背景であるか前景であるかをそれぞれ確率的に分類する。この分類については、式（５）に示すように、式（１）と式（２）との比率を計算し、計算結果が所定の閾値を超える場合には背景に属するものとし、超えない場合には前景に属するものとしている。

次に、本実施の形態に係る移動対象抽出装置の構成について説明する。図１は、第１の実施の形態に係る移動対象抽出装置の構成を示す構成図である。この移動対象抽出装置１００は、入力部１１と、計算部１２と、画素分類部１３と、抽出部１４と、表示部１５と、撮影画像格納部３１と、背景画像蓄積部３２と、背景発生確率計算式蓄積部３３と、前景発生確率蓄積部３４と、画素分類式蓄積部３５とを備えている。

撮影画像格納部３１は、ある背景の前段で前景として移動している移動対象を撮影した撮影画像が移動対象抽出装置１００に入力された場合に、入力部１１の指示に基づいて、その撮影画像を一旦格納しておく機能を備えている。

背景画像蓄積部３２は、撮影画像が撮影した背景と同じ背景のみを撮影した背景画像を事前に蓄積しておく機能を備えている。

背景発生確率計算式蓄積部３３は、背景画像を表現している各濃淡値が占める割合を背景発生確率として計算する背景発生確率計算式（上述した式（３））を蓄積しておく機能を備えている。

前景発生確率蓄積部３４は、撮影画像において前景の濃淡値が占める割合を所定の前景発生確率（上述した式（４））として蓄積しておく機能を備えている。

画素分類式蓄積部３５は、ベイズ推定法を適用した条件付き確率であって、撮影画像を構成する各画素が濃淡値で表現される場合に、任意の画素が背景である条件付き背景確率ｐ（ω_０｜Ｉ）と、その任意の画素が前景である条件付き前景確率ｐ（ω_１｜Ｉ）との比率を用いて、その任意の画素が背景であるか前景であるかを確率的に分類する画素分類式（上述した式（５））を蓄積しておく機能を備えている。

入力部１１は、前景として移動している移動対象を撮影した撮影画像が入力された場合に、その入力を受け付けて、撮影画像格納部３１に格納する機能を備えている。

計算部１２は、背景発生確率計算式蓄積部３３から背景発生確率計算式を読み出すと共に、背景画像蓄積部３２から背景画像を読み出して、背景画像の各濃淡値に対して背景発生確率をそれぞれ計算する機能を備えている。

画素分類部１３は、画素分類式蓄積部３５から画素分類式を読み出し、前景発生確率蓄積部３４から前景発生確率を読み出し、更に撮影画像格納部３１から撮影画像を読み出して、この撮影画像を構成している各画素に対して、各画素の濃淡値に対応する計算後の背景発生確率を条件付き背景確率とすると共に、前景発生確率を条件付き前景確率として画素分類式をそれぞれ計算し、撮影画像の各画素が背景であるか前景であるかを分類する機能を備えている。

抽出部１４は、前景として分類された画素を移動対象として抽出する機能を備えている。表示部１５は、抽出された移動対象を表示する機能を備えている。

続いて、本実施の形態に係る移動対象抽出装置の処理フローについて説明する。図２は、第１の実施の形態に係る移動対象抽出装置の処理フローを示すフロー図である。なお、背景画像蓄積部３２に蓄積されている背景画像は、例えば、図３に示すように、９（＝３×３）個の画素で構成され、ｉ＝２，ｊ＝２の画素については濃淡値Ｉが１１であり、その他の画素については濃淡値Ｉが１０である１枚の背景画像が蓄積されているものとする。また、入力される撮影画像は、例えば、図４に示すように、１枚目の撮影画像には濃淡値Ｉを１５０とする画素がｉ＝０，ｊ＝１に存在し、２枚目の撮影画像には同濃淡値Ｉの画素がｉ＝１，ｊ＝１に存在し、３枚目の撮影画像には同濃淡値Ｉの画素がｉ＝２，ｊ＝１に存在しているものとする。即ち、濃淡値Ｉを１５０とする何かしらの移動対象が左側から右側に移動している状態が撮影されている。

最初に、入力部１１が、撮影画像の入力を受け付けて、撮影画像格納部３１に格納する（ステップＳ１０１）。

次に、計算部１２が、背景画像の各濃淡値に対して背景発生確率をそれぞれ計算する（ステップＳ１０２）。具体的には、図５の（ａ）および（ｂ）に示すように、背景画像に含まれている濃淡値Ｉ＝１０，Ｉ＝１１についての背景発生確率をそれぞれ計算する。例えば、Ｉ＝１０である画素数は８個であり、背景画素の総画素数は９個なので、濃淡値Ｉが１０の場合における背景発生確率は８／９となる。同様に、濃淡値Ｉが１１の場合における背景発生確率は１／９となる。また、濃淡値Ｉは０〜２５５で表現されるため、他の濃淡値についての背景発生確率についても計算する。なお、この他の濃淡値については背景画素内に含まれていないため、図５の（ｃ）に示すように背景発生確率は０（ゼロ）となる。

続いて、画素分類部１３が、撮影画像を構成している各画素に対して、各画素の濃淡値に対応する計算後の背景発生確率を条件付き背景確率の尤度ｐ（Ｉ｜ω_０）として代入すると共に、前景発生確率を条件付き前景確率の尤度ｐ（Ｉ｜ω_１）に代入して、画素分類式をそれぞれ計算し、その計算結果が１．０より大きい場合には、その画素は背景に属すると分類し、計算結果が例えば１．０以下の場合には、その画素は前景に属すると分類する（ステップＳ１０３）。具体的には、図６の（ａ）に示すように、１枚目の撮影画像におけるｉ＝０，ｊ＝０の画素については、濃淡値Ｉ＝１０なので、背景画像を用いて計算された濃淡値Ｉ＝１０の場合における背景発生確率を式（５）のｐ（Ｉ｜ω_０）に代入し、前景発生確率である１／２５６を式（５）のｐ（Ｉ｜ω_１）に代入して計算する。なお、ｐ（ω_０），ｐ（ω_１）については前述したように事前背景確率，事前前景確率であるため、予め事前データが得られない場合には、例えばいずれも０．５として同じ確率で発生することができる。そして、最終的には２２７．０という計算結果となるので、その画素は背景に属するものとして分類する。同様に他の画素についても計算すると、図６の（ｂ）に示すように、ｉ＝０，ｊ＝０の画素については０（ゼロ）となるので、その画素については前景として分類する。また、図６の（ｃ）に示すように、ｉ＝２，ｊ＝２の画素については２８となるので、その画素については背景として分類する。

そして、抽出部１４が、前景として分類された画素を移動対象として抽出し（ステップＳ１０４）。最後に、表示部１５が、抽出された移動対象を表示する（ステップＳ１０５）。

全ての背景画像についてステップＳ１０３〜ステップＳ１０５を繰り返すことにより、図７に示すような抽出後の画像を表示することができる。

本実施の形態によれば、背景画像の各濃淡値に対して背景発生確率をそれぞれ計算し、撮影画像を構成している各画素に対して、各画素の濃淡値に対応する計算後の背景発生確率を条件付き背景確率とすると共に、所定の前景発生確率を条件付き前景確率としてベイズ推定法を適用した画素分類式をそれぞれ計算し、各画素が背景であるか前景であるかを分類するので、前景として移動している移動対象を安定かつ精度よく抽出することが可能となる。

〔第２の実施の形態〕
第１の実施の形態については、背景が静的領域であることを前提に説明するものであったが、実際には静的領域の他に、風に揺らぐ木や重力方向に流れ落ちる滝といった動的領域も背景に含まれている場合が多い。そして、それら背景を背にして前段でバスが走行している場合には、図８に示すような撮影画像となるのがより一般的である。

図８に示す撮影画像を用いて第１の実施の形態を適用した場合には、車両による濃淡値の変化と木や滝の濃淡値の変化とが同時に検出されてしまうため、前景としての走行車両のみを抽出することが困難となる可能性がある。そこで、本実施の形態では、根本を中心に左右等に振動する樹木や、上から下方向へと流れる滝等の動的領域について、時間の経過に伴う輝度の変化（濃淡値の変化）を考慮するものとする。

図９は、第２の実施の形態に係る移動対象抽出装置の構成を示す構成図である。この移動対象抽出装置１００は、第１の実施の形態で説明した移動対象抽出装置１００の構成に対して、ヒストグラム生成部１６と、近似関数生成部１７とを更に備えている。

背景画像蓄積部３２は、静的領域と所定の範囲で動きのある動的領域とを背景とし、一定時間Ｔで撮影された時系列な複数の背景画像を事前に蓄積しておく機能を備えている。なお、背景画像を時系列な複数の画像とする点において、第１の実施の形態と相違している。

ヒストグラム生成部１６は、背景発生確率計算式蓄積部３３から背景確率発生計算式を読み出して、背景画像蓄積部３２に蓄積された各背景画像の動的領域について背景発生確率をそれぞれ計算し、各濃淡値に対して背景発生確率を生起頻度とするヒストグラムをそれぞれ生成する機能を備えている。

近似関数生成部１７は、非線形最小二乗法を用いて複数のヒストグラムに近似する近似関数をそれぞれ生成する機能を備えている。

画素分類部１３は、動的領域については、近似関数生成部１７で生成された近似関数を満たす背景発生確率を条件付き背景確率として、第１の実施の形態で説明した分類と同様の分類を行う機能を備えている。なお、静的領域については、第１の実施の形態で説明した処理と同じ処理を行う機能を備えている。

なお、その他の機能ブロックについては第１の実施の形態で説明した機能と同様の機能を備えているため、ここではその説明を省略するものとする。

続いて、本実施の形態に係る移動対象装置の処理フローについて説明する。図１０は、第２の実施の形態に係る移動対象装置の処理フローを示すフロー図である。なお、背景画像蓄積部３２に蓄積されている背景画像は、例えば、図１１に示すように、１８（＝６×３）個の画素で構成された時系列な３枚の背景画像であって、ｉ＝３，ｊ＝１と、ｉ＝４，ｊ＝１と、ｉ＝５，ｊ＝１との範囲が樹木の動的領域であるものとする。

最初に、入力部１１が、撮影画像の入力を受け付けて、撮影画像格納部３１に格納する（ステップＳ２０１）。

次に、計算部１２が、３つの背景画像の静的領域について、各濃淡値に対して背景発生確率をそれぞれ計算する（ステップＳ２０２）。具体的な計算方法については第１の実施の形態で説明した計算方法と同様である。なお、静的領域のみならず、動的領域を含む全体についての背景発生確率を計算してもよい。

続いて、ヒストグラム生成部１６が、３つの背景画像の動的領域について背景発生確率をそれぞれ計算し、各濃淡値に対して背景発生確率を生起頻度とするヒストグラムをそれぞれ生成する（ステップＳ２０３）。具体的には、図１２に示すように、まず１枚目の背景画像において、上記樹木の動的領域に含まれている濃淡値Ｉ＝１５，Ｉ＝１２についての背景発生確率をそれぞれ計算する。例えば、Ｉ＝１５である画素数は１個であり、背景画素の総画素数は１８個なので、濃淡値Ｉが１５の場合における背景発生確率は１／１８となる。同様に、濃淡値Ｉが１２の場合における背景発生確率は２／１８となる。そして、濃淡値Ｉを横軸とし、背景発生確率を生起頻度を縦軸とするヒストグラムを生成する。続いて、２枚目，３枚目の背景画像についても同様にヒストグラムを生成する。

次に、近似関数生成部１７が、非線形最小二乗法を用いて各ヒストグラムに近似する近似関数をそれぞれ生成する（ステップＳ２０４）。具体的には、図１３に示すように、１つのヒストグラムを用いて１つの近似関数を生成し、生成された合計３つの近似関数を平均化したものを、樹木の動的領域に関する時間的な輝度変化を考慮した近似関数として生成する。なお、非線形最小二乗法を用いて近似関数を生成するにはある程度の時間を必要とするため、例えば１枚目の背景画像に基づくヒストグラムと２枚目の背景画像に基づくヒストグラムとの平均値を算出しておき、その平均化されたヒストグラムについて近似関数を求めるようにしてもよい。これにより、３つの背景画像から生成されるヒストグラムの数が３つから２つに軽減されるため、近似関数の計算に要する時間を短縮することができる。

ここで、近似関数の生成方法について説明しておく。近似関数の生成には、式（６）に示すコーシー分布を用いて生成することが可能であり、この式（６）を構成している２つの未知数μとτについては、非線形最小二乗法を用いて計算可能である。なお、ｘは、−∞＜ｘ＜∞の範囲であるとする。

非線形最小二乗法とは、例えば、図１４の実線で示すような計測値から点線で示すような近似関数を求める際に、例えば４つの点での誤差の総和ｒの二乗を２つの未知数μとτについての目的関数Ｅ（μ，τ）とし（式（７））、この目的関数が最小になるように計算を繰り返す方法である。

最小化問題として計算する場合には、目的関数Ｅ（μ，τ）を各未知数でそれぞれ偏微分した値が０（ゼロ）を満たすこと求められるので、式（８）が必要条件となる。

式（８）については、一般的に数値解法としての勾配法を適用することで求めることができ、結果として式（９）と式（１０）を用いて未知数μとτを計算することが可能となる。

なお、Ｐは反復回数である。また、λは調整係数であって、ここではλ＝０．０１として計算するものとする。μ^０＝τ^０＝０という初期値を与えて計算を繰り返すと、μ＝０．１，τ＝０．５という値を求めることができ、これらの未知数を式（６）に代入することで、ヒストグラムから近似関数を計算することができる。なお、このような非線形最小二乗法を用いて近似関数を計算する方法は既に公知な技術であることを付言しておく。

続いて、画素分類部１３が、樹木の動的領域を構成している各画素については、平均化された近似関数を満たす背景発生確率を条件付き背景確率の尤度ｐ（Ｉ｜ω_０）として代入すると共に、前景発生確率を条件付き前景確率の尤度ｐ（Ｉ｜ω_１）に代入して、画素分類式をそれぞれ計算し、その計算結果が１．０より大きい場合には、その画素は背景に属すると分類し、計算結果が１．０以下の場合には、その画素は前景に属すると分類する。一方、樹木の動的領域以外の静的領域の各画素については、ステップＳ２０２の計算結果を用いて、第１の実施の形態のステップＳ１０３で説明した方法と同じ方法で各画素を分類する（ステップＳ２０５）。具体的な計算方法については第１の実施の形態で説明した計算方法と同様である。

そして、抽出部１４が、前景として分類された画素を移動対象として抽出し（ステップＳ２０６）。最後に、表示部１５が、抽出された移動対象を表示する（ステップＳ２０７）。

なお、動的領域が他にもある場合には、各動的領域に対してステップＳ２０３〜ステップＳ２０５の処理を行うことで同様の効果を得ることができる。

本実施の形態によれば、背景画像の動的領域について、動的領域の背景発生確率を計算し、濃淡値に対して背景発生確率を生起頻度とするヒストグラムを生成し、非線形最小二乗法を用いてヒストグラムに近似する近似関数を生成し、この近似関数を用いて画素分類式を計算するので、背景画像に動的領域が含まれる場合であっても、前景として移動している移動対象を確実に抽出することが可能となる。

〔第３の実施の形態〕
第２の実施の形態では、背景における動的領域について時間の経過に伴う輝度の変化（濃淡値の変化）を考慮したものであったが、本実施の形態は、その動的領域について時間の経過に伴う動きの変化（速度ベクトル）を更に考慮するものとする。動きの変化を推定する方法としては様々な方法が存在するが、本実施の形態では正規化相互相関法を用いて説明する。

例えば、時間的に前後する２枚の背景画像における動的領域において、その動的領域間で同一の濃淡値を持つ対応点間の距離を計算することにより、動的領域における任意点が移動する速度ベクトルを求める方法である。なお、このような速度ベクトルの分布は、一般にオプティカルフローと称されている。

ここで、対応点を孤立的に探索した場合には、ノイズや類似する画素の存在等の影響により、対応点を安定的に求めることが困難である。そこで、求めたい対応点の周囲の点を含む小領域を一つの単位として背景画像の動的領域間における対応点を求めることができる。また、対応関係を求めるための基準として正規化相互相関法を用いることができる。従って、時間的に前後する背景画像の濃淡値をＩ，Ｔとし、画素の位置を（ｉ，ｊ）で表現し、小領域の範囲をＮ×Ｍとした場合には、式（１１）を用いて小領域間の類似度を評価することができる。なお、ＩとＴの上に−（バー）が付されたものは、各背景画像における平均濃淡値である。

このＲが最大となるものを対応点とし、対応点間の距離を計算して、動的領域における任意点の速度ベクトルを求めることができる。

図１５は、第３の実施の形態に係る移動対象抽出装置の構成を示す構成図である。この移動対象抽出装置１００は、第２の実施の形態で説明した移動対象抽出装置１００の構成に対して、速度ベクトル計算部１８と、第２のヒストグラム生成部１６ｂと、第２の近似関数生成部１７ｂとを更に備えている。なお、第１のヒストグラム生成部１６ａと第１の近似関数生成部１７ａは、第２の実施の形態で説明したヒストグラム生成部１６と近似関数生成部１７と同じである。

速度ベクトル計算部１８は、連続する２枚の背景画像を用いて、動的領域内で任意点が移動する速度を正規化相互相関法を用いて計算する機能を備えている。

第２のヒストグラム生成部１６ｂは、動的領域内で所定の速度を有する任意点が占める割合を速度発生確率として計算し、各速度に対して速度発生確率を生起頻度とするヒストグラムを生成する機能を備えている。

第２の近似関数生成部１７ｂは、非線形最小二乗法を用いて、第２のヒストグラム生成部１６ｂで生成されたヒストグラムに近似する近似関数を生成する機能を備えている。

画素分類部１３は、動的領域については、第１の近似関数生成部１７で生成された近似関数を満たす背景発生確率と第２の近似関数生成部１７ｂで生成された近似関数を満たす速度発生確率とを条件付き背景確率として、第１の実施の形態で説明した分類と同様の分類を行う機能を備えている。

なお、その他の機能ブロックについては第１の実施の形態及び第２の実施の形態で説明した機能と同様の機能を備えているため、ここではその説明を省略するものとする。

続いて、本実施の形態に係る移動対象装置の処理フローについて説明する。図１６は、第３の実施の形態に係る移動対象装置の処理フローを示すフロー図である。なお、背景画像蓄積部３２に蓄積されている背景画像は、第２の実施の形態で説明したのと同様に、時系列な３枚の背景画像であるする。

最初に、入力部１１が、撮影画像の入力を受け付けて、撮影画像格納部３１に格納する（ステップＳ３０１）。

次に、計算部１２が、３つの背景画像の静的領域について、各濃淡値に対して背景発生確率をそれぞれ計算する（ステップＳ３０２）。具体的な計算方法については第１の実施の形態で説明した計算方法と同様である。なお、静的領域のみならず、動的領域を含む全体についての背景発生確率を計算してもよい。

続いて、第１のヒストグラム生成部１６ａが、３つの背景画像の動的領域について背景発生確率をそれぞれ計算し、各濃淡値に対して背景発生確率を生起頻度とするヒストグラムをそれぞれ生成する（ステップＳ３０３）。具体的な計算方法については第２の実施の形態で説明した計算方法と同様である。

そして、第１の近似関数生成部１７ａが、非線形最小二乗法を用いて第１のヒストグラム生成部１６ａで生成された各ヒストグラムに近似する近似関数をそれぞれ生成する（ステップＳ３０４）。具体的な計算方法については第２の実施の形態で説明した計算方法と同様である。

次に、速度ベクトル計算部１８が、背景画像の動的領域について、連続する１枚目と２枚目の背景画像を用いて、動的領域内で任意点が移動する速度（速度ベクトル）を正規化相互相関法を用いて計算する（ステップＳ３０５）。具体的には、例えば図１７に示すような滝の動きが計算されることになる。

そして、第２のヒストグラム生成部１６ｂが、動的領域内で同じ速度を有する任意点が占める割合を速度発生確率として計算し、各速度に対してその速度発生確率を生起頻度とするヒストグラムを生成する（ステップＳ３０６）。具体的には、滝の領域において、例えば図１８の実線で示すようなヒストグラムが生成されることになる。

その後、第２の近似関数生成部１７ｂが、非線形最小二乗法を用いて第２のヒストグラム生成部１６ｂで生成されたヒストグラムに近似する近似関数を生成する（ステップＳ３０７）。

ここで、近似関数の生成方法について説明しておく。近似関数の生成には、式（１２）に示すカイ分布（χ^２）を用いて生成することが可能であり、この式（１２）を構成している未知数κについては、非線形最小二乗法を用いて計算可能である。なお、ｘは、−∞＜ｘ＜∞の範囲であるとする。また、Γはガンマ関数である。

非線形最小二乗法とは、第２の実施の形態で説明したように、図１４の実線で示すような計測値から点線で示すような近似関数を求める際に、例えば４つの点での誤差の総和ｒの二乗を未知数κについての目的関数Ｅ（κ）とし（式（１３））、この目的関数が最小になるように計算を繰り返す方法である。

最小化問題として計算する場合には、目的関数Ｅ（κ）を未知数κで偏微分した値が０（ゼロ）を満たすこと求められるので、式（１４）が必要条件となる。

式（１４）については、一般的に数値解法としての勾配法を適用することで求めることができ、結果として式（１５）を用いて未知数κを計算することが可能となる。

Ｐは反復回数である。また、λは調整係数であって、ここではλ＝０．０１として計算するものとする。κ^０＝０という初期値を与えて計算を繰り返すと、κ＝０．０２という値を求めることができ、これらの未知数を式（１２）に代入することで、ヒストグラムから近似関数を計算することができる。以上により、例えば図１８の点線で示すような近似関数が生成されることになる。

続いて、画素分類部１３が、樹木の動的領域を構成している各画素については、
式（１６）に示すように、第１の近似関数生成部１７ａで生成された近似関数を満たす背景発生確率と、第２の近似関数生成部１７ｂで生成された近似関数を満たす速度発生確率との乗算値を条件付き背景確率の尤度ｐ（Ｉ｜ω_０）として代入すると共に、前景発生確率を条件付き前景確率の尤度ｐ（Ｉ｜ω_１）に代入して、画素分類式をそれぞれ計算し、その計算結果が１．０より大きい場合には、その画素は背景に属すると分類し、計算結果が１．０以下の場合には、その画素は前景に属すると分類する。一方、樹木の動的領域以外の静的領域の各画素については、ステップＳ３０２の計算結果を用いて、第１の実施の形態のステップＳ１０３で説明した方法と同じ方法で各画素を分類する（ステップＳ３０８）。なお、背景発生確率と速度発生確率とを乗算することは一例であって、加算等の他計算方法を用いてもよい。

そして、抽出部１４が、前景として分類された画素を移動対象として抽出し（ステップＳ３０９）。最後に、表示部１５が、抽出された移動対象を表示する（ステップＳ３１０）。

なお、動的領域が他にもある場合には、各動的領域に対してステップＳ３０３〜ステップＳ３０８の処理を行うことで同様の効果を得ることができる。また、ステップＳ３０５〜ステップＳ３０７の処理は、ステップＳ３０３の処理の前であっても同様の効果を得ることができる。

滝や樹木などの変化については、輝度変化のみでは前景と類似する可能性があるが、動き情報を加味することにより、自然現象固有の成分をヒストグラム分布に反映することができ、移動対象の類似性をより確実に排除することができる。

本実施の形態によれば、背景画像の動的領域について、任意点が移動する速度を正規化相互相関法を用いて計算し、動的領域内で所定の速度を有する任意点が占める割合を速度発生確率として計算し、各速度に対して速度発生確率を生起頻度とするヒストグラムを生成し、非線形最小二乗法を用いて生成されたヒストグラムに近似する近似関数を生成し、この近似関数を用いて画素分類式を計算するので、背景画像に動的領域が含まれる場合であっても、前景として移動している移動対象をより確実に抽出することが可能となる。

最後に、各実施の形態で説明した移動対象抽出装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した移動対象抽出装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を移動対象抽出装置として機能させることができるのは勿論である。

なお、本実施の形態で説明した移動対象抽出装置は、特にマルチメディア分野，符号化分野，通信分野，映像監視分野の技術分野において応用可能であることを付言しておく。

第１の実施の形態に係る移動対象抽出装置の構成を示す構成図である。 第１の実施の形態に係る移動対象抽出装置の処理フローを示すフロー図である。 背景画像の一例を示す図である。 撮影画像の一例を示す図である。 背景発生確率を計算する計算方法を示す図である。 画素分類式を計算する計算方法を示す図である。 移動対象を抽出した画像を示す図である。 動的領域を有する背景と前景とを撮影した撮影画像である。 第２の実施の形態に係る移動対象抽出装置の構成を示す構成図である。 第２の実施の形態に係る移動対象装置の処理フローを示すフロー図である。 背景画像の一例を示す図である。 ヒストグラムを生成する状態を示す図である。 近似関数を生成する状態を示す図である。 非線形最小二乗法の説明に用いる図である。 第３の実施の形態に係る移動対象抽出装置の構成を示す構成図である。 第３の実施の形態に係る移動対象装置の処理フローを示すフロー図である。 滝の動きの状態を示す図である。 滝の動きについて生成されたヒストグラムとそのヒストグラムに近似する近似関数を示す図である。

符号の説明

１１…入力部
１２…計算部
１３…画素分類部
１４…抽出部
１５…表示部
１６…ヒストグラム生成部
１６ａ…第１のヒストグラム生成部
１６ｂ…第２のヒストグラム生成部
１７…近似関数生成部
１７ａ…第１の近似関数生成部
１７ｂ…第２の近似関数生成部
１８…速度ベクトル計算部
３１…撮影画像格納部
３２…背景画像蓄積部
３３…背景発生確率計算蓄積部
３４…前景発生確率蓄積部
３５…画素分類式蓄積部
１００…移動対象装置
Ｓ１０１〜Ｓ１０５…ステップ
Ｓ２０１〜Ｓ２０７…ステップ
Ｓ３０１〜Ｓ３１０…ステップ

Claims (7)

1. ある背景の前段で前景として移動している移動対象を撮影した撮影画像から前記移動対象を抽出する移動対象抽出装置において、
   前記背景のみを撮影した背景画像であって、所定の範囲で動作する動的領域を有する時系列な複数の背景画像を蓄積しておく背景画像蓄積手段と、
   前記背景画像を表現している各濃淡値が占める割合を背景発生確率として計算する背景発生確率計算式を蓄積しておく背景発生確率計算式蓄積手段と、
   前記撮影画像において前記前景の濃淡値が占める割合を所定の前景発生確率として蓄積しておく前景発生確率蓄積手段と、
   ベイズ推定法を適用した条件付き確率であって、前記撮影画像を構成する各画素が濃淡値で表現される場合に、当該画素が背景である条件付き背景確率と前景である条件付き前景確率との比率を用いて、当該画素が背景であるか前景であるかを分類する画素分類式を蓄積しておく画素分類式蓄積手段と、
   前記撮影画像を入力し、撮影画像格納手段に格納する入力手段と、
   前記背景発生確率計算式蓄積手段から前記背景発生確率計算式を読み出すと共に前記背景画像蓄積手段から前記背景画像を読み出して、当該背景画像の各濃淡値に対して前記背景発生確率をそれぞれ計算する計算手段と、
   前記背景発生確率計算式蓄積手段から前記背景確率発生計算式を読み出して、前記複数の背景画像の前記動的領域について前記背景発生確率をそれぞれ計算し、各濃淡値に対して当該背景発生確率を生起頻度とするヒストグラムを複数生成する第１のヒストグラム生成手段と、
   非線形最小二乗法を用いて前記複数のヒストグラムに近似する近似関数を生成する第１の近似関数生成手段と、
   連続する２枚の前記背景画像を用いて、前記動的領域内で任意点が移動する速度を正規化相互相関法を用いて計算する速度ベクトル計算手段と、
   当該動的領域内で当該速度を有する前記任意点が占める割合を速度発生確率として計算し、各速度に対して当該速度発生確率を生起頻度とするヒストグラムを生成する第２のヒストグラム生成手段と、
   非線形最小二乗法を用いて当該ヒストグラムに近似する近似関数を生成する第２の近似関数生成手段と、
   前記画素分類式蓄積手段から前記画素分類式を読み出し、前記前景発生確率蓄積手段から前記前景発生確率を読み出し、更に前記撮影画像格納手段から前記撮影画像を読み出して、当該撮影画像を構成している各画素に対して、当該各画素の濃淡値に対応する前記計算手段で計算された前記背景発生確率を前記条件付き背景確率とすると共に当該前景発生確率を前記条件付き前景確率として前記画素分類式をそれぞれ計算し、当該各画素が背景であるか前景であるかを分類する画素分類手段と、
   前記前景として分類された画素を前記移動対象として抽出する抽出手段と、を有し、
   前記画素分類手段は、
   前記動的領域については、前記第１の近似関数生成手段で生成された近似関数を満たす背景発生確率と、前記第２の近似関数生成手段で生成された近似関数を満たす速度発生確率との乗算値を、前記条件付き背景確率として前記分類を行うことを特徴とする移動対象抽出装置。
2. 前記速度ベクトル計算手段は、
   前記連続する２枚の背景画像の各動的領域で同一の濃淡値を持つ対応点間の距離を計算することにより、前記動的領域内で任意点が移動する速度を計算するものであって、
   求めたい対応点を含む一定領域（Ｍ×Ｎ）を一単位とし、前記２枚の背景画像の動的領域における一定領域間の類似度Ｒを以下の式（但し、（ｉ，ｊ）は画素の位置であり、Ｉは一方の背景画像の濃淡値であり、Ｉ（Ｉの上に−（バー）付）は当該背景画像の平均濃淡値であり、Ｔは他方の背景画像の濃淡値であり、Ｔ（Ｔの上に−（バー）付）は当該背景画像の平均濃淡値である）を用いて計算し、当該類似度Ｒが最大となる一定領域を対応点とする
   

   

   ことを特徴とする請求項１に記載の移動対象抽出装置。
3. 前記第１の近似関数生成手段及び前記第２の近似関数生成手段は、
   コーシー分布又はカイ分布を用いて前記近似関数を生成することを特徴とする請求項１又は２に記載の移動対象抽出装置。
4. ある背景の前段で前景として移動している移動対象を撮影した撮影画像から前記移動対象を抽出する移動対象抽出方法において、
   前記背景のみを撮影した背景画像であって、所定の範囲で動作する動的領域を有する時系列な複数の背景画像を背景画像蓄積手段に蓄積しておく第１のステップと、
   前記背景画像を表現している各濃淡値が占める割合を背景発生確率として計算する背景発生確率計算式を背景発生確率計算式蓄積手段に蓄積しておく第２のステップと、
   前記撮影画像において前記前景の濃淡値が占める割合を所定の前景発生確率として前景発生確率蓄積手段に蓄積しておく第３のステップと、
   ベイズ推定法を適用した条件付き確率であって、前記撮影画像を構成する各画素が濃淡値で表現される場合に、当該画素が背景である条件付き背景確率と前景である条件付き前景確率との比率を用いて、当該画素が背景であるか前景であるかを分類する画素分類式を画素分類式蓄積手段に蓄積しておく第４のステップと、
   前記撮影画像を入力し、撮影画像格納手段に格納する第５のステップと、
   前記背景発生確率計算式蓄積手段から前記背景発生確率計算式を読み出すと共に前記背景画像蓄積手段から前記背景画像を読み出して、当該背景画像の各濃淡値に対して前記背景発生確率をそれぞれ計算する第６のステップと、
   前記背景発生確率計算式蓄積手段から前記背景確率発生計算式を読み出して、前記複数の背景画像の前記動的領域について前記背景発生確率をそれぞれ計算し、各濃淡値に対して当該背景発生確率を生起頻度とするヒストグラムを複数生成する第７のステップと、
   非線形最小二乗法を用いて前記複数のヒストグラムに近似する近似関数を生成する第８のステップと、
   連続する２枚の前記背景画像を用いて、前記動的領域内で任意点が移動する速度を正規化相互相関法を用いて計算する第９のステップと、
   当該動的領域内で当該速度を有する前記任意点が占める割合を速度発生確率として計算し、各速度に対して当該速度発生確率を生起頻度とするヒストグラムを生成する第１０のステップと、
   非線形最小二乗法を用いて当該ヒストグラムに近似する近似関数を生成する第１１のステップと、
   前記画素分類式蓄積手段から前記画素分類式を読み出し、前記前景発生確率蓄積手段から前記前景発生確率を読み出し、更に前記撮影画像格納手段から前記撮影画像を読み出して、当該撮影画像を構成している各画素に対して、当該各画素の濃淡値に対応する前記第６のステップで計算された前記背景発生確率を前記条件付き背景確率とすると共に当該前景発生確率を前記条件付き前景確率として前記画素分類式をそれぞれ計算し、当該各画素が背景であるか前景であるかを分類する第１２のステップと、
   前記前景として分類された画素を前記移動対象として抽出する第１３のステップと、を有し、
   前記第１２のステップは、
   前記動的領域については、前記第８のステップで生成された近似関数を満たす背景発生確率と、前記第１１のステップで生成された近似関数を満たす速度発生確率との乗算値を、前記条件付き背景確率として前記分類を行うことを特徴とする移動対象抽出方法。
5. 前記第９のステップは、
   前記連続する２枚の背景画像の各動的領域で同一の濃淡値を持つ対応点間の距離を計算することにより、前記動的領域内で任意点が移動する速度を計算するものであって、
   求めたい対応点を含む一定領域（Ｍ×Ｎ）を一単位とし、前記２枚の背景画像の動的領域における一定領域間の類似度Ｒを以下の式（但し、（ｉ，ｊ）は画素の位置であり、Ｉは一方の背景画像の濃淡値であり、Ｉ（Ｉの上に−（バー）付）は当該背景画像の平均濃淡値であり、Ｔは他方の背景画像の濃淡値であり、Ｔ（Ｔの上に−（バー）付）は当該背景画像の平均濃淡値である）を用いて計算し、当該類似度Ｒが最大となる一定領域を対応点とする
   

   

   ことを特徴とする請求項４に記載の移動対象抽出方法。
6. 前記第８のステップ及び前記第１１のステップは、
   コーシー分布又はカイ分布を用いて前記近似関数を生成することを特徴とする請求項４又は５に記載の移動対象抽出方法。
7. 請求項４乃至６のいずれか１項に記載の移動対象抽出方法における各ステップをコンピュータによって実行させることを特徴とする移動対象抽出プログラム。

Images