JP2004046827A - 動的システムにおける適応混合学習 - Google Patents

Abstract

【課題】オーディオストリーム及びビデオといったリアルタイムデータのデータモデリングを行うための従来のデータモデリング技術に対して改善された方法及びフィルタを提供することを目的とする。
【解決手段】動的データのためのオンラインガウシアン混合学習モデルは、収束後のモデルの適用可能性を維持しつつ速い収束を達成するために適応学習レートスケジュールを用いる。実験結果は、適応学習モデルを用いたモデリング精度に対して予想もしなかった劇的な改善を示す。
【選択図】　　　図５

Description

【０００１】
【発明の属する技術分野】
本発明は、データモデリングに関連し、特にガウシアン混合を用いたモデリング方法及びシステムに関する。
【０００２】
【従来の技術】
ガウシアン混合は、一般的に、密度関数のパラメトリック推定及び教師なしクラスタリングに用いられる。定常分布に対するこれらのモデルのバッチ学習処理がよく理解されておりＥＭ（期待最小化）アルゴリズムを用いて解決することができる一方で、動的データに対するオンライン学習アルゴリズムの開発に対する関心が高まっている。このようなアルゴリズムに対する要求は、新しいデータのストリームが絶えず観察されており基礎となるデータ分布が時間とともに変化することがあるビデオ処理のようなリアルタイム適用から生ずるものである。
【０００３】
現在のところ文献により報告されている解決策は、ゆっくりとした分布のシフトを追跡しガウシアン再割り当てによる急な分布の変化を取り扱うために適応フィルタ学習を用いるものである。ビデオ信号中の画素分布のモデリングのためにガウシアン混合を用いるという最初の提案がされて以来、従来のアプローチは、非特許文献１に記載の方法を用いてきた。各段階において、新しい観察結果ｘに最も良く一致するガウシアンのうちの１つ（又は選択規準によってはそれ以上）のパラメータがリカーシブ・フィルタ
【０００４】
【数６】

を用いて更新され、式中、αは適応の時間的な速度を制御する（「学習ファクタ」、αとも称される）。ｘが現在のモデルにあまりよく一致しない場合、ガウシアンのうちの１つが新しい点に再割り当てされる。リカーシブ・フィルタ学習及びガウシアン再割り当てにより、システムは動的な分布をモデル化することが可能である。残念ながら、この方法を用いたときは非常にゆっくりと収束するため、システムが許容可能な近似を達成するには分布は長時間に亘って静止したままであることが必要とされる。
【０００５】
リカーシブ・フィルタ学習は分布の変化を追跡するために必要である一方で、初期パラメータ推定中の収束を加速させるためにより効率的な方法が使用されうる。このような方法は、例えば非特許文献２により提案されている。非特許文献２は、学習処理を別々の段階へ分けることを提案している。早期の学習段階において最初のＬ個のサンプルの十分な統計量を記憶し、項に適切な重み付けを適用することにより、収束性が改善されうる。しかしながら、この学習段階の明示的な分割は、初期化においてのみ適用されうる。実際は、続いて行われるガウシアン再割り当てもゆっくりとした収束の影響を受けることが観察されている。更に、以前のＬ個のサンプルの統計量を記憶するためにバッファが必要である。
【０００６】
【非特許文献１】
スタウファー・シー（Ｓｔａｕｆｆｅｒ，　Ｃ）及びグリムソン・ダブリュ・イー・エル（Ｇｒｉｍｓｏｎ，　Ｗ．　Ｅ．　Ｌ．）著「リアルタイム追跡のための適応背景混合モデル（Ａｄａｐｔｉｖｅ　Ｂａｃｋｇｒｏｕｎｄ　Ｍｉｘｔｕｒｅ　Ｍｏｄｅｌｓ　ｆｏｒ　Ｒｅａｌ−ｔｉｍｅ　Ｔｒａｃｋｉｎｇ）」　Ｐｒｏｃ．　ＣＶＰＲ，　第２巻、ｐ．２４６−２５２、１９９９年６月
【非特許文献２】
カウ・トラクルポン・ピー（Ｋａｅｗ　ＴｒａＫｕｌＰｏｎｇ）及びボウデン・アール（Ｂｏｗｄｅｎ，　Ｒ）著「影検出を行うリアルタイム追跡のための改善された適応背景混合モデル（Ａｎ　Ｉｍｐｒｏｖｅｄ　Ａｄａｐｔｉｖｅ　Ｂａｃｋｇｒｏｕｎｄ　Ｍｉｘｔｕｒｅ　Ｍｏｄｅｌ　ｆｏｒ　Ｒｅａｌ−ｔｉｍｅ　Ｔｒａｃｋｉｎｇｗｉｔｈ　Ｓｈａｄｏｗ　Ｄｅｔｅｃｔｉｏｎ）」　第２回欧州アドバンスド・ビデオ監視システムについてのワークショップ議事録（Ｐｒｏｃ．　ｏｆ　２ｎｄ　Ｅｕｒｏｐｅａｎ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｂａｓｅｄ　Ｓｕｒｖｅｉｌｌａｎｃｅ　Ｓｙｓｔｅｍｓ）、　２００１年９月
【０００７】
【発明が解決しようとする課題】
データの分布が静止しているという要件は、リアルタイムデータの動的な性質と対立する。このようなオーディオストリーム及びビデオといったリアルタイムデータのデータモデリングは、従来のデータモデリング技術に対して改善されることが必要である。
【０００８】
【課題を解決するための手段】
適応フィルタ装置及び方法は、ガウシアン混合を用いてデータモデリングを行う。データストリームから受け取られる各データ点について、更新のために１つ又はそれ以上のガウシアンが選択される。更新は、時間適応学習スケジュールに基づくものであり、学習レートは時間的なリテンションファクタαよりも大きい値から始まり、時間が経つにつれてαに収束する。
【０００９】
【発明の実施の形態】
Ａ．オンラインガウシアン混合学習
図５を参照するに、データモデリングフィルタ装置５００はフィルタ構成要素５１２を含むことが概略的に示されている。入力５０２は、モデリングされるべきデータＸ［ｎ］５２２を含む入力データストリームを受け取る。出力５０４は、入力データストリームを表わすモデルＹ［ｎ］５２４を生成する。フィードバックループ５０６は、フィルタが入来データストリームに応答してモデルを適応的に調整することを可能とする。フィルタ構成要素５１２は、本発明の方法に従って動作する。一般的には、フィルタ構成要素は、適当なソフトウエアを実行するディジタル信号プロセッサ（ＤＳＰ）又は従来のＣＰＵ（中央処理装置）といった処理装置である。フィルタ構成要素は、本発明によりデータを処理するＡＳＩＣでありうる。特定のハードウエア及びソフトウエアの形態は本願発明とは関係がないことが理解されよう。多数の実施の形態のいずれでも当業者によって実現されうる。以下説明するように、本発明は動的データモデリングに適した動作を行うフィルタに関連する。
【００１０】
しかしながら、まず、リアルタイムデータ及び基本的なオンラインアルゴリズムのためのガウシアン混合モデリングの問題について説明する。一般性を失うことなく、ここで、一次元信号ｘ（ｔ）のみを参照する。ここで目的とするのは、一回に一つずつ見られるデータ点のストリームの分布を、ガウシアン混合、即ち、
【００１１】
【数７】

で表わすことである。
【００１２】
推定されているパラメータは、各ガウシアンに対して、重み又は混合部分ｗ_ｋ、平均μ_ｋ、及び分散σ^２ _ｋを含む。時間を表す添え字は、紛らわしくない場合には省略する場合がある。基本オンラインＥＭ（期待最小化）アルゴリズムは、新しいデータｘ（ｔ）を観察すると、以下のステップに従ってこれらのパラメータを更新する。
【００１３】
オンラインＥＭ混合学習アルゴリズム
Ｗｈｉｌｅ　新しいデータｘを得る
Ｉｆ　幾つかのガウシアンＧ_ｋがｘと一致する　　　　（１）
Ｇ_ｋのパラメータを更新する　　　　　　　　　　　　（２）
Ｉｆ　どのガウシアンもｘと一致しない
ガウシアンＧ_ｋを選択する　　　　　　　　　　　　　　（３）
Ｇ_ｋをｘで再初期化する　　　　　　　　　　　　　　　　　（４）。
【００１４】
上述の疑似コードの各ステップにおける異なる実施は、アルゴリズムの変形を生じさせることが認識されうる。例えば、ステップ（１）のテスト「Ｇ_ｋがｘと一致する」に対して幾つかの定義（規準）が可能である。殆どの定義はＰ（Ｇ_ｋ｜ｘ）の現在の推定値に基づいており、幾つかは閾値の尺度（ｍｅｔｒｉｃ）に基づく。「ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌ」アプローチは、最も確からしいガウシアンを決定するために距離閾値を用い、即ち、
【００１５】
【数８】

である。一致する規準もまたＰ（Ｇ_ｋ｜ｘ）自体、即ち、
【００１６】
【数９】

でありえ、この場合、各ガウシアンは各新しいデータ点に一致し、各ガウシアンからｘへの距離に対する量によって更新される。計算効率のため、各ガウシアンが更新されるこの種類の「ソフトパーティション（ｓｏｆｔ　ｐａｒｔｉｔｉｏｎ）」よりもｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌの変形が望ましい場合が多い。
【００１７】
１以上の一致するガウシアンが見つかった場合、それらのパラメータはステップ（２）の幾つかの更新規則に従って更新される。多くのビデオ処理適用では、パラメータの更新は因果低域通過フィルタをモデリングし、例えば、
【００１８】
【数１０】

であり、但し、１／αは低域通過フィルタの有効時間ウィンドウを定義する。しかしながら、上述したように、この種類の一定速度の適応フィルタ学習は、非常にゆっくりと適応する。αについて、一般的には０．０１から０．００１の間の値が用いられる。学習ファクタαは、Ｐ（ｘ｜Ｇ_ｋ）で重み付けされる場合もあり、または、より適切にはｘに近いガウシアンは点を学習する責任が大きくなるべきであることを考慮に入れるため、Ｐ（Ｇ_ｋ｜ｘ）で重み付けされる。重みを更新するために同様の規則、即ち、
【００１９】
【数１１】

が用いられ、但し、Ｍは、ｘに一致するガウシアンについては１であり、その他の場合は０である。これにより、一致するガウシアンについては重みが増加し、一致しないガウシアンについては重みが減少する。次に、重みは和が１となるよう正規化される。
【００２０】
上述の更新規則は確立されたガウシアンにおけるゆっくりとした変化に適合するのに適しているが、分布における突然の変化を取り扱うことはできない。従って、ステップ（３）及び（４）はこのようなデータを適応させるために設けられうる。どのガウシアンも十分にｘに一致しない場合は、それに対して新しいガウシアンが割り当てられるべきである。全てのＫ個のガウシアンが使用された場合、既存のガウシアンのうちの１つが再割当てされる必要がある。ガウシアンの再割当ては実際上考慮すべき事項である。理想的には、新しいガウシアンが割り当てられるべきであるが、通常は記憶容量は限られているため、無制限な数のガウシアンを用いることは実施の観点からは実際的ではない。従って、ガウシアンの再割当てが行われる。
【００２１】
ステップ（３）における再割当てのためにガウシアンを選択するための１つの明らかな選択肢は、関数ａｒｇｍｉｎ_ｋ｛ｗ_ｋ｝に基づいて選択を行うことである。しかしながら、より前後関係に適した他の規準が使用されうる。例えば、背景モデリングといった適用では、周りの背景処理を表わす可能性が高いものとしてガウシアンを維持することが望ましい。従って、関数ａｒｇｍｉｎ_ｋ｛ｗ_ｋ／σ_ｋ｝が用いられる場合がある。
【００２２】
時間ｔ＝１における初期化段階としても作用するステップ（４）における再割当てのために、幾つかの論理的な選択が利用可能である。選択されたガウシアンは通常は大きな初期分散でｘを中心とするよう設定される。同様に、再割当てされたガウシアンのための重みは小さい値に設定され、重みは再び正規化される。
【００２３】
比較のため、ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌのマッチング規準と因果低域通過フィルタ更新規則を用いて手順が行われる。低域通過ＷＴＡと称されるアルゴリズムについて、おおまかにＣプログラミング言語構文に基づいた疑似コードによって以下概説する。
【００２４】
【数１２】

Ｂ．適応学習スケジュール
因果低域通過フィルタ学習は、ゆっくりとした変化に適応するには適しているが、パラメータ学習の初期段階におけるその収束は不必要に遅い。ここで、一連の同一の点を学習するために単一のガウシアンが割り当てられる場合について考える。低域通過ＷＴＡアルゴリズムは、平均をｘに、分散をＶ_０に初期化する。続く繰り返しにおいては、ｘ（ｔ）−μ（ｔ）＝０であるため、σ^２（ｔ）は（１−α）^ｔの割合で０に収束する。一般的なαの値０．０１について、Ｖ_０が１％に達するには約４６０回の繰り返しが行われる。α＝０．００１では１０倍長くかかる。αをより大きくすることによってより早い収束を達成することができるが、その場合には不安定なアルゴリズムとなる。低いリテンションファクタでは、モデルは各新しいデータ点を一気に追いかけようとする。
【００２５】
初期のパラメータ推定のための学習レートは、モデルの適応性を制御するリテンションファクタとは異なる役割を担い、従って、時間とともに調整される異なるスケジュールを必要とする。前者は、分布に急な変化があったときに新しいデータに速く収束することを目的とし、後者は、現在のデータ分布にゆっくりと移行するよう適応しモデルの安定性を維持することを目的とする。オンラインパラメータ推定のために適当な学習レートスケジュールを選択する問題については、文献により知られている。定常分布に対する有効な学習スケジュールのために必要な条件についての詳細な議論については、Ｓａｔｏ，　Ｍ−Ａ　ａｎｄ　Ｉｓｈｉｉ，　Ｓ．，　Ｏｎｌｉｎｅ　ＥＭ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｔｈｅ　Ｎｏｒｍａｌｉｚｅｄ　Ｇａｕｓｓｉａｎ　Ｎｅｔｗｏｒｋ，　Ｎｅｕｒａｌ　Ｃｏｍｐｕｔａｔｉｏｎ，　ｖ．１２，　ｐｐ．　４０７−４３２，　１９９９に記載されている。１／ｔスケジュールでは、オンラインＥＭアルゴリズムはバッチＥＭアルゴリズムに対する確率論的な近似であると考えることができ、尤度関数の極大へ収束する。
【００２６】
しかしながら、関心データは、その統計量が時間とともに変化しうる準定常信号であるとして特徴付けられうる。修正された形の１／ｔスケジュールは、予期しない有利な結果とともに、即ち、
【００２７】
【数１３】

で使用でき、ただし、
η（ｔ）は学習レートを時間ｔの関数として表わし、
αは学習ファクタ（「時間的ファクタ」又は「時間的リテンションファクタ」とも称する）である。
【００２８】
学習の初期段階では、
【００２９】
【数１４】

であり、σ^２は分散の真の移動平均を近似する。ｔが１／αを超えて大きくなると、
【００３０】
【数１５】

であり、アルゴリズムは通常の適応フィルタ学習となる。上述と同じ例を用いると、αが０．０１のとき、σ^２がＶ_０の１％に達するには５６回だけの繰り返しが行われる。一般的には、本発明による１／ｔタイプの学習スケジュールは、最初は学習ファクタαよりも大きく、時間が経つにつれてαへ収束する学習レートを有するとして特徴付けられうる。従って、学習段階の早期の或る最初の時間において、学習レートの値は学習ファクタの値を超える。時間が経つにつれて追加的なデータが受け取られると、学習レートは適応され、学習ファクタの値に向かって収束する。従って、本発明はこの独自の時間適応動作を示す任意の学習スケジュールを含むことを認めることができる。
【００３１】
図１は、これらの２つの学習スケジュールについての収束レートの比較を示す図である。グラフは、時間０において１に初期化されるσ^２の値を時間の関数として示す。学習曲線１０２ａ及び１０２ｂは従来の固定学習レートを用いる学習をαが夫々０．００１及び０．０１である場合について示すものである。学習曲線１０４ａ及び１０４ｂは本発明による適応学習スケジュールに従って生成される。σ^２は学習曲線１０４ａ及び１０４ｂでははるかに速く０へ収束し適応学習スケジュールを用いるときはαの値に対して比較的独立であることが明らかである。
【００３２】
ガウシアン混合学習アルゴリズムでは、ｔは各ガウシアンに対して利用可能なデータ点の数に関して定義され、各割り当ての後に再初期化される必要がある。実施上、各ガウシアンのために追加的なカウンタｃ_ｋが維持され、このカウンタｃ_ｋはガウシアン（重みを含まない）がデータ点に関して更新されるたびにインクリメントされる。カウンタはガウシアンが再割当てされたときに０にリセットされる。
【００３３】
以下、各ガウシアンのために時間適応学習レートを用いる本発明による格別なアルゴリズムを示す。適応学習レートは、どのガウシアンが更新されるべきかを決定するために使用される規準とは独立に使用されうることが認識されうる。以下に示す選択規準は、平均までの正規化された距離に基づく。しかしながら、確率ｇ_ｋ（ｘ）、重み付けされた確率Ｐ_ｋ＝ｗ_ｋ・ｇ_ｋ（ｘ）、又は正規化されたＰ_ｋに基づく他の選択規準もまた可能であることが認識される。
【００３４】
【数１６】

上述のものは、１以上のガウシアンが更新されることを可能とする。或いは、ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌアプローチは、１つのガウシアンのみが更新のために選択されている場合に使用されうる。
【００３５】
【数１７】

Ｃ．重み更新
重みの推定は、観察されていない変数の推定を表わすため、混合モデル学習において重要である。バッチＥＭ学習では、重みは各繰り返しの終わりにおいて、
【００３６】
【数１８】

として推定される。オンラインアルゴリズムでは、通常は重みの更新の後に、これらの総和が１となることを確実とするために正規化が行われる。本発明の他の面によれば、正規化手順は不必要であると考えられ、初期化中又は再割当て後のパラメータ学習における混乱を生じさせるとみなされる。ガウシアンが再割当てされると、過去に観察されたデータからのこのガウシアンの偏差と今後生ずる新しいデータを説明する能力の信頼性が低いことを示すために、その重みは小さいＷ_０へ初期化される。しかしながら、正規化を通じて、再割当ての前にそのガウシアンに以前に関連付けられていた重みは、全てのガウシアンの間で自動的に再分配される。このセクションでは、重み更新機構について調べ、重みを正規化しないことについての正当性について提案する。Ｗ_０の適当な値が導出される。
【００３７】
まず、重みの総和が常に１となるＫ個のガウシアンの混合がある基本的な重み更新スキームについて考える。ｔ回目の繰り返しにおいて、重みは新しいデータ点に対して更新される。１つのガウシアンがｘに一致したと想定する。その場合、全ての重みは、以下の式、
【００３８】
【数１９】

を用いて更新される。従って、一致するガウシアンＧ_＋の重みは、
【００３９】
【数２０】

だけ増加され、他のガウシアンの重みは全体で
【００４０】
【数２１】

だけ減少する。
【００４１】
一致するガウシアンの重みは１に向かって動き、一方、一致しないガウシアンの重みは０に向かって動き、正の利得と負の利得の量は互いに打ち消し合う。更新の前に重みの総和が１になれば、これらは更新の後に１に総和される。重みは単に再分配され、正規化は必要でない。
【００４２】
しかしながら、どのガウシアンもｘに一致しないときは、動作は異なる。再割当てのためにＧ_＊が選択されるとすると、正規化前の全体の重みの変化は、
【００４３】
【数２２】

である。正規化の後、重みの変化は、
【００４４】
【数２３】

である。
【００４５】
得られる結果は解釈が容易ではないが、幾つかの場合について考えることができる。Ｇ_＊が以前にＷ_０よりも大きい重み、即ち、ΔＷ（ｔ）＜０、を有していた場合、ｗ_＊は負の重み変化を得るが、他の全てのガウシアンに対する重みは増加する。対照的に、ΔＷ（ｔ）＞０であれば、最終的にはｗ_＊は他の全てのガウシアンから推論される全体の量に等しい正の純利益となる。残っているガウシアンの重みを変化させるのは、事前確率の総和が１とされねばならないという性質を保つためである。
【００４６】
全ての場合について一貫性のある新しい重み更新スキームが提案される。（Ｋ＋１）番目のガウシアンを元のＫガウシアン混合に加える場合について考える。分散が無限に固定されているガウシアンは、最初のＫ個のガウシアンによってはわからず又は説明されない全てのデータに対する最善の推測を表わす。その重みｗ_Ｋ＋１は最初のＫ個のガウシアンによっては未知であり説明されないデータの割合である。この最後のガウシアンが最初のＫ個のガウシアンのうちの何れによっても一致されない全てのデータ点と一致するとき、上述と同じ重み更新規則が適用されると、上述の更新の式は、常に適用され、常に最初のＫ個のガウシアンと未知のプールとの間の重みの再分布を生じさせる。最初のＫ個のガウシアンに一致するＧ_＋がある場合、一致しないガウシアンから推論される量は、先ず未知のプールに加えられ、次にＧ_＋へ移される。最初のＫ個のガウシアンに一致がない場合、全体でα（１−ｗ_Ｋ＋１（ｔ−１））がまず推論され、ｗ_Ｋ＋１に加えられる。再割当てのためにＧ_＊が選択されると、
【００４７】
【外１】

はｗ_Ｋ＋１に加えられる。
【００４８】
最後に、Ｗ_０はプールから取り出され、Ｇ_＊に割り当てられる。このときＷ_０の値は何であるべきであろうか。初期化において、全てのデータは未知であり、従って最初のＫ個のガウシアンについてはＷ_Ｋ＋１＝１及びＷ_ｉ＝０である。最初の一致ではｗ_＋は、
α・（１−ｗ_＋（ｔ−１））＝α・（１−０）＝α
だけ増加される。Ｇ_＊を壊した後、その再割当ては初期化と何ら変わらずに動作する。従って、Ｗ_０＝αである。
【００４９】
尚、知らないデータについては最も基本的な仮定、即ち一様な分布、から始める。（もちろん、事前確率についてのそのような知識を得ることができるのであれば、これを組み込んでもよい）。ガウシアンが点についての説明に成功するたびに、未知のプールからそのガウシアンへ小さい重みがシフトされる。逆に言えば、点についての説明に失敗するたびに、未知のプールへ小さい量がシフトされる。（Ｋ＋１）番目のガウシアンでこの新しいスキームを実施することは、追加的な記憶を必要としない。これは、重み正規化を行わないＫガウシアン混合と等価である。このアプローチは、単純に重みが正規化されたときに失われた１度の自由度を用いる。
【００５０】
Ｄ．実験結果
最初に、オンラインアルゴリズムの幾つか（ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌ又は完全な更新、重み正規化あり又はなし、適応又は固定学習スケジュール等）を幾つかの合成的に発生された混合分布上で評価した。同様の特徴は実際のデータに対するテストでもわかるため、合成データの結果の概要のみを示すものとし、それに続いて実際のデータについて説明する。適応学習スケジュールについて達成された改善は格別のものである。これは、テストされた殆ど全てのバージョンにおいて全体のデータモデリングの正確さを改善し、明らかな副次的な悪影響は示さなかった。提案される重み更新スキーム（正規化なし）は、分布が突然の変化を生じた場所において正規化されたバージョンに対して明らかな利点を示した。しかしながら、これらの差は、適合学習スケジュールが組み合わされて用いられたときはすぐになくなった。Ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌ及び完全な更新は、殆どの場合に同様に行われる。しかしながら、混合に含まれるガウシアン同士の重なり合いが増加すると、完全更新アルゴリズムはｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌバージョンに対してよりよい一貫性を示した。
【００５１】
合成データの評価に基づいて、提案されるアルゴリズムのｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌバージョン（適応学習スケジュールあり、重み正規化なし）を固定学習レートで現実のデータに対する重み正規化を行った基本適応フィルタ学習アルゴリズムのｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌバージョンと比較する。以下、両方の変化が組み込まれた提案されるアルゴリズムの疑似コードを示す。
【００５２】
【数２４】

会議のビデオの中の固定の場所から（ｒ，ｇ，ｂ）画素値を表わすビデオデータの集合を収集した。第１の集合は、壁面の隠されていない点に対応し、従って画素値は時間に亘って非常に安定している。第２の集合は、時々人の顔やシャツで隠される壁面の異なる点に対応する。従って、画素値は（時間に亘って）幾つかの場所で非常に劇的な変化を示している。いずれのアルゴリズムもα＝０．０１及びＴ_σ ^２＝１０を用いてテストした。
【００５３】
図２に、第１の集合（壁データ）に対する結果を示す。簡単化のため、時間（ｘ軸）に対してプロットされた実際の画素値の赤成分（ｙ軸）のみを示す。図２（Ａ）は、基本アルゴリズムを用いて１つのガウシアンの平均２１２ａがどのように実際の画素値２０２と一致するかを示す。色の濃い部分２１４ａは、そのガウシアンの３標準偏差の範囲を示し、時間が経つにつれての標準偏差の変化を示す。図から、このようなきれいなデータでも標準偏差は非常にゆっくりと収束することが明らかである。図２（Ｂ）にプロットされた同じデータは、本発明の方法を用いた結果を示す。図からわかるように、標準偏差は実際のデータに一致するよう非常に急速に収束する。これは、視覚的には、時間が経つにつれてのガウシアンの拡張された３標準偏差を表わすはるかに小さい色の濃い領域２１４ｂによって示されている。
【００５４】
第２のデータ集合（人物）に対する従来技術の方法と本発明のアルゴリズムの比較の結果を図３（従来技術）と図４（本発明）に夫々示す。この集合のデータは壁の点からのビデオ信号よりも非常に動的であるため、データの異なる部分は異なるガウシアンによって学習される。図３中、４０００フレームに亘って観察された画素値（ｙ軸）がプロットされる。混合中の３つのガウシアンの夫々の平均及び分散は、別々のグラフに示される。各ガウシアンの相対的な重要さ（混合重み）は、グラフの下部に示されている。
【００５５】
これらの実験では、データのモデリングを行うために３つのガウシアンを用いた。このことを示すために、３つのガウシアンの夫々に対して赤画素成分に対するビデオデータの同じプロットを示す。各ガウシアンに関連付けられる重み２２４は、各グラフの下部に示されている。図３に示される最初の３つのプロットは、基本アルゴリズムに対応する。ガウシアンのうちの１つは壁の色の値をうまく学習するが、壁が隠されたときは新しいデータに収束することができず、残る２つのガウシアンを役に立たないものとする。これに対して、図４に示すように、本発明によるアルゴリズムに基づくデータモデルは非常に良く全てのデータに当てはまることが可能である。壁が隠されると、新しいガウシアンは新しいクラスタ中心を取り、重みを取得し始める。図３と比較すると、ガウシアンパラメータははるかに速く収束し、より良くデータと近似することが明らかである。
【００５６】
同じ比較は、実際及び合成データの幾つかの集合に対して行われ、本発明の方法の一貫性のある利点が観察された。アルゴリズムは、ビデオ背景セグメンテーションシステムに用いられたとき、背景モデルのより高速且つより正確な学習が達成され、これにより全体的なセグメンテーション結果がより良くなった。実験の結果を以下に、適応ガウシアン混合に基づく背景セグメンテーションのためのベイズ枠組みについて示す。
【００５７】
【実施例】
背景セグメンテーションは、広汎な適用を有する全てのビデオ分析システムの本質的な構成要素である。近年の研究では、リアルタイムビデオ監視適用で背景モデリングのために適応ガウシアン混合を用いることが提案されている。しかしながら、その場限りの決定規則が用いられており、このアプローチのための論理的な枠組みは提案されていない。ここでは、ガウシアン混合モデリングに基づく背景セグメンテーションのための枠組みについて説明する。セグメンテーションの問題は、２つの密度推定問題に分けることができ、幾つかの関連するタスクに対して一組の直感的及び論理的にしっかりした解決法が得られることを示す。また、収束を劇的に改善する学習適応ガウシアン混合のための新規なアルゴリズムを提案する。実験結果は、提案されるアルゴリズムが既存のアルゴリズムよりも非常に良いパフォーマンスを達成することを示す。
【００５８】
キーワード：背景セグメンテーション、ガウシアン混合、パノラマ会議ビデオ
１．はじめに
背景セグメンテーションは、コンテンツ・ベースの検索からオブジェクト・ベースの符号化に至るまでの範囲の適用を有する多くのマルチメディアシステムの本質的な前処理段階である。長年にわたり、実験的な設定に対してのみ適した静的な背景モデルを現実世界の条件を取り扱うためのガウシアン混合といった非常に複雑な適応モデルで置き換えるための研究が進んでいる。ガウシアン混合背景モデルに基づく幾つかの成功した適用が報告されている［文献２，３，８］。しかしながら、これらの方法が基礎とする論理的な枠組みについての良い議論がされていない。ここでは、ガウシアン混合に基づく背景セグメンテーション問題のための枠組みを提案し、この枠組みの中で領域特定事前確率及び空間的な制約条件がどのように適用されるかを示す。更に、Ｂａｙｅｓｉａｎに関して、一組の関連する質問に対する最適解を導出する。パノラマ会議ビデオに対してアルゴリズムのテストを行い、良いパフォーマンスを得た。
【００５９】
ここでは、背景モデリングのためのガウシアン混合の選択が求められている。図６に示すように、会議の３６０度のパノラマビデオを捕捉する会議記録システム［文献６］を開発した。ここでは、会議のビデオ中で前景として人間を含む領域を確認するために背景セグメンテーションを行う。実際の輪郭の抽出及び多くの人の追跡は、本願の範囲ではない適切なオブジェクトモデリングによって行われるべきものである。これらのビデオにおける背景セグメンテーションは、幾つかの問題を提起する。まず、動きの特徴は、オブジェクト間で、又は或るオブジェクト中で非常に大きく変化しうるものであり、これらは時間が経つにつれて変化する。更に、人は、座っている間は、頭や手を時々動かすだけで、長い時間に亘って比較的静止しているものでありうる。第２に、背景環境は急激に変化しうる。スライド投写器といった事務用機器は動かされることがある。電子ホワイトボードは、電源をオンとオフで切り換えられることがある。扉は開かれたり閉じられたりする。窓から日光が差し込むときは照明条件も変化することがある。更に、会議用テーブルに置かれたカメラは会議と会議の間に動かされることがあり、空の部屋の静的な初期化に依存することを可能でなくする。これらの分布は多様な性質であるため、適応ガウシアン混合モデルが最も適していると予想する。これは、一般的に用いられる単一ガウシアンモデル［文献４，９］よりも一時的な閉塞を取り扱うのに向いている。その分析的な方法は、非パラメータアプローチ［文献１］よりも解を効果的なものとし、問題を扱いやすいものとする。
【００６０】
適応背景モデリングのためにガウシアン混合を用いるこれまでの研究は、同様な方法を共用してきた。ビデオ中の各画素位置において、ガウシアン混合は、適応フィルタリング、
Ｍ（ｔ）＝α・Ｍ（ｔ−１）＋（１−α）・Δ（ｘ（ｔ））　　　　（１）
を用いて時間に亘ってその点について観察される全ての値に対して学習され、但し、Ｍ（ｔ−１）は時間ｔ−１における元のモデル推定値であり、Δ（ｘ（ｔ））は時間ｔにおけるデータに基づく新しいパラメータ推定値であり、αは時間的なリテンションファクタである。現れる頻度が多く変化の少ない値は背景である可能性が高いため、モデル中のガウシアンはｗ／σの降順でソートされる。ある時間枠では、背景は閾値よりも頻繁に観察されるという仮定に基づいて、順序リスト中の最初のｂ個のガウシアンは背景として分類され、ｂは時間範囲に対する閾値に基づいて決定される。各データ観察の後、リストは再順序付けされる。このアルゴリズムは、背景の変化が長い時間に亘って徐々に生じ主に動く物体が関心となる監視適用に用いられるときにうまく使用されるが、背景の変化がより頻繁に生じ人々の動きが限られている会議ビデオにこれを適用するのは困難である。更に、論理的な前提なしには、どのようにしてモデルを肌の色や位置事前確率といった領域文脈を含むよう拡張できるか明らかでない。
【００６１】
ここで提案する背景セグメンテーションの枠組みは、問題を２つの独立した密度推定の問題へ分かれる。第１の問題は、ガウシアン混合により各画素位置において観察された値の分布をモデル化することであり、これは明らかな目的についてよく研究されてきた問題である［文献７］。ここでは、収束を速めるために適応学習スケジュールを用いるオンラインＥＭアルゴリズムを使用する。基礎となる画素分布の明示的な表現があれば、元々の背景セグメント化問題はガウシアンを構成するものの分類として系統立てて述べることができる。この分類は、ガウシアンが背景であるという事後確率に依存する。必然的に、この第２の問題は、問題に特定のヒューリスティクスに依存する。しかしながら、この分割は、領域の知識と空間的な制約がどのようにして組み入れられるかについての指針を与える。ビデオの中で人物を見つけるために、肌の色についての事前確率を適用する。例えば「壁は黄色である」といった高い信頼性の決定を伝搬するのに役立つために近傍画素でのモデルも調べられる。
【００６２】
この枠組みでの解には直感的な解釈がある。各画素位置での観察結果が多数の別々の処理の結果として生ずると想定すると、基礎にある処理を明らかとするためにこれらをまず色量子化する。次に、観察結果をそれが属する処理の分類に基づいて前景又は背景として分類する。この方法に基づき、幾つかの関連付けられる問題について、統計的なパターン認識の観点からあいまいでない最適な解を得る。例えば、所与の時間に観察された画素は、ガウシアンの混合分布及び事後確率で表された前景である確率が０．５よりも大きい場合は前景として分類される。従って、背景モデルは、背景処理に属する点のみを含む混合分布全体の部分集合である。更に、背景モデルの表現は、その背景が与えられているときの画素の期待値である。この研究は、ガウシアンの事後確率が二値化されるこれまでの研究［文献２，３，８］の一般化として考えられうる。しかしながら、実験で示すように、この一般化はセグメンテーションの能力に大きな影響を与え、領域知識を組み込むために容易に拡張されうる。
【００６３】
実験結果について以下説明する。第２節では背景セグメンテーションのための全体的な枠組みについて説明する。密度推定問題として扱われる各処理の詳細について小節の中で述べる。この枠組みに基づき、一組の関連する問題に対する解も導出する。第３節では、実施の詳細について説明し、実験結果を示す。最後に、第４節で結論を述べる。
【００６４】
２．Ｂａｙｅｓｉａｎ枠組み
この節では、前景抽出問題についての枠組みを説明する。ビデオ背景セグメンテーションは二値分類問題であること、即ち、時間ｔにおけるフレーム中の各画素を前景又は背景として決定することが周知である。前景及び背景についての詳細な定義を与えずに、ここでは前景を誰かが定義した何らかの関心領域と定義する。Ｂａｙｅｓｉａｎの観点からは、この決定は、画素が背景である事後確率Ｐ（Ｂ｜ｘ（ｒ，ｃ，ｔ））、但し、ｘ（ｒ，ｃ，ｔ）は時間ｔにおけるフレーム中の位置（ｒ，ｃ）で観察され、Ｂは背景クラスを示すとする、に基づくべきである。観察結果は、前景又は背景のいずれかに属さなければならないため、Ｐ（Ｆ｜ｘ（ｒ，ｃ，ｔ））＋Ｐ（Ｂ｜ｘ（ｒ，ｃ，ｔ））＝１である。表記を単純にするため、意味が明らかな場合は場所及び時間についての添え字を省略するものとする。また、ｘは単一の次元であるとする。更に高い次元への拡張は簡単なことである。
【００６５】
時間の経過とともに画素位置で観察される値の多モードの性質を考えると、ガウシアン混合は、各ガウシアンが基礎となる処理を表わして、分布をモデル化するために使用される。
【００６６】
【数２５】

ただし、Ｇ_ｋはｋ番目のガウシアンであり、ｇ_ｋ（ｘ）≡ｇ（ｘ，μ_ｋ，Σ_ｋ）はガウシアン密度関数である。単一の処理から生ずる全ての観察結果が前景又は背景のいずれかに属すると想定すると、元のセグメンテーション問題は
【００６７】
【数２６】

と書き換えることができる。セグメンテーション問題は、２つの独立問題に、即ち、画素における全ての観察結果の分布をガウシアン混合であるとして推定すること、及び、混合の各ガウシアンがどれくらい背景である可能性があるかを評価することに分けられる。第１の問題は、基礎となる処理を明らかとするために画素の色を量子化することに似ており、第２の問題は処理を前景又は背景として分類しようとするものである。時間ｔにおける観察された画素が前景であるか背景であるかを決定するためには、Ｐ（Ｂ｜ｘ）＞０．５であれば背景であると決定し、そうでなければ前景であると決定すべきであることが明らかである。第１の問題の解は、Ｐ（Ｇ_ｋ）及びＰ（ｘ｜Ｇ_ｋ）の推定値を与える。第２の問題の解は、Ｐ（Ｂ｜Ｇ_ｋ）の推定値を与える。これらについては、次の２つの節において説明する。
【００６８】
２．１　Ｐ（ｘ）の推定
ガウシアン混合を用いた密度推定の問題はよく研究されている［文献７］。ビデオ信号のリアルタイム性を考えると、ここでの適用の制約は、バッチ学習アルゴリズムではなくオンライン学習アルゴリズムが必要でありモデルが時間の経過による分布の変化に適応せねばならないことである。一般的に使用される適応フィルタリングアルゴリズム［文献１，２，３，４，８，９］は、一定の学習レートを用い、重み正規化を強制する。ここでは、収束性を改善するために各ガウシアンに対して適応学習レートスケジュールを用いることを提案する。通常の重みパラメータ、平均パラメータ、及び分散パラメータのほかに、ｉ番目のガウシアンの更新に直接寄与したデータ点の数を計数するために新しいパラメータｃ_ｉを追加する。混合の中の全てのガウシアンに対して一定の学習レートを用いる代わりにこの数に基づいて各ガウシアンに対する別々の学習レートを用いることにより、収束の速さと近似結果が劇的に改善されることがわかった。また、分布モデル中の突然の変化をなくすため、重み正規化を避ける。このアルゴリズムの詳細な説明と実験結果は［文献５］に記載されている。
【００６９】
アルゴリズムについて概説すると以下の通りである。ここで、ｗ_ｉ（ｔ）、μ_ｉ（ｔ）、σ^２ _ｉ（ｔ）を、それぞれ、時間ｔにおけるｉ番目のガウシアンの重み、平均、及び分散であるとする。パラメータαは時間的な保持を制御し、閾値Ｔ_σは点がガウシアンに一致するか否かを決める。
【００７０】
【外２】

であるとき、ｇ_ｋ（ｘ）＝０である。重み及び平均は０に初期化される。分散は、大きい値Ｖ_０に設定される。すると、時間ｔにおいて、ｘ（ｔ）に一致するいずれのガウシアンＧ_ｋについても、パラメータが更新され、
【００７１】
【数２７】

となる。どのガウシアンもｘ（ｔ）に一致しない場合、ガウシアンのうちの１つが再割当てされ、
【００７２】
【数２８】

となる。最後に、全ての重みは、
【００７３】
【数２９】

を用いて更新される。再割当てのためのガウシアンを選択する基準は、適用に依存したものでありうる。例えば、更に長い間良い背景候補を維持するためにａｒｇｍｉｎ_ｉ｛（Ｐ（Ｂ｜Ｇ_ｉ）｝についても試したが、動作には殆ど差がないことがわかった。η_ｋ＝α・ｇ_ｋ（ｘ）である［文献３，８］の研究と比較して、新しい方法がよりよく動作することが分かった。
【００７４】
２．２　Ｐ（Ｂ｜Ｇ_ｋ）の推定
Ｐ（Ｂ｜Ｇ_ｋ）の推定は、目的及び所望のアルゴリズムの動作がよく定義されている密度推定の従来の問題とは異なり、ヒューリスティックスに大きく依存し、適用に依存するものである。しかしながら、Ｐ（Ｂ｜ｘ）の元の分類タスクと比較すると、Ｐ（Ｂ｜Ｇ_ｋ）を推定するためにより多くの文脈が使用されうるためこの分解によって問題は簡単化される。この成分を残る成分から分離することは、ヒューリスティックスに対する明らかな統計的な意味を与え、セグメンテーション問題の残る部分に対する論理的な解析を可能とする。
【００７５】
背景は、一般的にはより頻繁に観察され値の変化が少ないことを示すため、ｗ／σは決定のための良い基準を与える。更に、画素の位置又はガウシアンの平均に基づく領域特定の事前確率が組み込まれうる。例えば、ビデオ中の人物の検出に関心があるとすると、平均が肌のトーンであるガウシアンに背景として重みを偏らせる。更に、近傍の位置にある背景モデル及び画像全体に亘るグローバルな統計は、この推定を更に正確にするための更なる文脈を与える。残念ながら、この事前確率及び制約がどのようにして事後確率の単一の推定に組み込まれるかはは、必然的に場当たり的である。
【００７６】
ここでは、Ｐ（Ｂ｜Ｇ_ｋ）を
【００７７】
【数３０】

で近似し、但し、Ｅ_σは背景ガウシアンの分散の期待値である。これを、最大のＰ（Ｂ｜Ｇ_ｋ）を有する画像全体の中のガウシアンの上２５％の分散を平均化することにより推定する。この関数の最大値は１に設定される。人物は、カメラの非常に近くにいないかぎり、画像の一番上の近く（天井の近く）に現れる可能性は低いため、垂直方向のバイアスのかけかたは弱くされる。より正確には、
【００７８】
【外３】

を
【００７９】
【数３１】

で乗ずる。より良く人物を検出するため、肌の色が背景であるということに対してより強いバイアスがかけられる。肌のトーンは正規化された赤・緑の色空間［文献１０］の中で単一のガウシアン分布を用いて検出される。ガウシアンの平均が肌の色であると分類されると、それが背景である確率は半分になる。
【００８０】
【数３２】

最後に、近傍の位置のモデルは組み合わされる。位置（ｒ，ｃ）における
【００８１】
【外４】

が、その近傍の位置（ｒ’，ｃ’）において高い確率で背景であると評価されると、その
【００８２】
【外５】

もまたインクリメントされる。このローカルな再強制は、背景があまりよく認識されていない領域へ確立された背景モデルを伝えることに役立つ。例えば、壁上の以前は隠されていた領域は、その取り囲んでいる色に対する類似性によってすぐに認識されうる。ここで、上画素、左画素及び右画素からなる近傍が用いられ、式（２）及び式（３）によって計算されるように
【００８３】
【数３３】

である各近傍について、
【００８４】
【外６】

は
【００８５】
【数３４】

を用いてインクリメントされる。
【００８６】
Ｐ（Ｂ｜Ｇ_ｋ）は各ガウシアンに対して独立に考えられるため、総和をとっても１とはならないことに留意すべきである。このことは最終的には「背景」の正確な定義に依存する。それでもなお、これは最も一般的な事例であり、異なる適用に適するよう制約されうる。例えば、殆どの監視適用では、移動する物体に対してより多くの関心が集められる。どの物体も、しばらくの間潜在的であった後に背景となりうる。この定義の下では、任意の時間枠の間の一定の量の観察結果が背景に属すると想定することが考えられる。この方法は、観察結果の少なくともＴパーセントを網羅するために最小の数のガウシアンを選択することによって背景処理が推定される［文献１，３，８］において用いられる。明らかに、同じヒューリスティックがここでの枠組みに入りうる。一方で、会議ビデオ解析といった幾つかの適用では、ビデオの或る位置の真の背景は常に隠され見せられることがない。この結論は、話者がどこにいると期待されるかといった他の証拠から生ずるか、その場所において人物の存在を確認した信頼できるオブジェクトモデルから生じうる。これらの状況では、人物背景を呼ぶよりも「背景」が見せられることがないという事実を示すことが望ましい。もちろん、その場合に真の背景がどのようにして推定されうるかは異なる論点である。
【００８７】
２．３　背景モデル
上述の２つの節において説明したアルゴリズムは、背景セグメンテーションを実行するための全ての必要な要素を与える。それでも、これらの密度関数に対する推定値が利用可能であるという想定の下で一組の関連付けられる問題に値する解を導き出すことが有用である。最初の問題は、所与の時間ｔにおける背景モデルが何であるのかということである。全ての観察結果を夫々のクラスへ分けることができるのであれば、背景モデルは背景であると信じられている観察結果の部分からなり、これは、以下の式
【００８８】
【数３５】

の第２項である。従って、背景モデルＭ（ｒ，ｃ，ｔ）は、構成要素としてのガウシアンがここでのＰ（Ｂ｜Ｇ_ｋ）の推定によって重み付けされた同じガウシアン混合によって表わされる。Ｐ（ｘ｜Ｇ_ｋ，Ｆ）＝Ｐ（ｘ｜Ｇ_ｋ，Ｂ）＝Ｐ（ｘ｜Ｇ_ｋ）であるとすると、位置（ｒ，ｃ）における背景処理は、
【００８９】
【数３６】

でモデル化される。式（４）で定義される解は非常に直感的なものであり、即ち、背景モデルは背景処理によって発生される観察結果の集合から構成される。この部分集合は、構成要素であるガウシアンが背景であるか否かについての信じていることに基づいて観察結果の集合全体から選択される。ここではＰ（ｘ）をガウシアン混合を用いて表わしているため、ここでの背景モデルもまたガウシアン混合として表わされる。
【００９０】
モデルのこの定義は、最善のｂ個のガウシアンが背景としてラベル付けされる以前の研究において用いられたラベル付け規則の一般化である。これは、Ｐ（Ｂ｜Ｇ_ｋ）が１又は０となる二分決定に等しい。しかしながら、二値決定は、ガウシアンのラベルが前景から背景に切り替わるとき、又は背景から前景に切り替わるときに突然の変化を生じさせる。これらの不連続性は一般化された式では除去されている。
【００９１】
式（４）中、背景モデルはガウシアン混合として正確に定義されているが、視覚化又は解析のために背景モデルの画像表現を得ることが有用である場合が多い。単純な解法は、背景である可能性が最も高いガウシアンの平均を用いることである。この方法の欠点は、異なるガウシアンが最善となったときに突然に変化が生ずるまで画像が一定のまま維持されることである。Ｂａｙｅｓｉａｎの枠組みの下では、背景の最も代表的な画像は、全ての場所におけるＰ（ｘ｜Ｂ）の期待値である。従って、
【００９２】
【数３７】

である。再び、非常に直感的な解が得られる。画像は、それらの重みと背景である事後確率で比例的に重み付けされるガウシアン平均の線形平均として計算される。最終的には前景と考えられるものを決定する背景モデルの定義とは異なり、背景モデルの表現はセグメンテーションの結果に対しては直接的な結果を全く有さない。背景の意味のある表現を得るというこの論点は、以前のガウシアン混合背景モデリング研究では触れられていない。
【００９３】
２．４　モデルの信頼性
各時間ｔにおいて、式（４）によって与えられる正確な背景モデルと式（５）によって与えられるその意味のある表現があると考えると、一定の時間に亘ってどれが最善の背景モデルであるか問うことは自然なことである。これは、オブジェクトに基づくコーディングのための参照を選択するとき、又は背景変化を検出するときに重要である。この問いに対する答えは、明らかに、どのように処理を前景又は背景として分類するかに依存する。また、何が最善であるかという定義にも依存する。しかしながら、ここでは二つの規準について考えられうる。
【００９４】
１つの可能な規準は、最善の背景を表わすモデルを選択することである。背景は全ての時点でビデオの全ての領域の中で可視ではないことがあるため、背景の最大の露出を与えるモデルを選択することが適切である。これは、以下の式、
【００９５】
【数３８】

を用いて計算されうる。他の観点からは、背景処理がより頻繁に明らかとされたというだけでは、必ずしもよりよい推定値が得られることを意味しない。例えば、私たちは画像の残る部分から壁の色を知っているため一瞥しただけで壁を背景として容易に見つけることができる。これに対して、ちらついているモニタは隠されることがない場合でも背景として検出することが困難でありうる。これに関して、処理についての最大の事後推定値、即ち、
【００９６】
【数３９】

を使用することは意味のあることである。なお、一つのフレームｔにおいて最大の全体露出を有するモデルを選択するか、各画素に対して最高の露出のモデルを独立に選択するかという問題が残っている。各画素モデルは他の画素モデルとは独立に展開するが、前者の方が、画像が一つの時間ｔから選択されるため、よりよい空間的な一貫性を与える。これに対して、後者は任意の一つの時点において可能なものよりも大きい又はより多い正確な推定値を発生するために、時間に亘って任意の非冗長性を調べることが可能である。この点については、まだ調査されているところである。
【００９７】
３．　実験
提案されるアルゴリズムを、研究所内で記録された実際の会議でテストした。記録システム［文献６］は、３０ｆｐｓで６４０×４８０ＭＰＥＧ２全方向性ビデオを生成する。全方向性ビデオは、ＶＣ＋＋でＤｉｒｅｃｔＳｈｏｗ変換フィルタとして実施される背景セグメンテーション用のフルパノラマビデオへとデワープ（ｄｅｗａｒｐ）される。１０００×１５０のパノラマ入力ビデオ上で、デコード、デワープ、及びセグメンテーション処理は、２ＧＨｚＰｅｎｔｉｕｍ（登録商標）４　ＰＣ上で２Ｈｚで実行される。この実験では、３ガウシアン混合と、一般的に文献で知られている値であるα＝０．９９９を用いた。ＲＧＢ及びＹＵＶ色空間を試し、対角共分散マトリクスを想定した。
【００９８】
まず、提案される学習アルゴリズムを図７中のガウシアン混合密度推定のための一定のレートの適応フィルタアルゴリズムと比較した。ビデオ中の４０００のフレームに亘って観察された画素の「赤」色成分をグラフ中に「＋」印でプロットした。壁を表わす最も優勢なクラスタは、一番上の近くにある。幾つかの状況では、背景は２つの前景物体によって隠される。一つは、値７０に近い厳しいクラスタであり、他のものは１００乃至２００の範囲内に分布される。３つのガウシアンの平均は、時間に亘って線としてプロットされている。背景に対応するガウシアンの分散は、濃い領域で示されている。他の２つのガウシアンの分散は、図示しない。図７（ａ）は、一定の学習レートの結果を示す図である。平均は背景クラスタに正確に従うが、分散は非常にゆっくりと減少する。ゆっくりとした収束により、前景クラスタの幾らかは誤ってグループ化される。従って、第２のガウシアンは全ての残る点を取り、第３のガウシアンは０に維持され使用されなかった。これに対して、図７（ｂ）に示すように、適応学習スケジューリングを用いると平均及び分散の両方は迅速に背景クラスタに収束した。第２のガウシアンは、前景物体が現れるとすぐにこれを捕捉する。このガウシアンが誤って適応されフレーム５００の周りの他の前景物体を含んでも、その分散は新しいガウシアンをフレーム６００の周りの他の物体に正しく割り当てるために十分に速く減少した。この収束の問題は、初期化中だけでなく、分散に顕著な変化があるたびに問題となる。同様のテストを、幾つかのデータ集合に対して行い、提案される学習アルゴリズム［文献５］を用いて一貫してよりよいパフォーマンスを観察した。
【００９９】
次に、［文献８］に記載の方法に対して提案される背景セグメンテーションアルゴリズムをテストする。概説するに、方法は、ガウシアン混合を推定するために一定の学習レートを用いる。ガウシアンはｗ／σによってソートされ、観察結果のＴパーセントをカバーする最善のｂ個のガウシアンは背景としてラベル付けされる。Ｔ＝０．０１を用いたため、一つの最善のガウシアンのみが背景として選択される。所与の画素は、その最も良く一致するガウシアンのラベルに依存して前景又は背景として分類される。図９は、ビデオのフレーム７００、１０００及び１５００に対するセグメンテーションの結果を示す。図８は、対応するフレームについての元のビデオを示す。各画素における背景ガウシアンの平均は背景画像を発生するために使用される。フレーム７００、１０００、及び１５００に対して構築される背景モデルは、（ａ）に示され、セグメンテーションされた前景は（ｂ）に示される。
【０１００】
図９から、幾つかの観察が行われうる。まず、期待したとおり、適応はゆっくりであることが明らかである。１５００フレーム後であっても、背景モデルはビデオのフレーム１からの残像を示した。従って、フレーム１中に人物がいた中央領域はフレーム１０００においてなお前景として分類され、マグカップがあった場所はフレーム１５００において前景であるとして誤って検出された。第２に、前景又は背景としてのガウシアンの二値分類は、背景表現中に離れた領域を生じさせる。この影響は、人物の顔の周りのでもっとも顕著である。同じ混乱は、時間的な領域でも生ずる。この影響は、図面からは直接観察可能ではないが、背景モデルはしばらくは一定のままであり、ガウシアンのランクが変化したときに突然に変化する。
【０１０１】
図１０は、高速混合学習アルゴリズム及び一般化されたガウシアン分類を組み込んだ提案される方法の結果を示す。顕著な改善がみられた。アルゴリズムは、７００フレーム後に正確な背景モデルを学習することが可能であり、人物をセグメンテーションにより切り出した。フレーム１０００では、動いている人物が殆ど完全にセグメンテーションされた。右側の領域はマグカップが除去されたばかりのゴースト前景を示す。しかしながら、この背景変化はフレーム１５００によってすぐに修正された。すなわち、フレーム７００により背景モデル中にフレーム１からの人物の小さいトレースのみが見つかった。従って、人物は正しくセグメンテーションされ、フレーム１中で人物がいた場所の中心の近傍にはゴースト前景は見つからなかった。フレーム１０００では、人物は殆ど完全にセグメンテーションされた。マグカップは取り除かれたばかりであるため、マグカップの近傍の偽検出は避けることができない。しかしながら、フレーム１５００により、モデルは背景の変化を学習しており、前景を正しくセグメンテーションした。モデル表現は、式（４）及び式（５）を用いて発生された。背景モデルは、図４に示すものよりも多くの空間的な一貫性を示した。フレーム１で観察された人物の形状は、時間に亘って背景へ徐々に溶け込まされる。物体検出の観点からは、誤って分類された領域の突然の出現又は消滅を実際の物体と区別することはより困難である。
【０１０２】
４．結論
ここでは、ガウシアン混合モデリングに基づいてビデオ背景セグメンテーションのためのＢａｙｅｓｉａｎ枠組みについて説明した。元々の分類問題は、ガウシアン混合を用いた密度推定問題の後に構成要素となるガウシアンの分類を行うものとして扱われた。この形式化に基づいて、幾つかの関連する問題に対する一組の直感的且つ理論的に健全な解を導出する、一般化された枠組みは、以前の研究に対して理論的な利点及びパフォーマンスの利点の両方を与える。また、適応学習レートを用いて混合背景モデルを学習させる改善されたアルゴリズムについて説明し、既存の方法に対する顕著な改善について示した。
【０１０３】
５．参考文献
［１］　Ａ．　Ｅｌｇａｍｍａｌ，　Ｄ．　Ｈａｒｗｏｏｄ　ａｎｄＬ．　Ｄａｖｉｓ，　”Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ　ｍｏｄｅｌ　ｆｏｒ　ｂａｃｋｇｒｏｕｎｄ　ｓｕｂｔｒａｃｔｉｏｎ，”　Ｐｒｏｃ．　６ｔｈ　Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　２０００
［２］　Ｎ．　Ｆｒｉｅｄｍａｎ，　Ｓ．　Ｒｕｓｓｅｌ，　”Ｉｍａｇｅ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｉｎ　ｖｉｄｅｏ　ｓｅｑｕｅｎｃｅｓ：　ａ　ｐｒｏｂａｂｉｌｉｓｔｉｃ　ａｐｐｒｏａｃｈ，”　Ｐｒｏｃ．　１３ｔｈ　Ｃｏｎｆ．　Ｕｎｃｅｒｔａｉｎｔｙ　ｉｎ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　Ａｕｇｕｓｔ，　１９９７
［３］　Ｍ．　Ｈａｒｖｉｌｌｅ，　Ｇ．　Ｇｏｒｄｏｎ　ａｎｄ　Ｊ．　Ｗｏｏｄｆｉｌｌ，　”Ｆｏｒｅｇｒｏｕｎｄ　ｓｅｇｍｅｎｔａｔｉｏｎｕｓｉｎｇ　ａｄａｐｔｉｖｅ　ｍｉｘｔｕｒｅ　ｍｏｄｅｌｓ　ｉｎ　ｃｏｌｏｒ　ａｎｄ　ｄｅｐｔｈ，”　ＩＣＣＶ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　Ｅｖｅｎｔｓ　ｉｎ　Ｖｉｄｅｏ，　ｐｐ．　３−１１，　２００１
［４］　Ｓ．　Ｋｈａｎ　ａｎｄ　Ｍ．　Ｓｈａｈ，　”Ｔｒａｃｋｉｎｇ　Ｐｅｏｐｌｅ　ｉｎ　Ｐｒｅｓｅｎｃｅ　ｏｆ　Ｏｃｃｌｕｓｉｏｎ，”Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＡＣＣＶ，　２０００
［５］　Ｄ．Ｓ．　Ｌｅｅ，　”Ａｄａｐｔｉｖｅ　Ｍｉｘｔｕｒｅ　Ｌｅａｒｎｉｎｇ　ｉｎ　Ｄｙｎａｍｉｃ　Ｓｙｓｔｅｍｓ，”　ＣＲＴ　Ｔｅｃｈｎｉｃａｌ　Ｒｅｐｏｒｔ，　Ｍａｒｃｈ，　２００２
［６］　Ｄ．Ｓ．　Ｌｅｅ，　Ｂ．　Ｅｒｏｌ，　Ｊ．　Ｇｒａｈａｍ，　Ｊ．　Ｈｕｌｌ　ａｎｄ　Ｎ，　Ｍｕｒａｔａ，　”Ｐｏｒｔａｂｌｅ　Ｍｅｅｔｉｎｇ　Ｒｅｃｏｒｄｅｒ，”　ｓｕｂｍｉｔｔｅｄ　ｔｏ　ＡＣＭ　Ｍｕｌｔｉｍｅｄｉａ　２００２
［７］　Ｇ．　ＭｃＬａｃｈｌａｎ　ａｎｄ　Ｄ．　Ｐｅｅｌ，　Ｆｉｎｉｔｅ　Ｍｉｘｔｕｒｅ　Ｍｏｄｅｌｓ，　Ｗｉｌｅｙ，　Ｎｅｗ　Ｙｏｒｋ，　２０００
［８］　Ｃ．　Ｓｔａｕｆｆｅｒ　ａｎｄ　Ｗ．Ｅ．Ｌ．　Ｇｒｉｍｓｏｎ，　”Ａｄａｐｔｉｖｅ　ｂａｃｋｇｒｏｕｎｄ　ｍｉｘｔｕｒｅ　ｍｏｄｅｌｓ　ｆｏｒ　ｒｅａｌ−ｔｉｍｅ　ｔｒａｃｋｉｎｇ，”　Ｐｒｏｃ．　ＣＶＰＲ，　ｖ．２，　ｐｐ．　２４６−２５２，　Ｊｕｎｅ　１９９９
［９］　Ｊ．　Ｙａｎｇ，　Ｘ．　Ｚｈｕ，　Ｒ．　Ｇｒｏｓｓ，　Ｊ．　Ｋｏｍｉｎｅｋ，　Ｙ．　Ｐａｎ，　Ａ．　Ｗａｉｂｅｌ，　”Ｍｕｌｔｉｍｏｄａｌ　Ｐｅｏｐｌｅ　ＩＤ　ｆｏｒ　ａ　Ｍｕｌｔｉｍｅｄｉａ　Ｍｅｅｔｉｎｇ　Ｂｒｏｗｓｅｒ，”　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＡＣＭ　Ｍｕｌｔｉｍｅｄｉａ，　ｐｐ．　１５９−１６８，　１９９９
［１０］　Ｊ．　Ｙａｎｇ　ａｎｄ　Ａ．　Ｗａｉｂｅｌ，　”Ａ　Ｒｅａｌ−Ｔｉｍｅ　Ｆａｃｅ　Ｔｒａｃｋｅｒ，”　Ｐｒｏｃｅｅｄｉｎｇｓ
ｏｆ　ＷＡＣＶ，　ｐｐ．　１４２−１４７，　１９９６
【図面の簡単な説明】
【図１】異なる学習速度スケジュールに対する収束の速さの比較を示す図である。
【図２】従来技術を用いた学習と本発明の実施例による実施例による技術の比較を示す図である。
【図３】動的データに対する従来技術の適応フィルタの学習パフォーマンスを示す図である。
【図４】図３のものと同じ動的データに対する本発明の実施例による適応フィルタの学習パフォーマンスを示す図である。
【図５】本発明の実施例による適応フィルタを概略的に示す図である。
【図６】タッチスクリーン制御された会議記録システム及びそれによって捕捉されるパノラマビデオを示す図である。
【図７】ビデオ中の画素の色成分に対する一定のレートを用いたガウシアン混合学習の結果（上）と適応スケジュールを用いたガウシアン混合学習の結果（下）を示す図である。
【図８】上から下へ、実験に用いられるビデオのフレーム１、７００、１０００及び１５００を示す図である。
【図９】Ｓｔａｕｆｆｅｒ＆Ｇｒｉｍｓｏｎのアルゴリズムを用いた図２に示すフレームのセグメンテーション結果を示す図である。
【図１０】提案されるアルゴリズムを用いたセグメンテーション結果である。
【符号の説明】
５００　　データモデリングフィルタ装置
５０２　　入力
５０４　　出力
５０６　　フィードバックループ
５１２　　フィルタ構成要素
５２２　　モデリングされるべきデータ
５２４　　モデル

Claims (20)

1. データ処理構成要素と、
   入力データを受け取り前記入力データをデータ処理構成要素へ渡す入力と、
   データ処理構成要素によって生成された前記入力データのモデルを表わす情報を出力する出力とを含む、適応フィルタであって、
   前記データ処理構成要素は、
   （ｉ）入力データを受け取り、
   （ｉｉ）前記入力データに基づいて、更新されるべき複数のガウシアンのうちの１つ又はそれ以上のガウシアンを識別し、
   （ｉｉｉ）更新されるべき各ガウシアンについて、初期的には学習ファクタαよりも大きく時間が経つにつれてαへ収束する学習レートを有する１／ｔ型の学習曲線を用いてそのパラメータを調整することによって、
   ガウシアン混合に基づいてモデルを生成するよう構成される、適応フィルタ。
2. 前記１／ｔ型の学習曲線は、ηを学習レートとすると、以下の関係式、
   

   

   に基づく、請求項１記載の適応フィルタ。
3. 各ガウシアンは、対応する１／ｔ型の学習曲線を有する、請求項１記載の適応フィルタ。
4. 各ガウシアンのパラメータは、ｋがｋ番目のガウシアンを示すとすると、平均値μ_ｋ及び標準偏差値σ_ｋを含み、ガウシアンＧ_ｋのパラメータは他のガウシアンのパラメータとは独立に調整される、請求項１記載の適応フィルタ。
5. １／ｔ型の学習曲線は、ｃ_ｋがｋ番目のガウシアンが更新された回数を示すとすると、各ガウシアンＧ_ｋについて、
   

   

   に基づく、請求項１記載の適応フィルタ。
6. １／ｔ型の学習曲線η_ｋ（ｔ）は、Ｒ_ｋが入力データのモデリングに対するｋ番目のガウシアンの寄与を示す尺度であるとすると、各ガウシアンＧ_ｋについてＲ_ｋで重み付けされる、請求項５記載の適応フィルタ。
7. 前記識別段階は、前記入力データ及び評価されているガウシアンに基づいて１つ又はそれ以上の尺度を計算することによって各ガウシアンを評価する段階を含み、前記尺度は、ｘを入力データとすると、確率ｇ_ｋ（ｘ）、加重確率ｗ_ｋ・ｇ_ｋ（ｘ）及び正規化されたｗ_ｋ・ｇ_ｋ（ｘ）のうちの１つを計算する段階を含む、請求項１記載の適応フィルタ。
8. 前記識別段階は、ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌ決定を含み、ガウシアンのうちの一つだけが更新のために選択される、請求項１記載の適応フィルタ。
9. ディジタル処理装置において、データをモデリングする方法であって、
   １つ又はそれ以上のガウシアン分布についてのパラメータを初期化する段階と、
   一連の入力データを受け取る段階と、
   各入力データについて、
   更新されるべき１つ又はそれ以上のガウシアンを識別し、
   更新されるべき各ガウシアンについて、時間が経つにつれて変化し初期的には学習ファクタαよりも大きくαに収束する学習レートを有する１／ｔ型の学習曲線に基づいてそのパラメータを調整し、各ガウシアンは夫々の対応する１／ｔ型の学習曲線を有する、方法。
10. 各対応する１／ｔ型の学習曲線は、各ガウシアンＧ_ｋについて、
    

    

    によって定義され、ｃ_ｋはｋ番目のガウシアンが更新されるたびに一定量だけ増分される、請求項９記載の方法。
11. η_ｋは入力データのモデリングに対するｋ番目のガウシアンの寄与を示す尺度Ｒ_ｋで重み付けされる、請求項１０記載の方法。
12. ガウシアンのパラメータは他のガウシアンのパラメータとは独立に調整される、請求項９記載の方法。
13. パラメータは平均及び標準偏差を含み、１／ｔ型の学習曲線は、各ガウシアンＧ_ｋについて、以下の関係式、
    

    

    に基づくものであり、ｃ_ｋはｋ番目のガウシアンが更新されるたびに一定量だけ増分され、調整された平均及び調整された標準偏差はη_ｋの関数として計算される、請求項９記載の方法。
14. 調整された平均及び調整された標準偏差は、更に、入力データのモデリングに対するｋ番目のガウシアンの寄与を示す尺度Ｒ_ｋの関数である、請求項１３記載の方法。
15. ガウシアン混合を用いてデータをモデリングするようディジタル処理ユニットを動作させるためのコンピュータプログラムであって、
    前記コンピュータプログラムコードは、
    入力データを取得するための第１のコンピュータコードと、
    更新されるべき１つ以上のガウシアンを識別するための第２のコンピュータコードと、
    初期的には学習ファクタαよりも大きく更なる入力データが取得されるとαに収束する学習レートを有することによって特徴付けられる１／ｔ型の学習曲線に基づく学習レートを用いて１以上の計算を実行するためのコンピュータコードを含む、更新のために識別された各ガウシアンのパラメータを調整するための第３のコンピュータコードとを含む、コンピュータプログラム。
16. 各ガウシアンはその対応する１／ｔ型の学習曲線を有する、請求項１５記載のコンピュータプログラム。
17. 各ガウシアンＧ_ｋは、各ガウシアンＧ_ｋに対して
    

    

    によって定義される対応する１／ｔ型の学習曲線を有し、ｃ_ｋはｋ番目のガウシアンが更新されるたびに一定量だけ増分される、請求項１５記載のコンピュータプログラム。
18. η_ｋは入力データのモデリングに対するｋ番目のガウシアンの寄与を示す尺度Ｒ_ｋで重み付けされる、請求項１７記載のコンピュータプログラム。
19. 第２のコンピュータコードは、ｘを入力データとし、ｋを更新のために考慮されているｋ番目のガウシアンとすると、確率ｇ_ｋ（ｘ）、加重確率ｗ_ｋ・ｇ_ｋ（ｘ）及び正規化されたｗ_ｋ・ｇ_ｋ（ｘ）のうちの１つに基づいた更新のためのガウシアンを識別する、請求項１５記載のコンピュータプログラム。
20. 請求項１５乃至１９のうちいずれか一項記載のコンピュータプログラムを記憶したコンピュータ読み取り可能な記録媒体。

Images