JP3725418B2

JP3725418B2 - 複数信号が混合される画像データから多次元信号を復元する信号分離方法、画像処理装置および記憶媒体

Info

Publication number: JP3725418B2
Application number: JP2000335123A
Authority: JP
Inventors: 淳也清水
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2000-11-01
Filing date: 2000-11-01
Publication date: 2005-12-14
Anticipated expiration: 2020-11-01
Also published as: JP2002150265A; US20020085741A1; US6944579B2

Description

【０００１】
【発明の属する技術分野】
本発明は、観測データから特定の多次元信号を分離する信号分離方法等に係り、特に、複数の信号が混合状態で観測されたときに、安定して特定の多次元信号を推定・分離する信号分離方法等に関する。
【０００２】
【従来の技術】
動画などにおいて、背景画像の上にテキストが上書きされている複数フレームの観測といった例に見られるように、元々は独立な複数の多次元信号が相互に混合し、複数状態、観測されるような態様が存在する。この複数の多次元信号が相互に混合した観測信号だけから混合前の信号を決定する技術は、今後、様々な分野にて適用されることが期待されている。その適用分野としては、例えば、スキャナなどからの画像取り込みにおける文字情報と画像情報の分離、必要情報抽出のための医療画像復元、ぼやけ画像の強調・復元、雑音を含む観測画像の特徴抽出成分を用いた画像再構成による雑音除去、画像など多次元観測信号特徴抽出成分による顔データや多次元データの分類・認識などである。
【０００３】
図１は、複数の信号が混合状態で観測されるとき、互いの信号の統計的独立性のみを仮定して原信号を分離する信号分離問題を示した概念図である。
図１を定式化すると次のように書ける。まず、各指標ｔについてスカラー値で相互に統計的に独立なｍ個の平均０の信号ｓ₁(t),…, ｓ_m(t)があると仮定する。ここで、各信号ｓは、例えば２次元信号をラスタスキャン順に一列のベクトルにするといったように、多次元行列を適宜ベクトルに変換する操作を行って得ることとしている。但し、観測信号を行列のまま扱うように演算式を等価的に変更しても構わない。
【０００４】
図１では、ｓ₁とｓ₂の２つの信号源を例に示している。これに対し、ｎ個の線形荷重和ｘ₁(t),…,ｘ_n(t)を観測する。これを
【式１】

と書き、観測装置にて観測されるものである。ここで、
【式２】

であり、ｎ≧ｍと仮定する。また、ｎ×ｍの混合行列をＡとし、フルランク行列(ｍ×ｍ行列Ａ ^H Ａの逆行列が存在する行列)とする。以下の記述では、下線付き小文字でベクトルを表し、下線付き大文字で行列を表し、添字Ｔで転置を表し、添字Ｈでエルミート共役(共役転置)を表している。
この観測信号ｘ(t)から分離信号ｙ(t)を得るための分離行列Ｗを推定する問題が信号分離問題である。即ち、図１に示す観測装置によって観測された観測信号ｘ(t)から、信号分離装置によって分離信号ｙ(t)＝Ｗ ^H×ｘ(t)を得る際に、分離行列Ｗの推定が問題となる。
【０００５】
次に、分離行列Ｗを推定するための考え方について概略を述べる。
今、観測信号ｘ(t)である信号ベクトルの多変数確率密度関数をｐ_u(u)とし、ベクトルの各要素に関する確率密度関数をｐ_i(u_i)とすれば、観測ベクトルの相互情報量は次式のカルバック・ライブラー・ダイバージェンス(Kullback-Leibler divergence)で表せる。
【式３】

相互情報量は常に負ではなく、０(零)になったときに各信号ベクトルの要素は独立であることを示す。実際、信号ベクトル要素が互いに独立であれば、信号ベクトルの密度関数は次式で表すことができるため、上式は０になる。
【式４】

従って、「観測信号ベクトルに対して信号ベクトルの相互情報量を最小化するような変換行列を求めれば、混合した観測信号から原信号を復元できることになる。」というのが信号分離手法の理論的説明の一つとして挙げられる。
【０００６】
しかしながら、実際には原信号の確率分布が不明であるため、直接に相互情報量を最小化の操作対象とすることはできない。そこで、それと等価なあるいは近似的に等価な評価量を最適化することで信号分離が行われることが多い。例えば、文献１(International Journal of Neural Systems, Vol.8, Nos.5 & 6, pp.661-678, October/December 1997.)には、上記の背景から、観測信号が同符号の尖度(Kurtosis)を持ち、共分散行列が有界であり、白色化がなされており、かつ、分離行列Ｗがユニタリ行列(Ｗ ^H Ｗ＝Ｉ(単位行列))である条件下で、各原信号についての０時間遅れである４次のキュムラントの和を最適化（尖度が正のときは最大化、尖度が負のときは最小化）するような変換行列Ｗを求めれば、相互情報量は最小化できることが、述べられている。ここで、尖度とは、観測信号ｕ_iに対して下記の計算で求まる数値を指す。
【式５】

Ｅ[・]は期待値演算を表す。また、白色化とは、信号ベクトルを互いに無相関化して分散を１にすることであり、４次のキュムラントとは、次式で表される統計量を指している。
【式６】

前述した０時間遅れとは、上式でｋ₁ｋ₂ｋ₃が０であることを指している。
【０００７】
しかし、一般にキュムラントなどの高次統計量を計算する際には、計算負荷が大きいことから、相互情報量と等価な別の情報量を計算・近似したり、４次のキュムラントを近似できる非線形関数を導入して、キュムラントの和を最適化することと等価な評価関数を最小化するなどの手法が取られている。
米国特許第５,７０６,４０２号公報では、相互情報量の最小化の代わりに、出力エントロピーを最適化する教師無し学習アルゴリズムによって、分離行列を勾配法により求める方法が開示されている。
【０００８】
また、文献２(Signal Processing, Vol.24, No.1, pp.1-10, July 1991.)では、相互情報量やキュムラントが明示されているわけではないが、それと似たアプローチを用いて、観測信号から推定信号の線形和を減じた残差の２乗値を評価関数とし、それが最小になるよう分離フィルタを勾配法によって求める方法が開示されている。更に、特開２０００−９７７５８号公報では、上記の方法の更新量を正規化することで収束の改善を図る方法が開示されている。
【０００９】
文献３(IEEE Transactions on Signal Processing, Vol.44, No.12, pp.3017-3030, December 1996.)では、４次のキュムラントを近似的に求める非線形関数を導入し、それに基づく評価関数を最適化するための適応アルゴリズムにおける更新量として相対勾配(Relative gradient)に基づく推定法が提案されている。この手法は、従来、評価関数の勾配を更新量とする適応アルゴリズムの収束速度を改善するものであり、情報幾何学的考察から導入できる自然勾配(Natural gradient)と等価なものである。
【００１０】
また、定常過程ではない信号を復元する場合など分離行列の収束過程の安定性が重要となる。実際、上記一連の勾配法では、収束速度と安定性は反比例の関係となる場合が多い。そこで、米国特許第５,９９９,９５６号公報では、安定した収束を行うために、信号推定モジュールと分離係数推定モジュールの他に、推定信号間に大きなパワーの変化がある場合でも推定プロセスへの影響を少なくし、安定な結果を出力させるためのモジュールを追加する方法が採用されている。
【００１１】
更に、文献４(International Journal of Neural Systems, Vol.8, Nos.5 & 6, pp.601-612, October/December 1997.)では、非線形関数を導入した評価関数を最適化するときに、勾配法ではなく最小２乗法に基づいて適応アルゴリズムを導出している。このアプローチを採用すれば、勾配法のようにステップ量をユーザが決定するのではなく、最適なものが自動的に決定されるので、収束速度を速くすることができ、一定条件下では安定性も得られる。
【００１２】
【発明が解決しようとする課題】
上述した文献４の手法のように、最小２乗法の枠組みであれば、ステップ量は、その評価関数の下で最適なものが計算されるため、速くて適切な収束が得られることが多いとされてきた。しかしながら、そもそも、信号分離が必要とされる状況と、勾配法も含む上述の従来技術が採用してきた評価関数の形式とは、必ずしも整合性があるものとは言えず、最小２乗法の枠組みを使ったとしても最善とは言えない場合がある。
【００１３】
例えば、動画などの画像列の場合、隣接フレームにおける画像の変化はわずかである。そのために、原信号が隣接フレームにおいて似た比率で混合されていると見なし得ることが容易に想定でき、このときの混合比を行列の要素として表わすと、その各列(あるいは各行)の成分はほぼ同じ値を持つ。こうした場合は、混合行列の条件数が大きくなり、分離行列の推定途中で受ける推定値への摂動が大きく反映されてしまう。ここで、条件数とは、行列Ｚに対する何らかのノルム‖・‖を用いて、‖Ｚ‖・‖Ｚ ^-1‖で定義される量のことである。ここでＺ ^-1は行列Ｚの逆行列を表す。
【００１４】
したがって、従来の評価関数の形式では、摂動が大きい場合に、正常な推定値を得るために多くの時間を要し、これが問題となる可能性が高い。また、条件数が大きくなくても、推定途中で誤差がまだ残っている段階での収束速度が、従来の評価関数では遅くなってしまうことも問題となる。
【００１５】
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、多次元信号を含む複数の信号が混合状態で観測されたときに、少ない計算ステップ数で、その複数の信号から原信号を安定して抽出することにある。
また他の目的は、多次元信号を含む複数の信号が混合状態で観測された信号に対する信号分離に際し、推定値への摂動が大きい場合には、その変化を然るべき重み付けによって反映する評価関数に基づいて、収束が速い最小２乗型計算法を提案することにある。
【００１６】
【課題を解決するための手段】
かかる目的を達成するために、本発明は、観測信号の相互情報量を最小にすることと等価な効果が得られる、評価関数として指数型関数のような単調増加特性を持った関数を導入し、その評価関数を信号分離行列に関して最小に(最適化)する適応アルゴリズムを適用している。この指数型関数の最適化は、Ｈ無限大ノルムの最適化、並びに、ゲーム理論における２人０和ゲームの解、いわゆるMinMax戦略による最適化と等価な結果を得るので、Ｈ無限大ノルムとMinMax戦略からの適応アルゴリズムによって信号分離行列を推定することもできる。即ち、本発明は、複数の多次元信号が混在して観測されるピクセル化された画像データを入力し、入力された画像データから、混在している多次元信号を分離し、原多次元信号を復元して出力するための信号分離方法であって、この画像データに対し、Ｈ無限大ノルム型評価関数およびMinMax戦略型評価関数の少なくとも何れか１つを最適化することで特定の分離行列を選択し、選択された分離行列を画像データに乗じて原多次元信号を復元することを特徴としている。この原多次元信号とは、例えば、原画像信号等の多次元からなる原信号を指している。
【００１７】
他の観点から把えると、本発明は、原多次元信号を含む複数の信号が混在して観測される観測データから原多次元信号を推定復元する信号分離方法であって、観測データに対して単調増加特性を有する関数に基づく評価関数を導入し、導入された評価関数を最適化する適応フィルタを用いて分離行列を推定し、推定された分離行列を観測データに乗じて原多次元信号を推定復元することを特徴としている。
【００１８】
ここで、この分離行列の推定は、評価関数を分離行列に関して最小にする適応フィルタを用い、導入される評価関数は、指数型関数であることを特徴とすれば、分離行列の推定途中で受ける推定値への摂動が大きい場合でも、正常な推定値を得るための時間を短縮することができる点で好ましい。
尚、混在して観測される観測データにおける複数の信号は、原多次元信号と共に、他の多次元信号または１次元信号が含まれる場合がある。
【００１９】
また、本発明は、原信号を含む複数の多次元信号が混在して観測される観測信号から原信号を分離・抽出する信号分離方法であって、観測信号を読み込み、読み込まれた観測信号に対してデータ構造の変換を施し、データ構造が変換された観測信号の平均を減じてゼロ平均化を施し、ゼロ平均化が施された観測信号に対して白色化を施し、白色化が施された観測信号に対して単調増加特性を有する評価関数に基づく分離処理を施し、分離処理が施された観測信号に対して後処理として逆白色化を施すことを特徴としている。また、この分離処理にて用いられる評価関数内で用いる非線形関数は、読み込まれた観測信号の尖度に基づいて、用いる関数が切り替えられることを特徴とすることができる。
【００２０】
一方、本発明が適用される信号処理装置は、原多次元信号を含む複数の信号が混在して観測される観測データを入力する入力手段と、入力された観測データに対し、Ｈ無限大ノルム型評価関数およびMinMax戦略型評価関数の少なくとも何れか１つを最適化することで特定の分離行列を選択する分離行列選択手段と、選択された分離行列を観測データに乗じて原多次元信号を推定復元する推定復元手段とを備えたことを特徴としている。
【００２１】
また、本発明が適用される信号処理装置は、元々は独立な複数の多次元信号が相互に混合して観測される観測データを入力する入力手段と、入力される観測データに対し、単調増加特性を持つ関数に基づく評価関数を最適化する適応フィルタを用いて、分離行列を推定する分離行列推定手段と、推定された分離行列を観測データに乗じて特定の多次元信号を推定復元する推定復元手段とを備えたことを特徴としている。
ここで、この入力手段により入力される観測データは、３次元データである動画データに対して所定の画像データが混合して観測されるものであることを特徴とすれば、動画を含む元々は独立な複数の多次元信号を、安定して分離できる点で優れている。
【００２２】
一方、本発明を画像処理装置として把えると、本発明が適用される画像処理装置は、複数の画像信号が混合されて観測される混合画像データを入力する入力手段と、入力される混合画像データに対し、指数型関数に代表される単調増加特性を持つ関数に基づく評価関数を最適化する(評価関数を分離行列に関して最小にする)適応フィルタを用いて分離行列を推定する分離行列推定手段と、推定された分離行列を混合画像データに乗じることで、この混合画像データから画像信号を分離・抽出する分離・抽出手段とを備えたことを特徴としている。
【００２３】
ここで、この入力手段により入力される混合画像データは、背景画像の上にテキストが上書きされて、複数フレームが観測されるものであることを特徴とすれば、元々は独立な複数の画像データが相互に混合して複数状態、観測された場合であっても混合前の画像データを決定できる点で好ましい。
また、この分離・抽出手段により分離・抽出される画像信号は、バイオメトリックスにおける顔認識・区別に用いられる画像信号、あるいは人工衛星の観測・計測から得られる画像信号であることを特徴とすれば、これらの分野にて適用される画像処理装置に対して本発明を有効に適用することができる。
【００２４】
本発明が適用される医療画像処理装置は、例えば、ｆＭＲＩ(脳機能磁気共鳴画像計測)等の観測生体画像信号に対して混信過程が未知である信号変化が含まれた、医療画像データを入力する入力手段と、入力される医療画像データに対し、単調増加特性を持つ関数に基づく評価関数を最適化する適応フィルタを用いて分離行列を推定する分離行列推定手段と、推定された分離行列を医療画像データに乗じることで、この医療画像データから観測生体画像信号を分離・抽出する分離・抽出手段とを備えたことを特徴としている。
【００２５】
一方、本発明は、コンピュータに実行させるプログラムをこのコンピュータが読取可能に記憶した記憶媒体であって、このプログラムは、複数の多次元信号が混在して観測される観測データに対して単調増加特性を有する関数に基づく評価関数を導入する処理と、導入された評価関数を最適化する適応フィルタを用いて分離行列を推定する処理と、推定された分離行列を観測データに乗じて特定の多次元信号を推定復元する処理とをコンピュータに実行させることを特徴としている。
また、このプログラムは、複数の多次元信号が混在して観測される観測データに対し、Ｈ無限大ノルム型評価関数およびMinMax戦略型評価関数の少なくとも何れか１つを最適化することで特定の分離行列を選択する処理と、選択された分離行列を観測データに乗じて特定の多次元信号を推定・復元する処理とをコンピュータに実行させることを特徴とすることができる。
これらの記憶媒体としては、例えば、ＣＤ−ＲＯＭ媒体等が該当し、コンピュータ装置におけるＣＤ−ＲＯＭ読取装置によってプログラムが読み取られ、コンピュータ装置におけるハードディスクにこのプログラムが格納され、実行される形態が考えられる。
【００２６】
【発明の実施の形態】
以下、添付図面に基づき、本発明の実施の形態について詳細に説明する。
本実施の形態における信号分離方法は、例えば、ｆＭＲＩ(functional magnetic resonance imaging:脳機能磁気共鳴画像計測)などの医療画像から、必要情報抽出のための医療画像復元に際し、正確な脳活動変化の抽出の分野に適用することができる。また、ぼやけ画像を強調・復元してぼやける前の原画像を抽出することや、雑音を含む観測画像の特徴抽出成分を用いた画像再構成による雑音除去にも利用できる。更には、例えば、バイオメトリックスにおける顔認識や人工衛星からの地形分析等、画像などの多次元観測信号特徴抽出成分による顔データや多次元データの分類・認識での使用などへの適用が考えられる。即ち、本実施の形態における信号分離方法は、ディジタル観測信号やアナログ観測信号の状態を問わず、また複素信号や実信号を問わずに、一般の多次元信号系列が混合状態で観測された信号のみから、原信号系列を分離することが必要な問題に広く適用できるものであり、上記の応用例に限らず、広くその派生形の応用を導くことが可能である。尚、これらの分野において、本実施の形態における信号分離技術は、各種メモリや制御装置、表示装置等を有するコンピュータ装置に用いられて動作する場合の他、専門の装置や端末等に用いられて実行させることが可能である。
【００２７】
次に、本実施の形態における信号分離方法について、その内容を詳述する。
まず、４次のキュムラントを近似できる非線形関数を評価関数に導入し、その最小化によって相互情報量を最小化することと等価な意味を持たせることで、
【式７】

を推定する方式を考える。従来、このような方式で用いられてきた評価関数は、次式の形式が用いられてきた。
【式８】

ここで、ｆ(・)はtanh(・)などの非線形関数を要素とするベクトルである。
【００２８】
本実施の形態では次の形の評価関数を上述の分離行列について最小にする信号分離方法を提案する。即ち、
【式９】

である。このとき、分離行列の初期真値と推定初期値の差分、推定過程で生じる雑音はゼロ平均・無相関で、推定雑音が単位分散を持つ白色ランダム変数と仮定する。ここで、白色ランダム変数とは、その変数系列[ｖ_k]において、任意のｉとｊ(ｉはｊに等しくない)に対するｖ_iとｖ_jが独立な確率変数になることを意味する。尚、以下の記述では、真値と推定値の区別が必要とならない限り、分離行列の推定値を示すハット記号を付ける代わりに指標(t)を付けることもある。
【００２９】
上記の評価関数を最小にするということは、対数関数ｌｎ(・)が単調増加であることを考慮すると、
【式１０】

の最小化を意味する。さらに評価関数内で、どのような非線形関数を用いるかは様々な提案がなされているが、通常では、観測信号の尖度が正か負かで、用いる関数を切り替える閾値処理を利用し、適切な高次キュムラントの近似が可能となる関数を選択することによって対応することができる。尚、その他の多様な形態を想起することも可能である。用いる非線形関数としては、入力信号ｕに対して、例えば、tanh(ｕ)、ｕ³、あるいは、ｕ−tanh(ｕ)などが用いられる。例えば、尖度が正のときにｕ−tanh(ｕ)を用い、尖度が負のときにtanh(ｕ)を用いることが好ましい。
【００３０】
図２は、評価関数を最小にする分離行列を求めるための第１のアルゴリズムを示したブロック図である。この図２に示されるアルゴリズムは以下のように表わすことができる。
【式１１】

【００３１】
図２では、メインのアルゴリズムの流れを非線形関数２１、誤差信号ｅ(t)の計算２２、Ｗ(t)の更新２３、およびユニタリ化演算２４で示し、このメインのアルゴリズムにおいて必要な諸量の算出を、ｈ(t)の計算２５、ｇ(t)とξの計算２６、およびＰ(t)の計算２７の各ユニットにて実行している。また、ｚ^-1はタイミング合わせのための遅延部である。図２および上記のアルゴリズムに示すように、まず、観測信号ｘ(t)が入力され、尖度が正か負かによって決定される非線形関数２１によってｙ(t)が求められる。この非線形関数２１は、前の時刻(前サイクル)に推定された推定分離行列Ｗ(t−1)と現在時刻の観測信号ｘ(t)の積をとったものに対して非線形関数２１を作用させるように構成されている。その後、ｙ(t)は誤差信号ｅ(t)の計算２２に入り、その時刻での観測信号ｘ(t)から、前の時刻(前サイクル)の推定分離行列Ｗ(t−1)と求めたｙ(t)との積の差が取られる。次に、その時刻の分離行列であるＷ(t)の更新２３が実行される。このＷ(t)の更新２３では、前の時刻(前サイクル)に推定したものに、誤差信号ｅ(t)と後述するｇ ^H(t)を掛け合わせたものによってＷ(t)が更新される。ユニタリ化演算２４は、Ｗ(t)の更新後にＷ(t)のユニタリ行列化を保証するステップであり、精度を上げるためにはかかる演算が実行されることが好ましい。これは、以下の式のように表される。
【式１２】

【００３２】
ｈ(t)の計算２５では、前の時刻(前サイクル)のＰ(t−1)とｙ(t)とでｈ(t)が算出される。ｇ(t)とξの計算２６では、各々の値が忘却係数βを用いて算出される。この忘却係数βは、０＜β≦１の定数であり、通常は１で良いが、推定すべき行列Ｗが時間的に変化してしまう場合には、この忘却係数βを０.９９や０.９８として、１より小さい値にすることで、これに対する追従を可能としている。Ｐ(t)の計算２７では、ｈ(t)の計算２５によって算出されたｈ(t)、入力されるα、忘却係数β、ｇ(t)とξの計算２６によって算出されたｇ(t)とξによって、ｙ(t)の共分散行列の逆行列であるＰ(t)が算出される。尚、これらのアルゴリズムで、初期値Ｐ(0)とＷ(0)は任意に選ぶこととしている。
【００３３】
ここで、観測信号ｘ(t)は、上記の分離行列推定処理をする前に、平均０の信号に変換して、白色化する前処理が施されているものとする。この処理は観測信号ｘ(t)に対して課すものであって、原信号の情報は必要としない。また、ここで白色化とは、観測信号ベクトルの各要素を無相関化して分散を１にすることであり、その手法は固有値分解や主成分分析などを使えば可能であり、特定する必要はない。
【００３４】
このように、本実施の形態による信号分離方法では、指数関数に基づく評価関数Ｊ₁を分離行列に関して最適化することに基づいている。したがって、この観点からすれば、他のアルゴリズムを用いても同様の結果を得ることができる。
図３および図４は、第２のアルゴリズムの構成を示した図である。図３は第２のアルゴリズムの全体構成を示しており、図４はｗ _i(t)の推定フィルタリングを示している。ここでは、図２に示した第１のアルゴリズムを減次(deflation)によって変形したものである。この第２のアルゴリズムでは、図３に示すように、列ベクトルを１つ１つ推定していき、次数を順々に減じていくことで最適化を図っている。例えば、観測信号ｘ ₁(t)に対してｗ ₁(t)の推定フィルタリング３１、ｘ ₂(t)に対してｗ ₂(t)の推定フィルタリング３２、このようにして、ｘ _m(t)に対してｗ _m(t)の推定フィルタリング３３を施し、これらによって、推定分離行列Ｗ(t)を求めている。
即ち、この第２のアルゴリズムでは、
ｘ ₁(t)＝ｘ(t)；
各ｉ＝１,…ｍに対して図４に示すアルゴリズムの演算が繰り返される。
【００３５】
図４に示すアルゴリズムは、以下のようになる。
【式１３】

ここで、ｄ_i(0)は任意の初期値であり、添字＊は共役を表す。ｆ(・)はtanh（・）などの非線形関数を表す。
図４では、メインのアルゴリズムの流れを非線形関数４１、誤差信号ｅ _i(t)の計算４２、ｗ _i(t)の更新４３、ｘ _i+1(t)の更新４５で示し、このメインのアルゴリズムにおいて必要な諸量の算出を、ξの計算４６、ｄ _i(t)の計算４７の各ユニットにて実行している。また、ｚ^-1はタイミング合わせのための遅延部である。また、各ｗ _i(t)が求まった時点、あるいはすべてのｗ _i(t)が求まった時点でユニタリ化演算を行えば、より精度が向上する。例えば、実数ベクトルの場合、グラム・シュミットの直交化法などを施せばよく、特に方法を限定する必要はない。
【００３６】
図５は、本実施の形態におけるデータ読み込みから出力までの処理の流れを示した図である。まず、多次元信号からなる観測信号ｘ(t)のデータを読み込み(ステップ１０１)、画像のような行列情報をベクトルなどへ変換するデータ構造の変換がなされる(ステップ１０２)。その後、アルゴリズム中で用いる非線形関数を既定のものを用いるか、尖度によって関数を切り替えるかの場合分けが行われる(ステップ１０３〜ステップ１０５)。即ち、既定関数を使うか否かの判断がなされ(ステップ１０３)、既定関数を使う場合には、既定関数の設定をし(ステップ１０４)、既定関数を使用しない場合には、尖度判定による関数の設定がなされる(ステップ１０５)。次に、観測信号ｘ(t)のゼロ平均化、即ち、観測信号ｘ(t)の平均を減じて、平均ゼロにした後(ステップ１０６)、観測データの白色化を行う(ステップ１０７)。そして、データの最初から最後まで、あるいは最初から既定のデータポイントまで、本実施の形態における評価関数である指数関数型評価関数に基づく分離処理を繰り返し実行し(ステップ１０８)、後処理として逆白色化を行って(ステップ１０９)、出力結果が得られる(ステップ１１０)。この中で分離処理については図２に示した第１のアルゴリズムによる構成や、図３および図４に示した第２のアルゴリズムによる構成などを用いれば良い。
【００３７】
次に、本実施の形態における信号分離方法について、更に詳述する。既に記述したように、従来用いられてきた評価関数は、
【式１４】

のような形を持つＨ²ノルムに基づくものであった。
このような形の評価関数だと、推定ベクトル
【式１５】

に推定誤差などの何らかの摂動が加わった時や、収束に達している時も、同程度の重みで分離行列の推定を行うことを意味する。一方、本実施の形態に示すように、指数関数型評価関数に基づけば、誤差が大きくなればなるほど評価に関与する重みが大きくなると言えるので、収束途中では収束を加速し、収束に達しつつあるときは、更新の加速を不必要に加速することがないように、加速を抑えるような安定した推定を行うことが期待できる。
【００３８】
図６は、評価関数における誤差の考慮の度合いを示す概念図である。横軸は、誤差の値を示し、縦軸は考慮の度合いを示している。図でほぼ直線で示されるものが従来の方式によるものであり、下に凸となる曲線で描かれているのが、本実施の形態における方式(本方式)を示している。本方式では、推定誤差が大きい推定初期には最適な更新量で大きな更新を行い、推定が進んだ段階では適切な微調整更新を安定して行うので、結果として少ないステップ数で精度の良い推定結果を得ることができる。
【００３９】
例えば、従来との差が顕著となる例として、画像列における文字情報と背景情報の分離を隣接フレームから行うときに、フレーム間の差異がわずかの場合がある。この時、混合行列Ａの各行または各列の成分はほぼ同じ値を持つようになり、混合行列Ａの条件数が大きくなる。条件数が大きくなれば、推定誤差などの摂動によって大きく影響を受けることになり、従来方式では、わずかの摂動が生じたときにも収束させるために余計な計算ステップを必要とする可能性が高い。一方、本方式では、摂動を受けてもその変化により評価関数における考慮の重みが大きくなるために、修正量が大きく取られることと等価な効果をアルゴリズム中の更新式に持たせることができる。その結果、本方式によれば、従来方式よりも収束を速くすることが期待できる。勿論、条件数が大きくない場合であっても、上記の考察からわかるように、本方式によれば従来方式よりも収束が加速され、より速く精度の良い分離行列の推定が可能となることが期待できる。即ち、本方式は、できるだけ推定誤差を小さく抑えようとする更新量が、従来方式のものより適切な評価関数のもとで改善されている。
また、上記に導出したアルゴリズム例から解るように、本方式は適応フィルタリングの構造を持つと考えられるため、画像の途中で混合比が変化する、あるいは、画像列の途中で混合比が変化する、と言ったように、混合行列Ａが時変性のものであってもそれに追随した多次元信号分離が可能となる。
【００４０】
さて、上記説明では指数関数型評価関数を使い、その計算法は評価関数Ｊ₁を最適化するものであれば、上の形式に限定されるものではないことは既に述べた。指数関数を多項式展開した近似式に基づく評価関数や、同様の単調増加特性を持つ関数に基づく評価関数からも同様のアルゴリズムの導出は可能である。ここではさらに、指数関数型評価関数と同じ意味を持つ評価関数についても述べる。即ち、次に挙げる２つの評価関数に基づいて分離行列の推定アルゴリズムを導出すれば、図２や図３および図４に示したアルゴリズムと同様なアルゴリズムを導くことが可能となる。
【式１６】

ここで、Π ₀は初期値Ｗ ₀に対する不確かさの度合いを表す正定行列である。また、Ｗは分離行列の真値を表す。正定行列とは、すべての非ゼロベクトルｖに対し、
ｖ ^H Ｍｖが正となる行列Ｍのことを言う。
【００４１】
ここで、Ｊ₁₁はＨ無限大ノルムであり、この評価関数の形式が意味することは、どんなに大きな推定誤差がある場合でも推定誤差のＨ²ノルムの上界が既定のスカラー量以下となるような分離行列を推定する方法を導出できるということである。Ｊ₁₂の評価関数が意味することは、ゲーム理論におけるMinMax定理によって、いろいろな分離行列に対して出てくる誤差の最大値候補の中から、最小のものを出す分離行列を解とする戦略において、最適化を行う方法を導出できるということである。これらの評価関数の意味するところは、上記の指数関数型評価関数から導かれる信号分離方法の特徴と一致している。
【００４２】
次に、本実施の形態における信号分離方法を適用した実験結果について説明する。ここでは、まず、３種類の人工信号を用意して、その分離実験を行った。人工信号は下記の３種類である。
【式１７】

ここで、サンプリング周波数は１０ｋＨｚとした。sign(・)は（・）内の符号を出力する関数を表す。
比較対象として前述の文献３と文献４の方法を用いた。文献３の方法は、勾配法の中では収束が速いとされる相対勾配に基づく方法であり、文献４の方法は従来の最小２乗型アルゴリズムである。比較対象として、図２に示した本実施の形態のアルゴリズムを採用している。混合行列は[０,１]区間に一様分布する乱数から生成することとし、条件数は２０００以上になるようにした。
【００４３】
図７は、この分離実験において、独立試行を１０回行い、その平均を取ったときの収束の様子を示した図である。横軸は繰り返し回数を示し、縦軸は収束の指標値を示しており、ここでは、文献３の手法、文献４の手法、および、本実施の形態の手法を用いた際の、人工信号による収束特性を示している。このときの収束性は文献４で使われている次の指標を用いており、０に近づくほど推定精度が高いことを示している。
【式１８】

ここで、ｐ_ijは推定分離行列と混合行列Ａの積で得られる行列の(ｉ,ｊ)要素を表わしている。文献３の手法は更新ステップをユーザが決定してやらなければならず、ここでは本実施の形態と同程度の安定性を持って収束するステップ量のうちで最も速く収束するものを用いている。しかし、図７から理解できるように、文献３の手法の収束速度は本実施の形態の手法よりも遅い。一方、文献４の手法や本実施の形態の手法はステップ量を最適なものに自動設定できるものであるが、本実施の形態によれば文献４の手法よりも速く収束していることが解る。
【００４４】
上記の実験におけるそれぞれの手法において、１秒間に処理できる浮動小数点演算命令であるFLOPS(Floating Operations Per Second)数を調べてみると、本実施の形態と文献４の１ステップのFLOPS数はほぼ同じであることが解った。従って、収束までの総FLOPS数は本実施の形態における手法の方が少ないことがわかる。一方、文献３と本実施の形態とでは、１ステップに要するFLOPS数は文献３の手法の方が少ないが、十分な収束に要するまでに必要な総FLOPS数は、本実施の形態によれば２/３以下に削減できることをシミュレーションで確認した。尚、図３および図４に示したアルゴリズムを用いても同程度の結果が得られる。また、混合行列Ａの条件数を本シミュレーションのように悪条件にしなくても同様の結果が得られる。
【００４５】
図８〜図１０は、実信号分離の実現の一例として、本実施の形態による画像信号分離結果を説明するための図である。図８(ａ)〜(ｃ)は、３つの原画像からなる画像信号を示しており、図８(ａ)は、東京大学の標準画像データベースSIDBAにあるGirl画像の一部をグレー変換したものを用い、図８(ｂ)は、画像電子学会高精細カラーデジタル標準画像SHIPPの一部をグレー変換したものを用いている。図９(ａ)〜(ｃ)は、図８(ａ)〜(ｃ)に示す原画像を一様乱数生成した混合行列にて混合された混合画像を示している。また、図１０(ａ)〜(ｃ)は、本実施の形態による分離結果を示している。本実施の形態による分離方式によって、図１０(ａ)に示す分離結果では、図８(ａ)に示す原画像の画像信号が抽出されているのが解る。また、同様に、図１０(ｂ),(ｃ)に示すように、本方式によって、図８(ｂ),(ｃ)に示す原画像の画像信号が安定して分離されていることが理解できる。
【００４６】
尚、分離結果として、符号の正負が原画像の信号とは逆となる場合がある。しかし、画像の場合には、位相がπずれたときには視覚による明白な感知が可能であり(ネガとポジの関係)、対応する分離結果信号の符号を逆にすれば対応可能である。また、振幅に関しては、ユーザが適宜、調整すれば良い。図１０(ａ)〜(ｃ)に示す画像では、得られた画像の輝度における最小・最大値を表示可能な範囲に適宜、調整してある。当然に、これらの操作のために、原画像信号の情報は一切必要ない。
【００４７】
次に、本実施の形態における信号分離方法の応用例(１)〜(４)について説明する。
(１) 必要情報抽出のための医療画像復元について
医療画像といった場合、様々な例が考えられるが、例えば、前述したｆＭＲＩ(脳機能磁気共鳴画像計測)を考える。ｆＭＲＩは、何らかの刺激が与えられたり、指示された動作を行っている時の脳活動における空間分布の変化を時間的に観測するために使われる。このｆＭＲＩでは、血液中の酸素レベルを元に、その変化を観測するため、微弱な信号から情報を復元・抽出する必要がある。このとき、観測目的である行動と脳活動部位の関連付けを正確に行うためには、心拍や頭部の動き等による余分な信号変化を除去する必要がある。従来のように観測画像をある観測時間分ごとに蓄えて、各ピクセル個所の時系列的相関の大小で雑音を除去すると、時間分解能が落ちてしまう問題が生じる。そこで、行動による脳活動の変化とその他の要因による脳活動の変化は独立であると考え、本実施の形態のように、混信過程が未知であっても原信号を各時刻で適応的かつ比較的高速に分離・抽出する方法を用いれば、従来の方法に比べて正確な脳活動変化の抽出が期待できる。
【００４８】
(２) ぼやけ画像の強調・復元について
本実施の形態を適用し、ぼやけ関数をテイラー展開したときの各微分項を独立成分とし、テイラー展開係数を混合行列の要素とみなしてぼやけ画像の強調・復元を行うことができる。本実施の形態によれば、従来必要とされる観測画像よりも少ない観測画像数しか得られない場合でも、あるいは従来よりも少ない計算量で、ぼやける前の原画像を抽出することが可能である。
【００４９】
(３) 雑音を含む観測画像の特徴抽出成分を用いた画像再構成による雑音除去について
雑音を含む観測画像を独立成分解析によって幾つかの独立成分に分類した後、雑音とみなせる成分を消去して分離行列の逆行列を使って合成することで、雑音除去を行うことができる。本実施の形態に示した方法では、雑音に強いことから、従来よりも正確な独立成分が抽出でき、より効果的な雑音除去が可能となる。
【００５０】
(４) 画像などの多次元観測信号特徴抽出成分による顔データや多次元データの分類・認識について
観測信号を独立成分分析(信号分離)して、得られた成分によってデータを分類すれば、高次の統計量を考慮した情報量からデータ解析を行っていることから、従来のように、２次までの統計量しか考慮しない解析法に比べて精度の良い分類が期待できる。また本実施の形態に示した方法では、信号に歪みなどが入ってしまった場合や、観測方向のわずかな違いによる摂動がある場合にも強いため、頑強なデータ分類を可能とする。したがって、例えば、バイオメトリックスにおける顔認識や顔区別、あるいは人工衛星観測・計測からの画像の区別(山林か住宅地か海か等)への適用が可能となる。
【００５１】
以上詳述したように、本実施の形態によれば、複数の多次元信号が混合状態で観測された場合であっても、その複数の多次元信号を、従来の方式に比べて速い収束にて原信号に安定して分離することが可能となる。本実施の形態を用いた分離方式は、ＲＧＢ等の色データを含む画像データはもとより、例えば、動画に対する分離にも有用である。動画は３次元(Ｘ軸,Ｙ軸,時間軸)イメージとして把握することができるが、収束にかかる時間を大きく削減できることから、本実施の形態を適用した場合に大きな効果を得ることができる。
【００５２】
【発明の効果】
このように、本発明によれば、多次元信号を含む複数の信号が混合状態で観測されたときに、少ない計算ステップ数で、その複数の信号から原信号を安定して抽出することができる。
【図面の簡単な説明】
【図１】信号分離問題を示す概念図である。
【図２】評価関数を最小にする分離行列を求めるための第１のアルゴリズムを示したブロック図である。
【図３】第２のアルゴリズムの全体構成を示した図である。
【図４】第２のアルゴリズムにおけるｗ _i(t)の推定フィルタリングを示した図である。
【図５】本実施の形態におけるデータ読み込みから出力までの処理の流れを示した図である。
【図６】評価関数における誤差の考慮の度合いを示す概念図である。
【図７】分離実験において、独立試行を１０回行い、その平均を取ったときの収束の様子を示した図である。
【図８】 (ａ)〜(ｃ)は３つの原画像からなる画像信号を示した図である。
【図９】 (ａ)〜(ｃ)は、図８(ａ)〜(ｃ)に示す原画像を一様乱数生成した混合行列にて混合された混合画像を示した図である。
【図１０】 (ａ)〜(ｃ)は、本実施の形態による分離結果を示した図である。
【符号の説明】
２１…非線形関数、２２…誤差信号ｅ(t)の計算、２３…Ｗ(t)の更新、２４…ユニタリ化演算、２５…ｈ(t)の計算、２６…ｇ(t)とξの計算、２７…Ｐ(t)の計算、３１…ｗ ₁(t)の推定フィルタリング、３２…ｗ ₂(t)の推定フィルタリング、３３…ｗ _m(t)の推定フィルタリング、４１…非線形関数、４２…誤差信号ｅ _i(t)の計算、４３…ｗ _i(t)の更新、４５…ｘ _i+1(t)の更新、４６…ξの計算、４７…ｄ _i(t)の計算

Claims

複数の多次元信号が混在して観測されるピクセル化された画像データを入力し、入力された当該画像データから混在している多次元信号を分離し、原多次元信号を復元して出力するための信号分離方法であって、
入力される前記画像データに対し、Ｈ無限大ノルム型評価関数およびMinMax戦略型評価関数の少なくとも何れか１つを最適化することで特定の分離行列を選択し、
選択された前記分離行列を前記画像データに乗じて前記原多次元信号を復元して出力することを特徴とする信号分離方法。
原多次元信号を含む複数の信号が混在して観測されるピクセル化された画像データを入力し、入力された当該画像データから混在している多次元信号を分離し、原多次元信号をして出力するための信号分離方法であって、
入力される前記画像データに対して単調増加特性を有する指数型関数に基づく評価関数を導入し、
導入された前記評価関数を最小化する適応フィルタを用いて分離行列を推定し、
推定された前記分離行列を前記画像データに乗じて前記原多次元信号を復元して出力することを特徴とする信号分離方法。
原信号を含む複数の多次元信号が混在して観測されるピクセル化された観測信号から、混在している多次元信号を分離し、当該原信号を分離・抽出して出力する信号分離方法であって、
前記観測信号を読み込み、読み込まれた前記観測信号に対してデータ構造の変換を施し、データ構造が変換された前記観測信号の平均を減じてゼロ平均化を施し、
ゼロ平均化が施された前記観測信号に対して白色化を施し、白色化が施された前記観測信号に対して指数型の単調増加特性を有する評価関数に基づく分離処理を施し、
分離処理が施された前記観測信号に対して後処理として逆白色化を施して前記原信号を出力することを特徴とする信号分離方法。
複数の画像信号が混合されて観測される混合画像データを分離・抽出し、特定の画像信号を出力する画像処理装置であって、
前記混合画像データを入力する入力手段と、
前記入力手段により入力される前記混合画像データに対し、単調増加特性を持つ指数型関数に基づく評価関数を最小化する適応フィルタを用いて分離行列を推定する分離行列推定手段と、
前記分離行列推定手段により推定された分離行列を前記混合画像データに乗じることで、当該混合画像データから前記画像信号を分離・抽出する分離・抽出手段と、を備えたことを特徴とする画像処理装置。
前記入力手段により入力される前記混合画像データは、背景画像の上にテキストが上書きされて、複数フレームが観測されるものであることを特徴とする請求項４記載の画像処理装置。
コンピュータに実行させるプログラムを当該コンピュータが読取可能に記憶した記憶媒体であって、
前記プログラムは、前記コンピュータに入力され複数の多次元信号が混在して観測されるピクセル化された画像データに対して単調増加特性を有する指数型関数に基づく評価関数を導入する処理と、
導入された前記評価関数を最小化する適応フィルタを用いて分離行列を推定する処理と、
推定された前記分離行列を前記画像データに乗じて特定の多次元信号を推定復元する処理と、を前記コンピュータに実行させることを特徴とする記憶媒体。
コンピュータに実行させるプログラムを当該コンピュータが読取可能に記憶した記憶媒体であって、
前記プログラムは、前記コンピュータに入力され複数の多次元信号が混在して観測されるピクセル化された画像データに対し、Ｈ無限大ノルム型評価関数およびMinMax戦略型評価関数の少なくとも何れか１つを最適化することで特定の分離行列を選択する処理と、
選択された前記分離行列を前記画像データに乗じて特定の多次元信号を推定・復元する処理と、を前記コンピュータに実行させることを特徴とする記憶媒体。