WO2006028106A1

WO2006028106A1 - 異常動作検出装置および異常動作検出方法

Info

Publication number: WO2006028106A1
Application number: PCT/JP2005/016380
Authority: WO
Inventors: Nobuyuki Otsu; Takuya Nanri
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2004-09-08
Filing date: 2005-09-07
Publication date: 2006-03-16
Anticipated expiration: 2007-03-08
Also published as: JP2006079272A; JP4368767B2; US20080123975A1; EP1801757A1; EP1801757A4

Abstract

　動画像から異常動作を検出する異常動作検出装置および異常動作検出方法を提供する。　異常動作検出装置１１は、ビデオカメラ１０から入力される動画像データからフレーム間差分データを生成し、複数のフレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出し、過去の特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間と、最新の特徴データとの距離を計算する。そして、この距離が所定値よりも大きい場合に異常と判定する。正常動作を部分空間として学習し、異常動作をそこからの逸脱として検出することにより、例えば画面内に複数人いる場合でも１人の異常動作を検出可能である。また、計算量が少なく、実時間処理が可能である。

Description

異常動作検出装置および異常動作検出方法

技術分野

[0001] 本発明は、動画像を取り込んで通常とは異なる動作を検出する異常動作検出装置および異常動作検出方法に関するものである。

背景技術

[0002] 現在、セキュリティ分野における映像監視や老人介護のモニタリングシステムなど、カメラによる監視システムが多く利用されている力人による動画像からの異常検出は労力も多大であり、これをコンピュータで代替できるならば大幅な労力削減につながる。また老人介護においても、発作などに対する自動通報システムがあるならば、介護者の負担を減らすことができるため、異常を知らせるなどのカメラによるモニタリングシステムが必要とされて、る。

[0003] そこで、対象に対して動作特徴を抽出するような動画像からの動作認識が必要となる。動作認識の研究としては、特に、本発明者の一部らが発表した下記の非特許文献 1には、顔画像認識などに有効な高次局所自己相関特徴を拡張し、時間方向の相関も加えた特徴である、立体高次局所自己相関特徴 (以下、 CHLACとも記す)を用いた動作認識を行う技術が開示されて!ヽる。

立体高次局所自己相関特徴とはすなわち、画像を時系列に並べたボタセルデータ (3次元データ）に対して、その中の各点において局所的な自己相関特徴を計算し、この局所特徴をボタセルデータ全体にわたって積分することにより得られる統計的特徴であり、動作特徴であるといえる。この特徴に対して 4つの動作を判別分析にかけた認識結果は、ほぼ 100 %と非常に高いものとなっている。

非特許文献 1 : T.Kobayashi ana

Action and simultaneous Multiple-Person Identification Using Cubic Higher-Order Local Auto-Correlation" Proceeding of 17t h International Conference on Pattern Recognition^ 2004

発明の開示

発明が解決しょうとする課題 [0004] 上記した従来の動作認識方法を異常動作の検出に適用しょうとした場合には、全ての異常動作の特徴データを予め生成して登録しておく必要がある。しかし、人や装置の異常動作は予測することが困難であり、全ての異常動作の特徴データを高精度で生成することは不可能であるという問題点があった。本発明の目的はこのような問題点を解決し、動画像力ゝらの特徴抽出である立体高次局所自己相関特徴を用いて異常動作を検出する異常動作検出装置および異常動作検出方法を提供する点にある。

課題を解決するための手段

[0005] 本発明の異常動作検出装置は、複数の画像フレームデータからなる動画像データからフレーム間差分データを生成する差分データ生成手段と、前記フレーム間差分データ力高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、過去に特徴データ抽出手段によって抽出された複数の特徴データ力主成分分析手法により得られた主成分ベクトルに基づく部分空間と、前記特徴データ抽出手段により抽出された特徴データとの距離を計算する距離計算手段と、前記距離が所定値よりも大きい場合に異常と判定する異常判定手段と、前記異常判定手段が異常と判定した場合に判定結果を出力する出力手段とを備えたことを主要な特徴とする。また、前記した異常動作検出装置において、前記特徴データ抽出手段は、直近の複数の前記フレーム間差分データ力なる 3次元データから立体高次局所自己相関によって特徴データを抽出するものであってもよい。

[0006] また、前記した異常動作検出装置は更に、動画像フレームデータをリアルタイムで取り込む取り込み手段と、取り込んだフレームデータを保存するフレームデータ保存手段と、特徴データ抽出手段により抽出された特徴データを一定期間分だけ保存する保存手段と、前記保存手段に保存されている特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間を求めて部分空間情報を更新する部分空間更新手段とを備えるようにしてもょヽ。

[0007] 本発明の異常動作検出方法は、複数の画像フレームデータからなる動画像データ力フレーム間差分データを生成する第 1ステップと、直近の複数の前記フレーム間差分データ力なる 3次元データから立体高次局所自己相関によって特徴データを抽出する第 2ステップと、過去に抽出された複数の特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間と特徴データとの距離を計算する第 3ステップと、前記距離が所定値よりも大きい場合に異常と判定する第 4ステップと、異常と判定された場合に判定結果を出力する第 5ステップとを備えたことを主要な特徴とする。

また前記した異常動作検出方法において、前記第 1ステップは、動画像フレームデータをリアルタイムで取り込むステップと、取り込んだフレームデータを保存するステツプとを含み、前記第 3ステップは、特徴データ抽出手段により抽出された特徴データを一定期間分だけ保存するステップと、保存されている特徴データから主成分分析手法により得られた主成分べ外ルに基づく部分空間を求めて部分空間情報を更新するステップとを含むようにしてもょ、。

発明の効果

[0008] 本発明によれば、動作特徴として対象の位置等に依らな!/、位置不変な値である（立体)高次局所自己相関特徴を用いており、複数個の対象がある場合、全体の特徴値はそれぞれの個別の特徴値の和になるという加法性があるという性質によって、通常データとして豊富に得られる正常動作を統計的に部分空間として学習し、異常動作をそこからの逸脱として検出することにより、例えば画面内に複数人いる場合にお V、て、従来の殆どの方式が採用して、る個々の人物の切り出しやトラッキングを行うことなぐ 1人の異常動作をも検出可能であるという効果がある。

また、特徴抽出や異常判定のための計算量が少なぐ計算量は対象人数に依らず一定であり、実時間処理が可能であるという効果もある。

[0009] 更に、正常動作を陽に定義することなく統計的に学習しているため、設計の段階で正常動作とは何かにつ、て定義する必要がなぐ監視対象に則した自然な検出を行うことができる。さらに、監視対象についての仮定が不要であり、人の動作に限らず、さまざまな監視対象に対しても、正常 ·異常を判別できるという効果もある。また、リアルタイムで動画像を取り込み、正常動作の部分空間を更新することにより、正常動作の緩やかな変化に追従して、くことができると、う効果もある。

図面の簡単な説明 [0010] [図 1]図 1は本発明による異常動作検出装置の構成を示すブロック図である。

[図 2]図 2は本発明による異常動作検出処理の内容を示すフローチャートである。

[図 3]図 3は S13の立体高次局所自己相関特徴抽出処理の内容を示すフローチヤ一トである。

[図 4]図 4は 3次元画素空間における自己相関処理座標を示す説明図である。

[図 5]図 5は自己相関マスクパターンの例を示す説明図である。

[図 6]図 6は本発明による動画像の実時間処理の内容を示す説明図である。

[図 7]図 7は CHLAC特徴の加法性と部分空間の性質を示す説明図である。

[図 8]図 8は CHLAC特徴の加法性と部分空間の例を示す説明図である。

符号の説明

[0011] 10…ビデオカメラ

11 · ··コンピュータ

12…モニタ装置

13· "キーボード

14· ··マウス

発明を実施するための最良の形態

[0012] まず、「異常動作」の定義であるが、異常の事象を全て列挙することができないように、異常そのものを定義することはできない。そこで本明細書においては、異常動作を「正常動作ではないもの」として定義する。正常動作は、動作特徴の統計的な分布を考えた場合に分布の集中する動作であるものとすれば、統計的な分布から学習可能である。そして、その分布から大きく逸脱する動作を異常動作とする。

[0013] 例えば、通路や道路などに設置された防犯カメラでは、歩く動作のような一般的な動作は正常動作として学習され認識されるが、挙動不審のような動作は、歩く動作のような周期運動でもなく分布として少ないため、異常動作として認識されることになる。なお、本発明者らは、「歩く」動作を正常動作、「走る」動作、「転ぶ」動作を異常動作として実験を行った。

[0014] 異常動作検出の具体的な手法としては、立体高次局所自己相関特徴による動作特徴空間の中で正常動作特徴の部分空間を生成し、その部分空間力もの距離を異常値として異常動作を検出する。正常動作部分空間の生成には主成分分析手法を用い、例えば累積寄与率 0.99の主成分ベクトルにより主成分部分空間を構成する。

[0015] ここで、立体高次局所自己相関特徴には、対象の切りだしが不要で画面内において加法性があるという性質がある。この加法性により、正常動作部分空間を構成すると、画面内に何人の人が正常動作を行っても特徴ベクトルは正常動作部分空間の中に収まることになり、その中の一人でも異常動作を行うと、部分空間から飛び出して異常値として検出できることになる。人を個々にトラッキングし、切り出して計算する必要がないため、計算量は対象人数に比例することなく一定となり、高速に計算可能である。

[0016] 本発明においては、学習する CHLAC特徴の主成分ベクトルを求め、その主成分べタトルを用いて部分空間を構成している力ここで重要なことは、 CHLAC特徴の加法性の性質との相性が非常に良いということである。正常動作部分空間に属する (距離が所定の閾値以下)かどうかはベクトルの大きさに依存しない。すなわち、ベクトルの方向のみが正常動作部分空間に属するか否かの要素となる。

[0017] 図 7は、 CHLAC特徴の加法性と部分空間の性質を示す説明図である。図 7は、説明を簡単にするために、 CHLAC特徴データ空間を 2次元（実際には 251次元）とし、正常動作の部分空間を 1次元（実施例では例えば累積寄与率 0.99とすると 3〜12次元程度）としたものであり、正常動作の CHLAC特徴データが監視対象の個数ごとの集団を形成している。主成分分析によって求められた正常動作部分空間 Sは正常動作の CHLAC特徴データを含む形で近傍に存在して、る。逸脱する異常動作の CHL AC特徴データ Aは、正常動作部分空間 Sとの垂直距離 d丄が大きくなるので、この垂直距離 d丄によって異常を判定する。

[0018] 図 8は、 CHLAC特徴の加法性と部分空間の例を示す説明図である。図 8 (a)は 1人の正常動作 (歩く）の場合の CHLAC特徴ベクトルを示しており、正常動作部分空間 S 内（ごく近傍）にある。図 8 (b)は 1人の異常動作 (転ぶ）の場合の CHLAC特徴べタトルを示しており、正常動作部分空間 Sから垂直距離 d丄だけ離れている。

[0019] 図 8 (c)は 2人の正常動作 (歩く）と 1人の異常動作 (転ぶ）が混在して、る場合の CHL AC特徴ベクトルを示しており、やはり (b)と同様に正常動作部分空間 Sから垂直距離 d丄だけ離れている。一般に、 n人の正常動作と一人の異常動作が混在している場合を射影子を用いた式により示すと以下のようになる。なお、 Nは正常、 Aは異常を示す。射影子は後に定義する。

[0020] [数 1] χ ^ χ^ ' - + χ + χ^Α とすると

= Ρ_±( ₊· · · ₊ + Χ

= Ρ (χ^ + ' - + χ^) + Ρ_±χ^Α

= Ρ_±χ^Α > 0

実施例 1

[0021] 図 1は、本発明による異常動作検出装置の構成を示すブロック図である。ビデオ力メラ 10は対象となる人や装置の動画像フレームデータをリアルタイムで出力する。ビデォカメラ 10はモノクロでもよ、しカラーカメラであってもよ、。コンピュータ 11は例えば動画像を取り込むためのビデオキヤプチヤー回路を備えた周知のパソコン (PC)であってもよい。本発明は、パソコンなどの周知の任意のコンピュータ 11に後述するプログラムを作成してインストールして起動することにより実現される。

[0022] モニタ装置 12はコンピュータ 11の周知の出力装置であり、例えば異常動作が検出されたことをオペレータに表示するために使用される。なお、検出した異常の通報、表示方法は、インターネットなどを介して遠方のモニタ装置に通報表示する方法、音による通報により注意を促す方法、有線電話機あるいは携帯電話機に発呼して音声により通報を行う方法等を採用可能である。

キーボード 13およびマウス 14は、オペレータが入力に使用する周知の入力装置である。なお、実施例においては、例えばビデオカメラ 10から入力された動画像データを実時間で処理してもよ、し、ー且動画像ファイルに保存して力も順次読み出して処理してちよい。

[0023] 図 2は、本発明による異常動作検出処理の内容を示すフローチャートである。 S10 においては、ビデオカメラ 10からのフレームデータの入力が完了するまで待つ。 S11 においては、フレームデータを入力（メモリに読み込む）する。このときの画像データは例えば 256階調のグレイスケールデータである。

[0024] S12においては、動画像データに対して「動き」の情報を検出し、背景など静止しているものを除去する目的で差分データを生成する。差分の取り方としては、隣接するフレーム間の同じ位置の画素の輝度の変化を抽出するフレーム間差分方式を採用するが、フレーム内における輝度の変化部分を抽出するエッジ差分、あるいは両方を採用してもよい。なお、画素毎に RGBのカラーデータを持っている場合には、 2つの画素の差分データとして、 2つの RGBカラーベクトル間の距離を算出してもよい。

[0025] 更に、「動き」に無関係な色情報やノイズを除去するために自動閾値選定による 2値化を行う。 2値ィ匕の方法としては、例えば一定閾値、下記非特許文献 2に開示されて V、る判別最小二乗自動閾値法、閾値 0及びノイズ処理方式 (濃淡画像にお!/、て差が 0以外を全て動き有り = 1とし、公知のノイズ除去法によってノイズを除去する方法)を採用可能である。以上の前処理により入力動画データは画素値に「動いた（1)」「動かな、 (0)」の論理値をもつフレームデータ（2値画像）の列となる。

非特許文献 2 :大津展之、 "判別および最小 2乗規準に基づく自動しきい値選定法" 電子通信学会論文誌 D、 J63-D-4、 P349-356、 1980年。

[0026] S13においては、 1フレーム毎の立体画素データに関する相関パターンカウント処理を行い、フレームと対応するフレーム CHLACデータを生成する。詳細は後述する力 251次元特徴データを生成する CHLAC抽出処理を行う。時系列の二値差分デ一タカもの動作特徴の抽出には、立体高次局所自己相関 (CHLAC)特徴を用いる。 N次の CHLACは次の数式 2のようになる。

[0027] [数 2] （" ' · a_N) = + a_x · - f(r + a_N)dr

[0028] ここで、 fは時系列画素値 (差分値)であり、参照点（注目画素) rおよび参照点からみた N個の変位 a (i = 1, . . . ,Ν)は差分フレーム内の二次元座標に時間も成分として持つ三次元のベクトルである。更に、時間方向の積分範囲はどの程度の時間方向の相関を取るかのパラメータである。但し、 S 13におけるフレーム CHLACデータは 1 フレーム毎のデータであり、これを時間方向に所定期間だけ積分 (加算)したものが C HLAC特徴データとなる。

[0029] 変位方向、次数のとり方により高次自己相関関数は無数に考えられる力これを局所領域に限定したものが高次局所自己相関関数である。立体高次局所自己相関特徴では変位方向を参照点 rを中心とする 3 X 3 X 3画素の局所領域内、即ち参照点 r の 26近傍に限定している。なお、一般的には、立体高次局所自己相関特徴を取る場合の変位方向は必ずしも隣接画素でなぐ離れても良い。特徴量の計算は 1組の変位方向に対して式 1の積分値が 1つの特徴量になる。従つて変位方向の組み合わせ（=マスクパターン)の数だけ特徴量が生成される。

[0030] 特徴量の数、つまり特徴ベクトルの次元はマスクパターンの種類に相当する。 2値画像の場合、画素値 1を何回乗算しても 1であるので、二乗以上の項は乗数のみが異なる 1乗の項と重複するものとして削除する。また式 1の積分操作 (平行移動:スキヤン)で重複するパターンは 1つの代表パターンを残して他を削除する。式 1右辺の式は参照点 ( r) _:局所領域の中心)を必ず含むので、代表パターンとしては中心点を含み、パターン全体が 3 X 3 X 3画素の局所領域内に収まるものを選択する。

[0031] この結果、中心点を含むマスクパターンの種類は、選択画素数が 1個のもの： 1個、 2個のもの： 26個、 3個のもの： 26 X 25Z2 = 325個の計 352個あるが、式 1の積分操作（平行移動:スキャン)で重複するパターンを除くと、マスクパターンの種類は 25 1種類となる。即ち、 1つの 3次元データに対する立体高次局所自己相関特徴べタトルは 251次元となる。

[0032] なお、画素の値が多値の濃淡画像の場合には、例えば画素値を aとすると、相関値は a (0次）≠a X a (l次）≠a X a X a (2次）となり、選択画素が同じでも乗数の異なるものを重複削除できない。従って、多値の場合には、 2値の場合より選択画素数が 1の場合に 2個、選択画素数が 2の場合に 26個増加し、マスクパターンの種類は計 279 種類となる。

[0033] 立体高次局所自己相関特徴の性質としては、変位方向を局所領域に限定しているためにデータに対する加法性があり、画面全体および時間を含めての立体データ領域全体を通して積分しているためにデータ内の位置不変性がある。さらに自己相関をとつて!/ヽるのでノイズ対して頑強でもある。

[0034] S14においては、フレーム CHLACデータをフレーム対応に保存する。 S15においては、現在の CHLACデータに S13で求めた最新のフレーム CHLACデータを加算すると共に、所定期間以上古いフレームに対応するフレーム CHLACデータを現在の C HLACデータ力減算して新たな CHLACデータを生成し、保存する。

[0035] 図 6は、本発明による動画像の実時間処理の内容を示す説明図である。動画像のデータはフレームのシーケンスとなっている。そこで時間方向に一定幅の時間窓を設定し、窓内のフレーム集合を 1つの 3次元データとする。そして、新たなフレームが入力される度に時間窓を移動させ、古いフレームを削除することで有限な 3次元データが得られる。この時間窓の長さは、認識しょうとする動作の 1周期と等しいか、より長く設定することが望ましい。

[0036] なお、実際には画像フレームデータは差分を取るために 1フレームのみ保存され、次に入力された画像フレームデータとの間で差分が取られる。差分フレームデータは 2フレーム分だけ保存され、次に入力された画像フレームデータに基づく差分フレームデータと合わせて 3フレーム分の差分フレームデータからフレーム CHLACデータが生成される。そして、フレームと対応するフレーム CHLACデータが時間窓分だけ保存される。即ち、図 6において時刻 tに新たなフレームが入力された時点では、直前の時間窓（t-1, t-n-1)に対応するフレーム CHLACデータはすでに算出されている。但し、フレーム CHLACデータを計算するためには直近の 3つの差分フレームが必要であるが、（t-1)フレームは端なのでフレーム CHLACデータは（t- 2)フレームに対応するものまで算出されている。

[0037] そこで、新たに入力された tフレームを用いて (t-1)フレームに対応するフレーム CH LACデータを生成して CHLACデータに加算する。また、最も古い (t-n- 1)フレームと対応するフレーム CHLACデータを CHLACデータから減算する。このような処理により、時間窓と対応する CHLAC特徴データが更新される。

[0038] 図 2に戻って、 S16においては、現在までに保存されている CHLACデータ群の全て、あるいは直近の所定数から主成分分析手法により主成分ベクトルを求め、正常動作の部分空間とする。主成分分析手法自体は周知であるので概略を説明する。 [0039] まず、正常動作の部分空間を構成するために、 CHLAC特徴データ群から主成分分析により主成分ベクトルを求める。 M次元の CHLAC特徴ベクトル Xを以下のように表す。

[0040] [数 3] x_i e V^M(i = - · N) なお、 M = 251である。また、主成分ベクトル（固有ベクトル）を列に並べた行列 Uを以下のように表す。

[0041] [数 4]

• · · _¾]， Uj G V^MU = l' · M) なお、 M = 251である。主成分ベクトルを列に並べた行列 Uは、以下のように求める。共分散行列∑を次式に示す。

[0042] [数 5]

なお、 μは特徴ベクトル Xの平均ベクトルであり、 Εは期待値を求める演算記号 (Ε = ( 1/Ν)∑)である。行列 Uはこの共分散行列∑を用いて、次の式の固有値問題より求まる。

[0043] [数 6]

∑_XU =ひ Λ

[0044] 固有値の対角行列 Λを次式で表すと、

[0045] [数 7]

A = diag(A^,' · λ_Μ) 第 Κ固有値までの累積寄与率 7? は、以下のように表される。

κ

[0046] [数 8]

[0047] そこで、累積寄与率 r? が所定値 (例えば r? =0.99)となる次元までの固有ベクトル

K K

u ,...,uにより張られる空間を、正常動作の部分空間として適用する。なお、累積寄

1 K

与率 7? の最適値は監視対象や検出精度にも依存するものと考えられるので実験等

K

により決定する。以上の計算を行うことにより、正常動作の部分空間が生成される。

[0048] S17においては、 S15にて求めた CHLAC特徴データと S16で求めた部分空間との垂直距離 d丄を求める。得られた主成分直交基底 U =[u ,...,u ]によって張られた部

K 1 K

分空間への射影子 Pおよびそれに対する直交補空間への射影子 P丄は、

[0049] [数 9]

P = U_KU_K'

となる。 u'は行列 uの転置行列であり、 Iは M次の単位行列である。直交補空間での 2乗距離、即ち、部分空間 Uへの垂線の 2乗距離 d²丄は、

[0050] [数 10] αし— し

= \\(I_M - U_KU_K ^f )xf

= x^f(I_M - U_KU_K ^f y(I_M - U_KU_K ^r )x

= x\I_M - U_KU_K ^f )x と表すことができる。本実施例においては、この垂直距離 d丄を異常である力否かの指標とする。

[0051] S18においては、垂直距離 d丄が所定の閾値よりも大きいか否かが判定され、判定結果が否定の場合には S19に移行する力肯定の場合には S20に移行する。 S19 においては、このフレームの動作は正常動作であると判定する。また、 S20においては、このフレームの動作は異常動作であると判定する。 S21においては、判定結果をモニタ装置等へ出力する。 S22においては、例えばオペレータによる終了操作が検出された力否かによって処理を終了する力否かが判定され、判定結果が否定の場合には S 10に戻る力肯定の場合には処理を終了する。以上のような方法によって、実時間で異常検出処理ができる。

[0052] 図 3は、 S13の立体高次局所自己相関特徴抽出処理の内容を示すフローチャートである。 S30においては、 251個の相関パターンカウンタをクリアする。 S31においては、未処理の注目画素（参照点）を 1つ選択する（フレーム内で注目画素を順にスキヤンする）。 S32においては、未処理のマスクパターンを 1つ選択する。

[0053] 図 4は、 3次元画素空間における自己相関処理座標を示す説明図である。図 4においては、 t— 1フレーム、 tフレーム、 t+ 1フレームの 3つの差分フレームの xy平面を並ベて図示してある。

[0054] 本発明においては、注目画素を中心とする 3 X 3 X 3 ( = 27)画素の立方体の内部の画素について相関を取る。マスクパターンは、相関を取る画素の組合せを示す情報であり、マスクパターンによって選択された画素のデータは相関値の計算に使用されるが、マスクパターンによって選択されな力つた画素は無視される。前記したように、マスクパターンでは注目画素（中心の画素）は必ず選択される。また、 2値画像で 0 次〜 2次までの相関値を考えた場合、 3 X 3 X 3画素の立方体において重複を排除した後のパターン数は 251個となる。

[0055] 図 5は、自己相関マスクパターンの例を示す説明図である。図 5 (1)は注目画素のみの最も簡単な 0次のマスクパターンである。 (2)はハッチングを施した 2つの画素が選択されている 1次のマスクパターン例、（3)、（4)はハッチングを施した 3つの画素が選択されている 2次のマスクパターン例であり、この他に多数のパターンがある。

[0056] 図 3に戻って、 S33においては、前記した式 1を用いて相関値を計算する。式 2の r )Kr+a )- --Kr+a )はマスクパターンと対応する座標の差分 2値化 3次元データの画素値

1 N

を掛け合わせる（=相関値、 0または 1)ことに相当する。また、式 1の積分操作は注目画素をフレーム内で移動 (スキャン）させて相関値をマスクパターンと対応するカウンタによって足し合わせる（ 1をカウントする）ことに相当する。 [0057] S34においては、相関値は 1か否かが判定され、判定結果が肯定の場合には S35 に移行するが、否定の場合には S36に移行する。なお、実際の計算は、計算量を削減するために、 S33で相関値を計算する前に、 S31の後で、まず参照点の画素値が 1か否かを判断し、 0ならば、相関を計算しても 0となるので S37にスキップする。 S35においては、マスクパターンと対応する相関パターンカウンタを + 1する。 S36においては、全てのパターンについて処理が完了した力否かが判定され、判定結果が肯定の場合には S37に移行する力否定の場合には S32に移行する。

[0058] S37においては、全ての画素について処理が完了したか否かが判定され、判定結果が肯定の場合には S38に移行する力否定の場合には S31に移行する。 S38においては、パターンカウンタ値の集合を 251次元フレーム CHLACデータとして出力する。

[0059] 次に、本発明者らが行った実験結果について説明する。実験には画像データとして、複数人が行き交う動画を用いた。この動画は数千フレーム力成り、ごく一部に異常動作である「転ぶ」動作の画像を含んでいる。実験の結果、正常動作の部分空間の次元が安定するまでは、新しいサンプル画像は常に異なる次元に飛び出して垂直距離 d丄として多少大きな値が出るが、ある程度特徴データが蓄積された中盤にお!、ては、正常動作の画像につ!、ては垂直距離 d丄の値は小さな値で安定しており、異常動作である「転ぶ」フレームでのみ垂直距離 d丄の値が大きくなつて正しく異常動作が検出できることを確認した。なお、正常動作部分空間の次元は常に 4次元程度で変化しており、非常に小さいものとなっている。

[0060] 以上のように、実施例においては、 CHLAC特徴の加法性と部分空間法を用いて、正常動作を統計的に部分空間として学習し、異常動作をそこからの逸脱として検出することができる。この手法は、複数人の場合にも適用することができ、画面内で一人でも異常動作を行えば、検出することができる。しカゝも、対象の切り出しは不要で、計算量は人数に依らず一定であり、有効で実用性が高い手法である。また、この手法では、正常動作を陽に定義することなく統計的に学習しているため、設計の段階で正常動作とは何かにつ!/、て定義する必要がなぐ監視対象に則した自然な検出を行うことができる。さらに、監視対象についての仮定や知識が全く必要ないので、人の動作に限らず、さまざまな監視対象に対しても、正常 ·異常を判別できる汎用的な手法である。また、オンライン学習によってリアルタイムに異常動作を検出することができる

[0061] 以上、異常動作の検出を行う実施例について説明したが、本発明には以下のような変形例も考えられる。実施例においては、正常動作の部分空間を更新しながら異常動作の検出を行う例を開示したが、学習フェーズによって予め正常動作の部分空間を生成しておくか、あるいは例えば 1分、 1時間あるいは 1日などのフレーム間隔よりも長い所定の周期で正常動作の部分空間を生成して更新し、次の更新までは固定した部分空間を使用して異常動作の検出を行ってもよい。このようにすれば処理量は更に減少する。

更に、リアルタイムに部分空間を更新する学習法として、下記の非特許文献 3に開示されているような、主成分分析による固有値問題を解かずに、入力データから逐次近似的に固有ベクトルを求める方法を採用してもょ、。

非特干文献 3 :Juyang Weng, Yilu Zhang and Wey-bhiuan Hwang, Candid し ovarian ce- Free Incremental Principal Component Analysis", IEEti, fransactions on Pattern Analysis and Machine Intelligence,Vol.25, No.8, pp.1034— 1040, 2003

[0062] 正常動作が複数パターン存在する場合、実施例の構成ではあまり正しく正常動作部分空間を構成することができず、異常動作の検出精度が低下してしまうことがある。そこで、正常動作部分空間内においてもクラスタリングを行った後、そこからの距離を測るようにして多峰性の分布にも対応できるよう〖こすることが考えられる。

あるいは、複数の正常動作パターンのそれぞれについて部分空間を生成することができれば、それぞれの部分空間を使用して複数の異常判定を行い、複数の判定結果の論理積を取って全てのパターンについて異常と判定されたものを異常とするようにしてもよい。

[0063] 実施例においては、異常動作と判定されたフレームも正常動作の部分空間生成処理に使用しているが、異常動作と判定されたフレームを部分空間生成処理力除いてもよい。このようにすれば、異常動作の割合が高い場合や、画像サンプル数が少な V、場合等に検出精度が向上する。実施例にお!、ては、 3次元の CHLACを計算する例を開示したが、用途や精度、計算量の点を考慮して、 3次元の CHLACではなぐ各差分フレームから 2次元の高次局所自己相関特徴を計算して、このデータ力正常動作の部分空間を生成して異常動作を検出するようにしてもよい。このようにすれば、歩くなどの周期的動作の場合には時間方向の積分がない分誤差が大きくなるが、やはり異常行動を検出することができ、 251次元の CHLACに比べて 25次元となるので大幅に計算が少なくて済む。従って、応用に依っては有効である。

Claims

請求の範囲

[1] 複数の画像フレームデータからなる動画像データからフレーム間差分データを生成する差分データ生成手段と、

前記フレーム間差分データ力高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、

過去に特徴データ抽出手段によって抽出された複数の特徴データ力主成分分析手法により得られた主成分ベクトルに基づく部分空間と、前記特徴データ抽出手段により抽出された特徴データとの距離を計算する距離計算手段と、

前記距離が所定値よりも大きい場合に異常と判定する異常判定手段と、前記異常判定手段が異常と判定した場合に判定結果を出力する出力手段とを備えたことを特徴とする異常動作検出装置。

[2] 前記特徴データ抽出手段は、直近の複数の前記フレーム間差分データからなる 3 次元データから立体高次局所自己相関によって特徴データを抽出するものであることを特徴とする請求項 1に記載の異常動作検出装置。

[3] 更に、動画像フレームデータをリアルタイムで取り込む取り込み手段と、

取り込んだフレームデータを保存するフレームデータ保存手段と、

特徴データ抽出手段により抽出された特徴データを一定期間分だけ保存する保存手段と、

前記保存手段に保存されている特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間を求めて部分空間情報を更新する部分空間更新手段と

を備えたことを特徴とする請求項 2に記載の異常動作検出装置。

[4] 複数の画像フレームデータからなる動画像データからフレーム間差分データを生成する第 1ステップと、

直近の複数の前記フレーム間差分データからなる 3次元データから立体高次局所自己相関によって特徴データを抽出する第 2ステップと、

過去に抽出された複数の特徴データから主成分分析手法により得られた主成分べタトルに基づく部分空間と特徴データとの距離を計算する第 3ステップと、前記距離が所定値よりも大きい場合に異常と判定する第 4ステップと、

異常と判定された場合に判定結果を出力する第 5ステップと

を備えたことを特徴とする異常動作検出方法。

前記第 1ステップは、動画像フレームデータをリアルタイムで取り込むステップと、取り込んだフレームデータを保存するステップとを含み、

前記第 3ステップは、特徴データ抽出手段により抽出された特徴データを一定期間分だけ保存するステップと、保存されて!ヽる特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間を求めて部分空間情報を更新するステップとを含むことを特徴とする請求項 4に記載の異常動作検出方法。