JP4660736B2 - 動画像時間分割処理方法および装置 - Google Patents

Description

本発明は、人間の動作を撮影した動画像データを時間的に分割する情報処理を行う動画像データ時間分割処理方法および動画像データ時間分割処理装置に関するものである。

従来から、動画像データの時間的分割に関する技術には、次のような様々な手法が提案されている。

（１）輝度ないしカラーヒストグラムの大変化時点を分節の端点と認識する方法。
この方法は、動画像の画面全体の輝度の合計値ないし色の分布ヒストグラムが急激に変化する時点を、画像の切り替わり時点として認識し、動画像を分割する方法である。この方法の例として、特許文献１および特許文献２が挙げられる。

（２）動画像のフレーム間の輝度ないしカラーヒストグラムの類似性に基づいて分節の構造化を行う方法。
この方法は、動画像の各フレームの、画面全体の輝度の合計値ないし色の分布ヒストグラムを計算し、類似する光学的特徴を有するフレーム同士を、同一の動画像分節に統合するように、動画像の分節を行うものである。この方法の例としては、特許文献３、特許文献４に記載されているものが参照できる。

（３）身体運動を撮影した映像の時間分割のために、身体運動をビデオカメラ以外の手段で計測する方法。
この方法は、身体の動作を、三次元測位装置や関節角度計などによって計測し、そのデータの値の挙動に基づいて、身体運動の時間分割を行う方法である。

また、画像処理を行う場合の手法の一つとして、オプティカルフローを利用して画像処理を行う技術が知られている。この画像処理技術に説明する文献として、特許文献５が挙げられる。この技術によると、例えば、２枚の画像からオプティカルフローを算出し、得られたオプティカルフローに基づいて、２枚の画像の位置合わせを行うことに利用される。

しかし、動画像データを時間的分割する場合について、前述した（１）の輝度ないしカラーヒストグラムの大変化時点を分節の端点と認識する方法では、動画像が光学的に大きな変化を生じない限り、分割の対象とは認識されない。これでは、防犯カメラの動画像のように、光学的変化が乏しい映像の分割は困難である。

また、前述した（２）動画像のフレーム間の輝度ないしカラーヒストグラムの類似性に基づいて分節の構造化を行う方法では、動画像が光学的に大きな変化を生じない限り、全てのフレームが類似するものと判定されてしまう。この場合においても、防犯カメラの動画像のように、光学的変化が乏しい映像の分割は困難である。

また、前述した（３）の身体運動を撮影した映像の時間分割のために、身体運動をビデオカメラ以外の手段で計測する方法を用いる場合には、身体運動の計測のために、動作者の身体に計測装置部品を装着する必要がある。（３）の方法に関係して、本発明者は、先に特願２００３−３９８４７０として、身体の複数の関節角度の間に存する相関係数に基づいて身体運動データの時間分節の判定を行う「動作体運動データ分節処理装置」を提案している。この装置における分割の原理は、次のような生物学的事実に基づく。動物の身体制御には各部位をまとめて動かす性質がある。まとめ方には数種類の類型がある。動作の単位的で短いまとまりの中では、まとめ方の類型が変化しない。まとめ方の類型は、身体運動のデータの相関係数を観察することによって計測できる。そこで、まとめ方が変化した時点を、動作が切り替わった時点とし分割を行う。しかし、この方法を用いるには、身体運動の計測のために、動作者の身体に計測装置部品を装着する必要がある。このため、あらかじめ準備した人間の動作に対してのみ分析が可能である。第３者の通行人の動作を分析できない。また、身体運動計測装置は一般に高価であることも問題である。

本発明は、これらの問題を解決するためになされたものであり、本発明の目的は、人間行動を撮影した動画像の光学的データを基にして、人間行動のまとまりに応じて適切になるように、人体動作の時間的な分節時点を検知する手法を提供することにある。具体的には、本発明の目的は、人間の動作を撮影した動画像データを時間的に分割する情報処理を行う動画像データ時間分割処理方法および動画像データ時間分割処理装置を提供することにある。

上記のような目的を達成するため、本発明の基本的な原理としては、動画像の複数の領域の光学的特徴量の間における相関関係を時間的分節点の検知の判定に用いることによって、人間の動作を撮影した動画像データを人間動作を基に時間的に分割することができるようにする。つまり、動画像の複数の変化領域の間に存在する光学的変化の相関に基づいて分節の判定を行うことで時間的分割を行う。具体的には、本発明は、次のような構成を備えることにより課題を解決する。

本発明は、第１の態様として、本発明による動画像データ時間分割処理方法が、人体の動作が撮影されている動画像データを時間的に分割する処理をコンピュータにより実行させる動画像データ時間分割処理方法であって、動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する第１ステップと、前記第１ステップにより指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する第２ステップと、前記第２ステップにより計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する第３ステップと、前記第３ステップにより計算される観察領域間相関データに基づいて動画像データの分節時点を判定する第４ステップとの処理をコンピュータにより実行させる。

この場合に、前記第１ステップが、動画像画面に投影される鉛直方向に応じて観察領域を指定する構成とされる。また、前記第１ステップが、動画像画面の画素の輝度に応じて観察領域を指定する構成とされる。また、前記第２ステップが、観察領域の輝度時間変化値に応じて観察領域時間変化データを計算する構成とされる。

また、本発明は、第２の態様として、本発明によるコンピュータ読み取り可能なプログラムが、人体の動作が撮影されている動画像データを時間的に分割する処理をコンピュータにより実行させるコンピュータ読み取り可能なプログラムであって、動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する第１ステップと、前記第１ステップにより指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する第２ステップと、前記第２ステップにより計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する第３ステップと、前記第３ステップにより計算される観察領域間相関データに基づいて動画像データの分節時点を判定する第４ステップとの処理をコンピュータにより実行させる。

この場合に、前記第１ステップが、動画像画面に投影される鉛直方向に応じて観察領域を指定する構成とされる。また、前記第１ステップが、動画像画面の画素の輝度に応じて観察領域を指定する構成とされる。また、前記第２ステップが、観察領域の輝度時間変化値に応じて観察領域時間変化データを計算する構成とされる。

本発明は、第３の態様として、本発明による動画像データ時間分割処理装置が、人体の動作が撮影されている動画像データを時間的に分割する処理を行う動画像データ時間分割処理装置であって、動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する観察領域指定手段と、前記観察領域指定手段により指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する観察領域時間変化データ計算手段と、前記観察領域時間変化データ計算手段により計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する観察領域間相関データ計算手段と、前記観察領域間相関データ計算手段により計算される観察領域間相関データに基づいて動画像データの分節時点を判定する動画像データ分節時点判定手段とを有する構成とするものである。この場合に、前記観察領域指定手段が、動画像画面に投影される鉛直方向に応じて観察領域を指定する構成とされる。また、動画像画面の画素の輝度に応じて観察領域を指定する構成とされる。また、前記観察領域時間変化データ計算手段が、観察領域の輝度時間変化値に基づいて観察領域時間変化データを計算するような構成とされる。

このような構成によれば、第１ステップにおいて、動画像の画面中において、複数の観察領域を指定する。これにより、相関を算出するために必要である動作物体を撮影した複数の領域を指定できる。第２ステップでは、前記第１ステップにより指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する。例えば、観察領域に対して動画像からオプティカルフローを計算し、計算したオプティカルフローの光学的特徴に基づいて観察領域時間変化データを計算する。オプティカルフローは動画像から計算可能な値であって、なおかつ観察領域に撮影された動作物体の動作に強く依存する値である。したがって、これらの値に基づいて算定される観察領域時間変化データは、動作物体の動作を反映した値になる。

第３ステップでは、複数の観察領域の観察領域時間変化データについて、それらの間に存在する相関係数に応じて観察領域間相関データを計算する。各観察領域の観察領域時間変化データは、その観察領域に撮影された動作物体の動作を反映するものである。したがって、複数の観察領域の観察領域時間変化データの相関係数は、動作物体の複数の部位の動作の間に存在する相関関係を表すことになる。この相関係数に応じて、計算される観察領域間相関データも、同様に動作物体の複数部位の動作の相関関係を表すものとなる。

第４ステップでは、観察領域時間変化データに応じて動画像分節時点を判定する。動作の時間的まとまりは、特に人間や動物の身体動作の場合、複数部位の動作の間に存在する相関状態に強く反映する。観察領域時間変化データはこの相関状態を意味する値のデータであるから、この値の大小や微分値などに応じて、動画像の時間分節時点を判定する。

また、第１ステップにおいて、観察領域の指定を動画像画面に投影される鉛直方向に応じて行えるようにもできる。人間は鉛直方向に平行に直立することが多い。したがって、動画像における人体は、動画像画面に投影される鉛直方向と平行な向きに長軸を持つ領域に撮影されることが多いと期待できる。よって、鉛直方向を考慮することで、人体を効率よく抜き出す形状に、観察領域を指定できる。

また、第１ステップにおいて、観察領域の指定を動画像画面の画素の輝度に応じて行えるようにもできる。屋外で撮影する場合において、人体は影を伴うことが多い。影は人体形状に依存した形状を持ち、これを利用することは、人体の運動に関する情報を多く利用することになる。さらに、影の領域は、他の領域に比べ輝度がかなり小さく、安定して認識できる。よって、輝度を考慮することで、人体の影を効率よく抜き出す形状に、観察領域を指定できる。

本発明による動画像データ時間分割処理装置においては、観察領域指定手段が、動画像の少なくとも２つ以上の領域を動画像データに基づいて指定し、観察領域時間変化データ計算手段は、前記観察領域指定手段により指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する。例えば、観察領域に対して動画像からオプティカルフローを計算し、計算したオプティカルフローの光学的特徴に基づいて観察領域時間変化データを計算する。観察領域間相関データ計算手段は、前記観察領域時間変化データ計算手段により計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算し、動画像データ分節時点判定手段は、少なくとも１つの時点における観察領域間相関データに基づいて動画像分節時点を判定する。これにより、例えば人間行動を撮影した動画像データの光学的データを基にして、人間行動のまとまりに応じて適切になるように人体動作の時間的分節時点を検知することができる。

以下、本発明を実施する場合の一形態について説明する。図１は、本発明の一実施例の動画像データ時間分割処理装置のシステム構成を説明するブロック図である。このブロック図においてブロックのシステム要素が、本発明による情報処理の流れを示すものとなっている。図１において、１１は動画像獲得記憶処理部、１２は観察領域指定処理部、１３は観察領域時間変化データ計算処理部、１４は観察領域間相関データ計算処理部、１５は動画像データ分節時点判定処理部である。

動画像データ時間分割処理装置を構成するシステム要素の動作の概要を説明すると、動画像獲得記憶処理部１１が、動画像データを獲得して記憶しているので、観察領域指定処理部１２が、動画像の少なくとも２つ以上の領域を動画像データに基づいて指定する。観察領域時間変化データ計算処理部１３は、観察領域指定処理部１２により指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する。例えば、後述するように、観察領域に対して動画像からオプティカルフローを計算し、計算したオプティカルフローの光学的特徴に基づいて観察領域時間変化データを計算する。観察領域間相関データ計算処理部１４が、ここでの観察領域時間変化データ計算処理部１３により計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する。そして、動画像データ分節時点判定処理部１５が、少なくとも１つの時点における観察領域間相関データに基づいて動画像分節時点を判定する。

このような処理を行うことにより、例えば人間行動を撮影した動画像データにおける光学的データを基にして、例えば人間行動のまとまりに応じて適切になるように人体動作の時間的分節時点を検知することができる。

次にシステム要素について個別に説明する。まず、動画像獲得記憶処理部１１について説明すると、分析の対象である動画像データは、動画像獲得記憶処理部１１からシステムに供給される。この動画像獲得記憶処理部１１は、例えば、ビデオカメラが用いられ、人間行動を撮影して動画像データとする。または、動画像データが記憶されたコンピュータのファイルシステムが用いられても良い。動画像データとしては人間行動が含まれていることに特徴がある。

観察領域指定処理部１２は、動画像の画面内における観察領域を指定する信号を生成して、観察領域時間変化データ計算処理部１３へ送出する。観察領域指定は、動画像に応じて自動的に行う方式と、または、操作者の指定によって行う方式があるが、ここでは、自動的に行う方式を用いるものとして説明する。

観察領域としては、観察対象である人間動作や動作物体を過不足無く包含する領域であることが望ましい。つまり、動画像の変化領域を効率よく包含する観察領域が望ましい。動画像の変化領域を検出する方法は、従来から開発されている様々な方法を用いることができる。例えば、画像認識工学で用いられている代表的な方法には、次の３種類があり、これらを用いることができる。第１の方法は、背景差分法であり、第２の方法は、動画像時間差分法である。第３の方法は、オプティカルフローに基づいて動画像の変化領域を検出する方法である。これらの方法について説明する。

第１の方法である背景差分法は、初期状態の画面画像と各時点の画面画像との差分に注目して、動画像の変化領域を検出する方法である。図２から図５を参照して説明する。図２は情報処理の対象となる動画像の非移動物体のみによって構成される場面の静止画の例の説明図であり、図３は情報処理の対象となる動画像の１つの場面の静止画の例の説明図である。また、図４は背景差分法によって、抜き出された移動物体の領域の検知の例の説明図であり、図５は観察領域の原型の指定結果の説明図である。

初期状態の動画像の画面画像を図２に示しており、現時点での動画像の画面画像を図３に示している。図２および図３の画像に対して変化領域が検出された場合、図４に示すように、初期状態と現時点の画像で異なる領域（変化領域）が黒で示される。観察領域指定処理部１２は、観察領域として変化領域を過不足無く包含するような長方形を、観察領域の原型と指定する。例えば、図４に示すように、長方形の領域を観察領域として指定することになる。この領域の指定は、長方形以外の形状の領域であってもよいが、長方形の形状として領域を指定するのは、長方形の形状の指定は、数学的に簡単であり、後の情報処理を簡便に行える利点がある。

これにより、動画像の画面画像において、図５に示すように、人体や移動物体の存在部分を効率的に包含する観察領域を設定できる。

第２の方法の動画像時間差分法は、動画像の各画素の輝度値の時間差分に基づいて、動画像の変化領域を検出する方法である。図６は、動画像時間差分によって、抜き出された移動物体の領域の検知の例の説明図である。

動画像時間差分法を用いると、図６に示すように、変化領域が検出できる。図６では、動画像において、輝度値が前フレームより減少した画素が黒で示されており、このようにして変化領域を検出することができる。観察領域指定処理部１２は、例えば、動画像時間差分法を用いる場合、これらの画像を過不足無く包含するように、長方形の観察領域の原型を設定することができる。

観察領域指定処理部１２は、次に説明する第３の方法を用いることによっても、変化する画像を過不足無く包含するように、長方形の観察領域の原型を設定することができる。第３の方法は、オプティカルフローに基づいて、動画像の変化領域を検出する方法である。オプティカルフローは、動画像に撮影されている物体や模様の撮影位置の移動を意味する。オプティカルフローを動画像データから計算によって求める方法は、例えば、特許文献５に説明されている方法を用いることができる。

図７は、動画像のある時刻におけるオプティカルフローの説明図である。動画像のある時点でのオプティカルフローベクトルが検出された場合には、図７に示すように、オプティカルフローベクトルに基づいて、変化する画像を過不足無く包含するように、長方形の観察領域の原型を設定することができる。この場合に、観察領域指定処理部１２は、閾値よりオプティカルフローベクトルの長さが大きいものを、過不足無く包含する長方形を、観察領域の原型として指定する。

以上の３種類の方法によって、観察領域の原型が指定できるが、さらに、この３種類の方法に追加的に適用することで、より効率的に人体領域を観察領域の原型に包含できるように構成することもできる。これは、鉛直方向に関する情報を用いる方法である。

図８を参照して説明する。図８は、鉛直方向と観察領域の原型の設定法に関する説明図である。動画像の画面において、重力の方向は既知であることが多い。また、図８に示すように、人間は鉛直方向に対して平行に起立する傾向がある。したがって、観察領域の原型の幾何学的慣性主軸の長軸を、図８のように、鉛直方向に対して平行になるように設定すれば、効率よく人体の領域を観察領域の原型に含められる。

観察領域の原型は、一度指定された後は位置を固定して指定する方法と、上記の３種類の方法に基づいて、随時、位置と形状を更新して指定する方法がある。

本発明においては、観察領域として複数の領域を用いる。観察領域の原型が単一の領域の場合、これを複数の観察領域に分割する。この方法について説明する。例えば、本発明において複数の観察領域を用いる場合に、観察領域の原型が、１領域である場合は、これを分割し、その断片を複数の観察領域とする。

観察領域の分割の態様は様々考えられるが、効率的な領域分割の方法の基本的な４つの例について説明する。観察領域の原型が、例えば、図８の枠で示した領域に指定されたとする。

第１の方法は、観察領域の原型を上下で２分割して、断片をそれぞれ観察領域とする方法である。図９は、その分割を図示する説明図である。人体の動作は、上半身と下半身とで分割して制御されることが多い。この方法は、上下半身の身体制御の相関関係を観測する用途に適する。

第２の方法は、観察領域の原型を左右で２分割して、断片をそれぞれ観察領域とする方法である。図１０は、その分割を図示する説明図である。人体の動作は、左半身と右半身とで分割して制御されることも多い。この方法は、左右半身の身体制御の相関関係を観測する用途に適する。

第３の方法は、観察領域の原型を上下左右で４分割して、断片をそれぞれ観察領域とする方法である。図１１は、その分割を図示する説明図である。この方法は、上下半身の身体制御と、左右半身の身体制御の相関関係を同時に観測できるので、より効率的である。

上述した上下分割や左右分割は、長さに関する等分割で行ってよい。また、図４に示すように、人体の領域が検出されて判明している場合は、より効果的な分割方法が利用できる。それは、人体領域の分布の重心や中央値を通るように分割線を設定する方法である。例えば、図１２に例示するように、人体領域の重心を通るように上下左右４分割することもできる。

第４の方法は、観察領域の原型を輝度値に応じて２分割して、断片をそれぞれ観察領域とする方法である。日中の屋外における人体を撮影した場合、その映像には人体の影も撮影されることが多い。図１３は、人体とその影の画像の分布例を示す説明図である。影の領域も、人体の動作に応じて変形し変位するため、背景差分法、動画像時間差分法、オプティカルフローを用いる方法などで検出できる。また、一般に影の領域は、他の領域と比較して、輝度が少ない。したがって、観察領域の原型に於いて、輝度の高い領域を包含する長方形と、輝度の低い領域を包含する長方形を、輝度情報に基づいて計算によって定めることができる。図１３の枠は、その長方形を図示している。以上の処理を行うことで、人体の影の変形の情報を利用できる。

もちろん、この４つの方法以外にも、多様な分割方法がある。分割数は、２以上の任意の数値としてもよい。前述したように、観察領域の形状は、一般に任意の形状でもよい。また、複数の人体が撮影された動画像の場合は、一つの人体を全て包含する観察領域を設定してもよい。

上記のような処理を行い、観察領域指定処理部１２は、観察領域の位置と領域を記述する信号（データ）を作製して、観察領域時間変化データ計算処理部１３に送出する。この観察領域指定処理部１２が作製した信号（データ）は、観察領域の境界点の座標データ、あるいは境界線の方程式、あるいは領域の陰関数表現（ポテンシャル関数表現）などが利用できる。

観察領域には固有の番号が割り振られる。図１４は、２つの観察領域を指定した場合の領域番号を説明する図である。図１５は、３つの観察領域を指定した場合の領域番号を説明する図である。また、図１６は、４つの観察領域を指定した場合の領域番号を説明する図である。観察領域指定処理部１２は、例えば計算機とソフトウエアの処理モジュールによって実現される。

観察領域時間変化データ計算処理部１３について説明すると、観察領域時間変化データ計算処理部１３には、動画像獲得記憶処理部１１から動画像のデータが供給され、観察領域指定処理部１２からは観察領域の位置と形状を指定するデータを受け取る。受け取ったデータに基づいて観察領域時間変化データ計算処理部１３は、それぞれの観察領域について、オプティカルフローに関する光学的特徴量を計算し、その結果を観察領域時間変化データとして生成する。または、輝度の時間変化値を計算して観察領域時間変化データとして生成する。

観察領域時間変化データは、画素の輝度値から計算可能な値ならば、任意の定義が可能である。しかし、観察領域内に撮影された移動物体の運動を鋭敏に反映する値である方が望ましい。具体的には、以下の値を採用すると、計算効率が高く、動画像の時間分割の目的にも適している。

輝度に関する光学的特徴量として、観察領域内の全画素の平均輝度の時間差分値、輝度中央値の時間差分値、輝度の時間変化のスペクトラム、輝度の空間変化値の時間差分値、輝度の空間変化のスペクトラムの時間差分値、輝度の高次局所自己相関係数の時間差分値、カラースペクトラムの時間差分値などを用いることができる。

オプティカルフローに関する光学的特徴量として、観察領域内の全画素のオプティカルフロー、オプティカルフローの時間変化値、およびその周波数分析値などを利用することができる。観察領域時間変化データ計算処理部１３は、各観察領域について各時刻における少なくとも１つの特徴量を、観察領域時間変化データの要素として用いる。すなわち、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域時間変化データの要素として用いて観察領域時間変化データを計算する。特徴量の定義が、観察領域によって異なっていてもよい。観察領域時間変化データは、各観察領域における特徴量をまとめて、観察領域時間変化データとして編集する。

図１４に示すように、２つの観察領域の分析の場合、ある時刻tにおける観察領域時間変化データは、次の（１）式に示すベクトルの形態となる。ここで、ｄ１（ｔ）とｄ２（ｔ）は、時刻ｔにおける、観察領域１番と２番の観察領域における上述した光学的特徴量の値ないしそのベクトルである。

また、図１６に示すように、４つの観察領域の分析をするために、光学的特徴量として各観察領域のオプティカルフローを用いる場合、そのオプティカルフローは、図１７に示すように、ベクトルによって与えられる。この場合の観察領域時間変化データは、次の（２）式に示す形態となる。ここでＦｘ１とＦｙ１は、観察領域１番におけるオプティカルフローベクトルのｘ成分とｙ成分の値である。

観察領域時間変化データ計算処理部１３は、例えば計算機とソフトウエアの処理モジュールによって実現される。観察領域時間変化データ計算処理部１３により計算処理が行われた出力データは、観察領域間相関データ計算処理部１４に送出される。

観察領域間相関データ計算処理部１４においては、次に説明するような処理を行う。つまり、観察領域間相関データ計算処理部１４は、観察領域時間変化データ計算処理部１３から、その計算処理結果の観察領域時間変化データを受け取る。観察時間範囲内の全時刻の観察領域時間変化データは一括して受信してもよいし、逐次的に各時刻の観察領域時間変化データを受信してもよい。

観察領域間相関データ計算処理部１４は、観察領域時間変化データの要素の中から異なる２つの観察領域に関するデータの間に存在する相関係数（観察領域間相関係数）に応じて算定される観察領域間相関データを計算する。観察領域間相関データは、観察領域間相関係数に対して、値の増減変化を一致するものが、分析の目的に適する。しかし、多少の不一致は許容される。

観察領域間相関データの定義は、さまざま考えられる。計算が簡便で、動画像分割の目的にも適する定義の代表的な３つの例を説明する。

第１の方法は、観察領域時間変化データの間の相関係数を観察領域間相関データとする定義である。相関係数は、積率相関係数や順位相関係数などが利用できる。

観察領域時間変化データの間の積率相関係数は、次の通り計算できる。観察領域時間変化データが、（３）式のとおり、ｎ次元のベクトルである場合で説明する。

ここでは観察領域時間変化データのうち、観察領域k番に由来する要素が、添え字のｐからｐ＋ｓまでであるとする。同様に、観察領域l番に由来する要素が、添え字のｑからｑ＋ｓまでであるとする。すなわち、（４）式のとおりの構造が観察領域時間変化データに存在するとする。

また、（５）式のとおり、時刻ｔにおける観察領域ｋ番の時間変化データの平均値を定義する。

また、（６）式のとおり、時刻ｔにおける観察領域ｌ番の時間変化データの平均値を定義する。

これにより、（７）式のとおり、統計学にしたがって、積率相関係数が計算できる。

第２の方法は、観察領域時間変化データの間のベクトル内積を観察領域間相関データとする定義である。例えば、（４）式に定義された観察領域時間変化データの、観察領域ｋ番とｌ番の間の相関データとして、（８）式に定義する値を用いるようにしてもよい。

第３の方法は、第２の方法に計算した観察領域時間変化データの間のベクトル内積を正規化する方法である。次の（９）式のとおり定義できる。

この３つの方法による結果を、和や積によって組み合わせた値を、観察領域間相関データとして用いてよい。観察領域間相関データは、異なる２つの観察領域の組み合わせの全てについて、観察領域に属する観察領域時間変化データの要素の個数が一致していれば、観察領域時間変化データの計算が可能である。要素の個数が一致しない場合は、要素数の多い方の要素を削除して、要素数を一致されることで、計算は可能となる。

観察領域の組み合わせの選択は、全ての組み合わせについて行うこともできる。または、特定の組み合わせのみを選択してもよい。観察領域間相関データ計算処理部１４は、計算するべき全ての組み合わせについて観察領域間相関データを計算し、これらをまとめて、観察領域間相関データの結果とする。この結果、（１０）式に示すとおりの行列のデータが得られる。

観察領域間相関データ計算処理部１４は、観察領域間相関データの計算結果を、動画像データ分節時点判定処理部１５に送出するか、または、動画像データ分節時点判定処理部１５が参照可能な記憶処理部に記憶させる。この観察領域間相関データ計算処理部１４は、例えば計算機とソフトウエアの処理モジュールによって実現される。

観察領域間相関データ計算処理部１４により計算処理された出力データは、動画像データ分節時点判定処理部１５に送出される。動画像データ分節時点判定処理部１５は、観察領域間相関データ計算処理部１４から観察領域間相関データを取得して判定処理を行う。この場合に、観察時間範囲内の全ての観察領域間相関データを一括して受け取ってもよいし、逐次的に各時刻で計算が終了した観察領域間相関データを受け取ってもよい。

動画像分節時点の判定は、観察領域間相関データの値に基づいて行われる。代表的な判定方法の例を説明すると、この判定の原理は、以下のように行われる。

観察領域間相関データの行列は動作の特徴を表す値となる。したがって、異なる２つの時刻について、観察領域間相関データの行列を比較した場合、類似性が低ければ、二つの時刻における動作も類似度が低いと推定できる。このように類似性の低い動画像フレームは、別の動画像の分節に分類されるべきである。したがって、動画像データ分節時点判定処理部１５は、観察領域間相関データの相関の極小値を検知して、分節時点を定めることが望ましい。

具体的な判定アルゴリズムについて説明する。ある時刻ｔ１とｔ２において、それぞれの観察領域間相関データの類似度を、次の（１１）式のとおり計算する。（１１）式において（Ｃ（ｔ））_ｉｊは、行列Ｃ（ｔ）のｉ行ｊ列成分である。

次に、ある時刻ｔについて、その直前の時刻との観察領域間相関データは、（１２）式のとおり、与えられる。ここでΔｔは、動画像の１フレーム間の時間幅である。

また、（１３）式に示すとおり、より大きな時間幅について、観察領域間相関データを考慮することも可能である。これは、観察領域間相関データにローパスフィルターを施す作用があり、動画像のノイズに対する堅牢性を向上させる。

動画像データ分節時点判定処理部１５は、（１２）式または（１３）式により定義された値Ａ(t)に基づいて、分節時刻の判定を行う。例えば、Ａ（ｔ）のｔに関する極小値を与える時刻を分節時刻と判定する方法がある。以上の情報処理から、動画像データ分節時点判定処理部１５は、動画像分節時点を判定し、その時刻を記述するデータを生成する。動画像データ分節時点判定処理部１５は、例えば計算機とソフトウエアの処理モジュールにより実現される。

このような情報処理を行うことにより、例えば、人間の身体動作を撮影したビデオカメラにより撮影された動画像データを人間の身体動作に基づいて時間的に分割するという目的を、最小の部品点数で実現できる。

本発明による動画像時間分割処理方法および装置は、例えば、ビデオカメラの動画像の時間分割処理に適用でき、ビデオ動画情報の加工の用途にも適用できる。例えば、本発明の動画像時間分割処理方法により分割されたビデオ分節の先頭は、ビデオデータ圧縮のキーフレームに適するゆえ、ビデオデータの圧縮の用途にも用いることができる。また、ビデオ分節から１枚の静止画像を抜き出すことにより、動画像を紙芝居状の静止画の列に要約できる。

また、本発明の動画像時間分割処理方法および装置は、映像による人間行動の観察と分析の用途にも適用できる。本発明によると、人間の動作を撮影した動画像の時間分割処理を行うことができ、防犯カメラの撮影した動画像データの分割に適用すれば、人間の動作を、行動の内容に即して、適切に時間的に分割できる。不審者の行動は、通常の人間とは異なる行動を示すと考えられるので、不審者の行動を撮影した動画像の場合、不審者特有の特殊な分節結果が得られ、不審者の検知に役立つ。

本発明の一実施例の動画像データ時間分割処理装置のシステム構成を説明するブロック図である。 情報処理の対象となる動画像の非移動物体のみによって構成される場面の静止画の例の説明図である。 情報処理の対象となる動画像の１つの場面の静止画の例の説明図である。 背景差分法によって抜き出された移動物体の領域の検知の例の説明図である。 観察領域の原型の指定結果の説明図である。 動画像時間差分によって抜き出された移動物体の領域の検知の例の説明図である。 動画像のある時刻におけるオプティカルフローの説明図である。 鉛直方向と観察領域の原型の設定法に関する説明図である。 観察領域の原型の上下分割の説明図である。 観察領域の原型の左右分割の説明図である。 観察領域の原型の上下左右分割の説明図である。 観察領域の原型の上下左右不等分割の説明図である。 輝度に基づく、観察領域の指定法に関する説明図である。 上下２分割された観察領域の番号付けの説明図である。 上下３分割された観察領域の番号付けの説明図である。 上下左右４分割された観察領域の番号付けの説明図である。 上下左右４分割された観察領域の各観察領域内のオプティカルフローの説明図である。

符号の説明

１１ 動画像獲得記憶処理部
１２ 観察領域指定処理部
１３ 観察領域時間変化データ計算処理部
１４ 観察領域間相関データ計算処理部
１５ 動画像データ分節時点判定処理部

Claims (9)

1. 人体の動作が撮影されている動画像データを時間的に分割する処理をコンピュータにより実行させる動画像データ時間分割処理方法であって、
   動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する第１ステップと、
   前記第１ステップにより指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する第２ステップと、
   前記第２ステップにより計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する第３ステップと、
   前記第３ステップにより計算される観察領域間相関データに基づいて動画像データの分節時点を判定する第４ステップと
   の処理をコンピュータにより実行させる動画像データ時間分割処理方法において、
   前記第１ステップが、動画像画面に投影される鉛直方向に応じて観察領域を指定する
   ことを特徴とする動画像データ時間分割処理方法。
2. 人体の動作が撮影されている動画像データを時間的に分割する処理をコンピュータにより実行させる動画像データ時間分割処理方法であって、
   動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する第１ステップと、
   前記第１ステップにより指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する第２ステップと、
   前記第２ステップにより計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する第３ステップと、
   前記第３ステップにより計算される観察領域間相関データに基づいて動画像データの分節時点を判定する第４ステップと
   の処理をコンピュータにより実行させる動画像データ時間分割処理方法において、
   前記第１ステップが、動画像画面の画素の輝度に応じて観察領域を指定する
   ことを特徴とする動画像データ時間分割処理方法。
3. 人体の動作が撮影されている動画像データを時間的に分割する処理をコンピュータにより実行させる動画像データ時間分割処理方法であって、
   動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する第１ステップと、
   前記第１ステップにより指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する第２ステップと、
   前記第２ステップにより計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する第３ステップと、
   前記第３ステップにより計算される観察領域間相関データに基づいて動画像データの分節時点を判定する第４ステップと
   の処理をコンピュータにより実行させる動画像データ時間分割処理方法において、
   前記第２ステップが、観察領域の輝度時間変化値に基づいて観察領域時間変化データを計算する
   ことを特徴とする動画像データ時間分割処理方法。
4. 人体の動作が撮影されている動画像データを時間的に分割する処理をコンピュータにより実行させるコンピュータ読み取り可能なプログラムであって、
   動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する第１ステップと、
   前記第１ステップにより指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する第２ステップと、
   前記第２ステップにより計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する第３ステップと、
   前記第３ステップにより計算される観察領域間相関データに基づいて動画像データの分節時点を判定する第４ステップと
   の処理をコンピュータにより実行させるコンピュータ読み取り可能なプログラムにおいて、
   前記第１ステップが、動画像画面に投影される鉛直方向に応じて観察領域を指定する
   ことを特徴とするコンピュータ読み取り可能なプログラム。
5. 人体の動作が撮影されている動画像データを時間的に分割する処理をコンピュータにより実行させるコンピュータ読み取り可能なプログラムであって、
   動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する第１ステップと、
   前記第１ステップにより指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する第２ステップと、
   前記第２ステップにより計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する第３ステップと、
   前記第３ステップにより計算される観察領域間相関データに基づいて動画像データの分節時点を判定する第４ステップと
   の処理をコンピュータにより実行させるコンピュータ読み取り可能なプログラムにおいて、
   前記第１ステップが、動画像画面の画素の輝度に応じて観察領域を指定する
   ことを特徴とするコンピュータ読み取り可能なプログラム。
6. 人体の動作が撮影されている動画像データを時間的に分割する処理をコンピュータにより実行させるコンピュータ読み取り可能なプログラムであって、
   動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する第１ステップと、
   前記第１ステップにより指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する第２ステップと、
   前記第２ステップにより計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する第３ステップと、
   前記第３ステップにより計算される観察領域間相関データに基づいて動画像データの分節時点を判定する第４ステップと
   の処理をコンピュータにより実行させるコンピュータ読み取り可能なプログラムにおいて、
   前記第２ステップが、観察領域の輝度時間変化値に基づいて観察領域時間変化データを計算する
   ことを特徴とするコンピュータ読み取り可能なプログラム。
7. 人体の動作が撮影されている動画像データを時間的に分割する処理を行う動画像データ時間分割処理装置であって、
   動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する観察領域指定手段と、
   前記観察領域指定手段により指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する観察領域時間変化データ計算手段と、
   前記観察領域時間変化データ計算手段により計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する観察領域間相関データ計算手段と、
   前記観察領域間相関データ計算手段により計算される観察領域間相関データに基づいて動画像データの分節時点を判定する動画像データ分節時点判定手段と
   を有する動画像データ時間分割処理装置において、
   前記観察領域指定手段が、動画像画面に投影される鉛直方向に応じて観察領域を指定する
   ことを特徴とする動画像データ時間分割処理装置。
8. 人体の動作が撮影されている動画像データを時間的に分割する処理を行う動画像データ時間分割処理装置であって、
   動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する観察領域指定手段と、
   前記観察領域指定手段により指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する観察領域時間変化データ計算手段と、
   前記観察領域時間変化データ計算手段により計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する観察領域間相関データ計算手段と、
   前記観察領域間相関データ計算手段により計算される観察領域間相関データに基づいて動画像データの分節時点を判定する動画像データ分節時点判定手段と
   を有する動画像データ時間分割処理装置において、
   前記観察領域指定手段が、動画像画面の画素の輝度に応じて観察領域を指定する
   ことを特徴とする動画像データ時間分割処理装置。
9. 人体の動作が撮影されている動画像データを時間的に分割する処理を行う動画像データ時間分割処理装置であって、
   動画像の少なくとも２つ以上の領域を観察領域として動画像データに基づいて指定する観察領域指定手段と、
   前記観察領域指定手段により指定された観察領域に対して、各観察領域について動画像データの少なくとも２つの時刻における画像データに基づいて計算される少なくとも１つの特徴量を観察領域変化データの要素として用いて観察領域時間変化データを計算する観察領域時間変化データ計算手段と、
   前記観察領域時間変化データ計算手段により計算される観察領域時間変化データの複数領域間における相関係数に応じて観察領域間相関データを計算する観察領域間相関データ計算手段と、
   前記観察領域間相関データ計算手段により計算される観察領域間相関データに基づいて動画像データの分節時点を判定する動画像データ分節時点判定手段と
   を有する動画像データ時間分割処理装置において、
   前記観察領域時間変化データ計算手段が、観察領域の輝度時間変化値に基づいて観察領域時間変化データを計算する
   ことを特徴とする動画像データ時間分割処理装置。

Images