JP2013016171A - 人体動作周期の特定と人体動作の認識の方法、装置、及びプログラム - Google Patents

Abstract

【課題】
ビデオにおける人体動作周期を特定し、人体動作を特定すること。
【解決手段】
本発明は、人体動作周期を特定し、及び人体動作を認識する方法及び装置を提供する。前記ビデオにおける人体動作周期を特定する方法は、探索範囲内の各フレームの人体領域を複数の人体部分に区分する処理と、現在のフレームにおける各人体部分の局所動作周期を特定する処理と、前記局所動作周期に基づいて現在のフレームにおける人体動作周期を特定する処理とを含む。異なる動作や異なる個体に対して適応して人体動作周期を特定することによって、時間的・空間的特徴をより正確に抽出することができ、より正確な人体動作認識を実現することができる。
【選択図】図１

Description

本発明は、人体動作のコンピュータ認識に関する。

人体動作認識技術は、広く応用されており、益々注目されている。当該技術を用いて、ビデオから人々に注目される動作を迅速に検出することができる。人体動作認識技術はビデオモニター（銀行、病院、工場などの環境）やヒューマンコンピュータインタラクション（仮想ゲームなどのシーン）やスポーツの教則などの分野に応用可能である。

人体動作認識技術について、現在、種々の実現方法が提案されており、そのうちの時間的・空間的特徴に基づく実現方法は盛んに研究されており、しかも有効な方法である。この種類の方法において、時間的・空間的特徴によって現在のフレーム及び隣接する複数のフレームの情報を示し、その後、時間的・空間的特徴を利用して人体動作の認識を実現する。時間的・空間的特徴を抽出する処理においては、すべての動画ビデオに対して同一長さの人体動作周期を設定する。

しかしながら、動作や個体には差異があるため、時間的・空間的特徴により実現された人体動作の認識率を高めることが必要とされる。このため、時間的・空間的特徴を抽出し、より正確な人体動作認識が実現できるよう、異なる動作や異なる個体に対して、適合した人体動作周期を特定可能とする技術の発展が望まれている。

本発明に関する幾つかの局面に対する基本的な理解を提供するために、以下に、本発明に関する簡単な概要が示される。この概要は、本発明についての網羅的な概要ではないことを理解すべきである。したがって、概要は、本発明のキーポイントまたは重要部分を特定することを意図せず、本発明の技術的範囲を限定することも意図するものではない。この概要の記載の目的は、単に簡単化した形式で幾つかの概念を提供し、後述のより詳しい説明の導入を提供することにある。

実施例は、ビデオにおける人体動作周期を特定し、ビデオにおける人体動作を特定する方法、装置、及びプログラムを提供することを目的とする。

上記の目的を実現するために、本発明の一側面は、ビデオにおける人体動作周期を特定する方法を提供し、当該方法は、探索範囲内の各フレームの人体領域を複数の人体部分に区分する処理と、現在のフレームにおける各人体部分の局所動作周期を特定する処理と、前記局所動作周期に基づいて現在のフレームにおける人体動作周期を特定する処理とを含む。

本発明の一局面によれば、ビデオにおける人体動作を認識する方法を提供し、当該方法は、前記方法に基づいてビデオにおける人体動作周期を特定する処理と、前記人体動作周期に基づいて時間的・空間的特徴を抽出してビデオにおける人体動作を認識する処理とを含む。

以下に、図面を参照しながら本発明の実施例を詳細に説明する。

本発明は、以下の図面を参照した説明によってより良い理解を得ることができる。なお、すべての図面において同一または類似の符号は、同一または類似する要素を示す。図面は以下の詳細な説明とともに本明細書に含まれ、本明細書の一部が形成され、そして、本発明の好適な実施例をさらに例示することや本発明の原理とメリットとを説明するために用いられる。

本発明の一実施例によるビデオにおける人体動作周期を特定する方法を示すフローチャートである。

本発明の一実施例によるフレームにおける人体領域を複数の人体部分に区分する処理を示すフローチャートである。

本発明の一実施例による局所動作周期を特定するフローチャートである。

本発明の一実施例によるビデオにおける人体動作を認識する方法を示すフローチャートである。

本発明の一実施例によるビデオにおける人体動作周期を特定する装置を示すブロック図である。

本発明の一実施例による人体部分区分部を示すブロック図である。

本発明の一実施例による局所動作周期特定部を示すブロック図である。

本発明の一実施例によるビデオにおける人体動作を認識する装置を示すブロック図である。

本発明の実施例による方法及び／または装置を実現可能な汎用パーソナルコンピュータの例示的な構造を示すブロック図である。

以下に、図面を参照しながら本発明の実施例を説明する。説明を明瞭にし、かつ簡単にするために、明細書においては、実際の実施形態のすべての特徴を説明するわけではない。しかしながら、実際の実施例の開発過程において、開発者の具体的な目標を達成できるよう、実施形態において特定される決定事項が数多く存在し得る。例えば、システム及び業務に関する制限条件が設定された場合、これらの制限条件は、実施形態によって変更される可能性があることを理解すべきである。また、開発作業は、通常非常に複雑且つ時間がかかるものであるが、本開示内容に係る当業者にとっては、このような開発作業は、通常行われる業務の範囲であることをさらに理解すべきである。

ここで、さらに、不必要な細部の説明で本発明が不明瞭になってしまうことを防止するために、図面においては、本発明に係る実施例に密接に関係する装置構造及び／または処理ステップのみが示され、本発明にあまり関係しない他の細部が省略されている点に留意すべきである。

図１は、本発明の一実施例によるビデオにおける人体動作周期を特定する方法のフローチャートを示す。

図１に示す人体動作周期を特定する方法は、人体動作の周期性によりビデオにおける人体動作周期を特定することができる。

具体的には、人体動作は一般的に周期性を有するものである。このため、動作周期が終了すると、人体の各部分のいずれも動作開始時の姿勢に戻る。従って、ビデオにおける人体の各部分の動作周期に基づいてビデオにおける人体動作周期を特定することができる。

図１に示すように、ステップＳ１０２において、ビデオにおける人体領域を区分して複数の人体部分を形成することができる。

具体的には、所定の探索範囲内の各フレームに対して人体領域を区分することができる。これにより、各フレームから複数の人体部分を取得することができる。

次に、ステップＳ１０４において、現在のフレームにおける、各人体部分の局所動作周期を特定することができる。

具体的には、現在のフレームにおける各人体部分の動きベクトルに基づいて前記各部分の局所動作周期を特定することができる。

次に、ステップＳ１０６において、現在のフレームにおける複数の人体部分の局所動作周期に基づいてビデオにおける、現在フレームの人体動作周期を特定することができる。

具体的には、現在のフレームにおける複数の人体部分の局所動作周期のうち最大の局所動作周期を、ビデオにおける現在のフレームの人体動作周期として特定することができる。

これにより、上記の人体動作周期性を利用した、人体部分に基づくビデオにおける人体動作周期の特定方法は、人体動作の周期性に基づいて、ビデオにおける人体動作周期を正確に特定することができる。

前記のビデオにおける人体動作周期を特定する方法において、異なる応用場面または異なるニーズに応じて異なる探索範囲を設けることができる。

本発明の一実施例において、前記探索範囲は、現在のフレームからの後の所定の第１の時間長さの時間帯におけるフレームであっても良い。なお、前記第１の時間長さは一つの人体動作を十分に含み得る時間の長さであり、経験値または具体的な応用場面により、前記第１の時間長さを合理的に設定することができる。

上述の探索範囲は、単に例示的なものであり、本発明を限定するものではない。その他の態様で探索範囲を設定してもよい。

本発明の他の一実施例において、前記探索範囲は、現在のフレームから前の所定の第２の時間長さの時間帯におけるフレームであっても良い。なお、前記第２の時間長さは、一つの人体動作を十分に含み得る時間の長さであり、経験値または具体的な応用場面により、前記第２の時間長さを合理的に設定することができる。

また、第２の時間長さは第１の時間長さと同一であってもよく、第１の時間長さと異なってもよい。

上記の方法において、フレームにおける人体領域を複数の人体部分に区分する処理は、各種の適切な技術手段によって実現可能である。

図２は、本発明の一実施例によるフレームにおける人体領域を複数の人体部分に区分する処理のフローチャートを示す。

図２に示すように、ステップＳ２０２において、フレームにおける人体領域の輪郭線を抽出することができる。

任意の既知のエッジ抽出方法を用いてフレームにおける人体領域の輪郭線を抽出することができる。

例えば、ｃａｎｎｙアルゴリズムを採用してフレームにおける人体領域の輪郭線を抽出することができる。

なお、ｃａｎｎｙアルゴリズムは、画像処理分野において慣用されているエッジ抽出方法である。ｃａｎｎｙアルゴリズムについての詳細は、ｃａｎｎｙ,Ｊ.により発表された、「Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ａｐｐｒｏａｃｈ Ｔｏ Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ」という文書（ＩＥＥＥ Ｔｒａｎｓ.Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ,８：６７９−７１４,１９８６を参照）を参照することができる。当該文書の内容のすべてはここで援用され、明細書を簡潔・明瞭にするために説明を省略する。

次に、ステップＳ２０４において、抽出した人体領域の輪郭線に基づいて輪郭線上の連結点を特定することができる。

なお、前記連結点は、輪郭線上で二つの異なる人体部分を連結したものであっても良い。例えば、腕と肢体の連結点などがある。

具体的には、輪郭線上で二つの異なる人体部分を連結した領域は、一般的に凹状の谷の形状を示す。このため、輪郭線上の連結点が凹状の谷の最低点に位置すべきであることが考えられる。従って、凹状の谷の最低点を特定することで連結点を特定することができる。

例えば、腕と肢体との連結箇所は輪郭線上で凹状の谷が現れる。当該凹状の谷の最低点は、特定しようとする連結点（即ち、腕と肢体とが接した連結点）である可能性が高い。

本発明の一実施例において、輪郭線上の各画素点の曲率を算出することで人体輪郭線上の連結点を特定することができる。

次に、ステップＳ２０６において、連結点に基づいて人体領域を複数の人体部分に分割することができる。

具体的には、連結点を特定した後に、人間特有の幾つかの情報（例えば、頭の形状は円形に近似し、四肢の形状は矩形に近似するなど）により、人体の分割を行うことができる。これにより、複数の人体部分を取得することができる。

上記の輪郭線上の連結点に基づいて人体を複数の人体部分に区分する具体的な技術の詳細については、ＲａｆａｅｌＣ.ＧｏｎｚａｌｅｚとＲｉｃｈａｒｄ Ｅ.Ｗｏｏｄｓにより創作された「デジタル画像処理」（電子工業出版社、２００２）を参照することができ、その内容のすべてはここで援用され、明細書を簡潔・明瞭にするために説明を省略する。

このように、図２に示す実施例により、フレームにおける人体領域を複数の人体部分に効率よく正確に区分することができる。

図２に示す実施例は、単に例示的なものである。本発明は、これに限定されない。例えば、その他の既知の人体区分方法（例えば、領域による方法等）を採用してフレームにおける人体領域を複数の人体部分に区分することもできる。

上記の方法において、人体を複数の人体部分に分割した後に、さらに、各人体部分の局所動作周期をそれぞれ特定することができる。

図３は、本発明の一実施例による、人体部分の局所動作周期を特定するフローチャートを示す。

図３に示すように、ステップＳ３０２において、人体部分の動きベクトルを算出することができる。

なお、前記動きベクトルは、人体部分の動き速度及び方向を示すパラメータであっても良い。

人体部分におけるすべてまたは一部の画素の動きに基づいて前記人体部分の動きベクトルを算出することができる。

本発明の一実施例において、人体部分における一部の画素の動きに基づいて、人体部分全体の動きベクトルを取得することができる。

例えば、前記人体部分が頭である場合に、まず特徴画素（例えば、目、鼻、口の位置に対応する画素）の動きに基づいて、これらの特徴画素の動きベクトルをそれぞれ算出することができる。

具体的には、特徴画素の二つの隣接しているフレーム（例えば、前のフレームまたは次のフレーム）の間での位置の差により、各特徴画素の動きベクトルを取得することができる。

その後に、人体部分の各特徴画素の動きベクトルの和を求めることにより、前記人体部分の動きベクトルを取得することができる。

上記例示的な説明において、一部の特徴画素に基づいて人体部分の動きベクトルを算出したが、本発明は、これに限定されず、その他の変形例を利用することができる。

例えば、本発明の他の実施例において、人体部分におけるすべての画素の動きベクトルを算出した後に、すべての動きベクトルの和を求めることにより、前記人体部分の動きベクトルを取得することもできる。

図３に戻り、次に、ステップＳ３０４において、人体部分の動きベクトルに基づいて探索範囲内で人体動作の動作終了フレームを探索することができる。

人体動作の動作終了フレームを探索できた場合に、ステップＳ３０６において、現在のフレームと動作終了フレームとの間の時間長さを、人体部分の局所動作周期として特定することができる。

また、探索範囲内で動作終了フレームを探索できなかった場合に、ステップＳ３０８において、所定の第３の時間長さを、前記人体部分の局所動作周期として特定することができる。

なお、前記第３の時間長さは、一つの完全の人体動作を十分に含み得る時間の長さであり、経験値または異なる応用場面に基づいて、前記第３の時間長さを合理的に設定することができる。

これにより、現在のフレームにおける人体部分毎の局所動作周期を特定することができる。

上記の実施例において、探索範囲内で人体部分の動作終了フレームを探索する処理は、前記の人体部分の動きベクトルにより実現することができる。

本発明の一実施例において、探索範囲内で、各フレームにおける前記人体部分の動きベクトルの、ベクトルの和をゼロに近似させるフレームを探索して人体部分の動作終了フレームを特定することができる。

具体的には、例えば、ビデオフレームシーケンスにおける人体動作周期をリアルタイムで特定する場合に、現在のフレームを起点とし、所定の探索範囲内で、前方向にフレームにおける人体部分の動きベクトルを順に累積することができる。

動きベクトルの累積値がゼロに近くなることが発見された場合（例えば、累積値が所定の第１の閾値よりも小さい時）、動きベクトルの累積値が第１の閾値より小さくなる時のフレームを、人体部分の動作終了フレームとして特定することができる。

なお、前記第１の閾値は、経験値または実際の応用場面に基づいて予め設定されたゼロに近い値である。

一方、所定の探索範囲内において、動きベクトルの累積値が第１の閾値より小さくなることが最後まで見いだせない場合には、前記所定の探索範囲内において前記動作終了フレームを探索できなかったと判定できる。

これにより、探索範囲内で人体部分の動作終了フレームを探索する処理を実現することができる。

上述のビデオフレームシーケンスにおける人体動作周期をリアルタイムに特定する場合（前へ順に探索する場合）を例に説明したが、以上の記載は、単に例示的なものである。本発明はこれに限定されない。

例えば、本発明の他の実施例において、例えば、既存のビデオに対して分析を行って、ビデオフレームシーケンスにおける人体動作周期を特定する場合に、現在のフレームを起点として、所定の探索範囲内で後ろ方向にフレームにおける人体部分の動きベクトルを順に累積して、人体部分の動作終了フレームを特定してもよい。

これにより、探索範囲内で人体部分の動作終了フレームを探索する処理を実現することもできる。

上記実施例における、ビデオにおける人体動作周期を特定する方法により、本発明は、ビデオにおける人体動作を認識する方法をさらに提供する。

図４は、本発明の一実施例によるビデオにおける人体動作を認識する方法のフローチャートを示す。

図４に示されるように、ステップＳ４０２において、ビデオにおける人体動作周期を特定することができる。

例えば、任意の上記実施例の方法を採用してビデオにおける人体動作周期を特定してもよい。

次に、ステップ４０４において、特定した人体動作周期に基づいて人体動作を認識することができる。

具体的には、特定した人体動作周期に基づいて時間的・空間的特徴を抽出し、時間的・空間的特徴に基づいて人体動作を認識することができる。

上記の人体動作認識方法において、異なる動作や異なる個体に適応した人体動作周期を特定する。これにより、時間的・空間的特徴をより正確に抽出することができ、より正確な人体動作認識を実現することができる。

上記の方法に対応し、本発明の実施例は、方法に対応する装置を同様に提供する。

図５は、本発明の一実施例によるビデオにおける人体動作周期を特定する装置のブロック図を示す。

図５に示されるように、ビデオにおける人体動作周期を特定する装置５００は、人体部分区分部５０２と、局部動作周期特定部５０４と、人体動作周期特定部５０６とを含んでも良い。

人体部分区分部５０２は、ビデオにおける人体領域を区分し、複数の人体部分を形成することができる。

具体的には、人体部分区分部５０２は、所定の探索範囲内の各フレームに対して人体領域の区分を行うことができる。これにより、各フレームから複数の人体部分を取得してもよい。

局部動作周期特定部５０４は、現在のフレームにおける各人体部分の局所動作周期を特定することができる。

具体的には、局部動作周期特定部５０４は、現在のフレームにおける各人体部分の動きベクトルに基づいて前記各部分の局所動作周期を特定することができる。

人体動作周期特定部５０６は、現在のフレームにおける複数の人体部分の局所動作周期に基づいて、ビデオにおける現在のフレームの人体動作周期を特定することができる。

具体的には、人体動作周期特定部５０６は、現在フレームにおける複数の人体部分の局所動作周期のうち最大の局所動作周期を、ビデオにおける現在のフレームの人体動作周期として特定することができる。

これにより、上記の人体動作周期性を利用した、人体部分に基づいてビデオにおける人体動作周期を特定する装置により、人体動作の周期性に基づいてビデオにおける人体動作周期を正確に特定することができる。

上記のビデオにおける人体動作周期を特定する方法において、異なる応用場面または異なる要求に応じて異なる探索範囲を設定することができる。

本発明の一実施例において、前記探索範囲は、現在のフレームからの後の所定の第１の時間長さの時間帯におけるフレームであっても良い。なお、前記第１の時間長さは、一つの人体動作を十分に含む時間長さであってもよく、経験値または具体的な応用場面に応じて前記第１の時間長さを合理的に設定することができる。

上述の探索範囲は、単に例示的なものであり、本発明はこれに限定されず、その他の方式で探索範囲を設定することもできる。

本発明の他の実施例において、前記探索範囲は、現在のフレームからの前の所定の第２の時間長さの時間帯におけるフレームであってもよい。なお、前記第２の時間長さは、一つの人体動作を十分に含む時間長さであってもよく、経験値または具体的な応用場面に応じて前記第２の時間長さを合理的に設定することができる。

また、第２の時間長さは、第１の時間長さと同一であってもよく、第１の時間長さと異なっても良い。

上記の装置において、人体部分区分部は、種々の適切な技術手段によって、フレームにおける人体領域を複数の人体部分に区分することができる。

図６に本発明の一実施例による人体部分区分部のブロック図を示す。

図６に示されるように、人体部分区分部６００は、輪郭抽出部６０２と、連結点抽出部６０４と、分割部６０６とを含んでも良い。

輪郭抽出部６０２は、任意の公知のエッジ抽出方法によって、フレームにおける人体領域の輪郭線を抽出することができる。

例えば、ｃａｎｎｙアルゴリズムを採用してフレームにおける人体領域の輪郭線を抽出することができる。

連結点抽出部６０４は、抽出された人体領域の輪郭線に基づいて、さらに輪郭線上の連結点を特定することができる。

具体的には、輪郭線上で二つの異なる人体部分を連結する領域は、一般的に凹状の谷の形状で現れる。輪郭線上の連結点が凹状の谷の最低点に位置すべきであることを考慮し、凹状の谷の最低点を特定することによって連結点を特定することができる。

本発明の一実施例において、輪郭線上の各画素点の曲率を算出する方式で人体輪郭線上の連結点を特定することができる。

分割部６０６は、連結点に基づいて人体領域をさらに複数の人体部分に分割することができる。

具体的には、連結点を特定した後に、人間特有な幾つかの情報（例えば、頭の形状は円形に近似し、四肢の形状は矩形に近似するなど）に基づいて人の分割を行うことにより、複数の人体部分を取得することができる。

以上の図６に示す人体部分区分部を利用した実施例は、単に例示的なものであり、本発明はこれに限定されず、例えば、人体部分区分部は、その他の公知の人体区分方法（例えば、領域に基づく方法等）を採用してフレームにおける人体領域を複数の人体部分に区分することもできる。

上記の装置において、人体部分区分部が人体を複数の人体部分に分割した後に、局所動作周期特定部が、各人体部分の局部動作周期をそれぞれ特定することができる。

図７に本発明の一実施例による局所動作周期特定部のブロック図を示す。

図７に示されるように、局部動作周期特定部７００は、動きベクトル算出部７０２と、動作終了フレーム探索部７０４と、時間長さ特定部７０６とを含むことができる。

動きベクトル算出部７０２は、人体部分の動きベクトルを算出することができる。

動きベクトル算出部７０２は、人体部分におけるすべてまたは一部の画素の動きに基づいて、前記人体部分の動きベクトルを算出することができる。

本発明の一実施例において、動きベクトル算出部７０２は、人体部分における一部の画素の動きに基づいて、人体部分全体の動きベクトルを取得することができる。

例えば、前記人体部分が頭部であれば、動きベクトル算出部は、まず特徴画素（例えば、目や鼻や口の位置に対応する画素）に基づいて、これらの特徴画素の動きベクトルをそれぞれ算出することができる。

具体的には、動きベクトル算出部７０２は、特徴画素の二つの隣接するフレーム（例えば、前のフレームまたは次のフレーム）の間での位置の差により、各特徴画素の動きベクトルを取得することができる。

その後、人体部分の各特徴画素の動きベクトルの和を求めることによって、前記人体部分の動きベクトルを取得することができる。

以上の例示的な記載において一部の特徴画素に基づいて人体部分の動きベクトルを算出したが、本発明はこれに限定されず、その他の変形例を採用することができる。

例えば、本発明の他の実施例において、動きベクトル算出部７０２は、人体部分におけるすべての画素の動きベクトルを算出した後に、すべての動きベクトルの和を求めることによって、人体部分の動きベクトルを取得することもできる。

動作終了フレーム探索部７０４は、動きベクトル算出部により算出された人体部分の動きベクトルに基づいて、探索範囲内で人体動作の動作終了フレームを探索することができる。

動作終了フレーム探索部７０４が人体動作の動作終了フレームを探索できた場合に、時間長さ特定部７０６は、現在のフレームと動作終了フレームとの間の時間長さを人体部分の局所動作周期として特定することができる。

また、動作終了フレーム探索部７０４が探索範囲内で動作終了フレームを探索できなかった場合に、時間長さ特定部７０６は所定の第３の時間長さを、前記人体部分の局所動作周期として特定することができる。

なお、前記第３の時間長さは、一つの完全な人体動作を十分に含み得る時間の長さであり、経験値または異なる応用場面に基づいて、前記第３の時間長さを合理的に設定することができる。

これにより、局所動作周期特定部７００は、現在のフレームにおける各人体部分の局所動作周期を特定することができる。

上記の実施例において、動作終了フレーム探索部における、探索範囲内で人体部分の動作終了フレームを探索する処理は、前記人体部分の動きベクトルに基づいて実現することができる。

本発明の一実施例において、動作終了フレーム探索部は、探索範囲内で、前記人体部分の動きベクトルの、ベクトルの和をゼロに近似させるフレームを探索することによって、人体部分の動作終了フレームを特定することができる。

具体的には、動作終了フレーム探索部は、例えば、ビデオフレームシーケンスにおける人体動作周期をリアルタイムで特定する場合に、現在のフレームを起点とし、所定の探索範囲内で前方向にフレームにおける人体部分の動きベクトルを順に累積する。

動作終了フレーム探索部は、動きベクトルの累積値がゼロに近くなることを発見した場合（例えば、累積値が所定の第１の閾値よりも小さい時）、動きベクトルの累積値が第１の閾値より小さくなる時のフレームを、人体部分の動作終了フレームとして特定することができる。

なお、前記第１の閾値は、経験値または実際の応用場面により予め設定されたゼロに近い値であっても良い。

一方、動作終了フレーム探索部は、所定の探索範囲内において、動きベクトルの累積値が第１の閾値より小さくなることが最後まで見つからない場合には、前記所定の探索範囲内において前記動作終了フレームを探索できなかったと判定できる。

これにより、動作終了フレーム探索部は、探索範囲内で人体部分の動作終了フレームを探索する処理を実現することができる。

以上の記載にてビデオフレームシーケンスにおける人体動作周期をリアルタイムに特定する場合（前方向に順に探索する場合）を例に動作終了フレーム探索部の操作を説明したが、以上の記載は、単に例示的なものである。本発明はこれに限定されない。

例えば、本発明の他の実施例において、例えば、既存のビデオに対して分析を行ってビデオフレームシーケンスにおける人体動作周期を特定する場合に、動作終了フレーム探索部は、現在のフレームを起点とし、所定の探索範囲内で後ろ方向にフレームにおける人体部分の動きベクトルを順に累積し、人体部分の動作終了フレームを探索してもよい。

これにより、動作終了フレーム探索部は、探索範囲内で人体部分の動作終了フレームに対する探索を実現することもできる。

上記の実施例におけるビデオにおける人体動作周期を特定する装置により、本発明は、ビデオにおける人体動作を認識する装置をさらに提供することができる。

図８に、本発明の一実施例によるビデオにおける人体動作を認識する装置のブロック図を示す。

図に示されるように、本発明の実施例によるビデオにおける人体動作を認識する装置８００は、人体動作周期特定部８０２と認識部８０４とを含むことができる。

人体動作周期特定部８０２は、ビデオにおける人体動作周期を特定することができる。

例えば、人体動作周期特定部８０２は、任意の上記実施例の人体動作周期を特定する装置を含み、ビデオにおける人体動作周期を特定することができる。

認識部８０４は、特定した人体動作周期に基づいて人体動作を認識することができる。

具体的には、認識部８０４は、特定した人体動作周期に基づいて時間的・空間的特徴を抽出し、時間的・空間的特徴に基づいて人体動作を認識することができる。

上記の人体動作を認識する装置は、異なる動作や異なる個体に対して、適切に人体動作周期を特定することができる。これにより、時間的・空間的特徴をより正確に抽出することができ、さらにより正確な人体動作認識を実現することができる。

前記のビデオにおける人体動作周期を特定する装置、前記のビデオにおける人体動作を認識する装置及びこれに含まれる要素についての技術の詳細は、上述の方法に係る説明を参照することによって理解できる。明細書を明瞭にするために、ここでは、不要な説明を省略する。

また、本願に記載の各種の例示及び実施例は、いずれも例示的なものである。本発明はこれらに限定されないことを理解すべきである。本明細書において、「第１」、「第２」等の記述は、単に本発明を明確に説明するために、説明において区別するためのものである。従って、いずれの事項も限定的な意味を持っていると解すべきではない。

上記装置における各構成モジュールやユニットはソフトウェア、ファームウェア、ハードウェアまたはこれらの組合せで実現することができる。実現するために使用可能な具体的な手段または方式は、当業者に熟知されるものであるため、ここでは説明しない。ソフトウェア又はファームウェアにより実現される場合に、記憶媒体又はネットワークから専用のハードウェア構成を有するコンピュータ（例えば図９に示された汎用のコンピュータ９００）へ当該ソフトウェアを構成するプログラムをインストールしてもよい。当該コンピュータは、各種のプログラムがインストールされている場合に、各機能を実行することができる。

図９において、中央処理装置（ＣＰＵ）９０１は、読取専用メモリ（ＲＯＭ）９０２に記憶されたプログラム又は記憶部９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたプログラムに基づいて各種の処理を実行する。ＲＡＭ９０３には、必要に応じてＣＰＵ９０１が各種の処理等を実行するために必要なデータも記憶されている。ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３はバス９０４を介して互いに接続されている。入力／出力インタフェース９０５もバス９０４に接続されている。

入力部９０６（キーボード、マウス等を含む）、出力部９０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等、スピーカ等を含む）、記憶部９０８（ハードディスク等を含む）、及び通信部９０９（ネットワークインターフェースカード、例えばＬＡＮカード、モデム等を含む）は、入力／出力インタフェース９０５に接続されている。通信部９０９は、ネットワーク、例えばインターネットを経由して通信処理を実行する。必要に応じて、入力／出力インタフェース９０５にはドライバ９１０も接続されている。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等のような取り外し可能な媒体９１１は、必要に応じてドライバ９１０に装着される。これにより、読み出されたコンピュータプログラムは必要に応じて記憶部９０８にインストールされる。

ソフトウェアで前記一連の処理を実現する場合に、ネットワーク、例えばインターネット、又は記憶媒体、例えば取外し可能な媒体９１１からソフトウェアを構成するプログラムをインストールする。

このような記憶媒体は、図９に示される。その中にプログラムが記憶されており、プログラムは、デバイスから読み出され伝送されてもよいと当業者は理解すべきである。取り外し可能な媒体９１１として、例えば、磁気ディスク（フロッピディスク（登録商標）含む）、光ディスク（コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）やディジタルヴァーサタイルディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク(ＭＤ)（登録商標）を含む）及び半導体メモリを含む。または、記憶媒体は、ＲＯＭ９０２であってもよい。或いは、記憶部９０８に含まれるハードディスクであって、プログラムが記憶されており、且つこれらを含むデバイスと共にユーザに提供されるハードディスクなどであっても良い。

本発明は、機械で読み取り可能なコマンドコードが記憶されたプログラム製品を更に提供する。前記コマンドコードは、機械で読取られて実行される際に、本発明の実施例による方法を実行することができる。

加えて、前記の機械で読み取り可能なコマンドコードが記憶されたプログラム製品を搭載する記憶媒体も本発明の開示に含まれる。前記記憶媒体は、フロッピディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティック等を含むが、これらに限定されない。

最後に、さらに説明すべき点は、用語「含む」、「有する」、又は如何なる他の同義語も、非排他的な意味で用いられ、一連の要素を含むプロセス、方法、物又は装置がこれらの要素を含むだけではなく、明確に列挙されていない他の要素を含み得る。加えて、このようなプロセス、方法、物又は装置の固有の要素も含む。また、更なる限定のない場合に、用語「一つの…を含む」により限定された要素は、前記要素を含むプロセス、方法、物又は装置において更に別の同一の要素が存在することを排除しない。

以上、図面を参照しながら本発明の実施例を詳細に説明したが、上述の実施形態は、単に本発明を説明するためのものであり、本発明を限定するものではないと理解すべきである。当業者にとって、本発明の精神及び範囲を逸脱しない限り、上記実施形態に対して各種の修正や変更を行うことができる。従って、本発明の範囲は、特許請求の範囲及びその均等物によって限定される。

以上の実施例に関し、更に以下の付記を開示する。
（付記１）
探索範囲内の各フレームの人体領域を複数の人体部分に区分し、
現在のフレームにおける各人体部分の局所動作周期を特定し、
前記局所動作周期に基づいて現在のフレームにおける人体動作周期を特定する、
処理を含むビデオにおける人体動作周期を特定する方法。
（付記２）
前記探索範囲は、現在のフレームからの、後の第１の時間長さまたは前の第２の時間長さの時間帯におけるフレームであることを特徴とする付記１に記載のビデオにおける人体動作周期を特定する方法。
（付記３）
探索範囲内の各フレームの人体領域を複数の人体部分に区分する処理は、
フレームにおける人体領域の輪郭線を抽出し、
輪郭線に基づいて人体領域の連結点を特定し、
連結点に基づいて人体領域を複数の人体部分に分割する、
処理を含むことを特徴とする付記２に記載のビデオにおける人体動作周期を特定する方法。
（付記４）
現在のフレームにおける各人体部分の局所動作周期を特定する処理は、
前記人体部分の動きベクトルを算出し、
前記探索範囲内において前記人体部分の動作終了フレームを探索し、
前記動作終了フレームを探索できた場合に、前記動作終了フレームと前記現在のフレームとの間の時間長さを、前記人体部分の局所動作周期として特定する、
処理を含むことを特徴とする付記２に記載のビデオにおける人体動作周期を特定する方法。
（付記５）
前記探索範囲内において前記人体部分の動作終了フレームを探索する処理は、前記探索範囲内において、前記人体部分の動きベクトルの和を第１の閾値よりも小さくすることが可能なフレームを、前記動作終了フレームとして探索する処理を含むことを特徴とする技術的案４に記載のビデオにおける人体動作周期を特定する方法。
（付記６）
前記人体部分の動きベクトルを算出する処理は、前記人体部分におけるすべてまたは一部の画素の動きに基づいて前記人体部分の動きベクトルを算出する処理を含むことを特徴とする付記４に記載のビデオにおける人体動作周期を特定する方法。
（付記７）
前記局所動作周期に基づいて現在のフレームにおける人体動作周期を特定する処理は、前記複数の人体部分の局所動作周期のうち最大の局所動作周期を、人体動作周期として特定する処理を含むことを特徴とする付記２に記載のビデオにおける人体動作周期を特定する方法。
（付記８）
付記１ないし７の何れかに記載の方法に基づいてビデオにおける人体動作周期を特定し、
前記人体動作周期に基づいて時間的・空間的特徴を抽出して、ビデオにおける人体動作を認識する処理を含むことを特徴とするビデオにおける人体動作を認識する方法。
（付記９）
探索範囲内の各フレームの人体領域を複数の人体部分に区分する人体部分区分部と、
現在のフレームにおける各人体部分の局所動作周期を特定する局所動作周期特定部と、
前記局所動作周期に基づいて現在のフレームにおける人体動作周期を特定する人体動作周期特定部と、を含むビデオにおける人体動作周期を特定する装置。
（付記１０）
前記探索範囲は、現在のフレームからの、後の第１の時間長さまたは前の第２の時間長さの時間帯におけるフレームであることを特徴とする付記９に記載のビデオにおける人体動作周期を特定する装置。
（付記１１）
前記人体部分区分部は、
フレームにおける人体領域の輪郭線を抽出する輪郭抽出部と、
輪郭線に基づいて人体領域の連結点を特定する連結点抽出部と、
連結点に基づいて人体領域を複数の人体部分に分割する分割部とを含むことを特徴とする付記１０に記載のビデオにおける人体動作周期を特定する装置。
（付記１２）
前記局所動作周期特定部は、
前記人体部分の動きベクトルを算出する動きベクトル算出部と、
前記探索範囲内において前記人体部分の動作終了フレームを探索する動作終了フレーム探索部と、
前記動作終了フレームを探索できた場合に、前記動作終了フレームと前記現在のフレームとの間の時間長を、前記人体部分の局所動作周期として特定する時間長さ特定部とを含むことを特徴とする付記１０に記載のビデオにおける人体動作周期を特定する装置。
（付記１３）
前記動作終了フレーム探索部は、さらに、前記探索範囲内において、前記人体部分の動きベクトルの和を第１の閾値よりも小さくすることが可能なフレームを、前記動作終了フレームとして探索することを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１４）
前記動きベクトル算出部は、さらに、前記人体部分におけるすべてまたは一部の画素の動きに基づいて前記人体部分の動きベクトルを算出することを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１５）
前記人体動作周期特定部は、さらに、前記複数の人体部分の局所動作周期のうち最大の局所動作周期を特定し、前記最大の局所動作周期を人体動作周期として特定することを特徴とする付記１０に記載のビデオにおける人体動作周期を特定する装置。
（付記１６）
付記９ないし１５の何れかに記載の装置を備えたビデオにおける人体動作周期を特定する人体動作周期特定部と、
前記人体動作周期に基づいて時間的・空間的特徴を抽出して、ビデオにおける人体動作を認識する認識部と、を含むことを特徴とするビデオにおける人体動作を認識する装置。
（付記１７）
付記１ないし８のうちいずれか１項に記載の方法をコンピュータに実行させるプログラム。

Claims (11)

1. 探索範囲内の各フレームの人体領域を複数の人体部分に区分し、
   現在のフレームにおける各人体部分の局所動作周期を特定し、
   前記局所動作周期に基づいて現在のフレームにおける人体動作周期を特定する、
   処理を含む、ビデオにおける人体動作周期を特定する方法。
2. 前記探索範囲は、現在のフレームからの、後の第１の時間長さ又は前の第２の時間長さの時間帯におけるフレームであることを特徴とする請求項１に記載のビデオにおける人体動作周期を特定する方法。
3. 探索範囲内の各フレームの人体領域を複数の人体部分に区分する処理は、
   フレームにおける人体領域の輪郭線を抽出し、
   輪郭線に基づいて人体領域の連結点を特定し、
   連結点に基づいて人体領域を複数の人体部分に分割する、
   処理を含むことを特徴とする請求項２に記載のビデオにおける人体動作周期を特定する方法。
4. 現在のフレームにおける各人体部分の局所動作周期を特定する処理は、
   前記人体部分の動きベクトルを算出し、
   前記探索範囲内において前記人体部分の動作終了フレームを探索し、
   前記動作終了フレームを探索できた場合に、前記動作終了フレームと前記現在のフレームとの間の時間長さを、前記人体部分の局所動作周期として特定する、
   処理を含むことを特徴とする請求項２に記載のビデオにおける人体動作周期を特定する方法。
5. 前記探索範囲内において前記人体部分の動作終了フレームを探索する処理は、前記探索範囲内において、前記人体部分の動きベクトルの和を第１の閾値よりも小さくすることが可能なフレームを、前記動作終了フレームとして探索する処理を含むことを特徴とする請求項４に記載のビデオにおける人体動作周期を特定する方法。
6. 前記人体部分の動きベクトルを算出する処理は、前記人体部分におけるすべてまたは一部の画素の動きに基づいて前記人体部分の動きベクトルを算出する処理を含むことを特徴とする請求項４に記載のビデオにおける人体動作周期を特定する方法。
7. 前記局所動作周期に基づいて現在のフレームにおける人体動作周期を特定する処理は、前記複数の人体部分の局所動作周期のうち最大の局所動作周期を、人体動作周期として特定する処理を含むことを特徴とする請求項２に記載のビデオにおける人体動作周期を特定する方法。
8. 請求項１ないし７のいずれか１項に記載の方法に基づいてビデオにおける人体動作周期を特定し、
   前記人体動作周期に基づいて時間的・空間的特徴を抽出してビデオにおける人体動作を認識する処理、を含むことを特徴とするビデオにおける人体動作を認識する方法。
9. 探索範囲内の各フレームの人体領域を複数の人体部分に区分する人体部分区分部と、
   現在のフレームにおける各人体部分の局所動作周期を特定する局所動作周期特定部と、
   前記局所動作周期に基づいて現在のフレームにおける人体動作周期を特定する人体動作周期特定部と、を備えるビデオにおける人体動作周期を特定する装置。
10. 請求項９に記載の装置を備え、ビデオにおける人体動作周期を特定する人体動作周期特定部と、
    前記人体動作周期に基づいて時間的・空間的特徴を抽出してビデオにおける人体動作を認識する認識部と、を備えることを特徴とするビデオにおける人体動作を認識する装置。
11. 請求項１ないし８のうちいずれか１項に記載の方法をコンピュータに実行させるプログラム。
    

Images