JPH1013832A - 動画像認識方法および動画像認識検索方法 - Google Patents
動画像認識方法および動画像認識検索方法Info
- Publication number
- JPH1013832A JPH1013832A JP16443096A JP16443096A JPH1013832A JP H1013832 A JPH1013832 A JP H1013832A JP 16443096 A JP16443096 A JP 16443096A JP 16443096 A JP16443096 A JP 16443096A JP H1013832 A JPH1013832 A JP H1013832A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- feature vector
- image data
- series
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 標準符号化方式等により圧縮された動画像デ
ータの使用し、データ処理時間を短縮した動画像認識検
索方法を提供する。 【解決手段】 一連の動画像を表示する各画面の画像デ
ータをＭ×Ｎのブロックに区切り、各ブロックのＤＣＴ
係数を抽出するステップと、前記ＤＣＴ係数の少なくと
も１つを各画面の特徴ベクトルとして抽出するステップ
と、検索キーとなる特定の動画像パターンを表示する各
画面の特徴ベクトルで構成される時系列の特徴ベクトル
列により、確率的な状態遷移モデルを学習するステップ
と、検索対象である一連の動画像を表示する各画面の画
像データから抽出された特徴ベクトルで構成される時系
列の特徴ベクトル列の中で、前記学習により得られた状
態遷移モデルに対する尤度が高い時間領域を検索結果と
して出力するステップとを具備する。
ータの使用し、データ処理時間を短縮した動画像認識検
索方法を提供する。 【解決手段】 一連の動画像を表示する各画面の画像デ
ータをＭ×Ｎのブロックに区切り、各ブロックのＤＣＴ
係数を抽出するステップと、前記ＤＣＴ係数の少なくと
も１つを各画面の特徴ベクトルとして抽出するステップ
と、検索キーとなる特定の動画像パターンを表示する各
画面の特徴ベクトルで構成される時系列の特徴ベクトル
列により、確率的な状態遷移モデルを学習するステップ
と、検索対象である一連の動画像を表示する各画面の画
像データから抽出された特徴ベクトルで構成される時系
列の特徴ベクトル列の中で、前記学習により得られた状
態遷移モデルに対する尤度が高い時間領域を検索結果と
して出力するステップとを具備する。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像認識方法お
よび動画像認識検索方法に係わり、特に、一連の動画像
を表示する各画面の画像データの中から特定の動画像パ
ターンを認識・検索を行う動画像認識方法および動画像
認識検索方法に関する。
よび動画像認識検索方法に係わり、特に、一連の動画像
を表示する各画面の画像データの中から特定の動画像パ
ターンを認識・検索を行う動画像認識方法および動画像
認識検索方法に関する。
【０００２】
【従来の技術】動画像を対象としたパターン認識技術
は、近年多くの研究が行われており、その一つとして、
下記公報（イ）に記載されている手法が公知である。
は、近年多くの研究が行われており、その一つとして、
下記公報（イ）に記載されている手法が公知である。
【０００３】（イ）特開平５−４６５８３号公報 前記公報（イ）（特開平５−４６５８３号公報）には、
動画像を表示する各画面の画像データから抽出した動物
体のメッシュ特徴をベクトル量子化によりシンボル化し
て、動画像系列をシンボル系列に変換し、当該シンボル
系列を学習・認識することにより、人間等の動物体の各
動作を認識する手法が記載されている。
動画像を表示する各画面の画像データから抽出した動物
体のメッシュ特徴をベクトル量子化によりシンボル化し
て、動画像系列をシンボル系列に変換し、当該シンボル
系列を学習・認識することにより、人間等の動物体の各
動作を認識する手法が記載されている。
【０００４】また、マルチメディアの中核技術を構成す
る、動画像データの蓄積あるいは伝送の際の情報圧縮技
術として、ＭＥＰＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅ
ｘｐｅｒｔｓ Ｇｒｏｕｐ；メディア統合系動画像圧縮
の国際標準）、ＭＥＰＧ２といった国際標準符号化方式
が普及しつつある。
る、動画像データの蓄積あるいは伝送の際の情報圧縮技
術として、ＭＥＰＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅ
ｘｐｅｒｔｓ Ｇｒｏｕｐ；メディア統合系動画像圧縮
の国際標準）、ＭＥＰＧ２といった国際標準符号化方式
が普及しつつある。
【０００５】
【発明が解決しようとする課題】前記公報（イ）（特開
平５−４６５８３号公報）に記載されている手法のよう
に、従来一連の動画像の中から、特定の動画像パターン
をその動画像パターン自体を検索キーとして検索する場
合は、大容量の画像データおよび特徴量データを取り扱
う必要があり、データ処理の処理時間が増大するという
問題点があった。
平５−４６５８３号公報）に記載されている手法のよう
に、従来一連の動画像の中から、特定の動画像パターン
をその動画像パターン自体を検索キーとして検索する場
合は、大容量の画像データおよび特徴量データを取り扱
う必要があり、データ処理の処理時間が増大するという
問題点があった。
【０００６】また、ＭＥＰＧ、ＭＥＰＧ２等の標準符号
化方式が普及しつつあり、一連の動画像の中から、特定
の動画像パターンをその動画像パターン自体を検索キー
として検索する場合に、この標準符号化方式により圧縮
された動画像データを使用することにより、データ処理
の処理時間を短縮することが期待される。
化方式が普及しつつあり、一連の動画像の中から、特定
の動画像パターンをその動画像パターン自体を検索キー
として検索する場合に、この標準符号化方式により圧縮
された動画像データを使用することにより、データ処理
の処理時間を短縮することが期待される。
【０００７】しかしながら、標準符号化方式により圧縮
された動画像データを対象として、一連の動画像の中か
ら特定の動画像パターンを検索する最適な手法につい
て、従来何ら検討されていなかった。
された動画像データを対象として、一連の動画像の中か
ら特定の動画像パターンを検索する最適な手法につい
て、従来何ら検討されていなかった。
【０００８】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、動画像認識方法に
おいて、標準符号化方式等により圧縮された動画像デー
タを使用し、データ処理時間を短縮することが可能とな
る技術を提供することにある。
されたものであり、本発明の目的は、動画像認識方法に
おいて、標準符号化方式等により圧縮された動画像デー
タを使用し、データ処理時間を短縮することが可能とな
る技術を提供することにある。
【０００９】本発明の他の目的は、動画像認識検索方法
において、標準符号化方式等により圧縮された動画像デ
ータを使用し、データ処理時間を短縮することが可能と
なる技術を提供することにある。
において、標準符号化方式等により圧縮された動画像デ
ータを使用し、データ処理時間を短縮することが可能と
なる技術を提供することにある。
【００１０】本発明の前記目的並びにその他の目的及び
新規な特徴は、本明細書の記載及び添付図面によって明
らかにする。
新規な特徴は、本明細書の記載及び添付図面によって明
らかにする。
【００１１】
【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。
【００１２】（１）一連の動画像の動画像パターンを認
識する動画像認識方法において、一連の動画像を表示す
る各画面の画像データをＭ×Ｎのブロックに区切り、各
ブロックのＤＣＴ係数を抽出するステップと、前記ＤＣ
Ｔ係数の少なくとも１つを各画面の特徴ベクトルとして
抽出するステップと、特定の動画像パターンを表示する
各画面の特徴ベクトルで構成される時系列の特徴ベクト
ル列により、確率的な状態遷移モデルを、認識キーとな
る複数の特定の動画像パターン毎に学習するステップ
と、認識対象である一連の動画像を表示する各画面の画
像データから抽出された特徴ベクトルで構成される時系
列の特徴ベクトル列の、前記学習により得られた複数の
状態遷移モデルに対する尤度が最大となる状態遷移モデ
ルの動画像パターンを認識結果として出力するステップ
とを具備することを特徴とする。
識する動画像認識方法において、一連の動画像を表示す
る各画面の画像データをＭ×Ｎのブロックに区切り、各
ブロックのＤＣＴ係数を抽出するステップと、前記ＤＣ
Ｔ係数の少なくとも１つを各画面の特徴ベクトルとして
抽出するステップと、特定の動画像パターンを表示する
各画面の特徴ベクトルで構成される時系列の特徴ベクト
ル列により、確率的な状態遷移モデルを、認識キーとな
る複数の特定の動画像パターン毎に学習するステップ
と、認識対象である一連の動画像を表示する各画面の画
像データから抽出された特徴ベクトルで構成される時系
列の特徴ベクトル列の、前記学習により得られた複数の
状態遷移モデルに対する尤度が最大となる状態遷移モデ
ルの動画像パターンを認識結果として出力するステップ
とを具備することを特徴とする。
【００１３】（２）前記（１）の手段において、前記認
識対象である一連の動画像を表示する各画面の画像デー
タが、標準符号化方式により圧縮されており、各画面の
特徴ベクトルとして、標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の一部を使
用することを特徴とする。
識対象である一連の動画像を表示する各画面の画像デー
タが、標準符号化方式により圧縮されており、各画面の
特徴ベクトルとして、標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の一部を使
用することを特徴とする。
【００１４】（３）前記（１）の手段において、前記各
画面の特徴ベクトルとして、ＤＣＴ係数とともに動きベ
クトルを使用することを特徴とする。
画面の特徴ベクトルとして、ＤＣＴ係数とともに動きベ
クトルを使用することを特徴とする。
【００１５】（４）前記（３）の手段において、前記認
識対象である一連の動画像を表示する各画面の画像デー
タが、標準符号化方式により圧縮されており、各画面の
特徴ベクトルとして、標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の一部、お
よび、動き補償ベクトルを使用することを特徴とする。
識対象である一連の動画像を表示する各画面の画像デー
タが、標準符号化方式により圧縮されており、各画面の
特徴ベクトルとして、標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の一部、お
よび、動き補償ベクトルを使用することを特徴とする。
【００１６】（５）一連の動画像の中から、特定の動画
像パターンを含む時間領域を抽出する動画像認識検索方
法において、一連の動画像を表示する各画面の画像デー
タをＭ×Ｎのブロックに区切り、各ブロックのＤＣＴ係
数を抽出するステップと、前記ＤＣＴ係数の少なくとも
１つを各画面の特徴ベクトルとして抽出するステップ
と、検索キーとなる特定の動画像パターンを表示する各
画面の特徴ベクトルで構成される時系列の特徴ベクトル
列により、確率的な状態遷移モデルを学習するステップ
と、検索対象である一連の動画像を表示する各画面の画
像データから抽出された特徴ベクトルで構成される時系
列の特徴ベクトル列の中で、前記学習により得られた状
態遷移モデルに対する尤度が高い時間領域を検索結果と
して出力するステップとを具備することを特徴とする。
像パターンを含む時間領域を抽出する動画像認識検索方
法において、一連の動画像を表示する各画面の画像デー
タをＭ×Ｎのブロックに区切り、各ブロックのＤＣＴ係
数を抽出するステップと、前記ＤＣＴ係数の少なくとも
１つを各画面の特徴ベクトルとして抽出するステップ
と、検索キーとなる特定の動画像パターンを表示する各
画面の特徴ベクトルで構成される時系列の特徴ベクトル
列により、確率的な状態遷移モデルを学習するステップ
と、検索対象である一連の動画像を表示する各画面の画
像データから抽出された特徴ベクトルで構成される時系
列の特徴ベクトル列の中で、前記学習により得られた状
態遷移モデルに対する尤度が高い時間領域を検索結果と
して出力するステップとを具備することを特徴とする。
【００１７】（６）前記（５）の手段において、前記検
索対象である一連の動画像を表示する各画面の画像デー
タが、標準符号化方式により圧縮されており、各画面の
特徴ベクトルとして、標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の一部を使
用することを特徴とする。
索対象である一連の動画像を表示する各画面の画像デー
タが、標準符号化方式により圧縮されており、各画面の
特徴ベクトルとして、標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の一部を使
用することを特徴とする。
【００１８】（７）前記（５）の手段において、前記各
画面の特徴ベクトルとして、ＤＣＴ係数とともに動きベ
クトルを使用することを特徴とする。
画面の特徴ベクトルとして、ＤＣＴ係数とともに動きベ
クトルを使用することを特徴とする。
【００１９】（８）前記（７）の手段において、前記検
索対象である一連の動画像を表示する各画面の画像デー
タが、標準符号化方式により圧縮されており、各画面の
特徴ベクトルとして、標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の一部、お
よび、動き補償ベクトルを使用することを特徴とする。
索対象である一連の動画像を表示する各画面の画像デー
タが、標準符号化方式により圧縮されており、各画面の
特徴ベクトルとして、標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の一部、お
よび、動き補償ベクトルを使用することを特徴とする。
【００２０】前記各手段によれば、特徴量としてＤＣＴ
係数、あるいはＤＣＴ係数および動き補償ベクトルを使
用し、ＭＥＰＧ，ＭＥＰＧ２等の標準符号化方式で圧縮
された少容量の動画像データから、特定の動画像パター
ンを直接認識・検索するようにしたので、データ処理の
処理時間を少なくすることが可能となる。
係数、あるいはＤＣＴ係数および動き補償ベクトルを使
用し、ＭＥＰＧ，ＭＥＰＧ２等の標準符号化方式で圧縮
された少容量の動画像データから、特定の動画像パター
ンを直接認識・検索するようにしたので、データ処理の
処理時間を少なくすることが可能となる。
【００２１】
【発明の実施の形態】以下、本発明の発明の実施の形態
を図面を参照して詳細に説明する。
を図面を参照して詳細に説明する。
【００２２】なお、発明の実施の形態を説明するための
全図において、同一機能を有するものは同一符号を付
け、その繰り返しの説明は省略する。
全図において、同一機能を有するものは同一符号を付
け、その繰り返しの説明は省略する。
【００２３】図１は、本発明の一発明の実施の形態であ
る動画像認識方法および動画像認識検索方法が適用され
る動画像認識検索装置の概略構成を示す機能ブロック図
である。
る動画像認識方法および動画像認識検索方法が適用され
る動画像認識検索装置の概略構成を示す機能ブロック図
である。
【００２４】図１において、１はＭＥＰＧデータ、２は
特徴抽出部、３は特徴格納用メモリ、４は量子化部、５
はシンボル格納メモリ、６はモデルパラメータ推定部、
７は認識用状態遷移モデル格納メモリ、８は尤度算出
部、９は認識結果用メモリである。
特徴抽出部、３は特徴格納用メモリ、４は量子化部、５
はシンボル格納メモリ、６はモデルパラメータ推定部、
７は認識用状態遷移モデル格納メモリ、８は尤度算出
部、９は認識結果用メモリである。
【００２５】ここで、前記認識用状態遷移モデル格納メ
モリ７および認識結果用メモリ９としては、例えば、外
部記憶装置を使用し、また、前記ＭＥＰＧデータ１は、
例えば、外部記憶装置に格納されている。
モリ７および認識結果用メモリ９としては、例えば、外
部記憶装置を使用し、また、前記ＭＥＰＧデータ１は、
例えば、外部記憶装置に格納されている。
【００２６】本発明の実施の形態の基本的動作には、学
習と認識の３つの段階があり、学習時には、学習用のデ
ータから認識用状態遷移モデルのパラメータ推定を行い
認識カテゴリ（図１に示すカテゴリ１〜カテゴリ６）毎
に認識用状態遷移モデル格納メモリ７に格納する。
習と認識の３つの段階があり、学習時には、学習用のデ
ータから認識用状態遷移モデルのパラメータ推定を行い
認識カテゴリ（図１に示すカテゴリ１〜カテゴリ６）毎
に認識用状態遷移モデル格納メモリ７に格納する。
【００２７】また、認識時には、学習によって認識用状
態遷移モデル格納メモリ７に格納された、各カテゴリに
対応するモデルの尤度を算出し、最大の尤度を持つモデ
ルに対応するカテゴリを認識結果とする最尤推定を行
う。
態遷移モデル格納メモリ７に格納された、各カテゴリに
対応するモデルの尤度を算出し、最大の尤度を持つモデ
ルに対応するカテゴリを認識結果とする最尤推定を行
う。
【００２８】本発明の実施の形態の動画像認識方法およ
び動画像認識検索方法において、量子化までの処理は学
習時、認識時とも同一である。
び動画像認識検索方法において、量子化までの処理は学
習時、認識時とも同一である。
【００２９】以下、図１に沿って、本発明の実施の形態
動画像認識方法および動画像認識検索方法について説明
する。
動画像認識方法および動画像認識検索方法について説明
する。
【００３０】まず、検索対象のＭＥＰＧデータ１から、
特徴抽出部２により、特徴ベクトルとして、ＤＣＴ係数
を抽出する。
特徴抽出部２により、特徴ベクトルとして、ＤＣＴ係数
を抽出する。
【００３１】ここで、ＭＥＰＧデータ１について、簡単
に説明する。
に説明する。
【００３２】ＭＥＰＧ標準化符号化方式では、フレーム
内では８×８画素のブロック毎のＤＣＴ（離散コサイン
変換；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏ
ｒｍ）係数と量子化により、また、フレーム間では動き
補償ベクトル情報を使用して、データを圧縮している。
内では８×８画素のブロック毎のＤＣＴ（離散コサイン
変換；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏ
ｒｍ）係数と量子化により、また、フレーム間では動き
補償ベクトル情報を使用して、データを圧縮している。
【００３３】また、通常のＭＥＰＧデータ１の各フレー
ムは、Ｉピクチャ，Ｐピクチャ，Ｂピクチャの３種類の
いずれかのタイプの符号化データで構成される。
ムは、Ｉピクチャ，Ｐピクチャ，Ｂピクチャの３種類の
いずれかのタイプの符号化データで構成される。
【００３４】なお、Ｉピクチャはフレーム内符号化、Ｐ
ピクチャは順方向フレーム間予測符号化、Ｂピクチャは
双方向フレーム間予測符号化を意味する。
ピクチャは順方向フレーム間予測符号化、Ｂピクチャは
双方向フレーム間予測符号化を意味する。
【００３５】通常のシーケンスでは、１つのＧＯＰ（Ｇ
ｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）は、Ｉピクチャで始ま
り、画像の動きの激しさや要求画質等に応じて、適当な
間隔でＰピクチャあるいはＢピクチャを配置する。
ｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）は、Ｉピクチャで始ま
り、画像の動きの激しさや要求画質等に応じて、適当な
間隔でＰピクチャあるいはＢピクチャを配置する。
【００３６】本発明の実施の形態では、ＤＣＴ係数を利
用するために、全てのフレームをＩピクチャである画像
データに変換して使用する。
用するために、全てのフレームをＩピクチャである画像
データに変換して使用する。
【００３７】なお、Ｉ，Ｐ，Ｂピクチャから構成される
ＭＥＰＧデータ１からＩピクチャへのへの変換は、例え
ば、下記文献（ロ）に記載されているように、符号化デ
ータを直接操作することにより可能である。
ＭＥＰＧデータ１からＩピクチャへのへの変換は、例え
ば、下記文献（ロ）に記載されているように、符号化デ
ータを直接操作することにより可能である。
【００３８】（ロ）Shin-Fu Chang and David G. Messe
rchmitt:“A New Approach to Decoding and Compositi
ng Motion-Compensated DCT-Based Images”,Proceedin
gs ofICASSP'93(1993).図２は、ＭＥＰＧデータ１およ
びＭＥＰＧデータ１のＤＣＴ係数の概略構成を示す図で
ある。
rchmitt:“A New Approach to Decoding and Compositi
ng Motion-Compensated DCT-Based Images”,Proceedin
gs ofICASSP'93(1993).図２は、ＭＥＰＧデータ１およ
びＭＥＰＧデータ１のＤＣＴ係数の概略構成を示す図で
ある。
【００３９】図２に示すように、ＭＥＰＧデータ１で
は、１フレームの画像データを、１ブロックが８×８画
素で構成されるＭ×Ｎブロックに分割し、そのブロック
単位にＤＣＴ演算を行い、それにより、図２の最下段の
ブロック内の数字１〜６４に示すＤＣＴ係数が得られ
る。
は、１フレームの画像データを、１ブロックが８×８画
素で構成されるＭ×Ｎブロックに分割し、そのブロック
単位にＤＣＴ演算を行い、それにより、図２の最下段の
ブロック内の数字１〜６４に示すＤＣＴ係数が得られ
る。
【００４０】本発明の実施の形態では、この８×８画素
のブロックのＤＣＴ係数の内、低周波成分のＤＣＴ係数
（図３に示すＥ１の領域のＤＣＴ係数）を適当な数を取
り出し、これを全ブロックに対して行い、取り出された
ＤＣＴ係数全体を並べた数値列を、そのフレームの特徴
ベクトル（ｆ）とする。
のブロックのＤＣＴ係数の内、低周波成分のＤＣＴ係数
（図３に示すＥ１の領域のＤＣＴ係数）を適当な数を取
り出し、これを全ブロックに対して行い、取り出された
ＤＣＴ係数全体を並べた数値列を、そのフレームの特徴
ベクトル（ｆ）とする。
【００４１】仮に、３２画素×３２画素の画像を使用
し、各ブロックからｉ個のＤＣＴ係数を取り出すとする
と、全部で１６個のブロックがあるので、この場合の特
徴ベクトルの次元は１６ｉとなる。
し、各ブロックからｉ個のＤＣＴ係数を取り出すとする
と、全部で１６個のブロックがあるので、この場合の特
徴ベクトルの次元は１６ｉとなる。
【００４２】ＭＰＥＧデータ１の１フレームの画像デー
タから１つの特徴ベクトル（ｆ）が得られるので、一連
の動画像を表示する連続したフレーム（画面）の画像デ
ータから特徴ベクトル列（Ｆ）が得られ、この特徴ベク
トル列（Ｆ）は、特徴格納用メモリ３に記録される。
タから１つの特徴ベクトル（ｆ）が得られるので、一連
の動画像を表示する連続したフレーム（画面）の画像デ
ータから特徴ベクトル列（Ｆ）が得られ、この特徴ベク
トル列（Ｆ）は、特徴格納用メモリ３に記録される。
【００４３】なお、特徴ベクトル（ｆ）として使用する
ＤＣＴ係数は、低周波成分の適当な数のＤＣＴ係数以外
に、水平方向の１番目のライン上のＤＣＴ係数（図３に
示すＥ２の領域のＤＣＴ係数）、垂直方法の１番目のラ
イン上のＤＣＴ係数（図３に示すＥ３の領域のＤＣＴ係
数）、あるいは、直流成分を含む対角線上のＤＣＴ係数
（図３に示すＥ４の領域のＤＣＴ係数）を使用するよう
にしてもよい。
ＤＣＴ係数は、低周波成分の適当な数のＤＣＴ係数以外
に、水平方向の１番目のライン上のＤＣＴ係数（図３に
示すＥ２の領域のＤＣＴ係数）、垂直方法の１番目のラ
イン上のＤＣＴ係数（図３に示すＥ３の領域のＤＣＴ係
数）、あるいは、直流成分を含む対角線上のＤＣＴ係数
（図３に示すＥ４の領域のＤＣＴ係数）を使用するよう
にしてもよい。
【００４４】水平方向の１番目のライン上のＤＣＴ係数
（図３に示すＥ２の領域のＤＣＴ係数）を特徴ベクトル
として使用することにより、動画像の特定パターンが主
に水平方向の動きが支配的である場合に、少ないＤＣＴ
係数で精度よく動画像の特徴を抽出することが可能であ
る。
（図３に示すＥ２の領域のＤＣＴ係数）を特徴ベクトル
として使用することにより、動画像の特定パターンが主
に水平方向の動きが支配的である場合に、少ないＤＣＴ
係数で精度よく動画像の特徴を抽出することが可能であ
る。
【００４５】また、垂直方法の１番目のライン上のＤＣ
Ｔ係数（図３に示すＥ３の領域のＤＣＴ係数）を特徴ベ
クトルとして使用することにより、動画像の特定パター
ンが主に垂直方向の動きが支配的である場合に、少ない
ＤＣＴ係数で精度よく動画像の特徴を抽出することが可
能である。
Ｔ係数（図３に示すＥ３の領域のＤＣＴ係数）を特徴ベ
クトルとして使用することにより、動画像の特定パター
ンが主に垂直方向の動きが支配的である場合に、少ない
ＤＣＴ係数で精度よく動画像の特徴を抽出することが可
能である。
【００４６】また、直流成分を含む対角線上のＤＣＴ係
数（図３に示すＥ４の領域のＤＣＴ係数）を特徴ベクト
ルとして使用することにより、動画像の特定パターンが
水平方法および垂直方向の動きの両方を含んでいる場合
に、少ないＤＣＴ係数で精度よく動画像の特徴を抽出す
ることが可能である。
数（図３に示すＥ４の領域のＤＣＴ係数）を特徴ベクト
ルとして使用することにより、動画像の特定パターンが
水平方法および垂直方向の動きの両方を含んでいる場合
に、少ないＤＣＴ係数で精度よく動画像の特徴を抽出す
ることが可能である。
【００４７】さらに、特徴ベクトル（ｆ）としては、Ｄ
ＣＴ係数と動き補償ベクトルとを併用することも可能で
あり、これにより、より詳細に動画像の特徴を抽出する
ことが可能となる。
ＣＴ係数と動き補償ベクトルとを併用することも可能で
あり、これにより、より詳細に動画像の特徴を抽出する
ことが可能となる。
【００４８】この特徴ベクトル列（Ｆ）は、量子化部４
でベクトル量子化によって、シンボル列（Ｏ）へ変換さ
れ、シンボル格納メモリ５に記録される。
でベクトル量子化によって、シンボル列（Ｏ）へ変換さ
れ、シンボル格納メモリ５に記録される。
【００４９】即ち、各特徴ベクトルはあらかじめ用意さ
れた量子化のための代表点の一覧に基づき、それらの内
で最も距離の近い代表点ベクトルに対応するシンボルに
変換される。
れた量子化のための代表点の一覧に基づき、それらの内
で最も距離の近い代表点ベクトルに対応するシンボルに
変換される。
【００５０】この代表点群をコードブックと呼び、この
コードブックは、各種類の動作画像から抽出した特徴ベ
クトルの一部を利用して、下記文献（ハ）に記載されて
いるＬＢＧアルゴリズムで作成した。
コードブックは、各種類の動作画像から抽出した特徴ベ
クトルの一部を利用して、下記文献（ハ）に記載されて
いるＬＢＧアルゴリズムで作成した。
【００５１】（ハ） Y.Linde, A.Buzo, R.M.Gray；“An
Algorithm for Vector Quantizer design”，IEEE Tra
ns.Commin. vol.COM-28（1980）.なお、このコードブッ
クの作成には、下記文献（ニ）に記載されているｋ−ｍ
ｅａｎ（ｋ−平均) アルゴリズムで作成してもよい。
Algorithm for Vector Quantizer design”，IEEE Tra
ns.Commin. vol.COM-28（1980）.なお、このコードブッ
クの作成には、下記文献（ニ）に記載されているｋ−ｍ
ｅａｎ（ｋ−平均) アルゴリズムで作成してもよい。
【００５２】（ニ）X.D.Huang,Y.Ariki,M.A.Jack；“Hi
dden Markov Model for Speech Recognition”，Edinbu
rg Univ.Press（1990）．今、コードブックを下記
（１）式のように表現するとすると、特徴ベクトル
（ｆ）は、下記式（２）に示すシンボル（Ｏｔ）に変換
される。
dden Markov Model for Speech Recognition”，Edinbu
rg Univ.Press（1990）．今、コードブックを下記
（１）式のように表現するとすると、特徴ベクトル
（ｆ）は、下記式（２）に示すシンボル（Ｏｔ）に変換
される。
【００５３】
【数１】 Ｃ＝ｃ1，ｃ2，．．．．．ｃN ・・・・・（１）
【００５４】
【数２】Ｏt＝ｖk ・・・・・（２） ｋ＝ａｒｇｍｉｎjｄ（ｆ，ｃj） 但し、ｄ（ｘ，ｙ）はｘ，ｙの距離 ここまでの処理によって、特徴ベクトル列（Ｆ）がシン
ボル列（Ｏ）に変換され、このシンボル列（Ｏ）を、状
態遷移モデルにより、学習、認識を行う。
ボル列（Ｏ）に変換され、このシンボル列（Ｏ）を、状
態遷移モデルにより、学習、認識を行う。
【００５５】なお、ここまでの動作については、認識
時、学習時ともに同一である。
時、学習時ともに同一である。
【００５６】この状態遷移モデルとしては、前記文献
（ニ）、あるいは、下記文献（ホ）に記載されている隠
れマルコフ（以下、ＨＭＭと称す。）モデルを使用す
る。
（ニ）、あるいは、下記文献（ホ）に記載されている隠
れマルコフ（以下、ＨＭＭと称す。）モデルを使用す
る。
【００５７】（ホ）中川聖一；“確率モデルによる音声
認識”，電子情報通信学会（1990） 学習時には、前記ＨＭＭモデルのパラメータの推定を行
い、また、認識時には、認識するカテゴリ数だけ用意さ
れ、認識用状態遷移モデル格納メモリ７に格納されたＨ
ＭＭモデルの各々から、認識対象の特徴ベクトル列
（Ｆ）が生成される確率を尤度算出部８によって算出す
る。
認識”，電子情報通信学会（1990） 学習時には、前記ＨＭＭモデルのパラメータの推定を行
い、また、認識時には、認識するカテゴリ数だけ用意さ
れ、認識用状態遷移モデル格納メモリ７に格納されたＨ
ＭＭモデルの各々から、認識対象の特徴ベクトル列
（Ｆ）が生成される確率を尤度算出部８によって算出す
る。
【００５８】以下、ＨＭＭモデルについて、簡単に説明
する。
する。
【００５９】ＨＭＭモデルは、確率的な状態遷移モデル
であり、時系列現象の発生源のモデル化と見ることがで
きる。
であり、時系列現象の発生源のモデル化と見ることがで
きる。
【００６０】図４は、ＨＭＭモデルの概念を示す概念図
である。
である。
【００６１】図４に示すように、ＨＭＭモデルには、複
数の状態（ｑ1〜ｑ5）が存在し、各状態（ｑ1〜ｑ5）か
ら他の状態へ遷移する確率（ａij）が与えられている。
数の状態（ｑ1〜ｑ5）が存在し、各状態（ｑ1〜ｑ5）か
ら他の状態へ遷移する確率（ａij）が与えられている。
【００６２】時刻が進につれて状態遷移が確率的に発生
し、さらに、各状態から確率的にシンボル（Ｏ1〜Ｏt）
が出力される。
し、さらに、各状態から確率的にシンボル（Ｏ1〜Ｏt）
が出力される。
【００６３】観測可能なのはこの出力シンボル列（Ｏ＝
Ｏ1，Ｏ2，．．．，Ｏt）であり、状態を直接観測する
ことができない。
Ｏ1，Ｏ2，．．．，Ｏt）であり、状態を直接観測する
ことができない。
【００６４】これが“隠れ”マルコフモデルの由来であ
る。
る。
【００６５】動作認識への適用においては、動作中にお
ける各姿勢が状態に当たり、従って、状態数は、認識対
象動作の長さや複雑さに応じて適当な数を選択する必要
がある。
ける各姿勢が状態に当たり、従って、状態数は、認識対
象動作の長さや複雑さに応じて適当な数を選択する必要
がある。
【００６６】また、動作認識への適用においては、状態
遷移確率が姿勢変化の時系列パターン自身とその伸縮な
どの変化を、シンボル出力確率が、各姿勢の揺らぎや姿
勢の観測結果の揺らぎを記述する部分に当たると解釈で
きる。
遷移確率が姿勢変化の時系列パターン自身とその伸縮な
どの変化を、シンボル出力確率が、各姿勢の揺らぎや姿
勢の観測結果の揺らぎを記述する部分に当たると解釈で
きる。
【００６７】ＨＭＭモデルは、以下のパラメータで記述
される。
される。
【００６８】
【数３】Ｓ＝｛ｓt｝：状態の集合。ｓt はｔ番目の状
態（観測できない） Ｏ＝Ｏ1 ，Ｏ2 ，... ，ＯT ；観測されたシンボル系列
（長さＴ） Ａ＝｛a ij｜a ij＝Pr（s t+1 ＝j｜s t ＝i）｝: 状態
遷移確率 a ijは状態（ｓi）から状態（ｓj）へ遷移する確率 Ｂ＝｛bj（Ｏt）｜bj（Ｏt）＝Pr（Ｏt｜st＝j）｝: シ
ンボル出力確率 ｂj（ｋ）は状態（ｓｊ）においてシンボル（υk）を出
力する確率 π＝｛πi｜πi＝Ｐｒ（ｓ1＝ｉ）｝: 初期状態確率 次に、ＨＭＭモデルを使用した時系列パターン（シンボ
ル列（Ｏ））の学習と認識の手順について説明する。
態（観測できない） Ｏ＝Ｏ1 ，Ｏ2 ，... ，ＯT ；観測されたシンボル系列
（長さＴ） Ａ＝｛a ij｜a ij＝Pr（s t+1 ＝j｜s t ＝i）｝: 状態
遷移確率 a ijは状態（ｓi）から状態（ｓj）へ遷移する確率 Ｂ＝｛bj（Ｏt）｜bj（Ｏt）＝Pr（Ｏt｜st＝j）｝: シ
ンボル出力確率 ｂj（ｋ）は状態（ｓｊ）においてシンボル（υk）を出
力する確率 π＝｛πi｜πi＝Ｐｒ（ｓ1＝ｉ）｝: 初期状態確率 次に、ＨＭＭモデルを使用した時系列パターン（シンボ
ル列（Ｏ））の学習と認識の手順について説明する。
【００６９】《学習時の手順》モデルパラメータ推定部
６は、各カテゴリ毎に複数与えられた学習用データから
得られたシンボル列（Ｏ）に対して、そのシンボル列
（Ｏ）を発生するような状態遷移モデルのパラメータを
推定し、認識用状態遷移モデル格納メモリ７に蓄える。
６は、各カテゴリ毎に複数与えられた学習用データから
得られたシンボル列（Ｏ）に対して、そのシンボル列
（Ｏ）を発生するような状態遷移モデルのパラメータを
推定し、認識用状態遷移モデル格納メモリ７に蓄える。
【００７０】ＨＭＭモデルによる認識系は、各カテゴリ
毎に１つのＨＭＭモデルから構成される。
毎に１つのＨＭＭモデルから構成される。
【００７１】いま、認識対象の各カテゴリ毎のＨＭＭモ
デルをλi（＝｛Ａi，Ｂi，πi｝）とすると、このλi
の学習を各カテゴリ毎の学習パターンを用いて行う。
デルをλi（＝｛Ａi，Ｂi，πi｝）とすると、このλi
の学習を各カテゴリ毎の学習パターンを用いて行う。
【００７２】ここで、学習とは、学習パターンを発生し
やすいようなＨＭＭモデルのパラメータ、即ち、状態遷
移確率Ａi、シンボル出力確率Ｂiと初期状態確率πiを
推定することに他ならない。
やすいようなＨＭＭモデルのパラメータ、即ち、状態遷
移確率Ａi、シンボル出力確率Ｂiと初期状態確率πiを
推定することに他ならない。
【００７３】学習パターンからＨＭＭモデルのパラメー
タを推定するには、前記文献（ニ）、あるいは、文献
（ホ）に記載されているＢａｕｎ−Ｗｅｌｃｈアルゴリ
ズムを使用する。
タを推定するには、前記文献（ニ）、あるいは、文献
（ホ）に記載されているＢａｕｎ−Ｗｅｌｃｈアルゴリ
ズムを使用する。
【００７４】具体的には、ある初期値から順に、より尤
度の高いＨＭＭモデルのパラメータを求めることを、尤
度の値、変化などから充分収束したと見なせるまで繰り
返す手続き、即ち、あるＨＭＭモデルのパラメータをも
とに、それよりもより尤度の高いモデルパラメータを求
めることを繰り返していく手続きである。
度の高いＨＭＭモデルのパラメータを求めることを、尤
度の値、変化などから充分収束したと見なせるまで繰り
返す手続き、即ち、あるＨＭＭモデルのパラメータをも
とに、それよりもより尤度の高いモデルパラメータを求
めることを繰り返していく手続きである。
【００７５】繰り返し毎に、前記文献（ニ）に記載され
ているｆｏｒｗａｒｄアルゴリズムによって尤度の値を
確認することで収束の確認が可能である。
ているｆｏｒｗａｒｄアルゴリズムによって尤度の値を
確認することで収束の確認が可能である。
【００７６】数式で表現すると、
【００７７】
【数４】
【００７８】
【数５】
【００７９】
【数６】
【００８０】
【数７】
【００８１】但し、ここで、
【００８２】
【数８】
【００８３】
【数９】
【００８４】前記各式の意味するところは、（３）式
は、ＨＭＭモデルλのもとでのａijの再評価であり、
（４）式は、ＨＭＭモデルλのもとでのｂi（ｋ）の再
評価である。
は、ＨＭＭモデルλのもとでのａijの再評価であり、
（４）式は、ＨＭＭモデルλのもとでのｂi（ｋ）の再
評価である。
【００８５】前記した手続きによって、学習データに対
応する認識用状態遷移モデルのパラメータを求めること
ができる。
応する認識用状態遷移モデルのパラメータを求めること
ができる。
【００８６】こうして求めた各カテゴリ毎のモデルを認
識の際に使用する。
識の際に使用する。
【００８７】《認識時の手順》認識の手順は、各ＨＭＭ
モデルの尤度計算と最大値の選択で行われる。
モデルの尤度計算と最大値の選択で行われる。
【００８８】認識対象のパターンに対して、λiが、認
識対象パターンであるシンボル列（Ｏ＝Ｏ1，
Ｏ2，．．．．，Ｏt）を出力する確率（尤度）Ｐｒ（Ｏ
｜λi）を計算する。
識対象パターンであるシンボル列（Ｏ＝Ｏ1，
Ｏ2，．．．．，Ｏt）を出力する確率（尤度）Ｐｒ（Ｏ
｜λi）を計算する。
【００８９】尤度の計算は、前記文献（ニ）に記載され
ているｆｏｒｗａｒｄアルゴリズムによって再帰的に、
以下のようにして求めることができる。
ているｆｏｒｗａｒｄアルゴリズムによって再帰的に、
以下のようにして求めることができる。
【００９０】即ち、あるモデルλ＝｛Ａ，Ｂ，π｝がシ
ンボル系列（Ｏ＝Ｏ1，Ｏ2，... ，Ｏt）を出力する確
率Ｐｒ（Ｏ｜λｉ）は、
ンボル系列（Ｏ＝Ｏ1，Ｏ2，... ，Ｏt）を出力する確
率Ｐｒ（Ｏ｜λｉ）は、
【００９１】
【数１０】
【００９２】ただし、ここで、ＳFは最終状態の集合、
αT（ｉ）は、
αT（ｉ）は、
【００９３】
【数１１】
【００９４】で定義される値で、ＨＭＭモデルλがシン
ボル系列（Ｏ＝Ｏ1，Ｏ2，．．．．，Ｏt）を発生し
て、時間ｔにおいて状態（Ｓt＝ｉ）である確率であ
る。
ボル系列（Ｏ＝Ｏ1，Ｏ2，．．．．，Ｏt）を発生し
て、時間ｔにおいて状態（Ｓt＝ｉ）である確率であ
る。
【００９５】これは、
【００９６】
【数１２】
【００９７】の漸化式で求められる。
【００９８】こうして求められた尤度が最大となるモデ
ル、即ち、式（１）から式（１１）で求めたＰｒ（Ｏ｜
λi）から、尤度最大のλiに対するカテゴリ（Ｇk）
（ｋ＝ａｒｇｍａｘiＰｒ（Ｏ｜λi））が認識結果とし
て選択され、認識結果用メモリ６に蓄えられる。
ル、即ち、式（１）から式（１１）で求めたＰｒ（Ｏ｜
λi）から、尤度最大のλiに対するカテゴリ（Ｇk）
（ｋ＝ａｒｇｍａｘiＰｒ（Ｏ｜λi））が認識結果とし
て選択され、認識結果用メモリ６に蓄えられる。
【００９９】また、検索時には、検索対象となるＭＥＰ
Ｇデータ１のどの部分が、検索対象に対応するＨＭＭモ
デルに対して尤度最大となるかを、ＭＥＰＧデータ１の
中をスキャンして検索を行う。
Ｇデータ１のどの部分が、検索対象に対応するＨＭＭモ
デルに対して尤度最大となるかを、ＭＥＰＧデータ１の
中をスキャンして検索を行う。
【０１００】この場合、効率的にＭＥＰＧデータ１の中
の最大尤度部分を求めるには、前記文献（ホ）に記載さ
れているＨＭＭスポッティングアルゴリズムを使用する
ことが可能である。
の最大尤度部分を求めるには、前記文献（ホ）に記載さ
れているＨＭＭスポッティングアルゴリズムを使用する
ことが可能である。
【０１０１】以上の処理フローから明らかなように、Ｈ
ＭＭモデルによる認識は最尤推定により行われ、また、
学習は、学習用データからのＨＭＭモデルのパラメータ
の推定という形で実現される。
ＭＭモデルによる認識は最尤推定により行われ、また、
学習は、学習用データからのＨＭＭモデルのパラメータ
の推定という形で実現される。
【０１０２】そして、シンボル系列全体から尤度計算が
行われるため、カテゴリに特有のシンボル列パターンが
現れていれば、時間軸方向の多少の移動、伸縮等に対し
て強いというメリットがある。
行われるため、カテゴリに特有のシンボル列パターンが
現れていれば、時間軸方向の多少の移動、伸縮等に対し
て強いというメリットがある。
【０１０３】また、動画像の時系列パターンの各時点ま
での尤度を求め、これに対して閾値処理等を施すことで
特定の時系列パターンの検索が可能となる。
での尤度を求め、これに対して閾値処理等を施すことで
特定の時系列パターンの検索が可能となる。
【０１０４】次に、本発明の実施の形態に基づく実験結
果例として、テニス動作画像を対象とした２つの人物動
作確認実験結果について説明する。
果例として、テニス動作画像を対象とした２つの人物動
作確認実験結果について説明する。
【０１０５】〔実験１〕本発明の実施の形態において、
実験１に使用したテニス動作画像の写真の一例を図５に
示す。
実験１に使用したテニス動作画像の写真の一例を図５に
示す。
【０１０６】図５の上段に示すテニス動作画像から、図
５の下段に示すように、背景差分により人物領域を抽出
し、この人物領域が抽出された画像例をもとに作成した
ＭＥＰＧデータを認識対象とし、ＤＣＴ計数を特徴量と
したときの認識性能を評価した。
５の下段に示すように、背景差分により人物領域を抽出
し、この人物領域が抽出された画像例をもとに作成した
ＭＥＰＧデータを認識対象とし、ＤＣＴ計数を特徴量と
したときの認識性能を評価した。
【０１０７】認識性能は、各ブロック（８×８画素）当
たりのＤＣＴ係数を、低次成分から順に１列づつ、即
ち、１、３、６、１０、１５、２１、２８個抽出して、
それぞれ実験を行い、認識率を求めた。
たりのＤＣＴ係数を、低次成分から順に１列づつ、即
ち、１、３、６、１０、１５、２１、２８個抽出して、
それぞれ実験を行い、認識率を求めた。
【０１０８】なお、各ブロック当たりのＤＣＴ係数が１
のときは、ＤＣ成分のみとなる。
のときは、ＤＣ成分のみとなる。
【０１０９】また、画像サイズは、１６×１６画素（マ
クロブロック単位で１×１ブロック）、３２×３２画素
（マクロブロック単位で２×２ブロック）の２種類とし
た。
クロブロック単位で１×１ブロック）、３２×３２画素
（マクロブロック単位で２×２ブロック）の２種類とし
た。
【０１１０】また、量子化のためのコードブックのサイ
ズは、各クラスサイズ８、６クラス合計で４８とし、Ｌ
ＢＧアルゴリズムにより作成し、ＨＭＭモデルの状態数
は１２、シンボル数は４８である。
ズは、各クラスサイズ８、６クラス合計で４８とし、Ｌ
ＢＧアルゴリズムにより作成し、ＨＭＭモデルの状態数
は１２、シンボル数は４８である。
【０１１１】図６は、本発明の実施の形態の実験１で対
象とするテニス動作画像を示す写真である。
象とするテニス動作画像を示す写真である。
【０１１２】図６に示すように、対象としたテニス動作
は、バックハンドボレイ（ｂａｃｋ−ｖｏｌｌｅｙ）、
バックハンドストローク（ｂａｃｋ−ｓｔｒｏｋｅ）、
フォアハンドボレイ（ｆｏｒｅ−ｖｏｌｌｅｙ）、フォ
アハンドストローク（ｆｏｒｅ−ｓｔｒｏｋｅ）、スマ
ッシュ（ｓｍａｓｈ）、サービス（ｓｅｒｖｉｃｅ）の
６カテゴリである。
は、バックハンドボレイ（ｂａｃｋ−ｖｏｌｌｅｙ）、
バックハンドストローク（ｂａｃｋ−ｓｔｒｏｋｅ）、
フォアハンドボレイ（ｆｏｒｅ−ｖｏｌｌｅｙ）、フォ
アハンドストローク（ｆｏｒｅ−ｓｔｒｏｋｅ）、スマ
ッシュ（ｓｍａｓｈ）、サービス（ｓｅｒｖｉｃｅ）の
６カテゴリである。
【０１１３】６カテゴリの動作のそれぞれについて、１
０試行の動作画像データを収集し、このうちの５試行を
学習用データとして使用し、ＨＭＭモデルのパラメータ
の推定を行い、残りの５試行をテストデータとして、認
識実験を行った。
０試行の動作画像データを収集し、このうちの５試行を
学習用データとして使用し、ＨＭＭモデルのパラメータ
の推定を行い、残りの５試行をテストデータとして、認
識実験を行った。
【０１１４】この場合に、１０試行のうちから５試行を
選択する選択方法を１０通りに変えて実験を行った。
選択する選択方法を１０通りに変えて実験を行った。
【０１１５】したがって、認識率は、５×１０×６＝３
００回の認識実験のうち何回成功したかで評価される。
００回の認識実験のうち何回成功したかで評価される。
【０１１６】この認識実験結果を、表１、表２に示す。
【０１１７】
【表１】
【０１１８】
【表２】
【０１１９】表１、表示２から理解できるように、特徴
量として使用するＤＣＴ係数を増やすことにより、認識
率が大きく向上しており、比較的低周波成分のＤＣＴ係
数が人物動作の画像認識のための特徴量として有効であ
ることがわかった。
量として使用するＤＣＴ係数を増やすことにより、認識
率が大きく向上しており、比較的低周波成分のＤＣＴ係
数が人物動作の画像認識のための特徴量として有効であ
ることがわかった。
【０１２０】また、対象画像が比較的小さい場合でも、
ＤＣＴ係数を高周波成分まで使用することにより、９８
％以上の認識率が得られ、画像が大きい場合と遜色のな
い認識率を実現できることがわかった。
ＤＣＴ係数を高周波成分まで使用することにより、９８
％以上の認識率が得られ、画像が大きい場合と遜色のな
い認識率を実現できることがわかった。
【０１２１】〔実験２〕本発明の実施の形態において、
複数種の動作を含む一連の動画像データを対象として、
動画像検索への適用実験を行った。
複数種の動作を含む一連の動画像データを対象として、
動画像検索への適用実験を行った。
【０１２２】各動作カテゴリの学習済ＨＭＭモデルによ
り、各時点まででの尤度最大のＨＭＭモデルを選ぶこと
により、動作の検索が行えるかを検討した。
り、各時点まででの尤度最大のＨＭＭモデルを選ぶこと
により、動作の検索が行えるかを検討した。
【０１２３】画面サイズは３２×３２画素を使用し、特
徴量としてＤＣＴ係数は各ブロック当たり６とした。
徴量としてＤＣＴ係数は各ブロック当たり６とした。
【０１２４】図７は、本発明の実施の形態における、実
験２の実験結果を示すグラフである。
験２の実験結果を示すグラフである。
【０１２５】図７は、各時点までの観測に基づいて、そ
れぞれ６カテゴリのＨＭＭモデルの対数尤度をプロット
したグラフである。
れぞれ６カテゴリのＨＭＭモデルの対数尤度をプロット
したグラフである。
【０１２６】したがって、尤度は、動作の終了時に最大
となることが期待される。
となることが期待される。
【０１２７】図７に示すグラフから、各対象動作のＨＭ
Ｍモデルが順に最大尤度となっていることが確認でき、
閾値処理により動作区間の切り出しが可能であることが
理解できる。
Ｍモデルが順に最大尤度となっていることが確認でき、
閾値処理により動作区間の切り出しが可能であることが
理解できる。
【０１２８】これにより、連続動画像データの中の特定
の動作パターンの検索が可能である。
の動作パターンの検索が可能である。
【０１２９】なお、前記本発明の実施の形態の説明にお
いては、ＭＥＰＧ、ＭＥＰＧ２等の標準符号化方式によ
り符号化されたＭＥＰＧデータを使用したが、これに限
定されるものではなく、例えば、ｍｏｔｉｏｎ−ＪＰＥ
Ｇ等の標準符号化方式により符号化されたデータを使用
できることはいうまでもない。
いては、ＭＥＰＧ、ＭＥＰＧ２等の標準符号化方式によ
り符号化されたＭＥＰＧデータを使用したが、これに限
定されるものではなく、例えば、ｍｏｔｉｏｎ−ＪＰＥ
Ｇ等の標準符号化方式により符号化されたデータを使用
できることはいうまでもない。
【０１３０】以上、本発明を発明の実施の形態に基づい
て具体的に説明したが、本発明は、前記発明の実施の形
態に限定されるものではなく、その要旨を逸脱しない範
囲において種々変更し得ることはいうまでもない。
て具体的に説明したが、本発明は、前記発明の実施の形
態に限定されるものではなく、その要旨を逸脱しない範
囲において種々変更し得ることはいうまでもない。
【０１３１】
【発明の効果】本願で開示される発明のうち、代表的な
ものによって得られる効果を簡単に説明すれば、下記の
通りである。
ものによって得られる効果を簡単に説明すれば、下記の
通りである。
【０１３２】（１）本発明によれば、特徴量としてＤＣ
Ｔ係数、あるいは、ＤＣＴ係数および動き補償ベクトル
を使用するようにしたので、ＭＥＰＧ，ＭＥＰＧ２等の
標準符号化方式で圧縮された少容量の動画像データか
ら、特定の動画像パターンを直接認識・検索することが
可能となる。
Ｔ係数、あるいは、ＤＣＴ係数および動き補償ベクトル
を使用するようにしたので、ＭＥＰＧ，ＭＥＰＧ２等の
標準符号化方式で圧縮された少容量の動画像データか
ら、特定の動画像パターンを直接認識・検索することが
可能となる。
【０１３３】これにより、データ処理の処理時間を少な
くすることが可能となる。
くすることが可能となる。
【０１３４】（２）本発明によれば、特徴ベクトル系列
全体から尤度計算が行われるため、カテゴリに特有の特
徴ベクトル列パターンが現れていれば、時間軸方向の多
少の移動、伸縮等があっても、特定の動画像パターンを
精度良く認識・検索することが可能となる。
全体から尤度計算が行われるため、カテゴリに特有の特
徴ベクトル列パターンが現れていれば、時間軸方向の多
少の移動、伸縮等があっても、特定の動画像パターンを
精度良く認識・検索することが可能となる。
【０１３５】（３）本発明によれば、特徴量として使用
するＤＣＴ係数を高周波成分まで使用することにより、
認識率を大幅に向上させることができ、また、対象画像
が比較的小さい場合であっても、特徴量として使用する
ＤＣＴ係数を高周波成分まで使用することにより、認識
率を向上させることが可能である。
するＤＣＴ係数を高周波成分まで使用することにより、
認識率を大幅に向上させることができ、また、対象画像
が比較的小さい場合であっても、特徴量として使用する
ＤＣＴ係数を高周波成分まで使用することにより、認識
率を向上させることが可能である。
【０１３６】（４）本発明によれば、銀行や商店におけ
る不審行動監視、スポーツなどの動画から所望の動作部
分の切り出しなどに広く適用できる。
る不審行動監視、スポーツなどの動画から所望の動作部
分の切り出しなどに広く適用できる。
【図１】本発明の一発明の実施の形態である動画像認識
方法および動画像認識検索方法が適用される動画像認識
検索装置の概略構成を示す機能ブロック図である。
方法および動画像認識検索方法が適用される動画像認識
検索装置の概略構成を示す機能ブロック図である。
【図２】ＭＥＰＧデータ１およびＭＥＰＧデータ１のＤ
ＣＴ係数の概略構成を示す図である。
ＣＴ係数の概略構成を示す図である。
【図３】本発明の実施の形態形態における、ＤＣＴ係数
の抽出方法を説明するための図である。
の抽出方法を説明するための図である。
【図４】ＨＭＭモデル（隠れマルコフ）の概念を示す概
念図である。
念図である。
【図５】本発明の実施の形態において、実験１に使用し
たテニス動作画像の例を示すディスプレイ上に表示した
中間調画像である。
たテニス動作画像の例を示すディスプレイ上に表示した
中間調画像である。
【図６】本発明の実施の形態の実験１で対象とするテニ
ス動作画像を示すディスプレイ上に表示した中間調画像
である。
ス動作画像を示すディスプレイ上に表示した中間調画像
である。
【図７】本発明の実施の形態の実験２の実験結果を示す
グラフである。
グラフである。
２…特徴抽出部、３…特徴格納用メモリ、４…量子化
部、５…シンボル列格納用メモリ、６…モデルパラメー
タ推定部、７…認識用状態遷移モデル格納メモリ、８…
尤度算出部、９…認識結果用メモリ。
部、５…シンボル列格納用メモリ、６…モデルパラメー
タ推定部、７…認識用状態遷移モデル格納メモリ、８…
尤度算出部、９…認識結果用メモリ。
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成８年６月２７日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
Claims (16)
- 【請求項１】 一連の動画像の動画像パターンを認識す
る動画像認識方法において、一連の動画像を表示する各
画面の画像データをＭ×Ｎのブロックに区切り、各ブロ
ックのＤＣＴ係数を抽出するステップと、前記ＤＣＴ係
数の少なくとも１つを各画面の特徴ベクトルとして抽出
するステップと、特定の動画像パターンを表示する各画
面の特徴ベクトルで構成される時系列の特徴ベクトル列
により、確率的な状態遷移モデルを、認識キーとなる複
数の特定の動画像パターン毎に学習するステップと、認
識対象である一連の動画像を表示する各画面の画像デー
タから抽出された特徴ベクトルで構成される時系列の特
徴ベクトル列の、前記学習により得られた複数の状態遷
移モデルに対する尤度が最大となる状態遷移モデルの動
画像パターンを認識結果として出力するステップとを具
備することを特徴とする動画像認識方法。 - 【請求項２】 前記認識対象である一連の動画像を表示
する各画面の画像データが、標準符号化方式により圧縮
されており、各画面の特徴ベクトルとして、標準符号化
方式により圧縮された各画面の画像データ中に含まれる
ＤＣＴ係数の一部を使用することを特徴とする請求項１
に記載された動画像認識方法。 - 【請求項３】 前記各画面の特徴ベクトルとして、ＤＣ
Ｔ係数とともに動きベクトルを使用することを特徴とす
る請求項１に記載された動画像認識方法。 - 【請求項４】 前記認識対象である一連の動画像を表示
する各画面の画像データが、標準符号化方式により圧縮
されており、各画面の特徴ベクトルとして、標準符号化
方式により圧縮された各画面の画像データ中に含まれる
ＤＣＴ係数の一部、および、動き補償ベクトルを使用す
ることを特徴とする請求項３に記載された動画像認識方
法。 - 【請求項５】 前記標準符号化方式により圧縮された各
画面の画像データ中に含まれるＤＣＴ係数の内、３ない
し２１個の低周波成分のＤＣＴ係数を特徴ベクトルして
使用することを特徴とする請求項２または請求項４に記
載された画像認識方法。 - 【請求項６】 前記標準符号化方式により圧縮された各
画面の画像データ中に含まれるＤＣＴ係数の内、水平方
向の１番目のライン上のＤＣＴ係数を特徴ベクトルして
使用することを特徴とする請求項２または請求項４に記
載された画像認識方法。 - 【請求項７】 前記標準符号化方式により圧縮された各
画面の画像データ中に含まれるＤＣＴ係数の内、垂直方
法の１番目のライン上のＤＣＴ係数を特徴ベクトルして
使用することを特徴とする請求項２または請求項４に記
載された画像認識方法。 - 【請求項８】 前記標準符号化方式により圧縮された各
画面の画像データ中に含まれるＤＣＴ係数の内、直流成
分を含む対角線上のＤＣＴ係数を特徴ベクトルして使用
することを特徴とする請求項２または請求項４に記載さ
れた画像認識方法。 - 【請求項９】 一連の動画像の中から、特定の動画像パ
ターンを含む時間領域を抽出する動画像認識検索方法に
おいて、一連の動画像を表示する各画面の画像データを
Ｍ×Ｎのブロックに区切り、各ブロックのＤＣＴ係数を
抽出するステップと、前記ＤＣＴ係数の少なくとも１つ
を各画面の特徴ベクトルとして抽出するステップと、検
索キーとなる特定の動画像パターンを表示する各画面の
特徴ベクトルで構成される時系列の特徴ベクトル列によ
り、確率的な状態遷移モデルを学習するステップと、検
索対象である一連の動画像を表示する各画面の画像デー
タから抽出された特徴ベクトルで構成される時系列の特
徴ベクトル列の中で、前記学習により得られた状態遷移
モデルに対する尤度が高い時間領域を検索結果として出
力するステップとを具備することを特徴とする動画像認
識検索方法。 - 【請求項１０】 前記検索対象である一連の動画像を表
示する各画面の画像データが、標準符号化方式により圧
縮されており、各画面の特徴ベクトルとして、標準符号
化方式により圧縮された各画面の画像データ中に含まれ
るＤＣＴ係数の一部を使用することを特徴とする請求項
９に記載された動画像認識検索方法。 - 【請求項１１】 前記各画面の特徴ベクトルとして、Ｄ
ＣＴ係数とともに動きベクトルを使用することを特徴と
する請求項９に記載された動画像認識検索方法。 - 【請求項１２】 前記検索対象である一連の動画像を表
示する各画面の画像データが、標準符号化方式により圧
縮されており、各画面の特徴ベクトルとして、標準符号
化方式により圧縮された各画面の画像データ中に含まれ
るＤＣＴ係数の一部、および、動き補償ベクトルを使用
することを特徴とする請求項１１に記載された動画像認
識検索方法。 - 【請求項１３】 前記標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の内、３な
いし２１個の低周波成分のＤＣＴ係数を特徴ベクトルし
て使用することを特徴とする請求項１０または請求項１
２に記載された画像認識検索方法。 - 【請求項１４】 前記標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の内、水平
方向の１番目のライン上のＤＣＴ係数を特徴ベクトルし
て使用することを特徴とする請求項１０または請求項１
２に記載された画像認識検索方法。 - 【請求項１５】 前記標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の内、垂直
方法の１番目のライン上のＤＣＴ係数を特徴ベクトルし
て使用することを特徴とする請求項１０または請求項１
２に記載された画像認識検索方法。 - 【請求項１６】 前記標準符号化方式により圧縮された
各画面の画像データ中に含まれるＤＣＴ係数の内、直流
成分を含む対角線上のＤＣＴ係数を特徴ベクトルして使
用することを特徴とする請求項１０または請求項１２に
記載された画像認識検索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16443096A JPH1013832A (ja) | 1996-06-25 | 1996-06-25 | 動画像認識方法および動画像認識検索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16443096A JPH1013832A (ja) | 1996-06-25 | 1996-06-25 | 動画像認識方法および動画像認識検索方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1013832A true JPH1013832A (ja) | 1998-01-16 |
Family
ID=15793014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16443096A Pending JPH1013832A (ja) | 1996-06-25 | 1996-06-25 | 動画像認識方法および動画像認識検索方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1013832A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001086434A (ja) * | 1999-07-08 | 2001-03-30 | Hyundai Electronics Ind Co Ltd | 動き程度記述方法を用いる動映像索引及び検索方法 |
| WO2004006185A1 (ja) * | 2002-07-09 | 2004-01-15 | Sony Corporation | 類似度算出方法及び装置 |
| JP2004348741A (ja) * | 2003-05-20 | 2004-12-09 | Mitsubishi Electric Information Technology Centre Europa Bv | 画像の比較方法、方法を実行するためのプログラムを記憶するコンピュータ可読記憶媒体、および方法を実行する装置 |
| JP2006505875A (ja) * | 2002-11-07 | 2006-02-16 | 本田技研工業株式会社 | 確率的外観集合体を使用するビデオに基づく顔認識 |
| JP2006178974A (ja) * | 2004-12-23 | 2006-07-06 | Ricoh Co Ltd | 情報処理方法、情報処理装置及びデータ処理装置 |
| JP2007226349A (ja) * | 2006-02-21 | 2007-09-06 | Nippon Telegr & Teleph Corp <Ntt> | 隠れマルコフモデル検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
| US7356190B2 (en) | 2002-07-02 | 2008-04-08 | Canon Kabushiki Kaisha | Image area extraction method, image reconstruction method using the extraction result and apparatus thereof |
| JP2008300943A (ja) * | 2007-05-29 | 2008-12-11 | Sharp Corp | 画像復号装置及び画像符号化装置 |
| JP2011205693A (ja) * | 2011-06-14 | 2011-10-13 | Sharp Corp | 画像復号装置及び画像符号化装置 |
| JP2014030164A (ja) * | 2012-03-13 | 2014-02-13 | Canon Inc | 動画像情報処理方法及び装置、動画像パターン識別方法及び装置 |
-
1996
- 1996-06-25 JP JP16443096A patent/JPH1013832A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001086434A (ja) * | 1999-07-08 | 2001-03-30 | Hyundai Electronics Ind Co Ltd | 動き程度記述方法を用いる動映像索引及び検索方法 |
| US7542615B2 (en) | 2002-07-02 | 2009-06-02 | Canon Kabushiki Kaisha | Image area extraction method, image reconstruction method using the extraction result and apparatus thereof |
| US7356190B2 (en) | 2002-07-02 | 2008-04-08 | Canon Kabushiki Kaisha | Image area extraction method, image reconstruction method using the extraction result and apparatus thereof |
| CN1324509C (zh) * | 2002-07-09 | 2007-07-04 | 索尼株式会社 | 近似性计算方法和设备 |
| US7260488B2 (en) | 2002-07-09 | 2007-08-21 | Sony Corporation | Similarity calculation method and device |
| JP2004046370A (ja) * | 2002-07-09 | 2004-02-12 | Sony Corp | 類似度算出方法及び装置、並びにプログラム及び記録媒体 |
| WO2004006185A1 (ja) * | 2002-07-09 | 2004-01-15 | Sony Corporation | 類似度算出方法及び装置 |
| JP2006505875A (ja) * | 2002-11-07 | 2006-02-16 | 本田技研工業株式会社 | 確率的外観集合体を使用するビデオに基づく顔認識 |
| JP2004348741A (ja) * | 2003-05-20 | 2004-12-09 | Mitsubishi Electric Information Technology Centre Europa Bv | 画像の比較方法、方法を実行するためのプログラムを記憶するコンピュータ可読記憶媒体、および方法を実行する装置 |
| JP2006178974A (ja) * | 2004-12-23 | 2006-07-06 | Ricoh Co Ltd | 情報処理方法、情報処理装置及びデータ処理装置 |
| JP2007226349A (ja) * | 2006-02-21 | 2007-09-06 | Nippon Telegr & Teleph Corp <Ntt> | 隠れマルコフモデル検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
| JP2008300943A (ja) * | 2007-05-29 | 2008-12-11 | Sharp Corp | 画像復号装置及び画像符号化装置 |
| JP2011205693A (ja) * | 2011-06-14 | 2011-10-13 | Sharp Corp | 画像復号装置及び画像符号化装置 |
| JP2014030164A (ja) * | 2012-03-13 | 2014-02-13 | Canon Inc | 動画像情報処理方法及び装置、動画像パターン識別方法及び装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3835919B2 (ja) | 動画像復号装置 | |
| JP3887178B2 (ja) | 信号符号化方法及び装置並びに復号方法及び装置 | |
| US8472745B2 (en) | Image processing method, apparatus, program, and recording medium for the same | |
| US7292731B2 (en) | Image encoder, image decoder, image encoding method, and image decoding method | |
| JP5680283B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム | |
| CN101779463B (zh) | 用于处理图像的方法以及相应的电子设备 | |
| RU2335803C2 (ru) | Способ и устройство покадрового кодирования остаточного движения на основании сверхполного базисного преобразования для уплотнения видеоизображения | |
| JP4612797B2 (ja) | 符号化装置、符号化方法 | |
| JPH1013832A (ja) | 動画像認識方法および動画像認識検索方法 | |
| KR100378339B1 (ko) | 동화상 부호방법 및 부호장치와 동화상 부호 프로그램을기록하는 기록매체 | |
| JP4687658B2 (ja) | 画像の認識装置 | |
| CN119155452A (zh) | 基于内容生成的图像编解码方法、电子设备和存储介质 | |
| JPH06251159A (ja) | 動作認識装置 | |
| CN118042146A (zh) | 一种基于图像视觉重要区域的图像块编码决策方法 | |
| KR100361939B1 (ko) | 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체 | |
| Iwai et al. | Self texture transfer networks for low bitrate image compression | |
| CN113556551A (zh) | 一种编码、解码方法、装置及设备 | |
| JP2003299096A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される係数種データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP2004350300A (ja) | 画像信号の復号化装置 | |
| JP4052285B2 (ja) | 画像信号の符号化装置 | |
| KR100855450B1 (ko) | 동영상 객체의 모션 스타일 전이 방법 및 이에 적용되는장치 | |
| JP5375697B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、及びプログラム | |
| Wu et al. | Generative Memorize-Then-Recall framework for low bit-rate Surveillance Video Compression | |
| CN115567719A (zh) | 一种多层次卷积的视频压缩方法和系统 | |
| Huang et al. | A cascading MRVQ-DCT scheme for the compression of sequence images |