JPH06251159A - 動作認識装置 - Google Patents
動作認識装置Info
- Publication number
- JPH06251159A JPH06251159A JP3958393A JP3958393A JPH06251159A JP H06251159 A JPH06251159 A JP H06251159A JP 3958393 A JP3958393 A JP 3958393A JP 3958393 A JP3958393 A JP 3958393A JP H06251159 A JPH06251159 A JP H06251159A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- model
- vector
- motion
- codebook
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 認識の成功率を向上（失敗の低減）する。
【構成】 各種カテゴリに分類される動作を撮影した入
力画像から特徴量を抽出し、ベクトルで表現し、該ベク
トルを予め作成したコードブックを参照してシンボル列
に変換し、該シンボル列を入力データとしてカテゴリに
対応する確率的状態遷移モデルとしての動作の時系列モ
デルを学習データによるトレーニングによって獲得し、
認識対象画像が入力された際、前記各モデルが認識対象
動作を生成する確率を各々計算し、各モデルが生起する
確率の中で最も尤度の高いモデルに対応する動作を認識
結果出力として選び出す動作認識装置において、前記ベ
クトル量子化のコードブックを認識カテゴリ毎に用意し
ておく手段と、それらを使用して動画像をシンボル列に
変換する手段と、その変換の際にコードブック中の最近
傍代表点までの距離に応じた重みをつけて尤度を計算す
る手段を備える。
力画像から特徴量を抽出し、ベクトルで表現し、該ベク
トルを予め作成したコードブックを参照してシンボル列
に変換し、該シンボル列を入力データとしてカテゴリに
対応する確率的状態遷移モデルとしての動作の時系列モ
デルを学習データによるトレーニングによって獲得し、
認識対象画像が入力された際、前記各モデルが認識対象
動作を生成する確率を各々計算し、各モデルが生起する
確率の中で最も尤度の高いモデルに対応する動作を認識
結果出力として選び出す動作認識装置において、前記ベ
クトル量子化のコードブックを認識カテゴリ毎に用意し
ておく手段と、それらを使用して動画像をシンボル列に
変換する手段と、その変換の際にコードブック中の最近
傍代表点までの距離に応じた重みをつけて尤度を計算す
る手段を備える。
Description
【０００１】
【産業上の利用分野】本発明は、動画像からの人間等の
動物体の動作のパタンの認識を行う動作認識装置に関す
るものである。
動物体の動作のパタンの認識を行う動作認識装置に関す
るものである。
【０００２】
【従来の技術】動画像を対象とするパタン認識技術は、
近年多くの研究が行われているが、発明者は、特願平３
−２０５０３３で、人間の動作認識において、時系列画
像から得た特徴量ベクトル列をシンボル列に変換し、隠
れマルコフモデルに基づき、最も尤度の高いものを選び
出す装置を考案した。これにより動画像中の人物動作の
認識が可能となったが、認識成功率が９０％程度であ
る。
近年多くの研究が行われているが、発明者は、特願平３
−２０５０３３で、人間の動作認識において、時系列画
像から得た特徴量ベクトル列をシンボル列に変換し、隠
れマルコフモデルに基づき、最も尤度の高いものを選び
出す装置を考案した。これにより動画像中の人物動作の
認識が可能となったが、認識成功率が９０％程度であ
る。
【０００３】
【発明が解決しようとする課題】しかしながら、前記従
来の手法では、動画像列から得られる特徴ベクトルは、
カテゴリ毎に特徴ベクトル空間中の異なる位置に分布し
ているが、異なるカテゴリ間で分布が重なったり、近接
していることもある。学習用データに偏りがある場合に
は、カテゴリ間の分布の重なりが大きくなることもあり
得る。このように、異なるカテゴリ間で、特徴ベクトル
の分布の重なりがある場合には、作成されたコードブッ
クでのベクトル量子化の際に、あるカテゴリに属する特
徴ベクトルを、異なるカテゴリに対応するコードに割り
当てることが発生する。このとき、学習データと独立な
データを認識系に入力したとき、そのデータが属するカ
テゴリと類似する別のカテゴリのコードに割り当てら
れ、そのためにＨＭＭの尤度が低下することが誤認識の
大きな原因となっていた。
来の手法では、動画像列から得られる特徴ベクトルは、
カテゴリ毎に特徴ベクトル空間中の異なる位置に分布し
ているが、異なるカテゴリ間で分布が重なったり、近接
していることもある。学習用データに偏りがある場合に
は、カテゴリ間の分布の重なりが大きくなることもあり
得る。このように、異なるカテゴリ間で、特徴ベクトル
の分布の重なりがある場合には、作成されたコードブッ
クでのベクトル量子化の際に、あるカテゴリに属する特
徴ベクトルを、異なるカテゴリに対応するコードに割り
当てることが発生する。このとき、学習データと独立な
データを認識系に入力したとき、そのデータが属するカ
テゴリと類似する別のカテゴリのコードに割り当てら
れ、そのためにＨＭＭの尤度が低下することが誤認識の
大きな原因となっていた。
【０００４】特に、認識時のシンボル変換において、当
該カテゴリの学習パタンに含まれないシンボルに変換さ
れる特徴ベクトルが発生し、正当カテゴリに対応するＨ
ＭＭの尤度を下げることがあるという問題があった。こ
れが誤認識事例の原因の多くを占めていた。
該カテゴリの学習パタンに含まれないシンボルに変換さ
れる特徴ベクトルが発生し、正当カテゴリに対応するＨ
ＭＭの尤度を下げることがあるという問題があった。こ
れが誤認識事例の原因の多くを占めていた。
【０００５】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、認識の成功率を向
上（失敗の低減）することが可能な技術を提供すること
にある。
されたものであり、本発明の目的は、認識の成功率を向
上（失敗の低減）することが可能な技術を提供すること
にある。
【０００６】本発明の前記ならびにその他の目的及び新
規な特徴は、本明細書の記述及び添付図面によって明ら
かにする。
規な特徴は、本明細書の記述及び添付図面によって明ら
かにする。
【０００７】
【課題を解決するための手段】前記目的を達成するため
に、本発明は、各種カテゴリに分類される動作を撮影し
た入力画像から特徴量を抽出し、ベクトルで表現する手
段と、該ベクトルを予め作成したコードブックを参照し
てシンボル列に変換するベクトル量子化手段と、該シン
ボル列を入力データとしてカテゴリに対応する確率的状
態遷移モデルとしての動作の時系列モデルを学習データ
によるトレーニングによって獲得する手段と、認識対象
画像が入力された際、前記各モデルが認識対象動作を生
成する確率を各々計算する手段とを有し、各モデルが生
起する確率の中で最も尤度の高いモデルに対応する動作
を認識結果出力として選び出す動作認識装置において、
前記ベクトル量子化のコードブックを認識カテゴリ毎に
用意しておく手段と、それらを使用して動画像をシンボ
ル列に変換する手段と、その変換の際にコードブック中
の最近傍代表点までの距離に応じた重みをつけて尤度を
計算する手段を備えることを最も主要な特徴とする。
に、本発明は、各種カテゴリに分類される動作を撮影し
た入力画像から特徴量を抽出し、ベクトルで表現する手
段と、該ベクトルを予め作成したコードブックを参照し
てシンボル列に変換するベクトル量子化手段と、該シン
ボル列を入力データとしてカテゴリに対応する確率的状
態遷移モデルとしての動作の時系列モデルを学習データ
によるトレーニングによって獲得する手段と、認識対象
画像が入力された際、前記各モデルが認識対象動作を生
成する確率を各々計算する手段とを有し、各モデルが生
起する確率の中で最も尤度の高いモデルに対応する動作
を認識結果出力として選び出す動作認識装置において、
前記ベクトル量子化のコードブックを認識カテゴリ毎に
用意しておく手段と、それらを使用して動画像をシンボ
ル列に変換する手段と、その変換の際にコードブック中
の最近傍代表点までの距離に応じた重みをつけて尤度を
計算する手段を備えることを最も主要な特徴とする。
【０００８】前記特徴抽出手段は、画像のメッシュ特
徴、オプティカルフローを用いて、特徴ベクトルを抽出
する手段であることを特徴とする。
徴、オプティカルフローを用いて、特徴ベクトルを抽出
する手段であることを特徴とする。
【０００９】
【作用】前述の手段によれば、ベクトル量子化のコード
ブックを認識カテゴリ毎に用意しておき、それらを使用
して動画像をシンボル列に変換し、その変換の際にコー
ドブック中の最近傍代表点までの距離に応じた重みをつ
けて尤度を計算するので、事例からの学習によって、動
画像中の人物などの動物体の動作を安定して認識するこ
とができる。これにより、認識の成功率を向上（失敗の
低減）することができる。
ブックを認識カテゴリ毎に用意しておき、それらを使用
して動画像をシンボル列に変換し、その変換の際にコー
ドブック中の最近傍代表点までの距離に応じた重みをつ
けて尤度を計算するので、事例からの学習によって、動
画像中の人物などの動物体の動作を安定して認識するこ
とができる。これにより、認識の成功率を向上（失敗の
低減）することができる。
【００１０】そして、本発明は、従来の技術とは、ベク
トル量子化のためのコードブックをカテゴリ毎に構成す
る点が異なる。
トル量子化のためのコードブックをカテゴリ毎に構成す
る点が異なる。
【００１１】
【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。
に説明する。
【００１２】図１は、本発明の動作認識装置の一実施例
の概略構成を示すブロック構成図、図２は、本実施例の
機能構成を示すブロック構成図である。
の概略構成を示すブロック構成図、図２は、本実施例の
機能構成を示すブロック構成図である。
【００１３】図１において、１１は画像入力装置、１２
はコンピュータ、１３は外部メモリ装置である。図２に
おいて、２１は画像入力部、２２は画像用メモリ、２３
は特徴抽出部、２４は特徴格納メモリ、２５は量子化
部、２６はシンボル格納メモリ、２７は尤度算出部、２
８は認識結果用メモリ、２９はモデルパラメータ推定
部、３０は認識用状態遷移モデル格納メモリ、３１はベ
クトル量子化コードブック格納メモリである。
はコンピュータ、１３は外部メモリ装置である。図２に
おいて、２１は画像入力部、２２は画像用メモリ、２３
は特徴抽出部、２４は特徴格納メモリ、２５は量子化
部、２６はシンボル格納メモリ、２７は尤度算出部、２
８は認識結果用メモリ、２９はモデルパラメータ推定
部、３０は認識用状態遷移モデル格納メモリ、３１はベ
クトル量子化コードブック格納メモリである。
【００１４】本実施例の基本的動作には、学習と認識の
２つの段階がある。学習時には学習用のデータから認識
用状態遷移モデルのパラメータ推定を行い認識カテゴリ
毎に認識用状態遷移モデル格納メモリ３０に格納する。
認識時には学習によって認識用状態遷移モデル格納メモ
リ３０に格納された、各カテゴリに対応するモデルの尤
度を算出し、最大の尤度を持つモデルに対応するカテゴ
リを認識結果とする最尤推定を行う。量子化までの処理
は、学習時、認識時とも同一である。また、量子化に係
る部分以外については特願平３−２０５０３３と基本的
に同じである。以下処理の流れに沿って説明する。
２つの段階がある。学習時には学習用のデータから認識
用状態遷移モデルのパラメータ推定を行い認識カテゴリ
毎に認識用状態遷移モデル格納メモリ３０に格納する。
認識時には学習によって認識用状態遷移モデル格納メモ
リ３０に格納された、各カテゴリに対応するモデルの尤
度を算出し、最大の尤度を持つモデルに対応するカテゴ
リを認識結果とする最尤推定を行う。量子化までの処理
は、学習時、認識時とも同一である。また、量子化に係
る部分以外については特願平３−２０５０３３と基本的
に同じである。以下処理の流れに沿って説明する。
【００１５】まず、ＴＶカメラ等の画像入力部２１から
動作中の人間を含む動画像をとらえ、画像用メモリ２２
に格納する。
動作中の人間を含む動画像をとらえ、画像用メモリ２２
に格納する。
【００１６】次に、特徴抽出部２３により、動画像か
ら、複数の特徴量を得る。特徴量は、動画像の各フレー
ムから抽出し、画像系列が特徴量の系列に各々対応する
場合、または連続する複数のフレームから動き情報など
一つの特徴量を得る場合がある。
ら、複数の特徴量を得る。特徴量は、動画像の各フレー
ムから抽出し、画像系列が特徴量の系列に各々対応する
場合、または連続する複数のフレームから動き情報など
一つの特徴量を得る場合がある。
【００１７】ここで、使用する特徴量の例を以下に示
す。１つのフレームから１つの特徴ベクトルを得る例と
して、図３に示すメッシュ特徴が考えられる。すなわ
ち、まず、画像用メモリ２２をｎ×ｍの画素数を持つＮ
×Ｍのサブブロックに分割し、各々このサブブロックで
画像の２値化を行う。次に、このサブブロック内の黒画
素の占有率をもとめ、これをＮ×Ｍ次元の特徴ベクトル
とする方法である。
す。１つのフレームから１つの特徴ベクトルを得る例と
して、図３に示すメッシュ特徴が考えられる。すなわ
ち、まず、画像用メモリ２２をｎ×ｍの画素数を持つＮ
×Ｍのサブブロックに分割し、各々このサブブロックで
画像の２値化を行う。次に、このサブブロック内の黒画
素の占有率をもとめ、これをＮ×Ｍ次元の特徴ベクトル
とする方法である。
【００１８】すなわち、ａijをメッシュ（ｉ，ｊ）の黒
画素の占有率とし、これを並べたベクトル、ｆm＝（ａ
00，ａ01，…，ａij，…，ａMN）を特徴ベクトルとする
方法である。
画素の占有率とし、これを並べたベクトル、ｆm＝（ａ
00，ａ01，…，ａij，…，ａMN）を特徴ベクトルとする
方法である。
【００１９】特徴ベクトルが得られた後、量子化部２５
によってベクトル列のシンボル列への変換が行われ、シ
ンボル格納用メモリ２６に記録される。これはベクトル
量子化による。すなわち、各特徴ベクトルはあらかじめ
用意された量子化のための代表点の一覧に基づき、それ
らの内で最も距離の近い代表点ベクトルの対応するシン
ボルに変換される。この代表点群をコードブックと呼
ぶ。コードブックの作成法には、ｋ-ｍｅａｎ法（文献
１：Ｘ．Ｄ．Ｈuang,Ｙ．Ａriki and Ｍ．Ａ．Ｊack：
“Ｈidden Ｍarkov Ｍodels for Ｓpeech Ｒecognitio
n”,Ｅdingurgh Ｕniv.Ｐress（1990）.)、ＬＢＧ法
（文献２：Ｙ．Ｌinde,Ａ．Ｂuzo and Ｒ．Ｍ．Ｇray:
“Ａn Ａlgorithm for Ｖector Ｑuantization”,ＩＥ
ＥＥ Ｔrans.Ｃommin.,28,PP.84-85（1980）.）などが
ある。本実施例の場合、認識用モデルの学習時にコード
ブックの作成も行う必要があるが、いずれの方法も適用
可能である。また、使用する距離尺度には、ユークリッ
ド距離、各次元の分散を考慮したマハラノビス距離など
がある。
によってベクトル列のシンボル列への変換が行われ、シ
ンボル格納用メモリ２６に記録される。これはベクトル
量子化による。すなわち、各特徴ベクトルはあらかじめ
用意された量子化のための代表点の一覧に基づき、それ
らの内で最も距離の近い代表点ベクトルの対応するシン
ボルに変換される。この代表点群をコードブックと呼
ぶ。コードブックの作成法には、ｋ-ｍｅａｎ法（文献
１：Ｘ．Ｄ．Ｈuang,Ｙ．Ａriki and Ｍ．Ａ．Ｊack：
“Ｈidden Ｍarkov Ｍodels for Ｓpeech Ｒecognitio
n”,Ｅdingurgh Ｕniv.Ｐress（1990）.)、ＬＢＧ法
（文献２：Ｙ．Ｌinde,Ａ．Ｂuzo and Ｒ．Ｍ．Ｇray:
“Ａn Ａlgorithm for Ｖector Ｑuantization”,ＩＥ
ＥＥ Ｔrans.Ｃommin.,28,PP.84-85（1980）.）などが
ある。本実施例の場合、認識用モデルの学習時にコード
ブックの作成も行う必要があるが、いずれの方法も適用
可能である。また、使用する距離尺度には、ユークリッ
ド距離、各次元の分散を考慮したマハラノビス距離など
がある。
【００２０】そこで、本実施例においては、図２のよう
に、各カテゴリ毎にベクトル量子化のためのコードブッ
クを用意し、それぞれのカテゴリ毎にシンボルへの変換
を行うことで前記の問題点は解決する。すなわち、特徴
格納メモリ２４の特徴ベクトル列は、そのカテゴリに対
応したベクトル量子化コードブック格納メモリ３１を参
照して量子化部２５によりシンボル列に変換される。量
子化部２５の出力はシンボル格納メモリ２６に蓄えられ
るが、これも使用したコードブック毎に異なるものであ
る。
に、各カテゴリ毎にベクトル量子化のためのコードブッ
クを用意し、それぞれのカテゴリ毎にシンボルへの変換
を行うことで前記の問題点は解決する。すなわち、特徴
格納メモリ２４の特徴ベクトル列は、そのカテゴリに対
応したベクトル量子化コードブック格納メモリ３１を参
照して量子化部２５によりシンボル列に変換される。量
子化部２５の出力はシンボル格納メモリ２６に蓄えられ
るが、これも使用したコードブック毎に異なるものであ
る。
【００２１】カテゴリ毎のコードブックを用いるため、
そのカテゴリに属する入力は必ずそのカテゴリのコード
に割り当てられるため、コードの割り当て失敗による誤
認識をなくすことができる。
そのカテゴリに属する入力は必ずそのカテゴリのコード
に割り当てられるため、コードの割り当て失敗による誤
認識をなくすことができる。
【００２２】ただし、どのカテゴリに属する入力もその
カテゴリのコードが割り当てられるが、異なるカテゴリ
の入力については、そのコードの代表ベクトルまでの距
離が大きいと考えられるので、この距離に応じたペナル
ティを課すことで、他のカテゴリのデータの尤度が高く
なることを押えることができる。このペナルティに関す
る詳細は後述する。
カテゴリのコードが割り当てられるが、異なるカテゴリ
の入力については、そのコードの代表ベクトルまでの距
離が大きいと考えられるので、この距離に応じたペナル
ティを課すことで、他のカテゴリのデータの尤度が高く
なることを押えることができる。このペナルティに関す
る詳細は後述する。
【００２３】ここまでの処理によって、画像系列がシン
ボル列に変換される。ここまでの動作については、認識
時、学習時ともに同一である。これ以降の処理の流れに
ついて、まず、認識時について述べる。
ボル列に変換される。ここまでの動作については、認識
時、学習時ともに同一である。これ以降の処理の流れに
ついて、まず、認識時について述べる。
【００２４】認識時には、これらの特徴ベクトル列は、
特徴格納メモリ２４に記録される。そして、認識するカ
テゴリ数だけ用意された認識用状態遷移モデル格納メモ
リ３０に格納されたモデルの各々から、この特徴ベクト
ル列が生成される確率を尤度算出部２７によって算出す
る。以下の説明のために、モデルのパラメータを次のよ
うに定める。
特徴格納メモリ２４に記録される。そして、認識するカ
テゴリ数だけ用意された認識用状態遷移モデル格納メモ
リ３０に格納されたモデルの各々から、この特徴ベクト
ル列が生成される確率を尤度算出部２７によって算出す
る。以下の説明のために、モデルのパラメータを次のよ
うに定める。
【００２５】Ｔ：観測されたシンボル系列Ｏ（＝Ｏ1，
Ｏ2，…，ＯT）の長さ、Ｎ：モデル中の状態数、Ｌ：モ
デル中のシンボル数、Ｓ＝｛ｓ｝：状態の集合、ｓtは
ｔ番目の状態（観測できない）、υ＝｛υ1，υ2，…，
υL｝：観測可能なシンボルの集合、Ａ＝｛ａij｜ａij
＝Ｐr（ｓt+1＝ｊ｜ｓt＝ｉ）｝：状態遷移確率、ａij
は状態ｉから状態ｊへ遷移する確率、Ｂ＝｛ｂj（Ｏt）
｜ｂj（Ｏt）＝Ｐr（Ｏt｜ｓt＝ｊ）｝：シンボル出力
確率、ｂj（ｋ）は状態ｊにおいてシンボルυkを出力す
る確率、 π＝｛πi｜πi＝Ｐr（ｓ1＝ｉ）｝：初期状態確率、 観測したあるシンボル列を、あるモデルが発生する確率
は、fowardアルゴリズム（文献１参照）によって以下の
ようにして求めることができる。
Ｏ2，…，ＯT）の長さ、Ｎ：モデル中の状態数、Ｌ：モ
デル中のシンボル数、Ｓ＝｛ｓ｝：状態の集合、ｓtは
ｔ番目の状態（観測できない）、υ＝｛υ1，υ2，…，
υL｝：観測可能なシンボルの集合、Ａ＝｛ａij｜ａij
＝Ｐr（ｓt+1＝ｊ｜ｓt＝ｉ）｝：状態遷移確率、ａij
は状態ｉから状態ｊへ遷移する確率、Ｂ＝｛ｂj（Ｏt）
｜ｂj（Ｏt）＝Ｐr（Ｏt｜ｓt＝ｊ）｝：シンボル出力
確率、ｂj（ｋ）は状態ｊにおいてシンボルυkを出力す
る確率、 π＝｛πi｜πi＝Ｐr（ｓ1＝ｉ）｝：初期状態確率、 観測したあるシンボル列を、あるモデルが発生する確率
は、fowardアルゴリズム（文献１参照）によって以下の
ようにして求めることができる。
【００２６】あるモデルλ＝｛Ａ，Ｂ，π｝がシンボル
系列Ｏ（＝Ｏ1，Ｏ2，…，ＯT）を出力する確率Ｐr（Ｏ
｜λ）は、
系列Ｏ（＝Ｏ1，Ｏ2，…，ＯT）を出力する確率Ｐr（Ｏ
｜λ）は、
【００２７】
【数１】
【００２８】ただし、ここでαT（ｉ）は、
【００２９】
【数２】 αt（ｉ）≡Ｐr（Ｏ1，Ｏ2，…，Ｏt，ｓt＝ｉ｜λ） （２） で定義され、具体的には、
【００３０】
【数３】
【００３１】
【数４】 α1＝πiｂi（Ｏ1） （４） の漸化式で求められる。
【００３２】ただし、前記のとおり、本実施例におい
て、コードブックをカテゴリ毎に用意した結果、認識時
には不正答カテゴリの尤度が高く評価されることにな
る。
て、コードブックをカテゴリ毎に用意した結果、認識時
には不正答カテゴリの尤度が高く評価されることにな
る。
【００３３】ＶＱのコードワードｍjからｆiの距離に応
じたなんらかのペナルティ関数Ｐｎ（ｆ）をＰr（Ｏ｜
λ）にかけてこれを解決する。
じたなんらかのペナルティ関数Ｐｎ（ｆ）をＰr（Ｏ｜
λ）にかけてこれを解決する。
【００３４】
【数５】 Ｐr'(Ｏ｜λi）＝Ｐｒ（Ｏ｜λi）ΠkＰn（ｆk） （５） 本実施例では、
【００３５】
【数６】
【００３６】とした。ＬＢＧの結果σはほぼ同じとみな
せるので、各クラス共通とし、全体の平均を使用するこ
とができる。特徴ベクトルの次元に対して学習データが
多数得られる場合には、σクラス毎、さらに次元毎に求
めて使用することができる。
せるので、各クラス共通とし、全体の平均を使用するこ
とができる。特徴ベクトルの次元に対して学習データが
多数得られる場合には、σクラス毎、さらに次元毎に求
めて使用することができる。
【００３７】こうして求められた尤度が最大となるモデ
ルが、認識結果として選択され認識結果用メモリ２８に
蓄えられる。すなわち、図２においては、尤度算出部２
７において当該カテゴリ用のコードブックにて変換され
たシンボル列を該カテゴリの認識用状態遷移モデル格納
メモリ３０のパラメータにて尤度を計算し、この結果を
出力する。以上が認識時の処理の流れ(フロー)である。
ルが、認識結果として選択され認識結果用メモリ２８に
蓄えられる。すなわち、図２においては、尤度算出部２
７において当該カテゴリ用のコードブックにて変換され
たシンボル列を該カテゴリの認識用状態遷移モデル格納
メモリ３０のパラメータにて尤度を計算し、この結果を
出力する。以上が認識時の処理の流れ(フロー)である。
【００３８】次に、学習の際の処理の流れについて述ベ
る。モデルパラメータ推定部２９は、各カテゴリ毎に複
数与えられた学習用データから得られたシンボル列に対
して、そのシンボル列を発生するような状態遷移モデル
のパラメータを推定し、認識用状態遷移モデル格納メモ
リ３０に蓄える。これは、あるシンボル列Ｏ（＝Ｏ1，
Ｏ2，…，ＯT）が与えられたときに、Ｂaum-Ｗelchアル
ゴリズムを用いて求められる（Ｂaum-Ｗelchアルゴリズ
ムについては参考文献１参照のこと）。このようしてモ
デルパラメータ推定部２９にて求めた各カテゴリごとの
モデルを認識用状態遷移モデル格納メモリ３０に格納
し、認識の際に使用する。
る。モデルパラメータ推定部２９は、各カテゴリ毎に複
数与えられた学習用データから得られたシンボル列に対
して、そのシンボル列を発生するような状態遷移モデル
のパラメータを推定し、認識用状態遷移モデル格納メモ
リ３０に蓄える。これは、あるシンボル列Ｏ（＝Ｏ1，
Ｏ2，…，ＯT）が与えられたときに、Ｂaum-Ｗelchアル
ゴリズムを用いて求められる（Ｂaum-Ｗelchアルゴリズ
ムについては参考文献１参照のこと）。このようしてモ
デルパラメータ推定部２９にて求めた各カテゴリごとの
モデルを認識用状態遷移モデル格納メモリ３０に格納
し、認識の際に使用する。
【００３９】本実施例で述べた処理の流れの実験結果例
を説明する。本実施例では、認識対象の動作として、テ
ニスの動作を使用した。
を説明する。本実施例では、認識対象の動作として、テ
ニスの動作を使用した。
【００４０】本実験では、バックボレー、バックストロ
ーク、フォアボレー、フォアストローク、サービス、ス
マッシュの動作例を用いた。４人の被験者について、こ
れら各カテゴリ毎に１０回の試行を行い、内５回を学習
用データ、５回を認識実験用データとして使用した。特
徴ベクトルとしてはメッシュ特徴を使用した。また、量
子化においては、ＬＢＧアルゴリズム（文献２参照）を
使用した。
ーク、フォアボレー、フォアストローク、サービス、ス
マッシュの動作例を用いた。４人の被験者について、こ
れら各カテゴリ毎に１０回の試行を行い、内５回を学習
用データ、５回を認識実験用データとして使用した。特
徴ベクトルとしてはメッシュ特徴を使用した。また、量
子化においては、ＬＢＧアルゴリズム（文献２参照）を
使用した。
【００４１】学習によって生成された６つの状態遷移モ
デルに、認識実験用のデータを適用して各々、６つのな
かで最大の尤度をもつものを認識結果として選択した。
学習パタンの組合せを変えることにより１０通りの認識
系を構成し、この認識率を評価した。
デルに、認識実験用のデータを適用して各々、６つのな
かで最大の尤度をもつものを認識結果として選択した。
学習パタンの組合せを変えることにより１０通りの認識
系を構成し、この認識率を評価した。
【００４２】実験の結果を表１に示す。従来法に比べ、
正答率が向上したことが確認できる。
正答率が向上したことが確認できる。
【００４３】
【表１】
【００４４】以上、本発明を実施例に基づいて具体的に
説明したが、本発明は、前記実施例に限定されるもので
はなく、その要旨を逸脱しない範囲において種々変更し
得ことはいうまでもない。
説明したが、本発明は、前記実施例に限定されるもので
はなく、その要旨を逸脱しない範囲において種々変更し
得ことはいうまでもない。
【００４５】
【発明の効果】以上、説明したように、本発明によれ
ば、事例からの学習によって動画像による動作認識系を
構成することにより、従来の手法に比べ、自律的に対象
や環境に適応でき、高度な認識が可能となるので、認識
の成功率を向上（失敗の低減）することができる。
ば、事例からの学習によって動画像による動作認識系を
構成することにより、従来の手法に比べ、自律的に対象
や環境に適応でき、高度な認識が可能となるので、認識
の成功率を向上（失敗の低減）することができる。
【００４６】また、画像上でのモデルフィッティングを
含まないので、実画像に対してもロバストな処理が実現
できる。従って、本発明は、銀行や商店における不審動
作監視、スポーツなどの動画から所望の動作部分の切り
出しなどに広く適用できる。
含まないので、実画像に対してもロバストな処理が実現
できる。従って、本発明は、銀行や商店における不審動
作監視、スポーツなどの動画から所望の動作部分の切り
出しなどに広く適用できる。
【図１】 本発明の動作認識装置の一実施例の概略構成
を示すブロック構成図、
を示すブロック構成図、
【図２】 本実施例の機能構成を示すブロック構成図、
【図３】 本実施例の特徴抽出部で使用したメッシュ特
徴の説明図。
徴の説明図。
１１…画像入力装置、１２…コンピュータ、１３…外部
メモリ装置、２１…画像入力部、２２…画像用メモリ、
２３…特徴抽出部、２４…特徴格納メモリ、２５…量子
化部、２６…シンボル格納メモリ、２７…尤度算出部、
２８…認識結果用メモリ、２９…モデルパラメータ推定
部、３０…認識用状態遷移モデル格納メモリ、３１…ベ
クトル量子化コードブック格納メモリ。
メモリ装置、２１…画像入力部、２２…画像用メモリ、
２３…特徴抽出部、２４…特徴格納メモリ、２５…量子
化部、２６…シンボル格納メモリ、２７…尤度算出部、
２８…認識結果用メモリ、２９…モデルパラメータ推定
部、３０…認識用状態遷移モデル格納メモリ、３１…ベ
クトル量子化コードブック格納メモリ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 石井 健一郎 東京都千代田区内幸町一丁目１番６号 日 本電信電話株式会社内
Claims (2)
- 【請求項１】 各種カテゴリに分類される動作を撮影し
た入力画像から特徴量を抽出し、ベクトルで表現する手
段と、該ベクトルを予め作成したコードブックを参照し
てシンボル列に変換するベクトル量子化手段と、該シン
ボル列を入力データとしてカテゴリに対応する確率的状
態遷移モデルとしての動作の時系列モデルを学習データ
によるトレーニングによって獲得する手段と、認識対象
画像が入力された際、前記各モデルが認識対象動作を生
成する確率を各々計算する手段とを有し、各モデルが生
起する確率の中で最も尤度の高いモデルに対応する動作
を認識結果出力として選び出す動作認識装置において、
前記ベクトル量子化のコードブックを認識カテゴリ毎に
用意しておく手段と、それらを使用して動画像をシンボ
ル列に変換する手段と、その変換の際にコードブック中
の最近傍代表点までの距離に応じた重みをつけて尤度を
計算する手段を備えることを最も主要な特徴とする動作
認識装置。 - 【請求項２】 前記請求項１に記載の動作認識装置にお
いて、前記特徴抽出手段は、画像のメッシュ特徴、オプ
ティカルフローを用いて、特徴ベクトルを抽出する手段
であることを特徴とする動作認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3958393A JPH06251159A (ja) | 1993-03-01 | 1993-03-01 | 動作認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3958393A JPH06251159A (ja) | 1993-03-01 | 1993-03-01 | 動作認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06251159A true JPH06251159A (ja) | 1994-09-09 |
Family
ID=12557120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3958393A Pending JPH06251159A (ja) | 1993-03-01 | 1993-03-01 | 動作認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06251159A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11234670A (ja) * | 1997-11-25 | 1999-08-27 | Fuji Xerox Co Ltd | ビデオセグメント化方法、ビデオセグメント化モデルトレーニング方法、ビデオの状態へのセグメント化装置、及びデータ構造 |
| WO2005069222A1 (ja) * | 2004-01-15 | 2005-07-28 | Asahi Kasei Kabushiki Kaisha | 情報認識装置、情報認識方法、情報認識プログラム及び警報システム |
| WO2007138885A1 (ja) * | 2006-05-26 | 2007-12-06 | The University Of Tokyo | 運動データのデータベースの構造および設計法、データベースシステム |
| JP2009262702A (ja) * | 2008-04-23 | 2009-11-12 | Fuji Heavy Ind Ltd | 安全運転支援システム |
| JP2010510697A (ja) * | 2006-11-20 | 2010-04-02 | アデレード リサーチ アンド イノヴェーション ピーティーワイ エルティーディー | ネットワーク監視システム |
| USRE44225E1 (en) | 1995-01-03 | 2013-05-21 | Prophet Productions, Llc | Abnormality detection and surveillance system |
| USRE44527E1 (en) | 1995-01-03 | 2013-10-08 | Prophet Productions, Llc | Abnormality detection and surveillance system |
| US8553085B2 (en) | 2004-06-04 | 2013-10-08 | Canon Kabushiki Kaisha | Situation monitoring device and situation monitoring system |
-
1993
- 1993-03-01 JP JP3958393A patent/JPH06251159A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE44225E1 (en) | 1995-01-03 | 2013-05-21 | Prophet Productions, Llc | Abnormality detection and surveillance system |
| USRE44527E1 (en) | 1995-01-03 | 2013-10-08 | Prophet Productions, Llc | Abnormality detection and surveillance system |
| JPH11234670A (ja) * | 1997-11-25 | 1999-08-27 | Fuji Xerox Co Ltd | ビデオセグメント化方法、ビデオセグメント化モデルトレーニング方法、ビデオの状態へのセグメント化装置、及びデータ構造 |
| WO2005069222A1 (ja) * | 2004-01-15 | 2005-07-28 | Asahi Kasei Kabushiki Kaisha | 情報認識装置、情報認識方法、情報認識プログラム及び警報システム |
| US8553085B2 (en) | 2004-06-04 | 2013-10-08 | Canon Kabushiki Kaisha | Situation monitoring device and situation monitoring system |
| WO2007138885A1 (ja) * | 2006-05-26 | 2007-12-06 | The University Of Tokyo | 運動データのデータベースの構造および設計法、データベースシステム |
| JPWO2007138885A1 (ja) * | 2006-05-26 | 2009-10-01 | 国立大学法人 東京大学 | 運動データのデータベースの構造および設計法、データベースシステム |
| JP2010510697A (ja) * | 2006-11-20 | 2010-04-02 | アデレード リサーチ アンド イノヴェーション ピーティーワイ エルティーディー | ネットワーク監視システム |
| JP2014078962A (ja) * | 2006-11-20 | 2014-05-01 | Adelaide Research And Innovation Pty Ltd | ネットワーク監視システム |
| US9185355B2 (en) | 2006-11-20 | 2015-11-10 | Snap Network Surveillance Pty Limited | Network surveillance system |
| JP2009262702A (ja) * | 2008-04-23 | 2009-11-12 | Fuji Heavy Ind Ltd | 安全運転支援システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10402627B2 (en) | Method and apparatus for determining identity identifier of face in face image, and terminal | |
| CN112257572B (zh) | 一种基于自我注意力机制的行为识别方法 | |
| US8755593B2 (en) | Apparatus and method for video sensor-based human activity and facial expression modeling and recognition | |
| US6031938A (en) | Image encoding apparatus with selective Markov and predictive coding | |
| CN116258989A (zh) | 基于文本与视觉的时空关联型多模态情感识别方法、系统 | |
| CN112587129B (zh) | 一种人体动作识别方法及装置 | |
| CN111091839B (zh) | 语音唤醒方法、装置、存储介质及智能设备 | |
| CN114359088B (zh) | 一种对视频特定目标人物进行打码处理的方法 | |
| EP1530149A2 (en) | Dynamic model detecting apparatus | |
| CN117315293A (zh) | 一种基于Transformer的时空上下文目标跟踪方法及系统 | |
| JP2008537216A (ja) | 顔画像から顔を識別する方法、ならびに対応する装置およびコンピュータプログラム | |
| CN116434096A (zh) | 时空动作检测方法、装置、电子设备及存储介质 | |
| CN114241573A (zh) | 一种面部微表情识别方法、装置、电子设备及存储介质 | |
| CN119649464A (zh) | 一种姿态驱动的人物交互行为多层感知方法及系统 | |
| JP2007518199A (ja) | 多重線形独立要素分析を使用した画像認識の方法、システム、記憶媒体、及びデータ構造 | |
| CN116682180A (zh) | 基于人体骨骼序列时空信息的动作识别方法 | |
| CN112613411A (zh) | 基于生成对抗网络的行人重识别数据集姿态数据增广方法 | |
| JPH0546583A (ja) | 動物体行動認識装置 | |
| JPH1013832A (ja) | 動画像認識方法および動画像認識検索方法 | |
| Kumar et al. | Vector quantization with codebook and index compression | |
| CN119155452B (zh) | 基于内容生成的图像编解码方法、电子设备和存储介质 | |
| Dinkova et al. | Face recognition based on subject dependent Hidden Markov Models | |
| CN115830711B (zh) | 基于深度学习的手语词汇识别方法、系统、设备及介质 | |
| US7355529B2 (en) | Binary image compression apparatus and method | |
| KR20110057595A (ko) | 상호 정보 최대화 기반의 국부 이진 패턴 코드를 이용한 패턴 인식 방법, 장치 및 그 기록 매체 |