JPH10334270A - 動作認識装置及び動作認識プログラムを記録した記録媒体 - Google Patents

動作認識装置及び動作認識プログラムを記録した記録媒体

Info

Publication number
JPH10334270A
JPH10334270A JP9138591A JP13859197A JPH10334270A JP H10334270 A JPH10334270 A JP H10334270A JP 9138591 A JP9138591 A JP 9138591A JP 13859197 A JP13859197 A JP 13859197A JP H10334270 A JPH10334270 A JP H10334270A
Authority
JP
Japan
Prior art keywords
motion
dimensional
movement
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9138591A
Other languages
English (en)
Inventor
Yasushi Kage
裕史 鹿毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP9138591A priority Critical patent/JPH10334270A/ja
Priority to US09/084,950 priority patent/US6335977B1/en
Publication of JPH10334270A publication Critical patent/JPH10334270A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8029—Fighting without shooting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 光反射マーカなどの補助手段を用いずに、様
々な状況で人間の動きをコンピュータグラフィクス等に
よりリアルタイムで再現する。 【解決手段】 撮影対象の動きを含む画像を複数の撮影
角度より撮影し、複数の二次元画像を得る画像入力部
１、撮影された各二次元画像における各画素毎の動きの
方向と強さを算出する二次元動き検出部２、算出された
動きの強さが所定値以上の領域を特定する領域特定部
３、特定された特定領域を複数の二次元画像に対して対
応させ、特定領域の三次元の位置と特定領域の三次元の
動きとを算出する三次元動き検出部４、算出された特定
領域の動きが撮影対象のどの部位に対応しているかを推
定する部位推定部５、部位推定部５で推定された部位毎
の動きに基づいて、モデルを模擬的に動かし、撮影対象
の動作をモデルにおいて再現する動作再現部６により動
作認識装置を構成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、人間などの動きを
撮影し、得られた画像から撮影対象の動きを部位毎に特
定し、これに基づいて撮影対象の動きを再現する動作認
識装置、及び動作認識プログラムを記録した記録媒体に
関するものである。
【０００２】
【従来の技術】ＣＣＤ等の画像センサで人間のジェスチ
ャを撮影し、これをコンピュータグラフィクスで表現さ
れた人物の動きに反映させ、それによってコンピュータ
画面上に元のジェスチャを再現する従来の技術として
は、刊行物「Ｉｍｉｄａｓ’９７」（８４６〜８４７
頁）に掲載された光学式モーションキャプチャの例があ
る。この技術によれば、撮影対象となる人間の身体の各
部位に光反射マーカを取り付け、その動きを別々の方向
からカメラで撮影し、画像処理により光反射マーカの各
時刻の位置を検出し、その三次元の位置から手や足など
の動きの三次元データを算出する。このデータを用いて
コンピュータグラフィクスで表現された人物モデル上で
元の人間の動きを再現させることが可能になる。
【０００３】
【発明が解決しようとする課題】このような従来の手法
の問題点は身体の各部位を特定するための光反射マーカ
を身体の各部に取り付けるための繁雑な作業が伴うこと
である。この手法でサルなど人間以外の動物の動作を再
現しようとする場合、光反射マーカ取り付けは困難な作
業であり、適用範囲は限られてしまうという問題点があ
った。また、上記従来の手法においては、光反射マーカ
の各時刻の位置を検出して動きを解析しているので、光
反射マーカが隠れて見えなくなる状態等、全ての動きが
とらえられない場合が生じるため、動きを推定してオフ
ラインで検出データを手直ししてから、人物モデルに反
映する。従って、リアルタイムで人間の動きを人物モデ
ルに反映できないという問題点があった。
【０００４】本発明は上記のような問題点を解決するた
めになされたものであり、光反射マーカなどの補助手段
を用いずに、人間などの対象の動きを撮影した画像から
動作を解析して撮影対象の動きをリアルタイムで再現で
きる動作認識装置を得ることを目的とする。また、この
ような動作認識プログラムを記録した記録媒体を提供す
ることを目的とする。
【０００５】
【課題を解決するための手段】本発明の第１の構成によ
る動作認識装置は、複数の画像センサにより撮影対象の
動きを含む画像を複数の撮影角度より撮影し、複数の二
次元画像を得る画像入力部、上記画像入力部で撮影され
た各二次元画像における各画素毎の動きの方向と強さを
算出する二次元動き検出部、上記二次元動き検出部で算
出された動きの強さが所定値以上の領域を特定する領域
特定部、上記領域特定部で特定された特定領域を複数の
二次元画像に対して対応させ、上記特定領域の三次元の
位置と上記特定領域の三次元の動きとを算出する三次元
動き検出部、上記三次元動き検出部で算出された特定領
域の動きが上記撮影対象のどの部位に対応しているかを
推定する部位推定部、及び上記部位推定部で推定された
部位毎の動きに基づいて、モデルを模擬的に動かし、上
記撮影対象の動作を上記モデルにおいて再現する動作再
現部を備えたものである。
【０００６】また、本発明の第２の構成による動作認識
装置における領域特定部は、二次元画像を互いに重なり
合った複数の走査範囲に分割し、各走査範囲内を走査し
て各画素の動きの強さの平均値が最大の領域を候補領域
として選択し、さらに上記平均値が所定値以上の領域を
特定領域としたものである。
【０００７】また、本発明の第３の構成による動作認識
装置における動作再現部は、撮影対象の動作をコンピュ
ータグラフィクスによって表現されたモデルの動きによ
って再現したものである。
【０００８】また、本発明の第４の構成による動作認識
装置における動作再現部は、撮影対象の動作を自動制御
機械の動きによって再現したものである。
【０００９】また、本発明の第５の構成による動作認識
装置における動作再現部は、撮影対象の動作を再現する
ためのモデルとは別のモデルを持ち、上記撮影対象の動
作と上記別のモデルの動きとの相互作用を模擬的に実現
するようにしたものである。
【００１０】また、本発明の動作認識プログラムを記録
した記録媒体は、複数の撮影角度より撮影された複数の
二次元画像における各画素毎の動きの方向と強さを算出
する手順と、算出された動きの強さが所定値以上の領域
を特定する手順と、特定された特定領域を複数の二次元
画像に対して対応させ、上記特定領域の三次元の位置と
上記特定領域の三次元の動きとを算出する手順と、算出
された特定領域の動きが上記撮影対象のどの部位に対応
しているかを推定する手順と、推定された部位毎の動き
に基づいて、モデルを模擬的に動かし、上記撮影対象の
動作を上記モデルにおいて再現する手順とをコンピュー
タに実行させるものである。
【００１１】
【発明の実施の形態】
実施の形態１．以下、本発明の実施の形態１について、
図面を参照しながら説明する。図１はこの発明の実施の
形態１による動作認識装置の構成を示すブロック図であ
り、画像入力部１、二次元動き検出部２、領域特定部
３、三次元動き検出部４、部位推定部５、動作再現部６
の６部分からなる。画像入力部１は複数の画像センサを
備え、物体の動きを画像センサ毎に違った角度から撮影
する。本実施の形態では画像入力部１が画像センサを２
台備える場合の例を示す。二次元動き検出部２は画像入
力部１の各画像センサから逐次出力される画像毎に、オ
プティカル・フロー等により二次元の動きを算出する。
即ち、各画素の明るさの時間的、空間的変化を基に、各
画素毎の動きの方向と強さを算出する。領域特定部３は
二次元動き検出部２で検出されたオプティカル・フロー
から強い動きを持った領域を特定し、領域全体として持
つ二次元の動きの方向と強さを計算する。具体的には各
領域に含まれるオプティカル・フローのベクトル平均に
より求める。三次元動き検出部４は画像入力部１の各画
像センサの撮影角度の違いを利用して、領域特定部３で
特定される領域を対応づけ、奥行きを含む三次元の動き
を算出する。部位推定部５は三次元動き検出部４で検出
された領域が人間のどの部位の動きに相当するかを推定
する。動作再現部６は部位推定部５で推定された部位の
動きに基づいてコンピュータグラフィクスなどで表現さ
れる人物モデルを模擬的に動かす。
【００１２】図２は本実施の形態による動作認識装置に
より人物モデルを模擬的に動かす実現例であり、撮影対
象となる人間１８と画像センサ７、８との位置関係を示
す図である。人間１８が頭、手、足等の各部位を矢印１
０で示される方向に動かすことにより、計算機１１に接
続されたＣＲＴモニタ１２の画面上に表現された人物モ
デル１３がリアルタイムで動く。図３は画像センサ７、
８の交差撮像範囲１９内の人間１８の動きが画像センサ
７と８の各撮像面１４と１５上にどのように投影される
かを示す。各部位の動き１０は撮像面１４上では矢印１
６のように、撮像面１５上では矢印１７のようにそれぞ
れ投影される。
【００１３】図４は交差撮像範囲１９を高さによって四
つのレベルに分けたとき、各レベルの水平面上にある部
位の動き１０とその水平位置を示し、さらに各部位の動
き１０が撮像面１４、１５にどのように投影されるかを
各レベル毎に示す。図４（ａ）〜（ｄ）はそれぞれ頭
部、右手、左手および左足の動き１０が各レベルの撮像
面１４、１５上に投影された時の動き１６、１７を示
す。この動きの投影関係を利用して、各撮像面における
二次元の動きから奥行き方向を含む三次元の動きを推定
することができる。即ち、画像センサ７、８の出力画像
からオプティカル・フロー等で示される二次元の動きを
各撮像面毎にそれぞれ算出し、各撮像面毎に算出された
二次元の動きのなかで強い動きを持つ領域を特定し、さ
らにこれらの領域の位置と上記領域の二次元の動きか
ら、奥行き方向を含む三次元の動きを推定することがで
きる。以下に実画像を用いてオプティカル・フローを
得、三次元の動きを推定した例を示す。
【００１４】図５（ａ）（ｂ）は各々異なる撮影角度を
持った２つの画像センサから出力される画像データの例
であり、図６（ａ）（ｂ）は各出力画像に対するオプテ
ィカル・フローである。図６の白線円は領域特定部３に
よって特定される強い動きを持つ特定領域である。オプ
ティカル・フローの具体的計算法は、例えば特開平４−
２４１０７７号公報におけるニューラルネットを用いた
方式があり、二次元画像における各画素の明るさの時間
的、空間的変化から各画素の速度ベクトル（動きベクト
ル）を求めて、各画素毎の動きの方向と強さを算出す
る。なお、オプティカル・フローの計算法は、上記文献
以外の他の手法を用いてもよい。
【００１５】次に、得られたオプティカル・フローから
図６の白線円で示される特定領域が領域特定部３によっ
てどのように検出されるかを図７と図８を用いて説明
し、同時に図９の検出アルゴリズムのフローチャートの
ステップＳ１〜Ｓ３との対応を示す。図７（ａ）は二次
元動き検出部２で算出されるオプティカル・フローの例
であり、これを基に領域特定部３は図７（ｂ）のような
９個の候補領域を検出する（ステップＳ１）。各候補領
域は、図８に示す互いに重なりあった９個の走査範囲内
から一個選択される。すなわち一定の半径を持つ円領域
を対応する走査範囲内で走査し、円領域内の動きベクト
ルの平均（以下平均ベクトル）の大きさが最大となる場
合に対応している。次に各候補領域に対応する平均ベク
トルの大きさを基準に、あらかじめ設定したしきい値以
下の候補領域を削除する（ステップＳ２、図７（ｃ）の
斜線領域の円が削除された候補領域）。最後に残った候
補領域のうち、重なりあうものについて平均ベクトルの
大きさの小さい方の領域が削除される（ステップＳ３、
図７（ｄ）の斜線領域の円が削除された候補領域）。こ
うしてオプティカル・フロー（図７（ａ））から特定領
域（図７（ｄ）の実線で示される円）が得られる。
【００１６】次に、得られた特定領域の位置と上記領域
の二次元の動きから、奥行き方向を含む三次元の動きを
どのように推定するかを図１０、図１１を用いて説明す
る。三次元動き検出部４は、図１０に示すように、まず
異なる撮影角度（以下Ｌ側とＲ側と呼ぶ）から得られる
特定領域について、上下位置の差がしきい値以下となる
Ｌ側とＲ側の特定領域を照合対として選択する。この照
合対に関して、Ｌ側とＲ側の水平位置から左右方向と奥
行き方向の位置を推定する。次に図１１（ａ）に示すよ
うに、照合対であるＬ側とＲ側の特定領域の平均ベクト
ルを水平方向成分と垂直方向成分に分け、図１１（ｂ）
に示すように、この双方の水平方向成分をベクトル合成
して左右方向と奥行き方向を含む動きベクトルが得られ
る。垂直方向成分はそのまま三次元空間における垂直方
向の動きベクトルとなる。上記の照合対を選択する際
に、例えば図１０（ｃ）（ｄ）のような場合が生じる。
つまり、照合対が一意に選べない場合がある。この場合
は、例えばＬ側とＲ側の特定領域の水平位置が近い方を
照合対として選択する（図１０（ｃ）の場合）という条
件をあらかじめ設定しておくことで対処できる。
【００１７】図１２（ａ）（ｂ）の白線円と白矢印は各
々図６（ａ）（ｂ）の白線円で示した特定領域と白矢印
で示した動きベクトルの平均ベクトルであり、このよう
な各撮影角度の特定領域の位置と上記領域の二次元の動
きから、三次元動き検出部４は図１３に示すような結果
を出力する。即ち、図１３（ａ）はＬ側とＲ側の特定領
域の照合対の存在する上下位置での奥行きまたは左右方
向の推定位置（円印）と、水平方向の動き（矢印）であ
り、図１３（ｂ）は各照合対の垂直方向の動き（矢印）
である。
【００１８】部位推定部５は三次元動き検出部４で得ら
れた特定領域毎の三次元の動きが人間のどの部位の動き
に相当するかを推定する。例えば、図１３で示した４個
の各レベルについて、最上位レベルを頭部の動く範囲、
第二・第三レベルを両手の動く範囲、最下位レベルを両
足の動く範囲に割り当てるなどの制約条件を設けておけ
ば、特定領域の動きがいずれの部位の動きに相当するか
を推定することができる。両手・両足に関しては、各レ
ベルの右半分と左半分をそれぞれ右手・右足および左手
・左足に割り当てるなどを初期条件として、時間的な各
レベルで検出される特定領域の位置の変化を追跡するこ
とで両手や両足が交差する場合などにも対処できる。
【００１９】動作再現部６は部位推定部５で推定された
頭部や両手・両足などの各部位の動きを基に人物モデル
を動かす。このような人間の動きをシミュレートする具
体例として、雑誌「Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｓ
ＩＧＧＲＡＰＨ ’９５，”Ｆｏｕｒｉｅｒ Ｐｒｉｎ
ｃｉｐｌｅｓ ｆｏｒ Ｅｍｏｔｉｏｎ−ｂａｓｅｄ
Ｈｕｍａｎ Ｆｉｇｕｒｅ Ａｎｉｍａｔｉｏｎ”」
（ｐｐ９１−９６）に掲載された人物モデルの例があ
る。この例は、人間の各部位の動きを手・足・胴体の１
９個の関節に関するｘ，ｙ，ｚ３方向の動きにより表現
するものである。本実施の形態においては、動作再現部
６に上記部位推定部５で推定された各部位の動きを入力
情報として与える。例えば、手先の動きはひじや肩の回
転角（ｘ，ｙ，ｚ軸まわりの回転）に変換でき、その他
の各部位の動きに関しても、その部位の動きに伴う位置
の変化を得るのに必要な各関節の回転角に変換して人物
モデルの各関節の３方向の動きを求めれば、コンピュー
タグラフィクスで表現された人物モデルを人間自身の身
振りで動かすことができる。
【００２０】以上述べたような撮影対象の動作認識演算
は、動作認識用プログラムにより実現され、該プログラ
ムは記録媒体に記録して提供される。
【００２１】このように、本実施の形態によれば、光反
射マーカなどの補助手段を用いずに、オプティカル・フ
ロー等により、得られた画像の各画素毎の動きの方向と
強さを直接算出するので、正確に二次元の動きが求めら
れ、その結果、オフタイムでの手直しの必要がなく、人
間等の動きをリアルタイムで再現することができる。
【００２２】なお、上記動作再現部６において、撮影対
象の動きを再現する際に、例えば雑誌「ＩＥＥＥ Ｃｏ
ｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉ
ｃａｔｉｏｎｓ， ”Ｕｓｉｎｇ Ｄｙｎａｍｉｃ Ａ
ｎａｌｙｓｉｓ ｆｏｒ Ｒｅａｌｉｓｔｉｃ Ａｎｉ
ｍａｔｉｏｎ ｏｆ Ａｒｔｉｃｕｌａｔｅｄ Ｂｏｄ
ｉｅｓ”」（ｖｏｌ．７， ｎｏ．６， ｐｐ１２−２
７， １９８７）に掲載された力学的モデルを用いれ
ば、部位推定部５で推定されなかった部位の動きも求め
ることができ、より動きの再現性を向上させることがで
きる。これによれば、手首や肩の動きから肘の動きの可
能性が力学的方程式で記述されており、この方程式を計
算することで部位推定部５で推定されなかった部位の動
きも求めることができる。
【００２３】また、本実施の形態では撮影対象の動きを
リアルタイムでモデルに再現したが、上記実施の形態と
同様にして得られた撮影対象の動きの情報に対して、モ
デルの動きをよりリアルに表現するためにオフラインで
手直しを行ってから、モデルに送信するようにしてもよ
い。
【００２４】また、本実施の形態では画像入力部１が２
台の画像センサ７、８を持つ例を示したが、図１４のよ
うに３台の画像センサ７〜９を用いた構成でもよく、さ
らに４台以上の撮像装置を用いてもよい。
【００２５】さらに、撮影対象の動きの再現はコンピュ
ータグラフィクスによる表現のほかに、ロボット等の自
動制御機械の動きによって再現してもよい。即ち、本実
施の形態において得られた人間の各身体部位の動き情報
を無線などでロボットへ送信し、これらを入力信号とし
て肘や膝、首や肩などロボットの各関節の回転が制御さ
れる。動き情報を送信したときのロボット側の受信方式
は、ロボットに取り付けられた一個の受信装置で受信
し、そこから各関節へ制御信号を送ってもよく、また各
関節毎に受信装置を取り付けて制御信号を受信してもよ
い。このようにすることにより、頭・両腕・両肢を持つ
人間型ロボットを制御して、人間が立ち入ることができ
ない区域での危険作業をロボット等に代行させることが
可能となる。
【００２６】さらに、再現された撮影対象の動き情報を
ゲーム機などへ送信し、ジョイスティック等のインター
フェースを用いずにゲーム操作を行ってもよい。
【００２７】さらに、本実施の形態では、動作再現部６
は撮影対象の動きを再現する単一モデルを持つ例を示し
たが、このモデルとは別に、予め手首、関節等の詳細な
動きが記述されているモデルを設定しておき、上記撮影
対象の動きを再現したモデルとの相互作用を模擬的に実
現させてもよい。このような例を次に示す。市販されて
いる格闘技ゲームなどでは、対戦相手のキャラクタはゲ
ームマシン（計算機）によりその動作が計算されるが、
ゲームプレーヤーの操作によるゲームキャラクタの攻撃
による対戦相手の応戦態勢は様々である。また、対戦相
手の攻撃によりプレーヤーのキャラクタは転倒すること
もあるので、これを避けるためにプレーヤーは攻撃をか
わすためのキャラクタ操作が必要である。このようなゲ
ーム中でのキャラクタ同志の相互作用をプレーヤーが見
ることで対戦相手との相互作用を仮想的に体験すること
ができる。本実施の形態による動作認識装置を用いれ
ば、ゲーム操作がプレーヤー自身の動作に置き換わり、
その結果ゲームキャラクタとの相互作用の実感度を高め
ることができる。言いかえれば、プレーヤー自身は攻撃
・防御などに関する瞬発力を養うことができ、格闘技を
模擬的に練習することが可能になる。
【００２８】
【発明の効果】以上のように、本発明の第１の構成に係
る動作認識装置によれば、複数の画像センサにより撮影
対象の動きを含む画像を複数の撮影角度より撮影し、複
数の二次元画像を得る画像入力部、上記画像入力部で撮
影された各二次元画像における各画素毎の動きの方向と
強さを算出する二次元動き検出部、上記二次元動き検出
部で算出された動きの強さが所定値以上の領域を特定す
る領域特定部、上記領域特定部で特定された特定領域を
複数の二次元画像に対して対応させ、上記特定領域の三
次元の位置と上記特定領域の三次元の動きとを算出する
三次元動き検出部、上記三次元動き検出部で算出された
特定領域の動きが上記撮影対象のどの部位に対応してい
るかを推定する部位推定部、及び上記部位推定部で推定
された部位毎の動きに基づいて、モデルを模擬的に動か
し、上記撮影対象の動作を上記モデルにおいて再現する
動作再現部を備えたので、光反射マーカなどの補助手段
を必要とせず、様々な状況で撮影対象の動きをモデル上
に再現させることが可能となる。また、得られた画像の
各画素毎の動きの方向と強さを直接算出するので、正確
に二次元の動きが求められ、その結果、オフタイムでの
手直しの必要がなく、人間等の動きをリアルタイムで再
現することができる。
【００２９】また、本発明の第２の構成に係る動作認識
装置において領域特定部は、二次元画像を互いに重なり
合った複数の走査範囲に分割し、各走査範囲内を走査し
て各画素の動きの強さの平均値が最大の領域を候補領域
として選択し、さらに上記平均値が所定値以上の領域を
特定領域としたしたので、動きの強い領域が正確に算出
でき、撮影対象の動きが正確に再現できる効果がある。
【００３０】また、本発明の第３の構成に係る動作認識
装置において動作再現部は、撮影対象の動作をコンピュ
ータグラフィクスによって表現されたモデルの動きによ
って再現したので、反射マーカなどの補助手段を必要と
せず、様々な状況で人間の動きをコンピュータグラフィ
クスによりリアルタイムで再現することが可能となる。
【００３１】また、本発明の第４の構成に係る動作認識
装置において動作再現部は、撮影対象の動作を自動制御
機械の動きによって再現したので、人間が立ち入ること
ができない区域での危険作業をロボット等に代行させる
ことが可能となる。
【００３２】また、本発明の第５の構成に係る動作認識
装置において動作再現部は、撮影対象の動作を再現する
ためのモデルとは別のモデルを持ち、上記撮影対象の動
作と上記別のモデルの動きとの相互作用を模擬的に実現
するようにしたので、相互作用の実感度を高めることが
でき、柔道やレスリング等のスポーツを模擬的に練習す
ることが可能になる。
【００３３】また、本発明に係る動作認識プログラムを
記録した記録媒体によれば、複数の撮影角度より撮影さ
れた複数の二次元画像における各画素毎の動きの方向と
強さを算出する手順と、算出された動きの強さが所定値
以上の領域を特定する手順と、特定された特定領域を複
数の二次元画像に対して対応させ、上記特定領域の三次
元の位置と上記特定領域の三次元の動きとを算出する手
順と、算出された特定領域の動きが上記撮影対象のどの
部位に対応しているかを推定する手順と、推定された部
位毎の動きに基づいて、モデルを模擬的に動かし、上記
撮影対象の動作を上記モデルにおいて再現する手順とを
コンピュータに実行させるようにしたので、撮影対象の
動きをモデル上にリアルタイムで再現することが可能と
なる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による動作認識装置の
構成を示すブロック図である。
【図２】 本発明の実施の形態１による動作認識装置の
実現例を示す図である。
【図３】 本発明の実施の形態１における撮影対象の人
間が２台の画像センサの交差撮像範囲内にあるときの撮
像面への投影関係を示す図である。
【図４】 本発明の実施の形態１における２台の画像セ
ンサの交差撮像範囲を高さに応じて４個のレベルに分け
たときの各レベルにおいて捕捉される人間の各部位の動
きを示す図である。
【図５】 本発明の実施の形態１における２台の画像セ
ンサで撮影された画像データを示す図である。
【図６】 本発明の実施の形態１における各画像センサ
で撮影された画像から得られるオプティカル・フローと
３個の特定領域を示す図である。
【図７】 本発明の実施の形態１に係わる領域特定部の
動作を説明する説明図である。
【図８】 本発明の実施の形態１に係わる領域特定部が
持つ９個の走査領域を示す図である。
【図９】 本発明の実施の形態１における領域特定部の
特定領域決定アルゴリズムを説明するフローチャートで
ある。
【図１０】 本発明の実施の形態１における三次元動き
検出部の動作を説明する説明図である。
【図１１】 本発明の実施の形態１における三次元動き
検出部の動作を説明する説明図である。
【図１２】 本発明の実施の形態１における各画像セン
サで撮影された画像から得られる３個の特定領域と各特
定領域が持つ平均ベクトルを示す図である。
【図１３】 本発明の実施の形態１における照合対が存
在する上下位置で推定された三次元空間内の動きベクト
ルの水平成分と垂直成分を示す図である。
【図１４】 本発明の実施の形態１における画像入力部
が３台の画像センサを備えている場合の構成を示す図で
ある。
【符号の説明】
１ 画像入力部、２ 二次元動き検出部、３ 領域特定
部、４ 三次元動き検出部、５ 部位推定部、６ 動作
再現部、７〜９ 画像センサ、１０ 人間の各部位の動
き、１１ 計算機、１２ ＣＲＴモニタ、１３ 人物モ
デル、１４ 画像センサ７の撮像面、１５ 画像センサ
８の撮像面、１６ 撮像面１４上へ投影された各部位の
動き、１７ 撮像面１５上へ投影された各部位の動き、
１８ 人間、１９ 交差撮像範囲。

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 複数の画像センサにより撮影対象の動き
    を含む画像を複数の撮影角度より撮影し、複数の二次元
    画像を得る画像入力部、上記画像入力部で撮影された各
    二次元画像における各画素毎の動きの方向と強さを算出
    する二次元動き検出部、上記二次元動き検出部で算出さ
    れた動きの強さが所定値以上の領域を特定する領域特定
    部、上記領域特定部で特定された特定領域を複数の二次
    元画像に対して対応させ、上記特定領域の三次元の位置
    と上記特定領域の三次元の動きとを算出する三次元動き
    検出部、上記三次元動き検出部で算出された特定領域の
    動きが上記撮影対象のどの部位に対応しているかを推定
    する部位推定部、及び上記部位推定部で推定された部位
    毎の動きに基づいて、モデルを模擬的に動かし、上記撮
    影対象の動作を上記モデルにおいて再現する動作再現部
    を備えたことを特徴とする動作認識装置。
  2. 【請求項２】 領域特定部は、二次元画像を互いに重な
    り合った複数の走査範囲に分割し、各走査範囲内を走査
    して各画素の動きの強さの平均値が最大の領域を候補領
    域として選択し、さらに上記平均値が所定値以上の領域
    を特定領域としたことを特徴とする請求項１記載の動作
    認識装置。
  3. 【請求項３】 動作再現部は、撮影対象の動作をコンピ
    ュータグラフィクスによって表現されたモデルの動きに
    よって再現することを特徴とする請求項１記載の動作認
    識装置。
  4. 【請求項４】 動作再現部は、撮影対象の動作を自動制
    御機械の動きによって再現することを特徴とする請求項
    １記載の動作認識装置。
  5. 【請求項５】 動作再現部は、撮影対象の動作を再現す
    るためのモデルとは別のモデルを持ち、上記撮影対象の
    動作と上記別のモデルの動きとの相互作用を模擬的に実
    現するようにしたことを特徴とする請求項１記載の動作
    認識装置。
  6. 【請求項６】 複数の撮影角度より撮影された複数の二
    次元画像における各画素毎の動きの方向と強さを算出す
    る手順と、算出された動きの強さが所定値以上の領域を
    特定する手順と、特定された特定領域を複数の二次元画
    像に対して対応させ、上記特定領域の三次元の位置と上
    記特定領域の三次元の動きとを算出する手順と、算出さ
    れた特定領域の動きが上記撮影対象のどの部位に対応し
    ているかを推定する手順と、推定された部位毎の動きに
    基づいて、モデルを模擬的に動かし、上記撮影対象の動
    作を上記モデルにおいて再現する手順とをコンピュータ
    に実行させる動作認識プログラムを記録した記録媒体。
JP9138591A 1997-05-28 1997-05-28 動作認識装置及び動作認識プログラムを記録した記録媒体 Pending JPH10334270A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP9138591A JPH10334270A (ja) 1997-05-28 1997-05-28 動作認識装置及び動作認識プログラムを記録した記録媒体
US09/084,950 US6335977B1 (en) 1997-05-28 1998-05-28 Action recognizing apparatus and recording medium in that action recognizing program is recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9138591A JPH10334270A (ja) 1997-05-28 1997-05-28 動作認識装置及び動作認識プログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
JPH10334270A true JPH10334270A (ja) 1998-12-18

Family

ID=15225686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9138591A Pending JPH10334270A (ja) 1997-05-28 1997-05-28 動作認識装置及び動作認識プログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US6335977B1 (ja)
JP (1) JPH10334270A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006514366A (ja) * 2003-02-11 2006-04-27 株式会社ソニー・コンピュータエンタテインメント リアルタイムのモーション・キャプチャ方法および装置
JP2007052665A (ja) * 2005-08-18 2007-03-01 Kyushu Institute Of Technology 固有空間を用いた動体の動作判別方法
WO2007129432A1 (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc. ゲーム装置
JP2008522324A (ja) * 2004-12-03 2008-06-26 ソニー株式会社 顔動作および身体動作を取り込むシステムおよび方法
JP2008165581A (ja) * 2006-12-28 2008-07-17 Kyushu Institute Of Technology 動体の動作判別方法
JP2011123563A (ja) * 2009-12-08 2011-06-23 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2012040435A (ja) * 2011-11-30 2012-03-01 Sony Computer Entertainment Inc ゲーム装置および仮想オブジェクト制御方法
JP2013137785A (ja) * 2004-07-30 2013-07-11 Extreme Reality Ltd Israel ３ｄ空間次元に基づく画像処理のための装置およびシステム

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003445A (ja) * 1998-06-15 2000-01-07 Toshiba Corp 情報抽出方法および情報抽出装置および記録媒体
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20050105772A1 (en) * 1998-08-10 2005-05-19 Nestor Voronka Optical body tracker
US7121946B2 (en) * 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) * 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
DE19860038C1 (de) * 1998-12-23 2000-06-29 Siemens Ag Verfahren zur Bewegungskorrektur bei Serien von Bildern eines starren Körpers
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
JP2002042115A (ja) * 2000-07-26 2002-02-08 Fujitsu Ltd 疲労緩和システム、疲労緩和方法及び記録媒体
US7460130B2 (en) * 2000-09-26 2008-12-02 Advantage 3D Llc Method and system for generation, storage and distribution of omni-directional object views
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
JP4974319B2 (ja) * 2001-09-10 2012-07-11 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
JP3885999B2 (ja) * 2001-12-28 2007-02-28 本田技研工業株式会社 物体検出装置
US20030202701A1 (en) * 2002-03-29 2003-10-30 Jonathon Schuler Method and apparatus for tie-point registration of disparate imaging sensors by matching optical flow
US7165029B2 (en) 2002-05-09 2007-01-16 Intel Corporation Coupled hidden Markov model for audiovisual speech recognition
US20030212552A1 (en) * 2002-05-09 2003-11-13 Liang Lu Hong Face recognition procedure useful for audiovisual speech recognition
US7209883B2 (en) * 2002-05-09 2007-04-24 Intel Corporation Factorial hidden markov model for audiovisual speech recognition
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7171043B2 (en) 2002-10-11 2007-01-30 Intel Corporation Image recognition using hidden markov models and coupled hidden markov models
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
WO2004055776A1 (en) 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
US7472063B2 (en) * 2002-12-19 2008-12-30 Intel Corporation Audio-visual feature fusion and support vector machine useful for continuous speech recognition
US7203368B2 (en) 2003-01-06 2007-04-10 Intel Corporation Embedded bayesian network for pattern recognition
JP4451730B2 (ja) * 2003-09-25 2010-04-14 富士フイルム株式会社 動画生成装置、方法及びプログラム
US7285047B2 (en) * 2003-10-17 2007-10-23 Hewlett-Packard Development Company, L.P. Method and system for real-time rendering within a gaming environment
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
EP1676442A2 (en) * 2003-10-24 2006-07-05 Reactrix Systems, Inc. Method and system for managing an interactive video display system
JP4213052B2 (ja) * 2004-01-28 2009-01-21 任天堂株式会社 タッチパネル入力を用いたゲームシステム
JP4159491B2 (ja) * 2004-02-23 2008-10-01 任天堂株式会社 ゲームプログラムおよびゲーム装置
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US20060262188A1 (en) * 2005-05-20 2006-11-23 Oded Elyada System and method for detecting changes in an environment
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US8224025B2 (en) * 2005-12-23 2012-07-17 Sony Corporation Group tracking in motion capture
US7606411B2 (en) * 2006-10-05 2009-10-20 The United States Of America As Represented By The Secretary Of The Navy Robotic gesture recognition system
US8005257B2 (en) * 2006-10-05 2011-08-23 The United States Of America As Represented By The Secretary Of The Navy Gesture recognition apparatus and method
KR100921814B1 (ko) * 2007-04-26 2009-10-16 주식회사 애트랩 포인팅 장치 및 이의 움직임 제어 방법
KR101141087B1 (ko) 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
JP5575652B2 (ja) * 2007-10-26 2014-08-20 コーニンクレッカ フィリップス エヌ ヴェ レンダリングされた像の表示設定を選択するための方法及びシステム
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
JP2009146333A (ja) * 2007-12-18 2009-07-02 Panasonic Corp 空間入力動作表示装置
EP2245596B1 (en) * 2008-01-21 2017-07-12 Telefonaktiebolaget LM Ericsson (publ) Prediction-based image processing
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US20090270193A1 (en) * 2008-04-24 2009-10-29 United States Bowling Congress Analyzing a motion of a bowler
KR101494344B1 (ko) * 2008-04-25 2015-02-17 삼성전자주식회사 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8305345B2 (en) * 2008-08-07 2012-11-06 Life Technologies Co., Ltd. Multimedia playing device
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
WO2012001755A1 (ja) * 2010-07-02 2012-01-05 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理装置および情報処理方法
US8385596B2 (en) 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
GB201512283D0 (en) * 2015-07-14 2015-08-19 Apical Ltd Track behaviour events
WO2018070895A1 (ru) * 2016-10-12 2018-04-19 Общество С Ограниченной Ответственностью "Машина Различий" Система позиционирования объекта в пространстве для виртуальной реальности.
CN116824012B (zh) * 2022-12-09 2026-06-09 慧之安信息技术股份有限公司 基于物联网平台的数字孪生三维动态特效生成方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61502158A (ja) * 1984-03-06 1986-09-25 ヴエイチ・サイモン・ジヨン 視覚システム
US5214758A (en) * 1989-11-14 1993-05-25 Sony Corporation Animation producing apparatus
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
EP0557007A2 (en) * 1992-02-15 1993-08-25 Sony Corporation Picture processing apparatus
WO1993022762A1 (en) * 1992-04-24 1993-11-11 The Walt Disney Company Apparatus and method for tracking movement to generate a control signal
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5633993A (en) * 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
US5767861A (en) * 1994-08-11 1998-06-16 Kabushiki Kaisha Sega Enterprises Processing apparatus and method for displaying a moving figure constrained to provide appearance of fluid motion
EP0712097A2 (en) * 1994-11-10 1996-05-15 Matsushita Electric Industrial Co., Ltd. Method and system for manipulating motion units for computer articulated figure animation
US6154723A (en) * 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006514366A (ja) * 2003-02-11 2006-04-27 株式会社ソニー・コンピュータエンタテインメント リアルタイムのモーション・キャプチャ方法および装置
JP2013137785A (ja) * 2004-07-30 2013-07-11 Extreme Reality Ltd Israel ３ｄ空間次元に基づく画像処理のための装置およびシステム
JP2013157014A (ja) * 2004-07-30 2013-08-15 Extreme Reality Ltd Israel ３ｄ空間次元に基づく画像処理のための装置およびシステム
JP2008522324A (ja) * 2004-12-03 2008-06-26 ソニー株式会社 顔動作および身体動作を取り込むシステムおよび方法
JP2007052665A (ja) * 2005-08-18 2007-03-01 Kyushu Institute Of Technology 固有空間を用いた動体の動作判別方法
WO2007129432A1 (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc. ゲーム装置
JP2007296248A (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc ゲーム装置
JP2008165581A (ja) * 2006-12-28 2008-07-17 Kyushu Institute Of Technology 動体の動作判別方法
JP2011123563A (ja) * 2009-12-08 2011-06-23 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2012040435A (ja) * 2011-11-30 2012-03-01 Sony Computer Entertainment Inc ゲーム装置および仮想オブジェクト制御方法

Also Published As

Publication number Publication date
US6335977B1 (en) 2002-01-01

Similar Documents

Publication Publication Date Title
US6335977B1 (en) Action recognizing apparatus and recording medium in that action recognizing program is recorded
KR101738569B1 (ko) 제스쳐 인식 방법 및 시스템
Shiratori et al. Motion capture from body-mounted cameras
Iwasawa et al. Real-time estimation of human body posture from monocular thermal images
JP5812599B2 (ja) 情報処理方法及びその装置
KR100869447B1 (ko) 3차원 모델링 없이 이미지 처리에 의해 타겟을 지시하는 장치 및 방법
CN106843507B (zh) 一种虚拟现实多人互动的方法及系统
CA2575704C (en) A system and method for 3d space-dimension based image processing
KR20040055310A (ko) 고속 마커프리 모션 캡쳐 장치 및 방법
EP1627294A2 (en) A man-machine interface based on 3-d positions of the human body
JP2006185109A (ja) 画像計測装置及び画像計測方法
CA3239174A1 (en) Method and apparatus for optical detection and analysis in a movement environment
JP2000268161A (ja) 実時間表情検出装置
CN112712545B (zh) 人体部分跟踪方法和人体部分跟踪系统
EP3971683A1 (en) Human body portion tracking method and human body portion tracking system
CN112215928A (zh) 基于视觉图像的动作捕捉方法及数字动画制作方法
JP3686418B2 (ja) 計測装置およびその方法
CN117612251A (zh) 一种人体姿态识别方法及系统
JP2020175467A (ja) 教示装置及び教示方法
US11783492B2 (en) Human body portion tracking method and human body portion tracking system
KR102715450B1 (ko) 사람의 동작분석시스템
US12350568B2 (en) Golf swing analysis system, golf swing analysis method, and information storage medium
CN117456558A (zh) 一种基于摄像头的人体姿态估计与控制方法及相关设备
JP4886575B2 (ja) 姿勢検出装置、姿勢検出方法、プログラム及び情報記憶媒体
WO2005088962A1 (ja) 追尾装置、及びモーションキャプチャ装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060815

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061212