JP7402941B2 - 姿勢認識方法、姿勢認識機器及び記憶媒体 - Google Patents

Description

本出願は、人体認識分野に関し、具体的には、姿勢認識方法、姿勢認識機器及び記憶媒体に関する。

現在、ユーザは、携帯器材を手にして様々な姿勢をとることで、インタラクティブデバイスとのインタラクティブを実現し、インタラクティブデバイスを操作して予め定められたアクション、例えば、ある姿勢に対応する映像を再生したり、ゲームキャラクタをコントロールして所定のアクションを実行したりすること等が可能になる。

インタラクティブデバイスによるユーザの姿勢の特定は、例えば慣性センサーなど、携帯器材上の各種類のセンサーの協働により実現されることが多いため、携帯器材の重量が増加され、一部のセンサーが破損すると、ユーザのアクションによってインタラクティブ機器が動作しなくなりやすく、使い勝手が悪いという欠点があった。

以上のことから、携帯機器の現時点の形態の認識により、ユーザの姿勢の認識、ひいては、ユーザとインタラクションデバイスとのインタラクションを実現する姿勢認識方法、姿勢認識機器及び記憶媒体を提供する必要がある。

第１の態様では、本願の実施例による姿勢認識方法は、ユーザが携帯器材を操作する時の姿勢を認識する姿勢認識方法であって、基準画像に基づいて基準モデルを生成するステップと、
ユーザと前記携帯器材とを撮像した画像であって、第２認識特徴を含む動作画像を取得するステップと、
前記基準モデルにおける前記第２認識特徴の大きさ、形状、存在位置を含む第２特徴状況を判定し、姿勢認識情報を生成するステップと、を備える。

あるいは、
前記基準モデルは、基準座標系であり、
前記基準画像は、前記携帯器材上のモデリング実体特徴に対応する第１モデリング特徴を備え、
前記基準画像に基づいて基準モデルを生成するステップは、
前記基準画像に基準原点を特定するステップと、
前記基準原点と前記第１モデリング特徴に基づいて前記基準座標系を構築するステップと、を含む。

あるいは、第２特徴状況が前記基準モデルにおける前記第２認識特徴を特定して、姿勢認識情報を生成するステップは、
前記動作画像に基づいて比較モデルを作成するステップと、
前記基準モデルと前記比較モデルとを重ね合わせるステップと、
前記第２認識特徴の形状、大きさ、および前記基準原点との位置関係等を含み、前記第２特徴状況が前記基準モデルにおける前記第２認識特徴を特定するステップと、
前記第２特徴状況に基づいて姿勢認識情報を作成するステップと、を備える。

あるいは、前記動作画像は、前記モデリング実体特徴に対応する第２モデリング特徴を備え、
前記比較モデルは、比較座標系であり、
前記動作画像に基づいて比較モデルを生成するステップは、
前記動作画像で比較原点を特定するステップと、
前記比較原点と前記第２モデリング特徴に基づいて前記比較座標系を作成するステップと、を備える。

あるいは、前記基準モデルと前記比較モデルとを重ね合わせるステップは、
前記基準原点と前記比較原点とが重なり合うように、基準座標系と対比座標系とを重ね合わせるステップを備える。

あるいは、前記基準画像は、前記認識実体特徴に対応する第１認識特徴をさらに備え、
前記第２特徴状況に基づいて前記姿勢認識情報を生成するステップは、
前記第１認識特徴の形状、大きさ、及び基準原点との位置関係を含む前記第１認識特徴の第１特徴状況を特定するステップと、
前記第１特徴状況と前記第２特徴状況との差異状況を確認するステップと、および
前記差異状況に基づいて、前記姿勢認識情報を生成するステップと、を備える。

あるいは、前記姿勢認識方法は、前記動作画像に基づいて、方位モデルにおける前記携帯器材の位置を確認して、位置認識情報を生成するステップをさらに備える。

あるいは、前記姿勢認識方法は、位置認識情報と前記姿勢認識情報とに基づいて、ユーザのリアルタイムの姿勢を特定するステップをさらに備える。

第２の態様では、本願の実施例による姿勢認識機器は、認識実体特徴とモデリング実体特徴を備えた携帯器材と、
ユーザが前記携帯器材を操作する時に動作画像を採取する映像採取器と、
コンピュータプログラムを記憶するメモリと、
前記メモリに記憶された前記コンピュータプログラムを実行するプロセッサであって、前記コンピュータプログラムが実行される際、上記いずれか１項に記載の姿勢認識方法を実行するプロセッサと、を備える。

第３の態様では、本願の実施例による記憶媒体は、コンピュータ命令が姿勢認識装置で実行する時、上記いずれかに記載の姿勢認識方法を前記姿勢認識機器に実行させる前記コンピュータ命令を含む。

本願の実施形態による姿勢認識方法、姿勢認識機器、及び記録媒体は、映像採取器が取得した動作画像を解析することにより第２特徴状況を知得し、第２特徴状況に応じてユーザのリアルタイムの姿勢を特定することにより、映像認識のみでユーザの姿勢の認識を実現し、携帯器材に設ける必要がある各種類のセンサを減らして、ユーザの使い勝手を向上する。

本発明の実施例に係る姿勢認識機器の概略図である。 本発明の実施例に係る携帯器材の概略図である。 本発明の実施例に係る姿勢認識方法のフローチャートである。 本発明の実施例に係る姿勢認識方法の他のフローチャートである。 本発明の実施例に係る基準座標系の概略図である。 本発明の実施例に係る比較座標系の概略図である。 本発明の実施例に係る姿勢認識方法の他のフローチャートである。 本発明の実施例に係る姿勢認識方法の他のフローチャートである。 本発明の実施例に係る姿勢認識方法の他のフローチャートである。 本発明の実施例に係る姿勢認識システムの概略図である。

本出願の実施形態における技術的解決手段は、本出願の実施形態における図面を参照して以下に明確かつ完全に説明される。なお、記載された各実施形態は、本出願の実施形態の一部に過ぎず、すべての実施形態ではないことは明らかである。

本発明の一実施例にかかる姿勢認識機器の概略図である図１を参照する。

姿勢認識機器１００は、携帯器材１０と、映像採集機２０と、プロセッサ３０と、メモリ４０とを備えていてもよい。

前記携帯器材１０は、ユーザが手に持って操作するためのものであり、ユーザは、前記携帯器材１０を手で持って、前記携帯器材１０の所在位置、傾き角度、形状等を変更することで、インタラクティブシステム２００とインタラクティブを行う。

前記携帯器材１０は弾力性のあるものでもよく、ユーザは前記携帯器材１０を付勢することで前記携帯器材１０の形状を変えることができると理解できる。本願の実施例では、前記携帯器材１０の具体的な形状は限定されない。

例を挙げて説明すると、前記携帯器材１０は円環状の弾性部材であり、前記携帯器材１０は両端に取手部１３が設けられ、その一方の端に方位指示部１４が設けられ、ユーザが前記取手部１３を両手で持って、前記方位指示部１４を上向きにする姿勢は、ユーザが携帯器材１０を操作したときの初期姿勢であってもよい。

前記映像採集機２０は、ユーザが前記携帯器材１０を手に持って所定の姿勢をとったときに、現在の動作画像を取得するためのものであり、前記プロセッサ３０と通信接続されており、取得した前記動作画像を前記プロセッサ３０に入力することが理解できる。

図２を参照すると、ある実施例において、前記携帯器材１０には、複数のモデリング実体特徴１１と、複数の認識実体特徴１２とが設けられており、前記映像採集機２０が、ユーザが前記携帯器材１０を操作した画像を取得した場合に、前記複数のモデリング実体特徴１１と前記複数の認識実体特徴１２とが同時に画像に撮像され、前記プロセッサ３０は、前記モデリング実体特徴１１に対応する画像上の特徴に対する解析処理によって基準モデルを作成し、前記基準モデルに前記動作画像を入力し、前記基準モデルにおいて前記認識実体特徴１２に対応する特徴の態様を特定することで、ユーザが現時点で前記携帯器材１０を操作したときの姿勢を特定することができる。

前記複数のモデリング実体特徴１１と前記複数の認識実体特徴１２は、いずれも、前記携帯器材１０の実体に設けられた実体特徴であり、異なる色、形状のスタンプ、ペイントコート、およびボスに限らず、アクティブ式あるいはパッシブ式信号発生装置に限定されないことは理解できる。

例を挙げて説明すると、前記携帯器材１０は円環状の弾性部材であり、前記取手部１３と前記方位指示部１４は共に前記モデリング実体特徴１１であり、前記取手部１３は円環状になって前記携帯器材１０にかけられており、２つの取手部１３は前記携帯器材１０の両側にそれぞれ位置し、前記方位指示部１４は前記携帯器材１０の一端に固設されており、前記方位指示部１４はアクティブ式信号発生装置、具体的には赤外線発生装置であってもよい。

前記携帯器材１０は、円環状を呈する弾性部材であり、前記携帯器材１０における前記認識実体特徴１２は、前記方位指示部１４と前記両ハンドル部１３との間の空間にそれぞれ位置する矩形状を呈する複数のバンプと、赤色を呈するコーティング層とであってもよい。

なお、上記映像採集機２０は、映像採集機能を有する電子機器、具体的にはビデオカメラ、デジタルカメラ、携帯電話のカメラ等であってもよいが、それらに限らず、空間スキャンにより空間情報を取得する機能を有する電子機器、具体的にはレーザー・レーダー（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ，ＬＩＤＡＲ）やレーザスキャナ等であってもよいが、それらに限らないことが理解できる。

前記プロセッサ３０は、汎用ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、又はこれらプログラムの実行を制御するための１又は複数の集積回路であってもよい。

前記メモリ４０は、リードオンリーメモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）又は静的情報及び指令を記憶可能な他のタイプの静的記憶デバイス、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）又は情報及び指令を記憶可能な他のタイプの動的記憶デバイスであってもよく、電子消去式プログラム可能読取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ－Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、読取り専用ディスク（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）又は他の光ディスク記憶、ディスクメモリ（圧縮ディスク、レーザディスク、ディスク、デジタル汎用ディスク、ブルーレイディスク等を含む）、磁気ディスク記憶媒体又は他の磁気記憶デバイス、又は、指令又はデータ構造形式を有する所望のプログラムコードを携帯又は記憶することが可能でありコンピュータからアクセス可能な任意の他の媒体であってもよいが、これらに限定されない。メモリ４０は、独立して存在し、バスを介してプロセッサ３０に接続されてもよい。メモリ４０は、プロセッサ３０と一体化されていてもよい。

前記プロセッサ３０は、前記インタラクションシステム２００と通信接続されてもよく、受信した前記動作画像の解析処理を行うことにより、ユーザの現在のリアルタイムな姿勢を特定し、対応するリアルタイムな姿勢情報を前記インタラクションシステム２００に出力することにより、前記インタラクションシステム２００に対応するレスポンスを行わせることが理解される。

例を挙げて説明すると、前記携帯器材１０は、弾力性のあるフィットネスリングであってもよく、前記インタラクションシステム２００は、ディスプレイが接続されたフィットネス用ゲーム機であってもよく、前記携帯器材１０は、両端に取手部１３が設けられ、一端に方位指示部１４が設けられ、ユーザが前記取手部１３を両手で持って、前記方位指示部１４を上に向けて設置すると、前記映像採集機２０は、ユーザの現在の前記動作画像を取得して前記プロセッサ３０に入力し、前記プロセッサ３０は、前記動作画像解析処理を行うことにより、ユーザの現在の姿勢がフィットネス予備姿勢であることを特定し、当該姿勢に応じた前記リアルタイム姿勢情報を前記インタラクションシステム２００に出力し、前記インタラクションシステム２００は、予め設定されたエクササイズ準備インタフェースを、外付けのディスプレイを介して表示することができる。

ユーザが前記取手部１３を両手で持ち前記方位指示部１４を前に向けながら前記携帯器材１０を両手で押圧し、前記携帯器材１０を歪ませると、前記映像採集機２０がユーザの現在の動作画像を取得して前記プロセッサ３０に入力し、前記プロセッサ３０は、前記動作画像に対する解析処理を行うことにより、ユーザの現在の姿勢が健腕姿勢であることを特定し、当該姿勢に応じた前記リアルタイム姿勢情報を前記インタラクションシステム２００に出力し、前記インタラクションシステム２００は、外付けのディスプレイによって表示されるゲームキャラクタが跳ね上げた映像を表示することができる。

記憶部４０は、姿勢認識方法を実行するためのアプリケーションコードを記憶しており、プロセッサ３０により実行が制御されていることが理解される。プロセッサ３０は、メモリ４０に記憶されたアプリケーションプログラムのコードを実行することにより、動作画像に対する解析処理を実現する。

本開示の一実施形態による姿勢認識方法の模式図である図３を参照する。

本実施形態の姿勢認識方法は、以下のステップを含んでもよい。

基準画像に基づいて前記基準モデルを生成するステップＳ３１。

前記基準画像は、ユーザが前記携帯器材１０を操作して前記初期姿勢をとったときの画像であることが理解できる。

一例を挙げると、前記携帯器材１０は、円環状の弾性部品であってもよく、前記初期姿勢は、ユーザが立っており、その両手で前記取手部１３を持って、前記方位指示部１４を上向きにした姿勢であってもよい。

ある可能なシナリオにおいて、前記基準画像は、工場出荷前に予め前記姿勢認識機器１００が設定したものであってもよい。別の可能なシナリオにおいて、前記基準画像は、ユーザが前記映像採集機２０を最初に起動したとき、ユーザが前記携帯器材１０を手に持って前記初期姿勢をとったときに、前記映像採集機２０が収集して前記プロセッサ３０に入力されるものであってもよく、本願の実施例はこれに限定されるものではない。

前記基準画像が、ユーザが前記映像採集機２０を最初に起動した際に、前記映像採集機２０による採集後に前記プロセッサ３０に入力された場合には、ステップＳ３１を行う前に前記映像採集機２０から前記基準画像を取得する必要があることが理解できる。

前記基準モデルは、基準座標系であることが理解できる。

図４を参照して、前記基準モデルの作成の具体的方法は、以下のステップを含んでもよい。

前記基準画像に基準原点を特定するステップＳ４１。

前記基準原点は、前記基準モデルの作成の根拠の１つであり、前記基準画像上の特徴を解析することで求められるものであると理解できる。

一実施形態では、前記基準画像は、前記携帯器材１０上の複数の前記モデリング実体特徴１１に対応する複数の第１モデリング特徴を含み、前記基準原点は、前記複数の第１モデリング特徴に対する識別・解析によって得られる。

図５Ａを参照して、例を挙げて説明すると、前記携帯器材１０は円環状の弾性部材であってもよく、前記携帯器材１０の両側に設けられた前記取手部１３と、前記携帯器材１０の一端に設けられた前記方位指示部１４とは、いずれも前記モデリング実体特徴１１であり、前記基準画像において、２つの前記取手部１３に対応する前記第１モデリング特徴を先に結線して第１結線を形成し、前記方位指示部１４に対応する前記第１モデリング特徴を起点として前記第１の結線に垂直な線分として第２結線を形成し、前記第１結線と前記第２結線との交点である前記基準原点Ｏを最終的に特定する。

ある実施例において、前記基準画像は、前記携帯器材１０における前記複数の認識実体特徴１２に対応する複数の第１認識特徴をさらに含む。

前記基準原点と複数の前記第１モデリング特徴に基づいて前記基準座標系を作成するステップＳ４２。

上記の基準座標系の座標軸の数は２以上のいかなる整数であってもよく、本願の実施例はこれに限定されるものではないことは理解される。

前記基準原点を特定した後、前記基準原点を座標系の原点として、前記基準座標系が構築され、前記基準座標系の座標軸は、前記第１モデリング特徴の識別・解析によって得られることが理解される。

一例を挙げると、前記基準座標系は、前記基準原点Ｏを原点とし、前記取手部１３に対応する前記第１モデリング特徴と前記基準原点Ｏとの結線を基準としてＸ軸を特定し、前記方位指示部１４に対応する前記第１モデリング特徴と前記基準原点Ｏとの結線を基準としてＹ軸を特定する２次元座標系である。

一例を挙げると、前記基準座標系は、前記基準原点Ｏを原点とし、前記取手部１３に対応する前記第１モデリング特徴と前記基準原点Ｏとの結線を基準としてＸ軸を特定し、前記方位指示部１４に対応する前記第１モデリング特徴と前記基準原点Ｏとの結線を基準としてＹ軸を特定し、最後に、前記基準原点Ｏを原点とし、Ｘ軸およびＹ軸が位置する平面に垂直なＺ軸を特定する３次元座標系である。

前記基準座標系は、前記基準画像上に作成されているので、複数の前記第１認識特徴はいずれも、前記基準座標系内にあることが理解される。
前記動作画像を取得するステップＳ３２。

ユーザが前記携帯器材１０を操作して所定の姿勢をとると、前記映像採集機２０が前記動作画像を収集し、前記プロセッサ３０が前記動作画像を取得してユーザの現在の姿勢を解析するために用いることが理解できる。

ある実施例において、前記動作画像は、複数の前記認識実体特徴１２に対応する複数の第２認識特徴を含んでおり、前記プロセッサ３０は、前記動作画像における前記第２認識特徴の第２特徴状況を特定することにより、ユーザの現在の姿勢を特定してもよい。

ある実施例において、前記動作画像は、複数の前記モデリング実体特徴１１に対応する複数の前記第２モデリング特徴を含んでおり、さらに、複数の前記第２モデリング特徴の分析により、前記基準モデルとは別のモデルを構築し、２つのモデルを突き合わせることで、前記動作画像と前記基準画像との区別を判定し、ユーザの現在の姿勢を特定してもよい。

前記第２認識特徴が前記基準モデルにおける第２特徴状況を特定するステップＳ３３。

前記第２特徴状況は、前記第２認識特徴の形状、大きさ、および前記基準原点との位置関係等を含むことが理解できる。

ユーザが異なる特定姿勢をとった場合には、前記携帯器材１０の形状、前記映像採集機２０との間の偏向角度、前記携帯器材１０自体の回動角度等の要因が異なり得るため、前記認識実体特徴１２の形状、位置、大きさ等は異なっていてもよい。したがって、取得した第２特徴状況を、当該第２認識特徴を解析することで、ユーザの現在の姿勢を判定する根拠とすることができる。

図６を参照して、上記第２特徴状況の特定方法は以下のステップを含んでもよい。

前記動作画像に基づいて比較モデルを作成するステップＳ６１。

前記基準画像からの前記基準モデルの生成と同様に、前記比較モデルは、前記第２の特徴状況を特定するために、前記動作画像から生成することが理解される。

上記比較モデルは、比較座標系であることが理解できる。

図７を参照すると、ある実施例において、上記比較モデルの作成方法は、以下のステップを含んでもよい。

動作画像で比較原点を特定するステップＳ７１。

なお、比較原点は、前記比較モデルの作成の根拠の１つであり、前記動作画像上の特徴を解析することで求められるものであると理解できる。比較原点は、複数の第２モデリング特徴に対する識別・解析によって得ることができる。

図５Ｂを参照して、例を挙げて説明すると、前記携帯器材１０は円環状の弾性部材であってもよく、前記携帯器材１０の両側に設けられた前記取手部１３と、前記携帯器材１０の一端に設けられた前記方位指示部１４とは、いずれも前記モデリング実体特徴１１であり、前記動作画像において、２つの前記取手部１３に対応する前記第２モデリング特徴を先に結線して第３結線を形成し、前記方位指示部１４に対応する前記第２モデリング特徴を起点として前記第３結線に垂直な線分として第４結線を形成し、前記第３結線と前記第４結線との交点である前記基準原点Ｏ’を最終的に特定する。

前記比較原点と複数の前記第２モデリング特徴に基づいて前記比較座標系を作成するステップＳ７２。

前記比較座標系の座標軸の数は、前記基準座標系の座標の数と等しいことが理解される。

前記比較原点を特定した後、前記比較原点を座標系の原点として、前記比較座標系が構築され、前記比較座標系の座標軸は、前記第２モデリング特徴の識別・解析によって得られることが理解される。

一例を挙げると、前記比較座標系は、前記比較原点Ｏ’を原点とし、前記取手部１３に対応する前記第２モデリング特徴と前記比較原点Ｏ’との結線を基準としてＸ’軸を特定し、前記方位指示部１４に対応する前記第２モデリング特徴と前記比較原点Ｏ’との結線を基準としてＹ’軸を特定し、最後に、前記比較原点Ｏ’を原点とし、Ｘ’軸およびＹ’軸が位置する平面に垂直なＺ’軸を特定する３次元座標系である。

前記比較座標系は、前記動作画像上に作成されているので、複数の前記第２認識特徴はいずれも、前記基準座標系内にあることが理解される。

前記基準モデルと前記比較モデルとを重ね合わせるステップＳ６２。

前記基準モデルは前記基準座標系であり、前記比較モデルは前記比較座標系であり、前記基準モデルと前記比較モデルとを重ね合わせる具体的な方法は、前記基準原点と前記比較原点とを重ね合わせてもよく、このように、前記比較座標系における複数の前記第２認識特徴はいずれも前記基準座標系に表示されることが理解される。

前記複数の第２認識特徴が前記基準モデルにおける第２特徴状況を特定するステップＳ６３。

前記第２特徴状況は、前記基準モデルにおける前記基準原点と各座標軸とを参照物とすることにより、前記第２認識特徴の形状、大きさ、前記基準原点との位置関係、および偏向角度等を含むことが理解できる。

前記基準座標系において前記第２認識特徴の座標を特定することにより、前記第２認識特徴と前記基準原点との位置関係が特定可能であることは理解される。

前記基準座標系の座標軸と前記比較座標系の座標軸とのなす角を比較することにより、前記第２認識特徴の偏向角度が特定可能であることが理解される。例えば、前記比較座標系のＸ’軸が、前記基準座標系のＸ軸を反時計回りに３０度回転させることにより得るときに、前記第２認識特徴のＸ軸方向における偏向角度が３０度であると特定することができる。

なお、前記第２認識特徴についての前記第２特徴状況は、前記基準座標系における第２認識特徴の解析により求めてもよいし、前記比較座標系と前記基準座標系との比較により求めてもよい。

複数の第２認識特徴は、複数の第２特徴状況であることを対応付けることが可能であることが理解できる。

一例を挙げて説明すると、前記比較座標系と前記基準座標系とがいずれも３次元座標系であり、前記比較座標系と前記基準座標系とが重ね合わせられた後、比較することにより、前記第２認識特徴がＸ軸方向に３０度ずれており、前記第２認識特徴が円餅状であり、かつ、前記第２認識特徴の中央の前記基準座標軸内における座標が（３，１，１）であれば、上記情報は、共に当該第２認識特徴の前記第２特徴であることがわかる。

前記第２特徴状況に基づいて姿勢認識情報を作成するステップＳ３４。

ユーザの姿勢が異なり、その動作画像が異なり、前記プロセッサー３０は、異なる前記第２特徴状況も同じではないことを認識して解析されてもよい。

ある実施例において、異なる前記複数の第２特徴状況が、異なる前記姿勢認識情報に対応付けられている。

メモリ４０には、異なる前記複数の第２特徴状況と、異なる前記複数の第２特徴状況に対応する前記姿勢認識情報とが記録される第１データベースが記憶されており、前記プロセッサ３０は、前記第２特徴状況が特定されると、前記メモリ４０から前記メモリ４０における前記第１データベースを読み出して、前記第２特徴状況に対応する前記姿勢認識情報を生成してもよい。

図８を参照して、他の実施形態において、上記第２特徴状況に応じて姿勢認識情報を生成する具体的な方法は、以下のステップを含んでもよい。

前記複数の第１認識特徴の第１特徴状況を特定するステップＳ８１。

前記第１特徴状況は、前記基準モデルにおける前記基準原点と各座標軸とを参照物とすることにより、前記第１認識特徴の形状、大きさ、および前記基準原点との位置関係等を含むことが理解できる。

前記基準座標系において前記第１認識特徴の座標を特定することにより、前記第１認識特徴と前記基準原点との位置関係が特定可能であることは理解される。

複数の第１認識特徴は、複数の第１特徴状況であることを対応付けることが可能であることが理解される。

例に挙げて説明すると、前記基準座標系が２次元座標系であり、前記第１認識特徴は円形であり、かつ、その円心の前記基準座標軸内における座標が（３，１）であれば、前記情報は、いずれも当該第１認識特徴の前記第１特徴状況である。

前記第１特徴状況と前記第２特徴状況との差異の状況を確認するステップＳ８２。

前記第１特徴状況と前記第２特徴状況との差異の状況を比較することで、前記第１認識特徴との差異がある前記第２認識特徴を複数特定することができ、前記第２認識特徴の座標と前記第１認識特徴の座標との間のデータ上の差、例えば、前記第２認識特徴の座標と前記第１認識特徴の座標とのＸ軸における２単位長さあたりの差異、前記第２認識特徴のＸ軸方向における偏向の角度が前記第１認識特徴のＸ軸方向における偏向の角度よりも１０度小さいなどの差異を知ることができ、上記差異の状況は、上記例示の場合を含み得ると理解できる。

前記差異の状況を特定することにより、前記第１認識特徴との差異がある前記第２認識特徴の一部が、前記第１認識特徴がどのように変化したかによって形成することが分かり、例えば、前記差異の状況は、前記第２認識特徴の座標と前記第１認識特徴の座標との間に、Ｘ軸上で２単位の長さの差を含んでいれば、前記第２認識特徴は、前記第１認識特徴がＸ軸方向に２単位の長さだけシフトして形成されていることが分かる。

前記差異の状況に基づいて、前記姿勢認識情報を生成するステップＳ８３。

異なる前記差異の状況には、異なる前記姿勢認識情報が対応付けられていると理解できる。

前記メモリ４０には、異なる前記複数の前記差異状況と、異なる前記複数の前記差異状況に対応する前記姿勢認識情報とが記録された第２データベースが記憶されており、前記プロセッサ３０は、前記差異状況を特定すると、前記メモリ４０から前記メモリ４０における前記第２データベースを読み出して、前記差異状況に対応する前記姿勢認識情報を生成していることが理解される。

前記動作画像において、方位モデルにおける前記携帯器材１０の存在位置を特定するステップＳ３５。

前記方位モデルは、前記映像採集機２０を原点とし、予め定められた方向を基に作成された２次元座標系であってもよく、前記方位モデルの作成は、前記携帯器材１０における特徴に依存しないことが理解される。

一例として、図１に示すように、前記方位モデルは、映像採集機２０を原点Ｏとし、映像採集機２０の正面が向く方向をｙ軸とし、ｙ軸に垂直する方向をｘ軸とした２次元座標系であってよい。

前記方位モデルにおける前記携帯器材１０の位置を認識する具体的な方法としては、前記動作画像におけるある前記第２認識特徴又は前記第２モデリング特徴を認識して、当該前記第２認識特徴又は前記第２モデリング特徴の前記方位モデルにおける座標を特定し、前記携帯器材１０の存在位置を座標により識別する方法が理解できる。

一例として、前記方位モデルは、映像採集機２０を原点Ｏとし、映像採集機２０の正面が向く方向をｙ軸とし、ｙ軸に垂直する方向をｘ軸とした２次元座標系であってよく、前記方位モデルにおいて前記方位指示部１４に対応する前記第２モデリング特徴を認識し、当該第２モデリング特徴の前記方位モデルにおける座標を特定することにより、前記携帯器材１０の存在位置を特定するようにしてもよい。

前記方位モデルにおける前記携帯器材１０の位置に基づき、位置認識情報を生成するステップＳ３６。

前記携帯器材１０が異なる位置に対して、前記位置識別情報が複数対応していることが理解できる。

一例を挙げると、前記メモリ４０には、複数の異なる前記第２モデリング特徴の前記方位モデルにおける座標と、異なる座標に対応する前記位置識別情報とが記録された第３データベースが記憶されており、前記プロセッサ３０は、前記第２モデリング特徴の座標を特定すると、前記第３データベースを前記メモリ４０から読み出して、座標に対応する前記位置識別情報を生成する。

前記位置認識情報と前記姿勢認識情報とに基づいて、ユーザのリアルタイムの姿勢を特定するステップＳ３７。

ユーザは、異なる姿勢とした場合に、前記携帯器材１０を置く位置が異なるとともに、ユーザの付勢力によって前記携帯器材１０の形状、偏向角度、偏向方向等も異なり、前記位置認識情報と前記姿勢認識情報を結合して解析することで、ユーザの前記リアルタイムの姿勢をより正確に判定できることが理解できる。

異なる前記リアルタイムの姿勢には、異なる前記姿勢認識情報と、異なる前記位置認識情報とが対応付けられていることが理解できる。

例を挙げて説明すると、前記メモリ４０には、複数の異なる前記姿勢認識情報と複数の異なる前記位置認識情報とが結合された、異なる前記リアルタイムの姿勢が対応づけられた第４データベースが記憶されており、前記プロセッサ３０は、前記姿勢認識情報と前記位置認識情報とが特定されると、前記記憶領域から前記第４データベースを読み出し、前記姿勢認識情報と、前記位置認識情報とが結合された、対応する前記リアルタイムの姿勢を生成してもよい。

本願実施例に開示された姿勢認識システムの模式図である図９を参照する。本開示の実施例に係る姿勢認識システム３００は、認識モジュール５０と、取得モジュール６０と、モデリングモジュール７０と、処理モジュール８０と、特定モジュール９０と、を含んでもよい。

認識モジュール５０は、基準画像における複数の第１モデリング特徴、複数の第１認識特徴、および、動作画像における複数の第２モデリング特徴、複数の第２認識特徴を認識するためのものである。

取得モジュール６０は、動作画像を取得するためのものである。
ある実施例において、取得モジュール６０は、さらに基準画像を取得するためのものである。

前記モデリングモジュール７０は、前記基準モデルと前記比較モデルとを構築する。

前記基準モデルは、前記基準座標系であってもよく、前記基準座標系の前記基準原点及び複数の座標軸は、複数の前記第１モデリング特徴の解析によって得ることが理解される。

前記比較モデルは、前記比較座標系であってもよく、前記比較座標系の前記比較原点と複数の座標軸は、複数の前記第２モデリング特徴の分析により得ることが理解される。

前記モデリングモジュール７０は、前記方位モデルの構築にも用いられる。

前記方位モデルは、映像採取器２０を原点とし、予め定められた方向を基に構築された２次元座標系であることが理解できる。

処理モジュール８０は、基準モデルにおいて、第２認識特徴に係る第２特徴状況を特定し、当該第２特徴状況に基づいて前記姿勢認識情報を生成する。

前記処理モジュール８０は、前記方位モデルにおいて、前記携帯器材１０が存在する位置に基づいて前記位置認識情報を生成するのにも用いられる。

前記特定モジュール９０は、前記姿勢認識情報と前記位置認識情報とに基づいて、前記リアルタイムの姿勢を特定する。

異なる前記リアルタイムの姿勢には、異なる前記姿勢認識情報と、異なる前記位置認識情報とが対応付けられていることが理解できる。

図９に記載の監視警告システムでは、前記動作画像の解析により、前記携帯器材１０の具体的な態様を特定することで、ユーザの前記リアルタイムの姿勢を特定することができ、前記姿勢認識機器１００の使い勝手が向上する。詳細は上述した姿勢認識方法の具体的な実施例を参照してもよく、ここでは詳細な説明は省略する。

同一構想に基づき、本願実施例による記憶媒体は、コンピュータ命令が記憶された記憶媒体であって、コンピュータ命令が姿勢認識機器１００上で実行した場合に、姿勢認識機器１００に本願実施例による姿勢認識方法を実行させる。

本発明は、上述の例示的な実施形態の詳細に限定されず、本発明の精神または本質的な特徴から逸脱することなく、他の特定の形態で実施できることは当業者には明らかである。したがって、本発明における上記の各実施形態は、本発明を制限するものではなく、例示と見なされるべきであり、本発明の範囲は、上記の説明により限定されることではなく、特許請求の範囲によって定義される。なお、特許請求の同等要素の意味および範囲におけるすべての変更は、本発明に含まれる。

姿勢認識機器 １００
インタラクティブシステム ２００
姿勢認識システム ３００
携帯器材 １０
モデリング実体特徴 １１
認識実体特徴 １２
取手部 １３
方位指示部 １４
映像採集機 ２０
プロセッサ ３０
メモリ ４０
認識モジュール ５０
取得モジュール ６０
モデリングモジュール ７０
処理モジュール ８０
特定モジュール ９０

Claims (8)

1. ユーザが携帯器材を操作する時の姿勢を認識する姿勢認識方法であって、
   基準画像に基づいて基準座標系である基準モデルを生成するステップと、
   ユーザと前記携帯器材とを撮像した画像であって、第２認識特徴を含む動作画像を取得するステップと、
   前記基準モデルにおける前記第２認識特徴の大きさ、形状、存在位置を含む第２特徴状況を判定し、姿勢認識情報を生成するステップと、を備え、
   前記基準画像は、前記携帯器材上のモデリング実体特徴に対応する第１モデリング特徴を備え、
   前記基準画像に基づいて基準モデルを生成するステップは、
   前記基準画像に基準原点を特定するステップと、
   前記基準原点と前記第１モデリング特徴に基づいて前記基準座標系を構築するステップと、を含み、
   第２特徴状況が前記基準モデルにおける前記第２認識特徴を特定して、姿勢認識情報を生成するステップは、
   前記動作画像に基づいて比較モデルを作成するステップと、
   前記基準モデルと前記比較モデルとを重ね合わせるステップと、
   前記第２認識特徴の形状、大きさ、および前記基準原点との位置関係を含み、前記第２特徴状況が前記基準モデルにおける前記第２認識特徴を特定するステップと、
   前記第２特徴状況に基づいて姿勢認識情報を作成するステップと、を備えることを特徴とする姿勢認識方法。
2. 前記動作画像は、前記モデリング実体特徴に対応する第２モデリング特徴を備え、
   前記比較モデルは、比較座標系であり、
   前記動作画像に基づいて比較モデルを生成するステップは、
   前記動作画像で比較原点を特定するステップと、
   前記比較原点と前記第２モデリング特徴に基づいて前記比較座標系を作成するステップと、を備えることを特徴とする請求項１に記載の姿勢認識方法。
3. 前記基準モデルと前記比較モデルとを重ね合わせるステップは、
   前記基準原点と前記比較原点とが重なり合うように、基準座標系と比較座標系とを重ね合わせるステップを備えることを特徴とする請求項２に記載の姿勢認識方法。
4. 前記基準画像は、認識実体特徴に対応する第１認識特徴をさらに備え、
   前記第２特徴状況に基づいて前記姿勢認識情報を生成するステップは、
   前記第１認識特徴の形状、大きさ、及び基準原点との位置関係を含む前記第１認識特徴の第１特徴状況を特定するステップと、
   前記第１特徴状況と前記第２特徴状況との差異状況を確認するステップと、および
   前記差異状況に基づいて、前記姿勢認識情報を生成するステップと、を備えることを特徴とする請求項１に記載の姿勢認識方法。
5. 前記動作画像に基づいて、方位モデルにおける前記携帯器材の位置を確認して、位置認識情報を生成するステップをさらに備える請求項１に記載の姿勢認識方法。
6. 位置認識情報と前記姿勢認識情報とに基づいて、ユーザのリアルタイムの姿勢を特定するステップをさらに備える請求項１に記載の姿勢認識方法。
7. 認識実体特徴とモデリング実体特徴を備えた携帯器材と、
   ユーザが前記携帯器材を操作する時に動作画像を採取する映像採取器と、
   コンピュータプログラムを記憶するメモリと、
   前記メモリに記憶された前記コンピュータプログラムを実行するプロセッサであって、前記コンピュータプログラムが実行される際、請求項１から６のいずれか１項に記載の姿勢認識方法を実行するプロセッサと、を備える姿勢認識機器。
8. コンピュータ命令が姿勢認識機器で実行される時、請求項１から６のいずれかに記載の姿勢認識方法を前記姿勢認識機器に実行させる前記コンピュータ命令を含むことを特徴とする記憶媒体。