JP7667724B2

JP7667724B2 - 計算機システム及び運動を行う人の身体動作の分析方法

Info

Publication number: JP7667724B2
Application number: JP2021174388A
Authority: JP
Inventors: 毅田中; 徳夫合田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2021-10-26
Filing date: 2021-10-26
Publication date: 2025-04-23
Anticipated expiration: 2041-10-26
Also published as: JP2023064238A

Description

本発明は、運動時の人の身体動作を分析するシステム及び方法に関する。

スポーツの指導及び研究等において、マーカ及びカメラを用いたモーションキャプチャによってフォーム等の身体動作の分析が行われてきた。近年、画像認識技術の発達によって、画像のみを用いて、人の認識及び人の骨格を検出し、身体動作を分析する技術が登場している。

例えば、特許文献１には、「運動時のユーザを撮影するカメラ２１と、運動を行う場所に設置されるディスプレイ２２と、運動に関する説明をディスプレイに出力する説明出力部と、カメラが撮影した画像を解析してユーザの身体の部位の位置を特定する部位特定部と、部位の位置を前記画像に重畳させて前記ディスプレイに出力する出力部と、を備える」システムが開示されている。

特開２０２０－１７４９１０号公報

特許文献１に記載の技術では、運動時のユーザの身体の部位を特定するのみで、部位間の関連性については分析を行っていない。運動時の人の身体動作の分析では、部位間の同期性（関連性又は因果関係）を定量的に評価することが重要である。

本発明は、運動時の人の部位間の同期性を定量的に評価し、提示するシステム及び方法を実現することを目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、運動を行う人の身体動作を分析する計算機システムであって、プロセッサ、前記プロセッサに接続されるメモリ、前記プロセッサに接続されるインタフェースを有する少なくとも一つの計算機を含み、前記少なくとも一つの計算機は、運動を行う人を撮像した動画を取得し、前記動画を構成する複数の画像の各々について、前記画像における前記人の身体の部位を表す複数の要素点の座標を算出し、前記画像及び前記複数の要素点の座標を対応づけて前記メモリに格納し、前記複数の画像の各々の前記複数の要素点の座標に基づいて、前記複数の要素点の各々の移動量の時系列データを生成し、前記複数の要素点の移動量の時系列データを用いて、複数の要素点ペアの各々について、運動時の前記要素点間の同期性を評価するための同期性指標を算出し、前記複数の要素点ペアの前記同期性指標を前記メモリに格納し、前記複数の要素点ペアの前記同期性指標に基づいて、運動時の前記人の前記要素点間の同期性を示す表示情報を生成し、出力し、前記要素点ペアの前記同期性指標は、前記要素点ペアを構成する一つの要素点から前記要素点ペアを構成する他の要素点への移動エントロピーであり、前記少なくとも一つの計算機は、前記同期性指標の算出する場合に、前記複数の要素点の各々の移動量の時系列データを離散化し、前記複数の要素点の各々の移動量の時系列データを確率変数として扱える値に正規化し、離散化及び正規化が行われた前記複数の要素点の各々の移動量の時系列データを用いて、前記複数の要素点ペアの各々の前記同期性指標を算出する。

本発明によれば、運動時の人の部位間の同期性を把握することができる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

実施例１のシステムの構成例を示す図である。実施例１の動画管理ＤＢのデータ構造の一例を示す図である。実施例１の骨格／特徴点管理ＤＢのデータ構造の一例を示す図である。実施例１の同期性指標管理ＤＢのデータ構造の一例を示す図である。実施例１のサーバが実行する処理の概要を説明するフローチャートである。実施例１のサーバによって算出される要素点の具体例を示す図である。実施例１のサーバによって算出される要素点の具体例を示す図である。実施例１のサーバによる要素点の移動量の算出例を示す図である。実施例１のサーバが実行する同期性指標算出処理の一例を説明するフローチャートである。実施例１のサーバが実行する同期性指標算出処理の具体的な処理内容のイメージ図である。実施例１のサーバによる同期性指標の具体的な算出方法の一例を示す図である。実施例１のサーバが実行する表示処理の一例を説明するフローチャートである。実施例１のサーバが提示する情報の一例を示す図である。実施例１のサーバが実行する表示処理の一例を説明するフローチャートである。実施例１のサーバが提示する情報の一例を示す図である。実施例１のサーバが提示する情報の一例を示す図である。実施例１のサーバが実行する表示処理の一例を説明するフローチャートである。実施例１のサーバが提示する情報の一例を示す図である。実施例１のサーバが実行する表示処理の一例を説明するフローチャートである。実施例１のサーバが提示する情報の一例を示す図である。実施例２の同期性指標管理ＤＢのデータ構造の一例を示す図である。実施例２のサーバが実行する処理の概要を説明するフローチャートである。

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。

図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。

図１は、実施例１のシステムの構成例を示す図である。

システムは、サーバ１００及びユーザ端末１０１から構成される。サーバ１００及びユーザ端末１０１は、ネットワーク１０５を介して接続される。ネットワーク１０５は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）及びＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）等であり、接続方式は有線及び無線のいずれでもよい。

ユーザ端末１０１はユーザが操作する端末である。ユーザ端末１０１は、バッティング、ピッチング等の運動を行っている人を撮影した動画をサーバ１００に送信する。また、ユーザ端末１０１は、サーバ１００から送信される各種情報を表示する。ユーザ端末１０１は、例えば、図示しないプロセッサ、メモリ、ネットワークインタフェース、入力装置、及び出力装置等を有するパーソナルコンピュータ、又は、図示しないプロセッサ、メモリ、ネットワークインタフェース、撮像装置、入力装置、及び出力装置等を有するスマートフォンである。ユーザ端末１０１がパーソナルコンピュータである場合、本実施例では、ユーザ端末１０１としてスマートフォンを想定する。

サーバ１００は、動画を用いて、運動時の人の部位間の同期性を分析し、分析結果をユーザに提示する。サーバ１００は、プロセッサ１１０、メモリ１１１、及びネットワークインタフェース１１２を有する。なお、サーバ１００は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）及びＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記憶装置、キーボード、マウス、及びタッチパネル等の入力装置、並びに、ディスプレイ等の出力装置を有してもよい。

プロセッサ１１０は、サーバ１００全体の制御を行う演算装置であり、メモリ１１１に格納されるプログラムを実行する。プロセッサ１１０がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、プログラムを主語に処理を説明する場合、プロセッサ１１０がプログラムを実行していることを示す。

メモリ１１１は、プロセッサ１１０が実行するプログラム及びプログラムが実行する情報を格納する記憶装置であり、例えば、揮発性又は不揮発性のメモリである。メモリ１１１はワークエリアとしても用いられる。メモリ１１１に格納されるプログラム及び情報については後述する。

ネットワークインタフェース１１２は、ネットワーク１０５を介して、ユーザ端末１０１等の外部装置と接続するためのインタフェースである。

ここで、メモリ１１１に格納されるプログラム及び情報について説明する。メモリ１１１は、プログラムとして、骨格認識プログラム１２０、同期性指標算出プログラム１２１、及び表示プログラム１２２を格納する。また、メモリ１１１は、情報として、動画ＤＢ１３０、動画管理ＤＢ１３１、骨格／特徴点管理ＤＢ１３２、同期性指標管理ＤＢ１３３、及び表示設定ＤＢ１３４を格納する。

動画ＤＢ１３０は、動画を管理するためのデータベースである。本実施例は、動画の形式、及び動画のフレームレートに限定されない。

動画管理ＤＢ１３１は、動画のメタデータを管理するためのデータベースである。動画管理ＤＢ１３１のデータ構造については図２を用いて説明する。

骨格／特徴点管理ＤＢ１３２は、動画を構成する１フレームの画像における人の身体部位及び特徴点の座標を管理するためのデータベースである。ここで、特徴点は、例えば、人の重心である。なお、道具を用いる運動については、当該道具の重心等も特徴点として扱う。

以下の説明では、肘、膝、肩、足首等の人の身体部位、及び特徴点、すなわち、運動における可動部位を示す点を要素点と記載する。骨格／特徴点管理ＤＢ１３２のデータ構造の詳細は図３を用いて説明する。

同期性指標管理ＤＢ１３３は、運動中における要素点間の因果関係、すなわち、要素点間の同期性を評価するための同期性指標を管理するためのデータベースである。同期性指標管理ＤＢ１３３のデータ構造の詳細は図４を用いて説明する。

表示設定ＤＢ１３４は、分析結果の表示に関する設定を管理するためのデータベースである。表示設定ＤＢ１３４には、提示する内容、及び提示する画面のレイアウト等に関する設定情報が格納される。

図２は、実施例１の動画管理ＤＢ１３１のデータ構造の一例を示す図である。

動画管理ＤＢ１３１は、動画ＩＤ２０１、撮影日時２０２、データ名２０３、選手名２０４、分類２０５、場所２０６、天候２０７、及びコメント２０８を含むエントリを格納する。一つのエントリが一つの動画に対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。

動画ＩＤ２０１は、動画の識別情報を格納するフィールドである。撮影日時２０２は、動画が撮影された日時を格納するフィールドである。データ名２０３は、動画の名称を格納するフィールドである。ファイル形式の動画の場合、データ名２０３にはファイル名が格納される。

選手名２０４は、動画中において運動を行っている人の氏名を格納するフィールドである。分類２０５は、運動の種別を格納するフィールドである。場所２０６は、運動が行われた場所に関する情報を格納するフィールドである。天候２０７は、運動時の天候に関する情報を格納するフィールドである。コメント２０８は、運動に関するコメントを格納するフィールドである。

図３は、実施例１の骨格／特徴点管理ＤＢ１３２のデータ構造の一例を示す図である。

骨格／特徴点管理ＤＢ１３２は、動画ＩＤ３０１、時間３０２、及び座標３０３を含むエントリを格納する。一つのエントリが一つの動画に対応する。一つのエントリには、フレームの数だけ時間及び座標から構成される行が含まれる。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。

動画ＩＤ３０１は、動画ＩＤ２０１と同一のフィールドである。時間３０２は、動画を構成する１フレームの画像（静止画像）の動画中の時間を格納するフィールドである。座標３０３は、静止画像における要素点の座標を格納するフィールド群である。座標３０３には、要素点ごとのフィールドが含まれる。

図４は、実施例１の同期性指標管理ＤＢ１３３のデータ構造の一例を示す図である。

同期性指標管理ＤＢ１３３は、動画ＩＤ４０１、分析時間範囲４０２、及び同期性指標４０３を含むエントリを格納する。一つのエントリが一つの動画に対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。

動画ＩＤ４０１は、動画ＩＤ２０１と同一のフィールドである。分析時間範囲４０２は、同期性指標を算出するために用いた動画の時間範囲を格納するフィールドである。同期性指標４０３は、要素点間の同期性指標を格納するフィールド群である。同期性指標４０３には、要素点ペアごとのフィールドが含まれる。

図５は、実施例１のサーバ１００が実行する処理の概要を説明するフローチャートである。図６Ａ及び図６Ｂは、実施例１のサーバ１００によって算出される要素点の具体例を示す図である。図７は、実施例１のサーバ１００による要素点の移動量の算出例を示す図である。

サーバ１００は、ユーザ端末１０１から動画又は分析対象の動画を指定する情報、及び分析時間範囲を含む分析要求を受信した場合、以下で説明する処理を実行する。なお、分析対象の動画を指定する情報は、例えば、動画の名称、運動の種類、及び氏名等である。分析時間範囲は、動画中の分析する画像の範囲を指定するための情報である。

骨格認識プログラム１２０は、動画を用いて骨格／特徴点算出処理を実行する（ステップＳ１０１）。具体的には、以下のような処理が実行される。

（Ｓ１０１－１）骨格認識プログラム１２０は、動画から１フレームの画像を取得し、当該画像から要素点を特定し、特定された要素点の座標を算出する。例えば、図６Ａ及び図６Ｂのような要素点が特定される。丸のマークは身体部位を表し、星及び三角のマークは特徴点を表す。骨格認識プログラム１２０は、身体部位を結合することによって人の骨格を認識できる。なお、身体部位及び特徴点の特定方法は、特許文献１等、公知の技術を用いればよいため詳細な説明は省略する。

（Ｓ１０１－２）骨格認識プログラム１２０は、骨格／特徴点管理ＤＢ１３２を参照し、動画ＩＤ３０１に分析対象の動画の識別情報が格納されるエントリを検索する。

エントリが存在しない場合、骨格認識プログラム１２０は、エントリを追加し、動画ＩＤ３０１に動画の識別情報を設定する。骨格認識プログラム１２０は、エントリに時間３０２及び座標３０３を含む行を一つ追加し、追加された行の時間３０２に画像の時間を設定する。また、骨格認識プログラム１２０は、追加された行の座標３０３の各フィールドに、各要素点の座標を設定する。

エントリが存在する場合、骨格認識プログラム１２０は、当該エントリに時間３０２及び座標３０３を含む行を一つ追加し、追加された行の時間３０２に画像の時間を設定する。また、骨格認識プログラム１２０は、追加された行の座標３０３の各フィールドに、各要素点の座標を設定する。

全ての画像について処理が完了していない場合、骨格認識プログラム１２０はＳ１０１－１に戻り、同様の処理を実行する。全ての画像について処理が完了した場合、骨格認識プログラム１２０はステップＳ１０１の処理を終了する。以上がステップＳ１０１の処理の説明である。

次に、骨格認識プログラム１２０は、動画に対してダウンサンプリングを実行する（ステップＳ１０２）。なお、ダウンサンプリングは省略してもよい。

次に、骨格認識プログラム１２０は、移動量算出処理を実行する（ステップＳ１０３）。具体的には、以下のような処理が実行される。

（Ｓ１０３－１）骨格認識プログラム１２０は、要素点の中から対象の要素点を選択する。

（Ｓ１０３－２）骨格認識プログラム１２０は、骨格／特徴点管理ＤＢ１３２の動画に対応するエントリを参照し、ダウンサンプリングされた動画に含まれる画像に対応する行から選択された要素点の座標を取得する。

（Ｓ１０３－３）骨格認識プログラム１２０は、各時間の要素点の座標を用いて要素点の移動量の時系列データを生成する。

例えば、図７に示すように、時間ｔ１の要素点の座標を（Ｘ_ｔ１，Ｙ_ｔ１）、時間ｔ２の要素点の座標を（Ｘ_ｔ２，Ｙ_ｔ２）とした場合、時間ｔ１から時間ｔ２の間における要素点の移動量Ｖ_ｔ２は式（１）を用いて算出できる。

連続する画像に対して同様の処理を繰り返すことによって、要素点の移動量の時系列データが生成される。

全ての要素点について処理が完了していない場合、骨格認識プログラム１２０はＳ１０３－１に戻り、同様の処理を実行する。全ての要素点について処理が完了した場合、骨格認識プログラム１２０はステップＳ１０３の処理を終了する。以上がステップＳ１０３の処理の説明である。

次に、同期性指標算出プログラム１２１は、要素点の移動量の時系列データを用いて同期性指標算出処理を実行する（ステップＳ１０４）。同期性指標算出処理の詳細は図８から図１０を用いて説明する。

次に、表示プログラム１２２は、同期性指標を用いて表示処理を実行する（ステップＳ１０５）。その後、サーバ１００は処理を終了する。表示処理の詳細は図１１から図１９を用いて説明する。

図８は、実施例１のサーバ１００が実行する同期性指標算出処理の一例を説明するフローチャートである。図９は、実施例１のサーバ１００が実行する同期性指標算出処理の具体的な処理内容のイメージ図である。図１０は、実施例１のサーバ１００による同期性指標の具体的な算出方法の一例を示す図である。

同期性指標算出プログラム１２１は、要素点のループ処理を開始する（ステップＳ２０１）。具体的には、同期性指標算出プログラム１２１は、要素点の中から対象の要素点を選択する。

次に、同期性指標算出プログラム１２１は、図９に示すように、選択した要素点の移動量の時系列データに基づいて、移動量の頻度ヒストグラムを生成する（ステップＳ２０２）。

次に、同期性指標算出プログラム１２１は、スタージェスの公式を用いて移動量の頻度ヒストグラムの分割数を算出し、図９に示すように、当該分割数に基づいてヒストグラムを分割する（ステップＳ２０３）。

次に、同期性指標算出プログラム１２１は、移動量を確率変数として扱えるように正規化し、また、ヒストグラムの分割結果に基づいて、移動量の時系列データを離散化する（ステップＳ２０４）。以下の説明では、ステップＳ２０４の処理によって生成される時系列データを確率変数時系列データと記載する。

正規化を行うことによって、身体的な特性及び動画の特性（画角、撮影距離等）による要素点の移動量の大きさの違いを解消できる。また、離散化を行うことによって、移動エントロピーを算出することができる。

次に、同期性指標算出プログラム１２１は、全ての要素点について処理が完了したか否かを判定する（ステップＳ２０５）。

全ての要素点について処理が完了していない場合、同期性指標算出プログラム１２１は、ステップＳ２０１に戻り、同様の処理を実行する。

全ての要素点について処理が完了した場合、同期性指標算出プログラム１２１は、要素点の確率変数時系列データを用いて、要素点間の移動エントロピーを算出する（ステップＳ２０６）。その後、同期性指標算出プログラム１２１は同期性指標算出処理を終了する。

例えば、図１０に示すように、要素点Ｉのｍ個の確率変数時系列データと、要素点ｊのｍ個の確率変数時系列データとを用いて、時間ステップｎ＋１における要素点Ｊから要素点Ｉの移動エントロピーは式（２）で算出できる。関数Ｐは確率を表す。

同期性指標算出プログラム１２１は、同期性指標管理ＤＢ１３３にエントリを追加し、追加されたエントリの動画ＩＤ４０１に動画の識別情報を設定し、分析時間範囲４０２に分析時間範囲を設定する。なお、特に分析時間範囲が指定されていない場合、動画の開始時間から終了時間までが分析時間範囲として設定される。また、同期性指標算出プログラム１２１は、追加されたエントリの同期性指標４０３の各フィールドに、算出された移動エントロピーを設定する。

なお、同期性指標４０３の「右肩－右肘」は、右肩から右肘への移動エントロピーを格納するフィールドである。したがって、同期性指標４０３には、「右肩－右肘」とは別に「右肘－右肩」のフィールドも存在する。

次に、図１１から図１９を用いて表示処理について説明する。表示処理は、ユーザが要求する表示内容及び表示方法によって処理内容が異なる。

図１１は、実施例１のサーバ１００が実行する表示処理の一例を説明するフローチャートである。図１２は、実施例１のサーバ１００が提示する情報の一例を示す図である。

表示プログラム１２２は、同期性指標管理ＤＢ１３３から分析対象の動画の同期性指標を取得する（ステップＳ３０１）。

表示プログラム１２２は、同期性指標が閾値より大きい要素点ペアを抽出する（ステップＳ３０２）。

表示プログラム１２２は、抽出された要素点ペアを構成する二つの要素点を結ぶ矢印が描写された身体モデルの画像を表示するための表示情報を生成し、ユーザ端末１０１に送信する（ステップＳ３０３）。身体モデルは、外観及び身体部位に対応する要素点が定義された身体のモデルである。

ユーザ端末１０１には、例えば、図１２に示すような画面が表示される。図１２に示す画面には、動画の撮影日時、動作を行っている人の氏名、分析時間範囲、及び身体モデルの画像が表示される。身体モデルの画像には抽出された要素点ペアを構成する二つの要素点を結ぶ矢印が描写されている。なお、同期性指標の大きさに応じて矢印の太さ又は色を変更してもよい。

図１３は、実施例１のサーバ１００が実行する表示処理の一例を説明するフローチャートである。図１４及び図１５は、実施例１のサーバ１００が提示する情報の一例を示す図である。

表示プログラム１２２は、同期性指標管理ＤＢ１３３から分析対象の動画の同期性指標を取得する（ステップＳ４０１）。

表示プログラム１２２は、動画ＤＢ１３０から分析対象の動画を取得し、また、骨格／特徴点管理ＤＢ１３２から要素点の座標を取得する（ステップＳ４０２）。

表示プログラム１２２は、同期性指標が閾値より大きい要素点ペアを抽出する（ステップＳ４０３）。

表示プログラム１２２は、要素点の座標、同期性指標、動画に基づいて、要素点及び抽出された要素点ペアを構成する二つの要素点を結ぶ矢印が描写された動画を表示するための表示情報を生成し、ユーザ端末１０１に送信する（ステップＳ４０４）。

ユーザ端末１０１には、例えば、図１４に示すような画面が表示される。図１４に示す画面には、動画の撮影日時、運動を行っている人の氏名、分析時間範囲、再生時間、及び動画が表示される。動画には要素点及び抽出された要素点ペアを構成する二つの要素点を結ぶ矢印が描写されている。なお、同期性指標の大きさに応じて矢印の太さ又は色を変更してもよい。

なお、図１５に示すように、サーバ１００は、二つの動画の入力を受け付け、各動画の要素点の同期性を比較可能な画面を表示してもよい。

図１６は、実施例１のサーバ１００が実行する表示処理の一例を説明するフローチャートである。図１７は、実施例１のサーバ１００が提示する情報の一例を示す図である。

以下の説明では、サーバ１００は、ユーザから目的要素点及び最大階層数Ｎに関する情報を受け付けているものとする。

表示プログラム１２２は、同期性指標管理ＤＢ１３３から分析対象の動画の同期性指標を取得する（ステップＳ５０１）。

表示プログラム１２２は、動画ＤＢ１３０から分析対象の動画を取得し、また、骨格／特徴点管理ＤＢ１３２から要素点の座標を取得する（ステップＳ５０２）。

表示プログラム１２２は、目的要素点を含み、かつ、同期性指標が閾値以上である要素点ペアを抽出する（ステップＳ５０３）。

表示プログラム１２２は、抽出された要素点ペアに基づいて、第１階層の要素点リストを生成する（ステップＳ５０４）。具体的には、表示プログラム１２２は、各要素点ペアについて、目的要素点と異なる要素点を取得し、第１階層の要素点リストに登録する。

表示プログラム１２２は、階層を示す変数ｎに１を設定する（ステップＳ５０５）。

表示プログラム１２２は、第ｎ階層の要素点リストを取得し（ステップＳ５０６）、要素点のループ処理を開始する（ステップＳ５０７）。具体的には、表示プログラム１２２は、要素点リストから一つの要素点を選択する。以下の説明では、選択された要素点を起点要素点と記載する。

表示プログラム１２２は、起点要素点を含み、かつ、同期性指標が閾値以上である要素点ペアを抽出する（ステップＳ５０８）。

表示プログラム１２２は、抽出された要素点ペアに基づいて、第ｎ＋１階層の要素点リストを生成する（ステップＳ５０９）。具体的には、表示プログラム１２２は、各要素点ペアについて、起点要素点と異なる要素点を取得し、第ｎ＋１階層の要素点リストに登録する。

表示プログラム１２２は、第ｎ階層の要素点リストの全ての要素点について処理が完了したか否かを判定する（ステップＳ５１０）。

第ｎ階層の要素点リストの全ての要素点について処理が完了していない場合、表示プログラム１２２は、ステップＳ５０７に戻り、同様の処理を実行する。

第ｎ階層の要素点リストの全ての要素点について処理が完了した場合、表示プログラム１２２は、ｎ＋１が最大階層数Ｎに一致するか否かを判定する（ステップＳ５１１）。

ｎ＋１が最大階層数Ｎに一致しない場合、表示プログラム１２２は、変数ｎに１を加算した値を変数ｎに設定し（ステップＳ５１２）、その後、ステップＳ５０６に戻る。

ｎ＋１が最大階層数Ｎに一致する場合、表示プログラム１２２は、要素点リスト、要素点の座標、同期性指標、及び動画に基づいて、要素点及び抽出された要素点ペアを構成する二つの要素点を結ぶ矢印が描写された動画を表示するための表示情報を生成し、ユーザ端末１０１に送信する（ステップＳ５１３）。

ユーザ端末１０１には、例えば、図１７に示すような画面が表示される。図１７に示す画面には、動画の撮影日時、運動を行っている人の氏名、分析時間範囲、再生時間、及び動画が表示される。動画には、要素点とともに、目的要素点を起点とした、同期性の高い要素点のつながりを示す矢印が描写されている。なお、同期性指標の大きさに応じて矢印の太さ又は色を変更してもよい。

図１８は、実施例１のサーバ１００が実行する表示処理の一例を説明するフローチャートである。図１９は、実施例１のサーバ１００が提示する情報の一例を示す図である。

表示プログラム１２２は、同期性指標管理ＤＢ１３３から分析対象の動画の同期性指標を取得する（ステップＳ６０１）。

表示プログラム１２２は、動画ＤＢ１３０から分析対象の動画を取得し、また、骨格／特徴点管理ＤＢ１３２から要素点の座標を取得する（ステップＳ６０２）。

表示プログラム１２２は、同期性指標が閾値より大きい要素点ペアを抽出する（ステップＳ６０３）。

表示プログラム１２２は、抽出された要素点ペアの接続が構成するネットワークにおける要素点の重要性を表すネットワーク指標を算出する（ステップＳ６０４）。例えば、ページランク等の中心性指標がネットワーク指標として算出される。

表示プログラム１２２は、要素点の座標、動画、及びネットワーク指標に基づいて、ネットワーク指標が閾値より大きい要素点を強調表示した動画を表示するための表示情報を生成し、ユーザ端末１０１に送信する（ステップＳ６０５）。

ユーザ端末１０１には、例えば、図１９に示すような画面が表示される。図１９に示す画面には、動画の撮影日時、運動を行っている人の氏名、分析時間範囲、再生時間、及び動画が表示される。動画には要素点が描写されている。ネットワーク指標が閾値より大きい要素点は、大きさ又は色等を変えて強調表示される。

以上で説明したように、実施例１によれば、サーバ１００は、人の身体部位間及び身体部位と道具との間の同期性を定量的に評価し、評価結果を提示することができる。これによって、ユーザは、運動時の人の身体部位間及び身体部位と道具との間の同期性を把握することができる。

なお、複数のサーバ１００から構成される分析システムを用いて同様の機能を実現してもよい。この場合、各サーバ１００に機能を分散した配置してもよい。

なお、サーバ１００が有するプログラムは、複数のプログラムを一つのプログラムにまとめてもよいし、一つのプログラムを機能ごとに複数のプログラムに分けてもよい。

実施例２では、一つの動画について、単位時間範囲ごとに同期性指標を算出する点が異なる。これによって、運動時における身体部位の同期性の時間変化を把握することができる。以下、実施例１との差異を中心に実施例２について説明する。

実施例２のシステムの構成は実施例１と同一である。実施例２のサーバ１００のハードウェア構成及びソフトウェア構成は実施例１と同一である。実施例２の動画ＤＢ１３０、動画管理ＤＢ１３１、骨格／特徴点管理ＤＢ１３２、及び表示設定ＤＢ１３４のデータ構造は実施例１と同一である。

実施例２では、同期性指標管理ＤＢ１３３のデータ構造が異なる。図２０は、実施例２の同期性指標管理ＤＢ１３３のデータ構造の一例を示す図である。

実施例２の同期性指標管理ＤＢ１３３に格納されるエントリを構成するフィールドの構造は実施例１と同一である。ただし、一つのエントリには、単位時間範囲ごとの同期性指標を格納する行が含まれる。単位時間範囲は、システム全体で共通する値でもよいし、動画ごとに異なる値でもよい。

図２１は、実施例２のサーバ１００が実行する処理の概要を説明するフローチャートである。

ステップＳ１０１からステップＳ１０３の処理が実行された後、同期性指標算出プログラム１２１は、時間を表す変数ｔに分析開始時間を設定する（ステップＳ１１１）。

次に、同期性指標算出プログラム１２１は、単位時間範囲［ｔ，ｔ＋ｌ］の要素点の移動量の時系列データを取得する（ステップＳ１１２）。単位時間範囲は、任意のウィンドウ幅ｌのウィンドウを時系列に沿ってスライドさせることによって切り出される時間範囲である。

次に、同期性指標算出プログラム１２１は、要素点の移動量の時系列データを用いて同期性指標算出処理を実行する（ステップＳ１０４）。同期性指標算出処理は実施例１と同一の処理であるが、処理に用いる時系列データの範囲が異なる。実施例１では分析時間範囲全体の時系列データを対象としていたが、実施例２では、単位時間範囲［ｔ，ｔ＋ｌ］の時系列データを対象とする。また、同期性指標算出プログラム１２１は、エントリに単位時間範囲［ｔ，ｔ＋ｌ］の行を追加し、当該行の同期性指標４０３に算出された同期性指標を設定する。

次に、同期性指標算出プログラム１２１は、時間（ｔ＋ｌ＋Δｔ）が分析終了時間より後であるか否かを判定する（ステップＳ１１３）。ここで、Δｔは更新時間幅を表す。更新時間幅は予め設定されるものとする。なお、動画ごとに異なる値でもよい。

時間（ｔ＋ｌ＋Δｔ）が分析終了時間に一致又は分析終了時間より前である場合、同期性指標算出プログラム１２１は、変数ｔの値に更新時間幅Δｔを追加した時間を変数ｔに設定し（ステップＳ１１４）、その後、ステップＳ１１２に戻る。

時間（ｔ＋ｌ＋Δｔ）が分析終了時間より後である場合、同期性指標算出プログラム１２１は、単位時間範囲ごとの同期性指標を用いて表示処理を実行する（ステップＳ１０５）。

実施例２では時間の経過に伴って同期性指標が変化する。したがって、表示処理では、時間経過に伴って同期性指標を動的に変化させる表示が行われる。表示処理の処理内容は実施例１と同一であるため説明は省略する。

実施例２によれば、運動時における身体部位間及び身体部位と道具との間の同期性の時間変化を把握することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

１００サーバ
１０１ユーザ端末
１０５ネットワーク
１１０プロセッサ
１１１メモリ
１１２ネットワークインタフェース
１２０骨格認識プログラム
１２１同期性指標算出プログラム
１２２表示プログラム
１３０動画ＤＢ
１３１動画管理ＤＢ
１３２骨格／特徴点管理ＤＢ
１３３同期性指標管理ＤＢ
１３４表示設定ＤＢ

Claims

運動を行う人の身体動作を分析する計算機システムであって、
プロセッサ、前記プロセッサに接続されるメモリ、前記プロセッサに接続されるインタフェースを有する少なくとも一つの計算機を含み、
前記少なくとも一つの計算機は、
運動を行う人を撮像した動画を取得し、
前記動画を構成する複数の画像の各々について、運動における可動部位を表す複数の要素点の座標を算出し、前記画像と、前記複数の要素点の座標とを対応づけて前記メモリに格納し、
前記複数の画像の各々の前記複数の要素点の座標に基づいて、前記複数の要素点の各々の移動量の時系列データを生成し、
前記複数の要素点の移動量の時系列データを用いて、複数の要素点ペアの各々について、運動時の前記要素点間の同期性を評価するための同期性指標を算出し、前記複数の要素点ペアの前記同期性指標を前記メモリに格納し、
前記複数の要素点ペアの前記同期性指標に基づいて、運動時の前記要素点間の同期性を示す表示情報を生成し、出力し、
前記要素点ペアの前記同期性指標は、前記要素点ペアを構成する一つの要素点から前記要素点ペアを構成する他の要素点への移動エントロピーであり、
前記少なくとも一つの計算機は、前記同期性指標の算出する場合に、
前記複数の要素点の各々の移動量の時系列データを離散化し、
前記複数の要素点の各々の移動量の時系列データを確率変数として扱える値に正規化し、
離散化及び正規化が行われた前記複数の要素点の各々の移動量の時系列データを用いて、前記複数の要素点ペアの各々の前記同期性指標を算出することを特徴とする計算機システム。
請求項１に記載の計算機システムであって、
前記少なくとも一つの計算機は、
前記動画の分析時間範囲を設定し、
前記分析時間範囲に含まれる、前記複数の要素点の移動量の時系列データに基づいて、前記複数の要素点ペアの前記同期性指標を算出し、
前記分析時間範囲と、前記複数の要素点ペアの前記同期性指標とを対応づけて前記メモリに格納することを特徴とする計算機システム。
請求項１に記載の計算機システムであって、
前記少なくとも一つの計算機は、
前記動画の分析時間範囲を設定し、
前記分析時間範囲より小さい単位時間範囲ごとに、当該単位時間範囲に含まれる、前記複数の要素点の移動量の時系列データに基づいて、前記複数の要素点ペアの前記同期性指標を算出し、
前記単位時間範囲と、前記複数の要素点ペアの前記同期性指標とを対応づけて前記メモリに格納することを特徴とする計算機システム。
請求項１に記載の計算機システムであって、
前記少なくとも一つの計算機は、前記複数の要素点ペアの前記同期性指標に基づいて、同期性が高い前記要素点ペアを構成する前記要素点を、他の前記要素点より強調して表示する前記表示情報を生成することを特徴とする計算機システム。
請求項１に記載の計算機システムであって、
前記少なくとも一つの計算機は、
前記複数の要素点ペアの前記同期性指標に基づいて、目的要素点を起点に、前記同期性が高い前記要素点ペアを探索し、
探索された前記要素点ペアを構成する前記要素点を、他の前記要素点より強調して表示する前記表示情報を生成することを特徴とする計算機システム。
請求項１に記載の計算機システムであって、
前記少なくとも一つの計算機は、
前記複数の要素点ペアの前記同期性指標に基づいて、同期性が高い前記要素点ペアを特定し、
特定された前記要素点ペアから構成されるネットワークのネットワーク指標を算出し、
前記ネットワーク指標に基づいて、前記ネットワークにおいて重要な前記要素点を、他の前記要素点より強調して表示する前記表示情報を生成することを特徴とする計算機システム。
請求項４から請求項６のいずれか一項に記載の計算機システムであって、
前記少なくとも一つの計算機は、前記動画に重畳させて前記要素点を表示する前記表示情報を生成することを特徴とする計算機システム。
計算機システムが実行する、運動を行う人の身体動作の分析方法であって、
前記計算機システムは、プロセッサ、前記プロセッサに接続されるメモリ、前記プロセッサに接続されるインタフェースを有する少なくとも一つの計算機を含み、
前記運動を行う人の身体動作の分析方法は、
前記少なくとも一つの計算機が、運動を行う人を撮像した動画を取得する第１のステップと、
前記少なくとも一つの計算機が、前記動画を構成する複数の画像の各々について、運動における可動部位を表す複数の要素点の座標を算出し、前記画像と、前記複数の要素点の座標とを対応づけて前記メモリに格納する第２のステップと、
前記少なくとも一つの計算機が、前記複数の画像の各々の前記複数の要素点の座標に基づいて、前記複数の要素点の各々の移動量の時系列データを生成する第３のステップと、
前記少なくとも一つの計算機が、前記複数の要素点の移動量の時系列データを用いて、複数の要素点ペアの各々について、運動時の前記要素点間の同期性を評価するための同期性指標を算出し、前記複数の要素点ペアの前記同期性指標を前記メモリに格納する第４のステップと、
前記少なくとも一つの計算機が、前記複数の要素点ペアの前記同期性指標に基づいて、運動時の前記要素点間の同期性を示す表示情報を生成し、出力する第５のステップと、を含み、
前記要素点ペアの前記同期性指標は、前記要素点ペアを構成する一つの要素点から前記要素点ペアを構成する他の要素点への移動エントロピーであり、
前記第４のステップは、
前記少なくとも一つの計算機が、前記複数の要素点の各々の移動量の時系列データを離散化するステップと、
前記少なくとも一つの計算機が、前記複数の要素点の各々の移動量の時系列データを確率変数として扱える値に正規化するステップと、
前記少なくとも一つの計算機が、離散化及び正規化が行われた前記複数の要素点の各々の移動量の時系列データを用いて、前記複数の要素点ペアの各々の前記同期性指標を算出するステップと、を含むことを特徴とする運動を行う人の身体動作の分析方法。
請求項８に記載の運動を行う人の身体動作の分析方法であって、
前記第４のステップは、
前記少なくとも一つの計算機が、前記動画の分析時間範囲を設定するステップと、
前記少なくとも一つの計算機が、前記分析時間範囲に含まれる、前記複数の要素点の移動量の時系列データに基づいて、前記複数の要素点ペアの前記同期性指標を算出するステップと、
前記少なくとも一つの計算機が、前記分析時間範囲と、前記複数の要素点ペアの前記同期性指標とを対応づけて前記メモリに格納するステップと、を含むことを特徴とする運動を行う人の身体動作の分析方法。
請求項８に記載の運動を行う人の身体動作の分析方法であって、
前記第４のステップは、
前記少なくとも一つの計算機が、前記動画の分析時間範囲を設定するステップと、
前記少なくとも一つの計算機が、前記分析時間範囲より小さい単位時間範囲ごとに、当該単位時間範囲に含まれる、前記複数の要素点の移動量の時系列データに基づいて、前記複数の要素点ペアの前記同期性指標を算出するステップと、
前記少なくとも一つの計算機が、前記単位時間範囲と、前記複数の要素点ペアの前記同期性指標とを対応づけて前記メモリに格納するステップと、を含むことを特徴とする運動を行う人の身体動作の分析方法。
請求項８に記載の運動を行う人の身体動作の分析方法であって、
前記第５のステップは、前記少なくとも一つの計算機が、前記複数の要素点ペアの前記同期性指標に基づいて、同期性が高い前記要素点ペアを構成する前記要素点を、他の前記要素点より強調して表示する前記表示情報を生成するステップを含むことを特徴とする運動を行う人の身体動作の分析方法。
請求項８に記載の運動を行う人の身体動作の分析方法であって、
前記第５のステップは、
前記少なくとも一つの計算機が、前記複数の要素点ペアの前記同期性指標に基づいて、目的要素点を起点に、前記同期性が高い前記要素点ペアを探索するステップと、
前記少なくとも一つの計算機が、探索された前記要素点ペアを構成する前記要素点を、他の前記要素点より強調して表示する前記表示情報を生成するステップと、を含むことを特徴とする運動を行う人の身体動作の分析方法。
請求項８に記載の運動を行う人の身体動作の分析方法であって、
前記第５のステップは、
前記少なくとも一つの計算機が、前記複数の要素点ペアの前記同期性指標に基づいて、同期性が高い前記要素点ペアを特定するステップと、
前記少なくとも一つの計算機が、特定された前記要素点ペアから構成されるネットワークのネットワーク指標を算出するステップと、
前記少なくとも一つの計算機が、前記ネットワーク指標に基づいて、前記ネットワークにおいて重要な前記要素点を、他の前記要素点より強調して表示する前記表示情報を生成するステップと、を含むことを特徴とする運動を行う人の身体動作の分析方法。