JPH0887609A

JPH0887609A - 画像処理装置

Info

Publication number: JPH0887609A
Application number: JP7176177A
Authority: JP
Inventors: Kazuhiko Inada; 和彦稲田; Masamichi Nakagawa; 雅通中川; Fumio Maehara; 文雄前原
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-07-21
Filing date: 1995-07-12
Publication date: 1996-04-02
Also published as: US6166746A

Abstract

(57)【要約】【目的】様々な動作修飾を簡単に実行させることがで
きる画像処理装置を提供することを目的とする。【構成】１周期の動作に対する物体の有効関節の３次
元座標位置を記憶している３次元関節位置記憶部１１
と、前記有効関節の各々に対する複数の固有座標系に対
応する物体の部位に関する形状データを記憶している形
状データ記憶部１５と、３次元座標位置から固有座標系
を決定する固有座標系決定部１２と、固有座標系に基づ
き３次元関節角度を算出する３次元関節角度算出部１３
と、３次元関節角度を変位させる関節角度変位部１４
と、３次元関節角度に基づき固有座標系を生成する固有
座標系生成部と、固有座標系に基づき該当する前記形状
データの割当てを行う動作合成部１６とを備えた画像処
理装置である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、多くの関
節を有する人間の自然な動作を簡易に生成することがで
きる、画像処理装置に関するものである。

【０００２】

【従来の技術】人間などの動作をコンピュータグラフィ
ックスで表現する場合、一般的には、キーフレーム法や
運動力学に基づいた画像処理が行われる。キーフレーム
法は、重要なフレームとその補間データにより、動作を
表現する方法であるが、キーになるフレームによる動作
の決定には、非常に多くの時間を要する。運動力学に基
づいた方法では、かなり自然に動作を表現することが可
能となるが、計算機による計算処理時間が膨大となる。

【０００３】そこで、より簡単に画像処理が行えるもの
として、「多関節物体の動作表現方法及びコンピュータ
グラフィックス装置」（特公平４−７１０７８号）が提
案されている。これは、多関節物体（人間）の動作を計
測し、その動作を一次元の関節角とその関節角に対する
一定の関数とを用いて表現しようとするものである。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来技術では、関節角度を１次元で表現しているた
めに、平面的な動作しか表現することができず、また、
各関節間の部位に関する方向性も考慮していないため、
捻りなどの動作を表現することができないという課題が
あった。

【０００５】また、上述した従来技術では、一定の関数
を用いて、１次元の関節角度を関数化することにより処
理時間とデータ量を小さくしている。しかし、状況に応
じた動作、例えば人の動作において、ボールを手先で追
う等の動作を行うことができないという課題があった。

【０００６】そこで、本発明は、複数の関節を有する物
体に関して、関節とそれと隣接する関節との間に対応す
る物体の部位を一義的に当てはめることができ、また、
物体の１方向の向きを考慮することができる固有座標系
を用いることにより、標準動作における画像の合成を簡
単に行うことができる画像処理装置を提供することを目
的とする。

【０００７】また、本発明は、関節に対する３次元関節
角度を用いて、捻り、回転等の動作が可能となる画像処
理装置を提供することをもう１つの目的とする。

【０００８】また、本発明は、関節に対する固有座標系
と関節に対する３次元関節角度とを用いて、様々な動作
修飾を簡単に実行させることができる画像処理装置を提
供することを目的とする。

【０００９】また、本発明は、関数表現された基本の動
作に、状況に応じた異なる動作を付加することができる
画像処理装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】第１の本発明は、複数の
関節を有する物体が所定の動作を行う場合、その動作の
１周期又は複数の周期を単位とする標準動作に対するフ
レーム毎に、有効関節の各々に対する３次元座標位置を
記憶している３次元関節位置記憶手段と、前記有効関節
の各々に対する複数の固有座標系に対応する前記物体の
部位に関する形状データを記憶している形状データ記憶
手段と、前記３次元関節位置記憶手段で記憶されている
３次元座標位置に基づき、前記有効関節の各々に対する
固有座標系を決定する固有座標系決定手段と、所望する
動作修飾の態様に従って、前記固有座標系決定手段によ
り決定された固有座標系に基づき、前記有効関節の全部
又は一部の各々に対する３次元関節角度を算出する３次
元関節角度算出手段と、前記動作修飾の態様に応じて、
前記３次元関節角度算出手段により算出された３次元関
節角度に基づき、前記有効関節の全部又は一部の各々に
対する３次元関節角度を変位させる関節角度変位手段
と、前記動作修飾の態様に応じて、前記３次元関節角度
算出手段により算出された３次元関節角度及び／又は前
記関節角度変位手段により変位された３次元関節角度に
基づき、前記有効関節の全部又は一部の各々に対する固
有座標系を生成する固有座標系生成手段と、前記動作修
飾の態様に応じて、前記固有座標系決定手段により決定
された固有座標系及び／又は前記固有座標系生成手段に
より生成された固有座標系に基づいて、前記有効関節の
各々に、該当する前記形状データの割当てを行う動作合
成手段とを備えたことを特徴とする画像処理装置であ
る。

【００１１】次に、本発明の動作について説明する。

【００１２】３次元関節位置記憶手段は、複数の関節を
有する物体が所定の動作を行う場合の、その動作の１周
期又は複数の周期を単位とする標準動作に対するフレー
ム毎に、有効関節の各々に対する３次元座標位置を記憶
している。有効関節とは、画像処理において使用され
る、動作の基準となる関節のことであり、その物体が有
する複数の関節の全部または一部の関節のことである
（以後同じ）。形状データ記憶手段は、前記有効関節の
各々に対する複数の固有座標系に対応する前記物体の部
位に関する形状データを記憶している。固有座標系と
は、ある１の有効関節に着目した場合、その有効関節に
対して固有の３次元座標系のことである（以後同じ）。
固有座標系決定手段は、前記３次元関節位置記憶手段で
記憶されている３次元座標位置に基づき、前記有効関節
の各々に対する固有座標系を決定する。３次元関節角度
算出手段は、所望する動作修飾の態様に従って、前記固
有座標系決定手段により決定された固有座標系に基づ
き、前記有効関節の全部または一部の各々に対する３次
元関節角度を算出する。３次元関節角度とは、固有座標
系とそれと隣接する固有座標系との間の３次元角度のこ
とである（以後同じ）。関節角度変位手段は、前記動作
修飾の態様に応じて、前記３次元関節角度算出手段によ
り算出された３次元関節角度に基づいて、前記有効関節
の全部又は一部の各々に対する３次元関節角度を変位さ
せる。固有座標系生成手段は、前記動作修飾の態様に応
じて、前記３次元関節角度算出手段により算出された３
次元関節角度及び／又は前記関節角度変位手段により変
位された３次元関節角度に基づいて、前記有効関節の全
部又は一部の各々に対する固有座標系を生成する。動作
合成手段は、前記動作修飾の態様に応じて、前記固有座
標系決定手段により決定された固有座標系及び／又は前
記固有座標系生成手段により生成された固有座標系に基
づいて、前記有効関節の各々に、該当する前記形状デー
タの割当てを行う。

【００１３】なお、本発明の前記固有座標系決定手段
は、固有座標系が決定される有効関節である目的関節か
らそれと隣接する第１の関節に向かうベクトルを、その
目的関節に対する固有座標系の第１軸とし、前記目的関
節にそれぞれ隣接する第２の関節から第３の関節に向か
うベクトルを仮のベクトルとし、前記仮のベクトルと前
記第１軸との外積を前記目的関節に対する固有座標系の
第２軸とし、前記第１軸と前記第２軸との外積を前記目
的関節に対する固有座標系の第３軸とするとしてもよ
い。

【００１４】また、本発明の前記固有座標系決定手段
は、固有座標系が決定される有効関節である目的関節か
らそれと隣接する第１の関節に向かうベクトルを、その
目的関節に対する固有座標系の第１軸とし、前記目的関
節からそれと隣接する第２の関節に向かうベクトルと前
記第１軸との合成ベクトル又はその逆ベクトルを仮のベ
クトルとし、前記仮のベクトルと前記第１軸との外積を
前記目的関節に対する固有座標系の第２軸とし、前記第
１軸と前記第２軸との外積を前記目的関節に対する固有
座標系の第３軸とするとしてもよい。

【００１５】また、本発明の前記固有座標系決定手段
は、固有座標系が決定される有効関節である目的関節か
らそれと隣接する第１の関節に向かうベクトルを、その
目的関節に対する固有座標系の第１軸とし、前記目的関
節と隣接する第２の関節に対する固有座標系のうち、そ
の第２の関節から前記目的関節に向かうベクトルに基づ
き決定された座標軸を除く残りのどちらか一方の座標軸
と前記第１軸との外積を前記目的関節に対する固有座標
系の第２軸とし、前記第１軸と前記第２軸との外積を前
記目的関節に対する固有座標系の第３軸とするとしても
よい。

【００１６】また、本発明の前記関節角度変位手段は、
前記有効関節の全部又は一部の各々に対する３次元関節
角度に離散コサイン変換を適用し、ＤＣＴ係数を出力す
る離散コサイン変換手段と、前記ＤＣＴ係数の各々に含
まれる所定の要素を変位する変換係数変位手段と、前記
離散コサイン変換手段により出力されたＤＣＴ係数又は
前記変換係数変位手段により変位されたＤＣＴ係数に逆
離散コサイン変換を適用する逆離散コサイン変換手段と
を備えたとしてもよい。なお、前記所定の要素とは、周
波数成分のエネルギー及び／又は選択次数であるとして
もよい。更に、前記逆離散コサイン変換手段は、前記Ｄ
ＣＴ係数又は前記変位されたＤＣＴ係数に適用する前記
逆離散コサイン変換を制限するとしてもよい。

【００１７】また、本発明の前記固有座標系生成手段
は、前記有効関節に対する３次元関節角度を用いて、そ
の有効関節に対する固有座標系の３軸をそれぞれ軸回転
することにより、その有効関節と隣接する有効関節に対
する固有座標系を生成するとしてもよい。

【００１８】第２の本発明は、複数の関節を有する物体
が所定の動作を行う場合、その動作の１周期又は複数の
周期を単位とする標準動作に対するフレーム毎に、有効
関節の各々に対する固有座標系を記憶している固有座標
系記憶手段と、前記有効関節の各々に対する複数の固有
座標系に対応する前記物体の部位に関する形状データを
記憶している形状データ記憶手段と、所望する動作修飾
の態様に従って、前記固有座標系記憶手段で記憶されて
いる固有座標系に基づき、前記有効関節の全部又は一部
の各々に対する３次元関節角度を算出する３次元関節角
度算出手段と、前記動作修飾の態様に応じて、前記３次
元関節角度算出手段により算出された３次元関節角度に
基づき、前記有効関節の全部又は一部の各々に対する３
次元関節角度を変位させる関節角度変位手段と、前記動
作修飾の態様に応じて、前記３次元関節角度算出手段に
より算出された３次元関節角度及び／又は前記関節角度
変位手段により変位された３次元関節角度に基づき、前
記有効関節の全部又は一部の各々に対する固有座標系を
生成する固有座標系生成手段と、前記動作修飾の態様に
応じて、前記固有座標系記憶手段で記憶されている固有
座標系及び／又は前記固有座標系生成手段により生成さ
れた固有座標系に基づいて、前記有効関節の各々に、該
当する前記形状データの割当てを行う動作合成手段とを
備えたことを特徴とする画像処理装置である。

【００１９】次に、本発明の動作について説明する。

【００２０】固有座標系記憶手段は、複数の関節を有す
る物体が所定の動作を行う場合、その動作の１周期また
は複数の周期を単位とする標準動作に対するフレーム毎
に、有効関節の各々に対する固有座標系を記憶してい
る。形状データ記憶手段は、前記有効関節の各々に対す
る複数の固有座標系に対応する前記物体の部位に関する
形状データを記憶している。３次元関節角度算出手段
は、所望する動作修飾の態様に従って、前記固有座標系
記憶手段で記憶されている固有座標系に基づき、前記有
効関節の全部又は一部の各々に対する３次元関節角度を
算出する。関節角度変位手段は、前記動作修飾の態様に
応じて、前記３次元関節角度算出手段により算出された
３次元関節角度に基づき、前記有効関節の全部又は一部
の各々に対する３次元関節角度を変位させる。固有座標
系生成手段は、前記動作修飾の態様に応じて、前記３次
元関節角度算出手段により算出された３次元関節角度及
び／又は前記関節角度変位手段により変位された３次元
関節角度に基づき、前記有効関節の全部又は一部の各々
に対する固有座標系を生成する。動作合成手段は、前記
動作修飾の態様に応じて、前記固有座標系記憶手段で記
憶されている固有座標系及び／又は前記固有座標系生成
手段により生成された固有座標系に基づいて、前記有効
関節の各々に、該当する前記形状データの割当てを行
う。

【００２１】なお、本発明の前記固有座標系記憶手段が
記憶している固有座標系は、固有座標系が決定される有
効関節である目的関節からそれと隣接する第１の関節に
向かうベクトルを、その目的関節に対する固有座標系の
第１軸とし、前記目的関節にそれぞれ隣接する第２の関
節から第３の関節に向かうベクトルを仮のベクトルと
し、前記仮のベクトルと前記第１軸との外積を前記目的
関節に対する固有座標系の第２軸とし、前記第１軸と前
記第２軸との外積を前記目的関節に対する固有座標系の
第３軸とするとしてもよい。

【００２２】また、本発明の前記固有座標系記憶手段が
記憶している固有座標系は、固有座標系が決定される有
効関節である目的関節からそれと隣接する第１の関節に
向かうベクトルを、その目的関節に対する固有座標系の
第１軸とし、前記目的関節からそれと隣接する第２の関
節に向かうベクトルと前記第１軸との合成ベクトル又は
その逆ベクトルを仮のベクトルとし、前記仮のベクトル
と前記第１軸との外積を前記目的関節に対する固有座標
系の第２軸とし、前記第１軸と前記第２軸との外積を前
記目的関節に対する固有座標系の第３軸とするとしても
よい。

【００２３】また、本発明の前記固有座標系記憶手段が
記憶している固有座標系は、固有座標系を決定する関節
となる目的関節からそれと隣接する第１の関節に向かう
ベクトルを、その目的関節に対する固有座標系の第１軸
とし、前記目的関節と隣接する第２の関節に対する固有
座標系のうち、その第２の関節から前記目的関節に向か
うベクトルに基づき決定された座標軸を除く残りのどち
らか一方の座標軸と前記第１軸との外積を前記目的関節
に対する固有座標系の第２軸とし、前記第１軸と前記第
２軸との外積を前記目的関節に対する固有座標系の第３
軸とするとしてもよい。

【００２４】また、本発明の前記関節角度変位手段は、
前記有効関節の全部又は一部の各々に対する３次元関節
角度に離散コサイン変換を適用し、ＤＣＴ係数を出力す
る離散コサイン変換手段と、前記ＤＣＴ係数の各々に含
まれる所定の要素を変位する変換係数変位手段と、前記
離散コサイン変換手段により出力されたＤＣＴ係数又は
前記変換係数変位手段により変位されたＤＣＴ係数に逆
離散コサイン変換を適用する逆離散コサイン変換手段と
を備えたとしてもよい。なお、前記所定の要素とは、周
波数成分のエネルギー及び／又は選択次数であるとして
もよい。更に、前記逆離散コサイン変換手段は、前記Ｄ
ＣＴ係数又は前記変位されたＤＣＴ係数に適用する前記
逆離散コサイン変換を制限するとしてもよい。

【００２５】また、本発明の前記固有座標系生成手段
は、前記有効関節に対する３次元関節角度を用いて、そ
の有効関節に対する固有座標系の３軸をそれぞれ軸回転
することにより、その有効関節と隣接する有効関節に対
する固有座標系を生成するとしてもよい。

【００２６】第３の本発明は、複数の関節を有する物体
が所定の動作を行う場合、その動作の１周期又は複数の
周期を単位とする標準動作に対するフレーム毎に、有効
関節の各々に対する３次元関節角度を記憶している３次
元関節角度記憶手段と、前記有効関節の各々に対する複
数の固有座標系に対応する前記物体の部位に関する形状
データを記憶している形状データ記憶手段と、根の関節
に対する固有座標系と前記３次元関節角度記憶手段で記
憶されている３次元関節角度に基づき、前記有効関節の
各々に対する固有座標系を決定する固有座標系決定手段
と、所望する動作修飾の態様に応じて、前記３次元関節
角度記憶手段で記憶されている３次元関節角度に基づ
き、前記有効関節の全部又は一部の各々に対する３次元
関節角度を変位させる関節角度変位手段と、前記動作修
飾の態様に応じて、前記３次元関節角度記憶手段で記憶
されている３次元関節角度及び／又は前記関節角度変位
手段により変位された３次元関節角度に基づき、前記有
効関節の全部又は一部の各々に対する固有座標系を生成
する固有座標系生成手段と、前記動作修飾の態様に応じ
て、前記固有座標系決定手段により決定された固有座標
系及び／又は前記固有座標系生成手段により生成された
固有座標系に基づいて、前記有効関節の各々に、該当す
る前記形状データの割当てを行う動作合成手段とを備え
たことを特徴とする画像処理装置である。

【００２７】次に、本発明の動作について説明する。

【００２８】３次元関節角度記憶手段は、複数の関節を
有する物体が所定の動作を行う場合の、その動作の１周
期又は複数の周期を単位とする標準動作に対するフレー
ム毎に、有効関節の各々に対する３次元関節角度を記憶
している。形状データ記憶手段は、前記有効関節の各々
に対する複数の固有座標系に対応する前記物体の部位に
関する形状データを記憶している。固有座標系決定手段
は、根の関節に対する固有座標系と前記３次元関節角度
記憶手段で記憶されている３次元関節角度に基づいて、
前記有効関節の各々に対する固有座標系を決定する。関
節角度変位手段は、所望する動作修飾の態様に応じて、
前記３次元関節角度記憶手段で記憶されている３次元関
節角度に基づき、前記有効関節の全部又は一部の各々に
対する３次元関節角度を変位させる。固有座標系生成手
段は、前記動作修飾の態様に応じて、前記３次元関節角
度記憶手段で記憶されている３次元関節角度及び／又は
前記関節角度変位手段により変位された３次元関節角度
に基づいて、前記有効関節の全部又は一部の各々に対す
る固有座標系を生成する。動作合成手段は、前記動作修
飾の態様に応じて、前記固有座標系決定手段により決定
された固有座標系及び／又は前記固有座標系生成手段に
より生成された固有座標系に基づき、前記有効関節の各
々に、該当する前記形状データの割当てを行う。

【００２９】なお、本発明の前記根の関節に対する固有
座標系は、前記根の関節からそれと隣接する第１の関節
に向かうベクトルを、前記根の関節に対する固有座標系
の第１軸とし、前記根の関節にそれぞれ隣接する第２の
関節から第３の関節に向かうベクトルを仮のベクトルと
し、前記仮のベクトルと前記第１軸との外積を前記根の
関節に対する固有座標系の第２軸とし、前記第１軸と前
記第２軸との外積を前記根の関節に対する固有座標系の
第３軸とするとしてもよい。

【００３０】また、本発明の前記根の関節に対する固有
座標系は、前記根の関節からそれと隣接する第１の関節
に向かうベクトルを、前記根の関節に対する固有座標系
の第１軸とし、前記根の関節からそれと隣接する第２の
関節に向かうベクトルと前記第１軸との合成ベクトル又
はその逆ベクトルを仮のベクトルとし、前記仮のベクト
ルと前記第１軸との外積を前記根の関節に対する固有座
標系の第２軸とし、前記第１軸と前記第２軸との外積を
前記根の関節に対する固有座標系の第３軸とするとして
もよい。

【００３１】また、本発明の前記根の関節に対する固有
座標系は、前記根の関節からそれと隣接する第１の関節
に向かうベクトルを、前記根の関節に対する固有座標系
の第１軸とし、前記根の関節と隣接する第２の関節に対
する固有座標系のうち、その第２の関節から前記根の関
節に向かうベクトルに基づき決定された座標軸を除く残
りのどちらか一方の座標軸と前記第１軸との外積を前記
根の関節に対する固有座標系の第２軸とし、前記第１軸
と前記第２軸との外積を前記根の関節に対する固有座標
系の第３軸とするとしてもよい。

【００３２】また、本発明の前記関節角度変位手段は、
前記有効関節の全部又は一部の各々に対する３次元関節
角度に離散コサイン変換を適用し、ＤＣＴ係数を出力す
る離散コサイン変換手段と、前記ＤＣＴ係数の各々に含
まれる所定の要素を変位する変換係数変位手段と、前記
離散コサイン変換手段により出力されたＤＣＴ係数又は
前記変換係数変位手段により変位されたＤＣＴ係数に逆
離散コサイン変換を適用する逆離散コサイン変換手段と
を備えたとしてもよい。なお、前記所定の要素とは、周
波数成分のエネルギー及び／又は選択次数であるとして
もよい。更に、前記逆離散コサイン変換手段は、前記離
散コサイン変換手段により出力されたＤＣＴ係数又は前
記変換係数変位手段により変位されたＤＣＴ係数に適用
する前記逆離散コサイン変換を制限するとしてもよい。

【００３３】また、本発明の前記固有座標系生成手段
は、前記有効関節に対する３次元関節角度を用いて、そ
の有効関節に対する固有座標系の３軸をそれぞれ軸回転
することにより、その有効関節と隣接する有効関節に対
する固有座標系を生成するとしてもよい。

【００３４】第４の本発明は、複数の、動作の基準とな
る有効関節を有する物体が所定の動作を行う場合、その
周期的または非周期的な動作に対して、フレーム毎に、
前記有効関節の全部または一部の各々に対する３次元関
節角度に関するデータを基本動作データとして記憶して
いる基本動作記憶手段と、その基本動作記憶手段で記憶
されている複数の基本動作データから所望の基本動作デ
ータを選択する基本動作選択手段と、その基本動作選択
手段により選択された基本動作データにより構成される
動作を、所望の動作修飾を伴った動作に変更する際に必
要となる動作修飾パラメータを設定するパラメータ設定
手段と、前記動作修飾パラメータを用いて、前記基本動
作選択手段により選択された基本動作データにより構成
される動作を、前記所望の動作修飾を伴った動作に変更
して、基本動作修飾データを生成する基本動作修飾生成
手段と、前記基本動作修飾データにより構成される動作
と異なる動作であって、その基本動作修飾データにより
構成される動作に付加される所望の付加動作を選択する
付加動作選択手段と、前記基本動作修飾データと前記付
加動作により付加動作データを生成する付加動作生成手
段と、前記基本動作修飾データと前記付加動作データと
を合成して、前記基本動作修飾データにより構成される
動作に前記付加動作データにより構成される動作を付加
した動作に関する動作データを生成する動作合成手段と
を備えたことを特徴とする画像処理装置である。

【００３５】次に、本発明の動作について説明する。

【００３６】基本動作記憶手段は、複数の有効関節を有
する物体が所定の動作を行う場合、その周期的又は非周
期的な動作に対して、フレーム毎に、前記有効関節の全
部または一部の各々に対する３次元関節角度に関するデ
ータを基本動作データとして記憶している。基本動作選
択手段は、その基本動作記憶手段で記憶されている複数
の基本動作データから所望の基本動作データを選択す
る。パラメータ設定手段は、その基本動作選択手段によ
り選択された基本動作データにより構成される動作を、
所望の動作修飾を伴った動作に変更する際に必要となる
動作修飾パラメータを設定する。基本動作修飾生成手段
は、前記動作修飾パラメータを用いて、前記基本動作選
択手段により選択された基本動作データにより構成され
る動作を、前記所望の動作修飾を伴った動作に変更し
て、基本動作修飾データを生成する。付加動作選択手段
は、前記基本動作修飾データにより構成される動作と異
なる動作であって、その基本動作修飾データにより構成
される動作に付加される所望の付加動作を選択する。付
加動作生成手段は、前記基本動作修飾データと前記付加
動作により付加動作データを生成する。動作合成手段
は、前記基本動作修飾データと前記付加動作データとを
合成して、前記基本動作修飾データにより構成される動
作に前記付加動作データにより構成される動作を付加し
た動作に関する動作データを生成する。

【００３７】なお、本発明の前記基本動作修飾生成手段
は、前記動作修飾パラメータを用いて、前記基本動作選
択手段により選択された基本動作データを変更する基本
動作変更手段と、その基本動作変更手段により変更され
た基本動作データが周期的な動作である場合、前記変更
された基本動作データを所望する周期分反復することに
より、前記基本動作修飾データを生成する周期動作生成
手段とを備えたとしてもよい。

【００３８】また、本発明の前記基本動作修飾生成手段
は、前記動作修飾パラメータを用いて、前記基本動作選
択手段により選択された基本動作データを変更する基本
動作変更手段と、その基本動作変更手段により変更され
た基本動作データが非周期的な動作である場合、反復せ
ずに前記変更された基本動作データから、前記基本動作
修飾データを生成する非周期動作生成手段とを備えたと
してもよい。

【００３９】また、本発明の前記基本動作修飾生成手段
は、前記動作修飾パラメータを用いて、前記基本動作選
択手段により選択された基本動作データを変更する基本
動作変更手段と、その基本動作変更手段により変更され
た基本動作データが周期的な動作である場合、前記変更
された基本動作データを所望する周期分反復することに
より、前記基本動作修飾データを生成する周期動作生成
手段と前記基本動作変更手段により変更された基本動作
データが非周期的な動作である場合、反復せずに前記変
更された基本動作データから、前記基本動作修飾データ
を生成する非周期動作生成手段とを備えたとしてもよ
い。

【００４０】また、本発明の前記付加動作生成手段は、
前記付加動作選択手段により選択された付加動作に対応
して移動する座標を入力する座標入力手段と、前記付加
動作選択手段により選択された付加動作の対象となる有
効関節の先端に当たる関節を前記座標に追従させること
により、前記付加動作データを生成する座標追跡手段と
を備えたとしてもよい。

【００４１】また、本発明の前記付加動作生成手段は、
所定の付加動作に対して、フレーム毎に、前記有効関節
の全部又は一部の各々に対する３次元関節角度に関する
データを基準付加動作データとして記憶している基準付
加動作記憶手段と、その基準付加動作記憶手段で記憶さ
れている複数の基準付加動作データから、前記付加動作
選択手段により選択された付加動作に対応する基準付加
動作データを読み出す付加動作読み出し手段と、前記付
加動作選択手段により選択された付加動作に応じた動作
修飾パラメータを設定する付加動作修飾設定手段と、そ
の付加動作修飾設定手段により設定された動作修飾パラ
メータを用いて、前記付加動作読み出し手段により読み
出された基準付加動作データを変更して、前記付加動作
データを生成する付加動作修飾生成手段とを備えたとし
てもよい。

【００４２】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。

【００４３】図１は、本発明の請求項１記載の画像処理
装置に係る実施の一形態の構成図である。即ち、画像処
理装置１０の３次元関節位置記憶部１１は、例えば、人
が所定の動作を行った場合、その１周期分の動作のフレ
ーム毎に、有効関節の各々に対する３次元座標位置を記
憶している記憶部である。所定の動作とは、１周期分の
動作の繰り返しにより表現することができる動作のこと
であり、例えば、連続して垂直飛びを行う、歩く、走
る、クロールで泳ぐといった様々な動作のことである。
所定の動作は、これに限らず、例えば、クロールの競泳
におけるスタート時の飛び込み動作のように１周期で完
了する動作をも含む。有効関節とは、所定の動作を合成
する場合に必要となる複数の関節のことであり、人が有
する全ての関節を意味するわけではない。今後、前記３
次元関節位置記憶手段１１に記憶している所定の動作の
ことを標準動作ということにする。また、この記憶部
は、画像処理装置１０の内部記憶装置又は外部記憶装置
の何れの記憶装置に記憶されていてもよい。

【００４４】入力装置１７は、操作者が所望する動作に
関する指示を入力するための入力装置である。また、制
御部１８は、入力装置１７に入力された指示に従い、画
像処理に関する制御を行う制御部である。

【００４５】ここで、固有座標系とそれに関する装置に
ついて説明する。固有座標系とは、有効関節を原点にし
たその有効関節固有の３次元座標系のことである。固有
座標系の特徴は、有効関節に対する固有座標系が求まれ
ば、一義的にその有効関節とそれと隣接する有効関節と
の間に、対応する物体の部位を当てはめることができる
ことである。本実施の形態では、有効関節に対する固有
座標系は、その有効関節とその子関節との間に対応する
人の部位を当てはめるように設定されている。当てはめ
る時のその方向は、有効関節に対する固有座標系の原点
から正のｚ軸方向である。また、固有座標系のもう１つ
の特徴は、有効関節に対する固有座標系が決まれば、そ
の有効関節に対応する部位の原点でない方の端点が、そ
の子関節に対する固有座標系の原点になるということで
ある。固有座標系の決定の詳細については後述する。そ
こで、形状データ記憶部１５は、有効関節の各々に対す
る複数の固有座標系を考慮した、人の部位に関する形状
データを記憶している記憶部である。固有座標系決定部
１２は、有効関節の各々に対する固有座標系を決定する
ものである。

【００４６】ここで、３次元関節角度とそれに関する装
置について説明する。有効関節に対する３次元関節角度
とは、その有効関節に対する固有座標系とそれと隣接す
る有効関節に対する固有座標系との間の３次元角度をい
う。本実施の形態では、有効関節に対する３次元関節角
度とは、その有効関節に対する固有座標系とその親関節
に対する固有座標系との間の３次元角度をいう。３次元
関節角度の特徴は、捻りや回転などの動作を簡単に表現
することができることである。また、３次元関節角度を
変位させることによって、簡単に標準動作に動作修飾を
付加することができることも３次元関節角度の特徴の１
つである。動作修飾とは、例えば普通に歩いている動作
を大股で歩かせたり、小股で歩かせたり、早足で歩かせ
たり、又は、ゆっくり歩かせたりすることであり、標準
動作にそれと関連する別の動作を付加する特徴付けのこ
とをいう。３次元関節角度の求め方については後述す
る。そこで、３次元関節角度算出部１３は、その操作者
の指示に基づく所望する動作修飾の態様に応じて、固有
座標系決定部１２により決定された固有座標系に基づ
き、有効関節に対する固有座標系とその子関節に対する
固有座標系を用いて、有効関節の各々に対する３次元関
節角度を算出するものである。関節角度変位部１４は、
前記動作修飾の態様に応じて、３次元関節角度算出部１
３により算出された３次元関節角度に基づき、有効関節
の各々に対する３次元関節角度を変位させるものであ
る。動作合成部１６は、固有座標系生成部（図示してい
ない。）を備えている。その固有座標系生成部は、前記
動作修飾の態様に応じて、関節角度変位部１４により変
位された３次元関節角度に基づき、有効関節の各々に対
する固有座標系を生成するものである。動作合成部１６
は、前記固有座標系生成部により生成された固有座標系
及び／又は固有座標系決定部１２により決定された固有
座標系に基づいて、有効関節の各々に対応する形状デー
タを形状データ記憶部１５から読み出して、そして、そ
の読みだした形状データを有効関節の各々に割当てを行
うものである。

【００４７】ここで、３次元関節角度算出手段１３が３
次元関節角度を算出する有効関節の範囲となる算出対象
範囲と、関節角度変位部１４が３次元関節角度を変位す
る有効関節の範囲となる変位対象範囲と、前記固有座標
系生成部が固有座標系を生成する有効関節の範囲となる
生成対象範囲は、前記動作修飾の態様により決まる。例
えば、人が３６０度回転する標準動作を動作修飾する場
合には、前記算出対象範囲、前記変位対象範囲及び前記
生成対象範囲は、有効関節のすべてが対象となる場合が
考えられる。これに対して、例えば、右手だけを前後に
動かす場合の標準動作を動作修飾する場合には、対象と
なる有効関節は、右肩付近の有効関節から右手の指先ま
で若しくは手の有効関節までの場合が考えられる。ま
ず、指先までの場合、前記算出対象範囲、前記変位対象
範囲及び前記生成対象範囲は、それぞれの対象となる有
効関節の範囲は等しく、右肩付近の有効関節から指先ま
でとなる。しかし、それらの対象範囲は有効関節のすべ
てではない。また、手の有効関節までの場合、前記算出
対象範囲及び前記生成対象範囲は、それぞれ等しく、右
肩付近の有効関節から指先までとなる。ところが、前記
変位対象範囲は、右肩付近の有効関節から手の関節付近
の有効関節までとなる。そして、前記算出対象範囲、前
記変位対象範囲及び前記生成対象範囲は、有効関節のす
べてではない。

【００４８】結局、前記算出対象範囲、前記変位対象範
囲及び前記生成対象範囲は、動作修飾の態様により決定
される。それらの範囲は、常に有効関節のすべてとして
もよく、あるいは、動作の態様に応じて場合分けしても
よい。要するに、動作合成部１６は、動作修飾の態様に
応じて、前記固有座標系生成部により生成された固有座
標系及び／又は固有座標系決定部１２により決定された
固有座標系に基づき、有効関節の各々に該当する形状デ
ータの割当てを行えばよい。

【００４９】本発明の請求項１、請求項９及び請求項１
７における「前記有効関節の全部又は一部」が、上記に
関連する表現となる。

【００５０】次に、本実施の形態の作用について説明す
る。図２は、人が走っている時の有効関節の位置を模式
的に示した図である。有効関節の各々の親子の関係は、
根の関節が設定されると決まる。図２の場合では、腰の
有効関節２１が根の関節に設定されている。本実施の形
態の作用には、標準動作モードと動作修飾モードがあ
り、以下順に説明する。（１）標準動作モード標準動作モードとは、動作修飾せずに、所定の動作を合
成するモードのことをいう。即ち、固有座標系決定部１
２は、３次元関節位置記憶部１１で記憶されている３次
元座標位置に基づき、根の関節から親子の順番に従っ
て、有効関節の各々に対する固有座標系を決定する。こ
こで、所望する動作修飾の態様によって決定される算出
対象範囲、変位対象範囲及び生成対象範囲は、標準動作
モードのため有効関節の全てとなる。３次元関節角度算
出部１３は、固有座標系決定部１２により決定された固
有座標系を用いて、根の関節から親子の順番に従って、
有効関節の各々に対する３次元関節角度を算出する。関
節角度変位部１４は、標準動作モードでは、３次元関節
角度算出部１３により算出された３次元関節角度の変位
は行わない。動作合成部１６に具備されている固有座標
系生成部（図示していない）は、根の関節に対する固有
座標系と関節角度変位部１４から入力した３次元関節角
度を用いて、有効関節の各々に対する固有座標系を生成
する。動作合成部１６は、前記固有座標系生成部により
生成された固有座標系を用いて、根の関節から親子の順
番に従って、有効関節の各々に形状データ記憶部１５で
記憶されている該当する形状データの割当てを行う。

【００５１】以上の処理をフレームの順番に従い、所望
する周期分繰り返すことにより、標準動作モードで所定
の動作を繰り返すことができる。

【００５２】なお、標準動作モードでは、３次元関節角
度算出部１３、関節角度変位部１４及び前記固有座標系
生成部での処理を省略し、動作合成部１６は、固有座標
系決定部１２から有効関節の各々に対する固有座標系を
入力し、形状データ記憶部１５で記憶されている形状デ
ータを有効関節の各々に当てはめる処理を行うとしても
よい。（２）動作修飾モード動作修飾モードとは、標準動作を動作修飾して合成する
モードのことである。即ち、固有座標系決定部１２は、
３次元関節位置記憶部１１で記憶されている３次元座標
位置に基づき、根の関節から親子の順番に従って、有効
関節の各々に対する固有座標系を決定する。ここで、所
望する動作修飾の態様により決定される算出対象範囲、
変位対象範囲及び生成対象範囲は、簡単の為、有効関節
の全てとする。３次元関節角度算出部１３は、固有座標
系決定部１２により決定された固有座標系を用いて、根
の関節から親子の順番に従って、有効関節の各々に対す
る３次元関節角度を算出する。関節角度変位部１４は、
前記動作修飾の態様に応じて変位させる所定の関数を用
いて、３次元関節角度算出部１３から入力した有効関節
の各々に対する３次元関節角度を変位する。動作合成部
１６に具備されている固有座標系生成部（図示していな
い。）は、根の関節に対する固有座標系と関節角度変位
部１４から入力した３次元関節角度を用いて、有効関節
の各々に対する固有座標系を生成する。動作合成部１６
は、前記固有座標系生成部により生成された固有座標系
を使用して、根の関節から親子の順番に従って、有効関
節の各々に形状データ記憶部１５で記憶している該当す
る形状データの割当てを行う。

【００５３】以上の処理をフレームの順番に従って、所
望する周期分繰り返すことにより、動作修飾モードで所
定の動作を繰り返すことが出来る。

【００５４】次に、固有座標系決定部１２による固有座
標系の求め方についてより具体的に説明する。本実施の
形態で使用する３種類の固有座標系の求め方を以下に示
す。（１）４関節固有座標系決定方法図３は４関節固有座標系の決定の様子を示す図であり、
例えば、人の腰などの有効関節の固有座標系を求めるの
に用いられる。この場合は、固有座標系を決定しようと
する目的関節である腰の関節は根の関節であるため、そ
の他の有効関節は、図３に示すように、第１子関節、第
２子関節、そして、第３子関節となる。この固有座標系
の決定手順は、以下の通りである。

【００５５】１．目的関節から第１子関節方向のベクト
ルをｚ軸に決定する。

【００５６】２．第２子関節から第３子関節方向のベク
トルを目的関節にコピーし、仮のｙ’軸とする。

【００５７】３．ｚ軸とｙ’軸との外積の値をｘ軸に決
定する。

【００５８】４．ｚ軸とｘ軸との外積の値をｙ軸に決定
する。（２）３関節固有座標系決定方法図４は３関節固有座標系の決定の様子を示す図である。
ここで、固有座標系を決定しようとする有効関節を目的
関節とし、その目的関節の親に当たる有効関節を親関節
（固有座標系は決定されていなくてもよい。）とし、そ
して、その目的関節の子に当たる有効関節を子関節とす
る。

【００５９】図４（ａ）は、人の肘等の有効関節の固有
座標系を決定する様子を示す図である。この固有座標系
の決定手順は以下の通りである。

【００６０】１．目的関節から子関節方向のベクトルを
ｚ軸に決定する。

【００６１】２．目的関節から親関節方向のベクトルと
ｚ軸との合成ベクトルを仮のｘ’軸とする。

【００６２】３．ｚ軸とｘ’軸との外積の値をｙ軸に決
定する。

【００６３】４．ｚ軸とｙ軸との外積の値をｘ軸に決定
する。

【００６４】図４（ｂ）は、人の膝等の有効関節の固有
座標系を決定する様子を示す図である。この固有座標系
の決定手順は以下の通りである。

【００６５】１．目的関節から子関節方向のベクトルを
ｚ軸に決定する。

【００６６】２．目的関節から親関節方向のベクトルと
ｚ軸との合成ベクトルの逆ベクトルを仮のｘ’軸とす
る。

【００６７】３．ｚ軸とｘ’軸との外積の値をｙ軸に決
定する。

【００６８】４．ｚ軸とｙ軸との外積の値をｘ軸に決定
する。

【００６９】以上から、３関節固有座標系は、例えば、
人の肘や膝などの有効関節の固有座標系を求めるのに適
しており、人の前後方向における正面の向きが常に正の
ｘ軸に設定できる特徴を有する。（３）２関節固有座標系決定方法図５は２関節固有座標系の決定の様子を示す図であり、
（ａ）は親の固有座標系からｘ軸をコピーして目的関節
の固有座標系を決定する様子を示す図であり、（ｂ）は
親の固有座標系からｙ軸をコピーして目的関節の固有座
標系を決定する様子を示す図である。この場合、固有座
標系を決定しようとする有効関節を目的関節とし、その
目的関節の親に当たる有効関節を親関節（既に固有座標
系は決定されている。）とし、そして、その目的関節の
子に当たる有効関節を子関節とする。この固有座標系の
決定手順は、以下の通りである。

【００７０】１．目的関節から子関節方向のベクトルを
ｚ₁軸に決定する。

【００７１】２．親関節のｘ₀軸（又はｙ₀軸）を目的関
節にコピーし、仮のｘ₀’軸（又はｙ₀’軸）とする。

【００７２】３．ｚ₁軸とｘ₀’軸（又はｙ₀’軸）との
外積の値をｙ₁軸（又はｘ₁軸）に決定する。

【００７３】４．ｚ₁軸とｙ₁軸（又はｘ₁軸）との外積
の値をｘ₁軸（又はｙ₁軸）に決定する。

【００７４】図６は、これら３種類の固有座標系決定に
関するフローチャートである。

【００７５】このように、有効関節の各々に対する固有
座標系を決定することができる。この固有座標系は、肘
や膝などの各部位に対して、人の前後方向の向きを考慮
に入れた座標系の設定が可能となる。

【００７６】次に、３次元関節角度の求め方について、
より具体的に説明する。図７は３次元関節角度の算出の
様子を示す図である。図７（ａ）は、任意の関節に対す
る固有座標系（ｘ，ｙ，ｚ）とその関節と隣接する関節
に対する固有座標系（ｘ’，ｙ’，ｚ’）との３次元角
度の関係を示した図である。図７を用いて、任意の関節
に対する３次元関節角度の算出手順の一例を以下に示
す。ただし、本実施の形態では、任意の関節は親関節で
あり、前記隣接する関節はその子関節となる。

【００７７】１．図７（ａ）の如く、親関節と子関節と
の固有座標系の原点を一致させる。

【００７８】２．図７（ｂ）の如く、子関節のｚ’軸を
親関節の固有座標系のｙｚ平面に投影したときの座標軸
とｚ軸との角度（−θ_x）を求める。

【００７９】３．図７（ｂ）の如く、子関節のｚ’軸を
親関節の固有座標系のｚｘ平面に投影したときの座標軸
とｚ軸との角度（θ_y）を求める。

【００８０】４．図７（ｄ）の如く、親関節の固有座標
系のｘ軸を−θ_xの角度で回転させる。固有座標系
（ｘ，ｙ，ｚ）を（θ_x，０，０）により回転させる
と、座標系（ｘ，ｙ”，ｚ”）となる。

【００８１】５．図７（ｅ）の如く、更に、親関節の固
有座標系のｙ軸をθ_yの角度で回転させる。座標系
（ｘ，ｙ”，ｚ”）を（θ_x，θ_y，０）により回転させ
ると座標系（ｘ”，ｙ”，ｚ”）となる。

【００８２】６．（θ_x，θ_y，０）回転後の座標軸ｚ”
は、図７（ｃ）に示す如く、子関節に対する座標系の
ｚ’軸と一致する。そこで、座標軸ｚ”を回転させて、
座標系（ｘ”，ｙ”，ｚ”）が子関節に対する固有座標
系と一致する角度をθ_zとする。

【００８３】７．（θ_x，θ_y，θ_z）が任意の関節、即
ち、任意の親関節に対する３次元関節角度となる。

【００８４】図８は、図７で示した親関節に対する固有
座標系をｚｘｙの順番で軸回転させた場合、その子関節
に対する固有座標系になること示す図である。即ち、関
節に対する３次元関節角度とその関節に対する固有座標
系とを用いれば、その子関節に対する固有座標系を生成
することができる。なお、本実施の形態では、軸回転の
順番はｚｘｙであるとしたが、必ずしもこれに限らず、
ｘｙｚの順番であっても良い。要するに、３つの軸をそ
れぞれ１回軸回転させれば良い。

【００８５】次に、関節角度変位部１４が、所望する動
作修飾の態様に応じて、任意の各関節に対する３次元関
節角度を変位させる所定の関数について、より具体的に
説明する。以下に、本実施の形態で使用する５種類の変
位モードを示す。但し、ｊ軸とは固有座標系のｘ軸、ｙ
軸又はｚ軸のいずれかとする。（１）エネルギー変位モード図９は、エネルギー変位モードによって、各関節に対す
る３次元関節角度の変位を行う関節角度変位部１４の構
成図である。離散コサイン変換部９１は、（数１）によ
り各関節に対する３次元関節角度を時系列データとして
扱い、その時系列データに離散コサイン変換を適用し、
そして、各ＤＣＴ係数を出力する。

【００８６】

【数１】

【００８７】Ｎ：全データ数（全フレーム数）ｋ：ＤＣＴ係数の次数ｍ：データ番号（フレーム番号） θ_m(i, j)：ｍ番目のフレームについて、ｉ番目の関節
に対する固有座標系のｊ軸に対する３次元関節角度ｚ_k(i, j)：θ_m(i, j)に対するｋ次のＤＣＴ係数変換係数変位部９２は、エネルギー変位部９３を備えて
おり、パラメータａを用いて、離散コサイン変換部９１
が出力した各ＤＣＴ係数のエネルギーを変位させる。逆
離散コサイン変換部９４は、（数２）によりエネルギー
が変位された各ＤＣＴ係数に逆離散コサイン変換を適用
し、変位された各関節に対する３次元関節角度を出力す
る。

【００８８】

【数２】

【００８９】Ｎ：全データ数（全フレーム数）ｋ：ＤＣＴ係数の次数ｍ：データ番号（フレーム番号）ａ：エネルギー変位モードにおける動作修飾設
定パラメータ θ_m(i, j)：ｍ番目のフレームについて、ｉ番目の関節
に対する固有座標系のｊ軸に対する変位後の３次元関節
角度このエネルギー変位モードによれば、パラメータａを大
きくして逆離散コサイン変換部９４で逆変換すると大き
な動作のデータになる。また、逆にパラメータａを小さ
くして逆離散コサイン変換部９４で逆変換すると小さな
動作のデータになる。従って、このモードにより、例え
ば、標準動作モードの場合の人が歩く動作に対して、大
股で歩かせたり、小股で歩かせたりする動作修飾モード
をパラメータ１つで実現することができる。（２）次数変位モード図１０は、次数変位モードによって、各関節に対する３
次元関節角度の変位を行う関節角度変位部１４の構成図
である。図９と同様の離散コサイン変換部９１は、各関
節に対する３次元関節角度を時系列データとして扱い、
その時系列データに離散コサイン変換を適用して、そし
て、各ＤＣＴ係数を出力する。変換係数変位部１０１
は、次数選択部１０２を備え、次数Ｍを用いて、離散コ
サイン変換部９１が出力した各ＤＣＴ係数を変位させ
る。逆離散コサイン変換部１０３は、（数３）により、
変位された各ＤＣＴ係数に逆離散コサイン変換を適用
し、変位した各関節に対する３次元関節角度を出力す
る。

【００９０】

【数３】

【００９１】Ｎ：全データ数（フレーム数）ｋ：ＤＣＴ係数の次数Ｍ：次数変位モードにおける動作修飾設定パラ
メータｍ：データ番号（フレーム番号） θ_m(i, j)：ｍ番目のフレームについて、ｉ番目の関節
に対する固有座標系のｊ軸に対する変位後の３次元関節
角度Ｎ＞ＭとなるＭについて、この値が小さくなると、細か
い動作を表現するデータが少なくなる。逆に大きくなる
と、細かい動作を表現するデータが多くなる。従って、
このモードにより、細かい微妙な動作を設定することが
できる動作修飾モードをパラメータ１つで実現すること
ができる。（３）動作速度変位モード図１１は、動作速度変位モードにより、各関節に対する
３次元関節角度の変位を行う関節角度変位部１４の構成
図である。ここで、動作速度変位モードのみによる動作
修飾を説明するため、変換係数変位部１１１は入力した
ＤＣＴ係数を変位せずに出力するものとする。図９と同
様の離散コサイン変換部９１は、各関節に対する３次元
関節角度を時系列データとして扱い、その時系列データ
に離散コサイン変換を適用し、そして、各ＤＣＴ係数を
出力する。変換係数変位部１１１は、変位せずに入力し
た各ＤＣＴ係数を出力する。逆離散コサイン変換部１１
２は、変換次数制限部１１３を備えており、（数４）に
より、パラメータｎを用いて、逆離散コサイン変換のう
ち必要な次数だけを用いて、入力した各ＤＣＴ係数に逆
離散コサイン変換を適用し、次数が制限された各関節に
対する３次元関節角度を出力する。

【００９２】

【数４】

【００９３】Ｎ：全データ数（全フレーム数）ｋ：ＤＣＴ係数の次数ｎ：動作速度変位モードにおける速度設定パラ
メータｍ：０，１，２，…，（Ｎ−１）／ｎ θ_mn(i, j)：ｍｎ番目のフレームについて、ｉ番目の関
節に対する固有座標系のｊ軸に対する３次元関節角度この動作速度変位モードによれば、パラメータｎによ
り、ｎ倍の動作速度で所定の動作を実行させることがで
きる。従って、このモードにより、標準動作モードに対
して、速い動作又は遅い動作を設定することができる動
作修飾モードをパラメータ１つで実現することができ
る。（４）エネルギー・次数複合変位モード図１２は、エネルギー・次数複合変位モードにより、各
関節に対する３次元関節角度の変位を行う関節角度変位
部１４の構成図である。図９と同様の離散コサイン変換
部９１は、各関節に対する３次元関節角度を時系列デー
タとして扱い、その時系列データに離散コサイン変換を
適用して、そして、各ＤＣＴ係数を出力する。変換係数
変位部１２１は、図９のエネルギー変位部９３及び図１
０の次数選択部１０２と同様の回路を備えており、エネ
ルギー変位部９３は、パラメータａを用いて、離散コサ
イン変換部９１が出力した各ＤＣＴ係数のエネルギーを
変位させ、そして、次数選択部１０２は、次数Ｍを用い
て、離散コサイン変換部９１が出力した各ＤＣＴ係数を
変位させる。逆離散コサイン変換部１２２は、（数５）
により、変位された各ＤＣＴ係数に逆離散コサイン変換
を適用して、変位した各関節に対する３次元関節角度を
出力する。

【００９４】

【数５】

【００９５】Ｎ：全データ数（全フレーム数）ｋ：ＤＣＴ係数の次数ｍ：データ番号（フレーム番号）Ｍ：次数変位モードにおける動作修飾設定パラ
メータａ：エネルギー変位モードにおける動作修飾設
定パラメータ θ_m(i, j) ：ｍ番目のフレームについて、ｉ番目の関節
に対する固有座標系のｊ軸に対する３次元関節角度この動作修飾モードによれば、パラメータａで動作の大
きさを変えながら、比較的低次のパラメータＭを選択す
ることにより、滑らかな動きを実現することができる。
また、パラメータＭを増加して高次成分を付け加えてい
く毎に細かい動作を表現することができるようになる。
従って、このモードは、動作の大きさの設定と細かい微
妙な動作の設定を同時に行うことができる動作修飾モー
ドをパラメータ２つで実現することができる。（５）エネルギー・次数・動作速度複合変位モード図１３は、エネルギー・次数・動作速度複合変位モード
により、各関節に対する３次元関節角度の変位を行う関
節角度変位部１４の構成図である。図９と同様の離散コ
サイン変換部９１は、各関節に対する３次元関節角度を
時系列データとして扱い、その時系列データに離散コサ
イン変換を適用し、そして、各ＤＣＴ係数を出力する。
変換係数変位部１２１は、図９のエネルギー変位部９３
及び図１０の次数選択部１０２と同様の回路を備えてお
り、エネルギー変位部９３は、パラメータａを用いて、
離散コサイン変換部９１が出力した各ＤＣＴ係数のエネ
ルギーを変位させ、そして、次数選択部１０２は、次数
Ｍを用いて、離散コサイン変換部９１が出力した各ＤＣ
Ｔ係数を変位させる。逆離散コサイン変換部１３１は、
変換次数制限部１３２を備えており、（数６）により、
パラメータｎを用いて、逆離散コサイン変換の変換次数
を制限した逆変換を前記変位した各ＤＣＴ係数に適用
し、変位した各関節に対する３次元関節角度を出力す
る。

【００９６】

【数６】

【００９７】Ｎ：全データ数（全フレーム数）ｋ：ＤＣＴ係数の次数ｍ：０，１，２，…，（Ｎ−１）／ｎＭ：次数変位モードにおける動作修飾設定パラ
メータａ：エネルギー変位モードにおける動作修飾設
定パラメータｎ：動作速度変位モードにおける速度設定パラ
メータ θ_mn(i, j)：ｍｎ番目のフレームについて、ｉ番目の関
節に対する固有座標系のｊ軸に対する３次元関節角度この動作修飾モードによれば、パラメータｎで動作速度
を、パラメータａで動作の大きさを、パラメータＭで細
かい微妙な動作を設定することができる。従って、この
モードは、動作速度、動作の大きさ及び細かい微妙な動
作の設定を同時に行うことができる動作修飾モードをパ
ラメータ３つで実現することができる。

【００９８】次に、本実施の形態における動作合成部１
６の作用について、より具体的に説明する。根の関節に
対する固有座標系は、動作修飾によっても変化しない有
効関節に設定されているものとする。本実施の形態で
は、根の関節は、図２（ａ）に示す腰の関節２１であ
る。固有座標系生成部を具備した動作合成部１６による
合成手順は以下の通りである。

【００９９】１．根の関節を親関節とする（初期設
定）。

【０１００】２．親関節に対する固有座標系の原点をそ
の関節に当てはめる。

【０１０１】３．前記固有座標系の原点から正のｚ軸に
沿って、その関節に対応する形状データを当てはめる。

【０１０２】４．前記形状データの原点でない方の端点
をその子関節に対する固有座標系の原点とする。

【０１０３】５．親関節に対する３次元関節角度を用い
て、親関節に対する固有座標系をｚｘｙの順番で軸回転
し、それをその子関節の固有座標系とする。

【０１０４】６．次の処理のため、子関節を親関節とす
る。

【０１０５】７．フレームに対する有効関節の各々につ
いての処理が終わるまで、前記２〜６を繰り返す。

【０１０６】８．所望するサイクルに基づき、前記１〜
７を繰り返す。

【０１０７】なお、上記説明は、簡単の為、動作修飾の
態様は、全ての有効関節を対象とするものとした。

【０１０８】以上のように、固有座標系を用いること
で、形状データを一義的に当てはめることが可能とな
り、そして、３次元関節角度を用いることにより、捻
り、回転などの動作が可能となるばかりか、３次元関節
角度を関数により処理することで、標準動作モードに対
して、様々に変化する動作を簡単に付加することができ
る。

【０１０９】図１４は、本発明の請求項１０記載の画像
処理装置に係る実施の一形態の構成図である。即ち、固
有座標系記憶部１４１は、例えば人が所定の動作を行っ
た場合、その動作の１周期を単位とする標準動作に対す
るフレーム毎に、有効関節の各々に対する固有座標系を
記憶している。形状データ記憶部１４５は、有効関節の
各々に対する複数の固有座標系に対応する人の部位に関
する形状データを記憶している。入力装置１４７は、操
作者が所望する動作に関する指示を入力する。制御部１
４８は、入力装置１４７に入力された指示に従い、画像
処理に関する制御を行う。３次元関節角度算出部１４２
は、その操作者の指示による所望する動作修飾の態様に
応じて、固有座標系記憶部１４１が記憶している固有座
標系に基づき、有効関節の全部又は一部の各々に対する
３次元関節角度を算出する。関節角度変位部１４３は、
前記動作修飾の態様に応じて、３次元関節角度算出部１
４２により算出された３次元関節角度に基づいて、有効
関節の全部又は一部の各々に対する３次元関節角度を変
位させる。固有座標系生成部１４４は、前記動作修飾の
態様に応じて、３次元関節角度算出部１４２により算出
された３次元関節角度及び／又は関節角度変位部１４３
により変位された３次元関節角度に基づき、有効関節の
全部又は一部の各々に対する固有座標系を生成する。動
作合成部１４６は、前記動作修飾の態様に応じて、固有
座標系記憶部１４１で記憶されている固有座標系及び／
又は固有座標系生成部１４４により生成された固有座標
系に基づき、形状データ記憶部１４５で記憶されている
形状データの中から該当する形状データを読み出して、
そして、それらを該当する有効関節の各々に割当てる。

【０１１０】図１５は、本発明の請求項１９記載の画像
処理装置に係る実施の一形態の構成図である。即ち、３
次元関節角度記憶部１５１は、例えば、人が所定の動作
を行った場合、その動作の１周期を単位とする標準動作
に対するフレーム毎に、根の関節の固有座標系と有効関
節の各々に対する３次元関節角度を記憶している。形状
データ記憶部１５４は、有効関節の各々に対する複数の
固有座標系に対応する人の部位に関する形状データを記
憶保持している。入力装置１５７は、操作者が所望する
動作に関する指示を入力する。制御部１５８は、入力装
置１５７に入力された指示に従い、画像処理に関する制
御を行う。固有座標系決定部１５２は、３次元関節角度
記憶部１５１で記憶されている根の関節に対する固有座
標系と３次元関節角度を用いて、根の関節から親子の順
番に従って、有効関節の各々に対する固有座標系を決定
する。関節角度変位部１５３は、その操作者の指示によ
る所望する動作修飾の態様に応じて、３次元関節角度記
憶部で記憶されている３次元関節角度に基づいて、有効
関節の全部又は一部の各々に対する３次元関節角度を変
位させる。固有座標系生成部１５４は、前記動作修飾の
態様に応じて、３次元関節角度記憶部１５１で記憶され
ている３次元関節角度及び／又は関節角度変位部１５３
により変位された３次元関節角度に基づいて、有効関節
の全部又は一部の各々に対する固有座標系を生成する。
動作合成部１５５は、前記動作修飾の態様に応じて、固
有座標系決定部１５２により決定された固有座標系及び
／又は固有座標系生成部１５４により生成された固有座
標系に基づいて、形状データ記憶部１５６で記憶されて
いる形状データの中から該当する形状データを読み出し
て、そして、それらを該当する有効関節の各々に割当て
る。

【０１１１】なお、上記実施の形態では、入力装置１
７、１４７又は１５７により入力された操作者の指示に
基づいて、所望する動作に対応した画像処理が行われる
ものとしたが、必ずしもこれに限らず、アニメーション
のような動画を生成するように記述されたプログラムの
指示に基づいて、画像処理が行われるとしてもよい。

【０１１２】また、上記実施の形態では、固有座標系と
３次元関節角度は、有効関節により限定されるとした
が、必ずしもこれに限らず、固有座標系と３次元関節角
度は、有効関節とその親関節又は子関節とを結んだ線分
である親子線により限定されるとしてもよい。この場
合、親子線に対する固有座標系は有効関節に対する固有
座標系と同義であり、また親子線に対する３次元関節角
度は有効関節に対する３次元関節角度と同義である。

【０１１３】図１６は、本発明の請求項２５記載の画像
処理装置に係る実施の一形態の構成図である。画像処理
装置１６０の基本動作記憶部１６１は、複数の「動作の
基準となる有効関節」を有する物体が所定の動作を行う
場合、その周期的または非周期的な動作に対して、フレ
ーム毎に、その有効関節の全部又は一部の各々に対する
関数化された３次元関節角度を基本動作データとして記
憶している記憶部である。この記憶部は、画像処理装置
１６０の内部記憶装置又は外部記憶装置の何れの記憶装
置に記憶されていてもよい。

【０１１４】入力装置１６２は、操作者が所望する動作
に関する指示を入力するための入力装置である。

【０１１５】基本動作選択部１６３は、入力装置１６２
により入力された指示に基づき、基本動作記憶部１６１
で記憶されている複数の基本動作データから所望の基本
動作データを選択するものである。基本動作記憶部１６
１は、基本動作選択部１６３により選択された基本動作
データを基本動作修飾生成部１６５に出力する。

【０１１６】パラメータ設定部１６４は、入力装置１６
２により入力された指示に基づき、基本動作選択手段に
より選択された基本動作データにより構成される動作
を、その指示に応じた動作修飾を伴った動作に変更する
際に必要となる動作修飾パラメータを設定するものであ
る。

【０１１７】基本動作修飾生成部１６５は、パラメータ
設定部１６４により設定された動作修飾パラメータを用
いて、基本動作選択部１６３により選択されて基本動作
記憶部１６１から入力した基本動作データにより構成さ
れる動作を操作者の所望する動作修飾を伴った動作に変
更して、基本動作修飾データを生成するものである。

【０１１８】付加動作選択部１６６は、入力装置１６２
により入力された指示に基づき、基本動作修飾生成部１
６５により生成された基本動作修飾データにより構成さ
れる動作と異なる動作であって、その基本動作修飾デー
タにより構成される動作に付加される所望の付加動作を
選択するものである。

【０１１９】付加動作生成部１６７は、基本動作修飾生
成部１６５により生成された基本動作修飾データと付加
動作選択部１６６により選択された付加動作により、付
加動作データを生成するものである。

【０１２０】動作合成装置１６８は、基本動作修飾生成
部１６５により生成された基本動作修飾データと付加動
作生成部１６７により生成された付加動作データとを合
成して、その基本動作修飾データにより構成される動作
にその付加動作データにより構成される動作を付加した
動作に関する動作データを生成するものである。

【０１２１】次に、本実施の形態の動作について説明す
る。

【０１２２】図２（ｂ）で示した人に関するスケルトン
モデルが動作することにより、その有効関節に対する３
次元関節角度は、図１７に示すように時間的に変化す
る。このように、動作は、有効関節の各々に対する３次
元関節角度の時間変化によって表現することができる。
そこで、図１７で示される３次元関節角度の時間的変化
を、Ｘ軸回転θx、Ｙ軸回転θy及びＺ軸回転θz の各々
に適用する関数によって近似する。本実施の形態では、
近似関数に（数７）で表される離散コサイン変換を使用
する。但し、ｉはｘ、ｙ、ｚ軸、ｊはフレーム数、ｋは
有効関節に対応するものとする。

【０１２３】

【数７】

【０１２４】図１７を離散コサイン変換により関数近似
した例を図１８に示す。歩く等の周期的動作については
その１周期分の動作が関数化される。また、水泳の飛び
込み等の非周期的動作についてはその一回分の動作が関
数化される。このように、離散コサイン変換により数近
似された「歩く」、「飛び込む」等の基本動作データ
が、基本動作記憶部１６１に記憶されている。ところ
で、ある動作をＤＣＴによりモデル化した場合、ＤＣＴ
の次数によりその動作の質を変化させることができる。
一般的に、図１９に示すように、エネルギーは変換係数
の低周波成分に集中する。そこで、基本動作データをデ
ータベースに登録する場合に、その基本動作の再構成時
に影響の少ない高周波成分を無視すれば、３次元関節角
度の時系列データをそのまま登録するよりも少ないデー
タによってデータベースを構成することができる。

【０１２５】基本動作選択部１６３は、入力装置１６２
により入力された操作者の指示に基づき、基本動作記憶
部１６１に記憶されている関数化された基本動作データ
から所望の基本動作データを選択する。図１の関節角度
変位装置１４が使用する、３次元関節角度を変位させる
所定の関数に関する５種類の変位モードについて既に説
明したが、パラメータ設定部１６４も同様の動作修飾パ
ラメータを使用することができる。基本動作修飾生成部
１６５は、パラメータ設定部１６４により設定された動
作修飾パラメータを用いて、基本動作選択部１６３によ
り選択されて基本動作記憶部１６１から入力した基本動
作データに、逆離散コサイン変換を適用することによ
り、基本動作修飾データとなる３次元関節角度を生成す
る。

【０１２６】即ち、パラメータ設定部１６４は、入力装
置１６２により入力された操作者の指示に基づいて、動
作の大きさを表すパラメータａと動作の早さを表すパラ
メータｂを有した動作修飾パラメータを設定する。そし
て、基本動作修飾生成部１６５は、その動作修飾パラメ
ータを用いて、基本動作選択部１６３により選択された
基本動作データに、（数８）の逆離散コサイン変換を適
用する。

【０１２７】

【数８】

【０１２８】ここで、パラメータａによる動作の大きさ
について、ａ＝１．０の場合、基本動作記憶部１６１で
記憶されている基本動作データを基準にした大きさの動
作が生成される。そして、ａ＞１．０の場合はそれより
も大きい、０＜ａ＜１．０の場合はそれよりも小さい動
作が生成される。また、パラメータｂによる動作の速さ
について、ｂ＝１の場合、基本動作記憶部１６１で記憶
されている基本動作データを基準にした速さの動作が生
成される。そして、ｂ＞１．０の場合はそれよりも速い
動作が生成される。ただし、パラメータｂは整数であ
る。このように、これらの２つのパラメータを操作する
ことにより動作修飾を容易に行なうことができる。な
お、ａ＝１及びｂ＝１の場合の動作修飾では、基本動作
選択部１６３により選択された基本動作データがそのま
ま使用されるが、これも動作修飾の一態様に含めて取り
扱うものとする。

【０１２９】付加動作選択部１６６は、入力装置１６２
により入力された操作者の指示に基づいて、付加動作を
選択する。この付加動作は、基本動作修飾生成部１６５
により生成された基本動作修飾データにより構成される
動作と異なる動作であって、その構成される動作に付加
される動作である。付加動作生成部１６７は、基本動作
生成部１６５により生成された基本動作修飾データと付
加動作選択部１６６により選択された付加動作に基づ
き、付加動作データを生成する。例えば、基本動作を
「歩く」動作とすれば、「手を振る」付加動作がそれに
加えられる。動作合成部１６８は、基本動作修飾生成部
１６５により生成された基本動作修飾データと付加動作
生成部１６７により生成された付加動作データを合成し
て、その基本動作修飾データにより構成される動作にそ
の付加動作データにより構成される動作を付加した動作
に関する動作データを生成する。

【０１３０】なお、本実施の形態では、基本動作選択部
１６３は、選択した基本動作データを基本動作記憶部１
６１から基本動作修飾生成部１６５に出力させる構成と
したが、必ずしもこれに限らず、基本動作選択部１６３
は、選択した基本動作データを基本動作記憶部１６１か
ら読み出して、それを基本動作修飾生成部１６５に出力
する構成としてもよい。

【０１３１】また、本実施の形態では、入力装置１６２
により入力された指示に基づき動作修飾パラメータを設
定するとしたが、必ずしもこれに限らず、パラメータ設
定部１６４が操作者の所望する動作修飾パラメータを入
力するための入力部を備えているものとしてもよい。

【０１３２】また、本実施の形態では、入力装置１６２
から入力された操作者の指示に基づき、所望する動作に
対応した画像処理が行われるものとしたが、必ずしもこ
れに限らず、アニメーションのような動画を生成するよ
うに記述されたプログラムの指示に基づき、画像処理が
行われるとしてもよい。

【０１３３】また、図１６で示した本実施の形態の構成
では、付加動作生成部１６７は、基本動作修飾生成部１
６５により生成された基本動作修飾データを考慮しなが
ら、付加動作データを生成し、そして、動作合成部１６
８が、その基本動作修飾データと付加動作データを合成
する構成となっているが、必ずしもこれに限らず、付加
動作生成部１６７は、基本動作修飾データを考慮するこ
となく付加動作データを生成し、そして、動作合成部１
６８が、基本動作修飾データを考慮しながら、その基本
動作修飾データに付加動作生成部１６７により生成され
た付加動作データを合成するとしてもよい。

【０１３４】図２０は、図１６で示した基本動作修飾生
成部１６５の別の実施の形態を示す構成図である。基本
動作修飾生成部１６５ａの基本動作変更部２０１は、図
１６のパラメータ設定部１６４により設定された動作修
飾パラメータを用いて、基本動作選択部１６３により選
択されて基本動作記憶部１６１から入力された基本動作
データに、基本動作修飾生成部１６５により使用された
逆離散コサイン変換を適用して、有効関節の各々に対す
る３次元関節角度を算出する。周期動作生成部２０２
は、基本動作変更部２０１により処理された動作が周期
的な動作である場合、その周期分の算出された３次元関
節角度を、所望する周期分反復することにより基本動作
修飾データを生成する。また、非周期動作生成部２０３
は、基本動作変更部２０１により処理された動作が非周
期的な動作である場合、反復せずに算出された３次元関
節角度から基本動作修飾データを生成する。

【０１３５】図２１は、図１６で示した付加動作生成部
１６７の別の実施の形態を示す構成図である。付加動作
生成部１６７ａの座標入力部２１１は、図１６で示した
付加動作選択部１６６によって選択された付加動作に対
応して移動する座標を入力する。その移動する座標に関
するデータは、その付加動作に対応させられて、基本動
作記憶部１６１が記憶されている記憶装置又はそれとは
別の記憶装置に記憶されている。座標追跡部２１２は、
基本動作生成部１６５により生成された基本動作データ
による動作を考慮して、付加動作選択部１６６により選
択された付加動作の対象となる有効関節の先端に当たる
有効関節を、座標入力部２１１により入力される座標に
追従させることによって、付加動作データを生成する。
座標追跡部２１２は、インバースキネマティクスを使用
する。

【０１３６】ここで、インバースキネマティクスの詳し
い計算方法について述べる。人が右手でボールを追う場
合の付加動作を例にして説明する。肘関節と肩関節の３
次元関節角度を、それぞれ（θ1x，θ1y，θ1z）と（θ
2x，θ2y，θ2z）とする。また、肩から肘までの長さを
l1z、肘から手までの長さをl2zとする。この時、肩の座
標系を基準とした時の、手先の位置の座標ｒは（数９）
で表すことができる。但し、o は肩の座標系の原点であ
る。また、Ｘθ、Ｙθ、Ｚθ、Ｌ_l は、それぞれ、Ｘ軸
回転、Ｙ軸回転、Ｚ軸回転、Ｚ軸方向の平行移動のマト
リックスを表している。

【０１３７】

【数９】

【０１３８】これらの４式は、Θについて非線形である
ので、速度分解法により手先の位置の変化量がΘの変化
量に対して線形になり、（数１０）で表される。但し、
Ｊはヤコビアンと呼ばれ、関数の偏微分値を要素として
持つマトリックスである。

【０１３９】

【数１０】

【０１４０】一般に、Ｊは正則では無いので、Ｊの転置
行列Ｊ^t を左からかけることで正則Ｊ^tＪとする。Ｊ^tＪ
に逆行列が存在すると（数１１）ようにδΘを求めるこ
とができる。

【０１４１】

【数１１】

【０１４２】従って、ボールの移動量δｒを手先の移動
量として入力することにより、有効関節の各々に対する
３次元関節角度の変化量δΘを計算することができ、付
加動作データを生成することができる。図２２のように
「歩く」＋「ボールを追う」という動きを実現できる。
このようにして、基本動作とは異なる動作をインバース
キネマティクスを用いて一部の関節に行なうことにより
状況に応じた動作をすることができる。図２３は、付加
動作生成部１６７ａを備えた図１６の画像処理装置の動
作を示すフローチャートである。

【０１４３】図２４は、図１６で示した付加動作生成部
１６７の別の実施の形態を示す構成図である。付加動作
生成部１６７ｂは、複数の座標入力部２１１-1から２１
１-nと、それらに対応した複数の座標追跡部２１２-1か
ら２１２-nとにより構成される。各ペアの座標入力部と
座標追跡部は、図２１と同様にして付加動作データを生
成する。これにより、例えば、人の左右の腕と左右の足
に対して付加動作データを生成することができる。各目
標座標をｒk（ｘk, ｙk, ｚk）とすると、それぞれの目
標座標に対応する有効関節に対する付加動作生成部によ
る処理は（数１２）で与えられる。

【０１４４】

【数１２】

【０１４５】図２１と同様にして、目標の移動量から有
効関節の各々に対する３次元関節角度の変化量を求め
る。δｒkはk番目の目標座標の移動量（δx,δy,δ
z）、Ｊkは行列Ｆ（Θk）のヤコビアン、そしてΘkは
（θk1,θk2,…,θkN）tである。このように、それぞれ
の有効関節に対して独立に目標追跡動作をさせることも
可能である。従って、歩きながら右手と左手で違った目
標を追跡することができ、さらに複雑な動作をさせるこ
とが可能となる。

【０１４６】図２５は、図１６で示した付加動作生成部
１６７の別の実施の形態を示す構成図である。付加動作
生成部１６７ｃの基準付加動作記憶部２４１は、所定の
付加動作に対して、フレーム毎に、有効関節の全部又は
一部の各々に対する３次元関節角度に関するデータを基
準付加動作データとして記憶するものである。基準付加
動作記憶部２４１では、例えば腕、脚、頭等の動きが関
数化されて記憶されている。頭部における動作は、「う
なずく」、「頭を横に振る」等の動作である。腕部にお
ける動作は、「手を振る」等、脚部の動作は「蹴る」等
である。図１６の基本動作記憶部１６１と同様に、基準
付加動作記憶部２４１においても、３次元関節角度の時
間的変化に対して離散コサイン変換を適用した変換デー
タが記憶されている。基準付加動作記憶部２４１は、基
本動作記憶部１６１が記憶されている記憶装置に限ら
ず、別の記憶装置に記憶させてもよい。

【０１４７】付加動作読み出し部２４２は、基準付加動
作記憶部２４１で記憶されている複数の基準付加動作デ
ータから、図１６で示した付加動作選択部１６６により
選択された付加動作に対応する基準付加動作データを読
み出し、それを付加動作修飾生成部２４４に入力させる
ものである。

【０１４８】付加動作修飾設定部２４３は、付加動作選
択部１６６により選択された付加動作に応じた動作修飾
パラメータを設定するものである。ここでは、図１６で
示したパラメータ設定部１６４と同様の動作修飾パラメ
ータを使用するものとする。

【０１４９】付加動作修飾生成部２４４は、図１６で示
した基本動作修飾生成部１６５により生成された基本動
作修飾データを考慮して、付加動作修飾設定部２４３に
より設定された動作修飾パラメータを用いて、付加動作
読み出し部２４２により読み出された基準付加動作デー
タを変更し、付加動作データを生成するものである。

【０１５０】即ち、付加動作修飾生成部２４４は、付加
動作修飾設定部２４３により設定された動作修飾パラメ
ータを用いて、付加動作読み出し部２４２により読み出
された基準付加動作データに、基本動作修飾生成部１６
５と同様の逆離散コサイン変換を適用して、３次元関節
角度を計算するものである。

【０１５１】次に、「歩く」という基本動作に対して
「手を振る」という付加動作を付加する場合を例にし
て、付加動作生成部１６７ｃの動作について説明する。
付加動作選択部１６６により選択された付加動作が「大
きく手を振る」という動作である場合、付加動作読み出
し部２４２は基準付加動作記憶部２４１から「手を振
る」という動作を読み出す。付加動作修飾設定部２４３
は、付加動作選択部１６６により選択された付加動作の
「大きく」という動作に応じた動作修飾パラメータを設
定する。この場合、パラメータａは１．０より大きく設
定される。付加動作修飾生成部２４４は、「大きく」と
いう動作を表す動作修飾パラメータを用いて、読み出さ
れた「手を振る」を変更して、「大きく手を振る」とい
う動作である付加動作データを生成する。

【０１５２】また、動作修飾パラメータのｂを１．０よ
り大きくすることにより、「速く」という動作修飾を
「手を振る」に加えることができる。

【０１５３】このようにして、図２６のように「歩く」
＋「（大きく）手を振る」という動作を実現することが
できる。このように、意味のある部分的な動作を付加動
作とすることで、状況に合った動作をさせることが可能
となる。また、付加動作データに対する動作修飾パラメ
ータを変化させることにより、大きな動作、小さな動作
を実現することができる。また、図２７は、付加動作生
成部１６７ｃを備えた図１６の画像処理装置の動作を示
すフローチャートを示す。

【０１５４】図２８は、図１６で示した付加動作生成部
１６７の別の実施の形態を示す構成図である。付加動作
生成部１６７ｄは、複数の付加動作データを生成するこ
とができるものであり、個々の構成要素は図２５と同様
のものである。基準付加動作記憶部２７１は、所定の付
加動作に対して、フレーム毎に、有効関節の全部又は一
部の各々に対する３次元関節角度に関するデータを基準
付加動作データとして記憶するものである。

【０１５５】付加動作読み出し部２４２-1から２４２-n
は、それぞれ、基準付加動作記憶部２７１で記憶されて
いる複数の基準付加動作データから、図１６で示した付
加動作選択部１６６により選択された付加動作に対応す
る基準付加動作データを読み出し、付加動作修飾生成部
２４４-1から２４４-nに入力させるものである。

【０１５６】付加動作修飾設定部２４３-1から２４３-n
は、それぞれ付加動作選択部１６６により選択された付
加動作に応じた動作修飾パラメータを設定するものであ
る。

【０１５７】付加動作修飾生成部２４４-1から２４４-n
は、それぞれ、図１６で示した基本動作修飾生成部１６
５により生成された基本動作修飾データを考慮して、付
加動作修飾設定部２４３-1から２４３-nにより設定され
た動作修飾パラメータを用いて、付加動作読み出し部２
４２-1から２４２-nにより読み出された基準付加動作デ
ータを変更し、付加動作データを生成するものである。

【０１５８】この付加動作生成部１６７ｄを具備した図
１６の画像処理装置によれば、基本動作に追加すること
ができる複数の付加動作を選択することができる。付加
動作生成部１６７ｄは、付加動作選択部１６６により選
択された複数の付加動作に対して、それぞれ動作修飾パ
ラメータを設定し、それらに基づき複数の付加動作デー
タを生成する。

【０１５９】例えば、「うなずく」と「手を振る」とい
う付加動作を基本動作「歩く」に加えることが可能とな
る。このとき、動作修飾パラメータを変化することによ
り、大きくうなずく、速くうなずくなど、また、大きく
手を振る、速く手を振るなどの動作を同時に実現するこ
とができる。このように、さらにバリエーションのある
動作を生成することができる。

【０１６０】また付加動作として、データベースを用い
る方法とインバースキネマティクスを用いる方法を併用
することにより、さらに柔軟な動作生成を実現すること
ができる。例えば、左手でボールを追いながら、右手を
振りながら大きく歩くということも実現することができ
る。図２９は、データベースを用いる方法とインバース
キネマティクスを用いる方法を結合した時の処理の流れ
を示したフローチャートである。

【０１６１】

【発明の効果】以上説明したことから明らかなように、
本発明の画像処理装置は、有効関節とそれと隣接する有
効関節との間に対応する物体の部位を一義的に当てはめ
ることができ、また、物体の１方向の向きを考慮するこ
とができる固有座標系を用いることにより、標準動作に
おける画像の合成を簡単に行うことができる効果を有す
る。

【０１６２】また、本発明の画像処理装置は、有効関節
に対する３次元関節角度を用いて、捻り、回転等の動作
を簡単に行わせることができる効果を有する。

【０１６３】また、本発明の画像処理装置は、有効関節
に対する固有座標系と３次元関節角度を用いれば、様々
な動作修飾を簡単に実行させることができる効果を有す
る。

【０１６４】また、本発明の画像処理装置によれば、３
次元関節角度を関数化した基本動作データとそれに付加
できる付加動作データとに分割することにより、動作の
データ量、計算量を小さくするだけでなく、状況に応じ
た多様動作データの生成が可能となる。

【図面の簡単な説明】

【図１】本発明の請求項１記載の画像処理装置に係る実
施の一形態の構成図

【図２】人が走っている時の関節の位置を模式的に示し
た図

【図３】４関節固有座標系の決定の様子を示す図

【図４】３関節固有座標系の決定の様子を示す図

【図５】２関節固有座標系の決定の様子を示す図

【図６】２関節固有座標系、３関節固有座標系及び４関
節固有座標系の決定に関するフローチャート

【図７】関節に対する３次元関節角度の算出の様子を示
す図

【図８】図７で示した親関節に対する固有座標系をｚｘ
ｙ軸の順番で軸回転させた場合に、その子関節に対する
固有座標系になること示す図

【図９】エネルギー変位モードにより、関節に対する３
次元関節角度の変位を行う関節角度変位装置１４の構成
図

【図１０】次数変位モードにより、各々の関節に対する
各々の３次元関節角度の変位を行う関節角度変位装置１
４の構成図

【図１１】動作速度変位モードにより、各々の関節に対
する各々の３次元関節角度の変位を行う関節角度変位装
置１４の構成図

【図１２】エネルギー・次数複合変位モードにより、３
次元関節角度の変位を行う関節角度変位装置１４の構成
図

【図１３】エネルギー・次数・動作速度複合変位モード
により、３次元関節角度の変位を行う関節角度変位装置
１４の構成図

【図１４】本発明の請求項１０記載の画像処理装置に係
る実施の一形態の構成図

【図１５】本発明の請求項１９記載の画像処理装置に係
る実施の一形態の構成図

【図１６】本発明の請求項２５記載の画像処理装置に係
る実施の一形態の構成図

【図１７】図２（ｂ）で示した人に関するスケルトンモ
デルが動作することにより、その有効関節の各々に対す
る３次元関節角度が時間的に変化する様子を示す図

【図１８】図１７を離散コサイン変換により関数近似し
た例を示す図

【図１９】ＤＣＴ変換後のエネルギーが、変換係数の低
周波成分に集中する例を示す図

【図２０】図１６で示した基本動作修飾生成部１６５の
別の実施の形態を示す構成図

【図２１】図１６で示した付加動作生成部１６７の別の
実施の形態を示す構成図

【図２２】「歩く」＋「ボールを追う」という動作を実
現する例を示す図

【図２３】付加動作生成部１６７ａを備えた図１６の画
像処理装置の動作を示すフローチャート

【図２４】図１６で示した付加動作生成部１６７の別の
実施の形態を示す構成図

【図２５】図１６で示した付加動作生成部１６７の別の
実施の形態を示す構成図

【図２６】「歩く」＋「（大きく）手を振る」という動
作を実現する例を示す図

【図２７】付加動作生成部１６７ｃを備えた図１６の画
像処理装置の動作を示すフローチャート

【図２８】図１６で示した付加動作生成部１６７の別の
実施の形態を示す構成図

【図２９】データベースを用いる方法とインバースキネ
マティクスを用いる方法を結合した時の処理の流れを示
したフローチャート

【符号の説明】

１０…画像処理装置１１…３次元関節位置記憶部１２…固有座標系決定部１３…３次元関節角度算出部１４…３次元関節角度変位部１５…形状データ記憶部１６…動作合成部１７…入力装置１８…制御部１４０…画像処理装置１４１…固有座標系記憶部１４２…３次元関節角度算出部１４３…関節角度変位部１４４…固有座標系生成部１４５…形状データ記憶部１４６…動作合成部１４７…入力装置１４８…制御部１５０…画像処理装置１５１…３次元関節角度記憶部１５２…固有座標系決定部１５３…関節角度変位部１５４…固有座標系生成部１５５…動作合成部１５６…形状データ記憶部１５７…入力装置１５８…制御部１６０…画像処理装置１６１…基本動作記憶部１６２…入力装置１６３…基本動作選択部１６４…パラメータ設定部１６５…基本動作修飾生成部１６６…付加動作選択部１６７…付加動作生成部１６８…動作合成部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 9365−5ＨＧ０６Ｆ 15/62 ３２２Ｍ 9365−5Ｈ３４０Ｋ

Claims

【特許請求の範囲】

【請求項１】複数の関節を有する物体が所定の動作を
行う場合、その動作の１周期又は複数の周期を単位とす
る標準動作に対するフレーム毎に、前記複数の関節の全
部又は一部である有効関節の各々に対する３次元座標位
置を記憶している３次元関節位置記憶手段と、前記有効関節の各々に対する複数の、前記有効関節に対
して固有の３次元座標系である、固有座標系に対応する
前記物体の部位に関する形状データを記憶している形状
データ記憶手段と、前記３次元関節位置記憶手段で記憶されている３次元座
標位置に基づき、前記有効関節の各々に対する固有座標
系を決定する固有座標系決定手段と、所望する動作修飾の態様に従って、前記固有座標系決定
手段により決定された固有座標系に基づき、前記有効関
節の全部又は一部の各々に対する、固有座標系とそれと
隣接する固有座標系との間の３次元角度である、３次元
関節角度を算出する３次元関節角度算出手段と、前記動作修飾の態様に応じて、前記３次元関節角度算出
手段により算出された３次元関節角度に基づき、前記有
効関節の全部又は一部の各々に対する３次元関節角度を
変位させる関節角度変位手段と、前記動作修飾の態様に応じて、前記３次元関節角度算出
手段により算出された３次元関節角度及び／又は前記関
節角度変位手段により変位された３次元関節角度に基づ
き、前記有効関節の全部又は一部の各々に対する固有座
標系を生成する固有座標系生成手段と、前記動作修飾の態様に応じて、前記固有座標系決定手段
により決定された固有座標系及び／又は前記固有座標系
生成手段により生成された固有座標系に基づいて、前記
有効関節の各々に、該当する前記形状データの割当てを
行う動作合成手段とを備えたことを特徴とする画像処理
装置。
【請求項２】前記固有座標系決定手段は、固有座標系が決定される有効関節である目的関節からそ
れと隣接する第１の関節に向かうベクトルを、その目的
関節に対する固有座標系の第１軸とし、前記目的関節にそれぞれ隣接する第２の関節から第３の
関節に向かうベクトルを仮のベクトルとし、前記仮のベクトルと前記第１軸との外積を前記目的関節
に対する固有座標系の第２軸とし、前記第１軸と前記第２軸との外積を前記目的関節に対す
る固有座標系の第３軸とすることを特徴とする請求項１
記載の画像処理装置。
【請求項３】前記固有座標系決定手段は、固有座標系が決定される有効関節である目的関節からそ
れと隣接する第１の関節に向かうベクトルを、その目的
関節に対する固有座標系の第１軸とし、前記目的関節からそれと隣接する第２の関節に向かうベ
クトルと前記第１軸との合成ベクトル又はその逆ベクト
ルを仮のベクトルとし、前記仮のベクトルと前記第１軸との外積を前記目的関節
に対する固有座標系の第２軸とし、前記第１軸と前記第２軸との外積を前記目的関節に対す
る固有座標系の第３軸とすることを特徴とする請求項１
記載の画像処理装置。
【請求項４】前記固有座標系決定手段は、固有座標系が決定される有効関節である目的関節からそ
れと隣接する第１の関節に向かうベクトルを、その目的
関節に対する固有座標系の第１軸とし、前記目的関節と隣接する第２の関節に対する固有座標系
のうち、その第２の関節から前記目的関節に向かうベク
トルに基づき決定された座標軸を除く残りのどちらか一
方の座標軸と前記第１軸との外積を前記目的関節に対す
る固有座標系の第２軸とし、前記第１軸と前記第２軸との外積を前記目的関節に対す
る固有座標系の第３軸とすることを特徴とする請求項１
記載の画像処理装置。
【請求項５】前記関節角度変位手段は、前記有効関節の全部又は一部の各々に対する３次元関節
角度に離散コサイン変換を適用し、ＤＣＴ係数を出力す
る離散コサイン変換手段と、前記ＤＣＴ係数の各々に含まれる所定の要素を変位する
変換係数変位手段と、前記離散コサイン変換手段により出力されたＤＣＴ係数
又は前記変換係数変位手段により変位されたＤＣＴ係数
に逆離散コサイン変換を適用する逆離散コサイン変換手
段とを備えたことを特徴とする請求項１記載の画像処理
装置。
【請求項６】前記所定の要素とは、周波数成分のエネ
ルギー及び／又は選択次数であることを特徴とする請求
項５記載の画像処理装置。
【請求項７】前記逆離散コサイン変換手段は、前記Ｄ
ＣＴ係数又は前記変位されたＤＣＴ係数に適用する前記
逆離散コサイン変換を制限することを特徴とする請求項
５記載の画像処理装置。
【請求項８】前記固有座標系生成手段は、前記有効関
節に対する３次元関節角度を用いて、その有効関節に対
する固有座標系の３軸をそれぞれ軸回転することによ
り、その有効関節と隣接する有効関節に対する固有座標
系を生成することを特徴とする請求項１記載の画像処理
装置。
【請求項９】複数の関節を有する物体が所定の動作を
行う場合、その動作の１周期又は複数の周期を単位とす
る標準動作に対するフレーム毎に、前記複数の全部又は
一部である有効関節の各々に対する、前記有効関節に対
して固有の３次元座標系である、固有座標系を記憶して
いる固有座標系記憶手段と、前記有効関節の各々に対する複数の固有座標系に対応す
る前記物体の部位に関する形状データを記憶している形
状データ記憶手段と、所望する動作修飾の態様に従って、前記固有座標系記憶
手段で記憶されている固有座標系に基づき、前記有効関
節の全部又は一部の各々に対する、固有座標系とそれと
隣接する固有座標系との間の３次元角度である、３次元
関節角度を算出する３次元関節角度算出手段と、前記動作修飾の態様に応じて、前記３次元関節角度算出
手段により算出された３次元関節角度に基づき、前記有
効関節の全部又は一部の各々に対する３次元関節角度を
変位させる関節角度変位手段と、前記動作修飾の態様に応じて、前記３次元関節角度算出
手段により算出された３次元関節角度及び／又は前記関
節角度変位手段により変位された３次元関節角度に基づ
き、前記有効関節の全部又は一部の各々に対する固有座
標系を生成する固有座標系生成手段と、前記動作修飾の態様に応じて、前記固有座標系記憶手段
で記憶されている固有座標系及び／又は前記固有座標系
生成手段により生成された固有座標系に基づいて、前記
有効関節の各々に、該当する前記形状データの割当てを
行う動作合成手段とを備えたことを特徴とする画像処理
装置。
【請求項１０】前記固有座標系記憶手段が記憶してい
る固有座標系は、固有座標系が決定される有効関節である目的関節からそ
れと隣接する第１の関節に向かうベクトルを、その目的
関節に対する固有座標系の第１軸とし、前記目的関節にそれぞれ隣接する第２の関節から第３の
関節に向かうベクトルを仮のベクトルとし、前記仮のベクトルと前記第１軸との外積を前記目的関節
に対する固有座標系の第２軸とし、前記第１軸と前記第２軸との外積を前記目的関節に対す
る固有座標系の第３軸とすることにより決定されること
を特徴とする請求項９記載の画像処理装置。
【請求項１１】前記固有座標系記憶手段が記憶してい
る固有座標系は、固有座標系が決定される有効関節である目的関節からそ
れと隣接する第１の関節に向かうベクトルを、その目的
関節に対する固有座標系の第１軸とし、前記目的関節からそれと隣接する第２の関節に向かうベ
クトルと前記第１軸との合成ベクトル又はその逆ベクト
ルを仮のベクトルとし、前記仮のベクトルと前記第１軸との外積を前記目的関節
に対する固有座標系の第２軸とし、前記第１軸と前記第２軸との外積を前記目的関節に対す
る固有座標系の第３軸とすることにより決定されること
を特徴とする請求項９記載の画像処理装置。
【請求項１２】前記固有座標系記憶手段が記憶してい
る固有座標系は、固有座標系を決定する関節となる目的関節からそれと隣
接する第１の関節に向かうベクトルを、その目的関節に
対する固有座標系の第１軸とし、前記目的関節と隣接する第２の関節に対する固有座標系
のうち、その第２の関節から前記目的関節に向かうベク
トルに基づき決定された座標軸を除く残りのどちらか一
方の座標軸と前記第１軸との外積を前記目的関節に対す
る固有座標系の第２軸とし、前記第１軸と前記第２軸との外積を前記目的関節に対す
る固有座標系の第３軸とすることにより決定されること
を特徴とする請求項９記載の画像処理装置。
【請求項１３】前記関節角度変位手段は、前記有効関節の全部又は一部の各々に対する３次元関節
角度に離散コサイン変換を適用し、ＤＣＴ係数を出力す
る離散コサイン変換手段と、前記ＤＣＴ係数の各々に含まれる所定の要素を変位する
変換係数変位手段と、前記離散コサイン変換手段により出力されたＤＣＴ係数
又は前記変換係数変位手段により変位されたＤＣＴ係数
に逆離散コサイン変換を適用する逆離散コサイン変換手
段とを備えたことを特徴とする請求項９記載の画像処理
装置。
【請求項１４】前記所定の要素とは、周波数成分のエ
ネルギー及び／又は選択次数であることを特徴とする請
求項１３記載の画像処理装置。
【請求項１５】前記逆離散コサイン変換手段は、前記
ＤＣＴ係数又は前記変位されたＤＣＴ係数に適用する前
記逆離散コサイン変換を制限することを特徴とする請求
項１３記載の画像処理装置。
【請求項１６】前記固有座標系生成手段は、前記有効
関節に対する３次元関節角度を用いて、その有効関節に
対する固有座標系の３軸をそれぞれ軸回転することによ
り、その有効関節と隣接する有効関節に対する固有座標
系を生成することを特徴とする請求項９記載の画像処理
装置。
【請求項１７】複数の関節を有する物体が所定の動作
を行う場合、その動作の１周期又は複数の周期を単位と
する標準動作に対するフレーム毎に、前記複数の関節の
全部又は一部である有効関節の各々に対する、前記有効
関節に対して固有の３次元座標系である固有座標系とそ
れと隣接する固有座標系との間の３次元角度である、３
次元関節角度を記憶している３次元関節角度記憶手段
と、前記有効関節の各々に対する複数の固有座標系に対応す
る前記物体の部位に関する形状データを記憶している形
状データ記憶手段と、根の関節に対する固有座標系と前記３次元関節角度記憶
手段で記憶されている３次元関節角度に基づき、前記有
効関節の各々に対する固有座標系を決定する固有座標系
決定手段と、所望する動作修飾の態様に応じて、前記３次元関節角度
記憶手段で記憶されている３次元関節角度に基づき、前
記有効関節の全部又は一部の各々に対する３次元関節角
度を変位させる関節角度変位手段と、前記動作修飾の態様に応じて、前記３次元関節角度記憶
手段で記憶されている３次元関節角度及び／又は前記関
節角度変位手段により変位された３次元関節角度に基づ
き、前記有効関節の全部又は一部の各々に対する固有座
標系を生成する固有座標系生成手段と、前記動作修飾の態様に応じて、前記固有座標系決定手段
により決定された固有座標系及び／又は前記固有座標系
生成手段により生成された固有座標系に基づいて、前記
有効関節の各々に、該当する前記形状データの割当てを
行う動作合成手段とを備えたことを特徴とする画像処理
装置。
【請求項１８】前記根の関節に対する固有座標系は、前記根の関節からそれと隣接する第１の関節に向かうベ
クトルを、前記根の関節に対する固有座標系の第１軸と
し、前記根の関節にそれぞれ隣接する第２の関節から第３の
関節に向かうベクトルを仮のベクトルとし、前記仮のベクトルと前記第１軸との外積を前記根の関節
に対する固有座標系の第２軸とし、前記第１軸と前記第２軸との外積を前記根の関節に対す
る固有座標系の第３軸とすることにより決定されること
を特徴とする請求項１７記載の画像処理装置。
【請求項１９】前記根の関節に対する固有座標系は、前記根の関節からそれと隣接する第１の関節に向かうベ
クトルを、前記根の関節に対する固有座標系の第１軸と
し、前記根の関節からそれと隣接する第２の関節に向かうベ
クトルと前記第１軸との合成ベクトル又はその逆ベクト
ルを仮のベクトルとし、前記仮のベクトルと前記第１軸との外積を前記根の関節
に対する固有座標系の第２軸とし、前記第１軸と前記第２軸との外積を前記根の関節に対す
る固有座標系の第３軸とすることにより決定されること
を特徴とする請求項１７記載の画像処理装置。
【請求項２０】前記根の関節に対する固有座標系は、前記根の関節からそれと隣接する第１の関節に向かうベ
クトルを、前記根の関節に対する固有座標系の第１軸と
し、前記根の関節と隣接する第２の関節に対する固有座標系
のうち、その第２の関節から前記根の関節に向かうベク
トルに基づき決定された座標軸を除く残りのどちらか一
方の座標軸と前記第１軸との外積を前記根の関節に対す
る固有座標系の第２軸とし、前記第１軸と前記第２軸との外積を前記根の関節に対す
る固有座標系の第３軸とすることにより決定されること
を特徴とする請求項１７記載の画像処理装置。
【請求項２１】前記関節角度変位手段は、前記有効関節の全部又は一部の各々に対する３次元関節
角度に離散コサイン変換を適用し、ＤＣＴ係数を出力す
る離散コサイン変換手段と、前記ＤＣＴ係数の各々に含まれる所定の要素を変位する
変換係数変位手段と、前記離散コサイン変換手段により出力されたＤＣＴ係数
又は前記変換係数変位手段により変位されたＤＣＴ係数
に逆離散コサイン変換を適用する逆離散コサイン変換手
段とを備えたことを特徴とする請求項１７記載の画像処
理装置。
【請求項２２】前記所定の要素とは、周波数成分のエ
ネルギー及び／又は選択次数であることを特徴とする請
求項２１記載の画像処理装置。
【請求項２３】前記逆離散コサイン変換手段は、前記
離散コサイン変換手段により出力されたＤＣＴ係数又は
前記変換係数変位手段により変位されたＤＣＴ係数に適
用する前記逆離散コサイン変換を制限することを特徴と
する請求項２１記載の画像処理装置。
【請求項２４】前記固有座標系生成手段は、前記有効
関節に対する３次元関節角度を用いて、その有効関節に
対する固有座標系の３軸をそれぞれ軸回転することによ
り、その有効関節と隣接する有効関節に対する固有座標
系を生成することを特徴とする請求項１７記載の画像処
理装置。
【請求項２５】複数の、動作の基準となる有効関節を
有する物体が所定の動作を行う場合、その周期的又は非
周期的な動作に対して、フレーム毎に、前記有効関節の
全部又は一部の各々に対する３次元関節角度に関するデ
ータを基本動作データとして記憶している基本動作記憶
手段と、その基本動作記憶手段で記憶されている複数の基本動作
データから所望の基本動作データを選択する基本動作選
択手段と、その基本動作選択手段により選択された基本動作データ
により構成される動作を、所望の動作修飾を伴った動作
に変更する際に必要となる動作修飾パラメータを設定す
るパラメータ設定手段と、前記動作修飾パラメータを用いて、前記基本動作選択手
段により選択された基本動作データにより構成される動
作を、前記所望の動作修飾を伴った動作に変更して、基
本動作修飾データを生成する基本動作修飾生成手段と、前記基本動作修飾データにより構成される動作と異なる
動作であって、その基本動作修飾データにより構成され
る動作に付加される所望の付加動作を選択する付加動作
選択手段と、前記基本動作修飾データと前記付加動作により付加動作
データを生成する付加動作生成手段と、前記基本動作修飾データと前記付加動作データとを合成
して、前記基本動作修飾データにより構成される動作に
前記付加動作データにより構成される動作を付加した動
作に関する動作データを生成する動作合成手段とを備え
たことを特徴とする画像処理装置。
【請求項２６】前記基本動作修飾生成手段は、前記動作修飾パラメータを用いて、前記基本動作選択手
段により選択された基本動作データを変更する基本動作
変更手段と、その基本動作変更手段により変更された基本動作データ
が周期的な動作である場合、前記変更された基本動作デ
ータを所望する周期分反復することにより、前記基本動
作修飾データを生成する周期動作生成手段とを備えたこ
とを特徴とする請求項２５記載の画像処理装置。
【請求項２７】前記基本動作修飾生成手段は、前記動作修飾パラメータを用いて、前記基本動作選択手
段により選択された基本動作データを変更する基本動作
変更手段と、その基本動作変更手段により変更された基本動作データ
が非周期的な動作である場合、反復せずに前記変更され
た基本動作データから、前記基本動作修飾データを生成
する非周期動作生成手段とを備えたことを特徴とする請
求項２５記載の画像処理装置。
【請求項２８】前記基本動作修飾生成手段は、前記動作修飾パラメータを用いて、前記基本動作選択手
段により選択された基本動作データを変更する基本動作
変更手段と、その基本動作変更手段により変更された基本動作データ
が周期的な動作である場合、前記変更された基本動作デ
ータを所望する周期分反復することにより、前記基本動
作修飾データを生成する周期動作生成手段と前記基本動
作変更手段により変更された基本動作データが非周期的
な動作である場合、反復せずに前記変更された基本動作
データから、前記基本動作修飾データを生成する非周期
動作生成手段とを備えたことを特徴とする請求項２５記
載の画像処理装置。
【請求項２９】前記付加動作生成手段は、前記付加動作選択手段により選択された付加動作に対応
して移動する座標を入力する座標入力手段と、前記付加動作選択手段により選択された付加動作の対象
となる有効関節の先端に当たる関節を前記座標に追従さ
せることにより、前記付加動作データを生成する座標追
跡手段とを備えたことを特徴とする請求項２５、２６、
２７又は２８記載の画像処理装置。
【請求項３０】前記付加動作生成手段は、所定の付加動作に対して、フレーム毎に、前記有効関節
の全部又は一部の各々に対する３次元関節角度に関する
データを基準付加動作データとして記憶している基準付
加動作記憶手段と、その基準付加動作記憶手段で記憶されている複数の基準
付加動作データから、前記付加動作選択手段により選択
された付加動作に対応する基準付加動作データを読み出
す付加動作読み出し手段と、前記付加動作選択手段により選択された付加動作に応じ
た動作修飾パラメータを設定する付加動作修飾設定手段
と、その付加動作修飾設定手段により設定された動作修飾パ
ラメータを用いて、前記付加動作読み出し手段により読
み出された基準付加動作データを変更して、前記付加動
作データを生成する付加動作修飾生成手段とを備えたこ
とを特徴とする請求項２５、２６、２７又は２８記載の
画像処理装置。