JP7770623B2 - ロボットまたは仮想アバターなどの対象物のスタイル設定された運動を生成するための方法および制御装置 - Google Patents

Description

本開示は、ロボットまたは仮想アバターなどの対象物の運動を制御するための方法および制御装置に関し、制御装置はその方法を行うように構成される。本開示はさらに、ロボットの運動を制御するように構成された制御装置を備えるロボットと、プロセッサ上で実施されたときにそのような方法を行うためのプログラムコードを備えるコンピュータプログラムとに関する。

ロボットまたは仮想アバターなどの対象物の現在の運動を与えられたときに、スタイル設定方法を使用して、現在の運動のスタイルを現在のスタイルから目標スタイルに変換することによって現在の運動のスタイルを変更することができる。例えば、ニュートラルな歩行の運動（すなわち、現在の運動の運動タイプが「歩行」で、現在のスタイルが「ニュートラル」である）が、楽しそうな歩行の運動に変換され得る（すなわち、運動タイプ「歩行」である現在の運動の目標スタイルが、「楽しい」である）。現在の運動のスタイルを現在のスタイルから目標スタイルに変換することは、現在の運動を目標スタイルにスタイル設定するとも表現することができる。

現在の最新技術のスタイル設定手法は、様々な不都合点がある。目標スタイルにスタイル設定しようとするロボットまたは仮想アバターなどの対象物の現在の運動の運動スタイルは、意味のあるスタイル設定結果をもたらすために、スタイル設定の基準として使用されるデータの運動タイプと非常に似ていなければならない。さらに、対象物の現在の運動をスタイル設定したいユーザは、現在の運動の運動タイプがスタイル設定されるための種々のスタイルの例を提供しなければならない。例えば、運動タイプ「歩行」である現在の運動をスタイル設定するには、ユーザは、種々のスタイルにある現在の運動タイプの例、すなわち、種々の歩行スタイルにある歩行の運動の例、を提供する必要がある。そして、それら種々のスタイルのうちのいずれかのスタイルへの現在の運動のスタイル設定が行われ得る。

さらに、現在の最新技術のスタイル設定手法は、通常、仮想アバターのみに適用される。したがって、それらをロボットの運動の制御に直接使用することはできない。これは、ロボットの運動を生成する際にはロボットの物理的制約が考慮に入れられなければならないためである。

したがって、本発明の目的は、上記で説明した不都合点の少なくとも１つを克服する、ロボットまたは仮想アバターなどの対象物の運動を制御する方法を提供することである。

以下の説明を読むと明らかになるこれらおよび他の目的は、独立請求項の主題によって解決される。従属請求項は、本発明の実施形態の有利な実装を参照する。

本開示の第１の態様は、ロボットまたは仮想アバターなどの対象物の運動を制御する方法を提供する。方法は、
－ 現在の運動タイプかつ現在のスタイルの現在の運動を記述する入力運動情報を受け取り、現在の運動タイプかつ目標スタイルの目標運動のための目標スタイルを受け取るステップと、
－ スタイル統計予測器の第１のフィードフォワードニューラルネットワーク（ＦＦＮＮ）を使用して、目標スタイルに基づいて入力運動情報を出力運動情報に変換するステップであって、出力運動情報は目標運動を記述する、ステップと、
－ 対象物の運動の運動タイプが現在の運動タイプに対応し、かつ対象物の運動のスタイルが目標スタイルに対応するように、出力運動情報に基づいて対象物の運動を制御するステップと、を含む。

言い換えると、本開示の第１の態様は、スタイル統計予測器の第１のＦＦＮＮを使用して、ロボットまたは仮想アバターなどの対象物の現在の運動の現在のスタイルを、現在の運動の運動タイプを変更することなく、目標スタイルに変換できるようにする方法を提案する。

例えば、現在の運動タイプが「歩行」であり、よって対象物の現在の運動が対象物が歩行することに対応する場合、現在のスタイル「楽しい」が、目標スタイル「悲しい」に変更され得る。対象物がロボットである場合、例えば「歩行」の運動タイプと、例えば「楽しい」のスタイルとに従ったロボットの運動は、ロボットが楽しそうに歩行することを意味する。言い換えると、ロボットは、ロボットが楽しそうに見えるような歩き方で歩いている。ロボットの運動のスタイルが、運動タイプ「歩行」を変えずに、例えば「悲しい」の目標スタイルに変わると、ロボットは、自身の歩き方を楽しそうに歩行することから悲しそうに歩行することに適合する。すなわち、ロボットは、ロボットが悲しそうに見えるような歩き方で歩いている。同じことが、仮想アバターである対象物にも当てはまる。

スタイル統計予測器の第１のＦＦＮＮを使用する結果、上記で説明した、目標スタイルにスタイル設定しようとする対象物の現在の運動の運動タイプが、スタイル設定の基準として使用されるデータの運動タイプと非常に似ている必要があるという不都合点が克服される。さらに、上記で説明した、ユーザが現在の運動の運動タイプに対してあらゆる異なるスタイル（目標スタイルを含む）提供する必要があるという不都合点が克服される。すなわち、スタイル統計予測器の第１のＦＦＮＮは、現在の運動タイプおよび現在のスタイルを記述する入力運動情報を、目標スタイルである現在の運動タイプを記述する出力運動情報に、どのように変換しなければならないかを予測することができる。第１のＦＦＮＮは、入力運動情報の現在のスタイルを知る必要はない。また、入力運動情報の現在の運動タイプおよび現在のスタイルが、第１のＦＦＮＮを訓練するために使用される訓練データと似ている必要もない。よって、第１の態様による方法は、異なるスタイルにある同じ運動タイプの運動情報の例を有することなく、任意の運動タイプの現在の運動の現在のスタイルを異なるスタイルに変換することができるため、有利である。

したがって、第１の態様による方法は、以下のいくつかの利点を有する。

ロボットまたは仮想アバターの運動レパートリーが拡大され得る。すなわち、ロボットまたは仮想アバターの運動がスタイル設定され得る、異なるスタイルの数が拡大され得る。すなわち、ユーザが、運動タイプごとに異なるスタイルの例を提供する必要がない。このことが、より表現に富んだロボットおよび仮想アバターにつながる。その結果、ロボットまたは仮想アバターが、現在の運動のスタイルを変えることにより、自身の意図や情報を人に伝えることが可能になり得る。例えば、現在の運動が現在のスタイル「ニュートラル」からスタイル「怒っている」に変化することを使用して、危険を伝えることができる。さらに、ロボットまたは仮想アバターが、ユーザによって容易に個別化され得、それが向上したユーザ経験につながる。さらに、ロボットまたは仮想アバターが、人（人間）の感情状態を反映して、人をより心地よくさせたり、ロボットそれぞれ仮想アバターがより気にかけているように見せたりし得る。

その結果、エンジニアが、時間のかかる工程で、異なる運動タイプについての異なるスタイルの運動情報を作成する必要がなくなる。対照的に、エンジニアは、ある運動タイプ（例えば、単一の手を振る運動、単一の歩行する運動、．．．）の運動情報を一度作成するだけでよい。第１の態様の方法は、運動情報をスタイル設定するために使用され得る。すなわち、第１の態様の方法は、ある運動タイプの運動情報を、同じ運動タイプかつ目標スタイルの出力運動情報に変換するために使用され得る。

さらに、第１の態様の方法を使用すると、現在の運動タイプおよび現在のスタイルに応じたロボットまたは仮想アバターの現在の運動の現在のスタイルを、異なる目標スタイルに自動的に変えることが可能になる。言い換えると、現在の運動タイプかつ現在のスタイルの現在の運動を記述する入力運動情報が、目標スタイルに基づいて、スタイル統計予測器の第１のＦＦＮＮを使用することにより、出力運動情報に自動的に変換され得、出力運動情報は、現在の運動タイプかつ目標スタイルの運動（目標運動）を記述する。よって、第１の態様の方法は、目標スタイルへの運動のスタイルの自動的な変換を可能にする。自動的に変換された出力運動情報は、運動の編集に使用され得る。すなわち、出力運動情報に基づいて制御されているロボットまたは仮想アバターの運動が、運動タイプおよび／または目標スタイルに関してエンジニアの予想と一致しない場合、出力運動情報は、運動を手動で編集するための開始点の役割を果たし得る。

したがって、第１の態様の方法は、ロボットまたは仮想アバターの運動を制御するためだけでなく、ロボットまたは仮想アバターの開発工程中に設計ツールとして使用され得る。詳細には、第１の態様の方法は、ロボットまたは仮想アバターがより人間らしく見えるように、ロボットまたは仮想アバターの運動を制御するために使用され得る。

詳細には、対象物の運動を制御する方法は、対象物の現在の運動を目標スタイルにスタイル設定するためのスタイル設定方法と呼ぶことができる。

ロボットは、人間型ロボットであってよい。仮想アバターは、人間型の仮想アバターであってよい。仮想アバターは、「アニメーションキャラクター」と呼ばれることがある。

スタイル統計予測器および第１のＦＦＮＮは各々、ハードウェアおよび／またはソフトウェアによって実装され得る。

用語「動き」および「挙動」は、用語「運動」の同義語として使用されることがある。用語「運動カテゴリ」および「運動の内容」は、用語「運動タイプ」の同義語として使用されることがある。用語「運動タイプ」は、用語「タイプ」と省略されることがある。用語「スタイル」は、「運動スタイル」と呼ばれることがある。

人間型ロボットまたは仮想アバターなどのロボットまたは仮想アバターの運動タイプの例は、歩行すること、踊ること、走ること、跳ぶこと、顔の表情をすること、ジェスチャをすること等を含む。

ロボットまたは仮想アバターの運動のスタイルの例は、楽しい、悲しい、怒っている、年老いた、若い等を含む。

運動のスタイルは、悲しい、楽しい、怒っているなどの感情状態、または、運動がそのスタイルに従って行われるときに人にとって明らかである、若い、年老いている等の人間の特性と呼ばれることもある。

入力運動情報は、データ、詳細にはｘｙｚ位置、それぞれ制御される対象物の各自由度に対応するｘｙｚ位置を備えるか、またはそれに対応してよい。ｘｙｚ位置は、そのｘｙｚ座標によって定義される。よって、ｘｙｚ位置は、それぞれのｘｙｚ座標と呼ばれることもある。用語「３次元位置」および「３次元空間内の位置」は、用語「ｘｙｚ位置」の同義語として使用されることがある。

一実施形態によれば、入力運動情報は、長さＮの時系列の行列Ｘ_１：Ｎのデータを備え、データは、制御される対象物の自由度に対応するｘｙｚ位置であり、行列Ｘは、次元（ｋ×３）であり、ｋは、対象物の自由度の数である。すなわち、時間点ｔ＝１～Ｎごとに、行列Ｘ_１：Ｎは、ロボットまたは仮想アバターの自由度に対応するｘｙｚ位置を備える。

対象物の自由度は、
運動タイプおよび運動スタイルに従って対象物の運動を生成するためにそれ自体制御されることが可能な、
－ 対象物の一部、および／または
－ 対象物の１つまたは複数の部分の取り得る基本的な運動
であってよい。

したがって、ロボットまたは仮想アバターの自由度は、
運動タイプおよび運動スタイルに従ってロボットまたは仮想アバターの運動を生成するためにそれ自体制御されることが可能な、
－ ロボットまたは仮想アバターの一部（例えば、６自由度として６個の関節を持つロボットアーム。各関節はロボットまたは仮想アバターの身体の一部である）、および／または
－ ロボットまたは仮想アバターの１つまたは複数の部分の取り得る基本的な運動（例えば、５自由度として、目の傾き、目の回転、目の飛び出し、前後への身体の傾斜、および基本回転を備えるロボット）
であってよい。

第１のＦＦＮＮは、「深層ニューラルネットワーク」と呼ばれることもある。

第１のＦＦＮＮは、異なるスタイルにある同じ運動タイプの例を有することなく、任意の運動タイプおよび任意のスタイルの入力運動情報を、同じ運動タイプ、および複数の異なるスタイルのうちの目標スタイルの出力運動情報に変換するように構成される。したがって、第１のＦＦＮＮは、任意の運動タイプおよび任意のスタイルの入力運動情報を、同じ運動タイプ、および目標スタイルに対応する異なるスタイルの出力運動情報に変換するように構成される。

第１の態様の一実装形態によれば、第１のＦＦＮＮは、確率的ニューラルネットワーク（ＰＮＮ）である。そのような確率的ニューラルネットワークは、「深層確率的ニューラルネットワーク」と呼ばれることもある。

第１の態様の一実装形態によれば、方法は、
－ 第１の運動統計モジュールを使用して、入力運動情報に基づいて、入力統計を生成するステップであって、入力統計は現在の運動タイプおよび現在のスタイルを示す、ステップと、
－ 第１のＦＦＮＮを使用して、入力統計および目標スタイルに基づいて、目標統計を生成するステップであって、目標統計は現在の運動タイプおよび目標スタイルを示す、ステップと、
－ 入力統計および目標統計に基づいて、入力運動情報を出力運動情報に変換するステップと、を含む。

言い換えると、スタイル統計予測器の第１のＦＦＮＮは、入力運動情報に基づいて第１の運動統計モジュールによって生成される入力統計、および目標スタイルを、目標統計にマッピングするように構成されてよい。入力運動情報は、入力統計および目標統計に基づいて出力運動情報に変換することができる。

第１の運動統計モジュールは、ハードウェアおよび／またはソフトウェアによって実装され得る。

入力統計は、現在の運動に関する、よって現在の運動タイプおよび現在のスタイルに関する統計である。

入力統計は、入力運動情報のデータの平均および／または分散であってよい。代替または追加として、入力統計は、データのグラム行列として定義されてもよい。データが、制御される対象物の自由度に対応するｘｙｚ位置である場合、入力統計はｘｙｚ位置の平均および／もしくは分散であってよく、ならびに／または、入力統計はｘｙｚ位置のグラム行列として定義されてよい。

一実施形態によれば、入力運動情報が、上記のような長さＮの時系列のデータＸ_１：Ｎに対応するか、またはそれを備える場合、入力統計は、以下のようにｘｙｚ位置のグラム行列として定義され得る。

上記ですでに概説したように、行列Ｘは、長さｋ×３のベクトルとして解釈され、ｋは対象物の自由度の数である。

目標統計は、目標運動に関する、よって現在の運動タイプおよび目標スタイルに関する統計である。目標スタイルは、目標スタイルに従って観察された運動の統計的性質によって定義され得る。

目標統計は、データの平均および／または分散であってよく、入力運動情報と同じ運動タイプ（現在の運動タイプ）と、目標スタイルに対応するスタイルとをもつ目標運動を記述する。データが制御される対象物の自由度に対応するｘｙｚ位置である場合、目標統計は、ｘｙｚ位置の平均および／または分散であってよい。

一実施形態によれば、目標統計は、時間領域にわたるすべての自由度のｘｙｚ位置それぞれｘｙｚ座標の外積の平均であってよい（ｘｙｚ位置の平均類似度）。

第１のＦＦＮＮがＰＰＮである場合、ＰＰＮによって生成される目標統計は、平均および分散によるガウス確率分布であってよい。

第１のＦＦＮＮがＰＮＮである場合、目標統計は、自由度に対応するｘｙｚ位置の平均および／または分散の分布などの、範囲それぞれ分布に対応してよく、分布は、目標統計によって示される運動が、現在の運動タイプおよび目標スタイルに応じた目標運動に対応する確率を記述する。

第１の態様の一実装形態によれば、方法は、
－ 第１のＦＦＮＮを使用して、入力統計および目標スタイルに基づいて、入力統計を目標統計に変換するために入力統計の平均および／または分散などの１つまたは複数の統計値をどのように変えなければならないかを予測するステップと、
－ 第１のＦＦＮＮを使用して、予測の結果に基づいて入力統計を目標統計に変換するステップと、を含む。

第１の態様の一実装形態によれば、方法は、
－ 運動プリミティブ（ＭＰ）生成器の第２のフィードフォワードニューラルネットワーク（ＦＦＮＮ）を使用して、目標統計に基づいて、目標スタイルに応じた運動プリミティブ（ＭＰ）を生成するステップと、
－ 目標スタイルに応じたＭＰに基づいて対象物の運動を制御するステップと、を含む。

第２のＦＦＮＮおよびＭＰ生成器は各々、ハードウェアおよび／またはソフトウェアによって実装され得る。

第１の運動統計モジュール、第１のＦＦＮＮを備えるスタイル統計予測器、および第２のＦＦＮＮを備えるＭＰ生成器は、（現在のスタイルに応じた）現在のＭＰを、目標スタイルに応じた変更後ＭＰに変更するように構成された運動スタイル設定フレームワークシステムを構成し得る。

運動プリミティブ（ＭＰ）は、基本要素運動形状と呼ばれることがある。よって、対象物のＭＰは、１つの特定のスタイル（例えば「楽しい」）に対して対象物によって行われ得るすべての可能な個々の運動を表す。特定のスタイルに応じた複数のＭＰが対象物の運動を作り出すことができ、運動のスタイルは、それらＭＰの特定のスタイルによって定義される。運動のスタイルは、加えて、ＭＰのうちどれが有効化されるかによって、すなわちＭＰのうちどれが行われるかによって定義されてよい。言い換えると、「歩行」などの対象物の運動は、それぞれのＭＰ、よって、歩行する運動を形成するそれぞれの個々の運動を有効化することによって作り出される。

用語「動きプリミティブ」は、用語「運動プリミティブ」の同義語として使用されることがある。

ＭＰは、サイズｒ×ｄの行列Ｇにデータとして記憶されてよく、ｒはＭＰの数であり、ｄはＭＰの次元である。例えば、データが自由度ごとに一つのｘｙｚ位置を記述する場合、ＭＰの次元ｄは３であり、または、データが、先行するものに対する自由度の向きを表す四元数を記述する場合、ＭＰの次元ｄは４である。

ＭＰに関して異なる表現が可能である。例えば、ＭＰは、１つまたは複数の自由度に対応する１つまたは複数のｘｙｚ位置を生成し得る。代替または追加として、ＭＰは、１つまたは複数の自由度の向きに対して１つまたは複数のオイラー角を生成し得る。代替または追加として、ＭＰは、１つまたは複数の自由度の向きに対して１つまたは複数の四元数を生成し得る。代替または追加として、ＭＰは、１つまたは複数の自由度の１つまたは複数の関節角度を生成し得る。ＭＰの表現は、ロボットまたは仮想アバターなどの所与の対象物の制御変数に基づいて定義され得る。制御変数の所与の対象物の例は、１つまたは複数のオイラー角、四元数、関節角度および／または対象物のｘｙｚ位置である。

例えば、ロボットまたは仮想アバターが関節角度を介して制御される（すなわち、ロボットの制御変数が関節角度である）場合、ＭＰは、ロボットそれぞれ仮想アバターの関節角度の軌跡を記述するために使用される。

第２のＦＦＮＮは、目標統計を、事前に定められた数のＭＰのパラメータにマッピングし得る。固定された入力運動情報については、ＭＰ生成器、詳細には第２のＦＦＮＮが、異なる目標統計に対して、よって異なる目標スタイルに対して、異なるＭＰを生成し得る。ＭＰ生成器は、運動マニホルド（対象物が行い得るすべての可能な運動）に相当し得る。

第１の態様の一実装形態によれば、方法は、
－ 第２のＦＦＮＮを使用して、入力統計および目標統計に基づいて、目標スタイルに応じたＭＰを生成するステップ、を含む。

第２のＦＦＮＮは、入力統計および目標統計に基づいて、目標スタイルにスタイル設定しようとする、現在の運動の現在の運動タイプを判定し得る。第２のＦＦＮＮは、目標統計に基づいて目標スタイルを判定し得る。第２のＦＦＮＮは、判定結果に基づいて、目標スタイルに応じたＭＰを生成し得る。

第２のＦＦＮＮは、入力統計および目標統計を、事前に定められた数のＭＰのパラメータにマッピングし得る。

第１の態様の一実装形態によれば、方法は、
－ 第２のＦＦＮＮを使用して、目標統計に基づいて、詳細には目標統計および入力統計に基づいて、現在のスタイルに応じたＭＰを、目標スタイルに応じたＭＰに変更するステップ、を含む。

すなわち、第２のＦＦＮＮは、現在のスタイルの運動（現在の運動タイプかつ現在のスタイルの現在の運動など）を生成するために使用され得る現在のスタイルに応じた現在のＭＰを、目標統計に基づいて、目標スタイルに応じた変更後ＭＰに変更し得る。変更後ＭＰは、現在の運動タイプかつ目標スタイルの目標運動などの、目標スタイルの運動を生成するために使用され得る。目標統計は、目標スタイルを示す。

例えば、現在のＭＰは、現在のスタイル「若い」に応じたＭＰであり、すなわち、現在のＭＰは、対象物の運動が若い人によって行われているように見えるように、スタイル「若い」の対象物の運動を作り出すために使用され得る。目標スタイルが「年老いた」である場合、第２のＦＦＮＮは、現在のスタイル「若い」に応じた現在のＭＰを、目標スタイル「年老いた」に応じた変更後ＭＰに変更し得る。変更後ＭＰは、対象物の運動が年老いた人によって行われているように見えるように、スタイル「年老いた」の対象物の運動を作り出すために使用され得る。

例えば、スタイル「若い」に応じたＭＰは、人間型ロボットまたは仮想アバターが例えば背中をまっすぐにし、肩を安定させて歩行するように、運動タイプ「歩行」の運動を生成することができる。まっすぐにした背中と安定した肩の結果、歩行する人間型ロボットまたは仮想アバターは、その歩行を見る人にとって若く見える。それに対して、スタイル「年老いた」に応じたＭＰは、人間型ロボットまたは仮想アバターが例えば背中をまるめ、肩を落として歩行するように、運動タイプ「歩行」の運動を生成することができる。まるめた背中と落ちた肩の結果、歩行する人間型ロボットまたは仮想アバターは、その歩行を見る人にとって年老いて見える。

一実施形態によれば、第２のＦＦＮＮは、現在のスタイルに応じた現在のＭＰを、目標統計および入力統計に基づいて、目標スタイルに応じた変更後ＭＰに変更し得る。

第１の態様の一実装形態によれば、方法は、
－ 運動生成器を使用して、目標スタイルに応じたＭＰおよびＭＰ有効化に基づいて、出力運動情報を生成するステップ、を含む。

運動生成器は、ソフトウェアおよび／またはハードウェアによって実装され得る。

ＭＰ有効化は、ＭＰによって表される可能な個々の運動のうちのどれを行うそれぞれ有効化すべきかを定義する。よって、ＭＰ有効化は、ＭＰによって表される個々の運動によって作り出される対象物の運動を定義する。

したがって、ＭＰ有効化は、出力運動情報が現在の運動タイプかつ目標スタイルの目標運動を記述するために、ＭＰによって表される可能な個々の運動のうちのどれを行うそれぞれ有効化すべきかを定義し得る。

詳細には、ＭＰ有効化は、出力運動情報によって記述される運動の運動タイプを定義し得る。

ＭＰ生成器によって生成されたＭＰおよびＭＰ有効化の時系列を与えられて、運動生成器は、入力運動情報と同じ次元の出力運動情報を生成し得る。

第１の態様の第１の実施形態によれば、方法は、
－ 損失関数モジュールを使用して、入力運動情報および出力運動情報に基づいて損失値を生成するステップであって、損失値は、出力運動情報の運動タイプと、入力運動情報の運動タイプとの間の差を示す、ステップと、
－ 最適化器を使用して、損失値に基づいてＭＰ有効化を最適化するステップと、を含む。

詳細には、損失関数モジュールは、入力運動情報および出力運動情報に基づいて、入力運動情報によって記述される現在の運動タイプと、出力運動情報によって記述される運動タイプとの間の差を判定し得る。

損失関数モジュールおよび最適化器は、ソフトウェアおよび／またはハードウェアによって実装され得る。

詳細には、最適化器は、損失値に基づいて最適化されたＭＰ有効化を生成するために、勾配降下アルゴリズムなどの１つまたは複数の最適化アルゴリズムを使用する。最適化器は、Ａｄａｍ最適化器であってよい。

第１の態様の第２の実施形態によれば、方法は、
－ 損失関数モジュールを使用して、入力運動情報、出力運動情報、および目標スタイルに基づいて、損失値を生成するステップであって、損失値は、出力運動情報の運動タイプと入力運動情報の運動タイプとの間の差、および出力運動情報のスタイルと目標スタイルとの間の差を示す、ステップと、
－ 最適化器を使用して、損失値に基づいてＭＰ有効化を最適化するステップと、を含む。

詳細には、損失関数モジュールは、入力運動情報および出力運動情報に基づいて、入力運動情報によって記述される現在の運動タイプと、出力運動情報によって記述される運動タイプとの間の差を判定し得る。損失関数モジュールは、出力運動情報によって記述されるスタイルと目標スタイルとの間の差を判定し得る。

詳細には、最適化器は、損失値に基づいて最適化されたＭＰ有効化を生成するために、勾配降下アルゴリズムなどの１つまたは複数の最適化アルゴリズムを使用する。最適化器は、Ａｄａｍ最適化器であってよい。

第１の態様の第３の実施形態によれば、入力統計および目標スタイルに基づいて、第１のＦＦＮＮを使用して目標統計が生成される場合、方法は、
－ 第２の運動統計モジュールを使用して、出力運動情報に基づいて出力統計を生成するステップと、
－ 損失関数モジュールを使用して、入力運動情報、出力運動情報、目標統計、および出力統計に基づいて、損失値を生成するステップであって、損失値は、出力運動情報の運動タイプと入力運動情報の運動タイプと間の差、および出力運動情報のスタイルと目標スタイルと間の差を示す、ステップと、
－ 最適化器を使用して、損失値に基づいてＭＰ有効化を最適化するステップと、を含む。

詳細には、損失関数モジュールは、入力運動情報および出力運動情報に基づいて、入力運動情報によって記述される現在の運動タイプと、出力運動情報によって記述される運動タイプとの間の差を判定し得る。損失関数モジュールは、目標統計および出力統計に基づいて、出力運動情報によって記述されるスタイルと、目標スタイルとの間の差を判定し得る。

詳細には、最適化器は、損失値に基づいて最適化されたＭＰ有効化を生成するために、勾配降下アルゴリズムなどの１つまたは複数の最適化アルゴリズムを使用する。最適化器は、Ａｄａｍ最適化器であってよい。

第１の態様の一実装形態によれば、
－ 目標スタイルに応じたＭＰおよびＭＰ有効化に基づいて、出力運動情報を生成するステップ、ならびに上記で説明された第１の態様の第１の実施形態のステップ、または
－ 目標スタイルに応じたＭＰおよびＭＰ有効化に基づいて、出力運動情報を生成するステップ、ならびに上記で説明された第１の態様の第２の実施形態のステップ、または
－ 目標スタイルに応じたＭＰおよびＭＰ有効化に基づいて、出力運動情報を生成するステップ、ならびに上記で説明された第１の態様の第３の実施形態のステップが、
損失値が閾値より小さくなるまで反復され、初回の反復では、出力運動情報が、目標スタイルに応じたＭＰおよび任意のＭＰ有効化に基づいて生成される。

損失値が閾値より小さくなるまで上記ステップが反復される結果、最後の反復で生成される出力運動情報は、運動の内容の面で入力運動情報と近いものになる。すなわち、（最後の反復で生成される）出力運動情報によって記述される運動の運動タイプは、入力運動情報によって記述される運動の運動タイプに対応する。最後の反復で生成される出力運動情報は、スタイルの面で目標スタイルに近い。すなわち、（最後の反復で生成される）出力運動情報によって記述される運動のスタイルは、目標スタイルに対応する。

損失関数モジュールは、入力運動情報の運動タイプとの、出力運動情報の運動タイプの類似度に報酬を与え得る。損失関数モジュールは、加えて、目標スタイルからの出力運動のスタイルの逸脱に罰を与え得る。

第１の態様の一実装形態によれば、方法は、
－ 運動生成器を使用して、目標スタイルに応じたＭＰおよび任意のＭＰ有効化に基づいて、目標運動情報を生成するステップと、
－ 逆および／または順運動学モジュールを使用して、対象物の１つまたは複数の関節角度および１つまたは複数の骨長などの対象物の物理的制約と、目標運動情報とに基づいて、出力運動情報を生成するステップと、を含む。

目標運動情報は、現在の運動タイプかつ目標スタイルの目標運動を記述する。目標運動情報に基づいて生成される出力運動情報は、対象物の物理的制約を考慮しながら、現在の運動タイプかつ目標スタイルの目標運動を記述する。

逆および／または順運動学モジュールを使用する結果、第１の態様による方法は、対象物の運動を生成するときに、対象物の物理的制約が逆および／または順運動学モジュールによって考慮されるため、対象物（ロボットまたは仮想アバター）の運動の制御に直接使用され得る。すなわち、逆および／または順運動学モジュールは、物理的に実現可能な、それぞれ運動学を意識した、対象物の出力運動情報を生成することを可能にする。

逆および／または順運動学モジュールは、出力運動情報を生成する際に、１つまたは複数の関節角度、特に関節の制約、および対象物の１つまたは複数の骨長などの、対象物の物理的制約を満たすことを可能にする。

逆運動学モジュールは、目標運動を実現するための対象物の関節角度を求め得る。順運動学モジュールは、対象物の関節角度から、種々の点の位置および向きを求め得る。

第１の態様の一実装形態によれば、対象物の運動は、１つまたは複数のオイラー角、四元数、関節角度および／またはｘｙｚ位置などの、対象物の１つまたは複数の制御変数を制御することにより、制御される。

第１の態様の一実装形態によれば、１つまたは複数のｘｙｚ位置が制御変数として制御される場合、逆運動学モジュールが、出力運動情報を生成するために使用され、１つまたは複数のオイラー角、四元数、および／または関節角度が制御変数として制御される場合、順運動学モジュールが、出力運動情報を生成するために使用される。

順運動学モジュールは、１つまたは複数の関節角度を制御変数として使用するときに、１つまたは複数の関節制約を取り込み得る。逆運動学モジュールは、１つまたは複数のｘｙｚ位置をＭＰ表現として使用するときに、対象物の骨長の制約などの物理的制約が満たされることを確実にし得る。

逆運動学モジュールは、準方向および逆方向到達逆運動学（ＦＡＢＲＩＫ：forward and backward reaching inverse kinematics）モジュールであってよい。

第１の態様による方法を実現するために、上記の実装形態の一部またはすべて、および任意選択の特徴が互いと組み合わされてよい。

本開示の第２の態様は、ロボットまたは仮想アバターなどの対象物の運動を制御するための制御装置を提供し、制御装置は、上記で説明された、第１の態様またはその実装形態のいずれかによる方法を行うように構成される。

制御装置は、第１のフィードフォワードニューラルネットワーク（ＦＦＮＮ）を有するスタイル統計予測器を備え、第１のＦＦＮＮは、現在の運動タイプかつ現在のスタイルの現在の運動を記述する入力運動情報を、目標スタイルに基づいて、出力運動情報に変換するように構成され、出力運動情報は、現在の運動タイプかつ目標スタイルの目標運動を記述する。制御装置は、対象物の運動の運動タイプが現在の運動タイプに対応し、かつ対象物の運動のスタイルが目標スタイルに対応するように、出力運動情報に基づいて対象物の運動を制御するように構成される。

制御装置は、プロセッサ、マイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途集積回路（ＡＳＩＣ）、またはそれら要素の任意の組み合わせに対応するか、またはそれを備え得る。

制御装置は、対象物の自由度を制御し得る。例えば、対象物が、６つの異なる関節角度を有するアームを備えたロボットに対応する場合、６つの関節角度は、６自由度であり、制御装置によって制御され得る。詳細には、制御装置は、対象物の運動を司る対象物のアクチュエータを制御し得る。

第１のＦＦＮＮは、確率的ニューラルネットワーク（ＰＮＮ）であってよい。

第２の態様の一実装形態によれば、制御装置は、入力運動情報に基づいて入力統計を生成するように構成される第１の運動統計モジュールを備え、入力統計は、現在の運動タイプおよび現在のスタイルを示す。第１のＦＦＮＮは、入力統計および目標スタイルに基づいて目標統計を生成するように構成され、目標統計は、現在の運動タイプおよび目標スタイルを示す。制御装置は、入力統計および目標統計に基づいて、入力運動情報を出力運動情報に変換するように構成される。

第２の態様の一実装形態によれば、第１のＦＦＮＮは、入力統計を目標統計に変換するために、入力統計および目標スタイルに基づいて、入力統計の平均および／または分散などの１つまたは複数の統計値をどのように変えなければならないかを予測し、予測の結果に基づいて入力統計を目標統計に変換するように構成される。

第２の態様の一実装形態によれば、制御装置は、第２のフィードフォワードニューラルネットワーク（ＦＦＮＮ）を有する運動プリミティブ（ＭＰ）生成器を備え、第２のＦＦＮＮは、目標統計に基づいて目標スタイルに応じた運動プリミティブ（ＭＰ）を生成するように構成される。制御装置は、目標スタイルに応じたＭＰに基づいて対象物の運動を制御するように構成される。

第２の態様の一実装形態によれば、第２のＦＦＮＮは、入力統計および目標統計に基づいて目標スタイルに応じたＭＰを生成するように構成される。

第２の態様の一実装形態によれば、第２のＦＦＮＮは、目標統計に基づいて、詳細には目標統計および入力統計に基づいて、現在のスタイルに応じたＭＰを、目標スタイルに応じたＭＰに変更するように構成される。

第２の態様の一実装形態によれば、制御装置は、目標スタイルに応じたＭＰおよびＭＰ有効化に基づいて出力運動情報を生成するように構成された運動生成器を備える。

第２の態様の第１の実施形態によれば、制御装置は、損失関数モジュールを備え、この損失関数モジュールは、入力運動情報および出力運動情報に基づいて損失値を生成するように構成され、損失値は、出力運動情報の運動タイプと、入力運動情報の運動タイプとの間の差を示す。加えて、制御装置は、損失値に基づいてＭＰ有効化を最適化するように構成された最適化器を備える。

第２の態様の第２の実施形態によれば、制御装置は、損失関数モジュールを備え、この損失関数モジュールは、入力運動情報、出力運動情報、および目標スタイルに基づいて、損失値を生成するように構成され、損失値は、出力運動情報の運動タイプと入力運動情報の運動タイプとの間の差、および出力運動情報のスタイルと目標スタイルとの間の差を示す。加えて、制御装置は、損失値に基づいてＭＰ有効化を最適化するように構成された最適化器を備える。

第２の態様の第３の実施形態によれば、制御装置は、出力運動情報に基づいて出力統計を生成するように構成された第２の運動統計モジュールと、入力運動情報、出力運動情報、目標統計、および出力統計に基づいて損失値を生成するように構成された損失関数モジュールとを備え、損失値は、出力運動情報の運動タイプと入力運動情報の運動タイプとの間の差、および出力運動情報のスタイルと目標スタイルとの間の差を示す。加えて、制御装置は、損失値に基づいてＭＰ有効化を最適化するように構成された最適化器を備える。

第２の態様の一実装形態によれば、制御装置は、
－ 運動生成器によって出力運動情報を生成し、第２の態様の第１の実施形態による損失関数モジュールによって損失値を生成し、第２の態様の第１の実施形態による最適化器によってＭＰ有効化を最適化すること、または
－ 運動生成器によって出力運動情報を生成し、第２の態様の第２の実施形態による損失関数モジュールによって損失値を生成し、第２の態様の第２の実施形態による最適化器によってＭＰ有効化を最適化すること、または
－ 運動生成器によって出力運動情報を生成し、第２の態様の第３の実施形態による損失関数モジュールによって損失値を生成し、第２の態様の第３の実施形態による最適化器によってＭＰ有効化を最適化すること
を、損失値が閾値より小さくなるまで反復するように構成され、初回の反復では、出力運動情報は、目標スタイルに応じたＭＰおよび任意のＭＰ有効化に基づいて生成される。

第２の態様の一実装形態によれば、運動生成器は、目標スタイルに応じたＭＰおよびＭＰ有効化に基づいて目標運動情報を生成するように構成され、制御装置は、対象物の１つまたは複数の関節角度および１つまたは複数の骨長などの対象物の物理的制約と、目標運動情報とに基づいて、出力運動情報を生成するように構成された、逆および／または順運動学モジュールを備える。

第２の態様の一実装形態によれば、制御装置は、１つまたは複数のオイラー角、四元数、関節角度および／またはｘｙｚ位置などの、対象物の１つまたは複数の制御変数を制御することにより、対象物の運動を制御するように構成される。

第２の態様の一実装形態によれば、１つまたは複数のｘｙｚ位置が制御変数として制御される場合、逆運動学モジュールが、出力運動情報を生成するために使用され、１つまたは複数のオイラー角、四元数、および／または関節角度が制御変数として制御される場合、順運動学モジュールが、出力運動情報を生成するために使用される。

第１のＦＦＮＮ、スタイル統計予測器、第１の運動統計モジュール、第２のＦＦＮＮ、ＭＰ生成器、運動生成器、損失関数モジュール、最適化器、第２の運動統計モジュール、ならびに逆および／または順運動学モジュールは各々、ハードウェアおよび／またはソフトウェアによって実装され得る。

第１の態様およびその実装形態による方法に関する上記の説明は、第２の態様およびその実装形態による制御装置にも有効である。

第２の態様による制御装置を実現するために、上記の実施形態の一部またはすべて、および任意選択の特徴が互いと組み合わされてよい。

本開示の第３の態様は、上記で説明されたような、第２の態様またはその実装形態のいずれかによる制御装置を備えるロボットを提供する。

ロボットは、人間型ロボットであってよい。ロボットは、ロボットの１つまたは複数の自由度に従って運動を行うための１つまたは複数のアクチュエータを備えてよい。制御装置は、ロボットの運動を作り出し、制御するために、アクチュエータを制御するように構成される。

第１の態様の方法およびその実装形態に関する上記の説明、ならびに第２の態様およびその実装形態による制御装置に関する上記の説明は、第３の態様によるロボットにも有効である。

第３の態様によるロボットを実現するために、上記の任意選択の特徴の一部またはすべてが互いと組み合わされてよい。

本開示の第４の態様は、第１の態様またはその実装形態のいずれかによる方法を行うためのプログラムコードを備えたコンピュータプログラムを提供する。

詳細には、本開示の第４の態様は、プロセッサ上で実施されたときに第１の態様またはその実装形態のいずれかによる方法を行うためのプログラムコードを備えた、コンピュータプログラムを提供する。

本開示の第５の態様は、プロセッサ上で実施されたときに第１の態様またはその実装形態のいずれかによる方法を行うためのプログラムコードを備えたコンピュータプログラム製品を提供する。

本開示の第６の態様は、プロセッサによって実行されたときに第１の態様またはその実装形態のいずれかによる方法を行わせる実行可能プログラムコードを記憶した非一時的な記憶媒体を提供する。

本開示の第７の態様は、第１の態様またはその実装形態のいずれかによる方法を行うためのプログラムコードを記憶および実行するように構成されたメモリおよびプロセッサを備える、コンピュータを提供する。

以下で、添付された図面を参照しながら本発明について例示的に説明する。

ロボットまたは仮想アバターなどの対象物の運動を制御するための制御装置の一部の一実施形態を例示的に示す図である。 ロボットまたは仮想アバターなどの対象物の運動を制御するための制御装置の一部の一実施形態を例示的に示す図である。 ロボットまたは仮想アバターなどの対象物の運動を制御するための制御装置の一部の一実施形態を例示的に示す図である。 ロボットまたは仮想アバターなどの対象物の運動を制御するための制御装置の一部の一実施形態を例示的に示す図である。 第１の態様またはその実装形態のいずれかによる方法によって使用されるスタイル統計予測器の第１のフィードフォワードニューラルネットワーク（ＦＦＮＮ）を訓練する方法の一実施形態の流れ図を例示的に示す図である。 訓練後のスタイル統計予測器の第１のフィードフォワードニューラルネットワーク（ＦＦＮＮ）の機能の一実施形態の流れ図を例示的に示す図であり、スタイル統計予測器は、第１の態様またはその実装形態のいずれかによる方法によって使用される。 第１の態様による方法の実施形態によって使用される運動プリミティブ（ＭＰ）生成器の第２のフィードフォワードニューラルネットワーク（ＦＦＮＮ）を訓練する方法の一実施形態の流れ図を例示的に示す図である。 訓練後の運動プリミティブ（ＭＰ）生成器の第２のフィードフォワードニューラルネットワーク（ＦＦＮＮ）の機能の一実施形態の流れ図を例示的に示す図であり、ＭＰ生成器は、第１の態様による方法の実装形態によって使用される。 第１の態様による方法の実装形態の一実施形態による最適化処理の方法ステップの流れ図を例示的に示す図である。

図では、互いに対応する要素は、同じ参照符号で表される。

図１は、ロボットまたは仮想アバターなどの対象物の運動を制御する制御装置の一部の一実施形態を例示的に示す。

図１に示すように、ロボットまたは仮想アバターなどの対象物の運動を制御する制御装置は、スタイル統計予測器１および運動統計モジュール２を備えてよい。

スタイル統計予測器および第１の運動統計モジュールに関する第１の態様およびその実装形態による方法の上記の説明、ならびにスタイル統計予測器および第１の運動統計モジュールに関する第２の態様およびその実装形態による制御装置の上記の説明は、対応して図１のスタイル統計予測器１および運動統計モジュール２についても有効である。運動統計モジュール２は、第１の運動統計モジュールと呼ばれることもある。

図１に示すように、運動統計モジュール２は、現在の運動タイプおよび現在のスタイルを記述する入力運動情報を受け取り、入力運動情報に基づいて入力統計を生成するように構成される。入力統計は、現在の運動タイプおよび現在のスタイルを示す。

スタイル統計予測器１は、フィードフォワードニューラルネットワーク（ＦＦＮＮ）を備え、これは第１のＦＦＮＮと呼ばれることもある（図１には図示せず）。第１のＦＦＮＮは、確率的ニューラルネットワーク（ＰＮＮ）であってよい。

第１のＦＦＮＮは、現在の運動タイプかつ現在のスタイルの現在の運動を記述する入力運動情報を受け取ると共に、現在の運動タイプかつ目標スタイルの目標運動のための目標スタイルを受け取るように構成される。図１によると、スタイル統計予測器１の第１のＦＦＮＮは、入力統計の形態で入力運動情報を受け取る。

スタイル統計予測器１の第１のＦＦＮＮは、入力統計および目標スタイルに基づいて目標統計を生成するように構成され、この目標統計は、現在の運動タイプおよび目標スタイルを示す。よって、目標統計により、現在の運動タイプかつ目標スタイルの目標運動を記述する出力運動情報を生成することが可能となる。

したがって、スタイル統計予測器１の第１のＦＦＮＮは、ロボットまたは仮想アバターの現在の運動（現在の運動は現在の運動タイプかつ現在のスタイルである）が、現在の運動タイプを変更することなく目標スタイルにスタイル設定されることを可能にする。

図５に関して、スタイル統計予測器１の第１のＦＦＮＮを訓練する方法の一実施形態が例示として説明される。図６に関して、訓練後のスタイル統計予測器１の第１のＦＦＮＮの機能の一実施形態が例示として説明される。

図２は、ロボットまたは仮想アバターなどの対象物の運動を制御する制御装置の一部の一実施形態を例示的に示す。

図２による制御装置の部分は、図１に示される制御装置の部分に対応している。したがって、上記の図１の説明は、図２の制御装置の部分にも有効であり、以下では違いのみが解説される。図２に示すように、制御装置は、運動統計モジュール２、および第１のＦＦＮＮ（図示せず）を備えるスタイル統計予測器１に加えて、運動プリミティブ（ＭＰ）生成器３を備える。

ＭＰ生成器に関する第１の態様およびその実装形態による方法の上記の説明、ならびにＭＰ生成器に関する第２の態様およびその実装形態による制御装置の上記の説明は、対応して図２のＭＰ生成器３にも有効である。

ＭＰ生成器３は、フィードフォワードニューラルネットワーク（ＦＦＮＮ）を備え、これは第２のＦＦＮＮと呼ばれることもある（図２には図示せず）。第２のＦＦＮＮは、目標統計に基づき、目標スタイルに応じた運動プリミティブ（ＭＰ）を生成するように構成される。好ましくは、第２のＦＦＮＮは、図２に示されるように、目標統計および入力統計に基づいて、目標スタイルに応じたＭＰを生成するように構成され得る。

図７に関して、ＭＰ生成器３の第２のＦＦＮＮを訓練する方法の一実施形態が例示的に説明される。図８に関して、訓練後のＭＰ生成器３の第２のＦＦＮＮの機能の一実施形態が例示的に説明される。

図３は、ロボットまたは仮想アバターなどの対象物の運動を制御する制御装置の一部の一実施形態を例示的に示す。

図３に示すように、ロボットまたは仮想アバターなどの対象物の運動を制御する制御装置は、運動生成器４と、逆および／または順運動学モジュール８とを備えてよい。

運動生成器ならびに逆および／または順運動学モジュールに関する第１の態様およびその実装形態による方法の上記説明、ならびに運動生成器ならびに逆および／または順運動学モジュールに関する第２の態様およびその実装形態による制御装置の上記説明は、対応して運動生成器４ならびに逆および／または順運動学モジュール８にも有効である。

運動生成器４は、運動プリミティブ（ＭＰ）およびＭＰ有効化に基づいて出力運動情報を生成するように構成される。詳細には、運動生成器４は、ＭＰおよびＭＰ有効化に基づいて目標運動情報を生成するように構成される。逆および／または順運動学モジュール８は、目標運動情報と、対象物の１つまたは複数の関節角度および１つまたは複数の骨長などの、対象物の物理的制約とに基づいて出力運動情報を生成するように構成される。

目標運動情報は、現在の運動タイプかつ目標スタイルの目標運動を記述することができる。目標運動情報に基づいて生成された出力運動情報は、対象物の物理的制約を考慮に入れながら、現在の運動タイプかつ目標スタイルの目標運動を記述してよい。

出力運動情報を生成するために運動生成器４に入力されるＭＰは、図２に示すＭＰ生成器３によって生成されるＭＰ（変更後ＭＰ）に対応してよい。出力運動情報によって記述される運動のスタイルは、目標スタイルを示す目標統計に基づいて、図２のＭＰ生成器３などのＭＰ生成器によって生成されるＭＰによって設定されてよい。出力運動情報によって記述される運動の運動タイプは、ＭＰ有効化によって設定されてよい。出力運動情報が目標運動、すなわち（入力運動情報の）現在の運動タイプかつ目標スタイルの運動、を記述するために、ＭＰ有効化は最適化処理によって生成されてよい。そのような最適化処理に必要な要素が図４に示される。

現在の運動タイプかつ目標スタイルの目標運動を提供するＭＰ有効化を生成するために行われ得る最適化処理の一実施形態は、図９に関して例示的に説明される。

図４は、ロボットまたは仮想アバターなどの対象物の運動を制御する制御装置の一部の一実施形態を例示的に示す。

図４に示す制御装置の一部は、図２および図３の部分を含み、図２のＭＰ生成器３が、図３の運動生成器４にＭＰを提供する。したがって、図１～３の上記の説明は、図４の制御装置の一部にも有効であり、以下では違いのみが解説される。図４に示すように、制御装置は、図２および図３の要素に加えて、第２の運動統計モジュールと呼ばれることもある運動統計モジュール７と、損失関数モジュール５と、最適化器６とを備える。

第２の運動統計モジュール、損失関数モジュールおよび最適化器に関する第１の態様およびその実装形態による方法の上記説明、ならびに第２の運動統計モジュール、損失関数モジュールおよび最適化器に関する第２の態様およびその実装形態による制御装置の上記説明は、対応して第２の運動統計モジュール７、損失関数モジュール５および最適化器６にも有効である。

第２の運動統計モジュール７は、逆および／または順運動学モジュール８によって生成された出力運動情報に基づいて出力統計を生成するように構成される。逆および／または順運動学モジュール８は、任意選択の要素である。逆および／または順運動学モジュール８が存在しない場合は、運動生成器４によって生成された目標運動情報が、出力運動情報として第２の統計モジュール７に入力される。

いずれの場合も、図４に従い、出力運動情報、出力統計、入力運動情報、および目標統計が、損失関数モジュール５に入力される。

損失関数モジュール５は、入力運動情報および出力運動情報に基づいて損失値を生成するように構成され、損失値は、出力運動情報の運動タイプと、入力運動情報の運動タイプ（現在の運動タイプ）との間の差を示す。損失関数モジュール５は、出力運動情報、出力統計、入力運動情報および目標統計に基づいて損失値を生成するように構成されてよく、損失値は、出力運動情報の運動タイプと、入力運動情報の運動タイプ（現在の運動タイプ）との間の差を示し、損失値は、出力運動情報のスタイルと目標スタイルとの間の差を示す。

最適化器６は、損失値に基づいてＭＰ有効化を最適化するように構成される。運動生成器４、任意選択の逆および／または順運動学モジュール８、運動統計モジュール７、損失関数モジュール５、ならびに最適化器６によって実行される最適化処理は、損失関数モジュール５によって生成された損失値が閾値よりも小さくなるまで反復それぞれ繰り返される。初回の反復では、出力運動情報は、目標スタイルに応じたＭＰおよび任意のＭＰ有効化に基づいて生成される。運動生成器４は、逆および／または順運動学モジュール８と共に、またはそれを用いずに、ＭＰおよびＭＰ有効化に基づいて出力運動情報を生成するように構成され、ＭＰは、目標統計に基づいてＭＰ生成器３によって生成され、よって目標スタイルに応じたＭＰに対応する。

図５は、第１の態様またはその実装形態のいずれかによる方法によって使用されるスタイル統計予測器の第１のフィードフォワードニューラルネットワーク（ＦＦＮＮ）を訓練する方法の一実施形態の流れ図を例示的に示す。

図５に示すように、ステップＳ５１で、Ｍ人（Ｍ≧１、好ましくはＭ≧１０）の人の運動を記録することにより訓練データが生成され、ここで、Ｍ人の人は各々、モーションキャプチャそれぞれモーショントラッキングを使用して、Ｅ種類の異なるスタイル（Ｅ≧２、ニュートラルスタイル、若い、年老いた、楽しい、怒っている、悲しい等）で、Ｆ種類の異なる運動タイプ（Ｆ≧１、歩行する、踊る、走る、跳ぶ、顔の表情をする、ジェスチャをする等）を行う。好ましくは、モーションキャプチャそれぞれモーショントラッキングは、Ｍ人の各人の身体にある反射マーカを使用して実行される。

ステップＳ５１に続くステップＳ５２で、訓練データが、入力運動情報の形態で運動統計モジュールに入力され、入力運動情報は、それぞれの人がそれぞれの運動タイプおよびそれぞれのスタイルに従って動いたときのその人の運動を記述する。運動統計モジュールは、第１の態様の実装形態による方法で使用される第１の運動統計モジュールに対応する。詳細には、運動統計モジュールは、図１～４に示される運動統計モジュール２であってよい。

入力運動情報は、長さＮの時系列の行列Ｘ_１：Ｎのデータを備えるかまたはそれに対応する。データは、制御される対象物（ロボットまたは仮想アバター）の自由度に対応するｘｙｚ位置であり、行列Ｘは、次元（ｋ×３）であり、ｋは、対象物の自由度の数である。すなわち、時間点ｔ＝１～Ｎごとに、行列Ｘ_１：Ｎは、対象物の自由度に対応するｘｙｚ位置を備える。

ステップＳ５２に続くステップＳ５３で、運動統計モジュールは、各人の各運動タイプの各スタイルに対して、それぞれの運動タイプおよびそれぞれのスタイルに従ったそれぞれの人の運動を記述するそれぞれの入力運動情報に基づいて、入力統計を生成する。入力統計は、それぞれのデータＸ_１：Ｎの自由度に対応するｘｙｚ位置の平均および／または分散であってよい。ステップＳ５３で、各人の各運動タイプの各スタイルに対して、それぞれの訓練データに基づいて入力統計が生成される。よって、各運動タイプの各スタイルに対して、Ｍ個の入力統計が生成される。

ステップＳ５３に続くステップＳ５４で、各運動タイプの各スタイルに対して、それぞれの運動タイプおよびスタイルに応じたＭ人の異なる人の運動から生じたＭ個の入力統計が、スタイル統計予測器の第１のフィードフォワードニューラルネットワーク（ＦＦＮＮ）に入力される。第１のＦＦＮＮは、確率的ニューラルネットワーク（ＰＮＮ）であってよい。詳細には、第１のＦＦＮＮは、図１～４に示されるスタイル統計予測器１の第１のＦＦＮＮであってよい。

ステップＳ５４に続くステップＳ５５で、それぞれの運動タイプおよびスタイルとの、各運動タイプの各スタイルに対応するＭ個の入力統計の関連付けが、第１のＦＦＮＮに教示される。これは、１つまたは複数のアルゴリズムが、関連付けを算出すること、および／または、関連付けを、好ましくは１つまたは複数の参照表の形態でデータストレージに記憶して必要時に関連付けを検索することを可能にすることによって行われてよい。その結果、第１のＦＦＮＮネットワークは、異なる運動タイプおよび異なるスタイルの異なる入力統計同士を区別することを学習する。

図６は、訓練後のスタイル統計予測器の第１のフィードフォワードニューラルネットワーク（ＦＦＮＮ）の機能の一実施形態の流れ図を例示的に示し、スタイル統計予測器は、第１の態様またはその実装形態のいずれかによる方法によって使用される。詳細には、第１のＦＦＮＮは、図１～４に示されるスタイル統計予測器１の第１のＦＦＮＮであってよい。

例えば図５に示される方法による、スタイル統計予測器の第１のＦＦＮＮの訓練後、スタイル統計予測器は、以下のステップにより、目標スタイルの目標運動に関する目標統計を生成することができる。

図６に示すように、ステップＳ６１で、「歩行」などの現在の運動タイプ、かつ「楽しい」などの現在のスタイルである現在の運動を記述する入力運動情報が、運動統計モジュール（例えば第１の運動統計モジュール）に入力される。ステップＳ６１に続くステップＳ６２で、運動統計モジュールは、入力運動情報に基づいて、現在の運動（例えば、楽しそうな歩行の運動、すなわち、現在の運動タイプが「歩行」であり、現在のスタイルが「楽しい」である）を示す対応する入力統計を生成する。入力統計は、現在の運動タイプおよび現在のスタイルを示す。

ステップＳ６２に続くステップＳ６３で、生成された入力統計および「悲しい」などの目標スタイルが、スタイル統計予測器の第１のＦＦＮＮに入力される。

ステップＳ６３に続くステップＳ６４で、異なる入力統計と、運動タイプとスタイルのそれぞれの組み合わせとの間の学習された関連付けを使用することにより、第１のＦＦＮＮが、現在の運動、すなわち現在の運動タイプ（例えば「歩行」）および現在のスタイル（例えば「楽しい」）、を示す入力統計を、目標統計に合わせて適合または変更する。目標統計は、現在の運動（すなわち現在の運動タイプ、例えば「歩行」）と同じ運動タイプの目標運動を示すが、現在のスタイル（例えば「楽しい」）に代えて目標スタイル（例えば「悲しい」）を示す。

目標統計は、例えば、データＸ_１：Ｎの自由度に対応するｘｙｚ位置の平均および／または分散であってよく、これは、入力運動情報（現在の運動タイプ）と同じ運動タイプと、目標スタイルに対応するスタイルとを有する目標運動を記述する。

第１のＦＦＮＮが確率的ニューラルネットワーク（ＰＮＮ）である場合、目標統計は、範囲それぞれ分布、例えば、データＸ_１：Ｎの自由度に対応するｘｙｚ位置の平均および／または分散の分布、に対応し得、分布は、目標統計によって示される運動が、現在の運動タイプおよび目標スタイルに応じた目標運動に対応する確率を記述する。

ステップＳ６４に続くステップＳ６５で、第１のＦＦＮＮは、目標統計、すなわち、現在の運動タイプかつ目標スタイルである目標運動（例えば、悲しそうな歩行の運動、すなわち、現在の運動タイプ「歩行」および目標スタイル「悲しい」）に関する統計を出力する。

図７は、第１の態様による方法の実施形態によって使用される運動プリミティブ（ＭＰ）生成器の第２のフィードフォワードニューラルネットワーク（ＦＦＮＮ）を訓練する方法の一実施形態の流れ図を例示的に示す。

図７に示すように、ステップＳ７１で、第１の態様またはその実装形態のいずれかによる方法によって使用されるスタイル統計予測器が、Ｇ個の異なる目標スタイル（Ｇ≧２、ニュートラルスタイル、若い、年老いた、楽しい、怒っている、悲しい等）、およびＥ個の異なる現在のスタイル（Ｅ≧１、ニュートラルスタイル、若い、年老いた、楽しい、怒っている、悲しい等）である、Ｆ個の異なる現在の運動タイプ（Ｆ≧１、歩行する、踊る、走る、跳ぶ、顔の表情をする、ジェスチャをする等）に基づいて、それぞれの運動タイプおよび目標スタイルを示す目標統計を生成する。

ステップＳ７１に続くステップＳ７２で、各現在の運動タイプの各現在のスタイルおよび各目標スタイルについて、対応する目標統計が、運動プリミティブ（ＭＰ）生成器の第２のフィードフォワードニューラルネットワーク（ＦＦＮＮ）に入力される。

ステップＳ７２に続くステップＳ７３で、それぞれの運動プリミティブ（ＭＰ）との目標統計の関連付けが第２のＦＦＮＮに教示される。これは、１つまたは複数のアルゴリズムが、関連付けを算出すること、および／または、関連付けを、好ましくは１つまたは複数の参照表の形態でデータストレージに記憶して必要時に関連付けを検索することを可能にすることによって行われてよい。

その結果、第２のＦＦＮＮは、異なる運動タイプおよび異なるスタイルの異なる目標統計同士を区別することを学習すると共に、それに応じてどのようにＭＰを変更するかを学習する。

図８は、訓練後の運動プリミティブ（ＭＰ）生成器の第２のフィードフォワードニューラルネットワーク（ＦＦＮＮ）の機能の一実施形態の流れ図を例示的に示し、ＭＰ生成器は、第１の態様による方法の実装形態によって使用される。

ＭＰ生成器の第２のＦＦＮＮの訓練後、ＭＰ生成器は、ＭＰが、目標スタイルでロボットの運動を生成するために対象物によって行われ得るすべての可能な個々の運動を表す基本要素運動形状に対応するように、目標スタイルに応じたＭＰを生成してよい。運動タイプは、運動プリミティブ（ＭＰ）の有効化によって制御される。ＭＰ有効化は、現在の運動タイプの運動を生成するために、どのＭＰが、したがって、対象物の可能な個々の運動のうちどれが行われるべきかを決定する。ＭＰは目標スタイルに従って生成されるため、生成された現在の運動タイプの運動は目標スタイルになる。以下のステップが行われる。

図８に示すように、ステップＳ８１で、「歩行」などの現在の運動タイプおよび「悲しい」などの目標スタイルを示す目標統計が、第２のＦＦＮＮに入力される。

ステップＳ８１に続くステップＳ８２で、現在の運動タイプおよび「楽しい」などの現在のスタイルを示す入力統計が第２のＦＦＮＮに入力される。

ステップＳ８２に続くステップＳ８３で、第２のＦＦＮＮが、入力統計および目標統計に基づいて現在の運動タイプ（運動の内容）を決定すると共に、目標統計に基づいて目標スタイルを決定して、目標スタイルにある現在の運動タイプの運動のためのＭＰを生成する。

ステップＳ８３に続くステップＳ８４で、第２のＦＦＮＮが、入力統計および目標統計に基づいて、詳細には決定された現在の運動タイプおよび決定された目標スタイルに基づいて、現在のスタイルに応じたＭＰを、目標スタイルに応じたＭＰに変更する。

したがって、ステップＳ８３およびＳ８４で、第２のＦＦＮＮは、異なる目標統計とそれぞれのＭＰとの間の学習された関連付けを使用して、入力統計および目標統計に基づいて、目標スタイルに応じたＭＰを生成する。目標スタイルに応じたＭＰは、目標スタイルに従って動くために対象物によって行われ得るすべての可能な個々の運動を表す基本要素運動形状である。

ステップＳ８２は任意選択のステップである。したがって、ステップＳ８２は省略されてよく、ステップＳ８１の後にステップＳ８３が続いてよい。この場合、ステップＳ８３で、第２のＦＦＮＮは、目標統計に基づいて現在の運動タイプ（運動の内容）を決定すると共に、目標統計に基づいて目標スタイルを決定して、目標スタイルにある現在の運動タイプの運動のためのＭＰを生成する。また、ステップＳ８３に続くステップＳ８４で、第２のＦＦＮＮは、目標統計に基づいて、詳細には決定された現在の運動タイプおよび決定された目標スタイルに基づいて、現在のスタイルに応じたＭＰを、目標スタイルに応じたＭＰに変更する。

したがってステップＳ８１の後にステップＳ８３が続く場合は、ステップＳ８３およびＳ８４で、第２のＦＦＮＮが、異なる目標統計とそれぞれのＭＰとの間の学習された関連付けを使用して、目標統計に基づいて、目標スタイルに応じたＭＰを生成する。

ステップＳ８４に続くステップＳ８５で、ＭＰ生成器の第２のＦＦＮＮは、目標スタイルに応じたＭＰを出力する。これらのＭＰは、変更後ＭＰと呼ばれることがある。

図９は、第１の態様による方法の実装形態の一実施形態による最適化処理の方法ステップの流れ図を例示的に示す。

図９に示すように、ステップＳ９１で、最適化処理は、目標スタイルのためのＭＰが生成された後で、任意の運動プリミティブ（ＭＰ）有効化で開始される。これらのＭＰは、変更後ＭＰまたは目標スタイルに応じたＭＰと呼ばれることがある。

ステップＳ９１に続くステップＳ９２で、第１の態様による方法の実装形態で使用される運動生成器が、目標スタイルに応じたＭＰおよびＭＰ有効化に基づいて、ある運動タイプ（ＭＰ有効化によって設定される）およびあるスタイルに応じた運動を記述する出力運動情報を生成し、当該スタイルは、目標スタイル（ＭＰおよびＭＰ有効化によって設定される）に対応しなければならない。

ステップＳ９２に続くステップＳ９３で、第１の態様による方法の実装形態で使用される運動統計モジュール（第２の運動統計モジュール）が、生成された出力運動情報に基づいて、出力運動情報のデータの平均および／または分散などの出力統計を生成する。

ステップＳ９３に続くステップＳ９４で、出力運動情報、出力統計、入力運動情報、および目標統計が、第１の態様による方法の実装形態で使用される損失関数モジュールに入力される。

ステップＳ９４に続くステップＳ９５で、損失関数モジュールが、出力運動情報および入力運動情報に基づいて、出力運動情報の運動タイプが入力運動情報の現在の運動タイプとどれほどよく一致するかを判定する。すなわち、損失関数モジュールは、出力運動情報の運動タイプと、入力運動情報の現在の運動タイプとの間の差の度合いを判定する。

また、ステップＳ９５に続くステップＳ９６で、損失関数モジュールは、出力統計および目標統計に基づいて、出力運動情報のスタイルが目標スタイルとどれほどよく一致するかを判定する。すなわち、損失関数モジュールは、出力運動情報のスタイルと目標スタイルとの間の差の度合いを判定する。

ステップＳ９６に続くステップＳ９７で、損失関数モジュールは、運動タイプおよびスタイルに関する２つの判定された差に基づいて、最適化されたＭＰ有効化を生成するために最適化器によって使用される損失値を生成する。損失値は、出力運動情報によって記述される運動、詳細には運動タイプおよびスタイルが、目標運動、詳細には現在の運動タイプおよび目標スタイル、とどれほどよく一致するかを示す。

ステップＳ９３およびＳ９６は、任意のステップである。それらは省略されてもよい。そのような場合、ステップＳ９４がステップＳ９２の後に続き、ステップＳ９４で、出力運動情報および入力運動情報が損失関数モジュールに入力される。また、ステップＳ９５がステップＳ９４の後に続き、ステップＳ９７がステップＳ９５の後に続いてよく、ステップＳ９７で、損失関数モジュールが、運動タイプに関する判定された差に基づいて、最適化されたＭＰ有効化を生成するために最適化器によって使用される損失値を生成する。損失値は、出力運動情報によって記述される運動、詳細には運動タイプが、目標運動、詳細には現在の運動タイプ、とどれほどよく一致するかを示す。

ステップＳ９７に続くステップＳ９８で、最適化器は、損失値に基づいて最適化されたＭＰ有効化を生成する。最適化器は、損失値に基づいて最適化されたＭＰ有効化を生成するために勾配降下アルゴリズムなどの１つまたは複数の最適化アルゴリズムを使用してよい。

損失値が閾値より小さい場合、出力運動情報によって記述される運動と、目標運動との差が十分に低くなり、よって、最適化処理はステップＳ９８の後に終了される。すなわち、損失値が閾値より小さい場合、出力運動情報の運動タイプと、入力運動情報の現在の運動タイプとの差が十分に低い。よって、出力運動情報の運動タイプが、入力運動情報の現在の運動タイプと十分に一致する。さらに、損失値が閾値より小さい場合、出力運動情報のスタイルと目標スタイルとの差が十分に低い。すなわち、出力運動情報のスタイルが目標スタイルと十分に一致する。

損失値が閾値以上である場合、方法はステップＳ９８の後に再びステップＳ９２に戻る。すなわち、ステップＳ９２～Ｓ９８が反復される。ステップＳ９２～Ｓ９８は、損失値が閾値より小さくなるまで反復される。

Claims (16)

1. ロボットまたは仮想アバターなどの対象物の運動を制御する方法であって、
   － 現在の運動タイプかつ現在のスタイルの現在の運動を記述する入力運動情報と、前記現在の運動タイプかつ目標スタイルの目標運動のための前記目標スタイルとを受け取るステップと、
   － スタイル統計予測器（１）の第１のフィードフォワードニューラルネットワーク（ＦＦＮＮ）を使用して、前記目標スタイルに基づいて、前記入力運動情報を出力運動情報に変換するステップであって、前記出力運動情報は前記目標運動を記述する、ステップと、
   － 第１の運動統計モジュール（２）を使用して、前記入力運動情報に基づいて、入力統計を生成するステップであって、前記入力統計は前記現在の運動タイプおよび現在の運動スタイルを示す、ステップと、
   － 前記第１のＦＦＮＮを使用して、前記入力統計および前記目標スタイルに基づいて、目標統計を生成するステップであって、前記目標統計は前記現在の運動タイプおよび前記目標スタイルを示す、ステップと、
   － 前記入力統計および前記目標統計に基づいて、前記入力運動情報を前記出力運動情報に変換するステップと、
   － 運動プリミティブ（ＭＰ）生成器（３）の第２のフィードフォワードニューラルネットワーク（ＦＦＮＮ）を使用して、前記目標統計および前記入力統計に基づいて、前記目標スタイルに応じたＭＰを生成するステップと、
   － 前記対象物の前記運動の運動タイプが前記現在の運動タイプに対応し、かつ前記対象物の前記運動のスタイルが前記目標スタイルに対応するように、前記目標スタイルに応じた前記ＭＰを含む前記出力運動情報に基づいて前記対象物の前記運動を制御するステップと、
   を含む方法。
2. 前記第１のＦＦＮＮが確率的ニューラルネットワーク（ＰＮＮ）である、請求項１に記載の方法。
3. 前記方法が、
   － 前記第１のＦＦＮＮを使用して、前記入力統計および前記目標スタイルに基づいて、前記入力統計を前記目標統計に変換するために前記入力統計の平均および／または分散などの１つまたは複数の統計値をどのように変えなければならないかを予測するステップと、
   － 前記第１のＦＦＮＮを使用して、前記予測の結果に基づいて、前記入力統計を前記目標統計に変換するステップと、
   を含む、請求項１に記載の方法。
4. 前記方法が、
   － 前記第２のＦＦＮＮを使用して、前記入力統計および前記目標統計に基づいて、前記目標スタイルに応じた前記ＭＰを生成するステップ
   を含む、請求項１に記載の方法。
5. 前記方法が、
   － 前記第２のＦＦＮＮを使用して、前記目標統計に基づいて、詳細には前記目標統計および前記入力統計に基づいて、前記現在のスタイルに応じたＭＰを、前記目標スタイルに応じた前記ＭＰに変更するステップ
   を含む、請求項１に記載の方法。
6. 前記方法が、
   － 運動生成器（４）を使用して、前記目標スタイルに応じた前記ＭＰおよびＭＰ有効化に基づいて、前記出力運動情報を生成するステップ
   を含む、請求項１から５のいずれか一項に記載の方法。
7. 前記方法が、
   － 損失関数モジュール（５）を使用して、前記入力運動情報および前記出力運動情報に基づいて損失値を生成するステップであって、前記損失値は、前記出力運動情報の運動タイプと、前記入力運動情報の運動タイプとの間の差を示す、ステップと、
   － 最適化器（６）を使用して、前記損失値に基づいて前記ＭＰ有効化を最適化するステップと、
   を含む、請求項６に記載の方法。
8. 前記方法が、
   － 損失関数モジュール（５）を使用して、前記入力運動情報、前記出力運動情報、および前記目標スタイルに基づいて、損失値を生成するステップであって、前記損失値は、前記出力運動情報の運動タイプと前記入力運動情報の運動タイプとの間の差、および前記出力運動情報のスタイルと前記目標スタイルとの間の差を示す、ステップと、
   － 最適化器（６）を使用して、前記損失値に基づいて前記ＭＰ有効化を最適化するステップと、
   を含む、請求項６に記載の方法。
9. 前記方法が、
   － 第２の運動統計モジュール（７）を使用して、前記出力運動情報に基づいて出力統計を生成するステップと、
   － 損失関数モジュール（５）を使用して、前記入力運動情報、前記出力運動情報、前記目標統計、および前記出力統計に基づいて、損失値を生成するステップであって、前記損失値は、前記出力運動情報の運動タイプと前記入力運動情報の運動タイプと間の差、および前記出力運動情報のスタイルと前記目標スタイルと間の差を示す、ステップと、
   － 最適化器（６）を使用して、前記損失値に基づいて前記ＭＰ有効化を最適化するステップと、
   を含む、請求項６に記載の方法。
10. 請求項６および７、または６および８、または６および９のステップが、前記損失値が閾値より小さくなるまで反復され、初回の反復では、前記出力運動情報が、前記目標スタイルに応じた前記ＭＰおよび任意のＭＰ有効化に基づいて生成される、請求項７から９のいずれか一項に記載の方法。
11. 前記方法が、
    － 前記運動生成器（４）を使用して、前記目標スタイルに応じた前記ＭＰおよびＭＰ有効化に基づいて、目標運動情報を生成するステップと、
    － 逆および／または順運動学モジュール（８）を使用して、前記対象物の１つまたは複数の関節角度および１つまたは複数の骨長などの前記対象物の物理的制約と、前記目標運動情報とに基づいて、前記出力運動情報を生成するステップと、
    を含む、請求項６から１０のいずれか一項に記載の方法。
12. 前記対象物の前記運動が、１つまたは複数のオイラー角、四元数、関節角度および／またはｘｙｚ位置などの、前記対象物の１つまたは複数の制御変数を制御することにより、制御される、請求項１から１１のいずれか一項に記載の方法。
13. － １つまたは複数のｘｙｚ位置が制御変数として制御される場合、前記逆運動学モジュール（８）が、出力運動情報を生成するために使用され、
    － １つまたは複数のオイラー角、四元数、および／または関節角度が制御変数として制御される場合、前記順運動学モジュール（８）が、前記出力運動情報を生成するために使用される、請求項１１に従属する場合の請求項１２に記載の方法。
14. ロボットまたは仮想アバターなどの対象物の運動を制御するための制御装置であって、
    前記制御装置が、請求項１から１３のいずれか一項に記載の方法を行うように構成される、制御装置。
15. ロボットの運動を制御するように構成された請求項１４に記載の制御装置を備える、ロボット。
16. プロセッサ上で実施されたときに請求項１から１３のいずれか一項に記載の方法を行うためのプログラムコードを備えた、コンピュータプログラム。