JP7713196B2 - ロボット制御装置、ロボット制御方法およびプログラム - Google Patents

Description

本発明は、ロボット制御装置、ロボット制御方法およびプログラムに関する。

ユーザが様々なロボットを制御することが可能になってきている。例えば、非特許文献１には、ユーザの慣性情報や表面筋電図を示すデータを制御情報としてロボットに入力し、ユーザの目的動作をロボットに動作させる技術が開示されている。

また、ユーザの目的動作をユーザの生体情報から類推することも可能になってきている。
例えば、非特許文献２には、ユーザの脳波情報からユーザが求める目的動作を推定する技術が開示されている。

S. Shin, D. Kim and Y. Seo, "Controlling Mobile Robot Using IMU and EMG Sensor-Based Gesture Recognition," 2014 Ninth International Conference on Broadband and Wireless Computing, Communication and Applications, Guangdong, China, 2014, pp. 554-557, doi: 10.1109/BWCCA.2014.145. R. Xu, N. Jiang, C. Lin, N. Mrachacz-Kersting, K. Dremstrup and D. Farina, "Enhanced Low-Latency Detection of Motor Intention From EEG for Closed-Loop Brain-Computer Interface Applications," in IEEE Transactions on Biomedical Engineering, vol. 61, no. 2, pp. 288-296, Feb. 2014, doi: 10.1109/TBME.2013.2294203.

人のロボット制御時の運動主体感とは、下記２つの観点が要件であると考えられる。

要件１：人の行為（制御入力）が動作に反映される。

要件２：人の目的動作がロボットを通じて遂行される。

要件１については非特許文献１に記載された技術のように、ユーザの制御入力に対してロボットが従順に動作するマスタスレーブ型の関係になっている必要がある。しかしながら、ロボットの制御に不慣れなユーザの場合、目的動作に必要な制御入力と実際の制御入力に一定の乖離がある場合があり、このようなマスタスレーブ型の関係性においては目的動作の遂行が困難であり、要件２を満たさない。したがって、運動主体感が低いという問題がある。また、ユーザが制御入力する際に力覚アシストなどを通じて制御入力を補正する手法もあるが、ユーザの自発的な行為が受動的になりかねず、運動主体感は低くなってしまう可能性がある。

一方で、非特許文献２に記載の技術でユーザの目的動作を推定し、ロボットが自動的に遂行をすることでユーザの目的動作の遂行は可能になるため要件２は満たされる。しかしながら、ユーザの制御入力を無視した動作体系となってしまうため、要件１を満たさず、やはり運動主体感が低いという問題がある。

開示の技術は、ロボット制御時の運動主体感を向上させることを目的とする。

開示の技術は、ユーザによって入力された第一制御入力情報を取得する第一制御入力取得部と、前記ユーザの目的動作を示す情報に基づいて、前記目的動作を実現するための第二制御入力情報を算出する第二制御入力算出部と、前記第一制御入力情報と前記第二制御入力情報との類似度を算出し、前記類似度に基づいて、前記ユーザに前記目的動作を遂行する意図が有るか否かを判定する目的動作遂行意図判定部と、前記ユーザに前記目的動作の遂行する意図が有ると判定されると、前記第一制御入力情報と前記第二制御入力情報と前記類似度に基づいて、ロボットを制御するための制御情報を算出する制御情報算出部と、を備えるロボット制御装置である。

開示の技術によれば、ロボット制御時の運動主体感を向上させることができる。

ロボット制御装置の機能構成例を示す図である。 ロボット制御処理の流れの一例を示す図である。 コンピュータのハードウェア構成例を示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（ロボット制御装置の概要）
本実施の形態に係るロボット制御装置は、ユーザの表面筋電図等のデータに基づく第一制御入力情報を取得する。そして、ロボット制御装置は、ユーザが求める目的動作の予測結果を取得して当該予測結果を実現する第二制御入力情報を算出し、第一制御入力情報と第二制御入力情報の類似度を算出する。ロボット制御装置は、算出された類似度に応じて算出された制御情報に基づいて、ロボットを制御する。

以下、２つのモータから成るロボットアームを、２軸の制御入力によって２次元平面上において動作させる制御について例示する。なお、制御の内容は一例であって、他でも良い。

（ロボット制御装置の機能構成例）
図１は、ロボット制御装置の機能構成例を示す図である。ロボット制御装置１０は、目的動作取得部１１と、第一制御入力取得部１２と、制御動作制御座標算出部１３と、第二制御入力算出部１４と、目的動作遂行意図判定部１５と、制御情報算出部１６と、ロボット制御部１７と、を備える。

目的動作取得部１１は、外部の装置等が予測した目的動作を示す情報を取得する。外部の装置は、例えば非特許文献２に示される技術を適用して、脳波の解析などを通じてユーザが求める目的動作を予測する。なお、目的動作とは、ユーザがロボットを制御する目的として、ロボットに求める動作である。ユーザが制御操作に不慣れな場合には、必ずしも目的動作の通りに制御できるわけではない。

予測される動作の内容は、例えばロボットアームが対象物に接近する到達動作である。なお、予測される動作の内容は一例であって、他の自由度を有するロボットによる他の動作でも良い。

目的動作取得部１１は、対象物の２次元位置とロボットアームの２次元位置から、対象物への到達動作において必要となる２つのモータの目標回転角Ｒ＝（Ｒ^１，Ｒ^２）を、目的動作として取得する。

第一制御入力取得部１２は、表面筋電図を示すデータ等のような生体信号を計測する生体信号計測装置、またはジョイスティック型の２軸信号計測装置などの外部装置から制御入力情報（以下、第一制御入力情報という）を取得する。すなわち、第一制御入力情報は、ユーザによって入力された制御入力を示す情報である。具体的には、第一制御入力情報は、時刻ｔに取得した制御入力情報ｃ_ｔ＝（ｃ_１，ｔ，ｃ_２，ｔ）とする。

制御動作制御座標算出部１３は、目的動作取得部１１によって取得された目標回転角Ｒ＝（Ｒ^１，Ｒ^２）を入力として、制御動作の制御座標を算出する。

具体的には、制御動作制御座標算出部１３は、目的動作取得部１１から目標回転角が入力された時点（初期状態）のロボットアームを原点とする制御空間において、目的動作を遂行するための入力すべき制御動作の制御座標を算出する。この制御空間においては、時系列的な制御入力に基づいて座標が定まる。例えば、制御動作制御座標算出部１３は、時刻ｔにおける制御空間での座標（ｘ_ｔ，ｙ_ｔ）を、下式のように算出する。

また、ロボットの特性、環境等に応じて、制御動作の制御座標ｃ_θ＝（ｘ^θ，ｙ^θ）と、各モータの回転角θ＝（θ^１，θ^２）との関係は、下式のｆに基づいて予め設定されている。

（θ^１，θ^２）＝ｆ（ｃ_θ）
したがって、制御動作制御座標算出部１３は、目標回転角Ｒを実現する制御動作の制御座標ｃ_Ｒ＝（ｘ^Ｒ，ｙ^Ｒ）は、下式によって算出する。

ｃ_Ｒ＝（ｘ^Ｒ，ｙ^Ｒ）＝ｆ^－１（Ｒ^１，Ｒ^２）
目標回転角Ｒを実現する制御動作の制御座標ｃ_Ｒは、初期状態に基づいた制御空間での絶対的座標である。

第二制御入力算出部１４は、制御動作制御座標算出部１３によって算出された目標回転角Ｒを実現する制御動作の制御座標ｃ_Ｒを入力として、各時刻の制御座標からｃ_Ｒを実現する制御入力情報（以下、第二制御入力情報という）を算出する。

例えば、時刻ｔの制御座標からｃ_Ｒを実現する第二制御入力情報を下式のように算出する。

目的動作遂行意図判定部１５は、第一制御入力情報と第二制御入力情報との類似度を算出して、目的動作の遂行意図を判定する。例えば、ロボットの制御に不慣れなユーザの場合、第一制御入力情報と第二制御入力との間に、ある程度の乖離が生じる可能性がある。そこで、目的動作遂行意図判定部１５は、外部装置で予測された目的動作を実際に遂行する意図があるかどうかを、第一制御入力情報と第二制御入力情報との類似度によって判定する。

例えば、目的動作遂行意図判定部１５は、下式のようにコサイン類似度を算出する。

なお、コサイン類似度は、０以上から１以下の値であって、値が大きいほど類似することを示す値である。

そして、目的動作遂行意図判定部１５は、算出されたコサイン類似度が閾値（例えば０．５）よりも大きい場合には、目的動作を遂行する意図が有ると判定し、それ以外の場合には、目的動作を遂行する意図が無いと判定する。ここで、閾値は、ユーザごとに予め定められても良いし、ロボットの使用時間、使用頻度等に応じて変動させても良い。

制御情報算出部１６は、目的動作遂行意図判定部１５による判定結果、第一制御入力情報、第二制御入力情報に基づいて、ロボットを制御するための制御情報を算出する。

具体的には、制御情報算出部１６は、目的動作遂行意図判定部１５が目的動作遂行意図有りと判定すると、制御情報Ａｔを式（１）のように算出する。

なお、ｗ_ｔの値は、その計算において、分母にｔを設けることで、試行時間が長くなるほど制御座標ｃ^Ｒに収束する。ここで、制御情報Ａｔは、第一制御入力情報と第二制御入力情報とを類似度に基づく重み付けして合わせた制御情報である。ｗ_ｔは、類似度に基づく重みを示す係数である。

また、制御情報算出部１６は、目的動作遂行意図判定部１５が目的動作遂行意図無しと判定すると、制御情報Ａ_ｔを下式のように算出する。

Ａ_ｔ＝ｃ_ｔ

ロボット制御部１７は、制御情報Ａ_ｔに基づいて、２つのモータを駆動制御する。

ロボット制御装置１０は、上述した各部の処理をｔ＝１から式（２）に示されるような、あらかじめ規定された条件を満たすまで繰り返し実行する。なおｄは、予め定められた定数である。

（ロボット制御装置の動作）
次に、ロボット制御装置１０の動作について、図面を参照して説明する。

図３は、ロボット制御処理の流れの一例を示す図である。ロボット制御装置１０は、ユーザの操作等に応じてロボット制御処理を開始する。

目的動作取得部１１は、外部の装置等から受信することによって、予測された目的動作を示す情報を取得する（ステップＳ１０１）。次に、第一制御入力取得部１２は、生体信号計測装置、２軸信号計測装置などの外部装置から受信することによって、第一制御入力情報を取得する（ステップＳ１０２）。

続いて、制御動作制御座標算出部１３は、目的動作取得部１１によって取得された目的動作を示す情報に基づいて、制御動作の制御座標を算出する（ステップＳ１０３）。

次に、第二制御入力算出部１４は、制御動作の制御座標に基づいて、第二制御入力情報を算出する（ステップＳ１０４）。

そして、目的動作遂行意図判定部１５は、第一制御入力と第二制御入力の類似度を算出する（ステップＳ１０５）。目的動作遂行意図判定部１５は、ｔ＝１,ｊ＝１として（ステップＳ１０６）、類似度が閾値Ｔｈより大きいか否かを判定する（ステップＳ１０７）。

目的動作遂行意図判定部１５は、類似度が閾値Ｔｈより大きいと判定すると（ステップＳ１０７：ＹＥＳ）、目的動作遂行意図有りと判定する。この場合、制御情報算出部１６は、式（１）により制御情報を算出する（ステップＳ１０８）。ロボット制御装置１０は、ｔをインクリメントして（ステップＳ１０９）、ステップＳ１１４に進む。

また、目的動作遂行意図判定部１５が、類似度が閾値Ｔｈより大きくないと判定すると（ステップＳ１０７：ＮＯ）、目的動作遂行意図無しと判定する。この場合、制御情報算出部１６は、Ａ_ｔ＝Ｃ_ｔにより制御情報を算出する（ステップＳ１１０）。ロボット制御装置１０は、ｊをインクリメントして（ステップＳ１１１）、ｊがＴより大きいか否かを判定する（ステップＳ１１２）。そして、ロボット制御装置１０は、ｊがＴより大きいと判定すると（ステップＳ１１２：ＹＥＳ）、目的動作を示す情報を消去して（ステップＳ１１３）、ステップＳ１１４に進む。また、ロボット制御装置１０は、ｊがＴより大きくないと判定すると（ステップＳ１１２：ＮＯ）、ステップＳ１１３の処理をスキップしてステップＳ１１４の処理に進む。

なお、Ｔは、あらかじめ設定された閾値であって、目的動作遂行意図無しと連続して判定された場合に、目的動作を消去する場合に、その回数の上限値として設定される値である。閾値Ｔは、目的動作の予測精度が低いか、または目的動作の予測処理に異常が発生した等の理由が考えられる場合に設定すれば良い。なお、ロボット制御装置１０は、閾値Ｔが設定されていない場合には、ステップＳ１１２およびステップＳ１１３の処理をスキップしても良い。

次に、ロボット制御部１７は、算出された制御情報に基づいて、ロボットを制御する（ステップＳ１１４）。そして、ロボット制御装置１０は、式（２）を満たすか否かを判定する（ステップＳ１１５）。ロボット制御装置１０は、式（２）を満たさないと判定すると（ステップＳ１１５：ＮＯ）、ステップＳ１０７の処理に戻る。

また、ロボット制御装置１０は、式（２）を満たすと判定すると（ステップＳ１１５：ＹＥＳ）、ロボット制御処理を終了する。

（本実施の形態に係るハードウェア構成例）
ロボット制御装置１０は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。なお、この「コンピュータ」は、物理マシンであってもよいし、クラウド上の仮想マシンであってもよい。仮想マシンを使用する場合、ここで説明する「ハードウェア」は仮想的なハードウェアである。

上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図３は、上記コンピュータのハードウェア構成例を示す図である。図３のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。なお、上記コンピュータは、ＣＰＵ１００４の代わりにＧＰＵ（Graphics Processing Unit）またはＴＰＵ（Tensor processing unit）を備えていても良く、ＣＰＵ１００４に加えて、ＧＰＵまたはＴＰＵを備えていても良い。その場合、特殊な演算が必要な処理をＧＰＵまたはＴＰＵが実行し、その他の処理をＣＰＵ１００４が実行する、というように処理を分担して実行しても良い。

（本実施の形態の効果）
本実施の形態に係るロボット制御装置１０によれば、ユーザの生体信号等の計測結果に基づいて取得された第一制御入力情報と、予測された目的動作に基づいて算出された第二制御入力情報の類似度に基づいて、目的動作を遂行する意図が有るか否かを判定し、判定結果に応じて算出された制御情報に基づいてロボットを制御する。これによって、第一制御入力情報がユーザの目的とする動作ができない場合であっても、類似する第二制御入力情報に基づいて目的動作を遂行するようにロボットを制御することができる。したがって、ロボット制御時の運動主体感を向上させることができる。

（実施の形態のまとめ）
本明細書には、少なくとも下記の各項に記載したロボット制御装置、ロボット制御方法およびプログラムが記載されている。
（第１項）
ロボットを制御するためのロボット制御装置であって、
ユーザによって入力された第一制御入力情報を取得する第一制御入力取得部と、
前記ユーザの目的動作を示す情報に基づいて、前記目的動作を実現するための第二制御入力情報を算出する第二制御入力算出部と、
前記第一制御入力情報と前記第二制御入力情報との類似度に基づいて、前記ロボットを制御するための制御情報を算出する制御情報算出部と、を備える、
ロボット制御装置。
（第２項）
前記第一制御入力情報と前記第二制御入力情報との類似度に基づいて、前記ユーザに前記目的動作を遂行する意図が有るか否かを判定する目的動作遂行意図判定部をさらに備え、
前記制御情報算出部は、前記ユーザに前記目的動作の遂行する意図が有ると判定されると、前記第一制御入力情報と前記第二制御入力情報とを前記類似度に基づく重み付けをして合わせた制御情報を算出する、
第１項に記載のロボット制御装置。
（第３項）
前記目的動作遂行意図判定部は、前記類似度が閾値より大きい場合に、前記ユーザに前記目的動作を遂行する意図が有ると判定する、
第２項に記載のロボット制御装置。
（第４項）
前記制御情報算出部は、前記ユーザに前記目的動作を遂行する意図が無いと判定されると、前記第一制御入力情報を前記制御情報とする、
第２項または第３項に記載のロボット制御装置。
（第５項）
前記目的動作遂行意図判定部および前記制御情報算出部は、あらかじめ規定された条件を満たすまで、処理を繰り返し実行する、
第２項から第４項のいずれか１項に記載のロボット制御装置。
（第６項）
ロボットを制御するためのロボット制御装置が実行するロボット制御方法であって、
ユーザによって入力された第一制御入力情報を取得するステップと、
前記ユーザの目的動作を示す情報に基づいて、前記目的動作を実現するための第二制御入力情報を算出するステップと、
前記第一制御入力情報と前記第二制御入力情報との類似度に基づいて、前記ロボットを制御するための制御情報を算出するステップと、を備える、
ロボット制御方法。
（第７項）
コンピュータを、第１項から第５項のいずれか１項に記載のロボット制御装置における各部として機能させるためのプログラム。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ ロボット制御装置
１１ 目的動作取得部
１２ 第一制御入力取得部
１３ 制御動作制御座標算出部
１４ 第二制御入力算出部
１５ 目的動作遂行意図判定部
１６ 制御情報算出部
１７ ロボット制御部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

Claims (7)

1. ユーザによって入力された第一制御入力情報を取得する第一制御入力取得部と、
   前記ユーザの目的動作を示す情報に基づいて、前記目的動作を実現するための第二制御入力情報を算出する第二制御入力算出部と、
   前記第一制御入力情報と前記第二制御入力情報との類似度を算出し、前記類似度に基づいて、前記ユーザに前記目的動作を遂行する意図が有るか否かを判定する目的動作遂行意図判定部と、
   前記ユーザに前記目的動作の遂行する意図が有ると判定されると、前記第一制御入力情報と前記第二制御入力情報と前記類似度に基づいて、ロボットを制御するための制御情報を算出する制御情報算出部と、を備える
   ロボット制御装置。
2. 前記制御情報算出部は、
   前記ユーザに前記目的動作の遂行する意図が有ると判定されると、前記第一制御入力情報と前記第二制御入力情報とを前記類似度に基づく重み付けをして合わせ、ロボットを制御するための制御情報を算出する、
   請求項１に記載のロボット制御装置。
3. 前記目的動作遂行意図判定部は、前記類似度が閾値より大きい場合に、前記ユーザに前記目的動作を遂行する意図が有ると判定する、
   請求項１または２に記載のロボット制御装置。
4. 前記目的動作遂行意図判定部および前記制御情報算出部は、あらかじめ規定された条件を満たすまで、処理を繰り返し実行する、
   請求項１から３のいずれか１項に記載のロボット制御装置。
5. ロボットを制御するためのロボット制御装置が実行するロボット制御方法であって、
   ユーザによって入力された第一制御入力情報を取得するステップと、
   前記ユーザの目的動作を示す情報に基づいて、前記目的動作を実現するための第二制御入力情報を算出するステップと、
   前記第一制御入力情報と前記第二制御入力情報との類似度を算出し、前記類似度に基づいて、前記ユーザに前記目的動作を遂行する意図が有るか否かを判定するステップと、
   前記ユーザに前記目的動作の遂行する意図が有ると判定されると、前記第一制御入力情報と前記第二制御入力情報と前記類似度に基づいて、前記ロボットを制御するための制御情報を算出するステップと、を備える、
   ロボット制御方法。
6. 前記ロボットを制御するための制御情報を算出するステップにおいて、前記ロボット制御装置は、
   前記ユーザに前記目的動作の遂行する意図が有ると判定されると、前記第一制御入力情報と前記第二制御入力情報とを前記類似度に基づく重み付けをして合わせ、前記ロボットを制御するための制御情報を算出する、
   請求項５に記載のロボット制御方法。
7. コンピュータを、請求項１から４のいずれか１項に記載のロボット制御装置における各部として機能させるためのプログラム。