JP2017162264A

JP2017162264A - 移動体遠隔操作システム

Info

Publication number: JP2017162264A
Application number: JP2016046993A
Authority: JP
Inventors: 優人森; Yuto Mori
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2016-03-10
Filing date: 2016-03-10
Publication date: 2017-09-14

Abstract

【課題】遠隔操作者が移動体の動作を遠隔操作するに際し、移動体が他人や他の障害物と接触するのを回避する技術を提供する。
【解決手段】ユーザー４が表示部１を見ながらタブレットPC２を操作することでサービスロボット３の動作を遠隔操作する。サービスロボット３は、撮像部８によって既に撮像された領域である既撮像領域を、その撮像した時刻と関連付けて記憶する既撮像領域記憶部２０と、サービスロボット３の周囲に既撮像領域が存在し、且つ、その既撮像領域に関連付けられた時刻から既に所定時間以上経過している場合、その既撮像領域が存在する方向を注意すべき方向として判定する注意方向判定部２１と、注意方向判定部２１で判定された注意すべき方向に関する注意方向情報をタブレットPC２に送信する注意方向送信部２２と、を備える。
【選択図】図３

Description

本発明は、移動体遠隔操作システムに関する。

特許文献１は、自律移動装置が、壁などによる未計測領域が存在し不用意に未知の移動障害物が飛び出し得る領域を移動する場合において、出会い頭の衝突を自律的に回避する技術を開示している。具体的には、固定障害物のない移動可能領域と障害物による未計測領域との境界を検出し、その境界と移動予定路との間の距離が所定の距離未満のときは自律移動装置を減速させることとしている。

特開２００９−２９４９３４号公報

ところで、本願発明者は、遠隔操作者が移動体の動作を遠隔操作するに際し、移動体が他人や他の障害物と接触するのを回避する技術を開発している。

本発明の目的は、遠隔操作者が移動体の動作を遠隔操作するに際し、移動体が他人や他の障害物と接触するのを回避する技術を提供することにある。

本願発明の第１の観点によれば、表示手段を備えた遠隔操作装置と、移動体と、を備え、遠隔操作者が前記表示手段を見ながら前記遠隔操作装置を操作することで前記移動体の動作を遠隔操作する、移動体遠隔操作システムであって、前記移動体は、台車と、前記台車に取り付けられた撮像手段と、前記撮像手段が周辺環境を撮像して生成した画像データを前記遠隔操作装置に送信する画像データ送信手段と、を備え、前記遠隔操作装置は、前記移動体の前記画像データ送信手段から送信された前記画像データを前記表示手段に表示させるように構成され、前記移動体は、更に、前記撮像手段によって既に撮像された領域である既撮像領域を、その撮像した時刻と関連付けて記憶する既撮像領域記憶手段と、前記移動体の周囲に前記既撮像領域が存在し、且つ、その既撮像領域に関連付けられた時刻から既に所定時間以上経過している場合、その既撮像領域が存在する方向を注意すべき方向として判定する注意方向判定手段と、前記注意方向判定手段で判定された注意すべき方向に関する注意方向情報を前記遠隔操作装置に送信する注意方向送信手段と、を備え、前記遠隔操作装置は、更に、前記移動体の前記注意方向送信手段から送信された前記注意方向情報に基づいて、前記遠隔操作者に、注意すべき方向を報知する報知手段を備える、移動体遠隔操作システムが提供される。以上の構成によれば、遠隔操作者が移動体の動作を遠隔操作するに際し、移動体が他人や他の障害物と接触するのを回避することができる。

本発明によれば、遠隔操作者が移動体の動作を遠隔操作するに際し、移動体が他人や他の障害物と接触するのを回避することができる。

サービスロボット遠隔操作システムの概略図である。タブレットPC及びサービスロボットの機能ブロック図である。既撮像領域記憶部の記憶内容のイメージ図である。タブレットPCの表示部の表示例である。

以下、図１〜図４を参照して、本発明の実施形態を説明する。

図１には、例えば液晶ディスプレイなどの表示部１（表示手段）を備えたタブレットPC２（遠隔操作装置）と、サービスロボット３（移動体）と、を備え、ユーザー４（遠隔操作者）が表示部１を見ながらタブレットPC２を操作することでサービスロボット３の動作を遠隔操作する、サービスロボット遠隔操作システム５（移動体遠隔操作システム）を示している。本実施形態では、タブレットPC２とサービスロボット３は例えばWifi（登録商標）などの無線通信により双方向通信可能に構成されている。なお、タブレットPC２とサービスロボット３は有線通信により双方向通信可能に構成されていてもよい。

図１及び図２に示すように、サービスロボット３は、台車６と、アーム７と、撮像部８（撮像手段）と、中央演算処理器としてのCPU９（Central Processing Unit）と、読み書き自由のRAM１０（Random Access Memory）、読み出し専用のROM１１（Read Only Memory）を備えている。

台車６は、複数の駆動輪と複数の従動輪を備え、全方位移動可能に構成されている。

アーム７は、台車６に取り付けられている。

撮像部８は、台車６に水平旋回自在に取り付けられている。本実施形態において、撮像部８は、サービス環境（周辺環境）を撮像することでRGB画像とDepth情報を同時に生成可能なセンサである。撮像部８は、例えば、Kinect（登録商標）やXtion（登録商標）などで構成される。

そして、CPU９がROM１１に記憶されているロボット制御プログラムを読み出して実行することで、ロボット制御プログラムは、CPU９等のハードウェアを、撮像制御部１５（撮像制御手段）、画像データ送信部１６（画像データ送信手段）、台車制御部１７（台車制御手段）、アーム制御部１８（アーム制御手段）、位置姿勢推定部１９（位置姿勢推定手段）、既撮像領域記憶部２０（既撮像領域記憶手段）、注意方向判定部２１（注意方向判定手段）、注意方向送信部２２（注意方向送信手段）、地図情報記憶部２３（地図情報記憶手段）、静的物体検出部２４（静的物体検出手段）、動的物体検出部２５（動的物体検出手段）、動的物体位置推定部２６（動的物体位置推定手段）として機能させる。

撮像制御部１５は、撮像部８の動作を制御する。

画像データ送信部１６は、撮像部８がサービス環境を撮像して生成した画像データ（RGB画像）をタブレットPC２に送信する。

台車制御部１７は、タブレットPC２からの制御指令に基づいて台車６の動作を制御する。

アーム制御部１８は、タブレットPC２からの制御指令に基づいてアーム７の動作を制御する。

位置姿勢推定部１９は、撮像部８が生成したRGB画像とDepth情報に基づいて、SLAM（Simultaneous Localization and Mapping）を利用して、撮像部８の位置及び姿勢を推定する。撮像部８の位置とは、サービス環境内における撮像部８の三次元座標である。撮像部８の姿勢とは、撮像部８のロール方向における姿勢、ピッチ方向における姿勢、ヨー方向における姿勢の３つの姿勢によって特定され、又は、クオータニオンによって特定される、撮像部８の姿勢である。

既撮像領域記憶部２０は、撮像部８によって既に撮像された領域である既撮像領域を、その撮像した時刻と関連付けて記憶する。図３に、既撮像領域S0〜S4と、その撮像された時刻T0〜T4と、を例示している。図３に示すように、既撮像領域S0〜S4は、水平な二次元領域として既撮像領域記憶部２０に記憶されている。また、撮像部８によって撮像された領域は、位置姿勢推定部１９によって推定した撮像部８の位置及び姿勢と、撮像部８が生成したRGB画像とDepth情報と、によって特定することができる。

ここで、タブレットPC２について説明する。

図２に示すように、タブレットPC２は、表示部１（表示手段）、操作部３１（操作手段）、中央演算処理器としてのCPU３２（Central Processing Unit）と、読み書き自由のRAM３３（Random Access Memory）、読み出し専用のROM３４（Read Only Memory）を備えている。そして、CPU３２がROM３４に記憶されているタブレット制御プログラムを読み出して実行することで、タブレット制御プログラムは、CPU３２等のハードウェアを、表示制御部３６（表示制御手段）、画像データ受信部３７（画像データ受信手段）、制御指令送信部３８（制御指令送信手段）、注意方向受信部３９（注意方向受信手段）、報知部４０（警告発生手段、報知手段）、として機能させる。

操作部３１は、ユーザー４の操作を検出する。操作部３１は、例えば、表示部１に重ねられて配置されたタッチパネルによって構成されている。

表示制御部３６は、表示部１の動作を制御する。

画像データ受信部３７は、サービスロボット３から画像データを受信する。表示制御部３６は、画像データ受信部３７が受信した画像データを表示部１に表示させる。

制御指令送信部３８は、操作部３１によって検出されたユーザー４の操作に基づいて制御指令を生成し、生成した制御指令をサービスロボット３に送信する。

以上の構成により、ユーザー４は、撮像部８によって撮像されたサービス環境を表示部１を介して確認しながら、操作部３１を操作してサービスロボット３を所望の通りに動作させることができる。ただし、撮像部８の画角は有限であるから、表示部１を介して同時に確認できるサービス環境の範囲は自ずと限られている。

次に、サービスロボット３の注意方向判定部２１、注意方向送信部２２、タブレットPC２の注意方向受信部３９、報知部４０について説明する。

注意方向判定部２１は、サービスロボット３の周囲に既撮像領域が存在し、且つ、その既撮像領域に関連付けられた時刻から既に所定時間以上経過している場合、その既撮像領域が存在する方向を注意すべき方向として判定し、注意すべき方向として判定した方向に関する注意方向情報を生成する。ただし、「注意すべき方向」は、撮像部８の撮像方向を基準として決定される。具体的には以下の通りである。

図３には、現在時刻におけるサービスロボット３の撮像部８を撮像部８Aとして示している。また、図３には、現在時刻におけるサービスロボット３の撮像部８Aの撮像領域SAを示している。即ち、現在時刻においてサービスロボット３の撮像部８Aは紙面左上方を向いている。換言すれば、現在時刻におけるサービスロボット３の撮像部８Aの姿勢は、サービスロボット３の撮像部８Aの撮像方向が紙面左上方となるような姿勢である。現在時刻における撮像部８Aの位置及び姿勢は、サービスロボット３の位置姿勢推定部１９が推定可能であることは前述した通りである。

そして、サービスロボット３の撮像部８Aの周囲には、既撮像領域S2が存在している。即ち、サービスロボット３の撮像部８Aの撮像方向向かって左側には、既撮像領域S2が存在している。そして、既撮像領域S2に関連付けられた時刻は時刻T2である。この場合、現在時刻が時刻T2から所定時間以上経過している場合、注意方向判定部２１は、その既撮像領域S2が存在する方向（即ち、サービスロボット３の撮像部８Aの撮像方向向かって左側）を注意すべき方向として判定する。一方で、現在時刻が時刻T2から所定時間以上経過していない場合、注意方向判定部２１は、その既撮像領域S2が存在する方向（即ち、サービスロボット３の撮像部８Aの撮像方向向かって左側）を注意すべき方向として判定しない。

なお、既撮像領域S2を異なる時刻に複数回撮像していた場合、既撮像領域記憶部２０は、既撮像領域S2に関連付けられた時刻として、最新の時刻を既撮像領域S2と関連付けて記憶している。

注意方向送信部２２は、注意方向判定部２１で判定された注意すべき方向に関する注意方向情報をタブレットPC２に送信する。図３の例では、注意方向情報は、「注意すべき方向は、撮像部８Aの撮像方向向かって左側である」という情報を含んでいる。

注意方向受信部３９は、サービスロボット３から注意方向情報を受信する。

そして、報知部４０は、注意方向受信部３９が受信した注意方向情報に基づいて、ユーザー４に、サービスロボット３を移動させる際、注意すべき方向があること、及び、その注意すべき具体的な方向を報知する。例えば、報知部４０は、注意すべき方向が左側であるとき、図４に示すように、表示部１の左端近傍の領域の輝度を周期的に変動させるなどして、表示部１の左端近傍の領域を点滅させる。また、表示部１の左端近傍の領域を点滅させることに代えて、報知部４０は、タブレットPC２の左側に配置されたスピーカーから警告音を発してもよい。また、表示部１の左端近傍の領域を点滅させることに代えて、報知部４０は、タブレットPC２の左側に配置された振動モータを作動させてタブレットPC２の左端近傍を振動させてもよい。これにより、ユーザー４は、サービスロボット３を次に撮像部８Aの撮像方向向かって左側に移動させる際、その方向に人や何らかの障害物があるかもしれないと注意し、もって、サービスロボット３が他人や他の障害物と接触するのを回避することができるようになる。この技術的効果は、例えばサービスロボット３が撮像部８Aの撮像方向と反対の方向に移動する場合（即ち、後進する場合）、サービスロボット３が撮像部８Aの撮像方向と直交する方向に移動する場合（例えば、本棚の前で所望の本を探しながら横に移動する場合）など、サービスロボット３の移動方向と撮像部８Aの撮像方向が一致しない場合に特に有益となる。なお、ユーザー４は、報知部４０による報知があった場合、好ましくは、報知によって認識した注意すべき方向に撮像部８Aの撮像方向が一致するように撮像部８Aを水平旋回させ、その注意すべき方向を移動前に確認するとよい。

また、注意方向情報は、注意すべき方向に関する情報に加えて、既撮像領域S2に関連付けられた時刻T2から経過した時間に関する情報を含んでいてもよい。この場合、報知部４０は、上記経過した時間に応じて、報知レベルを高くしたり低くしたりすることができる。ここで、報知レベルが高いとは、表示部１の一部を点滅させる場合においてはその点滅速度が速く、タブレットPC２に配置されたスピーカーから警告音を発する場合はその音量が大きく、タブレットPC２に配置された振動モータを作動させる場合はその振動強度が強いことを意味している。そして、報知部４０は、上記経過した時間が相対的に長ければ報知レベルを相対的に高くすることが好ましく、上記経過した時間が相対的に短ければ報知レベルを相対的に低くすることが好ましい。なぜなら、ユーザー４が最後に既撮像領域S2を確認した時刻からの経過時間が長ければ長い程、その既撮像領域S2の状況が変化している可能性が高くなるからである。即ち、ユーザー４が最後に既撮像領域S2を確認した時刻からの経過時間が長ければ、既撮像領域S2に人が進入していたり既撮像領域S2にゴミ箱やカバンなどの障害物が置かれていたりする可能性が高くからである。

次に、地図情報記憶部２３と静的物体検出部２４、動的物体検出部２５、動的物体位置推定部２６について説明する。

地図情報記憶部２３は、サービス環境の地図情報を記憶する。地図情報には、上り階段や下り階段、扉などの静的物体の配置が含まれている。注意方向判定部２１は、地図情報記憶部２３に記憶されている地図情報を参照して、サービスロボット３の周囲に上記静的物体が存在する場合、その静的物体が存在する方向を注意すべき方向として判定するようにしてもよい。

また、同じ扉でも、リビングの扉は開閉の頻度が相対的に高く、物置の扉は開閉の頻度が相対的に低い。従って、注意方向情報は、注意すべき方向に関する情報に加えて、扉の種別に応じて決定された報知レベルに関する情報を含んでいていもよい。具体的には、サービスロボット３の周囲にリビングの扉が存在している場合は、注意方向判定部２１は、注意方向情報を生成するに際し、報知レベルを強とする情報を注意方向情報に含ませる。また、サービスロボット３の周囲に物置の扉が存在している場合は、注意方向判定部２１は、注意方向情報を生成するに際し、報知レベルを弱とする情報を注意方向情報に含ませる。また、サービスロボット３の周囲に上り階段が存在している場合は、注意方向判定部２１は、注意方向情報を生成するに際し、報知レベルを中とする情報を注意方向情報に含ませる。サービスロボット３は、上り階段で躓く可能性があるからである。また、サービスロボット３の周囲に下り階段が存在している場合は、注意方向判定部２１は、注意方向情報を生成するに際し、報知レベルを強とする情報を注意方向情報に含ませる。サービスロボット３は、下り階段で転落する可能性があるからである。そして、報知部４０は、注意方向情報に含まれている報知レベルに基づいて、報知レベルを高くしたり低くしたりするとよい。以上の構成によれば、サービスロボット３の遠隔操作がより円滑に行われる。

静的物体検出部２４は、撮像部８が生成したRGB画像とDepth情報に基づいて、サービス環境内に存在する静的物体を検出し、検出結果に基づいて、地図情報記憶部２３の地図情報を更新する。

また、動的物体検出部２５は、撮像部８が生成したRGB画像とDepth情報に基づいて、サービス環境内に存在している動的物体を検出する。そして、動的物体位置推定部２６は、過去に検出した動的物体の現在時刻における位置を推定する。注意方向判定部２１は、サービスロボット３の周囲に、動的物体位置推定部２６が推定した動的物体の現在時刻における位置が存在している場合、その動的物体が現在時刻において存在している方向を注意すべき方向と判定する。

以上に、本願発明の好適な実施形態を説明した。上記実施形態は、以下の特長を有する。

サービスロボット遠隔操作システム５（移動体遠隔操作システム）は、表示部１（表示手段）を備えたタブレットPC２（遠隔操作装置）と、サービスロボット３（移動体）と、を備える。ユーザー４（遠隔操作者）が表示部１を見ながらタブレットPC２を操作することでサービスロボット３の動作を遠隔操作する。サービスロボット３は、台車６と、台車６に取り付けられた撮像部８（撮像手段）と、撮像部８が周辺環境を撮像して生成した画像データをタブレットPC２に送信する画像データ送信部１６（画像データ送信手段）と、を備える。タブレットPC２は、サービスロボット３の画像データ送信部１６から送信された画像データを表示部１に表示させるように構成される。サービスロボット３は、更に、撮像部８によって既に撮像された領域である既撮像領域を、その撮像した時刻と関連付けて記憶する既撮像領域記憶部２０（既撮像領域記憶手段）と、サービスロボット３の周囲に既撮像領域が存在し、且つ、その既撮像領域に関連付けられた時刻から既に所定時間以上経過している場合、その既撮像領域が存在する方向を注意すべき方向として判定する注意方向判定部２１（注意方向判定手段）と、注意方向判定部２１で判定された注意すべき方向に関する注意方向情報をタブレットPC２に送信する注意方向送信部２２（注意方向送信手段）と、を備える。タブレットPC２は、更に、サービスロボット３の注意方向送信部２２から送信された注意方向情報に基づいて、ユーザー４に、注意すべき方向を報知する報知部４０（報知手段）を備える。以上の構成によれば、ユーザー４がサービスロボット３の動作を遠隔操作するに際し、サービスロボット３が他人や他の障害物と接触するのを回避することができる。

なお、上記実施形態において、表示部１はタブレットPC２の一部としたが、これに代えて、表示部１は、例えばOculus rift（登録商標）などの他の表示手段として構成してもよい。

１表示部
２タブレットPC
３サービスロボット
４ユーザー
５サービスロボット遠隔操作システム
６台車
７アーム
８撮像部
８A 撮像部
１５撮像制御部
１６画像データ送信部
１７台車制御部
１８アーム制御部
１９位置姿勢推定部
２０既撮像領域記憶部
２１注意方向判定部
２２注意方向送信部
２３地図情報記憶部
２４静的物体検出部
２５動的物体検出部
２６動的物体位置推定部
３１操作部
３６表示制御部
３７画像データ受信部
３８制御指令送信部
３９注意方向受信部
４０報知部

Claims

表示手段を備えた遠隔操作装置と、
移動体と、
を備え、
遠隔操作者が前記表示手段を見ながら前記遠隔操作装置を操作することで前記移動体の動作を遠隔操作する、
移動体遠隔操作システムであって、
前記移動体は、
台車と、
前記台車に取り付けられた撮像手段と、
前記撮像手段が周辺環境を撮像して生成した画像データを前記遠隔操作装置に送信する画像データ送信手段と、
を備え、
前記遠隔操作装置は、前記移動体の前記画像データ送信手段から送信された前記画像データを前記表示手段に表示させるように構成され、
前記移動体は、更に、
前記撮像手段によって既に撮像された領域である既撮像領域を、その撮像した時刻と関連付けて記憶する既撮像領域記憶手段と、
前記移動体の周囲に前記既撮像領域が存在し、且つ、その既撮像領域に関連付けられた時刻から既に所定時間以上経過している場合、その既撮像領域が存在する方向を注意すべき方向として判定する注意方向判定手段と、
前記注意方向判定手段で判定された注意すべき方向に関する注意方向情報を前記遠隔操作装置に送信する注意方向送信手段と、
を備え、
前記遠隔操作装置は、更に、前記移動体の前記注意方向送信手段から送信された前記注意方向情報に基づいて、前記遠隔操作者に、注意すべき方向を報知する報知手段を備える、
移動体遠隔操作システム。