JP5028568B2 - ロボット制御システム - Google Patents

Description

この発明はロボット制御システムに関し、特にたとえば、自律制御可能なコミュニケーションロボットを必要に応じてオペレータが遠隔操作する、ロボット制御システムに関する。

たとえば特許文献１に従来のロボット制御システムの一例が開示される。特許文献１の技術では、ユーザの操作するパーソナルコンピュータのモニタにコントロールパネルが表示される。このコンロトールパネルには、ロボットのカメラで撮影された画像、ロボットの距離センサで検出された画像上の物体までの距離、およびロボットの現在の姿勢と同じ姿勢の３次元ＣＧ画像等が表示される。また、ロボットのタッチセンサが触られたときには、３次元ＣＧ画像上の対応する部位が青く表示される。
特開２００３−１３６４５５号公報

従来技術では、コントロールパネルには、ロボットに設けられたセンサによって検出された情報しか表示されなかったので、オペレータはロボットの置かれている場所の環境をすぐに把握することが不可能であった。たとえば人と対話したり触れ合ったりするなど人の近くで動作することの多いコミュニケーションロボットを遠隔操作するような場合には、安全確保のためにロボットの周辺環境を把握することが重要である。しかし、従来技術では、オペレータが遠隔操作によってカメラの設けられた頭部を動かしたとしても、ロボットの視点から見た画像が順次表示されるだけである。したがって、従来技術では、ロボットの周辺環境を瞬時に把握することができず、非効率的であり、また、環境の変化に対してすぐに対処することができなかった。このように、ロボットに設置されたセンサの情報を提示するだけでは、ロボットの周辺環境を把握することは困難であり、ロボットの遠隔操作の効率性や安全性が良くなかった。

それゆえに、この発明の主たる目的は、効率的よくロボットを遠隔操作することができる、ロボット制御システムを提供することである。

この発明の他の目的は、ロボットの遠隔操作の安全性を向上できる、ロボット制御システムを提供することである。

請求項１の発明は、複数種類の環境センサを設けた環境中に存在するコミュニケーションロボットと、入力装置を備える操作用コンピュータとを含み、操作用コンピュータは、入力装置からの入力に応じてオペレータによる操作を特定して当該操作のための操作情報をロボットに送信する、ロボット制御システムであって、複数種類の環境センサを用いて検出した環境情報を個別に表示する複数の環境表示手段、および環境の一部または全体を示す地図を表示する地図表示手段を備え、地図表示手段は、コミュニケーションロボットの現在位置を地図上に表示するロボット位置表示手段、環境センサの検出情報に基づいて検出された環境における注意情報を地図上に表示する注意情報表示手段、および環境中に配置された複数種類の環境センサのそれぞれの位置を表示する環境センサ位置表示手段を含む、ロボット制御システムである。

請求項１の発明では、ロボット制御システムは、環境センサを設けた環境中に存在するコミュニケーションロボットをオペレータの指示に応じて遠隔操作する。後述する実施例では、環境センサは、カメラ、距離センサ、騒音計、無線タグリーダ等を含む。環境表示手段は、環境センサを用いて検出した環境情報を表示する。環境情報は、たとえば、たとえば環境センサによって検出されたセンサ情報であり、これによって、所定領域のカメラ画像、所定領域の騒音レベル、展示物等の特定物体から人間までの距離情報などが表示される。地図表示手段は、このような環境の一部または全部を示す地図を表示し、ロボット位置表示手段は、コミュニケーションロボットの現在位置を地図中に表示し、注意情報表示手段は、環境センサの検出情報に基づいて検出された環境における注意情報を地図中に表示し、これによって、コミュニケーションロボットの遠隔操作にあたってオペレータに注意を促す。このように、環境情報や注意情報のようなロボットの周辺環境の情報がコミュニケーションロボットの現在位置とともに表示されるので、オペレータにコミュニケーションロボットの周辺環境を容易に把握させることができる。したがって、オペレータは効率よくかつ安全にロボットを遠隔制御することができる。

請求項２の発明は、請求項１の発明に従属し、環境表示手段は、オペレータの操作によって選択されている環境センサが検出した環境情報を表示する。

請求項２の発明では、地図上に表示されるロボットの位置および環境センサの位置をみながら、オペレータが環境センサを選択して必要な環境情報を表示することができる。
請求項３の発明は、地図表示手段は、環境中に配置された複数種類の環境センサのそれぞれの位置を表示する環境センサ表示手段をさらに含む、請求項１または２記載のロボット制御システムである。
請求項３の発明では、複数種類の環境センサのそれぞれの設置位置が地図上に表示されるため、ロボットの遠隔操作にあたってオペレータの注意を喚起することができる。
請求項４の発明は、複数種類の環境センサを設けた環境中に存在するコミュニケーションロボットをオペレータの指示に応じて遠隔操作するロボット制御システムのコンピュータによって実行されるプログラムであって、プログラムは、コンピュータを、複数種類の環境センサを用いて検出した環境情報を個別に表示する複数の環境表示手段、および環境の一部または全体を示す地図を表示する地図表示手段として機能させ、さらに地図表示手段を、コミュニケーションロボットの現在位置を地図上に表示するロボット位置表示手段、環境センサの検出情報に基づいて検出された環境における注意情報を地図上に表示する注意情報表示手段、および環境中に配置された複数種類の環境センサのそれぞれの位置を表示する環境センサ位置表示手段として機能させる、プログラムである。

この発明によれば、ロボットの周辺環境の情報が表示されるので、オペレータにロボットの周辺環境を容易に把握させることができる。したがって、オペレータに効率的よくかつ安全にロボットを遠隔操作させることができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のロボット制御システム（以下、単に「システム」とも言う。）１０は、ロボット１２および操作用コンピュータ１４を含む。このシステム１０はロボット１２を操作用コンピュータ１４から遠隔操作するためのものである。ロボット１２と操作用コンピュータ１４とは、無線ＬＡＮ、インターネット等のようなネットワーク１６を介して接続される。

ロボット１２は、この実施例ではコミュニケーションロボットである。コミュニケーションロボット１２は、主として人間のようなコミュニケーションの対象と相互作用することの可能なロボットであり、身振り手振りのような身体動作および発話の少なくとも一方を含むコミュニケーション行動を実行する機能を備えている。このロボット１２は、一例として、博物館、科学館、イベント会場、会社、商店街、地下街等の所定の場所に配置される案内ロボットや受付ロボット等であってよい。ロボット１２は、基本的には自律制御によって人間と相互作用したり所定の役割を果したりすることができるが、必要に応じてオペレータによって操作用コンピュータ１４から遠隔操作される。

操作用コンピュータ１４には、後述するように、ロボット１２を遠隔操作するオペレータのために遠隔操作画面が表示される。この実施例の画面は、ロボット１２の動作を指示するための操作画面（図６参照）とともに、当該ロボット１２の配置される環境の情報を表示するセンサ情報画面（図５参照）を含む。このセンサ情報画面によって、ロボット１２の周辺環境の情報がオペレータに提供される。オペレータはセンサ情報画面で環境情報を確認しつつ操作画面で操作コマンドを入力してロボット１２を遠隔操作する。

そのため、システム１０は、ロボット１２の配置される上述のような所定の場所に設けられて当該場所の環境情報を検出するセンサ（環境センサ）を含む。この実施例では、このような環境に埋め込まれるセンサとして、たとえば、複数のカメラ１８、複数の無線タグリーダ２０、複数の距離センサ２２、および複数の騒音計２４が設けられる。各環境センサ１８、２０、２２、２４には、当該センサで検出された情報を取得するコンピュータ１８ａ、２０ａ、２２ａ、２４ａが接続される。各コンピュータ１８ａ、２０ａ、２２ａ、２４ａは、通信装置を介して有線または無線でネットワーク１６に接続される。また、各コンピュータ１８ａ、２０ａ、２２ａ、２４ａは、各センサ１８、２０、２２、２４での検出情報を、たとえば一定時間ごとに取得してネットワーク１６を介して操作用コンピュータ１４に送信する。

なお、他の実施例では、各環境センサ１８、２０、２２、２４の接続された各コンピュータ１８ａ、２０ａ、２２ａ、２４ａは、ネットワーク１６を介して他のコンピュータに環境センサ情報を送信し、当該他のコンピュータが環境センサ情報を操作用コンピュータ１４に与えるようにしてもよい。また、ロボット１２のセンサ情報も、同様に上記他のコンピュータを経由して操作用コンピュータ１４に与えられてよい。また、操作用コンピュータ１４の操作情報も、この他のコンピュータを経由してロボット１２に与えられてもよい。

図２には、ロボット１２が配置場所で活動する場面の一例が示される。図２では、ロボット１２は展示物や案内板等の特定の物体２６の説明を人間に対して行っている。なお、この図２においては、各環境センサ１８、２０、２２、２４の各コンピュータ１８ａ、２０ａ、２２ａ、２４ａの図示は省略されている。

この図２も参照して、複数のカメラ１８は、ロボット１２の配置された空間内において分散して配置される。つまり、複数のカメラ１８のそれぞれは、ロボット１２の配置された環境において所定領域ないし範囲を撮影するように、天井、壁や台等の所定位置で所定方向へ向けて設置される。各環境カメラ１８で撮影された所定領域の映像ないし画像は、各コンピュータ１８ａから操作用コンピュータ１４に与えられる。操作用コンピュータ１４は、各環境カメラ１８の位置情報（座標、設置された場所ないし領域等）を、その識別情報に対応付けて記憶している。なお、ロボット１２の配置される場所が小さかったり、ロボット１２の活動範囲が小かったりする場合等には、環境のカメラ１８は１つであってもよい。

複数の無線タグリーダ２０は、ロボット１２の配置された空間内において分散して配置される。つまり、複数の無線タグリーダ２０のそれぞれは、ロボット１２の配置された環境において無線タグ（図示しない）の位置推定を行うために、天井、壁、床や台等の所定位置に設置される。この実施例では、無線タグを少なくとも３つの無線タグリーダ２０で検出可能なように、各無線タグリーダ２０の配置が決められる。無線タグリーダ２０は、たとえば受信感度を段階的に制御することが可能であり、このため、無線タグリーダ２０から無線タグまでのおおまかな距離を検出することが可能である。各環境無線タグリーダ２０で検出された無線タグの識別情報および距離情報は、各コンピュータ２０ａから操作用コンピュータ１４に与えられる。操作用コンピュータ１４は、各無線タグリーダ２０の位置情報（座標、設置された場所ないし領域等）を、その識別情報に対応付けて記憶している。無線タグが少なくとも３つの無線タグリーダ２０によって同時に検出されれば、操作用コンピュータ１４は、これら無線タグリーダ２０の位置情報と検出距離情報とに基づいて当該無線タグの位置を推定することができる。この実施例では、無線タグはロボット１２に装着され、したがって、ロボット１２の現在位置が推定および把握される。なお、無線タグを人間に装着すれば、当該人間の位置も推定できる。

なお、ロボット１２の位置の検出方法は、上述の方法に限定されず適宜変更され得る。他の実施例では、たとえば、環境内に複数の赤外線カメラを設置するとともにロボット１２に赤外線ＬＥＤを取り付けて、操作用コンピュータ１４で赤外線カメラ画像の画像処理によってロボット１２の位置を検出するようにしてもよい。また、ロボット１２の配置される空間の床に、多数の検出素子（感圧センサ）を含む床センサを設けて、操作用コンピュータ１４で床センサの検出圧力信号に基づいてロボット１２の位置を検出するようにしてもよい。

複数の距離センサ２２のそれぞれは、ロボット１２の配置された環境において、たとえば展示物や案内板等の特定の物体２６の前に人間が存在するか否かを検出するために、物体２６の前等その近傍の所定の位置に設けられる。距離センサ２２は、超音波距離センサまたは赤外線距離センサ等である。各環境距離センサ２２で測定された距離情報は、各コンピュータ２２ａから操作用コンピュータ１４に与えられる。操作用コンピュータ１４は、各距離センサ２２の位置情報（座標、設置された場所、領域ないし物体２６等）を、その識別情報に対応付けて記憶している。なお、特定の物体２６が環境に１つしか設けられない場合等には、環境距離センサ２２は１つであってよい。あるいは、通路などの特定の領域に複数の距離センサ２２を配置して、その領域にどれぐらいの人間が存在するかを検出するようにしてもよい。

複数の騒音計２４は、ロボット１２の配置された空間内において分散して配置される。つまり、複数の騒音計２４のそれぞれは、ロボット１２の配置された環境において、所定の領域における騒音レベルを検出するために、天井、壁、台等の所定の位置に設けられる。各環境騒音計２４で検出された騒音レベル情報は各コンピュータ２４ａから操作用コンピュータ１４に与えられる。操作用コンピュータ１４は、各騒音計２４の位置情報（座標、設置された場所ないし領域等）を、その識別情報に対応付けて記憶している。なお、上述の環境カメラ１８の場合と同様の理由で、環境騒音計２４は１つであってもよい。

図３にはロボット１２を正面から見た外観の一例が示され、図４にはロボット１２の電気的な構成の一例が示される。図３を参照して、ロボット１２は台車２８を含み、この台車２８の下面には、このロボット１２を自律移動させる車輪３０が設けられる。この車輪３０は、車輪モータ（図４において参照番号「３２」で示す。）によって駆動され、台車２８すなわちロボット１２を前後左右任意の方向に動かすことができる。なお、図３では示さないが、この台車２８の前面には、衝突センサ（図４において参照番号「３４」で示す。）が取り付けられ、この衝突センサ３４は、台車２８への人や他の障害物との接触を検知する。ロボット１２の移動中に接触を検知すると、直ちに車輪３０の駆動を停止することができる。

台車２８の上には、多角形柱のセンサ取付パネル３６が設けられ、このセンサ取付パネル３６の各面には、超音波距離センサ３８が取り付けられる。この超音波距離センサ３８は、取付パネル３６すなわちロボット１２の周囲の主として人との間の距離を計測するためのものである。

台車２８の上には、さらに、ロボット１２の胴体が、その下部が上述の取付パネル３６に囲まれて、直立するように取り付けられる。この胴体は下部胴体４０と上部胴体４２とから構成され、これら下部胴体４０および上部胴体４２は、連結部４４によって連結される。連結部４４には、図示しないが、昇降機構が内蔵されていて、この昇降機構を用いることによって、上部胴体４２の高さすなわちロボット１２の高さを変化させることができる。昇降機構は、腰モータ（図４において参照番号「４６」で示す。）によって駆動される。

上部胴体４２には、１つの全方位カメラ４８が設けられる。全方位カメラ４８はたとえば背面側上端部のほぼ中央から延びる支柱５０上に設置される。全方位カメラ４８は、ロボット１２の周囲を撮影するものであり、後述する眼カメラ５２とは区別される。この全方位カメラ４８としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。また、上部胴体４２の正面側のほぼ中央には、１つのマイク５４が設けられる。マイク５４は、周囲の音、とりわけコミュニケーション対象である人間の声を取り込む。なお、これら全方位カメラ４８およびマイク５４の設置位置は上部胴体４０に限られず適宜変更され得る。

上部胴体４２の両肩には、それぞれ、肩関節５６Ｒおよび５６Ｌによって、上腕５８Ｒおよび５８Ｌが取り付けられる。肩関節５６Ｒおよび５６Ｌは、それぞれ３軸の自由度を有する。すなわち、右肩関節５６Ｒは、Ｘ軸，Ｙ軸およびＺ軸の各軸廻りにおいて上腕５８Ｒの角度を制御できる。Ｙ軸は、上腕５８Ｒの長手方向（または軸）に平行な軸であり、Ｘ軸およびＺ軸は、そのＹ軸に、それぞれ異なる方向から直交する軸である。左肩関節５６Ｌは、Ａ軸，Ｂ軸およびＣ軸の各軸廻りにおいて上腕５８Ｌの角度を制御できる。Ｂ軸は、上腕５８Ｌの長手方向（または軸）に平行な軸であり、Ａ軸およびＣ軸は、そのＢ軸に、それぞれ異なる方向から直交する軸である。

上腕５８Ｒおよび５８Ｌのそれぞれの先端には、肘関節６０Ｒおよび６０Ｌを介して、前腕６２Ｒおよび６２Ｌが取り付けられる。肘関節６０Ｒおよび６０Ｌは、それぞれ、Ｗ軸およびＤ軸の軸廻りにおいて、前腕６２Ｒおよび６２Ｌの角度を制御できる。

なお、上腕５８Ｒおよび５８Ｌならびに前腕６２Ｒおよび６２Ｌの変位を制御するＸ，Ｙ，Ｚ，Ｗ軸およびＡ，Ｂ，Ｃ，Ｄ軸では、「０度」がホームポジションであり、このホームポジションでは、上腕５８Ｒおよび５８Ｌならびに前腕６２Ｒおよび６２Ｌは下方向に向けられる。

また、図３では示さないが、上部胴体４２の肩関節５６Ｒおよび５６Ｌを含む肩の部分や上述の上腕５８Ｒおよび５８Ｌならびに前腕６２Ｒおよび６２Ｌを含む腕の部分には、それぞれ、タッチセンサ（図４において参照番号「６４」で包括的に示す。）が設けられていて、これらのタッチセンサ６４は、人がロボット１２のこれらの部位に接触したかどうかを検知する。

前腕６２Ｒおよび６２Ｌのそれぞれの先端には、手に相当する球体６６Ｒおよび６６Ｌがそれぞれ固定的に取り付けられる。なお、この球体６６Ｒおよび６６Ｌに代えて、この実施例のロボット１２と異なり指の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。

上部胴体４２の中央上方には、首関節６８を介して、頭部７０が取り付けられる。この首関節６８は、３軸の自由度を有し、Ｓ軸，Ｔ軸およびＵ軸の各軸廻りに角度制御可能である。Ｓ軸は首から真上に向かう軸であり、Ｔ軸およびＵ軸は、それぞれ、このＳ軸に対して異なる方向で直交する軸である。頭部７０には、人の口に相当する位置に、スピーカ７２が設けられる。なお、スピーカ７２は、ロボット１２が、それの周囲の人に対して音声または声によってコミュニケーションを図るために用いられてよい。また、スピーカ７２は、ロボット１２の他の部位たとえば胴体に設けられてもよい。

また、頭部７０には、目に相当する位置に眼球部７４Ｒおよび７４Ｌが設けられる。眼球部７４Ｒおよび７４Ｌは、それぞれ眼カメラ５２Ｒおよび５２Ｌを含む。なお、左右の眼球部７４Ｒおよび７４Ｌをまとめて参照符号「７４」で示し、左右の眼カメラ５２Ｒおよび５２Ｌをまとめて参照符号「５２」で示すこともある。眼カメラ５２は、ロボット１２に接近した人の顔や他の部分ないし物体等を撮影してその映像信号を取り込む。

なお、上述の全方位カメラ４８および眼カメラ５２のいずれも、たとえばＣＣＤやＣＭＯＳのように固体撮像素子を用いるカメラであってよい。

たとえば、眼カメラ５２は眼球部７４内に固定され、眼球部７４は眼球支持部（図示せず）を介して頭部７０内の所定位置に取り付けられる。眼球支持部は、２軸の自由度を有し、α軸およびβ軸の各軸廻りに角度制御可能である。α軸およびβ軸は頭部７０に対して設定される軸であり、α軸は頭部７０の上へ向かう方向の軸であり、β軸はα軸に直交しかつ頭部７０の正面側（顔）が向く方向に直交する方向の軸である。この実施例では、頭部７０がホームポジションにあるとき、α軸はＳ軸に平行し、β軸はＵ軸に平行するように設定されている。このような頭部７０において、眼球支持部がα軸およびβ軸の各軸廻りに回転されることによって、眼球部７４ないし眼カメラ５２の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。

なお、眼カメラ５２の変位を制御するα軸およびβ軸では、「０度」がホームポジションであり、このホームポジションでは、図３に示すように、眼カメラ５２のカメラ軸は頭部７０の正面側（顔）が向く方向に向けられ、視線は正視状態となる。

図４を参照して、このロボット１２は、全体の制御のためにマイクロコンピュータまたはＣＰＵ７６を含み、このＣＰＵ７６には、バス７８を通して、メモリ８０，モータ制御ボード８２，センサ入力／出力ボード８４および音声入力／出力ボード８６が接続される。

メモリ８０は、図示しないが、ＲＯＭやＨＤＤおよびＲＡＭ等を含み、ＲＯＭまたはＨＤＤには、このロボット１２の動作を制御するためのプログラムおよびデータが予め格納されている。ＣＰＵ７６は、このプログラムに従って処理を実行する。プログラムには、たとえば、各センサによる検知情報を検出する検出プログラム、操作用コンピュータ１４等の外部コンピュータと必要なデータを送受信するための通信プログラム、動作を自律制御する自律制御プログラムおよび受信した操作情報に基づいて動作を制御する遠隔制御プログラムがある。挨拶、頷き、指差し等の個々のコミュニケーション行動は、モジュール化された各行動プログラム（行動モジュール）によって実現され、メモリ８０には複数の行動プログラムが各識別情報（操作コマンド）に対応付けて記憶されている。ＣＰＵ７６は複数のルールと現在の状況に基づいて次の行動を決定していくことでロボット１２自身の動作を自律制御できる。また、メモリ８０には各行動を実行する際に発生すべき音声または声の音声データ（音声合成データ）および所定の身振りを提示するための角度データ等も記憶される。また、ＲＡＭは、バッファメモリやワーキングメモリとして使用される。

モータ制御ボード８２は、たとえばＤＳＰ(Digital Signal Processor)で構成され、右腕、左腕、頭および眼等の身体部位を駆動するためのモータを制御する。すなわち、モータ制御ボード８２は、ＣＰＵ７６からの制御データを受け、右肩関節５６ＲのＸ，ＹおよびＺ軸のそれぞれの角度を制御する３つのモータと右肘関節６０Ｒの軸Ｗの角度を制御する１つのモータを含む計４つのモータ（図４ではまとめて「右腕モータ」として示す。）８８の回転角度を調節する。また、モータ制御ボード８２は、左肩関節５６ＬのＡ，ＢおよびＣ軸のそれぞれの角度を制御する３つのモータと左肘関節６０ＬのＤ軸の角度を制御する１つのモータとを含む計４つのモータ（図４ではまとめて「左腕モータ」として示す。）９０の回転角度を調節する。モータ制御ボード８２は、また、首関節６８のＳ，ＴおよびＵ軸のそれぞれの角度を制御する３つのモータ（図４ではまとめて「頭部モータ」として示す。）９２の回転角度を調節する。モータ制御ボード８２は、また、腰モータ４６および車輪３０を駆動する２つのモータ（図４ではまとめて「車輪モータ」として示す。）３２を制御する。さらに、モータ制御ボード８２は、右眼球部７４Ｒのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図４ではまとめて「右眼球モータ」として示す。）９４の回転角度を調節し、また、左眼球部７４Ｌのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図４ではまとめて「左眼球モータ」として示す。）９６の回転角度を調節する。

なお、この実施例の上述のモータは、車輪モータ３２を除いて、制御を簡単化するためにそれぞれステッピングモータまたはパルスモータであるが、車輪モータ３２と同様に、直流モータであってよい。また、この実施例では、ロボット１２の腕、頭、眼などの身体部位を駆動するアクチュエータとして電力を駆動源とするモータを用いた。しかしながら、このロボット１２としては、たとえば空気圧（または負圧）、油圧、圧電素子あるいは形状記憶合金などによる他のアクチュエータによって身体部位を駆動するロボットが適用されてもよい。

センサ入力／出力ボード８４も、同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ７６に与える。すなわち、超音波距離センサ３８の各々からの反射時間に関するデータがこのセンサ入力／出力ボード８４を通して、ＣＰＵ７６に入力される。また、全方位カメラ４８からの映像信号が、必要に応じてこのセンサ入力／出力ボード８４で所定の処理が施された後、ＣＰＵ７６に入力される。眼カメラ５２からの映像信号も、同様にして、ＣＰＵ７６に与えられる。また、タッチセンサ６４および衝突センサ３４からの信号がセンサ入力／出力ボード８４を介してＣＰＵ７６に与えられる。また、関節角度センサ９８からの角度情報がセンサ入力／出力ボードを介してＣＰＵ７６に与えられる。関節角度センサ９８は、各関節５６、６０、６８の各軸の回転角度を検出するロータリエンコーダ、ポテンショメータ等である。

スピーカ７２には音声入力／出力ボード８６を介して、ＣＰＵ７６から音声データが与えられ、それに応じて、スピーカ７２からはそのデータに従った音声または声が出力される。また、マイク５４からの音声入力が、音声入力／出力ボード８６を介して音声データとしてＣＰＵ７６に取り込まれる。

ＣＰＵ７６にはさらに通信ＬＡＮボード１００が接続される。通信ＬＡＮボード１００も同様にＤＳＰで構成され、ＣＰＵ７６から与えられた送信データを無線通信装置１０２に与えて、当該データを無線通信装置１０２からネットワーク１６を介して操作用コンピュータ１４等の外部コンピュータに送信させる。また、通信ＬＡＮボード１００はネットワーク１６および無線通信装置１０２を介して操作用コンピュータ１４等の外部コンピュータからデータを受信し、当該受信データをＣＰＵ７６に与える。

操作用コンピュータ１４は、図示は省略するがＣＰＵを含み、ＣＰＵには、メモリ、表示装置、入力装置、スピーカおよび通信装置などが接続される。操作用コンピュータ１４は、通信装置を介してネットワーク１６に有線または無線で接続されている。

操作用コンピュータ１４のメモリには、動作を制御するためのプログラムおよび必要なデータが記憶される。プログラムは、たとえば、ロボット１２や各コンピュータ１８ａ、２０ａ、２２ａ、２４ａ等の外部コンピュータと必要なデータを送受信するための通信プログラム、環境の情報やロボット１２の情報等をこの操作用コンピュータ１４の表示装置に表示するための情報表示プログラム、この操作用コンピュータ１４の入力装置からの入力に応じてオペレータによる操作を特定し操作情報をロボット１２に送信する操作プログラム等を含む。また、各環境センサの位置情報、環境の地図情報等も記憶される。

操作用コンピュータ１４の表示装置には、図５に示すようなセンサ情報画面および図６に示すような操作画面を含む遠隔操作画面が表示される。操作用コンピュータ１４は、その通信装置を介して各コンピュータ１８ａ、２０ａ、２２ａ、２４ａやロボット１２からたとえば一定時間ごとにセンサ情報およびロボット１２の行動状態等の必要な情報を取得して、遠隔操作画面を生成および更新する。操作用コンピュータ１４の入力装置はマウス、キーボードまたはタッチパネル等であり、オペレータはこの入力装置を操作することによってロボット１２を遠隔操作するための操作コマンドを操作画面で入力することができる。また、操作用コンピュータ１４のスピーカからは、ロボット１２のマイク５４で取得した聴覚情報を必要に応じて出力するようにしてよい。

図５のセンサ情報画面には、環境センサ１８、２０、２２、２４を用いて検出した環境情報が表示される。また、この実施例では、ロボット１２のセンサ情報も表示される。具体的には、環境カメラウィンドウ１１０、ロボット距離センサウィンドウ１１２、ロボットモーションウィンドウ１１４、騒音計ウィンドウ１１６、環境距離センサウィンドウ１１８、地図ウィンドウ１２０等が表示される。環境カメラウィンドウ１１０、騒音計ウィンドウ１１６および環境距離センサウィンドウ１１８には、各環境センサによって検出された環境センサ情報が表示され、地図ウィンドウ１２０には、環境センサ情報に基づいて検出された当該環境での遠隔操作にあたり注意すべき情報が表示される。

なお、センサ情報画面上に表示する情報の種類は、初期設定によって予め決められており、また、図示しない表示設定メニューでオペレータによって選択され得る。初期設定またはオペレータによって選択された情報に関する表示フラグがオンにされ、表示フラグがオンである情報がセンサ情報画面上に表示される。したがって、ロボット１２の遠隔操作に必要なセンサ情報および環境情報のみを、このセンサ情報画面上に表示することができるので、オペレータにロボット１２の行動制御を効率よく行わせることができる。

環境カメラウィンドウ１１０には、環境のカメラ１８で撮影された環境の映像ないし画像が表示される。ウィンドウ１１０の上部タイトル欄には、環境カメラ１８の名称ないし識別情報（ＥＣ１，ＥＣ２，…）が表示される。たとえば、ロボット１２の現在位置に基づいて当該位置を撮影範囲に含む環境カメラ１８が特定され、当該環境カメラ１８に対応する表示フラグがオンにされてそのウィンドウ１１０が表示される。また、ロボット１２の現在位置から所定距離内の環境カメラ１８の表示フラグをオンにするようにしてもよい。なお、環境のカメラ１８の総数が少ない場合等には、すべての環境のカメラ１８の表示フラグがオンにされてもよい。また、オペレータは、図示しない表示設定メニューで、複数の環境カメラ１８の中から、所望の環境カメラ１８の表示を選択することができる。オペレータは、このウィンドウ１１０によって、ロボット１２の存在する場所周辺や近辺の映像を見ることができるし、また、メニュー選択によって自分の見たい場所の映像を見ることができる。

ロボット距離センサウィンドウ１１２には、ロボット１２の超音波距離センサ３８で検出された距離情報が表示される。ロボット１２では、たとえば、複数の距離センサ３８がロボット１２の全周囲にわたって所定の角度間隔で設けられている。したがって、オペレータは、このウィンドウ１１２によって、ロボット１２の周囲に存在する物体（人間または障害物等）までの距離およびその方向を確認することができる。

ロボットモーションウィンドウ１１４には、ロボット１２の関節角度センサ９８で検出された角度情報に基づくロボット１２の姿勢または動きが、たとえば３次元ＣＧ画像で表示される。オペレータは、このウィンドウ１１４によって、ロボット１２の現在の姿勢または動き、具体的には頭部７０の向きおよび両腕（上腕５８および前腕６２）の向きを確認することができる。

騒音計ウィンドウ１１６には、環境の騒音計２４で検出された騒音レベルが表示される。ウィンドウ１１６の上部タイトル欄には、環境の騒音計２４の名称ないし識別情報（ＥＮ１，…）が表示される。たとえば、ロボット１２の現在位置を含む領域の騒音を検出する騒音計２４を特定し、当該騒音計２４に対応する表示フラグをオンにしてそのウィンドウ１１６を表示する。また、ロボット１２の現在位置から所定距離内の騒音計２４の表示フラグをオンにするようにしてもよい。また、オペレータは、表示設定メニューで、複数の環境騒音計２４の中から、所望の騒音計２４を選択することができる。オペレータは、このウィンドウ１１６によって、ロボット１２の存在する場所周辺や近辺の騒音レベルを確認することができるし、また、メニュー選択によって自分のチェックしたい場所の騒音レベルを確認することができる。

環境距離センサウィンドウ１１８には、環境の距離センサ２２で検出された距離情報が表示される。ウィンドウ１１８の上部タイトル欄には、環境の距離センサ２２の名称ないし識別情報（ＥＤ１，…）が表示される。たとえば、ロボット１２の現在位置に最も近いあるいは所定距離内の環境距離センサ２２を特定し、当該環境距離センサ２２に対応する表示フラグをオンにしてそのウィンドウ１１８を表示する。また、オペレータは、表示設定メニューで、複数の環境距離センサ２２の中から、所望の環境距離センサ２２を選択することができる。環境の距離センサ２２が展示物等の物体２６に関連して設置される場合には、選択リストには物体２６の名称等が表示されてよい。また、環境の距離センサ２２が通路など特定の場所ないし領域に関連して設置される場合には、当該場所の名称等を選択リストに含めるようにしてよい。環境距離センサ２２によって、当該距離センサ２２の前に人間が存在するか否かを検出することができるし、また、複数の環境距離センサ２２を特定の場所ないし領域に設置する場合には、当該領域内にどれくらいの人間が存在するかを検出することができる。環境距離センサウィンドウ１１８では、たとえば、当該環境距離センサ２２の検出領域内に存在する人間等を示すアイコンが、原点から検出方向に検出距離だけ離れた位置に表示される。オペレータは、このウィンドウ１１８によって、ロボット１２の現在位置に近い物体２６や場所等に人間等が存在するか否かや、どのくらいの人間が存在するかを確認することができるし、また、自分の知りたい物体２６や場所について人間等の存在を確認することができる。

地図ウィンドウ１２０には、たとえば博物館等のロボット１２の配置された空間ないし場所を示す地図が表示される。この地図には、ロボット１２の配置された環境の全体が示されてもよいし、一部が示されてもよい。そして、この地図上に、環境センサ情報に基づいて検出されたロボット１２の配置された環境に関する情報が表示される。この実施例では、当該環境情報として、当該環境における注意情報が表示され、具体的には混雑領域および煩い領域が示される。

混雑領域は、各環境カメラ１８の撮影画像に基づいて検出される。具体的には、各環境カメラ１８は所定位置で所定方向に向けて固定的に設けられるので、常に一定の領域が撮影される。この撮影画像のうち特定領域に注目して、その特定領域における予め取得した背景画像と撮影画像との差分量をみることによって、その領域にどれぐらい人間もしくは物体が存在しているかを推定することができる。たとえば、差分発生領域が特定領域の所定割合（たとえば５割）以上であれば混雑している等の判別式を用いて混雑領域を算出する。地図上では、混雑領域は、地図背景色と異なりかつ他の環境情報を示す色とも異なる所定色（たとえば赤色）のマーク等を用いて表示される。図５では便宜上斜線模様付き円でこの混雑領域が示される。たとえば差分画像をそのままオペレータに提示した場合には、どの領域ないし場所が混雑しているのか、オペレータは瞬時に判断することは困難であるが、このような表示形態を用いることによって、オペレータは混雑している場所を極めて容易に知ることができる。

煩い領域は、各騒音計２４で測定された騒音レベルに基づいて検出される。具体的には、騒音レベルが所定の閾値以上である場合には、当該騒音計２４の設置された領域ないし場所は煩い領域であると判別される。地図上では、煩い領域は、地図背景色と異なりかつ他の環境情報を示す色とも異なる所定色（たとえば黄色）のマーク等を用いて表示される。図５では便宜上格子縞模様付き円でこの煩い領域が示される。たとえば騒音計２４で測定された値（騒音レベル）をそのまま見るよりも、このような表示形態を用いることによって、オペレータは煩い場所を極めて容易に知ることができる。

このようにして、ロボット１２の存在する環境を示す地図を表示するともに、地図上で環境情報を表示するようにしたので、当該環境情報をオペレータに極めて分り易く提供することができる。また、この実施例では、環境情報として、混雑領域や煩い領域等のような当該環境においてロボット１２の移動や身体動作に支障の出そうな場所が表示される。つまり、ロボット１２の遠隔操作にあたってオペレータに注意を喚起しまたは注意を促すための情報が表示される。このように、ロボット１２の存在する環境における注意情報を非常に分り易く提供することができる。

また、この地図上には、ロボット１２の現在位置に対応する位置に当該ロボット１２を示すマーク等（図５では黒三角）が表示される。この実施例では、上述のように、ロボット１２に無線タグを取り付け、無線タグリーダ２０で当該無線タグまでの距離情報を検出することによって、当該ロボット１２の位置を推定することができる。オペレータは、地図上で上述の環境情報をロボット１２の現在位置と一緒に見ることによって、現在のロボット１２と混雑領域もしくは煩い領域との位置関係を一目で把握することができる。たとえば、オペレータは、ロボット１２が混雑領域や煩い領域内に存在する場合には移動の操作コマンド入力を避けたり、ロボット１２の現在のモーションをウィンドウ１１４で参照しつつその必要があると判断した場合には身体動作を含む操作コマンド入力を控えたり、また、ロボット１２が混雑領域や煩い領域外に存在する場合には当該領域の方への移動を避けたりするといった遠隔操作の判断を容易に行うことができる。

また、地図上には、環境に設置されたセンサ１８、２０、２２、２４の位置や、展示物等の物体２６の位置等も表示するようにしてよい。図５では、無線タグリーダ２０の設置位置が無線タグリーダ２０を示すマーク（白四角）を用いて示される。図５では示さないが、マークには当該センサ１８、２０、２２、２４や物体２６等の名称ないし識別情報等が付されてよい。このように、地図上に各センサ１８、２０、２２、２４や物体２６等の位置を示す場合には、どのセンサ１８、２０、２２、２４のウィンドウ１１０、１１６、１１８をセンサ情報画面上に開くかをオペレータに決定させ易くすることが可能になる。たとえば、混雑領域や煩い領域を撮影する環境カメラ１８の特定が容易に行えるので、オペレータは、当該環境カメラ１８のウィンドウ１１０の表示を表示設定メニューで選択することによって、当該混雑領域や煩い領域の実際の様子を映像で確認することができる。

オペレータは、上述の図５のようなセンサ情報画面によって環境情報を容易に把握しながら、図６のような操作画面で操作コマンドを入力することによってロボット１２を遠隔操作することができる。

操作画面は、現在のロボット１２の状態を示す第１領域１３０および操作コマンドを示す第２領域１３２を含む。具体的には、第１領域１３０には、現在のロボット１２の状況（状態）および実行中のコミュニケーション行動が文字で表示される。図６に示す例では、ロボット１２は、その状態が「ＩＤＬＥ」であり、「ＡＳＯＢＯ（遊ぼう）」のコミュニケーション行動を実行していることが示される。ロボット１２がオペレータの指示によらないで自律行動している場合には、その状態は「ＩＤＬＥ」であり、逆にオペレータに指示に従ってコミュニケーション行動している場合には、その状態は「ＢＵＳＹ」である。コミュニケーション行動は、当該行動を実現するための行動モジュールと呼ばれるプログラムに従って実行される。第１領域１３０に表示されるコミュニケーション行動は、当該行動モジュールの名称ないし識別情報（すなわち操作コマンド）であってよい。ロボット１２は、上述のように、たとえば一定時間ごとにセンサ情報とともに行動状態を操作用コンピュータ１４に送信しており、第１領域１３０の表示は、受信した行動状態に基づいて行われる。

また、第１領域１３０には、終了ボタン（アイコン）１３４が表示される。この終了ボタン１３４は、操作画面を閉じる、すなわち、ロボット１２の遠隔操作を終了するためのものである。

第２領域１３２には、オペレータによって指示される操作コマンドが表示される。たとえば、表示領域１３６、１３８、１４０、１４２が設けられる。表示領域１３６−１４０には、各コミュニケーション行動を指示するための操作コマンドが表示されている。すいているとき（ロボット１２の周囲の人が少ないとき）の行動、混んでいるとき（ロボット１２の周囲の人が多いとき）の行動、および通常動作の３つに分類して操作コマンド名が表示される。これによって、オペレータの選択の効率性を向上させている。ただし、分類せずに１つの表示領域ですべてのコミュニケーション行動の操作コマンドを表示するようにしてもよい。また、図面では省略するが、多数のコマンド名が表示されるため、実際には、表示内容をスクロールするためのスクロールバーが設けられる。他の表示領域も同様である。

表示領域１４２には、コマンド履歴が表示される。つまり、ロボット１２に送信され、実行されたコミュニケーション行動についての操作コマンド名がたとえば時系列で表示される。これによって、オペレータは、遠隔操作によって実行させたロボット１２の行動履歴を確認することができる。

第２領域１３２には、さらに、コマンド送信ボタン１４４，緊急停止ボタン１４６，左ボタン１４８，前ボタン１５０，右ボタン１５２が設けられる。また、移動コマンドに関するボタンとして、前進ボタン１５４，左回転ボタン１５６，右回転ボタン１５８，後退ボタン１６０，停止ボタン１６２が設けられる。また、ロボット１２の稼働を終了させるための終了ボタン１６４も設けられる。

コマンド送信ボタン１４４は、オペレータによって選択された操作コマンドをロボット１２に送信するためのものである。緊急停止ボタン１４６は、ロボット１２の動きを緊急に停止させるためのものである。

左ボタン１４８は、ロボット１２の首関節６８を左に所定角度だけ回動させるためのものである。たとえば、このボタン１４８がクリックされる度に、ロボット１２の頭部７０が左方向（Ｓ軸）に所定角度（たとえば５度）ずつ回動される。前ボタン１５０は、ロボット１２の首関節６８を正面の方向に向けるためのものである。このボタン１５０がクリックされると、ロボット１２の顔（頭部７０の正面）が正面方向を向くように、首関節６８が制御される。右ボタン１５２は、ロボット１２の首関節６８を右に所定角度だけ回動させるためのものである。たとえば、このボタン１５２がクリックされる度に、ロボット１２の頭部７０が右方向（Ｓ軸）に所定角度（たとえば５度）ずつ回動される。

また、前進ボタン１５４は、ロボット１２を前進させるためのものである。たとえば、ロボット１２は、このボタン１５４がクリックされると前進し、ボタン１６２がクリックされて停止命令が与えられると停止する。左回転ボタン１５６は、ロボット１２を左旋回させるためのボタンである。たとえば、ロボット１２は、このボタン１５６がクリックされると左旋回し、停止命令が与えられると停止する。右回転ボタン１５８は、ロボット１２を右旋回させるためのものである。たとえば、ロボット１２は、このボタン１５８がクリックされると右旋回し、停止命令が与えられると停止する。後退ボタン１６０は、ロボット１２を後退させるためのものである。たとえば、ロボット１２は、このボタン１６０がクリックされると後退し、停止命令が与えられると停止する。停止ボタン１６２は、移動しているロボット１２に停止命令を与えるためのものである。たとえば、このボタン１６２がクリックされると、ロボット１２は、前進、左回転、右回転または後退を停止する。

また、終了ボタン１６４は、ロボット１２の運転を終了（停止）させるためのものである。たとえば、このボタン１６４がクリックされるとロボット１２に終了命令が与えられ、ロボット１２は、各部位をホームポジションに戻した後、図４に示したような回路コンポーネントへの電源供給を停止する。

図７および図８に、操作用コンピュータ１４のＣＰＵの情報表示処理における動作の一例が示される。この情報表示処理は一定時間ごとに繰り返し実行される。また、情報表示処理は図９の操作処理など他の処理と並列的に実行される。

情報表示処理を開始すると、まず、ステップＳ１で、環境に設置された各センサ１８、２０、２２、２４の情報を、各コンピュータ１８ａ、２０ａ、２２ａ、２４ａからネットワーク１６を介して取得する。次に、ステップＳ３で、ロボット１２に設置された各センサの情報をネットワーク１６を介して取得する。たとえば、ロボット１２に設けられた超音波距離センサ３８の情報、および関節角度センサ９８の情報を取得する。ただし、他のセンサ３４、４８、５２、５４、６４の情報も取得してよい。

ステップＳ５では、ロボット１２の位置を推定する。つまり、上述のように、環境に設けられた無線タグリーダ２０の検出情報と予め記憶しておいた位置情報とに基づいて、ロボット１２に取り付けられた無線タグの現在位置を算出する。

続いて、ステップＳ７で、環境情報としての注意情報（この実施例では、混雑領域および煩い領域）を検出する。つまり、上述のように、混雑領域は、環境カメラ１８の撮影画像の差分画像に基づいて検出され、煩い領域は、環境の騒音計２４で検出された騒音レベルに基づいて検出される。なお、複数の環境距離センサ２２を配置した通路などの所定領域がある場合には、当該所定領域が混雑しているか否かを当該複数の環境距離センサ２２で検出された情報に基づいて判定するようにしてもよい。

また、ステップＳ９では、表示フラグの設定を実行する。たとえば、情報表示処理の開始時には、予めメモリに記憶されている初期設定データに基づいて、各ウィンドウ１１０−１２０の表示フラグを設定する。また、表示設定メニューの選択操作が行われたときには、図示しない設定画面を表示装置に表示して、センサ情報画面内にウィンドウ１１０−１２０で表示する各センサ情報および地図情報の選択をオペレータに行わせる。オペレータの選択に応じて、当該選択されたセンサ情報または地図情報に対応する表示フラグがオンにされる。また、ステップＳ５で推定されたロボット１２の現在位置と予めメモリに記憶された各環境センサの位置情報とに基づいて、自動的に表示フラグの設定を行うようにしてもよい。たとえば、ロボット１２の現在位置がその撮影領域に含まれる環境カメラ１８を特定し、当該環境カメラ１８のウィンドウ１１０の表示フラグをオンにする。あるいは、ロボット１２の現在位置から所定距離内に存在する各センサ１８、２２、２４を特定し、当該センサのウィンドウ１１０−１１８の表示フラグをオンにしてもよい。

続くステップＳ１１からＳ４３で、表示フラグに従って、ウィンドウ１１０−１２０の表示処理を行う。具体的には、ステップＳ１１で、現時刻の各環境カメラ１８の情報を受信したか否かを判断する。ステップＳ１１で“ＹＥＳ”であれば、ステップＳ１３で、表示フラグがオンである環境カメラ１８の撮影画像を示す環境カメラウィンドウ１１０を表示する。

ステップＳ１１で“ＮＯ”の場合、または、ステップＳ１３を終了すると、ステップＳ１５で、現時刻の各環境距離センサ２２の情報を受信したか否かを判断する。ステップＳ１５で“ＹＥＳ”であれば、ステップＳ１７で、表示フラグがオンである環境距離センサ２２の距離情報を示す環境距離センサウィンドウ１１８を表示する。

ステップＳ１５で“ＮＯ”の場合、または、ステップＳ１７を終了すると、ステップＳ１９で、現時刻の各環境騒音計２４の情報を受信したか否かを判断する。ステップＳ１９で“ＹＥＳ”であれば、ステップＳ２１で、表示フラグがオンである環境騒音計２４の騒音レベルを示す騒音計ウィンドウ１１６を表示する。ステップＳ１９で“ＮＯ”の場合、または、ステップＳ２１を終了すると、処理は図８のステップＳ２３へ進む。

図８のステップＳ２３では、現時刻のロボット１２の関節角度センサ９８の情報を受信したか否かを判断する。ステップＳ２３で“ＹＥＳ”であれば、ステップＳ２５で、ロボット１２の動きに関する表示フラグはオンであるか否かを判断する。ステップＳ２５で“ＹＥＳ”であれば、ステップＳ２７で、ロボット１２の動きを示すロボットモーションウィンドウ１１４を表示する。

ステップＳ２３もしくはＳ２５で“ＮＯ”の場合、または、ステップＳ２７を終了すると、ステップＳ２９で、現時刻のロボット１２の超音波距離センサ３８の情報を受信したか否かを判断する。ステップＳ２９で“ＹＥＳ”であれば、ステップＳ３１で、ロボット１２の距離センサ情報に関する表示フラグはオンであるか否かを判断する。ステップＳ３１で“ＹＥＳ”であれば、ステップＳ３３で、ロボット１２の距離センサ情報を示すロボット距離センサウィンドウ１１２を表示する。

ステップＳ２９もしくはＳ３１で“ＮＯ”の場合、または、ステップＳ３３を終了すると、ステップＳ３５で、地図に関する表示フラグはオンであるか否かを判断する。ステップＳ３５で“ＹＥＳ”であれば、ステップＳ３７で、地図ウィンドウ１２０を表示して、ロボット１２の存在する環境の地図を表示する。

続いて、ステップＳ３９で、地図上において、ステップＳ５で算出された現在位置に対応する位置に、ロボット１２のマーク（図５では黒三角）を表示する。

そして、ステップＳ４１で、環境の情報に関する表示フラグがオンであるか否かを判断する。ステップＳ４１で“ＹＥＳ”であれば、ステップＳ４３で、地図上に環境の情報、この実施例では環境における注意情報を表示する。具体的には、地図上において、ステップＳ７で検出された混雑領域に対応する位置に、混雑領域を示すマーク（図５では斜線模様付き円）等を表示する。また、ステップＳ７で検出された煩い領域に対応する位置に、煩い領域を示すマーク（図５では格子模様付き円）等を表示する。

ステップＳ３５で“ＮＯ”の場合、ステップＳ４１で“ＮＯ”の場合、またはステップＳ４３を終了すると、ステップＳ４５で、終了指示が行われた否かを判断する。つまり、オペレータの入力装置の操作によってセンサ情報画面の表示の終了を指示するメニューが選択されたか否かを判断する。ステップＳ４５で“ＮＯ”であれば、図７のステップＳ１に戻って処理を繰り返し、センサ情報画面を更新する。一方、ステップＳ４５で“ＹＥＳ”であれば、センサ情報画面を閉じて、この情報表示処理を終了する。なお、センサ情報画面で終了指示が行われた場合には、図９の操作処理も終了する。

図９には、操作用コンピュータ１４のＣＰＵの操作処理における動作の一例が示される。操作処理を開始すると、まず、ステップＳ６１で、図６に示すような操作画面を表示する。なお、操作画面とセンサ情報画面とは、表示装置上にたとえば並べて表示される。

続くステップＳ６３からＳ７１の処理を一定時間ごとに繰り返し実行する。すなわち、ステップＳ６３で、ロボット１２の行動状態をネットワーク１６を介して取得して、操作画面の第１領域１３０に、動作状態および実行中のコミュニケーション行動等を表示する。

続いて、ステップＳ６５で、入力装置からの入力データとメモリに記憶された操作コマンドおよびボタン配置データとに基づいて、操作コマンドが選択されたか否かを判断する。具体的には、コミュニケーション行動を指示するコマンドの場合には、表示領域１３６、１３８、１４０で当該コマンドが選択された状態で、コマンド送信ボタン１４４が選択されたか否かを判断する。また、各ボタン１４６―１６４に割り当てられたコマンドの場合には、当該ボタン１４６−１６４が選択されたか否かを判断する。

ステップＳ６５で“ＹＥＳ”であれば、ステップＳ６７で、選択された操作コマンドを特定し、当該操作コマンドをネットワーク１６を介してロボット１２に送信する。続いて、ステップＳ６９で、送信した操作コマンドを表示領域１４２に追加して、コマンド履歴を時系列で表示する。

ステップＳ６５で“ＮＯ”の場合、または、ステップＳ６９を終了すると、ステップＳ７１で、終了指示が行われたか否かを判断する。具体的には、終了ボタン１３４が選択されたか否かを判断する。ステップＳ７１で“ＮＯ”であれば、ステップＳ６３に戻って処理を繰り返して、上述のように、操作画面の第１領域１３０の表示を更新し、オペレータの選択に応じて操作コマンドを送信する。一方、ステップＳ７１で“ＹＥＳ”であれば、操作画面を閉じてこの操作処理を終了する。なお、操作画面で終了指示が行われた場合には、図７および図８の情報表示処理も終了する。

この実施例によれば、ロボット１２のセンサ情報だけでなく、ロボット１２の存在する環境のセンサ情報を表示するようにしたので、ロボット１２の周辺環境の情報をオペレータに提供することができる。また、混雑領域や煩い領域のような当該環境における注意情報をたとえば地図上に表示する等、環境情報を分り易く表示するようにしたので、ロボット１２の周辺環境を極めて容易にかつ瞬時にオペレータに把握させることができる。このため、たとえば、オペレータがロボット１２の行動制御を決定するまでの時間が減少することが期待できる。したがって、オペレータに効率よくロボット１２の遠隔操作を行わせることができる。

また、混雑領域や煩い領域等の環境における注意情報の表示によって、ロボット１２が移動や身体動作に支障のある状況にあるのかどうかを容易に把握させることができるし、あるいは、身体動作や移動に支障のありそうな場所がどこなのかを容易に把握させることができる。このように、オペレータにロボット１２の周辺環境およびその状況を的確に把握させてその行動を制御させることができるので、ロボット１２の遠隔操作の効率性とともに安全性を向上することができる。

さらに、上述のように自律制御可能なロボット１２の遠隔制御の効率性および安全性を向上できるので、たとえば１人のオペレータが同時に複数のロボット１２の遠隔操作を担当することも可能になる。つまり、少数のオペレータが多くのロボット１２を同時に制御することも可能になる。

なお、上述の実施例では、操作用コンピュータ１４は、各環境センサ１８、２０、２２、２４の接続された各コンピュータ１８ａ、２０ａ、２２ａ、２４ａから各環境センサ情報を受信し、また、ロボット１２からそのセンサ情報を受信するようにしていた。しかし、他の実施例では、ネットワーク１６に接続された中央制御装置等の他のコンピュータが環境センサ情報またはロボット１２のセンサ情報を取得するようにして、当該コンピュータがこれらセンサ情報を操作用コンピュータ１４に与えるようにしてもよい。

また、上述の各実施例では、操作用コンピュータ１４が、ロボット１２の現在位置、混雑領域、煩い領域などを算出するようにしていた。しかし、他の実施例では、上記中央制御装置等の他のコンピュータが、センサ情報画面の表示に必要なこれらの情報を算出して、操作用コンピュータ１４に与えるようにしてもよい。

この発明の一実施例のロボット制御システムの構成を示す図解図である。 図１実施例のロボットの活動場面の一例を示す図解図である。 図１実施例のロボットを正面から見た外観の一例を示す図解図である。 図１実施例のロボットの電気的な構成の一例を示すブロック図である。 操作用コンピュータに表示されるセンサ情報画面の一例を示す図解図である。 操作用コンピュータに表示される操作画面の一例を示す図解図である。 操作用コンピュータにおける情報表示処理の動作の一例の一部を示すフロー図である。 図７の続きを示すフロー図である。 操作用コンピュータにおける操作処理の動作の一例を示すフロー図である。

符号の説明

１０ …ロボット制御システム
１２ …コミュニケーションロボット
１４ …操作用コンピュータ
１６ …ネットワーク
１８ …カメラ
２０ …無線タグリーダ
２２ …距離センサ
２４ …騒音計

Claims (4)

1. 複数種類の環境センサを設けた環境中に存在するコミュニケーションロボットと、入力装置を備える操作用コンピュータとを含み、前記操作用コンピュータは、前記入力装置からの入力に応じてオペレータによる操作を特定して当該操作のための操作情報を前記ロボットに送信する、ロボット制御システムであって、
   前記複数種類の環境センサを用いて検出した環境情報を個別に表示する複数の環境表示手段、および前記環境の一部または全体を示す地図を表示する地図表示手段を備え、
   前記地図表示手段は、前記コミュニケーションロボットの現在位置を前記地図上に表示するロボット位置表示手段、前記環境センサの検出情報に基づいて検出された前記環境における注意情報を前記地図上に表示する注意情報表示手段、および前記環境中に配置された前記複数種類の環境センサのそれぞれの位置を表示する環境センサ位置表示手段を含む、ロボット制御システム。
2. 前記環境表示手段は、前記オペレータの操作によって選択されている環境センサが検出した環境情報を表示する、請求項１記載のロボット制御システム。
3. 前記地図表示手段は、前記環境中に配置された前記複数種類の環境センサのそれぞれの位置を表示する環境センサ表示手段をさらに含む、請求項１または２記載のロボット制御システム。
4. 複数種類の環境センサを設けた環境中に存在するコミュニケーションロボットをオペレータの指示に応じて遠隔操作するロボット制御システムのコンピュータによって実行されるプログラムであって、前記プログラムは、前記コンピュータを、
   前記複数種類の環境センサを用いて検出した環境情報を個別に表示する複数の環境表示手段、および
   前記環境の一部または全体を示す地図を表示する地図表示手段として機能させ、さらに
   前記地図表示手段を、前記コミュニケーションロボットの現在位置を前記地図上に表示するロボット位置表示手段、前記環境センサの検出情報に基づいて検出された前記環境における注意情報を前記地図上に表示する注意情報表示手段、および前記環境中に配置された前記複数種類の環境センサのそれぞれの位置を表示する環境センサ位置表示手段として機能させる、プログラム。

Images