JP2020005146A - 出力制御装置、表示端末、情報処理装置、移動体、遠隔制御システム、出力制御方法、プログラムおよび撮影制御装置 - Google Patents

Abstract

【課題】撮影手段を備える移動体の制御を高精度に行うことができる。
【解決手段】遠隔制御システム１ａは、被写体を撮影して全天球画像データ２００を取得する特殊撮影装置と特殊撮影装置によって撮影された被写体の一部を撮影して詳細画像データ２５０を取得する一般撮影装置とを備えるロボット１０と、ロボットと通信ネットワーク９を介して通信可能であり、ロボットを遠隔操作する表示端末５０と、を備える。遠隔制御システムは、ロボットの移動状態を示す状態情報を取得し、取得した状態情報に基づいて、全天球画像データまたは詳細画像データを出力する。
【選択図】図１６

Description

本発明は、出力制御装置、表示端末、情報処理装置、移動体、遠隔制御システム、出力制御方法、プログラムおよび撮影制御装置に関する。

遠隔拠点に位置するテレプレゼンス・ロボット（以下、ロボットと称する）を、通信ネットワークを経由して他拠点に位置する表示端末を用いて遠隔操作する遠隔制御システムが知られている。この遠隔制御システムは、ロボットに備えられた撮影手段によって撮影された画像を、表示端末に表示させることで、ロボットが位置する拠点の情報を遠隔地から確認することができる。

また、異なる種類の撮影手段を備えるロボットを用いて、ロボットの周囲の状況をより詳細に確認できる技術も知られている。特許文献１には、走行装置の前後を映す前方カメラおよび後方カメラと、移動体の付近の全周囲を映すことができる俯瞰カメラとを備えた無線操縦タイプの移動体が開示されている。

しかしながら、従来の方法では、ロボット（例えば、移動体）に備えられた異なる種類のカメラ（例えば、撮影手段）によって取得された画像を、どのように出力させるかについては言及されておらず、出力方法によっては移動体の制御を高精度に行えないという課題があった。

請求項１に係る出力制御装置は、被写体を撮影して第１の画像を取得する第１の撮影手段と前記被写体の一部を撮影して第２の画像を取得する第２の撮影手段とを備える移動体を制御するとともに、前記第１の画像または前記第２の画像を出力する出力制御装置であって、前記移動体の移動状態を示す状態情報を取得する第１の取得手段を備え、前記第１の取得手段によって取得された状態情報に基づいて、前記第１の画像または前記第２の画像を出力する。

本発明によれば、撮影手段を備える移動体の制御を高精度に行うことができる。

実施形態に係る遠隔制御システムのシステム構成の一例を示す図である。 実施形態に係るロボットの構成の概略の一例を示す図である。 実施形態の変形例１（１−１）に係るロボットの構成の概略を示す図である。 実施形態の変形例１（１−２）に係るロボットの構成の概略を示す図である。 実施形態の変形例２（２−１）に係るロボットの構成の概略を示す図である。 実施形態の変形例２（２−２）に係るロボットの構成の概略を示す図である。 実施形態の変形例３に係るロボットの構成の概略を示す図である。 （ａ）は特殊撮影装置で撮影された半球画像（前）、（ｂ）は特殊撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。 （ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。 全天球画像を３次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。 （ａ）は図１０の立体斜視図、（ｂ）は表示端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 実施形態に係るロボットのハードウエア構成の一例を示す図である。 実施形態に係る表示端末のハードウエア構成の一例を示す図である。 実施形態に係る管理サーバのハードウエア構成の一例を示す図である。 第１の実施形態に係る遠隔制御システムの機能構成の一例を示す図である。 （ａ）は第１の実施形態に係るコマンドテーブルの一例を示す図、（ｂ）は第１の実施形態に係る撮影パラメータの一例を示す図である。 第１の実施形態に係る状態管理テーブルの一例を示す図である。 第１の実施形態に係る条件テーブルの一例を示す図である。 第１の実施形態に係るユーザコマンドテーブルの一例を示す図である。 （ａ）は認証管理ＤＢの一例を示す概念図、（ｂ）は端末管理ＤＢの一例を示す概念図である。 （ａ）は宛先リスト管理ＤＢの一例を示す概念図、（ｂ）はセッション管理ＤＢの一例を示す概念図である。 ロボットと表示端末との間でデータの送受信を開始する準備段階の処理の一例を示すシーケンス図である。 第１の実施形態に係る表示端末に表示される宛先リスト画面の一例を示す図である。 宛先候補の選択からデータの送受信を開始するまでの処理の一例を示すシーケンス図である。 第１の実施形態に係る遠隔制御システムにおいて、ロボットから表示端末への各種データの送信処理の一例を説明するためのシーケンス図である。 第１の実施形態に係る表示端末に表示される表示画面の画面例を示す図である。 第１の実施形態に係る状態情報の一例を示す図である。 （ａ）（ｂ）ロボットが前進している場合に表示端末に表示される表示画面の画面例を示す図である。 ロボットが前進している場合に表示端末に表示される表示画面の画面例を示す図である。 第１の実施形態に係る表示端末における、ロボットの移動状態に基づくロボットの制御処理の一例を説明するためのフローチャートである。 第１の実施形態に係る表示端末における、入力コマンドに基づくロボットの制御処理の一例を説明するためのフローチャートである。 第１の実施形態に係るロボットにおける、表示端末５０からの要求コマンドに基づくロボットの制御処理の一例を説明するためのフローチャートである。 第１の実施形態に係る遠隔制御システムにおける詳細画像の表示処理の一例を説明するためのシーケンスである。 ロボットから送信された詳細画像データが表示される表示画面の画面例を示す図である。 表示端末の操作者の視線位置が表示される表示画面の画面例を示す図である。 第１の実施形態に係る遠隔制御システムにおいて、表示端末に表示される表示画像の切り替え処理の一例を説明するためのシーケンス図である。 表示端末の一例としてのヘッドマウントディスプレイに表示される表示画面の画面例を示す図である。 第２の実施形態に係る遠隔制御システムにおいて、表示端末に表示される表示画像の切り替え処理の一例を説明するためのシーケンス図である。 第３の実施形態に係る遠隔制御システムのシステム構成の一例を示す図である。 第３の実施形態に係る遠隔制御システムの機能構成の一例を示す図である。 第３の実施形態に係る遠隔制御システムにおいて、ロボットが移動した場合の処理の一例を説明するためのシーケンス図である。 第３の実施形態に係る画像処理サーバにおける、ロボットの移動状態に基づく全天球画像データの画像処理の一例を説明するためのフローチャートである。 第３の実施形態に係る遠隔制御システムにおいて、表示端末に表示される表示画像の切り替え処理の一例を説明するためのシーケンス図である。

以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

●実施形態●
●システム構成
図１は、実施形態に係る遠隔制御システムのシステム構成の一例を示す図である。図１に示す遠隔制御システムは、表示端末５０を用いて、遠隔拠点に位置するロボット１０を遠隔操作することによって、拠点内の装置の管理や保守作業等、または拠点内に位置する人の位置や動線の確認等を行うことができるシステムである。

遠隔制御システム１ａは、複数の拠点（拠点Ａ，拠点Ｂ、拠点Ｃ）のそれぞれに位置するロボット１０（１０Ａ、１０Ｂ、１０Ｃ、以下、区別する必要のないときは、ロボット１０とする。）、表示端末５０および管理サーバ９０によって構成される。ロボット１０、表示端末５０および管理サーバ９０は、通信ネットワーク９を介して通信可能に接続されている。通信ネットワーク９は、例えば、ＬＡＮ（Local Area Network）、専用線およびインターネット等によって構築される。通信ネットワーク９は、有線だけでなく、Ｗｉ−Ｆｉ（登録商標）等の無線による通信が行われる箇所があってもよい。

ロボット１０は、各拠点（拠点Ａ，拠点Ｂ、拠点Ｃ）に設置され、表示端末５０からの遠隔操作によって自律走行する移動体である。ロボット１０は、後述する特殊撮影装置２１によってロボット１０の周囲を広範囲に亘る被写体を撮像しながら拠点内を移動し、特殊撮影装置２１によって取得された全天球画像を表示端末５０へ送信することで、表示端末５０を用いてロボット１０を操作する操作者に、拠点内の情報（画像）を提供する。また、ロボット１０は、特殊撮影装置２１によって撮影した被写体の一部を、後述する一般撮影装置２３によって撮影し、一般撮影装置２３によって取得された詳細画像を表示端末５０へ送信することで、表示端末５０を用いてロボット１０を操作する操作者に、拠点内の所定の領域における詳細な情報（画像）を提供する。ロボット１０は、移動体の一例である。

表示端末５０は、各拠点（拠点Ａ，拠点Ｂ、拠点Ｃ）に設置されたロボット１０の遠隔操作を行うＰＣ（Personal Computer）等の端末装置である。表示端末５０は、ロボット１０から送信されてきた全天球画像または詳細画像を表示する。操作者は、表示端末５０に表示された画像を見ながら、ロボット１０の遠隔操作を行うことができる。

なお、表示端末５０は、ロボット１０から送信されてきた画像を表示する表示手段を備えたものであればよく、例えば、タブレット端末、携帯電話、スマートフォン、ヘッドマウウントディスプレイ（ＨＭＤ）等のウェアラブル端末、広角スクリーン(円筒、全天球、半天球スクリーン等)を備えた通信端末、ＰＤＡ(Personal Digital Assistant)等であってもよい。

管理サーバ９０は、各拠点に位置するロボット１０と表示端末５０との間の通信を管理するためのサーバコンピュータである。管理サーバ９０は、通信ネットワーク９を介してロボット１０および表示端末５０と接続される。なお、管理サーバ９０は、複数台のサーバコンピュータにより構成されてもよく、どのサーバコンピュータに機能を備えさせてもよい。

ロボット１０が設置される拠点は、例えば、オフィス、倉庫、工場、学校等である。表示端末５０を用いてロボット１０を操作する操作者は、ロボット１０から送信された拠点内の画像を確認することによって、拠点内の人の位置や動線の確認、拠点内に設置された装置の管理や保守等を行うことができる。また、ロボット１０と表示端末５０は、双方によって撮影された画像を送受信することで双方向のコミュニケーション（遠隔会議）を行うこともできる。

なお、図１において、各拠点内に一台のロボット１０が設置されている構成を説明したが、ロボット１０は、一つの拠点に複数台設置されていてもよい。また、表示端末５０は、複数の拠点に配置されたロボット１０のそれぞれと通信する構成であってもよいし、一つの拠点に配置されたロボット１０のみと通信する構成であってもよい。

●ロボット１０の構成
ここで、図２乃至図９を用いて、図１で示したロボット１０の具体的な構成を説明する。図２は、実施形態に係るロボットの構成の概略の一例を示す図である。

図２に示すロボット１０は、ロボット１０を移動させる移動機構１７、ロボット１０の処理または動作を制御する制御装置３０を備えた筐体１５、可動アーム１１、可動アーム１１を回転させる回転軸１２、撮影機構２０、可動アーム１１に接続されるとともに撮影機構２０を設置するための載置部材２５を備える。

撮影機構２０は、人、物体、風景等の被写体を撮影して全天球（３６０°）パノラマ画像を取得可能な特殊撮影装置２１と、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像を取得可能な一般撮影装置２３を有する。特殊撮影装置２１は、被写体を撮影して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。一般撮影装置２３は、デジタル一眼レフカメラ、コンパクトデジタルカメラ等の平面画像（詳細画像）を取得可能なデジタルカメラである。なお、特殊撮影装置２１によって撮影される全天球画像、または全天球画像の元になる半球画像の詳細は、後述する（図８〜図１２参照）。特殊撮影装置２１は、第１の撮影手段の一例、一般撮影装置２３は、第２の撮影手段の一例である。

ロボット１０は、特殊撮影装置２１によって取得された全天球画像である全天球画像データ２００を、表示端末５０へ送信する。なお、全天球画像データ２００の画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、全天球画像データ２００は、画像データとともに音データを含んでもよい。

特殊撮影装置２１によって取得される画像は、全天球画像に限られず、所定値以上の画角を有する広角画像であればよい。この場合、広角画像は、広角カメラやステレオカメラ等の特殊撮影装置２１によって取得される。すなわち、特殊撮影装置２１は、所定値より焦点距離の短いレンズを用いて撮影された画像（全天球画像、広角画像）を取得可能な撮影手段である。特殊撮影装置２１によって取得される画像（全天球画像、広角画像）は、第１の画像の一例である。以下本発明の各実施形態は、特殊撮影装置２１によって取得される画像が全天球画像である場合の例を説明する。

また、ロボット１０は、一般撮影装置２３によって取得される詳細画像である詳細画像データ２５０を、表示端末５０へ送信する。一般撮影装置２３によって取得される詳細画像は、特殊撮影装置２１によって所定値以上の画角で撮影された被写体の一部を撮影することによって取得可能な画像である。すなわち、一般撮影装置２３は、特殊撮影装置２１が有するレンズよりも焦点距離の長いレンズを用いて撮影された画像（詳細画像）を取得可能な撮影手段である。一般撮影装置２３によって取得される画像（詳細画像、平面画像）は、第２の画像の一例である。

表示端末５０は、例えば、ロボット１０の操作者による遠隔操作によってロボット１０を移動させる場合には、ロボット１０の周囲を広範囲で見ることができる全天球画像を表示させる。また、表示端末５０は、ロボット１０の操作者が全天球画像に含まれる所定の領域の詳細な情報を確認したい場合には、一般撮影装置２３によって取得された詳細画像を表示させる。すなわち、特殊撮影装置２１は、ロボット１０の操作者に対してロボット１０の周囲を広範囲に確認させるための画像（全天球画像、広角画像）を取得するために撮影処理を行う撮影手段であり、一般撮影装置２３は、ロボット１０の操作者に対してロボット１０の周囲の特定の箇所の状態を詳細の確認させるための画像（詳細画像）を取得するために撮影処理を行う撮影手段である。これによって、表示端末５０は、全天球画像と詳細画像の表示を切り替えることで、ロボット１０の操作者による操作性を向上させることができる。

以下、撮影機構２０は、特殊撮影装置２１と一般撮影装置２３を有する例を説明するが、撮影機構２０は、特殊撮影装置２１と一般撮影装置２３の機能を実現可能な一台の撮影装置によって構成されてもよい。

移動機構１７は、ロボット１０を移動させるユニットであり、車輪、走行モータ、走行エンコーダ、ステアリングモータ、ステアリングエンコーダ等で構成される。ロボット１０の移動制御については、既存の技術であるため、詳細な説明は省略するが、ロボット１０は、操作者（表示端末５０）からの走行指示を受信し、移動機構１７は、受信した走行指示に基づいてロボット１０を移動させる。

以下、移動機構１７は、２つの車輪によって構成される例を説明するが、移動機構１７は、二足歩行の足型や単輪のものであってもよい。また、ロボット１０の形状は、図２に示すような車両型に限られず、例えば、二足歩行の人型、生物を模写した形態、特定のキャラクターを模写した形態等であってもよい。

筐体１５は、ロボット１０の胴体部分に位置し、ロボット１０の全体に必要な電源を供給する電源供給ユニットおよびロボット１０の処理もしくは動作を制御する制御装置３０等が内蔵されている。

可動アーム１１は、載置部材２５に設置された特殊撮影装置２１および一般撮影装置２３の撮影位置を調整するための可動部材である。可動アーム１１は、回転軸１２を用いて回転することで、特殊撮影装置２１および一般撮影装置２３の向きを変更する。ロボット１０は、移動機構１７によってロボット１０の向きを変えるほか、可動アーム１１を回転または変形させることによって、撮影機構２０（特殊撮影装置２１および一般撮影装置２３）の撮影方向を変更することができる。

なお、ロボット１０は、上記構成のほかに、ロボット１０の周囲の情報を検知可能な各種センサを有していてもよい。各種センサは、例えば、気圧計、温度計、光度計、人感センサ、または照度計等のセンサデバイスである。また、ロボット１０は、可動アーム１１に撮影機構２０のみでなく、ロボット１０の移動以外の付加的動作を可能とする操作手段が設置される構成であってもよい。操作手段は、例えば、物をつかむハンド等である。

〇ロボット１０の構成の変形例〇
〇変形例１
ここで、図３および図４を用いて、ロボット１０の構成の変形例１について説明する。図３（ａ）〜（ｃ）に示すロボット１０は、撮影機構２０における特殊撮影装置２１の配置が、図２に示した構成と異なる。特殊撮影装置２１と一般撮影装置２３は、図２で説明したように、それぞれ撮影目的が違うため、特殊撮影装置２１と一般撮影装置２３の配置を用途に応じて変更することが好ましい。

図３（ａ）に示す撮影機構２０ａは、特殊撮影装置２１を一般撮影装置２３の上部に配置している。特殊撮影装置２１は、ロボット１０の周囲を広範囲に撮影する必要がある。そのため、ロボット１０は、撮影機構２０ａをこのような配置にすることで、特殊撮影装置２１と一般撮影装置２３を使い分ける効果がより顕著になる。

また、図３（ｂ）に示す撮影機構２０ｂは、特殊撮影装置２１を一般撮影装置２３の後部に配置している。一般撮影装置２３の正面方向（撮影方向）の領域は、ロボット１０の操作者にとって細部まで確認したい領域である。そのため、撮影機構２０ｂをこのような配置にすることで、一般撮影装置２３は、正面方向（撮影方向）の領域を、障害物等に邪魔されることなく撮影することができる。また、撮影機構２０ｂのような配置にすることで、特殊撮影装置２１は、一般撮影装置２３が撮影できない領域（例えば、一般撮影装置２３の後方の領域）を、一般撮影装置２３等が写り込むことなく、比較的良い解像度で撮影することができる。

さらに、図３（ｃ）に示す撮影機構２０ｃは、特殊撮影装置２１を一般撮影装置２３の下部に配置している。ロボット１０の移動時において、地面(足元)の状況が重要になる。そのため、撮影機構２０ｃのような配置にすることで、特殊撮影装置２１は、一般撮影装置２３または載置部材２５に邪魔されることなく、地面（足元）を撮影することができる。これにより、ロボット１０の操作者は、特殊撮影装置２１によって取得された全天球画像を見ながら、より安全にロボット１０を移動させることができる。

図４（ａ），（ｂ）に示すロボット１０は、可動アーム１１の構造が、図２に示した構成と異なる。可動アーム１１は、ロボット１０の用途に応じて必要な可動範囲を確保できるようにすることが好ましい。図４（ａ）に示す可動アーム１１ａは、関節部材がなく、回転軸１２によって向きを変えられるのみである。ロボット１０は、特殊撮影装置２１または一般撮影装置２３によって撮影したい箇所の高さや距離が一定である場合、このような構造でも問題ない。また、図４（ｂ）に示す可動アーム１１ｂは、図４（ａ）に示した可動アーム１１ａを変形可能な関節部材を有している。この場合、可動アーム１１ｂを、上下方向に変形させることができる。

なお、図３および図４の例は、一つの可動アーム１１に特殊撮影装置２１および一般撮影装置２３を設置した場合を説明したが、複数の可動アーム１１に特殊撮影装置２１および一般撮影装置２３の両方またはいずれか一方を設置した場合においても、図３で示したような位置関係によるバリエーション、または図４で示したような可動アーム１１の構造によるバリエーションがあり、同様の効果を得ることができる。

〇変形例２
次に、図５および図６を用いて、ロボット１０の構成の変形例２について説明する。図５（ａ）に示すロボット１０ａは、撮影機構２０ｄにおける特殊撮影装置２１の配置が、図２に示した構成と異なる。図５（ａ）に示すロボット１０ａは、特殊撮影装置２１を筐体１５に固定された支持部材１３上に設置している。これにより、特殊撮影装置２１は、常にロボット１０の進行方向と同じの方向を向くため、特殊撮影装置２１によって取得された全天球画像を見ながらロボット１０を操作する操作者が操作を行いやすくなる。図５（ｂ）に示すロボット１０ｂは、図５（ａ）に示したロボット１０ａの支持部材１３を伸縮させることが可能な伸縮部材１４を有している。図５（ｂ）に示すロボット１０ｂは、伸縮部材１４を用いて支持部材１３を伸び縮みさせることで、特殊撮影装置２１の高さを調整することができる。これにより、ロボット１０ｂは、例えば、支持部材１３を高くして周囲に存在する障害物の先まで特殊撮影装置２１によって撮影できるようにしたり、支持部材１３を低くして地面（足元）の状態を特殊撮影装置２１によって撮影しながら移動したりするといった臨機応変な処理が可能になる。なお、図５（ａ）,（ｂ）に示す支持部材１３は、筐体１５に固定されたポール等であってもよいし、筐体１５に固定された台座であってもよい。

図６（ａ）に示すロボット１０ｃは、特殊撮影装置２１の周りに人の顔を模したマスク（仮面）２７が配置されている。マスク２７は、特殊撮影装置２１によって取得された全天球画像が表示端末５０に表示されている方向に向くように、支持部材１３の周りを回転する。これにより、ロボット１０の操作者が表示端末５０に表示された全天球画像を介して見ている方向を、マスク２７の向きによってロボット１０の周囲にいる人に知らせることができる。これは、ロボット１０の周囲にいる人にとって、見られているかどうかわからないという状態が非常に不快感やストレスを伴うものだからである。ロボット１０ｃは、このようなマスク２７を備えることで、マスク２７の向いてない方向は見られていないという安心感をロボット１０の周囲にいる人に与えることができる。

なお、図６は、ロボット１０ｃにマスク２７を配置させた構成を説明したが、ロボット１０ｃの進行方向に対して水平に円状もしくは球状に配置したランプの点灯、または方向を示す表示等を用いて、ロボット１０の操作者が見ている方向をロボット１０の周囲にいる人に知らせる構成であってもよい。

〇変形例３
次に、図７を用いて、ロボット１０の構成の変形例３について説明する。図７に示すロボット１０ｄは、特殊撮影装置２１と一般撮影装置２３とを異なる可動アームに設置させた構成である。これにより、ロボット１０ｄは、特殊撮影装置２１が設置された可動アーム１１を変形させることで適切な位置から特殊撮影装置２１による撮影を行うことができるとともに、一般撮影装置２３が設置された可動アーム１１を変形させることで、より詳細に確認する必要がある箇所を一般撮影装置２３によって撮影することができる。

●全天球画像
次に、図８乃至図１２を用いて、特殊撮影装置２１によって取得される全天球画像の一例について説明する。ここで、特殊撮影装置２１には、撮像素子とレンズから構成される撮像ユニットが複数設けられているものとする。例えば、特殊撮影装置２１には、前側に撮像ユニットＦが設けられ、後側に撮像ユニットＢが設けられている。まず、図８および図９を用いて、特殊撮影装置２１で撮影された画像から正距円筒射影画像ＥＣおよび全天球画像ＣＥが作成されるまでの処理の概略を説明する。図８（ａ）は特殊撮影装置２１で撮影された半球画像（前側）、図８（ｂ）は特殊撮影装置２１で撮影された半球画像（後側）、図８（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図９（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図９（ｂ）は全天球画像を示した図である。

図８（ａ）に示すように、特殊撮影装置２１の前側に設けられた撮像ユニットＦによって得られた画像は、湾曲した半球画像（前側）となる。また、図８（ｂ）に示すように、特殊撮影装置２１の後側に設けられた撮像ユニットＢによって得られた画像は、湾曲した半球画像（後側）となる。そして、特殊撮影装置２１は、半球画像（前側）と１８０度反転された半球画像（後側）とを合成して、図８（ｃ）に示すような正距円筒射影画像ＥＣを作成する。

そして、特殊撮影装置２１は、ＯｐｅｎＧＬＥＳ（Open Graphics Library for Embedded Systems）を利用することで、図９（ａ）に示すように、球面を覆うように正距円筒射影画像を貼り付け、図９（ｂ）に示すような全天球画像ＣＥを作成する。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、ＯｐｅｎＧＬＥＳは、２Ｄ（2-Dimensions）および３Ｄ（3-Dimensions）のデータを視覚化するために使用するグラフィックスライブラリである。また、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、特殊撮影装置２１は、所定のディスプレイに、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示させることで、人間に違和感を与えない表示をすることができる。これに関して、図１０および図１１を用いて説明する。

図１０は、全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図１１（ａ）は図１０の立体斜視図、図１１（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図１１（ａ）は、図９に示した全天球画像ＣＥを、三次元の立体球ＣＳで表している。このように生成された全天球画像ＣＥが、立体球ＣＳであるとした場合、図１０に示すように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。

そして、図１１（ａ）に示す所定領域画像Ｑは、図１１（ｂ）に示すように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図１１（ｂ）に示す画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下、仮想カメラＩＣの撮影方向（ｅａ，ａａ）と画角（α）を用いて説明する。

図１２を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図１２は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。「ｅａ」はｅｌｅｖａｔｉｏｎ ａｎｇｌｅ、「ａａ」はａｚｉｍｕｔｈ ａｎｇｌｅ、「α」は画角（Angle）を示す。すなわち、仮想カメラＩＣの姿勢は、撮影方向（ｅａ，ａａ）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように変更される。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは、仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図１２では、一般的に以下の（式１）で示される三角関数が成り立つ。

●ハードウエア構成
次に、図１３乃至図１５を用いて、実施形態におけるロボット１０、表示端末５０および管理サーバ９０のハードウエア構成を説明する。なお、図１３乃至図１５に示すハードウエア構成は、各実施形態において同様の構成を備えていてもよく、必要に応じて構成要素が追加または削除されてもよい。

〇ロボット１０のハードウエア構成〇
まず、図１３を用いて、ロボット１０のハードウエア構成を説明する。図１３は、実施形態に係るロボットのハードウエア構成の一例を示す図である。なお、図１３に示すハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。ロボット１０は、ロボット１０の処理または動作を制御する制御装置３０を備える。制御装置３０は、上述のように、ロボット１０の筐体１５の内部に備えられている。なお、制御装置３０は、ロボット１０の筐体１５の外部に設けられてもよく、またはロボット１０とは別の装置として設けられていてもよい。制御装置３０は、情報処理装置の一例である。

制御装置３０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、ＨＤＤ（Hard Disk Drive）３０４、ネットワークインターフェース（Ｉ／Ｆ）３０５、入出力Ｉ／Ｆ３０６、メディアＩ／Ｆ３０７、音入出力Ｉ／Ｆ３０８、外部Ｉ／Ｆ３０９およびバスライン３１０を備える。

ＣＰＵ３０１は、ロボット１０全体の制御を行う。ＣＰＵ３０１は、ＲＯＭ３０２またはＨＤ（Hard Disk）３０４ａ等に格納された、プログラムもしくはデータをＲＡＭ３０３上に読み出し、処理を実行することで、ロボット１０の各機能を実現する演算装置である。遠隔制御システム１ａは、例えば、本発明に係るプログラムの一部または全てをＣＰＵ３０１で実行することによって、本発明に係る出力制御方法を実現する。

ＲＡＭ３０３は、ＣＰＵ３０１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ３０２は、電源を切ってもプログラムまたはデータを保持することができる不揮発性のメモリである。ＨＤＤ３０４は、ＣＰＵ３０１の制御にしたがってＨＤ３０４ａに対する各種データの読み出し、または書き込みを制御する。ＨＤ３０４ａは、プログラム等の各種データを記憶する。

ネットワークＩ／Ｆ３０５は、通信ネットワーク９を経由して表示端末５０と通信（接続）を行う通信インターフェースである。ネットワークＩ／Ｆ３０５は、例えば、有線または無線ＬＡＮ（Local Area Network）等の通信インターフェースである。また、ネットワークＩ／Ｆ３０５は、３Ｇ（3rd Generation）、ＬＴＥ(Long Term Evolution)、４Ｇ（4th Generation）、５Ｇ（5th Generation）、Ｚｉｇｂｅｅ（登録商標）、ＢＬＥ（Bluetooth（登録商標）Low Energy）、ミリ波無線通信の通信インターフェースを備えてもよい。

入出力Ｉ／Ｆ３０６は、文字、数値、各種指示等を各種外部機器等との間で入出力するためのインターフェースである。入出力Ｉ／Ｆ３０６は、ＬＣＤ（Liquid Crystal Display）等のディスプレイ３０６ａに対するカーソル、メニュー、ウィンドウ、文字または画像等の各種情報の表示を制御する。ディスプレイ３０６ａは、入力手段を備えたタッチパネルディスプレイであってもよい。また、入出力Ｉ／Ｆ３０６は、ディスプレイ３０６ａのほかに、例えば、マウス、キーボード等の入力手段が接続されていてもよい。

メディアＩ／Ｆ３０７は、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、光学ディスクまたはフラッシュメモリ等の記録メディア３０７ａに対するデータの読み出しまたは書き込み（記憶）を制御する。音入出力Ｉ／Ｆ３０８は、ＣＰＵ３０１の制御に従ってマイク３０８ａおよびスピーカ３０８ｂとの間で音信号の入出力を処理する回路である。外部Ｉ／Ｆ３０９は、制御装置３０に他の装置を接続するためのインターフェースである。

バスライン３１０は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等であり、アドレス信号、データ信号、および各種制御信号等を伝送する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、ネットワークＩ／Ｆ３０５、入出力Ｉ／Ｆ３０６、メディアＩ／Ｆ３０７、音入出力Ｉ／Ｆ３０８および外部Ｉ／Ｆ３０９は、バスライン３１０を介して相互に接続されている。

さらに、制御装置３０には、外部Ｉ／Ｆ３０９を介して、移動モータ１０１、アクチュエータ１０２、加速度・方位センサ１０３、ＧＰＳ受信部１０４、電源供給ユニット１０５、並びに上述した特殊撮影装置２１および一般撮影装置２３が接続されている。

移動モータ１０１は、ＣＰＵ３０１からの命令に基づき、移動機構１７を回転駆動させてロボット１０を地面に沿って移動させる。アクチュエータ１０２は、ＣＰＵ３０１からの命令に基づき、可動アーム１１を変形させる。加速度・方位センサ１０３は、地磁気を検知する電子磁気コンパス、ジャイロコンパスおよび加速度センサ等のセンサである。ＧＰＳ（Global Positioning System）受信部１０４は、ＧＰＳ衛星からＧＰＳ信号を受信する。電源供給ユニット１０５は、ロボット１０の全体に必要な電源を供給するユニットである。

〇表示端末５０のハードウエア構成〇
続いて、図１４を用いて、表示端末５０のハードウエア構成について説明する。図１４は、実施形態に係る表示端末のハードウエア構成の一例を示す図である。表示端末５０は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）５０４、撮像素子Ｉ／Ｆ５０５、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ５０５ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０７およびＧＰＳ受信部５０８を備えている。

ＣＰＵ５０１は、表示端末５０全体の動作を制御する。ＣＰＵ５０１は、ＲＯＭ５０２等に格納されたプログラムまたはデータをＲＡＭ５０３上に読み出し、処理を実行することで、表示端末５０の各機能を実現する演算装置である。遠隔制御システム１ａは、例えば、本発明に係るプログラムの一部または全てをＣＰＵ５０１で実行することによって、本発明に係る出力制御方法を実現する。

ＲＯＭ５０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、表示端末用プログラム等の各種データの読み出しまたは書き込みを行う。

ＣＭＯＳセンサ５０５ａは、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ５０５は、ＣＭＯＳセンサ５０５ａの駆動を制御する回路である。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパス、ジャイロコンパスおよび加速度センサ等の各種センサである。メディアＩ／Ｆ５０７は、フラッシュメモリ等の記録メディア５０７ａに対するデータの読み出しまたは書き込み（記憶）を制御する。ＧＰＳ受信部５０８は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、表示端末５０は、遠距離通信回路５１０、遠距離通信回路５１０のアンテナ５１０ａ、音入出力Ｉ／Ｆ５１１、マイク５１１ａ、スピーカ５１１ｂ、ディスプレイ５１２、外部機器接続Ｉ／Ｆ５１３、近距離通信回路５１４、近距離通信回路５１４のアンテナ５１４ａ、タッチパネル５１５、タイマ５１６および視線検出装置５１７を備えている。

遠距離通信回路５１０は、通信ネットワーク９を介して、他の機器と通信する回路である。マイク５１１ａは、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１１は、ＣＰＵ５０１の制御に従ってマイク５１１ａおよびスピーカ５１１ｂとの間で音信号の入出力を処理する回路である。

ディスプレイ５１２は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ等の表示手段の一種である。外部機器接続Ｉ／Ｆ５１３は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１４は、Ｗｉ−Ｆｉ、ＮＦＣ、またはＢｌｕｅｔｏｏｔｈ等の通信回路である。タッチパネル５１５は、利用者がディスプレイ５１２を押下することで、表示端末５０を操作する入力手段の一種である。タイマ５１６は、時間計測機能を有する計測装置である。タイマ５１６は、コンピュータによるソフトタイマであってもよい。視線検出装置５１７は、ユーザの視線の位置を視線情報として連続的に検知する。視線検出装置５１７は、例えば、ＣＭＯＳセンサ５０５ａで撮像した画像を分析する画像処理装置を含む。視線検出装置５１７は、例えば、基準点を目頭とし、目頭と虹彩との位置関係から視線の方向を検知する。

また、表示端末５０は、バスライン５０９を備えている。バスライン５０９は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

〇管理サーバ９０のハードウエア構成〇
続いて、図１５を用いて、管理サーバ９０のハードウエア構成について説明する。図１５は、実施形態に係る管理サーバのハードウエア構成の一例を示す図である。管理サーバ９０は、一般的なコンピュータによって構築されている。管理サーバ９０は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＨＤＤ９０５、メディアＩ／Ｆ９０７、ディスプレイ９０８、ネットワークＩ／Ｆ９０９、キーボード９１１、マウス９１２、ＣＤ−ＲＷ（Compact Disc-ReWritable）ドライブ９１４、タイマ９１５およびバスライン９１０を備えている。なお、管理サーバ９０は、サーバとして機能するため、キーボード９１１やマウス９１２等の入力装置や、ディスプレイ９０８等の出力装置を備えていなくてもよい。

ＣＰＵ９０１は、管理サーバ９０全体の動作を制御する。ＲＯＭ９０２は、ＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＨＤＤ９０５は、ＣＰＵ９０１の制御にしたがってＨＤ９０４に対する各種データの読み出し、または書き込みを制御する。ＨＤ９０４は、プログラム等の各種データを記憶する。メディアＩ／Ｆ９０７は、フラッシュメモリ等の記録メディア９０６に対するデータの読み出し、または書き込み（記憶）を制御する。

ディスプレイ９０８は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ネットワークＩ／Ｆ９０９は、通信ネットワーク９を利用してデータ通信をするためのインターフェースである。キーボード９１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス９１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。ＣＤ−ＲＷドライブ９１４は、着脱可能な記録媒体の一例としてのＣＤ−ＲＷ９１３に対する各種データの読み出し等を制御する。タイマ９１５は、時間計測機能を有する計測装置である。タイマ９１５は、コンピュータによるソフトタイマであってもよい。

また、管理サーバ９０は、バスライン９１０を備えている。バスライン９１０は、図１５に示すＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

●第１の実施形態●
続いて、図１６乃至図３８を用いて、第１の実施形態に係る遠隔制御システムの構成について説明する。

●機能構成
まず、図１６を用いて、第１の実施形態に係る遠隔制御システムの機能構成について説明する。図１６は、第１の実施形態に係る遠隔制御システムの機能構成の一例を示す図である。

〇制御装置３０の機能構成〇
まず、図１６を用いて、ロボット１０の処理または動作を制御する制御装置３０の機能構成について説明する。制御装置３０によって実現される機能は、送受信部３１、操作入力受付部３２、表示制御部３３、判断部３４、状態情報生成部３５、撮影指示部３６、画像取得部３７、移動制御部３８、アーム操作制御部３９、記憶・読出部４１、位置情報検出部４２および記憶部３０００を含む。

送受信部３１は、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部３１は、例えば、通信ネットワーク９を介して、画像取得部３７によって取得された全天球画像データ２００または詳細画像データ２５０を、表示端末５０へ送信する。送受信部３１は、主に、図１３に示したＣＰＵ３０１の処理、およびネットワークＩ／Ｆ３０５によって実現される。送受信部３１は、第２の送信手段の一例である。

操作入力受付部３２は、ディスプレイ３０６ａ等の入力手段に対する操作入力を受け付ける機能である。操作入力受付部３２は、主に、図１３に示したＣＰＵ３０１の処理、および入出力Ｉ／Ｆ３０６によって実現される。表示制御部３３は、ディスプレイ３０６ａに各種画面を表示させる機能である。表示制御部３３は、主に、図１３に示したＣＰＵ３０１の処理、および入出力Ｉ／Ｆ３０６によって実現される。

判断部３４は、表示端末５０から送信されてきた要求コマンドに応じてロボット１０が実行する処理または動作を判断する機能である。判断部３４は、主に、図１３に示したＣＰＵ３０１の処理によって実現される。

状態情報生成部３５は、ロボット１０の移動状態を示す状態情報１５０を生成する機能である。状態情報生成部３５は、移動制御部３８から取得される移動機構１７の駆動状態に基づいて、ロボット１０の移動状態を示す状態情報１５０を生成して取得する。状態情報生成部３５によって生成（取得）される状態情報１５０の詳細は、後述する。状態情報生成部３５は、主に、図１３に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。状態情報生成部３５は、第１の取得手段の一例である。

撮影指示部３６は、特殊撮影装置２１または一般撮影装置２３に対する撮影処理を指示する機能である。撮影指示部３６は、例えば、特殊撮影装置２１による撮影を指示するための指示情報を、特殊撮影装置２１へ送信する。また、撮影指示部３６は、例えば、一般撮影装置２３による撮影を指示するための指示情報を、一般撮影装置２３へ送信する。撮影指示部３６は、主に、図１３に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。

画像取得部３７は、特殊撮影装置２１によって取得された全天球画像、または一般撮影装置２３によって取得された詳細画像を取得する機能である。画像取得部３７は、例えば、特殊撮影装置２１が被写体を撮影して取得した全天球画像である全天球画像データ２００を、特殊撮影装置２１から取得する。また、画像取得部３７は、例えば、特殊撮影装置２１によって撮影された被写体の一部を一般撮影装置２３が撮影して取得した詳細画像である詳細画像データ２５０を、一般撮影装置２３から取得する。画像取得部３７は、主に、図１３に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。画像取得部３７は、第２の取得手段の一例である。

移動制御部３８は、移動機構１７を駆動させることによって、ロボット１０の移動を制御する機能である。移動制御部３８は、例えば、表示端末５０から送信されてきた要求コマンドに応じて移動機構１７の駆動を制御することで、ロボット１０を移動させる。移動制御部３８は、主に、図１３に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。

アーム操作制御部３９は、可動アーム１１の操作を制御する機能である。アーム操作制御部３９は、例えば、表示端末５０から送信されてきた要求コマンドに含まれる「ＡＲＭ」コマンドに基づいて、可動アーム１１を変形させることで可動アーム１１の向きを変更する。アーム操作制御部３９は、主に、図１３に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。

位置情報検出部４２は、加速度・方位センサ１０３またはＧＰＳ受信部１０４によって検出される各方位（方位角、磁北）の方向等の検出結果を取得する機能である。各方位の方向等の検出結果は、ロボット１０の所定時点における位置および向きを示す位置情報である。位置情報検出部４２は、主に、図１３に示したＣＰＵ３０１の処理、および外部Ｉ／Ｆ３０９によって実現される。

記憶・読出部４１は、記憶部３０００に各種データを記憶させ、または記憶部３０００から各種データを読み出す機能である。記憶・読出部４１は、主に、図１３に示したＣＰＵ３０１の処理によって実現される。記憶部３０００は、主に、図１３に示したＲＯＭ３０２、ＨＤ３０４ａおよび記録メディア３０７ａによって実現される。

また、記憶部３０００は、画像取得部３７によって取得された全天球画像データ２００および詳細画像データ２５０を記憶している。さらに、記憶部３０００は、コマンドテーブル３００１および撮影パラメータ３００２を記憶している。なお、記憶部３０００に記憶されている全天球画像データ２００および詳細画像データ２５０は、画像取得部３７によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、表示端末５０へ送信されたデータが削除される構成であってもよい。

〇コマンドテーブル３００１
ここで、記憶部３０００に記憶されたデータの詳細について説明する。図１７（ａ）は、第１の実施形態に係るコマンドテーブルの一例を示す図である。図１７（ａ）に示すコマンドテーブル３００１は、表示端末５０から送信されてきた要求コマンドに基づいてロボット１０に実行させる処理または動作を特定するためのものである。コマンドテーブル３００１は、コマンドごとに、それぞれのコマンドに対応する変数および処理内容を関連づけて記憶している。制御装置３０の判断部３４は、コマンドテーブル３００１を用いて、表示端末５０から送信されてきた要求コマンドに対応する処理を特定する。

例えば、コマンドテーブル３００１において、コマンド「ＭＯＶＥ（変数Ｌ，Ｒ）」に対応する処理は、移動機構１７の左車輪をＬ°回転させ、右車輪をＲ°回転させる処理である。なお、ロボット１０は、二つの独立した左右の車輪によって動くものとして説明するが、移動機構１７が足型や単輪のものであっても、特定の方向へ移動できるものであれば、同様の処理が可能である。

〇撮影パラメータ３００２
図１７（ｂ）は、第１の実施形態に係る撮影パラメータの一例を示す図である。図１７（ｂ）に示す撮影パラメータ３００２は、特殊撮影装置２１によって撮影される全天球画像の画質を記憶している。撮影パラメータ３００２は、全天球画像の画質の項目ごとに、それぞれのパラメータが記憶されている。例えば、画質項目は、全天球画像のフレームレート（ＦＰＳ、１秒あたりの更新頻度）、全天球画像の解像度（ＲＥＳＯＬＵＴＩＯＮ）である。なお、画質項目は、これに限られず、全天球画像の画質に関するその他の項目が含まれていてもよい。制御装置３０の撮影指示部３６は、特殊撮影装置２１によって取得される全天球画像の画質が変更されるたびに、撮影パラメータ３００２に記憶されたパラメータを更新（変更）する。

〇表示端末５０の機能構成〇
次に、図１６を用いて、表示端末５０の機能構成について説明する。表示端末５０により実現される機能は、送受信部５１、操作入力受付部５２、表示制御部５３、判断部５４、要求コマンド生成部５５、視線検出部５６、記憶・読出部５７および記憶部５０００を含む。表示端末５０は、ロボット１０を遠隔操作するための専用のアプリケーションプログラムをインストールしている。表示端末５０は、例えば、インストールされたアプリケーションプログラムをＣＰＵ５０１が実行することによって各機能を実現する。

送受信部５１は、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部５１は、例えば、通信ネットワーク９を介して、全天球画像データ２００または詳細画像データ２５０を、ロボット１０（制御装置３０）から受信する。また、送受信部５１は、例えば、通信ネットワーク９を介して、ロボット１０の移動状態を示す状態情報１５０を、ロボット１０（制御装置３０）から受信（取得）する。さらに、送受信部５１は、例えば、通信ネットワーク９を介して、要求コマンド生成部５５によって生成された要求コマンドを、ロボット１０(制御装置３０)へ送信する。また、送受信部５１は、例えば、受信（取得）した状態情報１５０に基づいて、ロボット１０が備える一般撮影装置２３に対する撮影要求である要求コマンドを出力する。送受信部５１は、主に、図１４に示したＣＰＵ５０１の処理、および遠距離通信回路５１０によって実現される。送受信部５１は、第１の取得手段の一例である。また、送受信部５１は、第１の受信手段の一例である。さらに、送受信部５１は、第１の送信手段の一例である。

操作入力受付部５２は、表示端末５０への各種選択または操作入力を受け付ける機能である。操作入力受付部５２は、主に、図１４に示したＣＰＵ５０１の処理、およびタッチパネル５１５によって実現される。なお、タッチパネル５１５は、ディスプレイ５１２と共用であってもよい。また、操作入力受付部５２は、タッチパネル以外の入力手段によって実現されてもよい。操作入力受付部５２は、受付手段の一例である。

表示制御部５３は、表示端末５０のディスプレイ５１２に各種画像を表示させる機能である。表示制御部５３は、例えば、送受信部５１によって受信された全天球画像データ２００または詳細画像データ２５０を、ディスプレイ５１２に表示させる。また、表示制御部５３は、例えば、送受信部５１によって受信（取得）された状態情報１５０に基づいて、ディスプレイ５１２に表示させる全天球画像データ２００または詳細画像データ２５０の表示を切り替える。すなわち、表示制御部５３は、送受信部５１によって受信（取得）された状態情報１５０に基づいて、全天球画像データ２００または詳細画像データ２５０を出力する。表示制御部５３は、主に、図１４に示したＣＰＵ５０１の処理、およびディスプレイ５１２によって実現される。表示制御部５３は、表示制御手段の一例である。また、ディスプレイ５１２は、表示手段の一例である。

判断部５４は、ロボット１０へ要求する特定の処理を判断する機能である。判断部５４は、例えば、操作入力受付部５２によって受け付けられた操作入力に基づいて、ロボット１０へ要求する特定の処理を判断する。また、判断部５４は、例えば、送受信部５１によって受信（取得）された状態情報１５０に基づいて、ロボット１０へ要求する特定の処理を判断する。判断部５４は、主に、図１３に示したＣＰＵ３０１の処理によって実現される。

要求コマンド生成部５５は、ロボット１０に特定の処理を実行されるための実行要求である要求コマンドを生成する機能である。要求コマンド生成部５５は、例えば、ロボット１０が備える一般撮影装置２３に対する撮影要求である要求コマンドを生成する。要求コマンド生成部５５は、主に、図１４に示したＣＰＵ５０１の処理によって実現される。

視線検出部５６は、表示端末５０を用いてロボット１０を操作する操作者の視線を検出する機能である。視線検出部５６は、主に、図１４に示したＣＰＵ５０１の処理、および視線検出装置５１７によって実現される。

記憶・読出部５７は、記憶部５０００に各種データを記憶させ、または記憶部５０００から各種データを読み出す機能である。記憶・読出部５７は、主に、図１４に示したＣＰＵ５０１の処理によって実現される。記憶部５０００は、主に、図１０に示したＲＯＭ５０２、ＥＥＰＲＯＭ５０４および記録メディア５０７によって実現される。

また、記憶部５０００は、送受信部５１によって受信された全天球画像データ２００、および詳細画像データ２５０を記憶している。さらに、記憶部５０００は、状態管理テーブル５００１、条件テーブル５００２、およびユーザコマンドテーブル５００３を記憶している。なお、記憶部５０００に記憶されている全天球画像データ２００および詳細画像データ２５０は、送受信部５１によって受信されてから所定の時間経過した場合に削除される構成であってもよいし、操作入力受付部５２によって受け付けられた、ユーザからの削除命令に基づいて削除される構成であってもよい。

〇状態管理テーブル５００１
ここで、記憶部５０００に記憶されたデータの内容について説明する。図１８は、第１の実施形態に係る状態管理テーブルの一例を示す図である。図１８に示す状態管理テーブル５００１には、ロボット１０の現在の移動状態が記憶されている。状態管理テーブル５００１は、ロボット１０の進行方向および進行速度のそれぞれに対して、ロボット１０の現在の移動状態を示す値が記憶されている。ロボット１０の進行方向は、水平角度（Ｈ＿ＡＮＧＬＥ）と垂直角度（Ｖ＿ＡＮＧＬＥ）によって示される。表示端末５０は、ロボット１０が移動するたびに、状態管理テーブル５００１に含まれる各項目の値を更新（変更）する。具体的には、表示端末５０の記憶・読出部５７は、送受信部５１によって受信された状態情報１５０（図２８参照）に基づいて、状態管理テーブル５００１の内容を更新する。

〇条件テーブル５００２
図１９は、第１の実施形態に係る条件テーブルの一例を示す図である。図１９に示す条件テーブル５００２は、送受信部５１によって受信された状態情報１５０に基づいて、ロボット１０に対して要求する処理または動作の内容を特定するために用いられるものである。条件テーブル５００２は、ロボット１０の移動状態に関する条件のそれぞれに、処理の内容およびロボット１０へ送信するコマンドの内容を関連づけて記憶している。例えば、ロボット１０の進行速度が５．０ｋｍ以上の場合（「ＳＰＥＥＤ＞５ｋｍ／ｈ」）、表示端末５０は、処理の内容として「フレームレートを３に下げる」処理を特定するとともに、ロボット１０へ送信するコマンドとして「ＦＰＳ（３）」を特定する。なお、「ＲＥＳＯＬＵＴＩＯＮ」は、全天球画像の解像度に関するコマンドであり、「ＺＯＯＭ」は、全天球画像の表示範囲（出力範囲）に関するコマンドである。また、条件テーブル５００２に含まれる条件、または処理の内容は、これに限られず、表示端末５０を用いてロボット１０を操作する操作者等によって適宜修正・変更可能である。

〇ユーザコマンドテーブル５００３
図２０は、第１の実施形態に係るユーザコマンドテーブルの一例を示す図である。図２０に示すユーザコマンドテーブル５００３は、操作入力受付部５２によって受け付けられた操作入力に基づいて、ロボット１０に対して要求する処理または動作の内容を特定するために用いられるものである。ユーザコマンドテーブル５００３は、操作入力受付部５２によって受け付けられた操作入力に対応する入力コマンドに、対応する処理の内容および処理の種別を関連づけて記憶している。

〇管理サーバ９０の機能構成〇
次に、図１６を用いて、管理サーバ９０の機能構成について説明する。管理サーバ９０によって実現される機能は、送受信部９１、認証部９２、判断部９３、作成部９４、記憶・読出部９５および記憶部９０００を含む。

送受信部９１は、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部９１は、主に、図１５に示したＣＰＵ９０１の処理、およびネットワークＩ／Ｆ９０９によって実現される。

認証部９２は、送受信部９１によって受信されたログイン要求に基づいて、ログイン要求元の認証を行う機能である。認証部９２は、例えば、送受信部９１によって受信されたログイン要求に含まれている端末ＩＤおよびパスワードを検索キーとし、記憶部９０００の認証管理ＤＢ９００１を検索する。そして、認証部９２は、認証管理ＤＢ９００１に同一の組の端末ＩＤおよびパスワードが管理されているかを判断することによって端末認証を行う。認証部９２は、主に、図１５に示したＣＰＵ９０１の処理によって実現される。

判断部９３は、後述するセッション管理テーブルに、表示端末５０の端末ＩＤが管理されているかを判断する機能である。判断部９３は、主に、図１５に示したＣＰＵ９０１の処理によって実現される。

作成部９４は、通信に使用されるセッションＩＤを作成する機能である。作成部９４は、主に、図１５に示したＣＰＵ９０１の処理によって実現される。

記憶・読出部９５は、記憶部９０００に各種データを記憶させ、または記憶部９０００から各種データを読み出す機能である。記憶・読出部９５は、主に、図１５に示したＣＰＵ９０１の処理によって実現される。記憶部９０００は、主に、図１５に示したＲＯＭ９０２、ＨＤ９０４または記録メディア９０６によって実現される。また、この記憶部９０００には、後述する図２４に示す宛先リスト画面５００における宛先リスト枠データ（図２４に示すアイコン、「ｒＡ０１」、「ロボット１０Ａ−１」等の宛先リスト内容情報は含まれない）が記憶されている。

〇認証管理テーブル
記憶部９０００には、図２１（ａ）に示すような認証管理テーブルによって構成されている認証管理ＤＢ９００１が構築されている。この認証管理テーブルには、管理サーバ９０によって管理される全ての表示端末５０の各端末ＩＤに対して、各パスワードが関連づけられた関連情報が管理されている。例えば、図２１（ａ）に示されている認証管理テーブルでは、表示端末５０Ａの端末ＩＤは「ｏ０１」で、パスワードは「ａａａａ」であることが表されている。

〇端末管理テーブル
また、記憶部９０００には、図２１（ｂ）に示すような端末管理テーブルによって構成されている端末管理ＤＢ９００２が構築されている。この端末管理テーブルには、各端末（ロボット１０および表示端末５０）の端末ＩＤごとに、各端末の端末名、端末のＩＰアドレス、各端末の現在の稼動状態を示す稼動状態情報、および端末がロボット１０である場合のロボット１０が位置する拠点を示す拠点名が関連づけられた関連情報が管理されている。

例えば、図２１（ｂ）に示す端末管理テーブルにおいて、端末ＩＤが「ｏ０１」の表示端末５０は、端末名が「表示端末５０Ａ」で、この表示端末５０のＩＰアドレスが「１．２．１．３」で、稼動状態が「オンライン（通話可能）」であることが示されている。また、端末ＩＤが「ｒＡ０１」のロボット１０は、端末名が「ロボット１０Ａ−１」で、このロボット１０のＩＰアドレスが「１．３．２．３」で、稼動状態が「オンライン（通話可能）」で、拠点名が「拠点Ａ」であることが示されている。

〇宛先リスト管理テーブル
さらに、記憶部９０００には、図２２（ａ）に示すような宛先リスト管理テーブルによって構成されている宛先リスト管理ＤＢ９００３が構築されている。この宛先リスト管理テーブルには、ロボット１０の遠隔操作を行うための通信の開始を要求する開始端末としての表示端末５０の端末ＩＤごとに、宛先となるロボット１０の候補として登録されている宛先候補のロボット１０の端末ＩＤが関連づけられた関連情報が管理されている。

例えば、図２２（ａ）に示す宛先リスト管理テーブルにおいて、端末ＩＤが「ｏ０１ａ」である開始端末（表示端末５０Ａ）から通信の開始を要求することができる宛先候補は、端末ＩＤが「ｒＡ０１」のロボット１０Ａ−１、端末ＩＤが「ｒＡ０２」のロボット１０Ａ−２、端末ＩＤが「ｒＣ０１」のロボット１０Ｃ−１等であることが示されている。なお、宛先候補のロボット１０の端末ＩＤは、任意の開始端末（表示端末５０）から管理サーバ９０に対する追加または削除の要請により、追加または削除されることで更新される。

〇セッション管理テーブル
さらに、記憶部９０００には、図２２（ｂ）に示すようなセッション管理テーブルによって構成されているセッション管理ＤＢ９００４が構築されている。このセッション管理テーブルには、ロボット１０と表示端末５０との間で通信する際に利用されるセッションを識別するためのセッションＩＤごとに、このセッションＩＤによって特定されるセッションを使用中のロボット１０および表示端末５０の端末ＩＤが関連づけられた関連情報が管理されている。例えば、図２２（ｂ）に示すセッション管理テーブルにおいて、セッションＩＤ「ｓｅ１」を用いて実行されたセッションを使用中の端末は、端末ＩＤが「ｏ０１」の表示端末５０Ａ、端末ＩＤが「ｒＡ０２」のロボット１０Ａ−２、および端末ＩＤが「ｒＣ０１」のロボット１０Ｃ−１であることが示されている。

●第１の実施形態の処理または動作
続いて、図２３乃至図３８を用いて、第１の実施形態に係る遠隔制御システムの動作または処理について説明する。なお、以降の説明において、ロボット１０が備える制御装置３０によって実行される処理は、ロボット１０によって実行される処理として説明する。

〇セッション確立処理〇
まず、図２３乃至図２５を用いて、ロボット１０と表示端末５０との間における通信セッションの確立処理について説明する。図２３は、ロボットと表示端末との間でデータの送受信を開始する準備段階の処理の一例を示すシーケンス図である。ここでは、開始端末としての表示端末５０Ａと、宛先端末としてのロボット１０Ａ−１との間で、データの送受信を開始する前の準備段階における各管理情報の送受信処理について説明する。

まず、ステップＳ１１において、表示端末５０Ａの送受信部５１は、通信ネットワーク９を介して、管理サーバ９０へログイン要求を送信する。具体的には、表示端末５０Ａのユーザは、表示端末５０Ａにおける電源スイッチをＯＮにすると、電源がＯＮになる。そして、表示端末５０Ａの送受信部５１は、上記電源ＯＮを契機とし、送受信部５１から通信ネットワーク９を介して、管理サーバ９０へ、ログイン要求を送信する。これにより、管理サーバ９０の送受信部９１は、表示端末５０Ａから送信されたログイン要求を受信する。

このログイン要求には、表示端末５０Ａとしての開始端末を識別するための端末ＩＤ、およびパスワードが含まれている。これら端末ＩＤおよびパスワードは、記憶・読出部５７によって記憶部５０００から読み出されて、送受信部５１に送られたデータである。なお、これら端末ＩＤおよびパスワードは、これに限るものではなく、ユーザがタッチパネル５１５等の入力手段によって入力した端末ＩＤやパスワードが送信されてもよい。また、表示端末５０Ａに接続されたＳＩＭ（Subscriber Identity Module Card）カードやＳＤカード等の記憶媒体から読み出された端末ＩＤやパスワードが送信されてもよい。

また、表示端末５０Ａから管理サーバ９０へログイン要求が送信される際は、受信側である管理サーバ９０は、送信側である表示端末５０ＡのＩＰアドレスを取得することができる。また、ログイン要求の開始は、必ずしも電源スイッチをＯＮにすることを契機とする必要はなく、ユーザによるタッチパネル５１５等の入力手段への入力に応じて送信してもよい。

次に、ステップＳ１２において、管理サーバ９０の認証部９２は、送受信部９１を介して受信したログイン要求に含まれている端末ＩＤおよびパスワードを検索キーとして、記憶部９０００の認証管理テーブル（図２１（ａ）参照）を検索し、認証管理ＤＢ９００１に同一の端末ＩＤおよび同一のパスワードが管理されているかを判断することによって認証を行う。以下、表示端末５０Ａが認証部９２によって正当な利用権限を有する端末であると判断された場合について説明する。

ステップＳ１３において、記憶・読出部９５は、認証部９２によって同一の端末ＩＤおよび同一のパスワードが管理されていることにより、正当な利用権限を有する開始端末からのログイン要求であると判断された場合、記憶部９０００から宛先リスト枠データを読み出す。

ステップＳ１４において、送受信部９１は、認証部９２によって得られた認証結果が示された認証結果情報を、通信ネットワーク９を介して、上記ログイン要求してきた表示端末５０へ送信する。これにより、表示端末５０Ａの送受信部５１は、認証結果情報を受信する。この認証結果情報には、上記ステップＳ１３によって読み出された宛先リスト枠データが含まれている。そして、ステップＳ１５において、表示端末５０Ａの記憶・読出部５７は、上記ステップＳ１４によって受信された宛先リスト枠データを、記憶部５０００に記憶させる。

次に、ステップＳ１６において、表示端末５０Ａの送受信部５１は、正当な利用権限を有する端末であると判断された認証結果が示された認証結果情報を受信した場合、通信ネットワーク９を介して管理サーバ９０へ、宛先リストの内容を要求する。これにより、管理サーバ９０の送受信部９１は、宛先リストの内容の要求を受信する。この要求には、表示端末５０Ａの端末ＩＤが含まれている。

次に、ステップＳ１７において、管理サーバ９０の記憶・読出部９５は、上記ステップＳ１６によって受信された表示端末５０の端末ＩＤ「ｏ０１」を検索キーとして、宛先リスト管理テーブル（図２２（ａ））参照を検索し、対応する全ての宛先候補の端末ＩＤを読み出す。さらに、ステップＳ１８において、記憶・読出部９５は、ステップＳ１７によって読み出した各端末ＩＤを検索キーとして、端末管理テーブル（図２１（ｂ）参照）を検索し、対応する宛先候補の端末名、稼動状態情報および拠点名を読み出す。

次に、ステップＳ１９において、管理サーバ９０の送受信部９１は、通信ネットワーク９を介して表示端末５０Ａへ、宛先リスト内容情報を送信する。これにより、表示端末５０Ａの送受信部５１は、宛先リスト内容情報を受信する。この宛先リスト内容情報には、上記ステップＳ１７，Ｓ１８によって読み出された、宛先候補の端末ＩＤ、宛先候補の端末名、稼動状態情報および拠点名が含まれている。

次に、ステップＳ２０において、表示端末５０Ａの表示制御部５３は、上記ステップＳ１５によって記憶部５０００に記憶された宛先リスト枠データ、および上記ステップＳ１９によって受信された宛先リスト内容情報を用いて作成された宛先リスト画面５００を、ディスプレイ５１２に表示させる。

ディスプレイ５１２には、図２４に示すような宛先リスト画面５００が表示される。この宛先リスト画面５００には、宛先候補ごとに、宛先候補の端末（ロボット１０）の稼動状態を示したアイコン、宛先候補の端末の端末ＩＤ、宛先候補の宛先名、および宛先候補の端末が位置する拠点名が表されている。なお、上記ステップＳ１９によって、管理サーバ９から送られてきた「端末名」は、図２４に示す宛先リスト画面５００では、「宛先名」として表示される。

続いて、図２５を用いて、表示端末５０における宛先候補の選択から画像データの送受信を開始するまでの処理を説明する。図２５は、宛先候補の選択から画像データの送受信を開始するまでの処理を示したシーケンス図である。

まず、ステップＳ３１において、表示端末５０Ａの操作入力受付部５２は、ユーザから図２４に示した宛先リスト画面の宛先候補（ここでは、ロボット１０Ａ−１）の選択を受け付ける。そして、ステップＳ３２において、表示端末５０Ａの送受信部５１は、管理サーバ９０に対して、画像データ等の送受信を開始したい旨を示す開始要求を送信する。これにより、管理サーバ９０の送受信部９１は、開始要求を受信する。また、開始要求には、表示端末５０Ａの端末ＩＤ、および宛先候補の端末の端末ＩＤが含まれている。

次に、ステップＳ３３において、管理サーバ９０の判断部９３は、上記ステップＳ３２によって受信された表示端末５０Ａの端末ＩＤがセッション管理テーブル（図２２（ｂ）参照）で管理されているか否かを判断する。ここでは、宛先候補の端末（ロボット１０Ａ−１）の端末ＩＤが管理されていない場合について、以下説明を続ける。

ステップＳ３４において、宛先候補の端末の端末ＩＤが管理されていない場合、管理サーバ９０の作成部９４は、新たにセッションＩＤを作成する。そして、ステップＳ３５において、記憶・読出部９５は、セッション管理テーブル（図２２（ｂ）参照）に、上記ステップＳ３４によって作成されたセッションＩＤ、並びに上記ステップＳ３２によって受信された表示端末５０Ａの端末ＩＤおよび宛先候補の端末の端末ＩＤを関連づけた新たなレコードを追加記憶する。ここでは、図２１（ｂ）に示したように、新たなレコードが追加されることで、セッションＩＤ「ｓｅ３」、および端末ＩＤ「ｏ０１」，「ｒＡ０１」が関連づけて管理される。

次に、ステップＳ３６において、管理サーバ９０の送受信部９１は、表示端末５０Ａに対して、上記ステップＳ３４によって作成されたセッションＩＤが含まれたセッション開始指示を送信する。これにより、表示端末５０Ａの送受信部５１は、セッション開始指示を受信する。

次に、ステップＳ３７において、管理サーバ９０の記憶・読出部９５は、上記ステップＳ３２によって送られてきた宛先候補の端末（ロボット１０Ａ−１）の端末ＩＤを検索キーとして端末管理テーブル（図２１（ｂ）参照）を検索することにより、対応するＩＰアドレスを読み出す。そして、ステップＳ３８において、管理サーバ９０の送受信部９１は、上記ステップＳ３７によって読み出されたＩＰアドレスに対して、上記ステップＳ３３によって作成されたセッションＩＤが含まれたセッション開始指示を送信する。これにより、宛先端末（ロボット１０Ａ−１）の送受信部３１は、セッション開始指示を受信する。

以上により、開始端末（表示端末５０Ａ）および宛先端末（ロボット１０Ａ−１）は、それぞれ管理サーバ９０と通信セッションを確立する(ステップＳ３９−１，Ｓ３９−２)。

〇画像データの送信および表示〇
続いて、管理サーバ９０との間で確立されたセッションを用いて、ロボット１０から表示端末５０へ送信されるデータ、および表示端末５０によってロボット１０の処理もしくは動作を制御する処理について説明する。図２６は、第１の実施形態に係る遠隔制御システムにおいて、ロボットから表示端末への各種データの送信処理の一例を説明するためのシーケンス図である。

ステップＳ５１−１,５１−２において、ロボット１０の送受信部３１は、確立された管理サーバ９０との通信セッションを用いて、特殊撮影装置２１によって取得された全天球画像データ２００を、表示端末５０へ送信する。これにより、表示端末５０の送受信部５１は、全天球画像データ２００を受信する。

ここで、ロボット１０は、撮影指示部３６から特殊撮影装置２１への撮影指示をトリガーとして、特殊撮影装置２１による撮影を開始する。ロボット１０の画像取得部３７は、特殊撮影装置２１によって取得された全天球画像である全天球画像データ２００を、特殊撮影装置２１から取得する。そして、ロボット１０の送受信部３１は、画像取得部３７によって取得された全天球画像データ２００を、表示端末５０へ送信する。

ステップＳ５２において、表示端末５０の表示制御部５３は、送受信部５１によって受信された全天球画像データ２００を、ディスプレイ５１２の表示画面６００ａに表示させる。これによって、表示端末５０を用いてロボット１０を遠隔操作する操作者は、ロボット１０が位置する拠点の状況を、全天球画像データ２００が表示された表示画面６００ａを見ながら確認することができる。

ここで、ロボット１０の操作者は、表示端末５０に表示された全天球画像データ２００を見ながら、ロボット１０の遠隔操作を行うため、表示端末５０に表示される全天球画像データ２００にはリアルタイム性が求められる。そのため、ロボット１０の送受信部３１は、特殊撮影装置２１によって取得された全天球画像データ２００を表示端末５０へ常時送信する。このような特性上、特殊撮影装置２１によって取得される全天球画像データ２００は、動画データであることが好ましい。この場合、表示端末５０を用いてロボット１０を操作する操作者は、ロボット１０から送信されることによって表示端末５０においてストリーミング再生される全天球画像の動画データを確認しながら、ロボット１０の遠隔操作を行うことができ、特殊撮影装置２１またはロボット１０の向きを変えることなく、ロボット１０の周囲を広範囲に確認することができる。

図２７は、第１の実施形態に係る表示端末に表示される表示画面の画面例の一例を示す図である。表示端末５０では、表示制御部５３がディスプレイ５１２に、図２７に示すような表示画面６００ａを表示させる。この表示画面６００ａには、ロボット１０から送信されてきた全天球画像データ２００を表示させるための表示領域６１０、ロボット１０から送信されてきた詳細画像データ２５０を表示させるための表示領域６３０、表示領域６１０に表示された全天球画像データ２００の表示方向を、ロボット１０の現在の進行方向に変更（リセット）する場合に押下される「ホーム」ボタン６０１、ロボット１０の一般撮影装置２３に対する撮影を要求する場合に押下される「撮影」ボタン６０３、ロボット１０の水平方向（前進、後退、右回転、左回転）の移動を要求する場合に押下される移動指示キー６０５、ロボット１０の移動速度の状態を示す移動速度を表示される速度バー６０７、表示領域６１０に表示された全天球画像データ２００のズーム状態を示すズームバー６１３を含む。

表示端末５０を用いてロボット１０を遠隔操作する操作者は、表示領域６１０および表示領域６３０の右上にあるそれぞれのタブを選択することによって、全天球画像と詳細画像の表示を切り替える。表示領域６１０には、ロボット１０から送信されてきた全天球画像データ２００の一部（例えば、図１１に示した所定領域画像Ｑ）が表示される。操作者は、全天球画像データ２００が表示された表示領域６１０内に、マウスポインタ６２０を移動させて所定の入力操作することで、全天球画像データ２００の表示方向またはズームの度合いを変更する。

また、操作者は、表示領域６１０に表示された全天球画像データ２００を見て、より詳細な画像を確認したい場合、「撮影」ボタン６０３を押下する。この場合、表示端末５０の要求コマンド生成部５５は、操作入力受付部５２によって「撮影」ボタン６０３の押下を受け付けた際に、表示領域６１０に表示されている全天球画像データの表示方向と同じ方向の撮影を一般撮影装置２３へ要求する撮影要求である要求コマンドを生成する。一般撮影装置２３によって取得された詳細画像である詳細画像データ２５０は、ロボット１０の画像取得部３７によって取得され、送受信部３１から表示端末５０へ送信される。表示端末５０は、送受信部５１によって受信された詳細画像データ２５０を、表示制御部５３によって表示領域６３０に表示させる。

なお、図２７において、表示画面６００ａに表示された移動指示キー６０５に対する操作入力を受け付けることによってロボット１０の移動を遠隔操作する例を説明するが、ロボット１０の移動操作は、キーボード、またはジョイスティクを備えたゲームパッド等の専用コントローラ等で行われる構成であってもよい。

また、表示端末５０は、表示画面６００ａに、ロボット１０の移動要求先の名称や会いたい人のリストを表示させ、ユーザに選択または住所等を入力させる方式であってもよい。この場合、表示端末５０は、入力された特定の場所にロボット１０を移動させるための要求コマンドをロボット１０へ送信し、ロボット１０は、要求コマンドで指定された移動先へ自律的に移動する。

図２６に戻り、ステップＳ５３において、ロボット１０は、後述する表示端末５０から送信される要求コマンド等に基づいて拠点内を移動する。この場合、ロボット１０の移動制御部３８は、後述する表示端末５０から送信される要求コマンド等に基づいて、移動機構１７の駆動を制御する。

次に、ステップＳ５４において、ロボット１０の状態情報生成部３５は、移動制御部３８から取得される移動機構１７の駆動状態に基づいて、ロボット１０の移動状態を示す状態情報１５０を生成する。図２８は、第１の実施形態に係る状態情報の一例を示す図である。図２８に示す状態情報１５０には、ロボット１０の進行方向（水平角度および垂直角度）と進行速度の項目に対応する情報が含まれている。状態情報１５０は、それぞれの項目に対応する変数名と、変数名に対応する数値が含まれる。例えば、図２８に示す状態情報１５０の場合、ロボット１０は、進行速度「７．４ｋｍ／ｈ」、水平角度「３７．２°」および垂直角度「４５．３°」の進行方向で移動している。なお、状態情報１５０は、ロボット１０の移動状態として、進行方向（水平角度および垂直角度）と進行速度の情報が含まれる例を説明したが、これに限られず、ロボット１０の移動距離等の情報を含んでもよい。

次に、ステップＳ５５−１,５５−２において、ロボット１０の送受信部３１は、確立された管理サーバ９０との通信セッションを用いて、状態情報生成部３５によって状態情報１５０を、表示端末５０へ送信する。これにより、表示端末５０の送受信部５１は、状態情報１５０を受信（取得）する。

そして、ステップＳ５６において、表示端末５０の記憶・読出部５７は、送受信部５１によって受信（取得）された状態情報１５０を、記憶部５０００に記憶された状態管理テーブル５００１（図１８参照）に記憶する。具体的には、表示端末５０の記憶・読出部５７は、送受信部５１によって受信（取得）された状態情報１５０に含まれるそれぞれの数値を、状態管理テーブル５００１の対応する変数名の箇所に記憶させることで、状態管理テーブル５００１に含まれる各項目の値を更新する。

次に、ステップＳ５７において、表示端末５０の表示制御部５３は、表示画面６００ａに、ロボット１０の移動状態を表示させる。図２９（ａ）に示す表示画面６００ｂは、ロボット１０が前進している場合に表示される画面である。表示画面６００ｂは、移動指示キー６０５のうち「前進」キーの色が変わることで、ロボット１０が前進していることを示している。表示端末５０の表示制御部５３は、送受信部５１によって受信された状態情報１５０に含まれる、変数名「Ｖ＿ＡＮＧＬＥ」および「Ｈ＿ＡＮＧＬＥ」に対応する数値に基づいて、移動指示キー６０５の表示を更新する。また、表示制御部５３は、移動指示キー６０５に対する操作入力を受け付けることによって、移動指示キー６０５の表示を更新してもよい。

また、表示画面６００ｂは、速度バー６０７の黒い部分の割合によって、ロボット１０の進行速度を示している。表示端末の表示制御部５３は、送受信部５１によって受信された状態情報１５０に含まれる変数名「ＳＰＥＥＤ」に対応する数値に基づいて、速度バー６０７の表示を更新する。

図２９（ｂ）に示す表示画面６００ｃは、ロボット１０が前進している場合に表示される画面の別の例である。図２９（ｂ）に示す表示画面６００ｃは、表示領域６１０に表示される全天球画像の表示範囲（出力範囲）が、図２９（ａ）に示す表示画面６００ｂと異なる。表示画面６００ｃは、表示領域６１０に表示される全天球画像がズームアウトしている（引いた状態である）ため、ズームバー６１３に示すバーが下方向に移動されている。ズームバー６１３は、バーの上下によって、表示領域６１０に表示された全天球画像のズームの度合いを示す。

また、表示画面６００ｃは、全天球画像がズームアウトした状態であるため、ロボット１０の頭６１５も表示される。これによって、表示端末５０を用いてロボット１０を操作する操作者は、ロボット１０とロボット１０の周囲とのおおよその位置関係や距離を把握することができる。表示画面６００ｃのような表示を行うためには、通常は別途カメラをロボット１０の後方に配置する必要があるが、表示端末５０は、表示された全天球画像のズーム機能を備えることによって、一台の特殊撮影装置２１から撮影された画像に基づいて、表示画面６００ｃを表示させることができる。

図３０に示す表示画面６００ｄは、ロボット１０が前進している場合に表示される画面の別の例である。図３０に示す表示画面６００ｄは、表示領域６１０内にロボット１０の進行方向が表示されている。図２９（ａ）に示した表示画面６００ｂおよび図２９（ｂ）に示した表示画面６００ｃの場合、操作者は、「ホーム」ボタン６０１を押下して表示領域６１０に表示される全天球画像の表示方向を、ロボット１０の現在の進行方向に変更させることで、ロボット１０の進行方向を確認することができる。一方で、表示画面６００ｃは、表示領域６１０に表示された全天球画像に、ロボット１０の進行方向を示す情報である進行方向アイコン６１７を、重畳させて表示する。これによって、操作者は、全天球画像の表示方向に関わらず、表示画面６００ｃを見ながらロボット１０の進行方向を確認することができる。

なお、表示画面６００ｄは、ロボット１０の進行速度に対応させて進行方向アイコン６１７の長さを変更してもよい。また、表示画面６００ｄは、ロボット１０が停止している際には、ロボット１０が最後に移動していた際の進行方向を、進行方向アイコン６１７を用いて表示してもよい。この場合、進行方向アイコン６１７は、点線または色の変更等、ロボット１０が移動している場合の表示とは異ならせることが好ましい。

これにより、遠隔制御システム１ａは、ロボット１０（制御装置３０）から送信された全天球画像データ２００を、表示端末５０に表示させることによって、表示端末５０を用いてロボット１０の遠隔操作を行う操作者に、ロボット１０の周囲の情報をより正確に把握させることができる。また、表示端末５０は、全天球画像データ２００とともに、ロボット１０の移動状態を示す情報を表示させることで、表示端末５０を用いてロボット１０の遠隔操作を行う操作者に、ロボット１０の周囲の情報に加えて、ロボット１０の移動状態を知らせることができる。

なお、ロボット１０の状態情報生成部３５は、移動制御部３８から取得した移動機構１７の駆動状態に変化があった場合に、状態情報１５０を生成する構成であってもよい。また、状態情報生成部３５は、予め定められた所定の頻度で状態情報１５０を生成する構成であってもよい。さらに、ロボット１０の送受信部３１は、状態情報生成部３５によって生成された状態情報１５０を保持しておき、予め定められた所定の頻度で状態情報１５０を送信する構成であってもよい。この場合、遠隔制御システム１ａは、表示端末５０に表示されるロボット１０の移動状態が頻繁に変化することによって生じる表示画面の見づらさを軽減させることができる。

〇ロボット１０の遠隔制御〇
続いて、表示端末５０に表示された表示画面を用いて行われるロボット１０の遠隔制御について説明する。まず、図３１を用いて、ロボット１０から送信された状態情報１５０に基づくロボット１０の操作制御の一例を説明する。図３１は、第１の実施形態に係る表示端末における、ロボットの移動状態に基づくロボットの制御処理の一例を説明するためのフローチャートである。

ステップＳ６１ａにおいて、表示端末５０の送受信部５１は、ロボット１０から送信された状態情報１５０を受信（取得）した場合、処理をステップＳ６２ａへ移行させる。一方で、送受信部５１は、状態情報１５０を受信（取得）していない場合、ステップＳ６１ａの処理を繰り返す。

ステップＳ６２ａにおいて、表示端末５０の記憶・読出部５７は、記憶部５０００に記憶された条件テーブル５００２（図１９参照）を読み出す。ステップＳ６３ａにおいて、表示端末５０の判断部５４は、記憶・読出部５７によって読み出された条件テーブル５００２を検索し、送受信部５１によって受信された状態情報１５０に含まれる変数のうち、条件テーブル５００２に含まれる条件を満たしているものがある場合、処理をステップＳ６４ａへ移行させる。例えば、状態情報１５０に含まれる変数名「ＳＰＥＥＤ」に対応する値が「３．０ｋｍ／ｈ」である場合、判断部５４は、条件テーブル５００２に含まれる項目のうち、「ＳＰＥＥＤ≦５．０ｋｍ／ｈ」、「ＳＰＥＥＤ＞１．０ｋｍ／ｈ」および「ＳＰＥＥＤ＞２．０ｋｍ／ｈ」が条件を満たしていると判断する。一方で、ステップＳ６２ａにおいて、判断部５４は、送受信部５１によって受信された状態情報１５０に含まれる変数のうち、条件テーブル５００２に含まれる条件を満たしているものがない場合、処理を終了する。

ステップＳ６４ａにおいて、表示端末５０の要求コマンド生成部５５は、上記ステップＳ６３の処理によって該当した項目に対応する処理を特定し、要求コマンドを生成する。例えば、要求コマンド生成部５５は、条件テーブル５００２に含まれる、条件を満たしている「ＳＰＥＥＤ≦５．０ｋｍ／ｈ」、「ＳＰＥＥＤ＞１．０ｋｍ／ｈ」および「ＳＰＥＥＤ＞２．０ｋｍ／ｈ」に対応する処理をそれぞれ特定する。そして、要求コマンド生成部５５は、条件テーブル５００２に含まれる、特定した処理に対応するコマンドを用いて、要求コマンドを生成する。この場合、要求コマンドに含まれるコマンドは、「ＦＰＳ（３０）」、「ＲＥＳＯＬＵＴＩＯＮ（５０％）」および「ＺＯＯＭ＝１０」である。なお、要求コマンドには、条件を満たした項目に対応する全てのコマンドを含んでもよいし、条件を満たした項目から選択（抽出）された項目に対応するコマンドのみを含んでもよい。

ステップＳ６５ａにおいて、表示端末５０の送受信部５１は、通信ネットワーク９を介して、要求コマンド生成部５５によって生成された要求コマンドを、ロボット１０へ送信する。これにより、ロボット１０の送受信部３１は、ロボット１０の現在の移動状態に応じた要求コマンドを、表示端末５０から受信する。ロボット１０は、要求コマンドを受信した場合、後述するコマンド処理（図３３参照）を実行する。

このように、表示端末５０は、ロボット１０の移動状態に基づいて、特殊撮影装置２１によって取得される全天球画像データ２００の全天球画像の画質の変更を要求することで、表示端末５０に表示される全天球画像の画質を変更することができる。表示端末５０は、例えば、ロボット１０が移動している場合において、全天球画像の画質を下げる要求を、ロボット１０へ送信してもよい。具体的には、表示端末５０は、全天球画像の解像度を落とす、またはフレームレートを下げる等の要求を、ロボット１０へ送信する。これによって、遠隔制御システム１ａは、表示端末５０に表示される全天球画像の解像度や更新頻度（フレームレート）を低下させることで、表示端末５０を用いてロボット１０を操作する操作者が全天球画像データ２００を見てロボット１０を操作する際に感じる酔い等の不快感を低減させることができる。

また、表示端末５０を用いてロボット１０の遠隔操作を行う場合、操作者は、表示端末５０に表示された全天球画像データ２００を見ながら操作入力を行うため、ロボット１０から送信される全天球画像データ２００にはリアルタイム性が要求される。通信ネットワーク９の混雑等による通信遅延が発生した場合、表示端末５０に表示される全天球画像データ２００には、実際のロボット１０の周囲の状況からタイムラグが生じてしまい、ロボット１０を遠隔操作する操作者にとって操作性を損なわせてしまう。そこで、遠隔制御システム１ａは、ロボット１０の移動状態に応じて、ロボット１０から送信される全天球画像データ２００の画質を変更することで、通信遅延等による表示画面のタイムラグによって発生する操作性の悪化を防止することができる。

なお、条件テーブル５００２に含まれる条件は、ロボット１０の進行速度に関する条件に限られず、ロボット１０が取得できる移動状態の他の情報に関する条件であってもよい。例えば、条件テーブル５００２は、ロボット１０の進行方向に関する条件を含んでもよい。

続いて、図３２を用いて、表示端末５０を用いてロボット１０を操作する操作者によって入力された入力コマンドに基づくロボット１０の操作制御の一例を説明する。図３２は、第１の実施形態に係る表示端末における、入力コマンドに基づくロボットの制御処理の一例を説明するためのフローチャートである。図３２は、表示端末５０のディスプレイ５１２に図２７に示した表示画面６００ａが表示されている場合について説明する。なお、表示端末５０のディスプレイ５１２に表示されている表示画面は、図２９または図３０に示したような別の表示画面であってもよい。

ステップＳ６１ｂにおいて、表示端末５０の操作入力受付部５２は、ディスプレイ５１２に表示された表示画面６００ａに対する特定の操作入力を受け付けた場合、処理をステップＳ６２ｂへ移行させる。操作入力受付部５２は、例えば、表示画面６００ａに含まれる移動指示キー６０５のいずれかのキーに対する操作入力を受け付ける。一方で、操作入力受付部５２は、表示画面６００ａに対する特定の操作入力を受け付けていない場合、ステップＳ６１ａの処理を繰り返す。

ステップＳ６２ｂは、表示端末５０の記憶・読出部５７は、記憶部５０００に記憶されたユーザコマンドテーブル５００３（図２０参照）を読み出す。ステップＳ６３ｂにおいて、表示端末５０の判断部５４は、記憶・読出部５７によって読み出されたユーザコマンドテーブル５００３を検索し、操作入力受付部５２によって受け付けられた操作入力に対応する入力コマンドを特定する。そして、判断部５４は、ユーザコマンドテーブル５００３を検索し、特定した入力コマンドに対応する処理を抽出する。例えば、操作入力受付部５２によって移動指示キーの「↑（前進）」キーに対する入力が受け付けられた場合、判断部５４は、入力コマンドとして「「↑（前進）」キーの押下」を特定する。そして、判断部５４は、特定した入力コマンドに対応する処理として、「ＭＯＶＥ（１０．０,１０.０）」を抽出する。

ステップＳ６４ｂにおいて、表示端末５０は、抽出した処理に対応する処理の種別が、「コマンドの送付」である場合、処理をステップＳ６５ｂへ移行させる。ステップＳ６５ｂにおいて、表示端末５０の要求コマンド生成部５５は、判断部５４によって抽出された処理に対応する要求コマンドを生成する。例えば、要求コマンド生成部５５は、抽出した処理が「ＭＯＶＥ（１０．０,１０.０）」である場合、「ＭＯＶＥ（１０．０,１０.０）」を含む要求コマンドを生成する。

ステップＳ６６ｂにおいて、表示端末５０の送受信部５１は、要求コマンド生成部５５によって生成された要求コマンドを、ロボット１０へ送信する。これにより、ロボット１０の送受信部３１は、操作者による入力操作に応じた要求コマンドを、表示端末５０から受信する。ロボット１０は、要求コマンドを受信した場合、後述するコマンド処理（図３３参照）を実行する。

一方で、ステップＳ６４ｂにおいて、表示端末５０は、抽出した処理に対応する処理の種別が、「コマンドの送付」でない場合、処理をステップＳ６７ｂへ移行させる。ステップＳ６７ｂにおいて、表示端末５０は、上記ステップＳ６３ｂによって抽出された処理を実行する。例えば、表示端末５０は、抽出された処理が「ホーム」ボタン６０１の押下に基づく「ＶＩＥＷ＿Ｈ＿ＡＮＧＬＥ＝０, ＶＩＥＷ＿Ｖ＿ＡＮＧＬＥ＝０」である場合、表示制御部５３によって表示領域６１０に表示された全天球画像の表示向きを変更する。

なお、上記ステップＳ６３ａにおいて、判断部５４がユーザコマンドテーブル５００３を用いて処理を抽出する例を説明したが、表示端末５０は、移動指示キー６０５に付与されたイベントに基づいて、所定の処理を抽出または実行する構成であってもよい。

続いて、図３３を用いて、図３１または図３２に示した処理によって表示端末５０から送信される要求コマンドを用いて、ロボット１０で実行される移動制御処理について説明する。図３３は、第１の実施形態に係るロボットにおける、表示端末５０からの要求コマンドに基づくロボットの制御処理の一例を説明するためのフローチャートである。

ステップＳ７１において、ロボット１０の送受信部３１は、表示端末５０から送信された要求コマンドを受信した場合、処理をステップＳ７２へ移行させる。一方で、送受信部３１は、要求コマンドを受信していない場合、ステップＳ７１の処理を繰り返す。

ステップＳ７２において、ロボット１０の記憶・読出部４１は、記憶部３０００に記憶されたコマンドテーブル３００１（図１７（ａ）参照）を読み出す。ステップＳ７３において、ロボット１０の判断部３４は、記憶・読出部４１によって読み出されたコマンドテーブル３００１を検索し、送受信部３１によって受信された要求コマンドに対応する処理を抽出する。ステップＳ７４において、ロボット１０は、上記ステップＳ７３によって抽出された処理を実行する。

例えば、送受信部３１によって受信された要求コマンドが「ＭＯＶＥ（１０．０,１０．０）」である場合、判断部３４は、コマンドテーブル３００１を検索して、コマンド名「ＭＯＶＥ」に対応する処理を抽出する。この場合、抽出される処理は、「左車輪を１０．０°回転、右車輪を１０．０°回転」である。判断部３４は、抽出した処理の実行要求を、移動制御部３８へ通知する。そして、移動制御部３８は、判断部３４によって抽出された処理に基づいて、ロボット１０の移動機構１７の左車輪を１０．０°回転させて、右車輪を１０．０°回転させる。なお、判断部３４によって抽出された処理によって実行要求の通知先は異なる。例えば、送受信部３１によって受信された要求コマンドが「ＡＲＭ」の場合、実行要求の通知先は、アーム操作制御部３９であり、要求コマンドが「ＳＨＯＯＴ」、「ＦＰＳ」または「ＲＥＳＯＬＵＴＩＯＮ」である場合、実行要求の通知先は、撮影指示部３６である。

このように、ロボット１０は、図３１または図３２に示した処理等によって表示端末５０から送信された要求コマンドに基づいて、処理または動作を実行することができるとともに、要求コマンドに基づいて撮影されて取得された画像（全天球画像データ２００または詳細画像データ２５０）を表示端末５０へ送信する。これにより、遠隔制御システム１ａは、表示端末５０を用いてロボット１０を遠隔操作することができるとともに、遠隔操作によってロボット１０が取得した情報（例えば、全天球画像データ２００または詳細画像データ２５０）を、ロボット１０の操作者が用いる表示端末５０に表示させることができる。

〇詳細画像の送受信〇
続いて、図３４〜図３６を用いて、ロボット１０が備える一般撮影装置２３によって取得された詳細画像を、表示端末５０に表示させる処理を説明する。図３４は、第１の実施形態に係る遠隔制御システムにおける詳細画像の表示処理の一例を説明するためのシーケンスである。図３４は、表示端末５０のディスプレイ５１２に図２７に示した表示画面６００ａが表示されている場合について説明する。なお、表示端末５０のディスプレイ５１２に表示されている表示画面は、図２９または図３０に示したような別の表示画面であってもよい。

ステップＳ９１において、表示端末５０の操作入力受付部５２は、表示画面６００ａに含まれる「撮影」ボタン６０３に対する操作入力を受け付ける。「撮影」ボタン６０３に対する操作入力が受け付けられた場合、表示端末５０の要求コマンド生成部５５は、コマンド「ＡＲＭ」および「ＳＨＯＯＴ」を含む要求コマンドを生成する。ここで、コマンドテーブル３００１（図１７（ａ）参照）に示すように、「ＳＨＯＯＴ」コマンドに対応するロボット１０の処理は、「一般撮影装置２３による撮影」である。すなわち、要求コマンド生成部５５は、一般撮影装置２３に対する撮影要求を示す制御信号を生成することになる。なお、操作入力の受付から要求コマンドの生成までの具体的な処理は、図３２に示した処理と同様であるため、説明を省略する。

ステップＳ９２−１,Ｓ９２−２において、表示端末５０の送受信部５１は、要求コマンド生成部５５によって生成された要求コマンドを、ロボット１０へ送信する。この場合、要求コマンド生成部５５によって生成された要求コマンドに「ＳＨＯＯＴ」コマンドが含まれるため、送受信部５１は、一般撮影装置２３に対する撮影要求を示す制御信号を送信（出力）する。これにより、ロボット１０の送受信部３１は、要求コマンドを受信する。

ステップＳ９３において、ロボット１０のアーム操作制御部３９は、送受信部３１によって受信された要求コマンドに基づいて可動アーム１１を変形させる。アーム操作制御部３９は、送受信部３１によって受信された要求コマンドに含まれる「ＡＲＭ」コマンドに基づいて、可動アーム１１を変形させることにより可動アーム１１の向きを変更する。

ここで、アーム操作制御部３９による可動アーム１１の制御操作について説明する。要求コマンドに含まれる「ＡＲＭ」の変数（ｈ，ｖ）は、表示画面６００ａに表示されている全天球画像データ２００の表示方向における画面上での相対位置を示す。ここで、ｈは、ロボット１０の進行方向に対応する水平方向の角度、ｖは、ロボット１０の進行方向に対応する垂直方向の角度である。なお、表示画面６００ａに表示されている全天球画像データ２００の表示方向は、（ｈ_０,ｖ_０）とする。

アーム操作制御部３９は、全天球画像データ２００の表示方向（ｈ_０,ｖ_０）に応じて、変数（ｈ，ｖ）を補正することで、補正された変数に基づいて可動アーム１１の向きを変更させる。例えば、コマンド「ＡＲＭ」の変数（ｈ，ｖ）によって、表示画面６００ａに表示されている全天球画像データ２００の表示方向における画面上の中心が指定された場合、(ｈ，ｖ）＝（ｈ_０,ｖ_０）となる。一方で、コマンド「ＡＲＭ」の変数（ｈ，ｖ）によって、表示画面６００ａに表示されている全天球画像データ２００の表示方向における画面上の中心でない位置が指定された場合、中心とのずれをα,β（表示画面の右上方向を、α＞０、β＞０とする。）とすると、（ｈ，ｖ）は、以下の（式２）のように補正される。なお、ａ,ｂは、所定の係数である。

これにより、アーム操作制御部３９は、要求コマンドに含まれる「ＡＲＭ」コマンドによって、表示画面６００ａに表示されている全天球画像データ２００の表示方向における画面上での相対位置を示す変数が指定されることにより、指定された変数（ｈ，ｖ）に基づいて可動アーム１１の変形させることで、可動アーム１１の向きを変更する。すなわち、一般撮影装置２３による撮影方向は、全天球画像データ２５０の表示方向に基づいて、決定され、ロボット１０は、アーム操作制御部３９によって一般撮影装置２３が決定された撮影方向を撮影できる方向に、可動アーム１１の向きを変更する。例えば、アーム操作制御部３９は、「ＡＲＭ」コマンドの変数（ｈ，ｖ）によって表示画面の右上が指定されている場合、可動アーム１１の向きも、指定された変数分右上方向に変更させることができる。なお、可動アーム１１の形状上、可動アーム１１の垂直方向の向きを変更できない場合、アーム操作制御部３９は、要求コマンドに含まれる「ＡＲＭ」コマンドの変数（ｈ,ｖ）のうち、ｈのみを用いて可動アーム１１の水平方向の向きを変更してもよい。

ステップＳ９４において、ロボット１０の撮影指示部３６は、アーム操作制御部３９による可動アーム１１の向きの変更が完了した場合、一般撮影装置２３へ撮影指示を出力する。そして、一般撮影装置２３は、撮影指示部３６から出力された撮影指示に応じて、撮影処理を行う。この場合、一般撮影装置２３は、アーム操作制御部３９によって変更された可動アーム１１の向きにおいて撮影された詳細画像である詳細画像データ２５０を取得する。

ステップＳ９５において、ロボット１０の画像取得部３７は、一般撮影装置２３によって取得された詳細画像データ２５０を、一般撮影装置２３から取得する。ステップＳ９６において、ロボット１０の記憶・読出部４１は、画像取得部３７によって取得された詳細画像データ２５０を、記憶部５０００に記憶させる。

ステップＳ９７−１,Ｓ９７−２において、ロボット１０の送受信部３１は、通信ネットワーク９を介して、画像取得部３７によって取得された詳細画像データ２５０を、表示端末５０へ送信する。これにより、表示端末５０の送受信部５１は、ロボット１０から送信された詳細画像データ２５０を受信する。なお、ステップＳ９６とステップＳ９７−１,Ｓ９７−２の処理の順序は、前後してもよく、または並行して行われてもよい。

ステップＳ９８において、表示端末５０の記憶・読出部５７は、送受信部５１によって受信された詳細画像データ２５０を、記憶部５０００に記憶させる。そして、ステップＳ９９において、表示端末５０の表示制御部５３は、送受信部５１によって受信された詳細画像データ２５０を、ディスプレイ５１２に表示させる。なお、ステップＳ９８とステップＳ９９の処理の順序は、前後してもよく、または並行して行われてもよい。

図３５は、ロボットから送信された詳細画像データが表示される表示画面の画面例を示す図である。図３５に示す表示画面６５０は、ロボット１０から送信された詳細画像データ２５０が表示領域６３０に表示されている。また、表示画面６５０は、「前の画像」ボタン６５１および「次の画像」ボタン６５２を含む。表示制御部５３は、操作入力受付部５２によって「前の画像」ボタン６５３への入力操作が受け付けられた場合、記憶部５０００に記憶された、表示画面６３０に表示されている詳細画像データ２５０の一つ前に受信された詳細画像データ２５０を表示させる。また、表示制御部５３は、操作入力受付部５２によって「次の画像」ボタン６５３への入力操作が受け付けられた場合、記憶部５０００に記憶された、表示画面６３０に表示されている詳細画像データ２５０の一つ後に受信された詳細画像データ２５０を表示させる。

表示端末５０を用いてロボット１０を操作する操作者は、表示領域６１０および表示領域６３０の右上にあるそれぞれのタブ（「全天球」または「詳細」）を選択することによって、全天球画像と詳細画像の表示を切り替える。表示端末５０に表示画面６５０が表示されている場合、操作者は、表示領域６１０の右上にあるタブ（「全天球」）を選択することで、全天球画像データ２５０の表示画面（例えば、図２７に示す表示画面６００ａ）に切り替えることができる。

なお、上記において、タブの選択によって全天球画像データ２００と詳細画像データ２５０の表示を切り替える構成を説明したが、表示画面６５０は、全天球画像データ２００と詳細画像データ２５０を同時に表示させる構成であってもよい。また、表示端末５０は、全天球画像データ２００と詳細画像データ２５０を別の表示画面にして重ねておいて、一方の表示画面を前面に表示させる構成であってもよい。

また、上記において、「前の画像」ボタン６５１および「次の画像」ボタン６５２の選択によって、記憶部５０００に記憶された詳細画像データ２５０の表示を切り替える構成を説明したが、表示画面６５０は、記憶部５０００に記憶された詳細画像データ２５０の画像リストを表示し、表示させる詳細画像データ２５０を操作者に選択させる構成であってもよい。

ここで、一般撮影装置２３によって撮影された詳細画像データ２５０が表示端末５０に表示される場合として、操作者が「撮影」ボタン６０３を押下した場合のほか、表示端末５０を用いてロボット１０を操作する操作者の視線を検知して、撮影位置の特定と撮影指示を行ってもよい。図３６に示す表示画面６００ｅには、「撮影」ボタン６０３に変えて、表示領域６１０内に操作者の視線位置を示す視線アイコン６１９が表示されている。表示端末５０の視線検出部５６は、視線検出装置５１７によって操作者の視点位置を検出する。そして、表示制御部５３は、視線検出部５６によって検出された視線位置に、表示領域６１０に表示された全天球画像データ２５０に重畳させて視線アイコン６１９を表示させる。

この場合、視線検出部５６によって検出された視線位置が所定の時間動かなかった場合、要求コマンド生成部５５は、検出された視線位置を変数（ｈ，ｖ）とする「ＡＲＭ」コマンド、および一般撮影装置２３への撮影指示である「ＳＨＯＯＴ」コマンドを含む要求コマンドを生成する。ここで、「ＡＲＭ」コマンドの変数（ｈ，ｖ）は、表示画面６００ａに表示されている全天球画像データ２００の表示方向における画面上の、検出された視線位置の相対位置を示す。表示端末５０の送受信部５１は、生成された要求コマンドを、ロボット１０へ送信する。以下、図３４のステップＳ９３以降と同様の処理を行うことによって、表示端末５０は、視線検出部５６によって検出された視線位置における詳細画像データ２５０を表示させることができる。

なお、視線検出部５６によって検出された視線位置によって撮影位置の特定と撮影指示の両方を行う場合の例を説明したが、表示端末５０は、視線検出部５６によって検出された視線位置によって撮影位置を特定し、撮影指示を「撮影」ボタン６０３への入力操作によって行う構成であってもよい。また、表示端末５０は、マウスポインタ６２０の位置で撮影位置を特定し、視線検出部５６によって検出された視線位置が所定の時間動かなかった場合に撮影指示をする構成であってもよい。

このように、遠隔制御システム１ａは、表示端末５０に表示された全天球画像データ２００を見ながらロボット１０を遠隔操作する操作者が、ロボット１０が位置する拠点における特定の領域を詳しく確認したい場合、全天球画像データ２００に含まれる被写体の一部を撮影することによって取得された詳細画像データ２５０を表示端末５０に表示させることができる。そのため、遠隔制御システム１ａは、表示端末５０を用いてロボット１０を操作する操作者に対して、特定の領域の情報を詳しく確認させることができる。また、上述のように、詳細画像は、特殊撮影装置２１が有するレンズよりも焦点距離の長いレンズを有する一般撮影装置２３によって取得された画像であるため、特殊撮影装置２１によって取得された全天球画像の画質と比較して高画質の画像である。そのため、遠隔制御システム１ａは、表示端末５０を用いてロボット１０を操作する操作者に対して、より鮮明な画像を用いて特定の領域の情報を確認させることができる。

このような遠隔制御システム１ａは、例えば、遠隔拠点に設置された装置等のメンテンナンスを、ロボット１０を用いて行う場合等に有効である。表示端末５０の操作者は、例えば、ロボット１０から送信される全天球画像データ２５０を見ながらロボット１０の移動操作を行うとともに、気になる箇所を発見した場合に、当該箇所の一般撮影装置２３による撮影を要求する。これによって、遠隔制御システム１ａは、表示端末５０に表示させるロボット１０の周囲を広範囲でみることができる全天球画像データ２００とロボット１０の周囲の特定の領域を高画質でみることができる詳細画像データ２５０の表示を、操作者の必要に応じて切り替えることができる。そのため、遠隔制御システム１ａは、ロボット１０の移動操作時における操作性の向上と特定の領域の詳細を確認したい場合において表示端末５０に表示させる画像の解像度の向上とを両立させることができる。

ここで、表示端末５０に特定の領域が撮影された画像を表示させる方法として、全天球画像データ２００の特定の領域を切り出す、またはズームにより拡大する方法も考えられる。しかしながら、この方法で表示端末５０に表示される画像は、全天球画像と比較してもさらに解像度が低下した画像であるため、操作者は、画像の細部まで確認することができないという問題があった。そこで、遠隔制御システム１ａのように、異なる撮影目的を有する撮影装置（特殊撮影装置２１または一般撮影装置２３）によって取得された画像を切り替えて表示端末５０に表示させることによって、操作性の向上と解像度の向上を両立させることができる。

〇表示画面の切り替え処理〇
次に、ロボット１０の移動状態に基づいて、表示端末５０における全天球画像と詳細画像の表示を切り替える処理について説明する。図３７は、第１の実施形態に係る遠隔制御システムにおいて、表示端末に表示される表示画像の切り替え処理の一例を説明するためのシーケンス図である。なお、図３７は、表示端末５０のディスプレイ５１２に、図２７に示した表示画面６００ａ（全天球画像データ２００）が表示されている場合について説明する。

ステップＳ１０１ａ−１,１０１ａ−２において、ロボット１０の送受信部３１は、確立された管理サーバ９０との通信セッションを用いて、状態情報生成部３５によって状態情報１５０（図２８参照）を、表示端末５０へ送信する。これにより、表示端末５０の送受信部５１は、状態情報１５０を受信（取得）する（取得ステップの一例）。

ステップＳ１０２ａにおいて、表示端末５０は、ロボット１０が停止している場合、処理をステップＳ１０３ａへ移行させる。具体的には、表示端末５０の判断部５４は、送受信部５１によって受信された状態情報１５０に含まれる変数「ＳＰＥＥＤ」の値が「０ｋｍ／ｈ」である場合、ロボット１０が停止していると判断する。なお、ロボット１０が停止していると判断される変数「ＳＰＥＥＤ」の値は、「０ｋｍ／ｈ」に限られず、判断部５４は、変数「ＳＰＥＥＤ」の値が所定の閾値以下または所定の閾値より小さい場合に、ロボット１０が停止していると判断してもよい。一方で、ステップＳ１０２ａにおいて、表示端末５０の判断部５４は、ロボット１０が停止していない（移動している）と判断する場合、処理を終了する。

ステップＳ１０３ａにおいて、表示端末５０の要求コマンド生成部５５は、「ＡＲＭ」コマンドおよび「ＳＨＯＯＴ」コマンドを含む要求コマンドを生成する。ここで、コマンドテーブル３００１（図１７（ａ）参照）に示すように、「ＳＨＯＯＴ」コマンドに対応するロボット１０の処理は、「一般撮影装置２３による撮影」である。すなわち、要求コマンド生成部５５は、一般撮影装置２３に対する撮影要求を示す制御信号を生成することになる。また、要求コマンドに含まれる「ＡＲＭ」コマンドの変数（ｈ，ｖ）は、表示画面６００ａに表示されている全天球画像データ２００の表示方向における画面上の中心位置である。なお、「ＡＲＭ」コマンドの変数（ｈ，ｖ）は、表示画面６００ａに表示されている全天球画像データ２００の表示方向における画面上のマウスポインタ６２０によって指定された位置であってもよい。

ステップＳ１０４ａ−１,Ｓ１０４ａ−２において、表示端末５０の送受信部５１は、要求コマンド生成部５５によって生成された要求コマンド（「ＡＲＭ」，「ＳＨＯＯＴ」）を、ロボット１０へ送信する。この場合、要求コマンド生成部５５によって生成された要求コマンドに「ＳＨＯＯＴ」コマンドが含まれるため、送受信部５１は、一般撮影装置２３に対する撮影要求を示す制御信号を送信（出力）する。これにより、ロボット１０の送受信部３１は、要求コマンド（「ＡＲＭ」，「ＳＨＯＯＴ」）を受信する。

ステップＳ１０５ａにおいて、ロボット１０のアーム操作制御部３９は、送受信部３１によって受信された要求コマンドに基づいて可動アーム１１を変形させる。アーム操作制御部３９は、送受信部３１によって受信された要求コマンドに含まれる「ＡＲＭ」コマンドに基づいて、可動アーム１１を変形させることにより可動アーム１１の向きを変更する。なお、アーム操作制御部３９による可動アーム１１の向きの変更処理は、図３４のステップＳ９３で説明した処理と同様であるため、説明を省略する。

ステップＳ１０６ａにおいて、ロボット１０の撮影指示部３６は、アーム操作制御部３９による可動アーム１１の向きの変更が完了した場合、一般撮影装置２３への撮影指示を示す指示情報を出力する。そして、一般撮影装置２３は、撮影指示部３６から出力された撮影指示に応じて、撮影処理を行う。この場合、一般撮影装置２３は、アーム操作制御部３９によって変更された可動アーム１１の向きにおいて撮影された詳細画像である詳細画像データ２５０を取得する。

ステップＳ１０７ａにおいて、ロボット１０の画像取得部３７は、一般撮影装置２３によって撮影された詳細画像データ２５０を、一般撮影装置２３から取得する。ステップＳ１０８ａにおいて、ロボット１０の記憶・読出部４１は、画像取得部３７によって取得された詳細画像データ２５０を、記憶部５０００に記憶させる。

ステップＳ１０９ａ−１,Ｓ１０９ａ−２において、ロボット１０の送受信部３１は、画像取得部３７によって取得された詳細画像データ２５０を、表示端末５０へ送信する。これにより、表示端末５０の送受信部５１は、ロボット１０から送信された詳細画像データ２５０を受信する。なお、ステップＳ１０８ａとステップＳ１０９ａ−１,Ｓ１０９ａ−２の処理の順序は、前後してもよく、または並行して行われてもよい。

ステップＳ１１０ａにおいて、表示端末５０の記憶・読出部５７は、送受信部５１によって取得された詳細画像データ２５０を、記憶部５０００に記憶させる。そして、ステップＳ１１１ａにおいて、表示端末５０の表示制御部５３は、送受信部５１によって受信された詳細画像データ２５０を、ディスプレイ５１２に表示させる。これにより、表示制御部５３は、ディスプレイ５１２によって表示される表示画像を、全天球画像データ２００（例えば、図２７に示した表示画面６００ａ）から、詳細画像データ２５０（例えば、図３５に示した表示画面６５０）へ切り替える。すなわち、表示端末５０は、上記ステップＳ１０１ａ−２の処理によって受信（取得）された状態情報１５０に基づいて、詳細画像データ２５０を出力する。なお、ステップＳ１１０ａとステップＳ１１１ａの処理の順序は、前後してもよく、または並行して行われてもよい。

このように、遠隔制御システム１ａは、ロボット１０の移動状態に応じて、表示端末５０に表示される全天球画像データ２００または詳細画像データ２５０の表示を切り替えることができる。例えば、表示端末５０は、ロボット１０が移動している場合、ロボット１０の周囲を広範囲でみることができる全天球画像データ２００を表示させ、ロボット１０が停止している場合、ロボット１０の周囲の特定の領域を高画質でみることができる詳細画像データ２５０を表示させる。そのため、例えば、ロボット１０が移動している場合、遠隔制御システム１ａは、ロボット１０を操作する操作者に、ロボット１０の足元や周囲を確認させながら、ロボット１０が周囲の人や物にぶつからないように操作させることができるので、ロボット１０の操作性を向上させることができる。また、ロボット１０の停止時には周囲の物や人にぶつかる可能性が低いので、遠隔制御システム１ａは、表示端末５０に詳細画像データ２５０を表示させることで、ロボット１０を操作する操作者に、ロボット１０の周囲の特定の領域を高画質で確認させることができる。したがって、遠隔制御システム１ａは、ロボット１０の移動状態に応じて、操作画面（表示画面）の表示を切り替えることで、ロボット１０の操作性の向上と表示画像の解像度の向上とを両立させることができる。

なお、表示端末５０は、上記ステップ１０２ａの処理において判断部５４によってロボット１０が停止していると判断された場合、前回ロボット１０が停止していると判断した後にロボット１０が停止していない（移動している）と判断した工程を経ている場合に限り、要求コマンドを生成する構成であってもよい。また、表示端末５０は、上記ステップ１０２ａの処理において判断部５４によってロボット１０が停止していると判断された場合、前回ロボット１０が停止していると判断してから所定の時間が経過した場合に限り、要求コマンドを生成する構成であってもよい。これらの場合、遠隔制御システム１ａは、ロボット１０が継続して同じ場所に停止しているにも関わらず、一般撮影装置２３によって詳細画像データ２５０が取得され、取得された詳細画像データ２５０が表示端末５０に表示されることによる処理の無駄を低減させることができる。また、これにより、遠隔制御システム１ａは、ロボット１０および表示端末５０の処理負担を低減させることができるとともに、通信ネットワーク９の混雑等によって発生する通信遅延の発生を防止することができる。

〇その他の表示画面の画面例〇
ここで、表示端末５０に表示される表示画面の別の例を説明する。表示端末５０は、表示端末５０に設けられたディスプレイ５１２の種類に応じて異なる表示画面を表示させることができる。図３８は、表示端末の一例としてのヘッドマウントディスプレイに表示される表示画面の画面例を示す図である。図３８に示す表示画面６７０は、ロボット１０から送信されていきた全天球画像データ２００および詳細画像データ２５０が、ヘッドマウントディスプレイ（ＨＭＤ）に表示された画面の一例である。

図３８に示す表示画面６７０には、画面全体が全天球画像データ２００の表示領域が表示され、詳細画像データ２５０の表示領域６３０も重畳して表示されている。表示画面６７０が表示されているヘッドマウントディスプレイを装着した操作者は、頭の向きを変えることで、全天球画像データ２００の任意の方向を見ることができる。また、表示画面６７０に表示される各種ボタンまたはアイコンは、操作者の頭の向きに追従して移動するため、全天球画像データ２００の表示方向が変更されたとしても、所定の位置に表示される。

●第１の実施形態の効果
以上説明したように、第１の実施形態に係る表示端末は、被写体を撮影して全天球画像データ２００（第１の画像の一例）を取得する特殊撮影装置２１（第１の撮影手段の一例）と、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像データ２５０（第２の画像の一例）を取得する一般撮影装置２３（第２の撮影手段の一例）とを備えるロボット１０（移動体の一例）を制御する表示端末５０である。表示端末５０は、ロボット１０の移動状態を示す状態情報１５０に基づいて、ディスプレイ５１２（表示手段の一例）に表示される全天球画像データ２００または詳細画像データ２５０の表示を切り替える。そのため、表示端末５０は、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０を遠隔操作する際に、高度な制御を実現させることができる。

また、第１の実施形態に係る表示端末は、ロボット１０が停止している場合、ディスプレイ５１２（表示手段の一例）に、詳細画像データ２５０（第２の画像の一例）を表示させる。そのため、例えば、ロボット１０が移動している場合、表示端末５０は、全天球画像データ２００を表示し、ロボット１０の足元や周囲を確認させながら、ロボット１０が周囲の人や物にぶつからないように操作させることができるので、ロボット１０の操作性を向上させることができる。また、ロボット１０の停止時には周囲の物や人にぶつかる可能性が低いので、表示端末５０は、詳細画像データ２５０を表示することで、ロボット１０を操作する操作者に、ロボット１０の周囲の特定の領域を高画質で確認させることができる。したがって、表示端末５０は、ロボット１０の移動状態に応じて、操作画面（表示画面）の表示を切り替えることで、ロボット１０の操作性の向上と表示画像の解像度の向上とを両立させることができる。

さらに、第１の実施形態に係る表示端末は、ディスプレイ５１２（表示手段の一例）に表示されている全天球画像データ２００（第１の画像の一例）の表示方向に基づいて決定された撮影方向を一般撮影装置２３（第２の撮影手段の一例）によって撮影することで取得された詳細画像データ２５０（第２の画像の一例）を、ディスプレイ５１２に表示させる。そのため、表示端末５０は、表示端末５０を用いてロボット１０を操作する操作者に対して、ディスプレイ５１２に表示されている全天球画像データ２００に含まれる被写体の一部の詳細な情報を確認させることができる。

また、第１の実施形態に係る表示端末は、ロボット１０が移動している場合、ディスプレイ５１２（表示手段の一例）に、画質を下げた全天球画像データ２００（第１の画像の一例）を表示させる。これにより、表示端末５０は、通信遅延等による表示画面のタイムラグによって発生する操作性の悪化を防止することができる。

さらに、第１の実施形態に係る表示端末は、全天球画像データ２００（第１の画像の一例）としてディスプレイ５１２（表示手段の一例）に動画データを表示させ、詳細画像データ２５０（第２の画像の一例）としてディスプレイ５１２に静止画データを表示させる。そのため、表示端末５０は、表示端末５０を用いてロボット１０を操作する操作者に対して、表示端末５０においてストリーミング再生される全天球画像の動画データを確認しながらロボット１０の遠隔操作を行わせることができるとともに、詳細画像の静止画データを用いて特定の箇所の詳細な情報を表示することができるので、ロボット１０の操作性を向上させることができる。

ここで、第１の実施形態に係る遠隔制御システム１ａにおいて、表示端末５０は、本発明に係る出力制御装置の一例である。出力制御装置としての表示端末５０は、被写体を撮影して全天球画像データ２００（第１の画像の一例）を取得する特殊撮影装置２１（第１の撮影手段の一例）と、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像データ２５０（第２の画像の一例）を取得する一般撮影装置２３（第２の撮影手段の一例）とを備えるロボット１０（移動体の一例）を制御するとともに、全天球画像データ２００または詳細画像データ２５０を出力する。そして、出力制御装置としての表示端末５０は、ロボット１０の移動状態を示す状態情報１５０を取得（受信）し、取得した状態情報１５０に基づいて、全天球画像データ２００または詳細画像データ２５０を出力（表示）する。そのため、出力制御装置としての表示端末５０は、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０を遠隔操作する際に、高度な制御を実現させることができる。

また、第１の実施形態に係る遠隔制御システム１ａにおいて、表示端末５０は、本発明に係る撮影制御装置の一例である。撮影制御装置としての表示端末５０は、被写体を撮影して全天球画像データ２００（第１の画像の一例）を取得する特殊撮影装置２１（第１の撮影手段の一例）と、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像データ２５０（第２の画像の一例）を取得する一般撮影装置２３（第２の撮影手段の一例）とを備えるロボット１０（移動体の一例）を制御する。そして、撮影制御装置としての表示端末５０は、ロボット１０の移動状態を示す状態情報１５０を受信（取得）し、取得した状態情報１５０に基づいて、一般撮影装置２３に対する撮影要求を示す要求コマンド（制御信号の一例）を出力（送信）する。そのため、撮影制御装置としての表示端末５０は、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０を遠隔操作する際に、高度な制御を実現させることができる。

●第２の実施形態●
次に、第２の実施形態に係る遠隔制御システムついて説明する。なお、第１の実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第２の実施形態に係る遠隔制御システム１ｂは、ロボット１０が備える制御装置３０、すなわちロボット１０自身が、ロボット１０の移動状態に応じて表示端末５０へ送信（出力）する画像（全天球画像または詳細画像）を決定するシステムである。

なお、第２の実施形態に係る遠隔制御システムを構成する装置または端末（ロボット１０、表示端末５０および管理サーバ９０）のハードウエア構成および機能構成は、第１の実施形態に係る遠隔制御システムを構成する装置または端末（ロボット１０、表示端末５０および管理サーバ９０）と同様であるため、説明を省略する。

図３９は、第２の実施形態に係る遠隔制御システムにおいて、表示端末に表示される表示画像の切り替え処理の一例を説明するためのシーケンス図である。なお、図３９において、ロボット１０が備える制御装置３０によって実行される処理は、ロボット１０によって実行される処理として説明する。また、図３９は、表示端末５０のディスプレイ５１２に、図２７に示した表示画面６００ａ（全天球画像データ２００）が表示されている場合について説明する。

ステップＳ１０１ｂにおいて、ロボット１０の状態情報生成部３５は、移動制御部３８から取得される移動機構１７の駆動状態に基づいて、ロボット１０の移動状態を示す状態情報１５０（図２８参照）を生成する。これによって、状態情報生成部３５は、状態情報１５０を取得する（取得ステップの一例）。ステップＳ１０２ｂにおいて、ロボット１０の判断部３４は、ロボット１０が停止していると判断した場合、処理をステップＳ１０３ｂへ移行させる。具体的には、ロボット１０の判断部３４は、状態情報生成部３５によって生成（取得）された状態情報１５０に含まれる変数「ＳＰＥＥＤ」の値が「０ｋｍ／ｈ」である場合、ロボット１０が停止していると判断する。なお、ロボット１０が停止していると判断される変数「ＳＰＥＥＤ」の値は、「０ｋｍ／ｈ」に限られず、判断部３４は、変数「ＳＰＥＥＤ」の値が所定の閾値以下または所定の閾値より小さい場合に、ロボット１０が停止していると判断してもよい。一方で、ステップＳ１０３ｂにおいて、ロボット１０の判断部３４は、ロボット１０が停止していない（移動している）と判断する場合、処理を終了する。

ステップＳ１０３ｂにおいて、ロボット１０のアーム操作制御部３９は、状態情報生成部３５によって生成（取得）された状態情報１５０に基づいて可動アーム１１を変形させる。具体的には、アーム操作制御部３９は、状態情報１５０に含まれる変数「Ｈ＿ＡＮＧＬＥ」および「Ｖ＿ＡＮＧＬＥ」の値で示される方向に、可動アーム１１の向きを変更する。すなわち、アーム操作制御部３９は、ロボット１０の進行方向と同じ向きに、可動アーム１１の向きを変更する。

ステップＳ１０４ｂにおいて、ロボット１０の撮影指示部３６は、アーム操作制御部３９による可動アーム１１の向きの変更が完了した場合、一般撮影装置２３への撮影指示を示す指示情報を出力する。そして、一般撮影装置２３は、撮影指示部３６から出力された撮影指示に応じて、撮影処理を行う。この場合、一般撮影装置２３は、アーム操作制御部３９によって変更された可動アーム１１の向きにおいて撮影された詳細画像である詳細画像データ２５０を取得する。

ステップＳ１０５ｂにおいて、ロボット１０の画像取得部３７は、一般撮影装置２３によって取得された詳細画像データ２５０を、一般撮影装置２３から取得する。ステップＳ１０６ｂにおいて、ロボット１０の記憶・読出部４１は、画像取得部３７によって取得された詳細画像データ２５０を、記憶部５０００に記憶させる。

ステップＳ１０７ｂ−１,Ｓ１０７ｂ−２において、ロボット１０の送受信部３１は、画像取得部３７によって取得された詳細画像データ２５０を、表示端末５０へ送信する。すなわち、ロボット１０は、上記ステップ１０１ｂの処理によって生成（取得）された状態情報１５０に基づいて、詳細画像データ２５０を出力する。これにより、表示端末５０の送受信部５１は、ロボット１０から送信された詳細画像データ２５０を受信する。なお、ステップＳ１０６ｂとステップＳ１０７ｂ−１,Ｓ１０７ｂ−２の処理の順序は、前後してもよく、または並行して行われてもよい。

ステップＳ１０８ｂにおいて、表示端末５０の記憶・読出部５７は、送受信部５１によって受信された詳細画像データ２５０を、記憶部５０００に記憶させる。そして、ステップＳ１０９ｂにおいて、表示端末５０の表示制御部５３は、送受信部５１によって受信された詳細画像データ２５０を、ディスプレイ５１２に表示させる。なお、ステップＳ１０８ｂとステップＳ１０９ｂの処理の順序は、前後してもよく、または並行して行われてもよい。

なお、ロボット１０は、上記ステップ１０２ｂの処理において判断部３４によってロボット１０が停止していると判断された場合、前回ロボット１０が停止していると判断した後にロボット１０が停止していない（移動している）と判断した工程を経ている場合に限り、可動アーム１１の変形処理を行う構成であってもよい。また、ロボット１０は、上記ステップ１０２ｂの処理において判断部３４によってロボット１０が停止していると判断された場合、前回ロボット１０が停止していると判断してから所定の時間が経過した場合に限り、可動アーム１１の変形処理を行う構成であってもよい。これらの場合、遠隔制御システム１ｂは、ロボット１０が継続して同じ場所に停止しているにも関わらず、一般撮影装置２３によって詳細画像データ２５０が取得され、取得された詳細画像データ２５０が表示端末５０に表示されることによる処理の無駄を低減させることができる。また、これにより、遠隔制御システム１ｂは、ロボット１０および表示端末５０の処理負担を低減させることができるとともに、通信ネットワーク９の混雑等によって発生する通信遅延の発生を防止することができる。

●第２の実施形態の効果
以上説明したように、第２の実施形態に係る遠隔制御システム１ｂは、ロボット１０（移動体の一例）が備える制御装置３０（情報処理装置の一例）が、ロボット１０の移動状態に応じて表示端末５０へ送信する画像（全天球画像データ２００または詳細画像データ２５０）を決定する。そのため、遠隔制御システム１ｂは、ロボット１０の移動状態に応じた適切な画像をロボット１０から表示端末５０に送信することによって、通信遅延等による表示画面のタイムラグによって発生を防止するとともに、ロボット１０の操作者にとって適切な画像を表示端末５０に表示させることで、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０の遠隔制御を高精度に実現させることができる。

また、第２の実施形態に係るロボット１０が備える制御装置３０は、被写体を撮影して全天球画像データ２００（第１の画像の一例）を取得する特殊撮影装置２１（第１の撮影手段の一例）と、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像データ２５０（第２の画像の一例）を取得する一般撮影装置２３（第２の撮影手段の一例）とを備えるロボット１０（移動体の一例）を制御する表示端末５０と通信ネットワーク９を介して通信可能な制御装置３０（情報処理装置の一例）である。そして、制御装置３０は、ロボット１０の移動状態に基づいて、特殊撮影装置２１または一般撮影装置２３から取得した全天球画像データ２００または詳細画像データ２５０を、表示端末５０へ送信することで、表示端末５０に表示される全天球画像データ２００または詳細画像データ２５０の表示を切り替える。そのため、制御装置３０は、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０を遠隔操作する際に、高度な制御を実現させることができる。

ここで、第２の実施形態に係る遠隔制御システム１ｂにおいて、ロボット１０が備える制御装置３０は、本発明に係る出力制御装置の一例である。出力制御装置としての制御装置３０（情報処理装置の一例）は、被写体を撮影して全天球画像データ２００（第１の画像の一例）を取得する特殊撮影装置２１（第１の撮影手段の一例）と、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像データ２５０（第２の画像の一例）を取得する一般撮影装置２３（第２の撮影手段の一例）とを備えるロボット１０（移動体の一例）を制御する。そして、出力制御装置としての制御装置３０は、ロボット１０の移動状態を示す状態情報１５０を取得し、取得した状態情報１５０に基づいて、全天球画像データ２００または詳細画像データ２５０を出力（送信）する。そのため、出力制御装置としての制御装置３０は、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０を遠隔操作する際に、高度な制御を実現させることができる。

また、第２の実施形態に係る遠隔制御システム１ｂにおいて、ロボット１０が備える制御装置３０は、本発明に係る撮影制御装置の一例である。撮影制御装置としての制御装置３０（情報処理装置の一例）は、被写体を撮影して全天球画像データ２００（第１の画像の一例）を取得する特殊撮影装置２１（第１の撮影手段の一例）と、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像データ２５０（第２の画像の一例）を取得する一般撮影装置２３（第２の撮影手段の一例）とを備えるロボット１０（移動体の一例）を制御する。そして、撮影制御装置としての制御装置３０は、ロボット１０の移動状態を示す状態情報１５０を取得し、取得した状態情報１５０に基づいて、一般撮影装置２３による撮影を指示するための指示情報（撮影要求を示す制御信号の一例）を出力する。そのため、撮影制御装置としての制御装置３０は、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０を遠隔操作する際に、高度な制御を実現させることができる。

●第３の実施形態●
次に、第３の実施形態に係る遠隔制御システムついて説明する。なお、第１の実施形態または第２の実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第３の実施形態に係る遠隔制御システム１ｃは、画像処理サーバ７０がロボット１０の移動状態に応じて表示端末５０へ送信（出力）する画像（全天球画像または詳細画像）を決定するシステムである。

●システム構成
まずは、図４０を用いて、第３の実施形態の遠隔制御システムの構成の概略について説明する。図４０は、第３の実施形態に係る遠隔制御システムのシステム構成の一例を示す図である。図４０に示すように、第３の実施形態の遠隔制御システム１ｃは、図１に示した構成に、画像処理サーバ７０が追加されている。画像処理サーバ７０は、通信ネットワーク９を介して、ロボット１０、表示端末５０および管理サーバ９０と通信可能に接続されている。画像処理サーバ７０は、管理サーバ９０によって確立された通信セッションを用いて、ロボット１０または表示端末５０との間で、画像データの送受信を行う。

画像処理サーバ７０は、サーバコンピュータであり、複数台のサーバコンピュータで分散して画像処理を行なう場合も含まれる。画像処理サーバ７０は、ロボット１０の移動状態に応じて、ロボット１０から送信されてきた全天球画像データ２００の画像処理を行い、処理データを表示端末５０へ送信する。なお、画像処理サーバ７０は、複数台のサーバコンピュータにより構成されてもよく、どのサーバコンピュータに機能を備えさせてもよい。画像処理サーバ７０は、情報処理装置の一例である。

ここで、画像処理サーバ７０と管理サーバ９０は、サーバシステム７を構成する。画像処理サーバ７０と管理サーバ９０は、一台のサーバコンピュータにより構成されてもよい。また、表示端末５０と画像処理サーバ７０は、表示システム５を構成する。さらに、ロボット１０（１０Ａ,１０Ｂ,１０Ｃ）と画像処理サーバ７０は、移動体制御システム（伝送制御システム）３を構成する。

なお、画像処理サーバ７０のハードウエア構成は、図１５に示した管理サーバ９０のハードウエア構成と同様であるため、説明を省略する。以下、画像処理サーバ７０は、図１５に示したハードウエア構成を有するものとして説明する。

●機能構成
図４１は、第３の実施形態に係る遠隔制御システムの機能構成の一例を示す図である。画像処理サーバ７０によって実現される機能は、送受信部７１、判断部７２、データ処理部７３、記憶・読出部７４および記憶部７０００を含む。

送受信部７１は、通信ネットワーク９を介して、他の装置（例えば、管理サーバ９０、表示端末５０またはロボット１０）との間で各種データまたは情報の送受信を行う機能である。送受信部７１は、例えば、通信ネットワーク９を介して、全天球画像データ２００または詳細画像データ２５０を、ロボット１０（制御装置３０）から受信（取得）する。また、送受信部７１は、例えば、通信ネットワーク９を介して、ロボット１０の移動状態を示す状態情報１５０を、ロボット１０（制御装置３０）から受信（取得）する。さらに、送受信部７１は、例えば、受信（取得）した状態情報１５０に基づいて、ロボット１０（制御装置３０）から受信（取得）した全天球画像データ２００または詳細画像データ２５０を、表示端末５０へ送信（出力）する。送受信部７１は、主に、図１５に示したＣＰＵ９０１の処理、およびネットワークＩ／Ｆ９０９によって実現される。送受信部７１は、第１の取得手段の一例である。また、送受信部７１は、第２の取得手段の一例である。さらに、送受信部７１は、第２の送信手段の一例である。送受信部７１は、第２の受信手段の一例である。

判断部７２は、送受信部７１によって受信（取得）された状態情報１５０に基づいて、全天球画像データ２００に対して実行する処理、またはロボット１０へ要求する特定の処理を判断する。判断部７２は、主に、図１５に示したＣＰＵ９０１の処理によって実現される。

データ処理部７３は、送受信部７１によって受信（取得）された状態情報１５０に基づいて、全天球画像データ２００に対する画像処理、またはロボット１０に特定の処理を実行されるための実行要求である要求コマンドの生成処理を実行する機能である。データ処理部７３は、例えば、ロボット１０が備える一般撮影装置２３に対する撮影要求である要求コマンドを生成する。データ処理部７３は、主に、図１５に示したＣＰＵ９０１の処理によって実現される。

記憶・読出部７４は、記憶部７０００に各種データを記憶させ、または記憶部７０００から各種データを読み出す機能である。記憶・読出部７４は、主に、図１５に示したＣＰＵ９０１の処理によって実現される。また、記憶部９０００は、主に、図１５に示したＲＯＭ９０２、ＨＤ９０４または記録メディア９０６によって実現される。

また、記憶部７０００は、送受信部７１によって受信された全天球画像データ２００および詳細画像データ２５０を記憶している。さらに、記憶部７０００は、状態管理テーブル７００１、条件テーブル７００２およびユーザコマンドテーブル７００３を記憶している。なお、状態管理テーブル７００１、条件テーブル７００２およびユーザコマンドテーブル７００３は、それぞれ図１８に示した状態管理テーブル５００１、図１９に示した条件テーブル５００２および図２０に示したユーザコマンドテーブル５００３と同様であるため、説明を省略する。また、記憶部７０００に記憶されている全天球画像データ２００および詳細画像データ２５０は、送受信部７１によって受信されてから所定の時間経過した場合に削除される構成であってもよいし、送受信部７１によって表示端末５０へ送信（出力）されてから所定の時間経過した場合に削除される構成であってもよい。

●第３の実施形態の処理または動作
続いて、図４２および図４３を用いて、第３の実施形態に係る遠隔制御システムの動作または処理について説明する。なお、図４２および図４３において、ロボット１０が備える制御装置３０によって実行される処理は、ロボット１０によって実行される処理として説明する。図４２は、第３の実施形態に係る遠隔制御システムにおいて、ロボットが移動した場合の処理の一例を説明するためのシーケンス図である。

ステップＳ２０１−１,Ｓ２０１−２,Ｓ２０１−３において、ロボット１０の送受信部３１は、確立された管理サーバ９０との通信セッションを用いて、特殊撮影装置２１によって撮影された全天球画像である全天球画像データ２００を、表示端末５０へ送信する。これにより、表示端末５０の送受信部５１は、全天球画像データ２００を受信する。

ステップＳ２０２において、表示端末５０の表示制御部５３は、送受信部５１によって受信された全天球画像データ２００を、ディスプレイ５１２の表示画面６００ａ（図２７参照）に表示させる。これによって、表示端末５０を用いてロボット１０を操作する操作者は、ロボットが位置する拠点の状況を、全天球画像データ２００が表示された表示画面６００ａを見ながら確認することができる。

ステップＳ２０３において、ロボット１０は、表示端末５０から送信される要求コマンド等に基づいて拠点内を移動する。この場合、ロボット１０の移動制御部３８は、表示端末５０から送信される要求コマンド等に基づいて移動機構１７の駆動を制御する。

ステップＳ２０４において、ロボット１０の状態情報生成部３５は、移動制御部３８から取得されるロボット１０の移動状態に基づいて状態情報１５０（図２８参照）を生成する。ステップＳ２０５−１,Ｓ２０５−２において、ロボット１０の送受信部３１は、確立された管理サーバ９０との通信セッションを用いて、状態情報生成部３５によって状態情報１５０を、画像処理サーバ７０へ送信する。これにより、画像処理サーバ７０の送受信部７１は、状態情報１５０を受信（取得）する（取得ステップの一例）。

ステップＳ２０６において、画像処理サーバ７０のデータ処理部７３は、送受信部７１によって受信（取得）された状態情報１５０に基づいて、上記ステップＳ２０１−２によって受信された全天球画像データ２００に対する画像処理を実行する。

ここで、画像処理サーバ７０における画像処理の内容について説明する。図４３は、第３の実施形態に係る画像処理サーバにおける、ロボットの移動状態に基づく全天球画像データの画像処理の一例を説明するためのフローチャートである。

ステップＳ２０６−１において、画像処理サーバの送受信部７１は、ロボット１０から送信された状態情報１５０を受信（取得）した場合、処理をステップＳ２０６−２へ移行させる。一方で、送受信部７１は、状態情報１５０を受信していない場合、ステップＳ２０６−１の処理を繰り返す。

ステップＳ２０６−２において、画像処理サーバ７０の記憶・読出部７４は、記憶部７０００に記憶された条件テーブル７００２を読み出す。ステップＳ２０６−３において、画像処理サーバ７０の判断部７２は、記憶・読出部７４によって読み出された条件テーブル７００２を検索し、送受信部７１によって受信された状態情報１５０に含まれる変数のうち、条件テーブル７００２に含まれる条件を満たしているものがある場合、処理をステップＳ２０６−４へ移行させる。例えば、状態情報１５０に含まれる変数名「ＳＰＥＥＤ」に対応する値が「３．０ｋｍ／ｈ」である場合、判断部７２は、条件テーブル７００２に含まれる項目のうち、「ＳＰＥＥＤ≦５．０ｋｍ／ｈ」、「ＳＰＥＥＤ＞１．０ｋｍ／ｈ」および「ＳＰＥＥＤ＞２．０ｋｍ／ｈ」が条件を満たしている。一方で、ステップＳ２０６−３において、判断部７２は、送受信部７１によって受信された状態情報１５０に含まれる変数のうち、条件テーブル７００２に含まれる条件を満たしているものがない場合、処理を終了する。

ステップＳ２０６−４において、画像処理サーバ７０のデータ処理部７３は、上記ステップＳ２０６−３の処理によって該当する項目に対応する処理を特定し、全天球画像データ２００に対して特定した処理を実行する。例えば、データ処理部７３は、条件テーブル７００２に含まれる、条件を満たしている「ＳＰＥＥＤ≦５．０ｋｍ／ｈ」、「ＳＰＥＥＤ＞１．０ｋｍ／ｈ」および「ＳＰＥＥＤ＞２．０ｋｍ／ｈ」に対応する処理をそれぞれ特定する。そして、データ処理部７３は、画像処理サーバ７０に対して、特定した処理（例を実行する。この場合、データ処理部７３は、全天球画像データ２００のフレームレートを初期状態に戻し、解像度を５０％に下げる処理を実行する。また、データ処理部７３は、全天球画像データ２００の初期状態に対してズームアウトした画像（「ＺＯＯＭ」＝−１０）を生成する。なお、データ処理部７３は、条件を満たした項目に対応する全ての処理を実行してもよいし、条件を満たした項目から選択（抽出）された項目に対応する処理のみを実行してもよい。

図４２に戻り、ステップＳ２０７において、画像処理サーバ７０の送受信部７１は、データ処理部７３によって処理された処理データ、およびロボット１０から送信されてきた状態情報１５を、表示端末５０へ送信する。これにより、表示端末５０の送受信部５１は、処理データおよび状態情報１５０を受信する。

ステップＳ２０８において、表示端末５０の記憶・読出部５７は、送受信部５１によって受信された状態情報１５０を、記憶部５０００に記憶された状態管理テーブル５００１（図１８参照）に記憶する。具体的には、表示端末５０の記憶・読出部５７は、状態管理テーブル５００１のうち、受信された状態情報１５０に含まれる変数名に対応する数値を格納する。

ステップＳ２０９において、表示端末５０の表示制御部５３は、表示画面６００（例えば、図２９（ａ）に示した表示画面６００ｂ）に、ロボット１０の移動状態および処理データ（全天球画像データ２００）を表示する。

次に、画像処理サーバ７０を用いて、表示端末５０における全天球画像と詳細画像の表示の切り替える処理について説明する。図４３は、第３の実施形態に係る遠隔制御システムにおいて、表示端末に表示される表示画像の切り替え処理の一例を説明するためのシーケンス図である。なお、図４３は、図３９と同様に、表示端末５０のディスプレイ５１２に、図２７に示した表示画面６００ａ（全天球画像データ２００）が表示されている場合について説明する。

ステップＳ１０１ｃ−１,１０１ｃ−２において、ロボット１０−１の送受信部３１は、確立された管理サーバ９０との通信セッションを用いて、状態情報生成部３５によって状態情報１５０（図２８参照）を、画像処理サーバ７０へ送信する。これにより、画像処理サーバ７０の送受信部７１は、状態情報１５０を受信（取得）する（取得ステップの一例）。

ステップＳ１０２ｃにおいて、画像処理サーバ７０は、ロボット１０が停止している場合、処理をステップＳ１０３ｃへ移行させる。具体的には、画像処理サーバ７０の判断部７２は、送受信部７１によって受信された状態情報１５０に含まれる変数「ＳＰＥＥＤ」の値が「０ｋｍ／ｈ」である場合、ロボット１０が停止していると判断する。なお、ロボット１０が停止していると判断される変数「ＳＰＥＥＤ」の値は、「０ｋｍ／ｈ」に限られず、判断部７２は、変数「ＳＰＥＥＤ」の値が所定の閾値以下または所定の閾値より小さい場合に、ロボット１０が停止していると判断してもよい。一方で、ステップＳ１０２ｃにおいて、判断部７２は、ロボット１０が停止していない（移動している）と判断する場合、処理を終了する。

ステップＳ１０３ｃにおいて、画像処理サーバ７０のデータ処理部７３は、「ＡＲＭ」コマンドおよび「ＳＨＯＯＴ」コマンドを含む要求コマンドを生成する。ここで、コマンドテーブル３００１（図１７（ａ）参照）に示すように、「ＳＨＯＯＴ」コマンドに対応するロボット１０の処理は、「一般撮影装置２３による撮影」である。すなわち、データ処理部７３は、一般撮影装置２３に対する撮影要求を示す制御信号を生成することになる。また、「ＡＲＭ」コマンドの変数（ｈ，ｖ）は、ロボット１０が現在向いている方向であるものとする。具体的には、データ処理部７３は、直前のロボット１０が移動していた際に、送受信部７１によって受信（取得）された状態情報１５０に含まれる進行方向の情報を用いて、変数（ｈ，ｖ）を特定する。なお、「ＡＲＭ」コマンドの変数（ｈ，ｖ）は、表示画面６００ａに表示されている全天球画像データ２００の表示方向における画面上の中心位置であってもよいし、表示画面６００ａに表示されている全天球画像データ２００の表示方向における画面上のマウスポインタ６２０によって指定された位置であってもよい。この場合、画像処理サーバ７０は、表示画面６００ａの表示状態に関する情報を、表示端末５０から取得しているものとする。

ステップＳ１０４ｃ−１,Ｓ１０４ｃ−２において、画像処理サーバ７０の送受信部７１は、データ処理部７３によって生成された要求コマンド（「ＡＲＭ」，「ＳＨＯＯＴ」）を、ロボット１０へ送信する。この場合、データ処理部７３によって生成された要求コマンドに「ＳＨＯＯＴ」コマンドが含まれるため、送受信部７１は、一般撮影装置２３に対する撮影要求を示す制御信号を送信（出力）する。これにより、ロボット１０の送受信部３１は、要求コマンド（「ＡＲＭ」，「ＳＨＯＯＴ」）を受信する。

ステップＳ１０５ｃにおいて、ロボット１０のアーム操作制御部３９は、送受信部３１によって受信された要求コマンドに基づいて可動アーム１１を変形させる。アーム操作制御部３９は、送受信部３１によって受信された要求コマンドに含まれる「ＡＲＭ」コマンドに基づいて、可動アーム１１を変形させることにより可動アーム１１の向きを変更する。なお、アーム操作制御部３９による可動アーム１１の向きの変更処理は、図３４のステップＳ９３で説明した処理と同様であるため、説明を省略する。

ステップＳ１０６ｃにおいて、ロボット１０の撮影指示部３６は、アーム操作制御部３９による可動アーム１１の向きの変更が完了した場合、一般撮影装置２３への撮影指示を示す指示情報を出力する。そして、一般撮影装置２３は、撮影指示部３６から出力された撮影指示に応じて、撮影処理を行う。この場合、一般撮影装置２３は、アーム操作制御部３９によって変更された可動アーム１１の向きにおいて撮影された詳細画像である詳細画像データ２５０を取得する。

ステップＳ１０７ｃにおいて、ロボット１０の画像取得部３７は、一般撮影装置２３によって撮影された詳細画像データ２５０を、一般撮影装置２３から取得する。ステップＳ１０８ｃにおいて、ロボット１０の記憶・読出部４１は、画像取得部３７によって取得された詳細画像データ２５０を、記憶部５０００に記憶させる。

ステップＳ１０９ｃ−１,Ｓ１０９ｃ−２,Ｓ１０９ｃ−３において、ロボット１０の送受信部３１は、画像取得部３７によって取得された詳細画像データ２５０を、表示端末５０へ送信する。これにより、表示端末５０の送受信部５１は、ロボット１０から送信された詳細画像データ２５０を受信する。このうち、画像処理サーバ７０の送受信部７１は、ステップＳ１０９−２の処理によって、ロボット１０から送信された詳細画像データ２５０を受信する。そして、画像処理サーバ７０の送受信部７１は、受信した詳細画像データ２５０を、表示端末５０へ出力する。すなわち、画像処理サーバ７０は、上記ステップＳ１０１ｃ−２の処理によって受信（取得）された状態情報１５０に基づいて、詳細画像データ２５０を出力する。なお、ステップＳ１０８ｃとステップＳ１０９ｃ−１,Ｓ１０９ｃ−２,Ｓ１０９ｃ−３の処理の順序は、前後してもよく、または並行して行われてもよい。

ステップＳ１１０ｃにおいて、表示端末５０の記憶・読出部５７は、送受信部５１によって受信された詳細画像データ２５０を、記憶部５０００に記憶させる。そして、ステップＳ１１１ｃにおいて、表示端末５０の表示制御部５３は、送受信部５１によって受信された詳細画像データ２５０を、ディスプレイ５１２に表示させる。これによって、表示制御部５３は、ディスプレイ５１２によって表示される表示画像を、全天球画像データ２００（例えば、図２７に示した表示画面６００ａ）から、詳細画像データ２５０（例えば、図３５に示した表示画面６５０）へ切り替える。なお、ステップＳ１１０ｃとステップＳ１１１ｃの処理の順序は、前後してもよく、または並行して行われてもよい。

なお、画像処理サーバ７０は、上記ステップ１０２ｃの処理において判断部７２によってロボット１０が停止していると判断された場合、前回ロボット１０が停止していると判断した後にロボット１０が停止していない（移動している）と判断した工程を経ている場合に限り、要求コマンドを生成する構成であってもよい。また、画像処理サーバ７０は、上記ステップ１０２ｃの処理において判断部７２によってロボット１０が停止していると判断された場合、前回ロボット１０が停止していると判断してから所定の時間が経過した場合に限り、要求コマンドを生成する構成であってもよい。これらの場合、遠隔制御システム１ｃは、ロボット１０が継続して同じ場所に停止しているにも関わらず、一般撮影装置２３によって詳細画像データ２５０が取得され、取得された詳細画像データ２５０が表示端末５０に表示されることによる処理の無駄を低減させることができる。また、これにより、遠隔制御システム１ｃは、ロボット１０、表示端末５０および画像処理サーバ７０の処理負担を低減させることができるとともに、通信ネットワーク９の混雑等によって発生する通信遅延の発生を防止することができる。

●第３の実施形態の効果
以上説明したように、第３の実施形態に係る遠隔制御システム１ｃは、画像処理サーバ７０（情報処理装置の一例）がロボット１０（移動体の一例）の移動状態に応じて表示端末５０へ送信（出力）する画像（全天球画像データ２００または詳細画像データ２５０）を決定する。そのため、遠隔制御システム１ｃは、ロボット１０の移動状態に応じた適切な画像を画像処理サーバ７０から表示端末５０に送信することによって、通信遅延等による表示画面のタイムラグによって発生を防止するとともに、ロボット１０の操作者にとって適切な画像を表示端末５０に表示させることで、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０の遠隔制御を高精度で実現させることができる。

また、第３の実施形態に係る画像処理サーバ７０は、被写体を撮影して全天球画像データ２００（第１の画像の一例）を取得する特殊撮影装置２１（第１の撮影手段の一例）と、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像データ２５０（第２の画像の一例）を取得する一般撮影装置２３（第２の撮影手段の一例）とを備えるロボット１０（移動体の一例）を制御する表示端末５０と通信ネットワーク９を介して通信可能な画像処理サーバ７０（情報処理装置の一例）である。そして、画像処理サーバ７０は、ロボット１０の移動状態に基づいて、特殊撮影装置２１または一般撮影装置２３から受信（取得）した全天球画像データ２００または詳細画像データ２５０を、表示端末５０へ送信することで、表示端末５０に表示される全天球画像データ２００または詳細画像データ２５０の表示を切り替える。そのため、画像処理サーバ７０は、ロボット１０および表示端末５０の処理負担を低減させるとともに、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０を遠隔操作する際に、高度な制御を実現させることができる。

ここで、第３の実施形態に係る遠隔制御システム１ｃにおいて、画像処理サーバ７０は、本発明に係る出力制御装置の一例である。出力制御装置としての画像処理サーバ７０（情報処理装置の一例）は、被写体を撮影して全天球画像データ２００（第１の画像の一例）を取得する特殊撮影装置２１（第１の撮影手段の一例）と、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像データ２５０（第２の画像の一例）を取得する一般撮影装置２３（第２の撮影手段の一例）とを備えるロボット１０（移動体の一例）を制御する。そして、出力制御装置としての画像処理サーバ７０は、ロボット１０の移動状態を示す状態情報１５０を取得（受信）し、取得した状態情報１５０に基づいて、全天球画像データ２００または詳細画像データ２５０を出力（送信）する。そのため、出力制御装置としての画像処理サーバ７０は、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０を遠隔操作する際に、高度な制御を実現させることができる。

また、第３の実施形態に係る遠隔制御システム１ｃにおいて、画像処理サーバ７０は、本発明に係る撮影制御装置の一例である。撮影制御装置としての画像処理サーバ７０（情報処理装置の一例）は、被写体を撮影して全天球画像データ２００（第１の画像の一例）を取得する特殊撮影装置２１（第１の撮影手段の一例）と、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像データ２５０（第２の画像の一例）を取得する一般撮影装置２３（第２の撮影手段の一例）とを備えるロボット１０（移動体の一例）を制御する。そして、撮影制御装置としての画像処理サーバ７０は、ロボット１０の移動状態を示す状態情報１５０を取得（受信）し、取得した状態情報１５０に基づいて、一般撮影装置２３による撮影を指示するための指示情報（撮影要求を示す制御信号の一例）を出力（送信）する。そのため、撮影制御装置としての画像処理サーバ７０は、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０を遠隔操作する際に、高度な制御を実現させることができる。

●まとめ●
以上説明したように、本発明の一実施形態に係る遠隔制御システム１ａ,１ｂは、被写体を撮影して全天球画像データ２００（第１の画像の一例）を取得する特殊撮影装置２１（第１の撮影手段の一例）と、特殊撮影装置２１によって撮影された被写体の一部を撮影して詳細画像データ２５０（第２の画像の一例）を取得する一般撮影装置２３（第２の撮影手段の一例）とを備えるロボット１０（移動体の一例）と、ロボット１０と通信ネットワーク９を介して通信可能であり、ロボット１０を遠隔操作する表示端末５０と、を備える。そして、遠隔制御システム１ａ,１ｂは、ロボット１０の移動状態を示す状態情報１５０を取得し、取得した状態情報１５０に基づいて、全天球画像データ２００または詳細画像データ２５０を出力する。そのため、遠隔制御システム１ａ,１ｂは、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０の遠隔制御を高精度で実現させることができる。

また、本発明の一実施形態に係る遠隔制御システム１ｃは、ロボット１０および表示端末５０のそれぞれと通信ネットワーク９を介して通信可能な画像処理サーバ７０（情報処理装置の一例）を備える。そのため、遠隔制御システム１ｃは、ロボット１０および表示端末５０の処理負担を低減させるとともに、特殊撮影装置２１と一般撮影装置２３とを備えるロボット１０の遠隔制御を高精度で実現させることができる。

●補足●
なお、各実施形態の機能は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等のレガシープログラミング言語やオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯ（Magneto-Optical disc）等の装置可読な記録媒体に格納して、または電気通信回線を通じて頒布することができる。

また、各実施形態の機能の一部または全部は、例えばＦＰＧＡ（Field Programmable Gate Array）等のプログラマブル・デバイス（PD）上に実装することができ、またはＡＳＩＣとして実装することができ、各実施形態の機能をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬ等により記述されたデータとして記録媒体により配布することができる。

これまで本発明の一実施形態に係る出力制御装置、表示端末、情報処理装置、移動体、遠隔制御システム、出力制御方法、プログラムおよび撮影制御装置について説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１ａ、１ｂ、１ｃ 遠隔制御システム
１０ ロボット（移動体の一例）
１７ 移動機構
２１ 特殊撮影装置（第１の撮影手段の一例）
２３ 一般撮影装置（第２の撮影手段の一例）
３０ 制御装置（出力制御装置の一例、情報処理装置の一例、撮影制御装置の一例）
３１ 送受信部（第２の送信手段の一例）
３５ 状態情報生成部（第１の取得手段の一例）
３７ 画像取得部（第２の取得手段の一例）
５０ 表示端末（出力制御装置の一例、撮影制御装置の一例）
５１ 送受信部（第１の取得手段の一例、第１の受信手段の一例、第１の送信手段の一例）
５２ 操作入力受付手段（受付手段の一例）
５３ 表示制御部（表示制御手段の一例）
７０ 画像処理サーバ（出力制御装置の一例、情報処理装置の一例、撮影制御装置の一例）
７１ 送受信部（第１の取得手段の一例、第２の取得手段の一例、第２の送信手段の一例、第２の受信手段の一例）
９０ 管理サーバ
１５０ 状態情報
５１２ ディスプレイ（表示手段の一例）

特開２０１３−１１２０３０号公報

Claims (29)

1. 被写体を撮影して第１の画像を取得する第１の撮影手段と前記被写体の一部を撮影して第２の画像を取得する第２の撮影手段とを備える移動体を制御するとともに、前記第１の画像または前記第２の画像を出力する出力制御装置であって、
   前記移動体の移動状態を示す状態情報を取得する第１の取得手段を備え、
   前記第１の取得手段によって取得された状態情報に基づいて、前記第１の画像または前記第２の画像を出力する出力制御装置。
2. 前記移動体が停止している場合、前記第２の画像を出力する請求項１に記載の出力制御装置。
3. 前記状態情報は、前記移動体の進行速度を示す情報を含み、
   前記移動体の進行速度が閾値以下または当該閾値よりも小さい場合、前記第２の画像を出力する、請求項１または２に記載の出力制御装置。
4. 前記第１の取得手段によって取得された状態情報に基づいて、異なる画質の前記第１の画像を出力するとともに、前記画質は、フレームレート、解像度または前記第１の画像の出力範囲のうちの少なくとも一つである、請求項１乃至３のいずれか一項に記載の出力制御装置。
5. 前記状態情報は、前記移動体の進行速度を示す情報を含み、
   前記移動体の進行速度が閾値以下または前記閾値よりも小さい場合、前記フレームレート、前記解像度、または前記出力範囲の少なくとも一つのパラメータを上げて取得された前記第１の画像を出力する、請求項４に記載の出力制御装置。
6. 前記第１の画像は、動画であり、前記第２の画像は、静止画である、請求項１乃至５のいずれか一項に記載の出力制御装置。
7. 請求項１乃至６に記載の出力制御装置は、前記移動体と通信ネットワークによって通信可能であるとともに、前記移動体を遠隔操作する表示端末であって、
   前記第１の画像または前記第２の画像を、前記移動体から受信する第１の受信手段と、
   前記第１の取得手段によって取得された状態情報に基づいて、表示手段に表示される前記第１の画像または前記第２の画像の表示を切り替える表示制御手段と、
   を備える表示端末。
8. 前記移動体が停止している場合、前記表示制御手段は、前記表示手段に前記第２の画像を表示させる、請求項７に記載の表示端末。
9. 前記状態情報は、前記移動体の進行速度を示す情報を含み、
   前記移動体の進行速度が閾値以下または当該閾値よりも小さい場合、前記表示制御手段は、前記表示手段に前記第２の画像を表示させる、請求項７または８に記載の表示端末。
10. 請求項７乃至９のいずれか一項に記載の表示端末であって、
    前記第１の取得手段によって取得された状態情報に基づいて生成される、前記第２の撮影手段に対する撮影要求を、前記移動体へ送信する第１の送信手段と、を備え、
    前記第１の受信手段は、前記撮影要求に基づいて前記第２の撮影手段によって取得された第２の画像を、前記移動体から受信し、
    前記表示制御手段は、前記第１の受信手段によって受信された第２の画像を前記表示手段に表示させる、表示端末。
11. 前記撮影要求は、前記第２の撮影手段による撮影方向を示す情報を含み、
    前記撮影方向は、前記表示手段に表示された前記第１の画像の表示方向に基づいて、決定される請求項１０に記載の表示端末。
12. 前記表示制御手段は、前記第１の取得手段によって取得された状態情報に基づいて、異なる画質の前記第１の画像を前記表示手段に表示させるとともに、前記画質は、フレームレート、解像度または前記第１の画像の出力範囲のうちの少なくとも一つである、請求項７乃至１１のいずれか一項に記載の表示端末。
13. 前記状態情報は、前記移動体の進行速度を示す情報を含み、
    前記移動体の進行速度が閾値以下または前記閾値よりも小さい場合、前記表示制御手段は、前記フレームレート、前記解像度または前記出力範囲のうちの少なくとも一つのパラメータを上げて取得された前記第１の画像を前記表示手段に表示させる、請求項１２に記載の表示端末。
14. 請求項７乃至１３のいずれか一項に記載の表示端末であって、
    前記表示制御手段は、前記第１の画像とともに、前記移動体の進行方向を示す情報を重畳させて表示させる、表示端末。
15. 請求項１乃至６に記載の出力制御装置は、前記移動体を遠隔操作する表示端末と通信ネットワークを介して通信可能な情報処理装置であって、
    前記第１の画像または前記第２の画像を、前記移動体から取得する第２の取得手段と、
    前記第２の取得手段によって取得された前記第１の画像または前記第２の画像を、前記表示端末へ送信する第２の送信手段を備え、
    前記第２の送信手段は、前記第１の取得手段によって取得された状態情報に基づいて第２の取得手段によって取得された前記第１の画像または前記第２の画像を前記表示端末へ送信することで、前記表示端末に表示される前記第１の画像または前記第２の画像の表示を切り替える情報処理装置。
16. 請求項１５に記載の情報処理装置であって、
    前記通信ネットワークを介して、前記移動体から前記状態情報を受信する第２の受信手段を備え、
    前記第２の送信手段は、前記第２の受信手段によって受信された状態情報に基づいて生成される、前記第２の撮影手段に対する撮影要求を、前記移動体へ送信し、
    前記第２の受信手段は、前記撮影要求に基づいて前記第２の撮影手段によって取得された前記第２の画像を、前記移動体から受信し、
    前記第２の送信手段は、更に、前記第２の受信手段によって受信された前記第２の画像を前記表示端末へ送信することで、前記第２の画像を前記表示端末に表示させる情報処理装置。
17. 前記状態情報は、前記移動体の進行速度を示す情報を含み、
    前記移動体の進行速度が閾値以下または当該閾値よりも小さい場合、前記第２の送信手段は、前記第２の撮影手段に対する撮影要求を、前記移動体へ送信する、請求項１６に記載の情報処理装置。
18. 前記撮影要求は、前記第２の撮影手段による撮影方向を示す情報を含み、
    前記撮影方向は、前記表示端末に表示された前記第１の画像の表示方向に基づいて、決定される請求項１６または１７に記載の情報処理装置。
19. 前記状態情報は、前記移動体の進行速度を示す情報を含み、
    前記移動体の進行速度が閾値以下または当該閾値よりも小さい場合、前記第２の送信手段は、前記第１の撮影手段によって取得される前記第１の画像の画質を上げる要求である要求コマンドを、前記移動体へ送信し、
    前記第２の受信手段は、前記要求コマンドに基づいて前記第１の撮影手段によって取得された第１の画像を、前記移動体から受信し、
    前記第２の送信手段は、更に、前記第２の受信手段によって受信された第１の画像を前記表示端末へ送信することで、前記表示端末に前記第１の画像を表示させるとともに。前記画質は、フレームレート、解像度または前記第１の画像の出力範囲のうちの少なくとも一つである、請求項１６に記載の情報処理装置。
20. 請求項１５に記載の情報処理装置と、
    前記移動体を移動させる移動機構と、
    を備える移動体
21. 前記移動体が停止している場合、前記第２の送信手段は、前記第２の画像を前記表示端末へ送信することで、前記表示端末に前記第２の画像を表示させる、請求項２０に記載の移動体。
22. 前記状態情報は、前記移動体の進行速度を示す情報を含み、
    前記移動体の進行速度が閾値以下または当該閾値よりも小さい場合、前記第２の送信手段は、前記第２の画像を前記表示端末へ送信することで、前記表示端末に前記第２の画像を表示させる、請求項２０または２１に記載の移動体。
23. 前記状態情報は、前記移動体の進行速度を示す情報を含み、
    前記移動体の進行速度が閾値以下または当該閾値よりも小さい場合、前記第２の送信手段は、画質を上げて取得された前記第１の画像を前記表示端末へ送信することで、前記表示端末に当該第１の画像を表示させる、請求項２０に記載の移動体。
24. 被写体を撮影して第１の画像を取得する第１の撮影手段と前記被写体の所定の領域を撮影して第２の画像を取得する第２の撮影手段とを備える移動体と、前記移動体と通信ネットワークを介して通信可能であり、前記移動体を遠隔操作する表示端末と、を備える遠隔制御システムであって、
    前記移動体の移動状態を示す状態情報を取得する第１の取得手段を備え、
    前記第１の取得手段によって取得された状態情報に基づいて、前記第１の画像または前記第２の画像を出力する遠隔制御システム。
25. 請求項２４に記載の遠隔制御システムであって、更に、
    前記移動体および前記表示端末のそれぞれと前記通信ネットワークを介して通信可能な情報処理装置を備える遠隔制御システム。
26. 請求項２４または請求項２５に記載の遠隔制御システムであって、
    前記表示端末は、
    前記第２の撮影手段に対する撮影要求を前記移動体へ送信するための操作入力を受け付ける受付手段を備え、
    前記撮影要求に応じて前記第２の撮影手段によって取得された前記第２の画像を出力する、遠隔制御システム。
27. 被写体を撮影して第１の画像を取得する第１の撮影手段と前記被写体の一部を撮影して第２の画像を取得する第２の撮影手段とを備える移動体を制御するとともに、前記第１の画像または前記第２の画像を出力する出力制御装置によって実行される出力制御方法であって、
    前記移動体の移動状態を示す状態情報を取得する取得ステップを実行し、
    前記取得ステップによって取得された状態情報に基づいて、前記第１の画像または前記第２の画像を出力する出力制御方法。
28. コンピュータに、請求項２７に記載の方法を実行させるプログラム。
29. 被写体を撮影して第１の画像を取得する第１の撮影手段と前記被写体の一部を撮影して第２の画像を取得する第２の撮影手段とを備える移動体を制御する撮影制御装置であって、
    前記移動体の移動状態を示す状態情報を取得する第１の取得手段を、備え、
    前記第１の取得手段によって取得された状態情報に基づいて、前記第２の撮影手段に対する撮影要求を示す制御信号を出力する撮影制御装置。