JP7183085B2 - 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置 - Google Patents

Description

本発明の実施形態は、移動体行動登録装置、移動体行動登録システム、及び移動体行動決定装置に関する。

移動ロボットに設置されたカメラで撮影した画像に基づいて、移動ロボットの自己位置を推定する自己位置推定装置を備える移動ロボットがある。自己位置推定装置は、環境中に人工的に設置したマーカ（例えばＡＲ（Augmented Reality）マーカなど）又は環境中に存在する位置、姿勢、及び形状が既知のランドマーク（例えば建物の角といった周辺と明暗が異なる場所など）を用いて、移動ロボットの自己位置を推定する。位置、姿勢、及び形状が既知のランドマークを用いて自己位置推定を行う場合、マーカを設置する必要がないという利点がある。

ところで、移動ロボットにおいては、目標地点までの行動又は目標地点到達時の行動について事前に決定する必要がある。

特許第５８０３１１９号公報 特許第５１５８１６２号公報 特開２００４－３０４４５号公報

本発明が解決しようとする課題は、マーカを用いずに移動体の自己位置を推定することと、移動体の行動を決定することと、を可能にする登録情報を生成することができる移動体行動登録装置及び移動体行動登録システム、並びに、上記の登録情報に基づいて移動体の行動を決定することができる移動体行動決定装置を提供することである。

一実施形態に係る移動体行動登録装置は、基準画像取得部、ランドマーク検出部、マーカ検出部、相対位置算出部、属性識別部、及び登録部を備える。基準画像取得部は、撮像部から、マーカを含む第１の基準画像を含む少なくとも１枚の基準画像を取得する。ランドマーク検出部は、前記少なくとも１枚の基準画像に基づいて、環境中の特徴的な部位を表す特徴点をランドマークとして検出する。マーカ検出部は、前記第１の基準画像に基づいて、前記マーカを検出する。相対位置算出部は、前記ランドマークの検出結果と前記マーカの検出結果とに基づいて、前記ランドマークと前記マーカとの相対位置を算出する。属性識別部は、前記第１の基準画像に基づいて、行動に対応付けられた前記マーカの属性を識別する。登録部は、前記相対位置と、前記属性に基づく行動情報と、を含む登録情報をデータベースに登録する。

第１の実施形態に係る移動体行動登録システムを示すブロック図。 図１に示した移動体行動登録システムの外観を示す側面図。 図１に示した移動体行動登録装置を示すブロック図。 図４に示した移動体行動登録装置の処理手順を示すフローチャート。 第２の実施形態に係る移動体制御装置を示すブロック図。 図６に示した移動体制御装置の処理手順を示すフローチャート。 第３の実施形態に係る移動体行動登録装置を示すブロック図。 図７に示した移動体行動登録装置の処理手順を示すフローチャート。 第４の実施形態に係る移動体制御装置を示すブロック図。 図９に示した移動体制御装置の処理手順を示すフローチャート。 一実施形態に係る情報処理装置のハードウェア構成を示すブロック図。

以下、図面を参照しながら実施形態を説明する。

（第１の実施形態）
第１の実施形態では、撮像装置により撮影された画像に基づいて自己位置を推定することが可能な移動体の行動手順を決定するために使用される移動体行動登録システムについて説明する。自己位置は、位置（例えば３次元位置）及び姿勢（向きともいう）を含む。移動体は、出発地点から目標地点まで自律的に移動する移動体であり得る。移動体は、例えば、自動車、移動ロボットなどである。

図１は、第１の実施形態に係る移動体行動登録システム１００を概略的に示すブロック図であり、図２は、移動体行動登録システム１００の外観を概略的に示す側面図である。図１に示すように、移動体行動登録システム１００は、移動体１０１、撮像部１０２、通信インタフェース１０３、移動体行動登録装置１０４、及びコントローラ１０５を備える。コントローラ１０５は、移動体１０１、撮像部１０２、通信インタフェース１０３、及び移動体行動登録装置１０４を制御する。

図２に示す例では、移動体１０１は、本体１１１、車輪１１２、及び車輪１１２を駆動する駆動機構（図示せず）を備えるロボットである。移動体１０１は歩行式ロボットであってもよい。移動体１０１は、コントローラ１０５による制御に従って移動する。移動体１０１の本体１１１の内部に、通信インタフェース１０３、移動体行動登録装置１０４、及びコントローラ１０５が設けられる。

撮像部１０２は、移動体１０１の本体１１１に取り付けられた少なくとも１つの撮像装置を備える。本実施形態では、撮像部１０２は、撮像装置としてのカメラ１２１、１２２を備える。カメラ１２１は、天井を含む画像を撮影できるように、斜め上向きに移動体１０１に設けられる。カメラ１２２は、地面上に設置されたマーカを含む画像を撮影できるように、斜め下向きに移動体１０１に設けられる。マーカは任意の場所（例えば壁など）に設置されてよい。

マーカは、環境中に人工的に設置されたものである。マーカには、行動と対応付けられた属性が付与される。属性は、例えば、マーカの向き、位置、模様、色、形状、識別情報（ＩＤ）、大きさ、点滅、発光などである。属性と行動との間の対応関係を示すデータは、移動体行動登録装置１０４により保持されてもよく、外部の記憶装置に格納されてもよい。行動は、例えば、移動体自体の向き、移動方向、速度、移動体に搭載されたデバイス（機構）への指示などである。例えば、緑色のマーカは所定速度への減速に対応付けられ、赤色のマーカは所定方向への移動方向の変更に対応付けられる。属性は、行動の内容に加えて、その行動を行うべき位置を示す情報に対応付けられてもよい。

カメラ１２１の光軸と地面との成す角度及びカメラ１２２の光軸と地面との成す角度は既知であるとする。また、カメラ１２１の光学中心の高さ（地面とカメラ１２１の光学中心との間の距離）及びカメラ１２２の光学中心の高さ（地面とカメラ１２２の光学中心との間の距離）は既知であるとする。

カメラ１２１、１２２は、単眼カメラであってもよく、ステレオカメラであってもよく、魚眼カメラであってもよい。また、カメラ１２１、１２２によって撮影される画像は、ＲＧＢの３チャネル画像であってもよく、グレースケールで表現された１チャネル画像であってもよい。

図１を参照すると、通信インタフェース１０３は、例えば、無線ＬＡＮ（Local Area Network）モジュールなどの無線モジュールを備え、外部デバイスと無線通信する。例えば、通信インタフェース１０３は、オペレータにより使用される外部デバイスから、移動体１０１の移動を指示する指示信号を受信し、指示信号をコントローラ１０５に送る。コントローラ１０５は、通信インタフェース１０３から受け取った指示信号に従って移動体の移動を制御する。なお、通信インタフェース１０３は、無線モジュールに代えて、ＬＡＮ端子又はＵＳＢ（Universal Serial Bus）端子などの端子を備え、外部デバイスと有線通信してもよい。

移動体行動登録装置１０４は、撮像部１０２から、マーカを含む画像を含む少なくとも１枚の画像を基準画像として受け取る。本実施形態では、移動体行動登録装置１０４は、撮像部１０２から、カメラ１２１により撮影された基準画像と、カメラ１２２により撮影されたマーカを含む基準画像と、を受け取る。移動体行動登録装置１０４は、撮像部１０２から受け取った基準画像に基づいて移動体（移動体１０１と異なり得る）の行動手順を決定するための登録情報を生成し、生成した登録情報をデータベース（図示せず）に登録する。データベースが移動体行動登録システム１００の外部に存在する場合、登録はコントローラ１０５及び通信インタフェース１０３を介して行われる。

図３を参照して、移動体行動登録装置１０４について詳細に説明する。図３に示す例では、移動体行動登録装置１０４は、基準画像取得部３０１、ランドマーク検出部３０２、マーカ検出部３０３、属性識別部３０４、相対位置算出部３０５、及び登録部３０６を備える。

基準画像取得部３０１は、撮像部１０２から少なくとも１枚の基準画像を取得する。少なくとも１枚の基準画像は、マーカを含む基準画像を含む。本実施形態では、基準画像取得部３０１は、カメラ１２１により撮影された基準画像と、カメラ１２２により撮影されたマーカを含む基準画像と、を取得する。

ランドマーク検出部３０２は、基準画像取得部３０１により取得された少なくとも１枚の基準画像に基づいて、環境中の特徴的な部位を表す特徴点をランドマークとして検出する。環境中の特徴的な部位はマーカとは異なる。環境中の特徴的な部位は、自然物又は人工物のいずれに関するものであってもよい。本実施形態では、環境中の特徴的な部位は天井に設けられた構造物又は天井の模様に関する。例えば、ランドマーク検出部３０２は、カメラ１２１により撮影された基準画像から特徴点をランドマークとして抽出し、ランドマークの位置を算出する。

ランドマークの３次元位置は、基準画像中のランドマークの画像座標とカメラ１２１の自己位置とに基づいて算出することができる。例えば、複数のランドマークの各々の３次元位置は、三角測量の原理によって、異なる２つの位置でカメラ１２１により撮影された２枚の画像中の複数のランドマークの画像座標の組に基づいて算出することができる。ランドマークの３次元空間中での位置は、例えば、３次元空間中の座標と回転を表す四元数との組み合わせで表現される。なお、位置及び姿勢は、任意の自由度で表現されてよい。また、位置及び姿勢は、任意の表現方法で記述されてよい。例えば、床面での移動のように移動体１０１の移動が平面上で行われると仮定できる場合には、並進に関する２自由度と回転に関する１自由度とを合わせた３自由度で表現することができる。また、３次元空間中の姿勢を表現するために、四元数の代わりに、回転行列、回転軸及び回転方向を表すベクトル、又はオイラー角などを用いてもよい。

カメラ１２１の自己位置は、ＳｆＭ（Structure from Motion）又はＳＬＡＭ（Simultaneous Localization and Mapping）などの画像処理技術を使用して推定することができる。移動体１０１を移動させながらカメラ１２１により複数の画像を取得し、これらの画像に対してＳｆＭ又はＳＬＡＭを適用することにより、個々の画像が取得されたときのカメラ１２１の位置及び姿勢を推定することができる。具体的には、自己位置は、複数のランドマークのカメラ座標の組を用いて、基本行列又は基礎行列又は射影変換行列に基づいて、算出することができる。複数のランドマークのカメラ座標の組は、画像間でランドマークの対応付けを行うことにより求めることができる。対応付けは、例えば、テンプレートマッチング、Ｌｕｃａｓ－Ｋａｎａｄｅ法、ＳＩＦＴなどを用いて実現される。なお、この場合は、絶対的なスケールを求めるために、並進ベクトルのノルムを１に正規化するなどの処理を実施してもよいし、加速度センサ又はジャイロセンサによりスケールを決定してもよい。

マーカ検出部３０３は、カメラ１２２により撮影された基準画像に基づいて、マーカを検出する。マーカ検出部３０３は、マーカの位置を算出する。マーカの３次元位置を算出する方法としては、例えば、３次元座標が既知なパターンを有するマーカを環境中に置いておき、マーカをカメラ１２２で撮影し、ＡＲ－Ｔｏｏｌｋｉｔなどを用いて画像処理を行う方法がある。３次元座標が既知なパターンを有するマーカを用いたこの方法は、カメラ１２２の自己位置を正確に決定することを可能にする。カメラ１２２の自己位置に基づいて移動体１０１の自己位置及びカメラ１２１の自己位置を算出することができるので、移動体１０１の自己位置及びカメラ１２１の自己位置も正確に決定することが可能となる。

特定のマーカを用いない場合、マーカの３次元位置は、基準画像中のマーカ上の特徴点の画像座標と、カメラ１２２の自己位置と、に基づいて、算出することができる。マーカ上の特徴点の３次元位置は三角測量の原理によって算出することができる。特徴点の３次元空間中での位置は、例えば、３次元空間中の座標と回転を表す四元数との組み合わせで表現される。なお、前述したように、位置及び姿勢は、任意の自由度で表現されてよく、また、任意の表現方法で記述されてよい。

カメラ１２２の自己位置が未知である場合、カメラ１２２の自己位置は、カメラ１２１に関して上述したものと同様の方法で算出することができる。カメラ１２２の自己位置の算出では、マーカ上の特徴点が使用される。

属性識別部３０４は、カメラ１２２により撮影された基準画像に基づいて、行動に対応付けられたマーカの属性を識別する。属性は、例えば、マーカの向き、位置、模様、色、形状、識別情報（ＩＤ）、大きさ、点滅、発光などで表現される。例えば、属性識別部３０４は、マーカが予め設定された色のうちのいずれの色であるかを識別する。

相対位置算出部３０５は、ランドマーク検出部３０２によるランドマークの検出結果とマーカ検出部３０３によるマーカの検出結果とに基づいて、ランドマークとマーカとの相対位置を算出する。例えば、相対位置算出部３０５は、ランドマーク検出部３０２により算出されたランドマークの位置に基づいて、移動体１０１とランドマークとの間の回転行列及び並進行列である第１の回転行列及び第１の並進行列を算出する。さらに、相対位置算出部３０５は、マーカ検出部３０３により算出されたマーカの位置に基づいて、移動体１０１とマーカとの間の回転行列及び並進行列である第２の回転行列及び第２の並進行列を算出する。そして、相対位置算出部３０５は、第１の回転行列、第１の並進行列、第２の回転行列、及び第２の並進行列に基づいて、ランドマークとマーカとの間の相対的な回転行列及び並進行列を算出することにより、ランドマークとマーカとの相対位置を求める。

登録部３０６は、基準画像取得部３０１により取得された基準画像（例えばカメラ１２１により撮影された基準画像）と、相対位置算出部３０５により算出されたランドマークとマーカとの相対位置と、属性識別部３０４により識別された属性に基づいた行動情報と、をデータベースに登録する。行動情報は、移動体が行うべき行動を特定するための情報である。行動情報は、例えば、属性識別部３０４により識別された属性を示す情報である。行動情報は、属性識別部３０４により識別された属性に対応付けられた行動を示す情報であってもよい。この場合、登録部３０６は、属性識別部３０４により識別された属性で属性と行動との間の対応関係を示すデータを参照することにより、識別された属性に対応付けられた行動を特定する。行動情報は、行動を行うべき位置を示す情報を含んでよい。

移動体行動登録装置１０４は、対応関係変更部３０７をさらに備えてよい。対応関係変更部３０７は、属性と行動との間の対応関係を変更する。属性に対応付けられた行動の内容を動的に変更することが可能である。

次に、移動体行動登録装置１０４の動作例について説明する。

図４は、移動体行動登録装置１０４の処理手順の一例を概略的に示すフローチャートである。図４のステップＳ４０１では、基準画像取得部３０１は、撮像部１０２から、マーカを含む基準画像を含む少なくとも１枚の基準画像を取得する。例えば、基準画像取得部３０１は、カメラ１２１により撮影された基準画像と、カメラ１２２により撮影された基準画像と、を取得する。カメラ１２２により撮影された基準画像にマーカが写っている。

ステップＳ４０２では、ランドマーク検出部３０２は、基準画像取得部３０１により取得された少なくとも１枚の基準画像に基づいて、ランドマークを検出する。具体的には、ランドマーク検出部３０２は、カメラ１２１により撮影された基準画像中の特徴点をランドマークとして検出し、ランドマークの位置を算出する。

ステップＳ４０３では、マーカ検出部３０３は、基準画像取得部３０１により取得された少なくとも１枚の基準画像に基づいて、マーカを検出する。具体的には、マーカ検出部３０３は、カメラ１２２により撮影された基準画像に基づいて、マーカの位置を算出する。

ステップＳ４０４では、属性識別部３０４は、基準画像取得部３０１により取得された少なくとも１枚の基準画像に基づいて、マーカの属性を識別する。具体的には、属性識別部３０４は、カメラ１２２により撮影された基準画像に基づいて、マーカの属性を識別する。

ステップＳ４０５では、相対位置算出部３０５は、ランドマークとマーカとの相対位置を算出する。例えば、相対位置算出部３０５は、ランドマーク検出部３０２により算出されたランドマークの位置に基づいて、移動体１０１とランドマークとの間の回転行列及び並進行列である第１の回転行列及び第１の並進行列を算出し、マーカ検出部３０３により算出されたマーカの位置に基づいて、移動体１０１とマーカとの間の回転行列及び並進行列である第２の回転行列及び第２の並進行列を算出し、相対位置算出部３０５は、第１の回転行列、第１の並進行列、第２の回転行列、及び第２の並進行列に基づいて、ランドマークとマーカとの間の相対的な回転行列及び並進行列を算出する。

ステップＳ４０６では、登録部３０６は、基準画像取得部３０１により取得された基準画像と、相対位置算出部３０５により算出されたランドマークとマーカとの相対位置と、属性識別部３０４により識別された属性に基づいた行動情報と、を含む登録情報を生成し、登録情報をデータベースに登録する。

上述した処理手順は一例に過ぎない。処理手順及び各処理の内容は適宜変更可能である。例えば、ステップＳ４０５の処理はステップＳ４０４の処理よりも前に実行されてもよい。

以上のように、移動体行動登録システム１００は、カメラ１２１、１２２により撮影された基準画像を取得し、取得した基準画像に基づいてランドマーク及びマーカの位置を算出し、ランドマーク及びマーカの算出した位置に基づいてランドマークとマーカとの相対位置を算出し、カメラ１２２により撮影された基準画像に基づいてマーカの属性を識別し、取得した基準画像と、算出した相対位置と、識別した属性に基づいた行動情報と、を含む登録情報を生成する。移動体行動登録システム１００により生成された登録情報は、第２の実施形態において説明するように、マーカを用いずに移動体の自己位置を推定すること、及び移動体の行動を決定することを可能にする。よって、移動体行動登録システム１００は、マーカを用いずに移動体の自己位置を推定すること及び移動体の行動を決定することを可能にする登録情報を生成することができる。

上述した例では、登録部３０６は、基準画像取得部３０１により取得された基準画像を含む登録情報を生成する。登録部３０６は、基準画像に代えて又は追加して、ランドマークに関する特徴量を含む登録情報を生成してもよい。この場合、ランドマーク検出部３０２は、基準画像中のランドマークの周辺領域から、ランドマークに関する特徴量を算出する。周辺領域は、例えば、ランドマークの画像座標を重心位置として含むｎ画素×ｍ画素の矩形領域であってよい。ここで、ｎ、ｍは符号なしの整数である。特徴量としては、例えば、輝度勾配方向ヒストグラムを用いることができる。

上述した例では、撮像部１０２は２つのカメラ１２１、１２２を含む。撮像部１０２は、１つのカメラであってもよく、３つ以上のカメラを含んでもよい。例えば、ランドマーク検出部３０２は、マーカを含む基準画像に基づいてランドマークを検出してもよい。

（第２の実施形態）
第２の実施形態では、第１の実施形態に係る移動体行動登録システム１００により登録された登録情報に基づいて、撮像装置により撮影された画像に基づいて自己位置を推定することが可能な移動体の行動を決定する移動体決定装置について説明する。

図５は、第２の実施形態に係る移動体制御装置５００を概略的に示している。図５に示すように、移動体制御装置５００は、移動体５０３の行動を制御する。移動体５０３は、例えば、本体、車輪、及び車輪を駆動する駆動機構を備えるロボットである。移動体５０３は、第１の実施形態において説明した移動体１０１（図２）と同じであってもよく、異なっていてもよい。移動体制御装置５００は移動体５０３の本体内部に設けられる。

移動体制御装置５００は、移動体行動決定装置５０１及びコントローラ５０２を備える。移動体行動決定装置５０１は、入力画像取得部５１１、登録情報取得部５１２、推定部５１３、及び行動決定部５１４を備える。

入力画像取得部５１１は、少なくとも１つの撮像装置を含む撮像部５０４から、入力画像を取得する。本実施形態では、撮像部５０４は、撮像装置としてのカメラ５０５を含み、入力画像取得部５１１は、カメラ５０５により撮影された画像を入力画像として取得する。

カメラ５０５は、天井を含む画像を撮影できるように、斜め上向きに移動体５０３に設けられる。カメラ５０５の光軸と地面との成す角度は既知であるとする。カメラ５０５の光学中心の高さ（地面とカメラ５０５の光学中心との間の距離）は既知であるとする。カメラ５０５は、単眼カメラであってもよく、ステレオカメラであってもよく、魚眼カメラであってもよい。また、カメラ５０５によって取得される画像は、ＲＧＢの３チャネル画像であってもよく、グレースケールで表現された１チャネル画像であってもよい。

登録情報取得部５１２は、データベース（図示せず）から登録情報を取得する。登録情報は、基準画像と、ランドマークとマーカとの相対位置である第１の相対位置と、行動情報と、を含む。登録情報は、第１の実施形態において説明した移動体行動登録システム１００（図１）によって生成されたものである。

データベースが外部に設けられる場合、登録情報取得部５１２は、通信インタフェース５０６を介してデータベースにアクセスし、データベースから登録情報を取得する。通信インタフェース５０６は、例えば、無線ＬＡＮモジュールなどの無線モジュールを備え、外部デバイスと無線通信する。通信インタフェース５０６は、無線モジュールに代えて、ＬＡＮ端子又はＵＳＢ端子などの端子を備え、外部デバイスと有線通信してもよい。

推定部５１３は、入力画像取得部５１１により取得された入力画像と、登録情報取得部５１２により取得された登録情報に含まれる基準画像及び第１の相対位置と、に基づいて、移動体５０３とマーカとの相対位置である第２の相対位置を推定する。移動体５０３の行動を制御する際には、環境中にマーカを設置する必要はない。ここで言及されるマーカは、仮想的なマーカであり、移動体行動登録装置１０４（図１）が登録情報を生成する際に設置されていたマーカに対応する。

推定部５１３は、登録情報取得部５１２により取得された登録情報に含まれる基準画像に基づいて環境中の特徴的な部位を表す特徴点をランドマークとして検出する。推定部５１３は、移動体行動登録装置１０４のランドマーク検出部３０２と同様の方法でランドマーク検出を行う。これにより、推定部５１３は、ランドマーク検出部３０２がランドマークとして検出したものと同じ特徴点をランドマークとして検出する。さらに、推定部５１３は、入力画像からランドマークの候補点を抽出し、抽出した候補点のうち、基準画像から検出されたランドマークに対応する点を算出することで、基準画像が撮影された位置（基準位置）からの移動量を算出し、算出した移動量に基づいて第２の相対位置を算出する。対応点の算出は、ランドマークの候補点に関する特徴量と、基準画像から検出されたランドマークに関する特徴量と、を比較し、特徴量空間上での距離が近い候補点を対応点とする方法を用いることで実現することができる。特徴量としては、例えば、輝度勾配方向ヒストグラムを用いることができる。

行動決定部５１４は、推定部５１３により推定された第２の相対位置と、登録情報取得部５１２により取得された登録情報に含まれる行動情報と、に基づいて、移動体５０３の行動を決定する。例えば、行動決定部５１４は、移動体５０３とマーカとの距離が所定の距離より小さくなったときに、行動情報により指定される行動を行う指示信号を生成する。行動情報が属性を示す情報を含む場合、行動決定部５１４は、属性と行動との間の対応関係を示すデータを参照することで、移動体５０３の行動を決定する。行動情報が行動を行うべき位置を示す情報を含む場合、行動決定部５１４は、行動情報により指定される位置で行動情報により指定される行動を行う指示信号を生成する。

コントローラ５０２は、行動決定部５１４により決定された行動に基づいて、移動体５０３を制御する。

次に、移動体制御装置５００の動作例について説明する。

図６は、移動体制御装置５００の処理手順の一例を概略的に示している。図６のステップＳ６０１では、入力画像取得部５１１は、撮像部５０４から入力画像を取得する。例えば、入力画像取得部５１１は、カメラ５０５により撮影された画像を入力画像として取得する。

ステップＳ６０２では、登録情報取得部５１２は、データベースから、登録情報を取得する。例えば、登録情報は、基準画像、ランドマークとマーカとの相対位置である第１の相対位置、及び行動情報を含む。

ステップＳ６０３では、推定部５１３は、入力画像取得部５１１により取得された入力画像と、登録情報取得部５１２により取得された登録情報に含まれる基準画像及び第１の相対位置と、に基づいて、移動体５０３とマーカとの相対位置である第２の相対位置を推定する。

ステップＳ６０４では、行動決定部５１４は、推定部５１３により推定された第２の相対位置と、登録情報取得部５１２により取得された登録情報に含まれる行動情報と、に基づいて、移動体５０３の行動を決定する。

ステップＳ６０５では、コントローラ５０２は、行動決定部５１４により決定された行動を行うよう移動体５０３を制御する。

このようにして、移動体制御装置５００は、移動体５０３に所定の行動を行わせながら、目標地点まで移動体５０３を移動させる。

以上のように、第２の実施形態に係る移動体制御装置５００は、撮像部から撮像装置により撮影された入力画像を取得し、データベースから、基準画像と、ランドマークとマーカとの相対位置である第１の相対位置と、行動情報と、を含む登録情報を取得し、入力画像と第１の相対位置とに基づいて、移動体５０３とマーカとの相対位置である第２の相対位置を推定し、第２の相対位置と行動情報とに基づいて、移動体の行動を決定する。入力画像と登録情報に含まれる基準画像及び第１の相対位置とに基づいて第２の相対位置を推定することにより、マーカを用いずに移動体５０３の自己位置を正確に算出することができる。その結果、目標地点まで移動体５０３をうまく移動させることが可能になる。さらに、登録情報に含まれる行動情報を用いることで移動体５０３に所定の行動を行わせることが可能になる。

（第３の実施形態）
第３の実施形態では、移動体行動登録装置が複数の地点で登録情報を生成する場合について説明する。この場合、出発地点から目標地点までの経路に沿って複数のマーカが配置される。

図７は、第３の実施形態に係る移動体行動登録装置７００を概略的に示している。第３の実施形態に係る移動体行動登録システムは、図１に示した移動体行動登録システム１００において移動体行動登録装置１０４を移動体行動登録装置７００に置換したものであり得る。

図７に示す例では、移動体行動登録装置７００は、２地点で登録情報を生成するために、第１の登録情報生成部７０１及び第２の登録情報生成部７０２を備える。第１の登録情報生成部７０１及び第２の登録情報生成部７０２は各々、図３に示した基準画像取得部３０１、ランドマーク検出部３０２、マーカ検出部３０３、属性識別部３０４、及び相対位置算出部３０５と同様の処理を行う。このため、第１の登録情報生成部７０１及び第２の登録情報生成部７０２についての説明は適宜省略する。移動体行動登録装置７００は登録部７０３をさらに備える。

第１の登録情報生成部７０１は、撮像部１０２から、第１の基準位置（例えば移動体１０１の移動開始前の位置）において撮影された第１の基準画像を取得する。例えば、第１の登録情報生成部７０１は、第１の基準位置でカメラ１２１及びカメラ１２２によって撮影された画像を第１の基準画像として取得する。カメラ１２２による第１の基準画像は第１のマーカを含む。第１の登録情報生成部７０１は、カメラ１２１による第１の基準画像における特徴点を第１のランドマークとして検出する。第１の登録情報生成部７０１は、カメラ１２２による第１の基準画像に基づいて、第１のマーカ及びその属性を検出する。第１の登録情報生成部７０１は、第１のランドマークの検出結果及び第１のマーカの検出結果に基づいて第１のランドマークと第１のマーカとの相対位置である第１の相対位置を算出する。第１の登録情報生成部７０１は、カメラ１２１による第１の基準画像と、第１の相対位置と、第１のマーカの属性に基づいた行動情報と、を含む第１の登録情報を生成する。第１の登録情報は、例えば、移動体１０１の移動開始前であることを示す情報でラベル付けされる。

第２の登録情報生成部７０２は、撮像部１０２から、第２の基準位置（例えば移動体１０１が移動中の任意の位置）において撮影された第２の基準画像を取得する。例えば、第２の登録情報生成部７０２は、第２の基準位置でカメラ１２１及びカメラ１２２によって撮影された画像を第２の基準画像として取得する。カメラ１２２による第２の基準画像は、第１のマーカとは異なる第２のマーカを含む。第２の登録情報生成部７０２は、カメラ１２１による第２の基準画像における特徴点を第２のランドマークとして検出する。第２の登録情報生成部７０２は、カメラ１２２による第２の基準画像に基づいて、第２のマーカ及びその属性を検出する。第２の登録情報生成部７０２は、第２のランドマークの検出結果及び第２のマーカの検出結果に基づいて第２のランドマークと第２のマーカとの相対位置である第２の相対位置を算出する。第２の登録情報生成部７０２は、カメラ１２１による第２の基準画像と、第２の相対位置と、第２のマーカの属性に基づいた行動情報と、を含む第２の登録情報を生成する。第２の登録情報は、例えば、移動体１０１の移動中であることを示す情報でラベル付けされる。

登録部７０３は、第１の登録情報生成部７０１により生成された第１の登録情報及び第２の登録情報生成部７０２により生成された第２の登録情報をデータベースに登録する。

次に、移動体行動登録装置７００の動作例について説明する。

図８は、移動体行動登録装置７００の処理手順の一例を概略的に示している。図８のステップＳ８０１では、第１の登録情報生成部７０１は、撮像部１０２から、移動体１０１が第１の基準位置にあるときにカメラ１２１、１２２により撮影された第１の基準画像を取得する。

ステップＳ８０２では、第１の登録情報生成部７０１は、カメラ１２１による第１の基準画像に基づいて第１のランドマークを検出する。例えば、第１の登録情報生成部７０１は、カメラ１２１による第１の基準画像における特徴点を第１のランドマークとして検出し、第１のランドマークの位置を算出する。ステップＳ８０３では、第１の登録情報生成部７０１は、カメラ１２２による第１の基準画像に基づいて第１のマーカを検出する。例えば、第１の登録情報生成部７０１は、カメラ１２２による第１の基準画像に基づいて第１のマーカの位置を算出する。ステップＳ８０４では、カメラ１２２による第１の基準画像に基づいて第１のマーカの属性を識別する。ステップＳ８０５では、第１の登録情報生成部７０１は、第１のランドマークの検出結果及び第１のマーカの検出結果に基づいて第１のランドマークと第１のマーカとの相対位置である第１の相対位置を算出する。

ステップＳ８０６では、登録部７０３は、カメラ１２１による第１の基準画像と、第１の相対位置と、第１のマーカの属性に基づいた行動情報と、を含む第１の登録情報を生成し、生成した第１の登録情報をデータベースに登録する。

ステップＳ８０７では、第２の登録情報生成部７０２は、撮像部１０２から、移動体１０１が第１の基準位置とは異なる第２の基準位置にあるときにカメラ１２１、１２２により撮影された第２の基準画像を取得する。

ステップＳ８０８では、第２の登録情報生成部７０２は、カメラ１２１による第２の基準画像に基づいて第２のランドマークを検出する。例えば、第２の登録情報生成部７０２は、カメラ１２１による第２の基準画像における特徴点を第２のランドマークとして検出し、第２のランドマークの位置を算出する。ステップＳ８０９では、第２の登録情報生成部７０２は、カメラ１２２による第２の基準画像に基づいて第２のマーカを検出する。例えば、第２の登録情報生成部７０２は、カメラ１２２による第２の基準画像に基づいて第２のマーカの位置を算出する。ステップＳ８１０では、カメラ１２２による第２の基準画像に基づいて第２のマーカの属性を識別する。ステップＳ８１１では、第２の登録情報生成部７０２は、第２のランドマークの検出結果及び第２のマーカの検出結果に基づいて第２のランドマークと第２のマーカとの相対位置である第２の相対位置を算出する。

ステップＳ８１２では、登録部７０３は、カメラ１２１による第２の基準画像と、第２の相対位置と、第２のマーカの属性に基づいた行動情報と、を含む第２の登録情報を生成し、生成した第２の登録情報をデータベースに登録する。

このようにして、移動体行動登録装置７００は複数の地点で登録情報を生成し、生成した登録情報をデータベースに登録する。例えば、移動体が広い通路から狭い通路へと移動する場合において、狭い通路の入り口付近に第２のマーカが設置される。その結果生成された登録情報は、マーカを用いずに移動体が広い通路から狭い通路へとうまく移動することを可能にする。

（第４の実施形態）
第４の実施形態では、第３の実施形態に係る移動体行動登録装置７００により生成された登録情報に基づいて、移動体の行動を制御する移動体制御装置について説明する。

図９は、第４の実施形態に係る移動体制御装置９００を概略的に示している。図９において、図５に示した部分と同様の部分に同様の参照符号を付して、その説明を省略する。

図９に示すように、移動体制御装置９００は、移動体行動決定装置９０１及びコントローラ５０２を備える。移動体行動決定装置９０１は、第１の行動指示生成部９１０、第２の行動指示生成部９２０、及び判定部９３０を備える。第１の行動指示生成部９１０は、第１の入力画像取得部９１１、第１の登録情報取得部９１２、第１の推定部９１３、及び第１の行動決定部９１４を備える。第２の行動指示生成部９２０は、第２の入力画像取得部９２１、第２の登録情報取得部９２２、第２の推定部９２３、及び第２の行動決定部９２４を備える。第１の入力画像取得部９１１、第１の登録情報取得部９１２、第１の推定部９１３、及び第１の行動決定部９１４はそれぞれ、図５に示した入力画像取得部５１１、登録情報取得部５１２、推定部５１３、及び行動決定部５１４と同様の処理を行う。第２の入力画像取得部９２１、第２の登録情報取得部９２２、第２の推定部９２３、及び第２の行動決定部９２４はそれぞれ、図５に示した入力画像取得部５１１、登録情報取得部５１２、推定部５１３、及び行動決定部５１４と同様の処理を行う。このため、第１の入力画像取得部９１１、第１の登録情報取得部９１２、第１の推定部９１３、第１の行動決定部９１４、第２の入力画像取得部９２１、第２の登録情報取得部９２２、第２の推定部９２３、及び第２の行動決定部９２４についての説明は適宜省略する。

第１の入力画像取得部９１１は、撮像部５０４から、カメラ５０５により撮影された画像を第１の入力画像として取得する。

第１の登録情報取得部９１２は、データベース（図示せず）から第１の登録情報を取得する。第１の登録情報は、第３の実施形態において説明した第１の登録情報生成部７０１により生成されたものであり得る。第１の登録情報は、第１の基準画像、第１のランドマークと第１のマーカとの相対位置、及び第１の行動情報を含む。

第１の推定部９１３は、第１の入力画像取得部９１１により取得された第１の入力画像と、第１の登録情報取得部９１２により取得された第１の登録情報に含まれる第１の基準画像及び第１の相対位置と、に基づいて、移動体５０３と第１のマーカとの相対位置である第３の相対位置を推定する。

第１の行動決定部９１４は、第１の推定部９１３により推定された第３の相対位置と、第１の登録情報に含まれる第１の行動情報と、に基づいて、移動体５０３の行動を決定する。

第２の入力画像取得部９２１は、撮像部５０４から、カメラ５０５により撮影された画像を第２の入力画像として取得する。

第２の登録情報取得部９２２は、データベースから第２の登録情報を取得する。第２の登録情報は、第３の実施形態において説明した第２の登録情報生成部７０２により生成されたものであり得る。第２の登録情報は、第２の基準画像、第２のランドマークと第２のマーカとの相対位置、及び第２の行動情報を含む。

第２の推定部９２３は、第２の入力画像取得部９２１により取得された第２の入力画像と、第２の登録情報取得部９２２により取得された第２の登録情報に含まれる第２の基準画像及び第２の相対位置と、に基づいて、移動体５０３と第２のマーカとの相対位置である第４の相対位置を推定する。

第２の行動決定部９２４は、第２の推定部９２３により推定された第４の相対位置と、第２の登録情報に含まれる第２の行動情報と、に基づいて、移動体５０３の行動を決定する。

判定部９３０は、移動体５０３の位置に基づいて、第１の行動指示生成部９１０又は第２の行動指示生成部９２０のどちらを使用するかを判定する。具体的には、判定部９３０は、移動体５０３が第１の登録情報に対応するエリアにいる場合に、第１の行動指示生成部９１０を使用すると判定し、移動体５０３が第２の登録情報に対応するエリアにいる場合に、第２の行動指示生成部９２０を使用すると判定する。一例として、判定部９３０は、移動体５０３と目標地点との距離が所定の距離を超える場合に、第１の行動指示生成部９１０を使用すると判定し、そうでない場合に、第２の行動指示生成部９２０を使用すると判定する。

コントローラ５０２は、移動体５０３の位置に応じて第１の行動指示生成部９１０又は第２の行動指示生成部９２０のいずれかにより生成された行動指示に基づいて、移動体５０３の動作を制御する。

次に、移動体制御装置９００の動作例について説明する。

図１０は、移動体制御装置９００の処理手順の一例を概略的に示している。図１０のステップＳ１００１では、第１の入力画像取得部９１１は、撮像部５０４からカメラ５０５により撮影された第１の入力画像を取得する。ステップＳ１００２では、第１の登録情報取得部９１２は、データベースから第１の登録情報を取得する。ステップＳ１００３では、第１の推定部９１３は、第１の入力画像と、第１の登録情報に含まれる第１の基準画像及び第１の相対位置と、に基づいて、第１のランドマークと第１のマーカとの相対位置である第３の相対位置を推定する。ステップＳ１００４では、第１の行動決定部９１４は、第１の登録情報に含まれる行動情報と、第１の推定部９１３により推定された第３の相対位置と、に基づいて、移動体５０３の行動を決定する。ステップＳ１００５では、コントローラ５０２は、第１の行動決定部９１４によって決定された行動を行うよう移動体５０３を制御する。

ステップＳ１００６では、判定部９３０は、移動体５０３が第２の登録情報に対応するエリアにいるか否かを判定する。移動体５０３が第２の登録情報に対応するエリアにいない場合（ステップＳ１００６；Ｎｏ）、ステップＳ１００１、Ｓ１００３、Ｓ１００４、Ｓ１００５が繰り返される。

移動体５０３が第２の登録情報に対応するエリアにいる場合（ステップＳ１００６；Ｙｅｓ）、ステップＳ１００７では、第２の入力画像取得部９２１は、撮像部５０４からカメラ５０５により撮影された第２の入力画像を取得する。ステップＳ１００８では、第２の登録情報取得部９２２は、データベースから第２の登録情報を取得する。ステップＳ１００９では、第２の推定部９２３は、第２の入力画像と、第２の登録情報に含まれる第２の基準画像及び第２の相対位置と、に基づいて、第２のランドマークと第２のマーカとの相対位置である第４の相対位置を推定する。ステップＳ１０１０では、第２の行動決定部９２４は、第２の登録情報に含まれる行動情報と、第２の推定部９２３により推定された第４の相対位置と、に基づいて、移動体５０３の行動を決定する。ステップＳ１０１１では、コントローラ５０２は、第２の行動決定部９２４によって決定された行動を行うよう移動体５０３を制御する。

このようにして、移動体制御装置９００は、移動体５０３に所定の行動を行わせながら、目標地点まで移動体５０３を移動させる。移動体５０３の動作時にはマーカを設置する必要がない。

図１１は、一実施形態に係る情報処理装置１１００のハードウェア構成の一例を概略的に示している。図１１に示す情報処理装置１１００は、第１の実施形態に係る移動体行動登録装置１０４（図３）、第２の実施形態に係る移動体制御装置５００（図５）、第３の実施形態に係る移動体行動登録装置７００（図７）、又は第４の実施形態に係る移動体制御装置９００（図９）に対応する。

情報処理装置１１００は、ＣＰＵ（Central Processing Unit）１１０１、主記憶装置１１０２、補助記憶装置１１０３、入力装置１１０４、及び表示装置１１０５を備え、これらはバス１１０６により互いに接続されている。

ＣＰＵ１１０１は、汎用プロセッサの一例である。主記憶装置１１０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの揮発性メモリであり、ワーキングメモリとしてＣＰＵ１１０１に使用される。補助記憶装置１１０３は、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの不揮発性メモリであり、移動体行動登録プログラム又は移動体制御プログラムなどのプログラム、プログラムを実行するために必要なデータ、属性と行動との対応関係を示すデータなどを記憶する。

情報処理装置１１００が移動体行動登録装置１０４として使用される場合、移動体行動登録装置１０４の上述した機能、例えば、基準画像取得部３０１、ランドマーク検出部３０２、マーカ検出部３０３、属性識別部３０４、相対位置算出部３０５、登録部３０６、及び対応関係変更部３０７による処理は、ＣＰＵ１１０１が移動体行動登録プログラムを実行することにより実現される。すなわち、ＣＰＵ１１０１は、移動体行動登録プログラムに従って、基準画像取得部３０１、ランドマーク検出部３０２、マーカ検出部３０３、属性識別部３０４、相対位置算出部３０５、登録部３０６、及び対応関係変更部３０７に関して上述した処理を実行するように構成される。

情報処理装置１１００が移動体制御装置５００として使用される場合、移動体制御装置５００の上述した機能、例えば、入力画像取得部５１１、登録情報取得部５１２、推定部５１３、及び行動決定部５１４、及びコントローラ５０２による処理は、ＣＰＵ１１０１が移動体制御プログラムを実行することにより実現される。

情報処理装置１１００が移動体行動登録装置７００として使用される場合、移動体行動登録装置７００の上述した機能、例えば、第１の登録情報生成部７０１及び第２の登録情報生成部７０２による処理は、ＣＰＵ１１０１が移動体行動登録プログラムを実行することにより実現される。

情報処理装置１１００が移動体制御装置９００として使用される場合、移動体制御装置９００の上述した機能、例えば、第１の入力画像取得部９１１、第１の登録情報取得部９１２、第１の推定部９１３、第１の行動決定部９１４、第２の入力画像取得部９２１、第２の登録情報取得部９２２、第２の推定部９２３、第２の行動決定部９２４、判定部９３０、及びコントローラ５０２による処理は、ＣＰＵ１１０１が移動体制御プログラムを実行することにより実現される。

なお、各装置の機能の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの専用プロセッサにより実現されてもよい。ハードウェアプロセッサ又は処理回路という用語は、汎用プロセッサ、専用プロセッサ、又は汎用プロセッサと専用プロセッサの組み合わせを含む。

入力装置１１０４は、例えば、キーボード及びマウスを含む。表示装置１１０５は、例えば、液晶表示装置（ＬＣＤ）又はＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどであり得る。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した移動体行動登録装置又は移動体制御装置による効果と同様な効果を得ることが可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態に係る移動体行動登録装置又は移動体制御装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。

また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）などが本実施形態を実現するための各処理の一部を実行してもよい。

さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。

また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。

また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…移動体行動登録システム、１０１…移動体、１０２…撮像部、１０３…通信インタフェース、１０４…移動体行動登録装置、１０５…コントローラ、１１１…本体、１１２…車輪、１２１，１２２…カメラ、３０１…基準画像取得部、３０２…ランドマーク検出部、３０３…マーカ検出部、３０４…属性識別部、３０５…相対位置算出部、３０６…登録部、３０７…対応関係変更部、５００…移動体制御装置、５０１…移動体行動決定装置、５０２…コントローラ、５０３…移動体、５０４…撮像部、５０５…カメラ、５０６…通信インタフェース、５１１…入力画像取得部、５１２…登録情報取得部、５１３…推定部、５１４…行動決定部、７００…移動体行動登録装置、７０１…第１の登録情報生成部、７０２…第２の登録情報生成部、７０３…登録部、９００…移動体制御装置、９０１…移動体行動決定装置、９１０…第１の行動指示生成部、９１１…第１の入力画像取得部、９１２…第１の登録情報取得部、９１３…第１の推定部、９１４…第１の行動決定部、９２０…第２の行動指示生成部、９２１…第２の入力画像取得部、９２２…第２の登録情報取得部、９２３…第２の推定部、９２４…第２の行動決定部、９３０…判定部、１１００…情報処理装置、１１０１…ＣＰＵ、１１０２…主記憶装置、１１０３…補助記憶装置、１１０４…入力装置、１１０５…表示装置、１１０６…バス。

Claims (14)

1. 移動経路における各位置での移動体の行動を可能にするための事前登録で利用される移動体行動登録装置であって、
   撮像部から、第１の基準画像及び、前記移動体の前記移動経路に設置され、前記移動体の位置及び行動の特定に利用されるマーカを含む第２の基準画像を取得する基準画像取得部と、
   前記第１の基準画像に基づいて、環境中の自然物又は人工物の特徴的な部位を示す特徴点をランドマークとして検出するランドマーク検出部と、
   前記第２の基準画像に基づいて、前記マーカを検出するマーカ検出部と、
   前記ランドマークの検出結果と前記マーカの検出結果とに基づいて、前記ランドマークと前記マーカとの相対位置を算出する相対位置算出部と、
   前記第２の基準画像に基づいて、前記マーカの属性を識別する属性識別部と、
   前記相対位置と、前記識別された属性に対応付けられた、前記相対位置における行動を特定するための行動情報と、前記第１の基準画像又は前記第１の基準画像から算出される前記ランドマークに関する特徴量と、を含む登録情報をデータベースに登録する登録部と、
   を備える移動体行動登録装置。
2. 前記登録情報は、前記第１の基準画像を含む、請求項１に記載の移動体行動登録装置。
3. 前記ランドマーク検出部は、前記ランドマークに関する前記特徴量を算出し、
   前記登録情報は、前記特徴量を含む、請求項１に記載の移動体行動登録装置。
4. 前記第１の基準画像は前記第２の基準画像とは異なる、
   請求項１乃至３のいずれか１項に記載の移動体行動登録装置。
5. 前記第１の基準画像及び前記第２の基準画像は同一の画像である、
   請求項１乃至３のいずれか１項に記載の移動体行動登録装置。
6. 前記相対位置算出部は、前記相対位置として、前記ランドマークと前記マーカとの相対的な３次元位置を算出する、請求項１乃至５のいずれか１項に記載の移動体行動登録装置。
7. 前記属性は、前記マーカの向き、位置、模様、色、形状、識別情報、大きさ、点滅、発光のうちの少なくとも１つを含む、請求項１乃至６のいずれか１項に記載の移動体行動登録装置。
8. 属性と行動との対応関係を変更する対応関係変更部をさらに備え、
   前記登録部は、前記識別された属性及び前記属性と行動との対応関係に基づいて、前記行動情報を生成する、請求項１乃至７のいずれか１項に記載の移動体行動登録装置。
9. 移動経路における各位置での第１の移動体の行動を可能にするための事前登録で利用される移動体行動登録システムであって、
   第２の移動体と、
   前記第２の移動体の移動を制御するコントローラと、
   前記第２の移動体に設置された撮像部から、第１の基準画像及び、前記第１の移動体の前記移動経路に設置され、前記第１の移動体の位置及び行動の特定に利用されるマーカを含む第２の基準画像を取得する基準画像取得部と、
   前記第１の基準画像に基づいて、環境中の自然物又は人工物の特徴的な部位を示す特徴点をランドマークとして検出するランドマーク検出部と、
   前記第２の基準画像に基づいて、前記マーカを検出するマーカ検出部と、
   前記ランドマークの検出結果と前記マーカの検出結果とに基づいて、前記ランドマークと前記マーカとの相対位置を算出する相対位置算出部と、
   前記第２の基準画像に基づいて、前記マーカの属性を識別する属性識別部と、
   前記相対位置と、前記識別された属性に対応付けられた、前記相対位置における行動を特定するための行動情報と、前記第１の基準画像又は前記第１の基準画像から算出される前記ランドマークに関する特徴量と、を含む登録情報をデータベースに登録する登録部と、
   を備える移動体行動登録システム。
10. 移動経路における各位置での移動体の行動を可能にするための事前登録で利用される移動体行動登録装置により実行される移動体行動登録方法であって、
    撮像部から、第１の基準画像及び、前記移動体の前記移動経路に設置され、前記移動体の位置及び行動の特定に利用されるマーカを含む第２の基準画像を取得することと、
    前記第１の基準画像に基づいて、環境中の自然物又は人工物の特徴的な部位を示す特徴点をランドマークとして検出することと、
    前記第２の基準画像に基づいて、前記マーカを検出することと、
    前記ランドマークの検出結果と前記マーカの検出結果とに基づいて、前記ランドマークと前記マーカとの相対位置を算出することと、
    前記第２の基準画像に基づいて、前記マーカの属性を識別することと、
    前記相対位置と、前記識別された属性に対応付けられた、前記相対位置における行動を特定するための行動情報と、前記第１の基準画像又は前記第１の基準画像から算出される前記ランドマークに関する特徴量と、を含む登録情報をデータベースに登録することと、
    を備える移動体行動登録方法。
11. 移動経路における各位置での移動体の行動を可能にするための事前登録で利用される移動体行動登録装置のコンピュータを、
    撮像部から、第１の基準画像及び、前記移動体の前記移動経路に設置され、前記移動体の位置及び行動の特定に利用されるマーカを含む第２の基準画像を取得する基準画像取得手段、
    前記第１の基準画像に基づいて、環境中の自然物又は人工物の特徴的な部位を示す特徴点をランドマークとして検出するランドマーク検出手段、
    前記第２の基準画像に基づいて、前記マーカを検出するマーカ検出手段、
    前記ランドマークの検出結果と前記マーカの検出結果とに基づいて、前記ランドマークと前記マーカとの相対位置を算出する相対位置算出手段、
    前記第２の基準画像に基づいて、前記マーカの属性を識別する属性識別手段、及び
    前記相対位置と、前記識別された属性に対応付けられた、前記相対位置における行動を特定するための行動情報と、前記第１の基準画像又は前記第１の基準画像から算出される前記ランドマークに関する特徴量と、を含む登録情報をデータベースに登録する登録手段
    として機能させるための移動体行動登録プログラム。
12. 移動体に設置された撮像部から、入力画像を取得する入力画像取得部と、
    ランドマークとマーカとの相対位置である第１の相対位置と、前記マーカの属性に対応付けられた、前記第１の相対位置における行動を特定するための行動情報と、前記ランドマークを含む基準画像又は前記基準画像から算出される前記ランドマークに関する特徴量と、を含む登録情報が事前に登録されたデータベースから前記登録情報を取得する登録情報取得部と、
    前記入力画像と、前記登録情報に含まれる前記第１の相対位置と、前記登録情報に含まれる前記基準画像又は前記特徴量と、に基づいて、前記移動体と前記マーカとの相対位置である第２の相対位置を推定する推定部と、
    前記第２の相対位置と前記登録情報に含まれる前記行動情報とに基づいて、前記移動体の行動を決定する行動決定部と、
    を備える移動体行動決定装置。
13. 前記入力画像は、前記マーカを含まない、請求項１２に記載の移動体行動決定装置。
14. 前記行動は、前記移動体の向き、移動方向、速度、前記移動体に搭載された機構への指示のうちの少なくとも１つを含む、請求項１２又は１３に記載の移動体行動決定装置。

Images