JP4849178B2

JP4849178B2 - 移動型ロボット

Info

Publication number: JP4849178B2
Application number: JP2010057267A
Authority: JP
Inventors: 裕一朗中島; 海妍李; 秀樹野村
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2010-03-15
Filing date: 2010-03-15
Publication date: 2012-01-11
Anticipated expiration: 2026-02-17
Also published as: JP2010131751A

Description

本発明は、自律移動型ロボットに関する。特に、カメラを利用して周囲の環境を認識して移動するロボットに関する。

体幹と、駆動機構を有する関節部を介して体幹に接続されている接続部位を備えている移動側ロボットが開発されている。この種のロボットのなかには、体幹に設けられている体幹側カメラで撮像された環境画像から環境地図を作成し、得られた環境地図を元に目的位置までの移動経路を計画するものがある。特許文献１では、ロボットの頭部に設けられているカメラで撮像し、撮像した画像から視差画像あるいは距離画像を計算し、計算した視差画像あるいは距離画像から平面パラメータを算出し、算出した平面パラメータから床を含む複数の平面抽出を行うことによって環境地図を作成し、作成した環境地図からロボットが移動可能な範囲を認識し、認識した範囲に基づいてロボットの移動経路を計画している。

特開２００５−９２８２０号公報

駆動機構を有する関節部を介して体幹に接続されている接続部位を備えているロボットの場合、アームや脚などの接続部位の位置によっては、ロボットの体幹に設けられているカメラの視野の一部が接続部位によって遮られ、一部の周囲物体を撮像できないことがある。即ち、接続部位の背後に未知環境が存在することがある。
接続部位の背後に未知環境が存在すると、体幹の移動経路を計画することができなくなってしまう。あるいは、アームや脚などの接続部位の移動経路を計画することができなくなってしまう。特に、接続部位を目的位置に移動させる経路を計画する場合には、目的位置が未知環境にあるために、目的位置が認識できない事態が発生しやすい。例えば、異なる位置に配置されている２以上の体幹側カメラを利用して２以上の体幹側画像情報を得ることができれば、両画像に撮像されている物体の奥行き情報が未知であっても、その物体の移動型ロボットに対する相対的位置関係を計算することができる。しかしながら、接続部位の影になっているために、いずれかの体幹側画像では撮像されていない周囲物体については、位置を特定することができない。

現状技術では、未知環境が発生する毎に、体幹または接続部位を移動させて未知環境を撮像し、未知環境を未知環境でなくしてから移動経路を決定する処理を必要としている。
しかしながら、上記の処理には本来的には必要とされない動作を要するばかりでなく、体幹を連続的に移動させるロボットや、周囲物体が移動する環境にある場合には、対応することが難しい。

本発明は、未知環境を発生させない移動型ロボットを実現することを目的とする。

本発明では、接続部位によって遮られて撮像できない範囲を撮像するために、接続部位にもカメラを用意する。接続部位にもカメラを用意すれば、接続部位によって撮像できないという事態の発生を防止することができる。

例えば奥行き情報が既知であるような場合には、１枚の合成画像を得ること自体で有用な情報が得られる。奥行き情報が未知であれば、視点を変えて撮像した複数枚の画像情報を得、それらから周囲物体の位置を計算することが有用である。
本発明のロボットは、体幹と、駆動機構を有する関節部を介して体幹に接続されている接続部位と、体幹に設けられている２以上の体幹側カメラと、接続部位に設けられている接続部位側カメラと、２以上の体幹側カメラで撮像した２以上の体幹側画像から撮像範囲内に存在する物体の移動型ロボットに対する相対的位置関係を計算する第１計算手段と、体幹側カメラの少なくとも１つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像から撮像範囲内に存在する物体の移動型ロボットに対する相対的位置関係を計算する第２計算手段を備えている。第２計算手段は、接続部位を撮像している範囲が最も少ない体幹側画像を選択して計算に用いる。本発明のロボットは、画像情報を処理することによって位置情報を計算する。合成画像を作成する必要は必ずしもない。

本発明のロボットでは、２つの体幹側カメラで撮影した体幹側画像の組み合わせて利用するとともに、これに加えて、体幹側カメラの１つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像を組み合わせて利用する。これらも、視点を変えて撮像した２以上の画像情報であり、これらからも周囲物体の移動型ロボットに対する相対的位置関係を計算することができる。接続部位の影になって両方の体幹側カメラでは撮像できなくても、いずれか一方の体幹側カメラで撮像できれば、それと接続部位側画像情報を組み合わせて利用することによって、周囲物体の移動型ロボットに対する相対的位置関係を特定することができる。この場合、視点を変えて撮像した複数枚の合成画像が得られ、例えば奥行き情報が未知な場合等に、撮像範囲内に存在する特徴点の３次元的位置を特定するといったことが可能となる。これにより、未知環境の範囲を狭めることができる。

なお、体幹側画像内において接続部位を撮像している範囲を特定する手段には、大きく分けて２方式が可能である。一つの方式は、体幹側カメラに対する接続部位の位置関係（これはロボットに既知である）から接続部位が撮像されているはずの範囲を計算して求める方式である。もう一つの方式は、体幹側画像を画像処理して接続部位の形状（これはロボットに既知である）に相当する部分を抽出し、それから接続部位が撮像されている範囲を特定する方式である。第２計算手段によって選択される接続部位を撮像している範囲が最も少ない体幹側画像は、いずれの方式によって選択されてもよい。
上記のロボットは、その後の体幹または接続部位の移動経路を計算することができる。未知環境を残さないようにするために無駄な動作が必要とされることがない。また周囲物体が移動する環境にあっても、移動経路を時々刻々に決定することができる。

本発明では、接続部位にカメラを設けることで、接続部位に第２の視覚認識部としての機能を付加している。この構成により、接続部位の影になって体幹側カメラでは撮像できない領域内に存在する周囲物体についても、その周囲物体の移動型ロボットに対する相対的位置関係を特定することが可能となる。本発明によれば、未知環境の範囲を減少ないし無くすことができ、ロボットを安全に迅速に動作させることが可能となる。

実施例１のロボットの外観を示す図である。実施例１のロボット機構の概略を示す図である。実施例１のロボットの視野図である。体幹側画像の一例を示す図である。接続部位側画像の一例を示す図である。画像合成処理装置の処理過程を示すフローチャートである。図４の体幹側画像と接続部位の撮像範囲Ｒを示した図である。図５の接続部位側画像と対応範囲Ｓを示した図である。ステップＳ６１３の出力結果の一例を示す図である。複数の体幹側画像と接続部位の撮像範囲Ｒの一例を示す図である。接続部位側画像と対応範囲Ｓの一例を示す図である。実施例２のロボットの外観を示す図である。実施例２のロボット機構の概略を示す図である。実施例２のロボットの視野図である。実施例２のロボットの動作処理までの過程を示すフローチャートである。ステレオ画像の取得処理の過程を示すフローチャートである。実施例３のロボット機構の概略を示す図である。

最初に、以下に説明する実施例の主要な特徴を列記する。
（特徴１）ロボットは、体幹に走行機構（この実施例の場合は車輪であるが、脚リンクでもよい）を備えている。
（特徴２）ロボットは、環境地図から体幹の走行軌跡を計算する。
（特徴３）ロボットは、環境地図から接続部位の移動軌跡を計算する。
（特徴４）ロボットは、環境地図から体幹の走行軌跡と接続部位の移動軌跡を計算する。
（特徴５）ロボットは、関節角度制御装置や車輪回転数制御装置および位置情報検出装置により、ロボットの姿勢と各カメラの撮像方向を制御している。体幹側カメラの撮像方向は、体幹側カメラ撮像方向計算装置で計算され、接続部位側カメラの撮像方向は、接続部位側カメラ撮像方向計算装置で計算される。
（特徴６）ロボットは合成画像から得られた情報に基づき、移動経路を作成する。その経路に基づいて、前記関節角度制御装置や車輪回転数制御装置および位置情報検出装置がアクチュエータを制御し、体幹および／または接続部位を作成された移動経路に沿って移動させる。
（特徴７）ロボットは周囲環境の変化に対応して過去に作成した軌道に修正を加え、移動経路を変更する経路修正装置を備えている。

図１に、本実施例のロボットの外観を示す。本実施例のロボット１００は、体幹１０３と、肩関節２０３を介して体幹１０３に接続された１本の接続部位（アーム）１０４を有している。接続部位１０４は、２本以上が存在していてもよい。体幹１０３は、胴体２００と、首関節２０２と、頭部２０１を備えており、頭部２０１に体幹側カメラ１０５が固定されている。体幹側カメラ１０５は、首関節２０２によって、胴体２００に対する撮像方向を変えることができる。胴体２００の下方には１対の車輪が配置されており、車輪２０６を利用して体幹１０３を移動させる。
接続部位１０４は、肩関節２０３と、肘関節２０４と、手首関節２０５を備えており、掌に側カメラ１０６が固定されている。肩関節２０３と、肘関節２０４と、手首関節２０５は能動機構を有しており、接続部位側カメラ１０６は、肩関節２０３と、肘関節２０４と、手首関節２０５によって、胴体２００に対する撮像方向を変えることができる。また胴体２００に対する接続部位側カメラ１０６のカメラ位置を変えることもできる。
このロボットは、作業環境内における頭部２０１の位置を計測する手段を備えており、体幹側カメラ１０５のカメラ位置と撮像方向を認識している。また、体幹１０３に対する接続部位側カメラ１０６のカメラ位置と撮像方向を認識している。
本実施例のロボット１００は、車輪２０６を利用してスイッチパネル１０に接近し、接続部位１０４を利用してスイッチパネル１０の壁面に配置されているスイッチ群１２ａ，１２ｂ・・を操作する。スイッチパネル１０の壁面の位置は既知である。

図２は、ロボット１００の周囲を認識する機構１０１の概略を示す図である。本実施例のロボット１００は、制御装置１１４を有している。制御装置１１４は、合成画像作成装置１１０を備えており、合成画像作成装置１１０は、体幹側カメラ１０５から体幹側画像情報を入力し、接続部位側カメラ１０６から接続部位側画像情報を入力し、体幹側カメラ位置撮像方向計算装置１１１から体幹側カメラ１０５の位置と撮像方向を入力し、接続部位側カメラ位置撮像方向計算装置１０９から接続部位側カメラ１０６の位置と撮像方向を入力し、体幹側画像情報と接続部位側画像情報から合成画像情報を作成し、作成した合成画像情報からその後の移動経路を作成し（移動経路作成装置１１３）、作成した移動経路情報にしたがって、車輪２０６と関節群を回転させるアクチュエータ群１１５を制御し、作成した移動経路に沿って、車輪２０６、頭部２０１、接続部位１０４を移動させる。ロボット１００は、車輪２０６の回転数を検出する車輪回転数検出装置１１９と、各関節の関節角を検出する関節角検出装置１１７と、胴体２００内に設置されていて胴体２００の位置を検出する位置情報検出装置１２１を備えており、それらの装置で取得される情報が、体幹側カメラ位置撮像方向計算装置１１１と接続部位側カメラ位置撮像方向計算装置１０９に入力される。
ロボットは、位置と撮像方位が既知のカメラで撮影した画像情報から周囲の環境を認識して移動経路を作成する移動経路作成手段１１３を有しており、作成した移動経路に従って移動した後にカメラ位置と撮像方向を再計算し、その後に再度撮像する処理を繰り返しながら、自律的に移動する。

図３に、ロボット１００の視野図を示す。ロボット１００の接続部位１０４が体幹側カメラ１０５の視野内に入ってしまうと、その後ろにある環境情報を得ることができない。具体的には、体幹側カメラ１０５から撮像する体幹側画像には、スイッチパネルの点Aおよび点Bは撮像されるのに対し、点Cおよび点Dは写らない。よって、点Cおよび点Dにおける周囲物体の情報が未知となり、環境状況の認識およびロボット１００に対する周囲物体の相対的な位置関係の把握をすることができないが、本実施例では、接続部位側カメラ１０６を設けることで可視範囲が拡大され、点Cおよび点Dを含む、未知の環境を把握することができる。

図４および図５に、体幹側画像と接続部位側画像の例をそれぞれ示す。図４の体幹側画像では接続部位１０４の影に隠れて撮像されないパネルの表面が、図５の接続部位側画像では撮像されている。これは、頭部２０１と接続部位１０４の位置が関節角検出装置１１７により制御されており、体幹側カメラ１０５と接続部位側カメラ１０６の相対位置に応じて、接続部位側カメラ１０６の撮像方向が調節されることにより可能となる。接続部位側カメラ１０６の撮像方向は、体幹側カメラでは接続部位１０４の影に隠れて撮像できない方向を撮影するように調整される。
それぞれのカメラの倍率や画像サイズなどの差異に関する情報は、体幹側カメラ位置撮像方向計算装置１１１および接続部位側カメラ位置撮像方向計算装置１０９によって把握されており、合成時にはその情報に基づいた画像処理を行うため、それぞれの画像の撮像範囲が完全に一致しなくてもよい。例えば、体幹側カメラ１０５に対し接続部位側カメラ１０６はスイッチパネル１０までの距離が異なっており、かつ接続部位１０４が頭部２０１に対して傾斜していることから、図５の接続部位側画像は図４の体幹側画像に比べて撮像されるスイッチパネル１０の倍率が大きく、また傾いている。

図６に、画像合成処理のフローチャートを示す。このとき、ロボット１００とスイッチパネル１０は図１に示すような位置関係にある。ロボット１００の接続部位１０４は図４に示す位置にあり、同様の画像が体幹側カメラ１０５により撮像されている。ロボット１００はスイッチパネル１０のスイッチ１２ｃ（図１参照）を押圧するために、接続部位１０４を移動させようとしている。しかしながら、スイッチ１２ｃは体幹側画像においては未知環境の範囲内にあるため、図６に示す合成画像作成処理を開始する。
ステップＳ６０１では、合成画像作成装置１１０に体幹側画像情報が入力される。ステップＳ６０３では、体幹側画像において未知環境となっている部分の特徴点Ｘ_ｎの抽出をする。図７に、ステップＳ６０３において抽出される体幹側画像の特徴点の一例を示す。ロボット１００の接続部位１０４の形状は既知であることから、体幹側画像から接続部位を撮像している範囲（接続部位の撮像範囲）を特定することができる（第１特定手段）。図中の点Ｘ_１からＸ_６は、接続部位の撮像範囲を包含するように抽出された特徴点である。本実施例では、直線で結ぶことが可能な６個の特徴点を抽出しているが、接続部位の輪郭に沿って特徴点Ｘ_ｎをとればよい。ステップＳ６０５では、ステップＳ６０３において抽出された特徴点から、接続部位の撮像範囲Ｒ（背後の周囲物体情報が未知の範囲）を特定する。図７の特徴点Ｘ_１からＸ_６に囲まれた範囲が、近似的な接続部位の撮像範囲Ｒである。抽出する特徴点Ｘ_ｎの数を増やすことで、特徴点によって取り囲まれる範囲Ｒを接続部位の撮像範囲に正確に一致させることができる。

ステップＳ６０７では、合成画像作成装置１１０に接続部位側画像情報が入力される。
ステップＳ６０９では、ステップＳ６０７で入力された接続部位側画像情報から、体幹側画像の接続部位の撮像範囲Ｒの特徴点に対応する点Ｚ_ｎを抽出する。図８に、ステップＳ６０９において抽出される接続部位側画像の特徴点Ｚ_ｎの一例を示す。図８中の点Ｚ_１からＺ_６は、体幹側画像から抽出された特徴点Ｘ_１からＸ_６に対応する点である。
ステップＳ６１１では、ステップＳ６０９で抽出された特徴点Ｚ_ｎから、接続部位側画像の対応範囲Ｓ（体幹側画像では未知情報である範囲）を特定する（第２特定手段）。

ステップＳ６１３では、接続部位側画像より得られた対応範囲Ｓを、体幹側画像より得られた接続部位の撮像範囲Ｒに適合するように、体幹側カメラと接続部位側カメラの入力画像に付加されている差異情報に基づき、サイズの調整、傾斜角の回転調整などの処理を行う。
ステップＳ６１５では、体幹側画像の接続部位の撮像範囲Ｒを、合成のための準備処理を終えた対応範囲Ｓに置き換える。その結果、ステップＳ６１７において、未知範囲のない合成画像が出力される。図９に、合成画像の一例を示す。破線で示されている接続部位の撮像範囲Ｒは対応範囲Ｓに置き換えられ、接続部位が撮像されていない合成画像を得ることができる。

本実施例は、複数の体幹側カメラを有していても良い。その場合は、それぞれの体幹側画像より接続部位の撮像範囲Ｒ_ｘを抽出し、それぞれの接続部位の撮像範囲Ｒ_ｘに対して接続部位側画像より対応範囲Ｓ_ｘを抽出し、接続部位の撮像範囲Ｒ_ｘを対応範囲Ｓ_ｘと置き換える。

図１０に、３台の体幹側カメラから撮像された、３枚の体幹側画像ＴＣ_１、ＴＣ_２およびＴＣ_３を例示する。この体幹側画像ＴＣ_１、ＴＣ_２およびＴＣ_３はステップＳ６０１からステップＳ６０５の処理を経て、接続部位の撮像範囲Ｒ_１、Ｒ_２およびＲ_３の特定を行っている。頭部に固定された３台の体幹側カメラの位置が異なるため、各画像の接続部位の撮像範囲の位置には差異がある。
図１１に、上記の３台の体幹側カメラと連動して作動する接続部位側カメラが撮像した接続部位側画像ＡＣを例示する。体幹側画像ＴＣ_１、ＴＣ_２およびＴＣ_３の接続部位の撮像範囲Ｒ_１、Ｒ_２およびＲ_３を補うため、接続部位側画像ＡＣはステップＳ６０７からステップＳ６１１の処理によって対応範囲Ｓ_１、Ｓ_２およびＳ_３を特定する。
ステップＳ６１３からステップＳ６１７の処理により、体幹側画像ＴＣ_１、ＴＣ_２およびＴＣ_３の接続部位の撮像範囲Ｒ_１、Ｒ_２およびＲ_３は、接続部位側画像ＡＣの対応範囲Ｓ_１、Ｓ_２およびＳ_３により置き換えられ、未知範囲のない体幹側カメラ画像が作成される。

さらに、本実施例は、複数の接続部位側カメラを有していてもよい。この場合は、各体幹側画像の接続部位の撮像範囲Ｒに対して対応範囲Ｓが最も広範囲に抽出可能な接続部位側画像を利用するような判断装置を設けることが好ましい。

本実施例はさらに、上記の方法で得られた合成画像を用いて、ロボット１００に対する周囲物体の相対的な位置を計算することができる。ここでいうロボット１００に対する周囲物体の相対的な位置は、物体の相対的位置座標をワールド座標系からロボットを中心とした座標系に変換して把握する。

実施例１と実施例２には、共通する部位があるため、共通する部位または装置については同一番号を付して重複説明を省略する。
図１２は、ステレオカメラを用いたロボットの外観を示す図である。本実施例のロボット１００は、体幹１０３と、肩関節２０３を介して体幹１０３に接続された一本の接続部位（アーム）１０４を有している。接続部位１０４は、２本以上が存在していてもよい。体幹１０３は、
胴体２００と、首関節２０２と、頭部２０１を備えており、頭部２０１に体幹側カメラ１０５（ａ）および１０５（ｂ）が固定されている。体幹側カメラ１０５（ａ）および１０５（ｂ）は、首関節２０２によって、胴体２００に対する撮像方向を変えることができる。胴体２００の下方には１対の車輪２０６が配置されており、車輪２０６を利用して移動する。
接続部位１０４は、肩関節２０３と、肘関節２０４と、手首関節２０５を備えており、掌に接続部位側カメラ１０６が固定されている。肩関節２０３と、肘関節２０４と、手首関節２０５は能動機構を有しており、接続部位側カメラ１０６は、肩関節２０３と、肘関節２０４と、手首関節２０５によって、胴体２００に対する撮像方向を変えることができる。また胴体２００に対する接続部位側カメラ１０６のカメラ位置を変えることもできる。
このロボットは、作業環境内におえる頭部２０１の位置を計測する手段を備えており、体幹側カメラ１０５（ａ）および１０５（ｂ）のカメラ位置と撮像方向を認識している。また、胴体２００に対する接続部位側カメラ１０６のカメラ位置と撮像方向を認識している。
本実施例のロボット１００は、周囲物体３０，４０，５０，６０を視覚により認識し、それらに衝突しない接続部位軌道を作成し、把持物２０を空いたスペースに設置する。ロボット１００の体幹側カメラ１０５（ａ）および１０５（ｂ）は通常、ステレオカメラとして機能していて、図中の点Ａ、Ｂ、Ｃ、Ｄは、ロボット１００の視点である。

図１３は、本実施例のステレオカメラを用いたロボット１００の周囲を認識する機構１０１の概略を示す図である。本実施例のロボット１００は、制御装置１１４を有している。制御装置１１４は、画像情報処理装置１１６を備えており、画像情報処理装置１１６は体幹１０３に設けられている体幹側カメラ１０５（ａ）および１０５（ｂ）から体幹側画像情報を入力し、接続部位１０４に設けられている接続部位側カメラ１０６から接続部位側画像情報を入力し、体幹側カメラ位置撮像方向計算装置１１１から体幹側カメラ１０５（ａ）および１０５（ｂ）の位置と撮像方向を入力し、接続部位側カメラ位置撮像方向計算装置１０９から接続部位側カメラ１０６の位置と撮像方向を入力し、これらの画像情報およびカメラ位置と撮像方向に関する情報から、環境地図を作成し、環境地図記憶装置１１２に記憶する。その環境地図情報に基づき、その後の移動経路を作成し（移動経路作成装置１１３）、作成した移動経路情報にしたがって、車輪２０６と能動機構を有する関節を回転させるアクチュエータ群１１５を制御し、作成した移動経路に沿って、車輪２０６、頭部２０１、接続部位１０４を移動させる。ロボット１００は、車輪２０６の回転数を検出する車輪回転数検出装置１１９と、各関節の関節角を検出する関節角検出装置１２３と、胴体２００内に設置されていて胴体２００の位置を検出する位置情報検出装置１２１を備えており、それらの装置で取得される情報が、体幹側カメラ位置撮像方向計算装置１１１と接続部位側カメラ位置撮像方向計算装置１０９に入力される。
ロボット１００は、位置と撮像方位が既知のカメラで撮像した画像情報から周囲の環境を認識して移動経路を計算し、計算した移動経路に従って移動した後にカメラ位置と撮像方向を再計算し、その後に再度撮像するという処理を繰返しながら、自律的に移動する。

図１４に、ロボット１００の視野の鳥瞰図を示す。ロボット１００の接続部位１０４とその把持物２０が体幹側カメラ１０５（ａ）および１０５（ｂ）の視野内に入ってしまうと、その後ろにある環境情報を得ることができない。
具体的には、図１４の例において、点Ａおよび点Ｂは、実線矢印で示すように体幹側カメラ１０５（ａ）および１０５（ｂ）の両方より撮像可能であるため、体幹側画像からステレオ画像が生成可能となっており、ロボットの移動に合わせてその情報を時系列上連続して取得することができる。
それに対し、点Ｃおよび点Ｄに関しては、体幹側カメラだけでは下肢の移動位置もしくは接続部位の動作によって、それぞれの点の体幹側カメラ１０５（ａ）および１０５（ｂ）を利用したステレオ視が不可能となり、その周囲についての環境情報を取得することができない。破線矢印は、接続部位あるいは把持物体が視線を遮るため、同じ特徴点を有する画像を撮像することができないことを示している。
ステレオカメラの場合、特に周囲物体の奥行きや高さなどの情報を必要とする場合は、複数の位置情報が既知のカメラを利用するか、あるいは１台のカメラが移動しながら撮像した場合のように、複数の画像から視差情報が得られることが必須となる。このため、点Ｃおよび点Ｄは両眼視ができないことから、点Ｃおよび点Ｄ付近の物体の位置関係を認識することができない。

このような場合、本実施例は、点Ｃおよび点Ｄの視点のように、視界を遮る物体の有無等により、体幹側カメラ１０５のいずれかがステレオカメラとして満足に機能することが困難な場合には、いずれかの体幹側カメラ１０５と接続部位側カメラ１０６を用いてステレオ画像を得ることができる。
具体的には、点Ａおよび点Ｂの周辺など、接続部位１０４などの視野を遮る物体がない場合には体幹側カメラ１０５（ａ）および１０５（ｂ）によりステレオ画像を取得し、周囲物体のロボット１００に対する相対的な位置関係を計算することができる（第１計算手段）。その一方で、点Ｃのような場合には体幹側カメラ１０５（ｂ）と接続部位側カメラ１０６により両眼視し、点Ｄの場合には体幹側カメラ１０５（ａ）と接続部位側カメラ１０６により両眼視をすることにより、周辺環境全域を認識するのに必要な情報を得、周囲物体のロボット１００に対する相対的な位置関係を計算することができる（第２計算手段）。

接続部位側カメラ１０６を使って両眼視をする場合、複数ある体幹側カメラのうち、どのカメラを使ってステレオ画像を取得するかは、接続部位１０４の撮像される範囲が最も少ない体幹側画像が取得される体幹側カメラを計算に用いるよう選択することができる。この選択は、画像情報処理装置１１６が判断する。

図１５に、本実施例のロボットの動作概要を表わすフローチャートを示す。このとき、ロボット１００は把持物２０を把持しており、それを物体３０，４０，５０および６０に衝突しない接続部位軌道を作成し、把持物２０を空いたスペースに設置する作業を実行したい。ロボット１００の接続部位１０４は図１４に示すような位置にあり、このような状態を表す画像が体幹側カメラ１０５（ａ）および１０５（ｂ）の位置より撮像されている。接続部位１０４の軌道を作成するにあたって、物体５０および物体６０の一部が接続部位１０４および把持物２０により未知となっているため、図１５に示す画像情報処理を開始する。
ステップＳ５００では、体幹側カメラ１０５（ａ）と１０５（ｂ）および接続部位側カメラ１０６により撮像された複数の画像が画像情報処理装置１１６へ入力され、ステレオ画像が取得される。画像情報処理装置１１６は、体幹側画像の未知範囲の大きさにより、接続部位側画像を利用するかどうかを判断してもよく、接続部位１０４によって遮られ、未知範囲となる範囲がより少ない画像の組み合わせからステレオ画像を得る手段を有している。

ステップＳ５０２では、ステップＳ５００で選択され、取得されたステレオ画像に基づきロボット１００の周囲物体の相対的な位置を計算する。画像データはワールド座標系からロボットを中心とする座標系に変換され、周囲物体の位置関係が計算され、ロボット１００と周囲物体の相対的位置情報として出力される。例として、この相対的位置情報の取得には、視差画像や距離画像を用いてもよい。
このとき、体幹側画像どうしからステレオ画像情報を得る場合と、体幹側画像と接続部位側画像を利用してステレオ画像を得る場合とで、それぞれに第１計算手段および第２計算手段という、異なる計算手段を用意することが望ましい。体幹側カメラどうしは並行であるが、体幹側画像と接続部位側画像を利用した計算手段は、それぞれのカメラの相対位置が異なるため、例えばステレオ画像の平行化やハンド・アイ校正のような座標系の変換などが適用できる。

画像処理装置１１６において算出された相対的位置情報は、ステップＳ５０４において周囲物体の相対的位置を表わすデータとして構築され、環境地図記憶装置１１２に記憶される。環境地図とは、ロボット１００が周囲物体の相対的位置を把握できるようなデータを指す。例えば、画像情報処理装置１１６において視差画像を算出するような場合は、この環境地図は画像視差空間（ＳＤＳ空間 Spacial Disparity Space）により表わすことが可能である。ＳＤＳ空間においては、点Ａ、点Ｂ、点Ｃおよび点Ｄを有する周囲物体３０，４０，５０，６０は奥行きのある曲面として表れてくる。

ステップＳ５０６では、環境地図情報に基づいてロボット１００の移動経路を作成する。本実施例のロボット１００は、周囲物体３０，４０，５０，６０を視覚により認識し、それらに衝突しない接続部位軌道を作成し、把持物２０を空いたスペースに設置することを作業目的としているため、このような場合は環境地図情報より周囲物体が存在しない平面を検出し、そこへ把持物２０を設置できるような接続部位の軌道を作成することが望ましい。作成された移動経路に沿って、ステップＳ５０８では、アクチュエータ１１５により実際の動作が実現される。

図１６に、ロボット１００の画像情報処理を表わすフローチャートを示す。図１５のステップＳ５００のスレテオ画像の取得方法は、複数の体幹側画像を使って取得する方法と、体幹側画像のいずれかと接続部位側画像を使って取得する方法の２手法が存在する。ステップＳ１６０では、体幹側カメラ１０５（ａ）と１０５（ｂ）により撮像された複数の体幹側画像と、接続部位側カメラ１０６により撮像された接続部位側画像が画像情報処理装置１１６に入力される。ステップＳ１６２では、体幹側画像に接続部位１０４が撮像されているかを判断する。接続部位が撮像されていない場合（ＮＯの場合）はステップＳ１６４に移行し、体幹側画像どうしからステレオ画像を取得し、第１計算手段を実行する。一方で、体幹側画像に接続部位が撮像されている場合は（ＹＥＳの場合）はステップＳ１６６に進み、いずれかの体幹側画像と接続部位側画像からステレオ画像を取得し、第２計算手段を実行する。ステップＳ１６６で選択される体幹側画像は、接続部位の撮像されている範囲がより小さい方の体幹側画像である。

本実施例では、体幹および接続部位に合計３台のカメラを用いて周囲物体の３次元情報を得る場合を例示しているが、より多くのカメラを用いても良いし、１台の接続部位側カメラが移動することで連続して撮像するような手法を採っても良い。

本実施例では静的な周囲物体を認識する場合について例示したが、移動経路作成装置１１３において作成された経路に沿って接続部位が動作を開始した後に、新たな障害物となる周囲物体が移動経路上に出現した場合や、周囲物体とロボットの位置が下肢の移動等により変化し、接続部位の軌道に修正が必要となった場合に対応することができない。

図１７に、動的な周囲物体に対応することができる形態を示す。このロボット機構１０１は、実施例２のロボット機構に、さらに接続部位の起動に修正を加える移動経路修正装置１２５を設けることで、一度発令された経路を適宜修正することができる。
また、適宜周辺環境のデータを更新することで、接続部位の動作と周囲の環境の変化を同時に、連続して認識し、それに応じて軌道を修正することができる。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
例えば、アームだけでなく、脚などの複数の接続部位にそれぞれ、あるいは１本の接続部位の異なる部位に接続部位側カメラを回転可能に複数個装備すれば、撮像可能な範囲がより拡大される。
また、実施例２では体幹側カメラを主眼としたステレオ視について例示したが、複数の接続部位側カメラを用いてステレオ視を可能にし、体幹側カメラと接続部位側カメラそれぞれのステレオ画像処理装置を装備することで、さらに多様な用途に利用することができる。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項に記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

１００：ロボット
１０１：ロボット機構
１０３：体幹
１０４：接続部位（アーム）
１０５：体幹側カメラ
１０５（ａ）：体幹側カメラ
１０５（ｂ）：体幹側カメラ
１０６：接続部位側カメラ
１０９：接続部位側カメラ位置撮像方向計算装置
１１０：合成画像作成装置
１１１：体幹側カメラ位置撮像方向計算装置
１１２：環境地図記憶装置
１１３：移動経路作成装置
１１４：制御装置
１１５：アクチュエータ群
１１６：画像処理装置
１１７：関節角検出装置
１１９：車輪回転数検出装置
１２１：位置情報検出装置
１２５：移動経路修正装置
２００：胴体
２０１：頭部
２０２：首関節
２０３：肩関節
２０４：肘関節
２０５：手首関節
２０６：車輪

Claims

体幹と、
駆動機構を有する関節部を介して体幹に接続されている接続部位と、
体幹に設けられている２以上の体幹側カメラと、
接続部位に設けられている接続部位側カメラと、
２以上の体幹側カメラで撮像した２以上の体幹側画像から、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する第１計算手段と、
体幹側カメラの少なくとも１つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像から、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する第２計算手段と、を備え、
前記第２計算手段は、接続部位を撮像している範囲が最も少ない体幹側画像を選択して計算に用いることを特徴とする移動型ロボット。