JPS61198014A - 物体情報処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔技術公費〕 本発明は、簡単な構成で、距離情報を用いて環境を認識
することが可能な物体情報処理装置に関するものである
。

〔従来技術〕

視覚センサを使って環境を認識する技術は各種研究され
ている。その多くは人間の視覚認識の機能を模したもの
で、テレビカメラによって得られる信号から環境の明暗
、色彩の分布の特徴を抽出し、これと記憶情報を対比す
ることによって行っている。例えばカメラを用いて物体
の形状−一縁線２色、濃淡等の解析をし、物体が何であ
るかの判断をする方法がある。しかしながら、このよう
な方法は、積み木のような単純な物を認識するのにも分
オーダの時間を要し、リアルタイム処理は不可能で、実
用化は難しい状態であった。又物体までの距離分布をス
リット状の光束を投射することによって計測する方法も
提案されている（テレビジョン学会誌第３４巻第３号、
１９８０等）。さらに超音波センサによって環境対象物
までの距離を測定する方法も提案されている。しかし、
明暗の分布に基く方法では、環境を立体的に認識するこ
とが困難で、スリット光投射による光切断法は立体形状
の認識には有効であるが計算処理すべきデータ量が多く
比較的大きなコンピュータを使っても１画面数十秒から
数分の処理時間が必要である。更にスリット光を移動さ
せることが必要であるため機構的に可動部を要し、精度
の問題が生じる恐れがあり又、明るい環境を認識するた
めにはスリット光の光源に多くのエネルギを供給しなけ
ればならないという欠点もあった。

又、超音波センサを用いるものは、その特性上、超音波
の投射ビームを細くすることが難しく、従って像の分解
能を、あげることができないという問題点があった。

又、２次元の光センサを用いて、対象物体までの距離の
分布を測定して立体認識を行う場合、前述のように対象
物体の明るさの変化のみをもとに距離を算出する方法が
考えられる。この場合、人間の眼には明確に認められる
色彩の差も、光センサの出力に変化を与えない場合があ
り、この時には距離の測定はできない。カメツの測距で
は被写体上の一点までの距ｒ＊測定で、７アインダ内で
コントラストのある部分に測距位置を合せることが可能
であるが、例えば、特願昭５９−４４９２０のように環
境認識する場合、距離パターンを測定する場合には視野
内の多方向の距離を測定するので、測定不能の機会も増
加する。

一方、単板式ビデオカメラでは２次元光センサの表面に
カラーモザイクフィルタをかけてカラー撮影を行うが、
このモザイクフィルタをかけた光センサでは基準視野と
参照視野を比較する測距法では、両視野内の同一物体点
からの像に同じ色フィルタをかけることはできない、こ
れは同一物体点からの結像位置が、距離によって変るた
めである。従って、色彩の変化により、距離情報が、不
正確になり誤まった環境認識をしてしまうという欠点が
あった。

〔目的〕

以上の点に鑑み、本願発明の目的は簡単な回路構成で、
物体を距離情報に基づいて３次元的に処理する物体情報
処理装置を提供することＫあり、更に、明度だけでなく
、色相、彩度等の変化のある物体に対しても、正確に物
体情報を処理することができる物体情報処理装置を提供
することにある。

□　又、距離パターンを作成するためのマスクパターン
をストライプ状の複数の色フィルタにより構成すること
にある。

〔実施例〕

次に、本願発明の適用が可能な視覚センサの説明を行う
。

第１図は視覚センサの１実施例の原理図である。１０．
１１はディストーションの充分少ないレンズ、ｆはレン
ズの焦点距離、ｄは物体１２までの距離、Ｂはレンズ間
距離、δは物体像の光軸からのズレを示す。図から明ら
かなように一＝−従って　δ＝」ニエ・・・・・・・・
・・・・■である。

Ｂ　δ ｄ　　ｆ’　　　　　　　　　ｄ 前記同様に第２図に示す視覚センサでは全反射２面鏡１
３、全反射鏡１４を用いて、物体像を自己走査型センサ
アレイ１５（受光要素１５ａ）上に結像するように構成
している。なお、発光部を用いて補助光を具備するよう
にしてもよい。

なお、図示の側基外に多方向の測距が可能で、基準視野
側のレンズ光軸上にない物点でも、該物点を通り光軸に
直交する平面までの距離はｄ＝＝　Ｂ二Ｊ−で算出され
る。実際の距離は、物体δ 方向と光軸との間の角度をθとすればｄ　−ｓｅｃ。

となるが、例えばロボット等の移動制御であれば、ｄの
ままでも支障はない。又、自己走査型センサは、例えば
ＣＣＤアレイであり、１０μ程度の巾の多数個の微小セ
グメントの受光要素１５ａから構成されている。自己走
査型センサー５は、周知の如く上記の多数個の微小セグ
メントの各受光要素１５ａで検知した物体像の各画素部
分の照度に対応した電気信号を予め決められた順序に従
って、時系列信号として出力する機能を有するものであ
る。なお、レンズ間距離Ｂを変えることによって測定精
度を可変にしてもよく又、レンズは、１１の焦点距離を
変えることによって、横方向の視野範囲を変えることが
できる。ここでは２像１２′に関する走査出力が第３図
（ｂ）（第３図（ａ）参照）Ｋ示すように信号Ｓ−１，
Ｓ−２の如き波形として取り出されるため、２像に対応
する信号ｓ−ｉ、ｓ−２の間隔を電気信号処理回路にズ
検知しく８３図（Ｃ）Ｌ■式を用いて物体までの距離測
定を行うものである。

さて、ここに示す視覚センサにあっては、以上の様な距
Ｍ測定原理に基づき自己走査型センサ（以後センサ・ア
レイと略称する）を用いて、２像の相互間隔を検知せん
とするものであるが、か様な視覚センサにおいては認識
しようとする物体空間を明確にすること、換言すれば、
測定視覚Ｌｓを何らかの手段で規定すると共に、同時に
もう一方の像をとらえる視野（これを参照視野Ｌｎと称
する）を規定する必要がある。

ここに示すセンサにおいては、像１２の結像位置近傍に
測定視野を設定し、これに対し像１ｆが物体１２の距離
に従って移動する範囲を参照視野とする。

以上の視覚センナの原理の詳細なブロック図を第４図に
示す。１５は前述のＣＯＤ等の自己走査型センサアレイ
（測定視野相当のセル数Ｎ１参照視野相当のセル数Ｎ＋
Ｍ−１）でクロック制御回路２１、駆動回路２０及びシ
フトクロック、転送りロックにより駆動され、ｃｃＤア
レイ上のデータは量子化回路２２によって（例えばコン
パレータによって所定のしきい値と比較し、大小によっ
で０，１に分ける。）Ｉ量子化される。次に測定視野、
参照視野それぞれの量子化データを各々シフトレジスタ
２６．２７に入れ、クロック制御回路２１から出力した
クロックによってシフトさせながらゲート２８によって
上記それぞれの量子化データが合致したか否かを検出し
、合致数比較回路２４によって上記合致数をカウンタ２
４−１によってカウントすると共にＮ個の比較終了後カ
ウンタ２４−１の出力信号はラッチ２４−３に入力され
る。当然ながら最初にラッチ回路２４−３はクリアされ
ている。Ｎ個の値の比較をシフトレジスタ２６゜２７に
よってシフトさせながら行った後、シフトレジスタ２７
は値を１つすすめて今度は２番目からＮ＋１番目までの
値を再びシフトレジスタ２６のＮＨの値と順に比較して
いく。３回目は３番目からＮ＋２番目をシフトレジスタ
２６のＮ個と比較する。これをＭ回繰り返し、最後はＭ
番目から（Ｍ＋Ｎ−１）番目の値の比較を行う。つまり
、Ｎ個の比較を、１つづつＭ回ずらしながら行う。合致
位置は合致位置検出回路２３においてこのＮ個の比較の
回数（≦Ｍ）をカウントすると共に合致数比較回路２４
のフンパレータ２４−２のＡ）Ｂの出力が出るごとに回
数をラッチすれば最も合致数の多かった回数が最終的に
得られ、この値が合致位置に対応する。次に物体情報信
号出力回路２５においてこの合致回数即ち合致位置の値
を用い、式■の関係より物体との距離が求められる。そ
の距離情報はＣＰＵ、メモリ等に出力される。

次に、視覚センサの走査方法について述べる。

第５図は視覚センサの制御ブロック図である。

３０は視覚センサを選択走査するためのスキャナ、３１
は距離情報等のパターンを記憶する丸めのメモリ、３２
はセンナを制御すると共に演算処理等を行う丸めのＣＰ
Ｕである。

以上の説明に基づいて、本願発明適用の１実施例につい
て説明する。第６図は、本願発明適用の１実施例である
視覚センサの構成ブロック図である。４１．４２は対物
レンズ、４３　、４４゜４５は全反射鏡、４６はポジマ
スク、４８はネガマスク、４７．４９はコンデンサレン
ズ、４０は半透明鏡、５１は結像レンズ、５２は１ライ
ンの画像を画素単位で読取るＣＯＤ等の７オトセンサで
ある。

上記構成において、認識すべき環境の像は所定の間隔を
おいて設けた対物レンズ４１．４２を介して、それぞれ
マスク４６．４８の近傍ニ結像する。マスク４６は第７
−１図にその一部を拡大して示したように１例えば透明
なガラス板の上にモザイク状に不透明部分４６ｂを設け
たものである。マスク４８は第７−２図に示し九ように
マスク４６の透明部４６ａと不透明部４６ｂを反転させ
たもので、４８ａは透明部、４８ｂは不透明部である。

第８図は、前記第６図に示した視覚センナの模式図であ
る。６０は環境（物体）像である。

なおここでは簡単に２次元で説明したが、実際は３次元
の物体である。又、４１．４２は前述の対物レンズ、以
下同様に４３．４４．４５は全反射鏡、４６はポジマス
ク、４８はネガマスク、４０は半透明鏡、５１は結像レ
ンズ、５２は１ラインの画像を画素単位で読みとるフォ
トセンサであるＣＯＤ　（第８図では３ライン）及びＣ
ＣＤ上にレンズ５１によって結像される物体像である。

なおフォトセンサはＣＯＤである必要はなく、又、面状
センサであってもよく、ライン数もこれに限る必要はな
い。なお、マスク４６及び４８は、両者の透明部と不透
明部が合うように構成しておく。更に物体像は、レンズ
４１からの像とレンズ４２からの像の同一部　。

分（本実施例ではＢとＤがＣＣＤ５２上に、それぞれ２
個存在している。）を含み、走査線方向にずれて結像す
るように構成する。その結果７オトセンサ５２上にはレ
ンズ４１．４２からの両光路を経た像が重なることなく
交互に並べられる。そして７オトセンサ５２上の走査線
の方向と交互に並べられるモザイクマスクの配列方向を
合わせることによって、フォトセンサの同一走査線上に
レンズ４１．４２による両光路からの同一物体像を例え
ば第８図のＢ又はＤの様に隣接して投影することができ
る。なお、物体像は複数の走査線上に投影されてもよい
。そして、以上の様にして得られた隣接する同一物体像
について、第１図〜第４図に示した距離測定の原理に基
づいて距離情報を検知することができる。

次に、７オトセンサ５２であるＣＣＤの説明をする。第
９図は、ＣＣＤ上に投影された像の一部を示す図で、そ
れぞれ６１−１．６１−２゜６１−３．６１−４のブロ
ックが第２図〜第４図において、説明したセンサアレイ
１５にそれぞれ相当するものである。第９図においては
、ＣＣＤ５２上に物体像ｒＢＪが、走査Ｍ４本Ｋまたが
って投影される例を示したが、その数は、読取り精度、
速度等によって何本であってもよい。なお、６１−５は
第３図、第４図におい【説明した測定視野で、６１−６
は参照視野に相当する。本実施例では、測定視野６１−
５は３２ビツト、参照視野６１−６は９４ビツトである
。

よって分割数は６２（９４−３２）であるが、この分割
数は距離測定精度によって、任意に可変となるよう構成
すればよい。又、面ＣＣＤ５２の大きさはＹ方向６．６
ｍｍＸＸ方向８．８　ｍ　ｍで、走査ラインはＸ方向７
５７ライン、Ｙ方向２４５ラインで構成されている。な
お、この構成に限る必要はない。又、第９図にはＸ方向
、Ｙ方向にそれぞれ６１−１．６１−２．６１−３．６
１−４．６２−１・・・・・・・・・と同様の不図示の
ブロックが多数存在していることは、言うまでもない。

次に、上記複数のブロックを有するＣＣＤ５２における
走査の切換制御の説明を行う。第４図において説明した
ように、１ブロツクにおける距離情報を得るためには、
ＮＸＭ個のクロックが必要である。そして、このクロッ
ク数をカウントして第４図のクロック制御回路２１によ
り、走査すべきブロックを、例えば第９図の６１−１か
ら６２−ＩＫ更に６１−２に切換えるというように、所
定のエリアについてスキャンするよう切換制御する。

次に、以上の視覚センサを用いた四ポットのシステムプ
四ツク図を第１０図に示す。５２は前述の７オトセンサ
（ＣＣＤ）、７０はＡ／Ｄ変換器、７１はスイッチング
回路で、上記ＣＣＤ５２のセンサブ胃ツクを選択し、視
覚センサブ田ツク処理回路７２において、物体の距離情
情を得るものである。検知された距離情報は７３のＲＡ
Ｍ上に距離パターンとして書き込まれる。・３２はＣＰ
Ｕで、７４はマツプメモリである。マツプメモリ７４は
、過去の距離パターン又は指令用のマツプが格納されて
おり、マツプメモリ７４上の距離パターンと現在の距離
ハターンとを比較し、最適のアーム制御、移動制御等を
行うものである。なお、ＣＰＵ３２は、複数のプロセッ
サを有し、各種データをそれぞれプロセッサで同時、並
行的に処理する非ノイマン系のコンピュータであっても
よい。又、外部からの指令信号を受けるためのターミナ
ルを有していてもよい。更に、移動の方向、速度。

距離等のセンサ、あるいは演算処理部からのデータと上
記距離パターンからの情報に基づいて駆動制御７５．ア
ーム制御７６を行うようにしている。

前記実施例では視覚センサブロック処理回路をＷｆｉ並
置した例を示したが、これは処理時間とＣＣＤ走査時間
との整合をとるためのもので互層算出処理の高速化、又
はＣＯＤ走査速度の調整によっては複数並置しなくても
良い。又、Ａ／Ｄコン−バータフ０とスイッチング回路
７１との順序が逆であってもよい。

又、距離情報が得られるため高速の飛翔物を正確に避け
たり捕捉したり、自動車等において障害物を避けるため
のセンサとして使用したりすることもできる。その他用
途はこれに限る必要はない。

また、機械的に移動する部分を使わずに、視野内の環境
対象物までの距離の分布を、超音波測定に比べて特に横
方向に高い分解能をもって測定することができ、又二つ
の光路を通った同一対象物の像が７オトセンサ上に隣接
して結ばれるので、これまでステレオ法（ＴＶ学会誌第
３４巻第３号、１９８０Ｐ２１１）で対応点の照応が困
難とされていた問題が解決する。さらに演算処理を並列
に行うことも可能で非ノイマン系のコンピュータを搭載
することもでき、又ロボットに必要な高速処理も可能に
なる。以上、詳述したように距離の分布を計測すること
は対象を立体的に認識する上に有効で、特にロボットの
眼、盲人の歩行補助具用センサ等に実用可能である。

以上詳述し九ように、簡単な回路構成で環境を距離のパ
ターンとして立体的に認識することが可能な物体情報処
理装置を提供することが可能と表った。

次に、第１１図に１本発明の装置の搭載が可能なロボッ
トの制御フローチャートの一部を簡単に示す。このプロ
グラムは例えばＣＰＵ３２のＲＯＭに格納されている。

本例では、第９図に示したＣＣＤ上の各６１−１等の視
覚センサブロックに、第１０図の各視覚センサブロック
処理回路７２が対応する。画像データの各ブロックの切
換えと上記視覚センサブロック処理回路７２の処理速度
にもよるが、視覚センサブロック処理回路７２は設置２
つあれば良い。なお本例ではＣＣＤ５２上の１ライン分
の処理回路は例えばｎ３個（視覚センサブロックもｎ１
個）とする。第１１図のステップ１において、まずｎ＝
１とし、ステップ２で、ＣＣＤ内のブロック■（１ライ
ンにｎ８個のブロックがある）からの距離データをセン
サブロック処理回路■（視覚センサブロックに対応して
１ラインにｎ１個ある）に供給する。次に、ステップ３
で、視覚センサブロック処理回路■から、物体情報信号
■が、第４図の如く出力され、第１０図に示す距離パタ
ーンに格納される。この処理は、例えば、約３　ｍ　ｓ
で、ステップ３はタイマによる判別□を行なうようにし
てもよい。次に、ステップ４では次のブロック■からの
距離データについての処理を行なうぺ＜、ｎ＋−ｎ＋１
の処理を行ない、今の場合、ステップ５ではｎ≦ｎ□で
あり、ステップ２に進み、上記同様の処理を繰り返す。

そして、１ラインの処理が終了すると、ステップ５にお
いて、ＮＯに進む、そして、ステップ６において、次の
列の処理を行なうためＹ−Ｙ＋１とし、ステップ７では
、ｙｔ（面ＣＣＤ５２が第９図Ｙ方向に１１列あるとす
る）列つまり一画面が終了したか否かを判定する。

ステップ７で、距離データの処理が一画面終了していな
い場合は、次の列において、距離データの処理を行なう
べく、ステ、ツブ＄２に戻る。

ステップ７でＹ≦ｙ、でなかった場合、つまりＣＯＤ−
画面分の距離データの処理が終了している場合は、第１
０図の距離パターンＲＡＭ７３には、ＣＣＤ−画面分の
距離パターンが完成しており、ステップ８では、このＣ
ＯＤ−画面あるいは、数置面分の距離パターンデータに
基づいて、更に又、第１０図に示すマツプメモリ７４光
フアイバジヤイロ等の方位センサ等からのデータに基づ
いて、各種駆動部７５．アーム部７６を制御し、例えば
、距離パターンデータから近くに物体がない方向を判定
し、その方向へ、四ポット本体の移動させる。

次に、色彩の変化も距離を算出する情報として利用する
場合について説明する。つまり、明度が同じでも色相又
は彩度に変化のある物体までの距離測定を可能にするも
ので、マスクパターンをストライプ状にすることＫよっ
て、モザイク状の場合と比較して、位置合せが容易とな
り、製造上の利点も生じるというもので、以下に詳細に
説明する。

第６図のマスクパターン４６．４８、つまり、。

第７−１図、第７−２図のマスクパターンの代わりに、
本実施例では、第１２図に示すパターンを用いる。１０
１ａは基台、１０ｏはＣＯＤ等の２次元センナ、１０２
は色フィルタである。

第１３図にマスクパターンである色フィルタのパターン
を拡大した図を示す。１０２ａ、１０２ｂ。

１０２Ｃはそれぞれ赤、緑、青の３色、あるいは更に透
明部を加えた４色を縞状に繰り返し施したもので、個々
の線巾は光センサ上の走査線巾と等しい。そして、この
ように構成した光センサの同一走査線上に投影された、
複数の光路を通った物体像の位置関係から前述の処理に
より、距離を算出するので、比較する情報は総て同じ色
のフィルタを通った光である。又、副走査方向（第９図
、°第１３図のＹ方向）に隣接した走査線では異った色
フィルタを通った物体像の距離を算出することになり、
視野内で！ＩＦ数の走査線に互って投影される物体は複
数の色分解像で距離を算出することができる。

なお、フィルタ（マスクパターン）は光センサ上に直接
蒸着法やスパッタリングによって装着するようＫしても
よい。又、光センサが可視光以外に感度を持つ場合には
赤外光や紫外光の情報をフィルタにより分離して行なう
場合も考えられる。

以上、詳述したように、明度に変化が少くても、色度に
変化のある物体までの距離が容易に測定でき、より正確
な距離パターンを作成することができる。

〔効果〕 以上、詳述したように本願発明により、簡単な回路構成
で、物体を距離情報に基づいて３次元的に処理すること
ができ、更に明度だけでなく、色相、彩度等の変化のあ
る物体に対しても、正確に物体情報を処理することがで
きる物体情報処理装置を提供することが可能となった。

【図面の簡単な説明】

第１図は、視覚センサの原理を示す図である。 第２図は、視覚センサの構成を示す図である。 第３図は、視覚センサの距離信号を示す図である。 第４図は、視覚センサの詳細なブロック図を示す図であ
る。 第５図は、視覚センサの走査方法を示す図である。 第６図は、本発明適用の１実施例である視覚センサの構
成ブロック図である。 第７−１図は、マスク４６の説明図である。 第７−２図は、マスク４８の説明図である。 ｆ＄８図は、視覚センサの模式図である。 第９図は、７オトセンサ５２上の走査プ四ツクの説明図
である。 第１０図は、ロボットのシステムブロック図である。 第１１図は、ロボットの制御フローチャートの一部を示
す図である。 第１２図は、光センサ及び、マスクパターンの構成を示
す図である。 ｉｔａ図は、マスクパターンの拡大図である。 １０２・・・・・・色フィルタ　、　３２・・・・−Ｃ
Ｐ　Ｕ５２・・・・・・視覚センサ　　、　３１・・曲
メ％　！Ｊ７２・・曲視覚センサブロック　、７３・・
・・・・ｆｆｉ［パターンＲＡＭ第５図 躬６図 第７２図 第７Ｂ区

Claims (1)

1. 【特許請求の範囲】 物体点からの光情報を結像するための結像手段、 上記物体点からの光情報を少なくとも第１の光路、第２
   の光路に分け、上記結像手段に導く、導光手段、 上記導光手段において、分けられた第１の光路内、及び
   第２の光路内にそれぞれネガ、ポジの関係にある所定の
   パターンが形成されたマスク手段は複数の色からなるス
   トライプ状の色フィルタからなることを特徴とする物体
   情報処理装置。