JPH0425583B2

JPH0425583B2 -

Info

Publication number: JPH0425583B2
Application number: JP58123260A
Authority: JP
Inventors: Takanori Ninomya; Yasuo Nakagawa
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1983-07-08
Filing date: 1983-07-08
Publication date: 1992-05-01
Also published as: JPS6015780A

Description

【発明の詳細な説明】〔発明の利用分野〕本発明は、ロボツトにより組立、検査、調整等
各種作業を行う上で必要となる対象物体の有無、
位置、姿勢、作業範囲内の空間的状況をロボツト
を固定する基台部を基準に認識し、更にロボツト
の可動部を基準にして対象物体の位置、姿勢を認
識し、完全な視覚フイードバツクによるロボツト
制御を実現して作業対象物に対してロボツトによ
る高精度な組立、検査、調整等の各種作業を行う
ようにしたロボツト制御装置に関するものであ
る。

〔発明の背景〕

ロボツト視覚として物体の位置、姿勢を認識す
るものとしては、第１図に例示するように作業テ
ーブル１上に像検出器３を置き、周辺から照明器
４で作業テーブル上を照明し、像を検出する。そ
して対象物の位置、姿勢を認識し、その情報に従
い、ロボツトアーム２が動作する。この方法にお
いては、テーブル平面上の物体の平面上における
位置、姿勢が認識できるが、立体的な形状の認識
はできない。例えば、テーブル上に山積みされた
物体に対し、各物体の傾き情報に従つて、その物
体のグリツプ面に合致するようロボツトアームを
傾けて、物体にアプローチするということはでき
ない。また、対象物と作業テーブルの間にコント
ラスト（濃淡の違い）が明瞭に存在しないと、テ
ーブル平面上での位置、姿勢も決定できない。

一方、ロボツトの手先に視覚装置を付け、フイ
ードバツクするものがある。第２図は、その例で
あり、溶接ヘツド７で溶接を行う溶接線５をトラ
ツキングするものである。これは、スリツト光投
光器６をロボツトアーム２の先端につけ、溶接線
上にスリツト光８を投光する。そしてその像をロ
ボツトアームの先端につけた像検出器３でななめ
方向から検出し、溶接線の位置を求め、これの目
標値からのずれがゼロとなるようにロボツトアー
ムを制御するものである。しかし、この方式では
溶接線の位置、すなわち溝状の対象の位置の検出
しかできず、対象物の３次元的な位置、姿勢を認
識し、組立、検査、調整等の作業をすることはで
きない。

〔発明の目的〕

本発明の目的は、上記従来技術の課題を解決す
べく、対象物体の姿勢、形状にかかわらず、対象
物体の位置、姿勢をロボツトの座標系で認識し
て、ロボツトの位置、姿勢を補正してロボツトに
非常に複雑な探索動作等をさせることなく、対象
物体に対してロボツトによる高精度な組立、検
査、調整等の各種作業を行えるように、完全な視
覚フイードバツクによるロボツト制御を実現した
ロボツト制御装置を提供することにある。

〔発明の概要〕

本発明は、上記目的を達成するために、可動部
材を有するロボツトと、該ロボツトを固定する基
台部に対して定められた点より、上記ロボツトの
作業領域全体の各点までの距離の情報を２次元の
距離画像信号として一括して検出する距離画像検
出手段と、該距離画像検出手段により検出される
距離画像信号を２次元的に微分し、該２次元的に
微分された２次元微分信号に基いて、２次元的に
取り囲む領域を抽出して作業対象物を発見すると
共に該抽出された領域において上記距離画像検出
手段により検出される距離画像信号に基いて作業
対象物の表面の法線方向と位置を決定する第１の
画像処理手段と、上記ロボツトの可動部材に固定
されたロボツト画像検出器と、該ロボツト画像検
出器が、上記画像処理手段によつて決定された作
業対象物の表面の法線方向と位置に対して特定の
角度および距離関係となるように上記ロボツトの
可動部を駆動制御してロボツトの位置と姿勢を制
御するロボツト制御手段と、上記ロボツト画像検
出器によつて検出された画像信号からロボツト画
像検出器を基準にして作業対象物の位置と姿勢を
算出する第２の画像処理手段と、該第２の画像処
理手段から算出されるロボツト画像検出器を基準
にした作業対象物の位置と姿勢に基いて上記ロボ
ツトの可動部を駆動制御してロボツトの位置と姿
勢を補正する補正制御手段とを備えたことを特徴
とするロボツト制御装置である。

〔発明の実施例〕

以下、本発明を図面により詳細に説明する。

まず、本発明における処理内容について説明す
る。前述したように、処理内容はロボツトの座標
系の固定された点から作業対象全体の距離画像を
検出し、対象物体の発見とその位置、姿勢を認識
する第１の段階と、第１の段階よりの結果を用い
てロボツトアームを対象物体に接近させた後、ロ
ボツトアーム上の画像検出器よりの画像を用いて
さらに正確な対象物の位置、姿勢を検出する第２
の段階より成る（第１３図）。

第１の段階で検出する距離画像９は、第３図に
示すように、その画像の各点の値Vijが、対象物
１１表面上の対応する点Pijと検出器１０との距
離lijに対して Vij＝Klij＋Ｃ ……(1) Ｋ：非零の定数、Ｃ：定数なる線形の関係を持つた画像である。したがつ
て、特にＫが負数の場合、Vijは対象物表面の各
点の高さを表わしたものと見なすことができる。
さて、第４図のように、いくつかの物体が折り重
なつている状態を、真上より距離画像の検出器で
とらえた場合を規定すると、これに対応して第５
図のような距離画像９が検出される。この第５図
よりも明らかなように、物体と物体もしくは物体
と背景の境界線では、一般に検出器までの距離が
急激に変化するため、距離画像の値も急激に変化
する。距離画像ではこのような境界線をジヤンプ
エツジと呼ぶ。この変化を画像の２次元的な微分
を用いて検出すると、第６図のようになる。画像
の２次元的な微分には何種類かの方式が知られて
いるが、ここでは第７図に示す画像上の点（ｉ、
ｊ）の微分値dijを dij＝max（｜Vij−Vi−１、ｊ−１｜、｜Vi−１、ｊ−Vi、ｊ−１｜）ｉ、ｊ＝１、２、３… ……(2) とする様な演算である。但し、（ｉ、ｊ）は検出
器と対象物との距離方向に垂直な面の直交座標と
する。得られた微分画像をある固定閾値で２値化
すると、第８図に示すようなジヤンプエツジ画像
が得られる。同図において、黒線はジヤンプエツ
ジ１２を表わし、これは物体の輪郭線に対応する
ことは前述した通りである。したがつて、ジヤン
プエツジ１２に囲まれた領域は、物体一つ一つに
対応し、それぞれの領域を画像上で分離抽出する
ことによつて、物体を画像上で分離できる。

以上のようにして分離抽出した各物体に対応す
る領域Ｒから、その面積Ｓおよび領域の平均的な
高さＨ、すなわちについて S₁≦Ｓ≦S₂ H₁≦Ｈ≦H₂ ……(4) なる判定基準に合致した領域を、目的とする対象
物体の領域として抽出する。S₁、S₂は対象とする
物体をある平面上に投影した場合の面積の変動範
囲の上限および下限、H₁、H₂は対象とする物体
が存在すると予想される高さの上限値と下限値
で、それぞれ、予め設定しておく値である。この
ようにして分離された対象物体の画像上での領域
の形状は、一般に一定の形状を示さない。すなわ
ち、この形状はある平面に対して投影された対象
物体の２次元的な形状であつてたとえば対象物体
の立体的な形状が直方体である場合、第９図に示
すようにその姿勢により長方形または六角形にな
る。本発明では対象物体の立体的な形状、位置、
姿勢を認識するため、対象物体がいくつかの平面
で構成されていると考え、平面と平面の交線、す
なわち陵線を検出する。陵線は、距離画像上では
第１０図に示すように値の変化率が変化する点、
すなわち画像の２次微分値が極値をもつ点に対応
する。このような線群を距離画像においてはハー
フエツジ１３と呼ぶ。画像の２次微分法には種々
の方法があるが、ここではなる２次微分値rijを用いる。ここでｎは２以上
の整数であり、rijの値は、着目点（ｉ、ｊ）の
距離画像値Vijの傾き角度の変化に対応する。つ
ぎに式(5)を用いて演算された２次微分画像をある
閾値に従つて２値化することにより、ルーフエツ
ジ１３を検出する。式(5)に示した演算は、検出し
た距離画像全体にわたつてほどこしてもよいが、
先に分離抽出した、対象物体の領域のみで演算し
た方が、処理時間の短縮につながる。

以上のような処理を経て検出された対象物体の
ジヤンプエツジ１２、ハーフエツジ１３よりなる
画像は、例えば第１０図に示したかたむいた直方
体の距離画像の場合、第１１図のようになる。ジ
ヤンプエツジ１２およびハーフエツジ１３に囲ま
れた領域は物体を構成する個々の面に対応するか
ら領域を画像上で分離し、最も面積の大きな領域
１４を抽出することによつて、物体を構成する主
要な面１５の１つを取り出すことができる。次に
この領域に対して平面近似を行う。すなわち、求
める平面方程式を t₁x＋t₂y＋t₃＝ｚ ……(6) とし、領域内ｍ個の点の距離画像より検出された
xyz座標を（ak₁、ak₂、bk）ｋ＝１、２…、ｍと
すれば式(6)のt₁、t₂、t₃は、（tk）を行とする行列
ｔとして、ｔ＝（A^TＡ）^-1A^Tｂ ……(7) と計算される。ここにＡは（ak₁、ak₂、1.0）を
行とする行列、ｂは（bk）を行とする行列、Ｔ
は転置行列、^- ₁は逆行列を表わす。またxyz座標
（ak₁、ak₂、bk）は、距離画像上の座標（ｉ，
ｊ）および距離画像の値Vijに線形変換をほどこ
し次の(8)式として求められる。

ak₁＝P₁.i＋q₁ ak₂＝P₂.j＋q₂ bk＝P₃.Vij＋q₃ ……(8) これは検出画像上の座標から検出系の実座標へ
の変換処理であり、p₁、p₂、p₃、q₁、q₂、q₃は検
出器の検出分解能等より決定される定数である。

このようにして求めた対象とする物体の主要な
平面１５の近似式(6)より、この物体の３次元的な
姿勢はその主要な平面の法線方向１６のｚ軸との
なす角と法線のxy平面への投影とｘ軸とのな
す角θを用いて θ＝tan^-1t₂／t₁ ……(10) と表わされる（第１２図）。法線の方向が求めら
れれば、この方向から見た主要な平面の形状を簡
単な座標変換で求めることができ、変換後の形状
より、従来の平面的な画像処理技術を用いた対象
物体形状、姿勢の認識も可能である。

また対象物体の位置は、主要な平面の重心位置
（x₀、y₀、z₀）として次の（11）式により求めら
れる。

x₀＝k₁ y₀＝k₂ z₀＝ｋ ……（11）ここで−は領域内での平均を表わす。また、こ
の場合の平均は領域内のｍ個点に限らず、領域全
面にわたつて求めれば、精度の良いものとなる。

さて、以上説明した第１の段階による処理結
果、すなわち、対象物体の主要な平面の重心の位
置（x₀、y₀、z₀）および法線の方向、θは、検
出系の座標系によるものであり、この座標系は一
般にロボツトアームの座標系と異なるから、これ
らの値を用いて直接ロボツトアームを制御するこ
とはできない。このために、ロボツトアームの座
標系に座標変換する。ロボツトアームの制御系の
方式により、直角座標系、円筒座標系、極座標系
など種々の座標系が考えられるがこれらの座標系
への変換は、線型代数学の公式より公知である。

なお、以上説明した第１の段階の各処理過程に
おいて、式(2)、(5)、(7)など演算方式を限定した
が、同様の機能を有する他の演算方式を用いても
良いことは勿論である。

つぎにロボツトアーム上に設けた画像検出器が
求められた対象物体の主要な平面の重心位置に立
てた法線方向から物体を検出できるよう、ロボツ
トアームを制御する。

以降、ロボツトアーム上から画像を検出し、ロ
ボツトアームと対象物体の位置関係を更に正確に
検出し、ロボツトアームの正確な作業へと導く処
理の第２の段階へ移行する。ロボツトアーム上の
画像検出器２０は、第１の段階で使用した距離画
像検出器より高分解能のものを用いるが、第１の
段階で対象物体が発見されているのでその検出視
野は小さくてよい。検出画像としては、第１の段
階と同様、距離画像を検出し類似の処理を行うも
の、２次元濃淡画像を検出、処理するもの、その
２値画像を処理するもの、スリツト光による光切
断法を応用した方法など種々のものが考えられる
が、いずれを用いても良い。

次に以上説明した処理内容を実現する装置の具
体例について説明する。第１３図に全体構成の概
略を示す。同図に示すように、装置はロボツトア
ーム１７およびロボツト制御装置１８よりなるロ
ボツト系、距離画像検出器１９、ロボツトアーム
上の画像検出器２０、イメージプロセツサ２１か
らなる視覚系よりなる。

まず、ロボツト系について第１３図を用いて説
明する。１７は産業用ロボツトで、例えば５自由
度を有する関節形ロボツトである。産業用ロボツ
ト１７はベース２２に対して垂直軸を中心に旋回
する旋回台１７ａ、水平軸２３ａを中心に回転す
る上腕１７ｂ、その先に水平軸２３ｂを中心に回
転する前腕１７ｃ、その先に水平軸２３ｃを中心
に回転し、更にこの水平軸２３ｃに直角な軸を中
心に回転する手首１７ｄとから構成されている。
この手首１７ｄには指（チヤツク）２５を付けた
手機構２４が備え付けられている。ロボツトアー
ム上に取り付ける画像検出器２０は、これらのう
ちいずれの部位に取り付けてもよいが、ロボツト
を動作させ、最も適切な方向より画像検出するた
めには、手機構２４上に取り付けることが望まし
い。１８はロボツトを制御するロボツト制御装置
である。

次に第１４図に従つてロボツト制御装置１８に
ついて説明する。ロボツト制御装置１８は５自由
度をもつた関節形ロボツト１７を制御するための
制御ユニツト２６とロボツトをポイント．ツー．
ポイントでプログラムされた速度にもとづいて所
定の軌跡に沿つて動作または動かすために、予め
プログラムされた軌跡および速度の情報を教示す
るための教示ユニツト２７とによつて構成されて
いる。制御ユニツト２６とロボツト機構１７は位
置制御システムを構成している。この位置制御シ
ステムは、アクチユエークＭに連結されたパルス
エンコーダPEによつて発生された出力パルスを
カウンタ２８で計数して制御ユニツト２６にフイ
ードバツクし、マイクロプロセツサ２９によつて
予め定められている目標値あるいは外部より与え
られた所望の座標値との相違のデイジタル信号を
検出し、このデイジタル信号をＤ／Ａ変換器３０
でアナログ信号に変換し、アクチユエータＭを駆
動するように構成している。

駆動回路３１はアクチユエータＭに接続された
タコジエネレータTGからの速度信号とＤ／Ａ変
換器３０からのアナログ信号にもとづいてアクチ
ユエータＭを駆動する回路である。シリアルイン
ターフエース３２は教示ユニツト２７と接続する
ためのものである。ROM３３はロボツトを動作
させるためのプログラムを収納したメモリーであ
る。RAM３４は、教示ユニツト２７に用いて行
う教示操作による情報、またはインタフエース３
５を介して入力されるイメージプロセツサ２９よ
りの動作情報を演算部３６により補間演算した結
果であるロボツトの手機機２４の動作軌跡を記憶
するものである。３７はバスラインである。

RAM３４に記憶されたロボツトの手機構２４
の位置データがマイクロプロセツサ２９によつて
読み出され、カウンター２８より検出される回転
変位θ₁，θ₂，…θ₅に座標変換し、所望あるいは目
標位置（例えば視覚系より入力される対象物体位
置）へロボツトの手機構２４を駆動させる。

以上のロボツト系の説明は５自由度を持つロボ
ツトに限定したが、他の自由度例えば６自由度の
ロボツトについても同様に構成できる。本発明に
おいては、特に自由度についての限定を行うもの
ではない。

次に本実施例のもう一つの構成要素である視覚
系について説明する。

距離画像検出器１９の一実施例を第１５図に示
す。同図に示すように検出器は、対象物１１の上
方からスリツト光３８を投光するスリツト光源３
９と、スリツト光３８と対象物１１の交線、すな
わちスリツト輝線の光学像をななめ方向より検出
する撮像器４０とこれらの位置関係を保つたま
ま、水平方向に定速で駆動する送り装置４１、お
よび撮像器４０で検出されたスリツト輝線を画像
上から分離抽出し、その形状を波形信号として出
力する交切断線抽出装置４２より成る。この動作
を第１６図〜第２０図を用いて説明すると、スリ
ツト光３８が対象物１１に対して第１６図に示す
位置に当つているとする。そうすると撮像器４０
にて検出される画像は、例えば第１７図のように
なる。この画像上において縦方向の線、例えば線
ABに沿つた明るさの変化は、第１８図のように
なる。この線ABに沿つた明るさで最も明るい点
の位置（第１８図ではｃ）を、順次線ABをｉ方
向に動かして抽出して行くと、第１９図のように
スリツト輝線の形状を波形信号として取り出すこ
とができる。この形状は、対象物１１の断面の形
状を示している。以上の波形信号の分離抽出は、
第１５図の光切断線抽出装置４２により行われ
る。この光切断線抽出装置４２の具体例は、例え
ば特開昭56−70407号に開示されている。

即ち第２６図に示す如く光切断線抽出装置４２
は像検出器からの映像信号Ｖ、設定値V₁、V₂
（V₁＞V₂）、及び像検出器の各走査のトリガー信
号Hd（TVカメラの場合、水平同期信号）を入力
とし、最大値位置検出回路５７と中心位置検出回
路５８と選択回路５９で構成される。

その機能は、第２７図ａに例示するように、ま
ず、映像信号の最大値Vmaxが、第１と第２の設
定値V₁とV₂の範囲内に入つている場合、最大値
位置検出回路７によりそのｙ位置Ｙを求めめる。
また、VmaxがV₁より大きい時、（第２７図ｂの
場合）は、中心位置検出回路５８により最初にＶ
＝V₁となつたｙ位置Y₁、最後にＶ＝V₁となつた
ｙ位置Y₂を求め、さらにY′＝（Y₁＋Y₂）／２と
して、その中心位置を求める。そして、１つの走
査中に、回路５８内でＶがV₁以上になつた場合
は選択回路５９は回路５８の出力を、他方、Ｖが
V₁以上にならなかつた場合は、選択回路５９は
回路５７の出力を、それぞれ光切断線の位置とし
て出力する。また、Ｖが１つの走査中にV₂以上
になる事がなかつた場合、選択回路５９はゼロあ
るいは不定出力を出力する。

第２６図の実施例をより詳細に記したものが第
２８図である。第２８図を使用して、動作内容を
より具体的に説明する。

最大位置検出回路５７は、ピークホルダ６０、
コンパレータ６１、ワンシヨツト回路６２、アン
ド回路６３、レジスタ６４、コンパレータ６６お
よびフリツプフロツプ６７で構成される。一方、
中心位置検出回路５８は、コンパレータ６８、フ
リツプフロツプ６９、ワンシヨツト回路７０，７
１、Y₁レジスタ７２Y₂レジスタ７３およびアン
ド回路７４で構成される。また、各瞬間でのｙ位
置を知るためカウンタ６５を有している。最大位
置検出回路５７では、映像信号Ｖはピークホルダ
６０に入り、１つの走査中における、ある瞬間ま
でのＶのピーク値をホールドする。コンパレータ
６１はこのホールドされたピーク値とその瞬間の
Ｖとを比較し、Ｖがホールドされたピーク値より
も所定値以上大きくなつた時、ワンシヨツト回路
６２に信号を出力する。一方、Ｖはコンパレータ
６６においてV₂と比較され、Ｖ≧V₂の時出力す
る。これとワンシヨツト回路６２の出力のアンド
をアンド回路６３でとる事により、Ｖ≧V₂でか
つＶがピークとなつた瞬間を検出する事ができ
る。これをレジスタ６４のロード信号として使用
し、トリガー信号Hdでリセツトされるカウンタ
６５のその瞬間の値をレジスタ６４に記憶する。
従つて、一走査の終了時には、映像信号Ｖが最大
値Vmaxを示すｙ座標の位置Ｙをホールドしてい
る。

中心位置検出回路５８では、映像信号Ｖは、設
定値V₁とコンパレータ６８で比較され、その出
力は、フリツプフロツプ６９のセツト側Ｓに入力
される。なお、フリツプフロツプ６９は、トリガ
信号Hdによりリセツトされる。従つて、ワンシ
ヨツト回路７０は、一つの走査において最初にＶ
≧V₁となる瞬間を検出する。これをレジスタ７
２のロード信号として使用することにより、レジ
スタ７２には最初にＶ≧V₁となつたｙ座標上の
位置Y₁がホールドされる。一方、ワンシヨツト
回路７１は、Ｖ≧V₁でなくなる瞬間を検出して
おり、これをレジスタ７３のロード信号として使
用すれば、レジスタ７３には、一つの走査終了時
に、Ｖ≧V₁でなくなるｙ座標上の位置Y₂がホー
ルドされる。７４は、Y′＝（Y₁＋Y₂）／２を演算
する平均値回路である。

フリツプフロツプ６９の出力は、Ｖ≧V₁なる
状態が、一つの走査中に存在したか否かの検出に
使用することができる。また、フリツプフロツプ
６７は、トリガ信号Hdをリセツト信号とし、コ
ンパレータ６６の出力をセツト信号としているの
で、Ｖ≧V₂というケースが一つの走査中に存在
したかどうかの検出に使用する事ができる。従つ
て、選択回路５９では、これらを条件信号とし、
Ｖ≧V₁が存在した場合、７４のホールド値Y′を、
V₂＜Ｖ≦V₁であつた場合６４のホールド値Ｙを
Ｖ≧V₂なるケースがなかつた場合、ゼロあるい
は不定を表わす信号を出力する。

なお、この実施例では、像検出器４０，４２の
詳細については触れなかつたが、これはTVカメ
ラ２次固体撮像素子、１次元固体撮像素子と光学
的走査方式の組合せ、光電子増倍管等受光器と光
学的走査方式の組合せのいずれであつても良い。

更に、第２６図および第２８図の実施例では、
各手段を達成する専用ハードを有するものとして
図示したが、これらの手段は、いずれもマイク
ロ．コンピユータを用いて、そのプログラムにて
処理することができる。

更に送り装置４１により定速で少しずつスリツ
ト光３８の位置および撮像位置を移動させながら
遂次スリツト輝線の形状の波形信号を抽出して行
くと、全体として第２０図に示すように、距離画
像９が得られる。

本実施例における撮像器４０は、TVカメラあ
るいはリニアセンサとガルバノミラーの組合せ等
２次元画像検出器であれば何でもよく、本実施例
によれば、距離画像を比較的簡単な構成で高精度
に検出できる。

第２１図に距離画像検出器１９の他の実施例を
示す。同図に示すように、本実施例は、第１５図
に示した検出器の撮像器および光切断線抽出装置
を２組組合せた構造を持つ。すなわち、スリツト
光３８のなす平面に対して、対称の位置に２台の
撮像器４０ａ，４０ｂを設け、やはり送り装置４
１によつてスリツト光源３９を移動させる。光切
断波形の抽出法は前例と全く同様であるが、本実
施例では得られた波形信号を互いに波形の切れて
いる部分を補うように合成４３し、距離画像を生
成する。ここで波形の切れている部分は、第２２
図に示すようにスリツト輝線が片方の撮像器で検
出できない部分４４に対応し、距離画像では一種
の影となる。本実施例では前述のように２方向か
ら検出した波形信号を合成しているので影の少な
い距離画像が得られるという効果がある。

なお、距離画像の検出器として、パルスレーザ
を対応する点に照射して、反射光の飛行時間を計
測することにより距離画像を生成する方式、レー
ザ光に高周波振幅変調をかけて対応する点に照射
し、反射光の高周波振幅の位相遅れを計測するこ
とにより距離画像を生成する方式が知られている
が、これらを用いても良い。これらの方式では、
対称物各点各点の距離をレーザスポツトを用いて
計測しているので、スポツトを２次元的に走査す
る機構、例えば２組のガルバノミラーが必要であ
るが、一方これらは真上より光を当てて、真上よ
り反射光を検出できるので、見えない部分の無
い、つまり死角、影の無い距離画像を生成できる
という利点がある。

次に、ロボツトアームに取り付ける画像検出器
２０の実施例について説明する。

第２３図は、ロボツトアームに取り付ける画像
検出器２０としての距離画像検出器の実施例であ
る。スリツト光源３９より投光されたスリツト光
３８による光切断波形をTVカメラ４５により検
出する。この検出器をロボツトの手機構２４上に
取り付け、手を動かしながら光切断線を抽出、波
形信号を取り込むことによつて距離画像を生成で
きる。距離画像の処理方法は、前述した固定した
位置に取り付けられた距離画像の場合と全く同様
にできる。なお、本実施例の詳細および他の実施
例は次のようになる。即ち７７は産業用ロボツト
で、例えば５自由度を有する関節形ロボツトがあ
る。産業用ロボツト１７はベース２２に対して垂
直軸を中心に旋回する旋回台１７ａ、水平軸２３
ａを中心に回転する上腕１７ｂ、その先に水平軸
２３ｂを中心に回転する前腕１７ｃ、その先に水
平軸２３ｃを中心に回転し、更にこの水平軸２３
ｃに直角な軸を中心に回転する手首１７ｄとから
構成されている。この手首１７ｄには指（チヤツ
ク）２５を付けた手機構２４が備え付けられてい
る。この手機構２４には主体形状検出器７６が備
え付けられている。主体形状検出器７６は光切断
ヘツド７７と、この光切断ヘツド７７をｙ軸方向
に走査する直線移動機構７９と、該直線移動機構
７９を駆動するモータ８０と、該直線移動機構７
９によつて走査される光切断ヘツド７７の走査量
を基準位置から検出するロータリエンコーダ等の
変位検出器８２とから構成されている。

第２９図では直線移動機構７９として送りネジ
とナツトしか描写していないが、実際には摺動機
構がある。

８３は上記モータ８０を一定速度で駆動するモ
ータ制御回路である。４２は像検出器７８から得
られる二次元的映像信号を入力して特開昭56−
70407号に記載されているように光切断線を抽出
する光切断線抽出回路である。２１はイメージプ
ロセツサで、ロボツトに最も近く、且つロボツト
で作業したい目的物の位置、傾きを検出するもの
である。１８はロボツト１７を制御するロボツト
制御装置である。

第２３図は、第２９図の実施例における光切断
ヘツド７７をより詳細に示したものである。スリ
ツト投光器３９は直線フイラメントのランプ８
４、スリツト８５、円筒レンズ８６で構成されて
いる。像検出器７８は、結像レンズ８７、TVカ
メラ４５で構成されている。図中８８は固体TV
カメラ内の２次元アレイセンサのチツプを示した
ものである。

スリツト投光器３９はランプ８４が発生した光
の内、スリツト８ｓを投光した直線状の光を、円
筒レンズ８６により平行光線として前方を照射す
る。第２３図に示す３８は発せられるスリツト光
の面を示している。像検出器７８は、保持部２０
により、その光軸がスリツト光面３８ａに斜め
（角度α）交わるように傾けて固定されている。
第２３図３８ｂの台形面はスリツト光面３８ａ
中、像検出器７８が検出する視野を示している。
この視野内に物体があると、第３０図に例示する
ように輝線３８ｂが物体表面に生じ、この輝線像
が像検出器で検出される。第３０図はロボツト作
業の一例としてワイヤのついたコネクタ部品９０
の位置、姿勢を検出し、これを握み、基板９１上
のピン９２にさし込む作業を示している。第３１
図は第２３図に示す像検出器７８の検出画像であ
り、スリツト輝線像として明るく検出される。こ
の画面は第２３図のスリツト投光器３９と像検出
器７８の機何的関係で明らかなように画面上が遠
く、下が近い遠近関係にある。光切断線抽出回路
４２では、第３１図のスリツト輝線像を画面上か
らスリツト輝線までの距離として、光切断線を抽
出する。第３２図にその処理例を示す。（詳細に
は特開昭56−70407号に開示されている。）第３２
図ａは像検出器７８から光切断線抽出回路４２に
入力する入力画像である。今像検出器７８から得
られる縦方向の例えば１本の走査線xiの映像信号
は第３２図ｂのようになつている。これより閾値
V₁と映像信号を比較し、V₁の交点の中心位置Zi
を求める。各XiについてZiを求め出力すれば第
３２図ｃのように光切断線（波形データ）を得る
ことができる。なお、光切断抽出はここに示した
閾値処理で中心を求める他、ピーク位置検出であ
つても良い。また、この例では、Ｚ軸座標は遠い
方を原点としたが、近い方を原点としても良い。
また遠近法に従つてＺ軸方向を座標変換すること
も容易に可能である。またこの処理は電気回路で
高速に行うことができるが、すべてソフトウエア
処理であつても良い。

以上の処理をモータ８０により光切断ヘツドを
移動させながら行うと距離画像を得ることができ
る。第３３図にその例を示す。第３３図は光切断
線を間引いて表示した例である。すなわち、xy
平面画像として見ると、明るさＺが、光切断ヘツ
ド３からの距離Ｓに対応している。明るい方が近
い画像である。（第３４図においてZ₂＝S₂sinα、
Z₁＝S₁sinαで示される。）ヘツドの移動、すなわち、ｙ軸方向の送りは定
速モータで行い、イメージプロセツサ２１から得
られるサンプリング信号９２で光切断線抽出回路
４２は、一定時間間隔で光切断線をサンプリング
する。パルスモータ８０で送りながら一定パルス
間隔毎に（一定距離ＰでＺ方向に移動する間隔毎
に）光切断線をサンプリングする。DCモータ８
０とエンコーダ８２を組合せ一定量移動毎にサン
プリングする等いずれであつても良い。検出する
光切断線の本数は２本以上ロボツト視覚の作業対
象に応じて選定すれば良い。ピツチについても同
じである。これらはイメージプロセツサ２１によ
り制御される。イメージプロセツサ２１に入力さ
れた距離画像の処理内容もロボツト視覚の作業対
象に応じて選定すれば良い。ここで一実施例とし
て第３０図の作業対象について言えば、得られる
距離画像は第３３図のものであり、この距離画像
（サンプリングされた光切断線yi毎にxiに対応し
た距離の値Zi）は光切断線抽出回路４２から得ら
れパラレルインターフエース５０ｂを介してイメ
ージメモリ用のRAM５１ａに記憶される。イメ
ージプロセツサ２１のマイクロプロセツサ４８は
例えば第３６図に示すように隣り合つた光切断線
yi−１とyi＋１に対するxi−１とxi＋１について
（３×３の絵素について）の距離Zi−1j−１、Zi
＋１、ｊ−１、Zi−１、ｊ＋１、Zi＋１、ｊ＋１
を読み出し、 Zi、ｊ＝｜Zi−１、ｊ−１−Zi＋１、ｊ＋１｜＋
｜Zi＋１、ｊ−１−Zi−１、ｊ＋１｜／２なる微分を施し、この値がある大きな基準値より
大きいときジヤンプエツジ（物体と背景の境界
線）があるということで上記Zi、ｊの値をRAM
６２の別の領域に記憶する。更にマイクロプロセ
ツサ４８は第３５図のように実線（ジヤンプエツ
ジ）Ejで囲まれた閉領域をセグメンテーシヨンを
する。そして各閉領域毎A₁、A₂の面積、重心の
高さを求め、これらが指定された範囲内でありか
つ重心の高さが最も高い目的とする対象物を分離
抽出する。

更に例えば第３５図に点線で示されるルーフエ
ツジErとジヤンプエツジEjとに囲まれた平面領
域を抽出し、分離抽出された平面領域を平面近似
し、その法線方向を部品の３次元的姿勢として認
識する。即ちジヤンプエツジとルーフエツジとで
囲まれた主要平面の領域を最小２乗法で平面近似
する。求める平面方程式を t₁x＋t₂y＋t₃＝ｚ ……(6) とし、距離画像より抽出した主要平面内ｍ個の点
のxyz座標を（ar1、ar2、bi）ｉ＝１、２、…、
ｍとすれば式(1)のt₁、t₂、t₃は、（tj）ｊ＝１、２、
３を行とする行列ｔとして、ｔ＝（A^TＡ）^-1A^Tｂ ……(7) と計算される。ここにＡは（ar1、ar2、1.0）を
行とする行列、ｂは（bi）を行とする行例、Ｔは
転置行列、^-1は逆マトリツクスを表わす。

なお主要平面領域の重心位置は、すでにセグメ
ンテーシヨンの際に求められている。この主要平
面の法線方向は法線とＺ軸のなす角と法線の
ｘ、ｙ平面への投影とＸ軸とのなす角θで表わ
す。

とθは、平面近似の際に求めたｔ（式(6)）を
用いて、 θ＝tan^-1t₂／t₁ ……(10) と表わされる。

更に第３５図に示すようにこの、θの値に従
つて主要平面のパラメータを回転させ、x′、y′、
z′に変換すれば、法線方向からみた主要平面の形
状を認識することができる。

このようにしてマイクロプロセツサ４８は、目
的とする物品の主要な面の位置と空間的傾きがロ
ボツトの手機構を基準にして求めることができ
る。これがコネクタの表面であるかどうかを前記
に述べたようにその面の大きさ、形状から検定で
きる。また付近にワイヤA₂のある方向を検知す
ることにより、その反対側がピンを差し込むべき
方向であることを決定できる。残りの２側面がロ
ボツトフインガーが握むべき面である。なお、イ
メージプロセツサ２１のROM４９には、各々ジ
ヤンプエツジ検出とセグメンテーシヨンと、目的
部品の分離抽出とルーフエツジ検出による部品の
平面領域の抽出と、平面の法線方向による部品の
３次元的姿勢の認識と、部品の認識等のプログラ
ムが記憶されている。RAM５１ｂは演算部５３
で計算されたデータを一時記憶するものである。
９３はバスラインである。

そしてイメージプロセツサ２１のインターフエ
ース５２から目的物の主要面の位置と姿勢と、方
向のデータがロボツト制御装置１８に送られる。
即ちロボツトの指２５の握み点、アプローチすべ
き位置とその方向が決定されたのでロボツト制御
装置１８のマイクプロセツサ２９はこれらを
ROM３３に記憶されているロボツトアーム制御
のデータに加えてロボツトの制御座標系に変換
し、Ｄ／Ａ変換器３０を介して駆動回路３１に伝
達する。ロボツト１７に備えられた各アクチユエ
ータＭが駆動され、ロボツト１７の指は上記情報
を元にコネクタ９０を握み、あらかじめ教示によ
つて与えられた位置に存在するピン９２にこれを
差込む。

なお、本発明の実施例としては、光切断法とし
て定常的なスリツト光を使用したが、これをスト
ロボ発光としても良い。また本発明の実施例で
は、スリツト光を使用したが、片側が明るく他の
側が暗い、明暗の直線エツジであつても良い。ま
たスリツト光にかわつて、スポツト光を光切断面
２５上を走査させる方式であつてもよい。

また距離画像をロボツト１７の手機構２４に取
付けた光切断検出ヘツド７７から得るためには、
第２９図に示す実施例の如く手機構２４の先に設
けられた検出ヘツド走査機構によつて直線的に走
査させる他、ロボツト制御装置１８によつてロボ
ツトの手機構２４をｙ軸方向に等速度に移動させ
ながら、その座標値をイメージプロセツサ２１に
送ると共に一定間隔Ｐでサンプリングすればよい
ことは明らかである。しかしロボツトの手機構２
４を平行に移動させて走査する実施例は、第２９
図に示す実施例に比べ応答性が悪い。

また距離画像を光切断検出ヘツドから得るため
には、検出ヘツド走査機構が不可欠であるが、こ
れは実施例第２９図に示した直線移動機構の他第
３７図に例示するように紙面に垂直な回転軸９４
を中心に回転モータ９５により撮像装置とスリツ
ト投光器３９を揺動させる機構であつても、第３
８図に例示するように、スリツト投光器３９のみ
を揺動させる機構であつても良い。

この場合距離画像は各回転角に比例せず、三角
画数を含む複雑な関係式になるため、目的とする
物体のある平面の傾き、方向、位置を求めること
が非常に複雑となる。しかし、物体のある平面の
傾き、方向、位置を正確に求める必要のないとき
は、上記関係式を近似式でおきかえられるため、
走査機構として揺動機構を用いることができる。
ただ手機構２４に付ける走査機構として直線走査
機構より揺動機構の方が機構として簡素化でき
る。

また前述したように距離画像の検出器として光
切断法によらない方法を用いてもよいことは勿論
である。

第２４図はロボツトアームに取り付ける画像検
出器としての斜十字スリツト光４６を用いた検出
器の実施例である。本実施例では、２台のスリツ
ト光源３９ａ，３９ｂを斜十字状のスリツト光４
６が照射できる様に配置し、２台のスリツト光源
３９ａ，３９ｂを一つづつ発光させた場合の光切
断波形をTVカメラ４５を用いて検出する。

TV画像信号より光切断線抽出装置４２を用い
て波形信号を抽出し、予め求めておいた波形信号
値と実際の座標との対応関係を示すデータ２７を
用いて対象物までの実際の距離、姿勢などを検出
する。なお、本実施例の詳細については特願昭57
−201931号に記載されている。

以下に、本発明のロボツト視覚装置を用いた物
体の位置検出および姿勢検出の一実施例について
説明する。

ここでは、説明をわかりやすくするために、第
３９図に示した装置構成を例にして説明する。
尚、以下の説明は、第４０図に示す装置構成にお
いても全く同様に適用できるものである。

第３９図において、２個のスリツト光源１０１
ａ，１０１ｂをそれぞれ１つずつ発光させた場
合、撮像装置２によつて検出される光切断線と物
体の実際の位置等幅線Ｗと等距離線Ｄとの対応関
係は、第４１図ａ，ｂに示すように、ななめ格子
状になる。この対応関係をあらかじめ寸法が既知
の物体を用いて検出器からの位置を変えながら求
め記憶装置に記憶しておく。そして、物体の位
置・姿勢の検出の際には、このあらかじめ記憶さ
れている対応関係と撮像装置１０２から検出され
た光切断線の画像上の位置を照合することによつ
て、物体の実際の位置と傾きを求めることができ
る。本発明では、２つのスリツト光１０３ａ，１
０３ｂを切替えて投光し、２つの互いに平行でな
い平面における物体までの距離・位置および傾き
が求められるから、これらにより物体の３次元的
な位置と姿勢を一意的に求めることができる。

なお、本発明では２つのスリツト光１０３ａ，
１０３ｂの交線１０６が対象物表面と交わるよう
に検出器または対象物があらかじめ大まかに位置
合せされているものとし、本発明のロボツト視覚
装置を用いて、検出器と対象物の相対的な位置と
姿勢を精密に検出するものとする。

つぎに、検出される光切断線の画像上での位置
と物体の実際の位置の対応関係を求める方法につ
いて、第４２図を用いて説明する。ここでは第３
９図に示すスリツト光源１０１ａの場合について
のみ説明するが、第３９図に示すスリツト光源１
０１ｂおよび第４０図に示すスリツト光源１０１
ａ，１０１ｂの場合も同様である。第４２図に示
すように、２つのスリツト光の交線１０５がｚ軸
に一致し、スリツト光源１０１ａによるスリツト
光１０３ａがxy平面に一致するような座標系xyz
を仮定する。まず、第４２図に示すようにｚ軸に
垂直で撮像装置１０２の視野より広い平面１０６
を、ｚ軸方向に平行移動できるように、目盛付の
レール１０７上に立てる。平面１０６をたとえば
１cmきざみで検出器から遠ざけながら検出画像上
での光切断線の位置を求めて行くと、第４３図に
示す様な等距離線図が得られる。つぎに平面１０
６を幅一定の長方形とし、このようなものをいく
つかの幅について用意し、やはりレール１０７上
をｚ軸に垂直になるように立ててｚ軸方向に移動
させる。平面１０６のｘ軸方向に測つた幅をたと
えば２cmきざみとし、それぞれの平面１０６をｚ
軸方向に移動させたとき検出される光切断線の端
点の軌跡を求めると、第４４図に示すような等幅
線図（ｘ座標に関する）が得られる。第４３図に
示した等距離線図と第４４図に示した等幅線図に
おいて、線図上のある水平の線hh′に沿つた距離
およびx′方向の位置の変化を見ると、それぞれ第
４５図、第４６図のようになる。これらを線図上
の縦方向の座標ｊにおける距離の関数ｚおよびｘ
方向の位置の関数ｘとして、線図上の横方向の座
標ｉを変数として表わすと、 zj＝ｆ(i)＝aj0−aj1i＋aj2i²＋aj3i³＋…
（12） xj＝ｇ(i)＝bj0−bj1i＋bj2i²＋bj3i³＋…
（13）と近似することができる。何次まで近似するかは
必要とされる検出精度により決定する。線図上の
すべてのｊ（たとえばｊ＝１〜256）について、
ajn、bjn（ｎ＝０、１、２、…）を以上の方法で
あらかじめ求めておけば、検出された光切断線か
ら式(1)(2)を用いて、逆にそのｚ方向およびｘ方向
の位置を求めることができる。また、検出対象物
を構成する一平面の傾きを求める場合には、以上
の様にして求めた光切断線の端点の実際の座標
（ｘ、ｚ）（x′、z′）より、 θ_x＝tan^-1z′−ｚ／x′−ｘ（14）を用いて、その平面とｘ軸のなす角を求めること
ができる。

次に検出画像より光切断線を抽出する手段につ
いて具体的に説明する。この場合もやはり第３９
図に示した片側のスリツト光１０３ａの場合につ
いて説明する。撮像装置１０２によつて撮像した
光切断線は、スリツト光の幅や光学系のボケなど
により、一般的にはある幅を持つている。そこ
で、撮像装置１０２の水平走査方向を第４３図と
第４４図に示した線hh′の方向（横方向）に一致
させて配置し、各水平走査信号のピーク位置（す
なわち最明点）の座標ｉを各ｊにおける光切断線
の位置ｉとする（第４７図参照）。このようにし
て、式（12）（13）を計算するための光切断線の
位置の座標を抽出する。

次に、本発明のロボツト視覚装置による対象物
の３次元的な位置・姿勢の検出過程を第４８図に
示す円柱状の物体１０９および第１４９図に示す
平面上にあいた円形の穴１１０の検出を例にして
説明する。

まず、円柱状の対象物１０９の位置・姿勢の検
出法について説明する。第４０図に示すスリツト
光１０３ａを投光した場合、たとえば第５０図に
実線Ａに示すような光切断像が撮像装置１０２に
より検出されたとする。同図において、先に説明
した様に横方向の最明点の位置を検出し、光切断
線の形を抽出すると第５１図に示す様になる。第
５１図に示す波形を折線近似し、各線分の端点の
座標（ｉ、ｊ）をあらかじめ求めておいた式
（12）（13）を用いて実際の座標（ｘ、ｚ）に変換
すると、第５２図に示す様になる。この図におい
て、最もｚ座標の小さい線分Ａ、すなわち最も検
出器に近い線分の中点から、円柱状の物体１０９
の上面のｘ方向の近似的な中心位置が求められ
る。また、式（14）を用いてxz平面における物
体１０９の傾きが求められる。つぎにスリツト光
源を切替え第４０図に示すもう一方のスリツト光
１０３ｂについて得られる光切断像（第５０図中
に破線Ｂで示す）についても、全く同様の検出を
行うことにより、円柱状の物体１０９の上面ｙ方
向近似中心位置と、yz平面における物体１０９
の傾きを求める。更に、以上の検出結果をもと
に、検出器から物体１０９の上面の中心位置まで
の距離ｚは、円柱状の物体１０９の上面がｚ軸に
ほぼ垂直である場合、ｚ＝z₁＋z₂／２＋z₄−z₃／y₂−y₁・y₁＋y₂／２（
15）または、ｚ＝z₃＋z₄／２＋z₂−z₁／x₂−x₁・x₁＋x₂／２（
16）として求められる。ここで、x₁、x₂は円柱状の物
体１０９の上面におけるxz平面の光切断像（第
５０図に示すＡ）の端点のｘ座標であり、y₁、y₂
はyz平面の光切断像（第５０図に示すＢ）の端
点のｙ座標であり、z₁、z₂、z₃、z₄はそれぞれ４
つの端点のｚ座標を表わす。以上の検出結果より
もし円柱状物体１０９の上面のxz平面およびyz
平面における傾きが90゜と著しく異なり、光切断
線の中点から中心位置を求める方法および式
（15）または（16）による距離の計算の誤差が無
視できないと判断される場合には、傾きの検出結
果に従つてロボツトアームを移動させ、ｚ軸すな
わちスリツト光３ａ，３ｂの交線が面にほぼ垂直
になるようにし、再度中心位置および距離の検出
を行う。

つぎに、第４９図に示す平面上に垂直にあいた
円形状の穴１１０の中心位置および穴のあいてい
る方向の検出法について説明する。第５３図は第
４９図に示す穴１１０を撮像装置で撮像したとき
得られる光切断線の一例を示す図である。この場
合も、前例と同様にxz平面およびyz平面におけ
る２組の光切断線をスリツト光源を切替えること
によつて、独立に検出する。第５３図における実
線と破線は、このようにして得られる２組の光切
断像を示している。同図において、点a₁，a₂を結
ぶ線分と点b₁，b₂を結ぶ線分をそれぞれ前例の第
５０図における線分Ａ，Ｂに対応させた処理を行
うことによつて、全く同様に穴１１０の位置およ
び穴のあいている方向の検出を行うことができ
る。

以下に、本発明のロボツト視覚装置の具体的実
施例について説明する。まず、装置全体の構成お
よびその動作について説明し、しかる後検出器各
部の具体的構成について述べる。

第２４図は本発明のロボツト視覚装置の全体構
成の一実施例を示す図である。検出器は撮像装置
２とスリツト光源３９ａ，１０１ａ，３９ｂ，１
０１ｂから構成されており、次の様な配置構成法
によつている。すなわち、 (1) ２つのスリツト光４６ａ，１０３ａ，４６
ｂ，１０３ｂのなす平面の交線１０５を、ロボ
ツトのグリツパ２５の回転軸に一致させる。

(2) スリツト光源３９ａ，３９ｂの光軸１０８
ａ，１０８ｂおよび撮像装置４５，１０２の光
軸１０８ｃはスリツト光４６ａ，４６ｂの交線
１０５上のほぼ一点で交わる。

(3) スリツト光源３９ａ，３９ｂの光軸１０８
ａ，１０８ｂおよび撮像装置４５，１０２の光
軸１０８ｃは同一平面上にある。

(4) スリツト光源３９ａの光軸１０８ａとスリツ
ト光の交線１０５のなす角と、スリツト光源３
９ｂの光軸１０８ｂとスリツト光の交線１０５
のなす角とは等しい。

(5) スリツト光源３９ａの光軸１０８ａと撮像装
置４５，１０２の光軸１０８ｃのなす角と、ス
リツト光源３９ｂの光軸１０８ｂと撮像装置４
５の光軸１０８ｃのなす角とは等しい。

以上の様な配置でロボツトアーム２４上に検出
器を構成する。検出器の構成法の他の変形例とし
ては、上記の(1)〜(5)のうち論理的に可能な１〜４
個の組合せがある。また、第２４図では検出器が
ロボツトのグリツパ２５を回転駆動する部分に固
定されているが、グリツパ２５上に固定し、グリ
ツパ２５と一体に回転させる様に構成しても良
い。

このロボツト視覚装置の全体は第２４図中のイ
メージプロセツサ４７によつて制御される。すな
わち、スリツト光切替装置１１３を制御し、スリ
ツト光源３９ａ，３９ｂが１つずつ発光するよう
にし、それぞれの光切断像を撮像装置４５，１０
２によつて検出する。検出された画像信号は光切
断線抽出回路４２に入力され、光切断波形がイメ
ージプロセツサ４７に入力される。光切断線抽出
回路４２は、先に説明した方法に従つて２次元画
像データを１次元波形データに圧縮するものであ
り、特開昭56−70407号に開示されている装置を
用いても良い。このようにして得られた２組の光
切断線波形データは、イメージプロセツサ（マイ
クロコンピユータ）４７内に先に説明した手順で
処理される。すなわち、波形データの折線近似の
後、式（12）〜（16）の計算を行つて対象物の３
次元的位置及び姿勢を検出し、そのデータ１１７
をロボツト腕機構の制御装置に出力する。式
（12）（13）を計算するのに必要な係数ajn、bjn
（ｊ＝０、１、２、３…、ｎ＝０、１、２、３…）
は、先に説明した方法であらかじめ求められ、記
憶装置１１６内に格納されており、必要な時適宜
読み出されて使用される。

次に本実施例のロボツト視覚装置の動作につい
て詳細に説明する。

対象物の検出を行う前に、すでに説明した様
に、式(1)(2)に示した係数ajn、bjn（および同様に
して得られるyjの係数）を記憶装置１１６に格納
する作業が必要である。第４２図に示した装置を
用いてスリツト光の交線１０５がレール１０７と
平行になる様にロボツトを動作・固定し、すでに
説明した方法で第４３図に示す等距離線図と第４
４図に示す等幅線図を求める。この作業はスリツ
ト切替装置１１３で切替え、２つのスリツト光４
６ａ，１０３ａ，４６ｂ，１０３ｂについてそれ
ぞれ行う。つぎに、これらのデータをもとにイメ
ージプロセツサ４７によつて多項式近似を行い、
各ｊにおける式（12）（13）の係数ajn、bjnを求
め、記憶装置１１６に格納する。

対象物体の検出過程では、すでに第４８図及び
第４９図を例にして説明した様に、イメージプロ
セツサ４７がスリツト光切替装置１１３を制御
し、２組のスリツト光源１０１ａ，１０１ｂをそ
れぞれ発光させた場合の光切断像に基づく光切断
波形を光切断抽出回路４２によつて得て、これを
イメージプロセツサ４７によつて折線近似した
後、それぞれの線分の実際の位置座標が記憶装置
１１６に格納された係数ajn、bjnをもとにして式
（12）（13）（および同様なyjを求める式）を用い
て求められる。イメージプロセツサ４７は、２組
のスリツト光源１０１ａ，１０１ｂをそれぞれ発
光させた場合の線分のうち、対象物体上の線分
を、距離ｚを判定基準にそれぞれ１本ずつ選び出
し（通常、最も検出器に近く、視野の中央近くに
ある線分）、それぞれの４つの端点から、式（14）
〜（16）および線分の中点の計算を行つて、対象
物体の位置および姿勢を検出し、ロボツト腕機構
の制御装置に出力する。

次に検出器各部の具体的構成について説明す
る。撮像装置４５にはTVカメラを用い、第４７
図に示したｉの方向と水平走査方向を一致させる
ことにより、高速で光切断線を検出することがで
きる。もちろん、TVカメラ以外の２次元画像検
出器、例えば１次元フオトダイオードアレーとガ
ルバノミラーとの組合せでも良い。TVカメラの
うち、特に２次元固体イメージセンサを用いたも
のは、(イ)耐震・耐衝撃性、(ロ)寿命、(ハ)画像ひず
み、(ニ)小型・軽量、(ホ)省電力、の５つの点で、電
子管を用いたものよりも優れている。第５４図は
２次元固体イメージセンサ１１９を用いた撮像装
置の一具体例を示す図である。本具体例では、ロ
ボツトアームに搭載される部分は、第５５図に点
線で囲んで示す様に、TVカメラ制御ユニツト１
２２を除いた２次元固体イメージセンサ１１９と
前置画像信号増幅器１２０と同期駆動信号波形整
形回路１２１のみであり、さらに小型・軽量化が
図られている。第５４図において前置画像信号増
幅器１２０は基板１２３ａ上に搭載され、２次元
固体イメージセンサ１１９と同期駆動信号波形整
形回路１２１は基板１２３ｂ上に搭載され、支柱
１２４で裏ぶた１２５上に固定されている。裏ぶ
た１２５にはコネクタ１２６が取付けられ、一切
の信号・電源の供給はこのコネクタ１２６を介し
て行われる。また、裏ぶた１２５および外枠１２
７は内面に静電シールド用の銅箔を貼つた（また
は金属メツキを施した）プラスチツク等の非金属
で構成されている。さらに、結像レンズ１２８を
プラスチツク化することも可能である。以上の様
に、本実施例による撮像装置を用いれば、耐震・
耐衝撃性、長寿命、低画像ひずみ、省電力という
特徴に加え、検出器を著しく小型・軽量化できる
効果がある。

次に、スリツト光源１０１ａ，１０１ｂの具体
的構成について説明する。光源としては、ハロゲ
ンランプや放電管や発光ダイドード等を使用する
ことができるが、(イ)耐震・耐衝撃性、(ロ)寿命、(ハ)
小型・軽量性の３点で発光ダイオードが最も優れ
ている。第５６図は発光ダイオードを用いたスリ
ツト光源の一具体例を示す図である。発光ダイオ
ード１２９には、赤外発光の高出力タイプが用い
られる。通常２次元固体イメージセンサの最大感
度波長は、800nｍ付近であるので、この波長の
発光ダイオードを用いれば検出感度を最大にでき
る。第５６図に示す様に、発光ダイオード１２９
は、複数個をシリンドリカルレンズ１３０の長手
方向に一致させて一例に並べて配置する。第５６
図ａに示す平面図において、発光ダイオード１２
９とスリツト１３１はシリンドリカルレンズ１３
０に関して結像関係にある。また、結像面１３２
の位置は概略の対象物位置に設定し、結像面１３
２とスリツト１３１のは結像レンズ１３３に関し
て結像関係にある。以上の様な構成をとることに
より、発光ダイオード１２９から発光される光を
効率良く集光し、スリツト光を形成できるので、
上記した３つの特徴に加え明るいスリツト光源を
実現できる。さらに、発光ダイオード２９にレン
ズを用いた指向性の強いものを用いることによ
り、更に強力なスリツト光源も実現可能である。

第５７図は発光ダイオードを用いたスリツト光
源の他の具体例を示す図である。第５７図に示す
様に、発光ダイオード１２９を複数個スリツト１
３１に沿つて配置し、スリツト１３１と結像面１
３２は結像レンズ１３３に関して結像関係にあ
る。またシリンドリカルレンズ１３０は、スリツ
ト光に結像面１３２上でむらが出ない様に、結像
レンズ１３３とスリツト１３１の間に挿入され
る。本具体例では、結像面１３２の結像関係が狂
うと、スリツト光にむらが生じる欠点があるが、
光切断線の位置検出を行う本発明では無視でき
る。本具体例によれば、第２２図と比較して明ら
かな様に、光軸方向の長さを短かくすることがで
き、発光ダイオード１２９の持つ特徴に加え、ス
リツト光源を著しく小型にできる特徴がある。

また、撮像装置と同様に、外枠をプラスチツク
等の非金属で構成すれば検出器を著しく小型・軽
量にできる効果がある。

なお、第５６図と第５７図に示すスリツト光源
の具体例では、スリツト光が完全な平板状になら
ない。この問題は結像レンズ１３３の径を必要以
上に大きくしないことで回避できる。

ロボツトアームに取り付ける画像検出器２０の
他の実施例としては、TVカメラ、リニアセンサ
またはポイントセンサ（フオトダイオード、フオ
トマルなど）とガルバノミラーなどの走査機構と
の組合せによる濃淡画像検出器がある。本発明で
はロボツトアーム上の画像検出器による認識処理
の前に固定した位置にある距離画像検出器よりの
画像の処理を行い、対象物体の主要な平面の法線
方向よりロボツトアームを接近させ、その方向よ
りロボツトアーム上の画像検出器より画像検出で
きるので、主要な平面の平面的に正しい形状が検
出できるため、従来の濃淡画像処理による平面的
な認識法の応用により、対象物体の形状、位置、
姿勢の認識ができる。また、背景と対象物体とを
濃淡画像の２値化により分離検出できる場合、２
値画像処理、たとえばテンプレートマツチングな
どを用いて、高速に対象物体の形状、位置、姿勢
の検出ができる。

以上説明したロボツトアーム上の画像検出器か
らの画像の処理によつて得られる対象物体の位置
および姿勢は、画像検出器に固定された座標系に
よるもの、すなわちロボツトアームとの相対位置
関係であるから、ロボツトアームのたわみなどに
よつて絶対位置決め精度が悪い場合にもロボツト
アームを精度良く対象物体にアプローチさせるこ
とができる。また、この場合ロボツト制御装置
は、ロボツトアームからの検出時点のロボツトア
ームの姿勢と、イメージプロセツサからの対象物
体の位置と姿勢から、ロボツトの各軸の動作量を
計算する必要がある。

次に視覚系の他の構成要素の一つであるイメー
ジプロセツサ２１の一実施例を第２５図に示す。
イメージプロセツサ２１は、距離画像検出器１９
およびロボツトアーム上の画像検出器２０より検
出された画像を前述した方法に従つて処理し、対
象物体１１を発見、その位置、姿勢を認識し、そ
の情報をロボツト制御装置１８に伝送する。イメ
ージプロセツサ２１は、マイクロプロセツサ４８
で制御され、ROM４９に収納されたプログラム
によつて動作する。距離画像を生成するための光
切断線抽出装置４２およびロボツトアーム上の画
像検出器２０とは高速のパラレルＩ／Ｆ５０ａ，
５０ｂにより接続され、検出された画像情報は、
RAM５１ａに収納される。RAM５１はこのよ
うに画像情報の一時的な保存に用いられるほか
に、画像処理過程における作業領域として用いら
れる。また、ロボツト制御装置１８とは、インタ
ーフエイス５２を介して接続され、認識結果を伝
送する。

上記したイメージプロセツサ２１の実施例は、
マイクロプロセツサ４８を用いたソフトウエア処
処理をする場合について述べたが、例えば、２値
化処理、微分処理等は比較的簡単なハードウエア
構成で実行できるので、部分的にハードウエアに
よる処理を行えば、処理の高速化が図れる。ま
た、非常に高速の処理を行うため、処理アルゴリ
ズムを全てハードウエア化することも装置規模は
大きくなるが可能である。

また以上説明した本発明による実施例では、関
節形ロボツトについて説明したが、直交形ロボツ
ト、円筒形ロボツトでもよいことは明らかであ
る。

さらに、本発明の他の変形例としては、作業対
象によつては、距離画像検出器１９のみによる対
象物体の認識、ロボツトアーム上の画像検出器２
０のみによる対象物体の認識も可能であることを
付け加えておく。

〔発明の効果〕

以上説明したように、本発明によれば、完全な
視覚フイードバツクによるロボツト制御を実現で
き、更に距離画像検出手段によるロボツトを固定
する基台部を基準にした作業対象物の発見および
その姿勢、位置の認識と、ロボツト画像検出器を
基準にした作業対象物の位置と姿勢の認識基づく
ロボツトの位置と姿勢を補正するという段階的な
処理により、作業対象物の姿勢、形状にかかわら
ず、ロボツトに非常な複雑な探索動作等をさせる
ことなく、作業対象物を発見してその作業対象物
に対するロボツトによる高精度の組立、検査、調
整等の広い分野に亘る作業を行うことができる効
果を奏する。また、本発明によれば、距離画像検
出手段によるロボツトを固定する基台部を基準に
した作業対象物の発見およびその姿勢、位置の認
識するので、作業対象物の表面の色、明暗、面粗
さ、よごれ等に影響を受けることなく、常に能率
の良い認識も可能であり、更に距離画像信号を２
次元的微分して作業対象物の境界線を検出してい
るので、やはり作業対象物の表面の状態によるこ
となく安定して作業対象物を発見することができ
る効果も奏する。

【図面の簡単な説明】

第１図及び第２図は従来のロボツト視覚を示し
た図、第３図は距離画像を説明した図、第４図、
第５図、第６図、第７図及び第８図は本発明によ
る距離画像の処理過程を示した図、第９図は直方
体の２つの見え方を示した図、第１０図及び第１
１図は距離画像のルーフエツジ、ジヤンプエツジ
を示した図、第１２図は距離画像処理による物体
の姿勢の定義を表わした図、第１３図は本発明に
よる実施例の全体構成を示した図、第１４図はロ
ボツト制御装置を説明した図、第１５図は距離画
像検出器の一実施例を示した図、第１６図、第１
７図、第１８図、第１９図及び第２０図はその検
出過程を示した図、第２１図は他の距離画像検出
器の例、第２２図は距離画像の影の生じる原因を
説明した図、第２３図及び第２４図はロボツトア
ーム上の画像検出器の一実施例を示す図、第２５
図はイメージプロセツサの一実施例を示した図、
第２６図は本発明に係る光切断線抽出回路を示す
概略構成図、第２７図は第２６図の示す回路の機
能を説明するための図、第２８図は第２７図に示
す回路を具体的に示した構成図、第２９図は第２
３図に示す本発明に係るロボツト視覚装置の一実
施例を具体的に示した図、第３０図は第２３図及
び第２９図に示す実施例における作業対象を説明
するための図、第３１図は光切断線の例を示す
図、第３２図は光切断抽出処理を説明するための
図、第３３図は距離画像の例を示す図、第３４図
は光切断線と撮像装置の中心と目的物表面との関
係を示した図、第３５図は距離画像におけるジヤ
ンプエツジとルーフエツジとを示す図、第３６図
は距離画像信号を微分してジヤンプエツジを検出
するために３×３の絵素についての距離を切出し
た状態を示す図、第３７図は本発明に係る第２９
図と異なる他の一実施例を示した図、第３８図は
更に本発明に係る他の一実施例を示した図、第３
９図は第２４図に示す如く本発明に係るロボツト
十字切断線視覚装置の原理となる検出器の斜視
図、第４０図は第３９図に示す検出器の基本構成
を示す斜視図、第４１図は第３９図に示す検出器
による等距離線と等幅線を表わした図、第４２図
は等距離線と等幅線を得る検出器の斜視図、第４
３図は等距離線の一例を示す図、第４４図は等幅
線の一例を示す図、第４５図は第４３図に示す等
距離線の変化を表わした図、第４６図は第４４図
に示す等幅線の変化を表わした図、第４７図は光
切断線の抽出方法を表わす図、第４８図及び第４
９図は検出対象物体の一例を示す図、第５０図、
第５１図、第５２図は第４８図に示す検出対象物
体の検出処理過程を示す図、第５３図は第４９図
に示す検出対象物体の検出画像を示す図、第５４
図は第２４図に示す撮像装置の全体構成の一実施
例を示す図、第５５図は第５４図に示すイメージ
センサの信号処理回路を示した図、第５６図ａと
第５７図ａは本発明に係るロボツト視覚装置の検
出器に用いるスリツト光源の具体例を示す平面
図、第５６図ｂと第５７図ｂは本発明のロボツト
視覚装置の検出器に用いるスリツト光源の具体例
を示す正面図である。９……距離画像、１１……対象物体、１７……
ロボツトアーム、１８……ロボツト制御装置、１
９……距離画像検出器、２０……ロボツトアーム
上の画像検出器、２１……イメージプロセツサ、
３８……スリツト光、３９……スリツト光源、４
２……光切断線抽出装置、４５……TVカメラ。

Claims

【特許請求の範囲】１可動部材を有するロボツトと、該ロボツトを
固定する基台部に対して定められた点より、上記
ロボツトの作業領域全体の各点までの距離の情報
を２次元の距離画像信号として一括して検出する
距離画像検出手段と、該距離画像検出手段により
検出される距離画像信号を２次元的に微分し、該
２次元的に微分された２次元微分信号に基いて、
２次元的に取り囲む領域を抽出して作業対象物を
発見すると共に該抽出された領域において上記距
離画像検出手段により検出される距離画像信号に
基いて作業対象物の表面の法線方向と位置を決定
する第１の画像処理手段と、上記ロボツトの可動
部材に固定されたロボツト画像検出器と、該ロボ
ツト画像検出器が、上記画像処理手段によつて決
定された作業対象物の表面の法線方向と位置に対
して特定の角度および距離関係となるように上記
ロボツトの可動部を駆動制御してロボツトの位置
と姿勢を制御するロボツト制御手段と、上記ロボ
ツト画像検出器によつて検出された画像信号から
ロボツト画像検出器を基準にして作業対象物の位
置と姿勢を算出する第２の画像処理手段と、該第
２の画像処理手段から算出されるロボツト画像検
出器を基準にした作業対象物の位置と姿勢に基い
て上記ロボツトの可動部を駆動制御してロボツト
の位置と姿勢を補正する補正制御手段とを備えた
ことを特徴とするロボツト制御装置。２上記イメージプロセツサは、距離画像信号を
微分してジヤンプエツジ画像信号を形成する微分
手段と、このジヤンプエツジで閉じられた領域に
分離する分離手段と、この分離された領域から必
要な領域を抽出し、この抽出された領域から主要
な平面の距離画像を抽出する抽出手段と、この距
離画像によりこの主要な平面の重心の位置及び傾
き等を検出する検出手段とによつて構成したこと
を特徴とする特許請求の範囲第１項のロボツト。