JPS626102A - 視覚認識方法及びその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔目　次〕 概要 産業上の利用分野 従来の技術 発明が解決しようとする問題点 問題点を解決するための手段（第１図）作用 実施例 （ａ）　　一実施例の構成の説明 （第２図、第３図、第４図） （ｂ）　　一実施例構成の動作の説明（第５図）（Ｃ）
　　本発明の詳細な説明（第６図）（ｄ）　　他の実施
例の説明 発明の効果 〔概　要〕 視野内の二次元画像の位置を得るための視覚認識方法及
びその装置において、視野内二次元画偉から光軸回転し
た一方の画像と光軸回転しない他方の画像を光学的に作
成し、光軸回転された一方の画像と他方の画像とを撮像
手段に一宏元画像として並列受光させ、撮像手段の出力
により二次元画像の位置を一次元処理で可能とするもの
である。

〔産業上の利用分野〕

本発明は、二次元画像の位置を視覚的に得るための視覚
認識方法及びその装置に関し、特に−次元処理によって
二次元画像の位置を得ることのできる視覚認識方法及び
その装置に関する。

近年人間の眼の如く、視野内の物体９部材等の位置を検
出する視覚装置の開発が進んでおり、形状の識別９部材
等の位置の認識が可能となっている０ このような視覚装置は、特に自動組立て工程における対
象部材の位置の識別等に用いられ１例えばプリント基板
のスルーホールへの電子部品の自動挿入、ＬＳＩ製造工
程等のウェハーの位置決めや、ベース基板上への物体の
取付は等におい忙広く利用されている。

〔従来の技術〕

従来の視覚認識技術は、第７図に示すテレビカメラ等の
撮像手段１０で対象部材（例えばプリント基板）１７を
撮像し、対象部材１７を撮像した二次元画像を電気信号
に変換した後Ａ／Ｄ（アナログ／デジタル）コンバータ
１１でデジタル値に変換し、これを画像メモリ１２に格
納する。そしてマイクロプロセッサ等のＣＰＵ１３はバ
ス１６を介し画像メモリ１２の二次元画像情報を読出し
。

認識処理し、対象部材（プリント基板）１７のスルーホ
ール１７ａの位置を得ていた。

尚９画像メモリ１２の内容はビデオＲＡＭ（ランダムア
クセスメモリ）１４にもバス１６を介し与えられ、モニ
タテレビ１５で撮像内容が表示され、オペレータの確認
に供される。

例えば、プリント基板１７における電子部品のインサー
タやロボット等による電子部品の自動挿入においては、
第８図に示す如くプリント基板１７に設けられたスルー
ホール面１７ｂの中心に部品挿入用のスルーホール１７
ａが設けられておシ。

これらの位置は予じめインサータやロボット等の自動機
に教示されているものの、自動機の位置決め部やプリン
ト基板の精度及び相対精度が高精度に維持されているこ
とが条件で円滑な挿入作業が可能となる。

しかし、これらの各精度の維持は極めて難しく。

プリント基板１７のスルーホール１７ａの位置決めにお
いても、係る位置決めの他に視覚による自己補正が必要
となる場合がある。この場合は第８図の如く、予定の二
次元位置からＸ方向にΔＸ。

Ｙ方向にΔＹ分ずれてスルーホール１７ａが位置決めさ
れる事になる。

特に、近年電子部品の小形化に伴ない、スルーホール径
１７ａも１ｍ以下になってくると、これらの自己補正が
特に必要となり、且つプリント基板のスルーホールに限
らず、他の対象物体でも同様である。

このため、前述の視覚認識装置が自動機に取付けられ、
これによって位置ずれを得て位置決め部を位置補正制御
するようにしていた。

この対象部材の位置を求めるための視覚処理は第９図フ
ロー図に示す如く、撮像手段１ｏの視野内の画像を取込
んで電気信号に変換し、Ａ／Ｄコンバータ１１でＡ／Ｄ
変換後シェーディング補正（背景補正）シ、更に２値化
する。そして、平滑化処理後画像メモリ１２へ取込み（
展開し）、格納する。次にＣＰＵ１３は画像メモリ１２
の画像情報を読出し、特徴抽出して、座標計算し９位置
ずれ量（ΔＸ、ΔＹ）を算出する。

このような従来の視覚認識技術は、撮像した結果自体の
二次元画像をメモリに格納し、ＣＰＵ１３が二次元の特
徴抽出を行って位置を得るようにしていた。

Ｃ発ａＡが解決しようとする問題点〕 しかしながら、係る従来の視覚認識技術は、二次元画像
をそのまま利用するという思想に基いているため、撮像
手段１画像メモリに二次元のものを要し且つ、ＣＰＵも
二次元処理するため、高速なものが要求されることから
、極めて高価なものとなるという問題があった。

又、二次元情報の堆扱いのため高速処理が困難であると
いう問題もあった。

本発明は、二次元画像を一次元処理によって位置の認識
を行なうことのできる視覚認識方法及びその装置を提供
することを目的とする。

〔問題点を解決するための手段〕

第１図は本発明の原理説明図である。

第１図囚中、ｌは画像導入部で′；Ｊ）＃）、視野内の
画像を光学的に取込むものであシ１例えば光ファイバー
で構成されるもの、２，３は光学的画像作成部であり１
画像導入部１からの画像を光学的に複数の画像に分割す
る画像分割部２と１分割され九一方の画像を光軸回転し
、且つ他方の画像はそのまま通過させる光軸回転部３で
構成されるもの。

４は撮像部であシ、光学的画儂作成部２，３がらの一方
の画像と他方の画像とが並列に一次元画像として入射さ
れるものであシ、ラインセンサ、例えば１ライン分の複
数の受光エレメントを有するＣ　ＣＤ　（Ｃｈａｒｇｅ
　Ｃｏｕｐｌｅｄ　ｐｅｖｉｃｅ　）で構成されるもの
である。

即ち２本発明では、光学処理によって二次元画像を分割
し、一方に光軸回転を施し、他方の画像とともに撮像部
４へ入射する（受光させる）ように構成されている。

〔作　用〕

画像導入部ｌの視野を１ａとし、視野Ｉａ内の画像を画
像分割部２で第１図の）の如く光学的に等価分割し、視
野１ａで得られた画像と同一のものを複数（第１図（ハ
）では２ツ）得る。

そして一方の画像（図では上方）を光軸回転部３で所定
角（例えば９００）回転させる。例えば光軸を９０’回
転させると、Ｙ軸がＹ軸に、Ｙ軸がＹ軸となる。

次に１回転した一方の画像と、そのままの画像の両方を
並列にラインセンナ（撮像手段）４に入射（受光）せし
める。

従って、ラインセンサ４には視野１ａの画像をＸ方向で
切ったもの（一方の画像）と、Ｙ方向で切ったもの（他
方の画像）との両方が並列に入射される。

即ち、光学的座標変換によって、二次元の画像が、２つ
の方向の異なる一次元の画像に光学的に変換されたこと
になる。従って、ラインセンサ４上では、Ｙ軸、Ｙ軸の
画像位置を得ることができる０ 例えば、第１図（ロ）の左に示す如く視野１ａの中心に
対しスルーホール１７ａがＸ方向にΔＸ、Ｙ方向にΔＹ
だけずれているとすると、光軸回転しない他方の画像か
らはＹ方向の切シ出しによってラインセンサ４よシスル
ーホール１７ａのＹ軸方向の中心位置（＝ｙｓ　＋　（
Ｙｉ　　Ｙｌ　）／　２　）が得られ。

光軸回転した一方の画像からはＸ方向の切シ出しによっ
てラインセンサ４よシスルーホール１７ａのＸ軸方向の
中心位置（＝　Ｘｓ＋　（ＸＩ−ＸＩ　）／　２　）が
得られ、従って光学的回転によって一次元処理によるス
ルーホールの二次元の中心位置が得られる。

この中心位置と予じめ定めた視野の中心位置との差を求
めれば位置ずれΔＹ、ΔＸが得られる。

〔実施例〕

（ａ）　　一実施例の構成の説明 第２図は木兄廚の一実施例全体構成図である。

図中、第１図で示し丸ものと同一のものは同一の記号で
示してあシ、５は画像処理回路部であり。

ラインセンサ４からの画像情報から中心位置を求めるも
のであシ、第４図にて後述するもの、６は制御部であり
９例えばパーソナルコンピュータで構成され２画像処理
部５からの中心位置を受け。

位置ずれを検出するものであり１例えば９画像導入部（
以下光ファイバと称す）ｌをスルーホール１７ａの中心
に相対的に位置決め部２例えばロボットノマニュピュレ
ータ又はプリント基板を搭載したテーブルを移動制御す
るものである０第３図は、光学処理部（光学的画像形成
部）。

即ち画像分割部２及び光軸回転部３の詳細構成図である
。

図中、第１図及び第２図で示したものと同一のものは同
一の記号で示してあり、２０は光束拡大レンズでアシ、
光ファイバ１からの光像を拡大するもの、２１はコリメ
ートレンズであり、光束拡大レンズ２０で拡大され九光
儂を平行像に戻すもの、２２はハーフプリズムであす、
コリメートレンズ２１からの光像を分割して同一の２つ
の光像を得るためのものである。これらによって画像分
割部２を構成する。３０はオーラストンプリズムであり
、入射光像を９０°光軸回転するもの、３１゜３２．３
３はミラーで１ｈ　ミラー３１．３２は画像分割部２で
分解された他方の光像を後述するプリズムに導くもの、
ミラー３３はオーラストンプリズム３０で９０°回転さ
れた一方の光像を後述するプリズムに導くもの、３４は
三角プリズムであり、ミラー３２からの他方の光像とミ
ラー３３からの一方の光像を並列な２つの光像として光
路変更するもの、３５．３６はコリメートレンズであり
、プリズム３４からの２つの光像を集光し。

ライセンサ４へ導くものである。オーラストンプリズム
３０．ミラー３１〜３３．三角プリズム３４、コリメー
トレンズ３５．３６によって光軸回転部３を構成する。

ライセンサ４は周知の如く多数の受光エレメントが一列
又は千鳥状に配列されており９１例えば。

この例で２０４８個の受光エレメントが一列に配置され
１図の上半分の１０２４個の領域４ａが前述の一方の光
像の入射用（受光用）に、下半分の１０２４個の領域４
ｂが前述の他方の光像の入射用（受光用）に用いられる
。

従って、係る光学処理部２．３では、光ファイバ１の視
野１ａの光像がハーフプリズムで２分割され、一方の光
像はオーラストンプリズム３０によって光軸が９０°回
転され、三角プリズム３４によって９０°回転された一
方の光像と他方の光像が並列にラインセンサ４の対応領
域４ａ、４ｂＫ入射することになる。

第４図は第２図構成の画像処理回路部の構成図である〇 図中、第１図及び第２図で示したものと同一のものは同
一の記号で示してあυ、５０は差動アンプであυ、ライ
ンセンサ４の各受光エレメントからの受光量に応じた信
号（受光エレメントの直列信号）を増幅するもの、５１
は安定化回路であシ。

差動アンプ５０の出力を安定化するためサンプルホール
ドするもの、５２はＡ／Ｄ変換器であシ。

安定化回路５１の出力を２値化するもの、５３は微分回
路であり、Ａ／Ｄ変換器５２の２値化出力を微分するも
の、５４はゲート回路でアシ、微分回路５３の微分出力
を後述するクロック発生回路のクロックに同期して出力
するもの、５５はクロック発生回路であり、ラインセン
サ（ＣＣＤ）４の読出しクロックを発生するとともに前
述のゲート回路５４にクロックを与えるもの、５６は同
期制御回路であシ、外部インターフェイス（例えば第２
図の制御部６）からのスタート指令に応じＣＣＤ４の読
出し開始を行ない且つクロック発生回路５６を起動し、
クロックを発生せしめ、且つアドレスカウンタを起動す
るもの、５７はアドレスカウンタで、１７．ＣＣＤ４の
読出しアドレスを計数によシ得るもの、５８は位置検出
回路であシ、ゲート回路５４からのクロック同期微分パ
ルス発生時のアドレスカウンタ５７の値から画素番号（
Ｙｌ、Ｙ２．ＸＩ、Ｘ２）を算出する番号算出回路５８
ａと、算出された画素番号からスルーホールのセンター
画素番号（Ｙｃ　、　Ｘｃ　）を算出するセンター算出
回路５８ｂとを有しているもの、５９はパラレルインタ
ーフェイスでｓｂ、センター画素番号を外部インターフ
ェイスへ与えるものである。

（ｂ）　　一実施例構成の動作の説明 第５図は本発明方法を説明するための第３図及び第４図
構成の動作説明図であシ、第５図（５）はその動作フロ
ー図、第５図ＣＢ）はこれに対応する動作説明図である
。

■　先づ、光ファイバ１の視野１ａ内にスルーホール１
７ａを導く。これは予じめ、スルーホール１７ａの位置
がわかっているので、その位置に光ファイバ１を導く。

例えば、プリント基板１７のテーブル又は光ファイバ１
が取付けられたロボットを移動すればよい。これによっ
て、光ファイバ１の視野１ａ内のスルーホール１７ａが
入シ。

その画像（光像）が導入され９画像取込みが行なわれる
。

■　導入された光像は、第３図の光学処理部の拡大レン
ズ２０及びコリメートレンズ２１を介しハーフプリズム
２２に入射し９画像分割される。

■　更に分割された一方の画像はオーラストンプリズム
３０によって光軸が９０１１回転される。即ち図の縦の
Ｙ軸が横軸とされ、横のＸ軸が縦軸となるように回転さ
れる。

■　次に２回転された一方の画像はきツー３３を介し、
一方ハーフプリズム２２で分割され回転されない他方の
画像はミラー３１．３２を介し各々三角プリズム３４に
入射する。

三角プリズム３４は両画像を並列に光路変更し。

コリメートレンズ３５．３６を介しＣ０Ｄ４の領域４　
ａ　、、　４　ｂに入射せしめ、ＣＣＤ４の各素子に受
光せしめる。

第５図に示す如（、Ｃ０Ｄ４上では一方の画像はＹ方向
、他方の画像はＸ方向が入射されることになる。

即ち、Ｃ０Ｄ４の受光素子方向に対し光像である一方の
画像はＹ軸方向が対応しておシ、且つ他方の画像はＸ軸
方向が対応している。これによって１つの光像（画像）
の二次元座標は分割された２つの光像の一次元座標に変
換されたことになシ。

ＣＣＤ４の領域４ａがＸ軸周、領域４ｂがＹ軸周に利用
され、−次元処理ができる。

■　このようにしてＣ０Ｄ４の各素子に受光された光量
によシ各素子に光量に応じたアナログ信号よシ次のよう
にしてスルーホールの中心位置の抽出を行なう。

同期制御回路５６はＣ０Ｄ４にスタート指示を与えると
ともにクロック発生回路５５に読出しクロックの発生指
示を行なう。

これによってＣＣＤ４は各受光素子のアナログ信号がク
ロックに同期して直列に読出される。

Ｃ０Ｄ４の出力信号は差動アンプ５０で増幅され１次に
安定化回路５１でサンプルホールドされ。

一種のローパスフィルタとして出力安定化が図られる。

次にＡ／Ｄ変換部５２で２値化され、２値化出力が得ら
れる。

２値化出力は微分回路５３で微分され微分パルスが得ら
れる。この微分パルスの位置はスルーホール１７ａＯＹ
軸方向、Ｘ軸方向のエツジ位置に対応する。

■　一方、同期制御回路５６はスタート指示とともにア
ドレスカウンタ５７を起動し、Ｃ０Ｄ４の読出し位置を
数値として得ておき、ゲート回路５４を介しクロックに
同期した微分パルスを位置検出回路５８に入力する。

位置検出回路５８では、微分パルス受信時のアドレスカ
ウンタ５７の値よシアエツジ位置を数値化する。従って
、第５図（５）では、４つの微分パルスよシ４つの位置
Ｙｌ、Ｙ２．ＸＩ、Ｘ２を得る。

この内Ｙｌ、Ｙ２はスルーホール１７ａのＹ軸方向のエ
ツジ位置であるから、スルーホール１７ａのＹ軸方向の
センター位置Ｙｃを。

よシ得、同様にスルーホール１７ａのＸ軸方向のセンタ
ー位置Ｘｃを よシ得る。

このセンター位置ｘｃ　、　ｙｃは外部インター７エ　
　　：イスへ与えられる。

この時、Ｃ０Ｄ４の画素数を２０４８画素とすれば、こ
の分解能で位置を示してもよいが９分解能に応じてアド
レスカウンタ５７の歩進をクロック　　　□８パルスで
１歩進としてアドレスを定めると。

１／８の分解能の位置が得られ、これらは要求される分
解能によって定められる。

■　更に位置ずれを求めるには１例えば制御部　　　□
６で予じめ定めた視野１ａの理論上のセンター位　　　
：置Ｘｒ　、　Ｙｒと測定したセンター位置ＸＣ、Ｙｃ
との差を求めることによってずれΔＸ、ΔＹが得られる
。

このようにして、二次元画像を一次元ラインセンサに２
分割して並列受光させ、ラインセンナの情報を一次元処
理することＫよって二次元情報を得ることができる。

（Ｃ１本発明の詳細な説明 第６図は本発明の詳細な説明図であり、ロボットによる
自動組立て装置の例を示している。

図中、第２図から第４図で示したものと同一のものは同
一の記号で示してあり、７はロボット制御部であり、後
述するロボットを制御するもの。

８はロボットであり９図では直交座標型ロボットを示し
ており９作業空間内で三次元方向に／％ンド８ａを位置
決めできるものであり、）１ンド８ａ近傍に光ファイバ
１の先端が設けられているものである。

この例では、ロボット８のハンド８ａがＬＳＩ等の電子
部品を把持し、プリント基板１７の指令位置に搭載する
例を示している。この場合でも。

予じめ電子部品の挿入すべきスルーホール位置は教示さ
れておシ、ロボット８がノーンド８ａで指定されたスル
ーホール位置に電子部品を位置決めした後に、光ファイ
バ１からの画像（スルーホール偉）から位置ズレを光学
処理部２，３，４．画像演算部（画像処理回路部）５を
経て制御部６が基め、ロボット制御部７を介し自己補正
してロボット８のハンド８ａによって電子部品の足をス
ルーホール１７ａに正確に挿入することができる。

このように光ファイバを光導入部に用いると。

光像を曲げて伝送できるので、ノ１ンド８ｊ１への取付
けが自由であシ、しかも撮像部は基台側に設けるととＫ
よシ小型、軽量化でき、ロボット８に対し負荷（重量増
）とならず、更にノイズに強いという利点がある。

又、ＣＯＤを撮像素子に用いることによってテレビカメ
ラより残儂特性や空間的歪が少ない０しかも１画像認識
座標系とロボット座標系が一致しているため座標変換等
の処理が不要でメジ。

誤差要因も削減しうる。

同様に部品供給機構に光ファイバ１を設け、プリント基
板１７側をテーブルによって移動するようにしてもよい
。

（ｄ）　　他の実施例の説明 上述の実施例では、スルーホールを例に説明したが、ス
ルーホールの穴の位置を認識するものであるから、他の
円形のマークや正方形マーク、穴等のものでも適用でき
、プリント基板のスルーホールの識別に限られない。又
、光軸回転も９０°に限らず、３０＠、４５°、６０’
等であってもよい。

同様に光導入部も光ファイバに限られず、撮像部もＣＯ
Ｄに限らず他の受光素子であってもよく。

撮像部４を領域４ａ、４ｂの２分割としてもよい。

以上本発明を実施例により説明したが１本発明は本発明
の主旨に従い種々の変形が可能であり。

本発明からこれらを排除するものではない。

〔発明の効果〕

以上説明した様に９本発明によれば、平面内の二次元画
像の二次元位置を求めるに当って、−次元処理で二次元
位置が求められるので、高速で且つ容易に実現すること
が可能となるという効果も奏する。

しかも、これを光学的処理によって実現できるから、低
価格で高精度に二次元位置を得ることができるという効
果も奏し、係る視覚装置の普及に買献するところが大き
い。特に組み立て等へ応用することによって低価格な視
覚付自動化機器、の提供ができる。

【図面の簡単な説明】

第１図は本発明の原理説明図。 第２図は本発明の一実施例全体構成図。 第３図は本発明の一実施例光学処理部構成図。 第４図は本発明の一実施例画像処理回路部構成図。 第５図は本発明の一実施例動作説明図。 第６図は本発明の詳細な説明図。 第７図は従来の視覚認識装置の構成図。 第８図はプリント基板のスルーホール説明図。 第９図は従来の視覚処理のフロー図である。 図中、１・・・光導入部（光ファイバ）。 ２・・・光学分割部。 ３・・・光軸回転部。 ４・・・撮像部。

Claims (2)

【特許請求の範囲】
1. （１）視野内の二次元画像から光学的に光軸回転させた
   一方の画像と、光軸回転しない他方の画像とを作成する
   光学的画像作成ステップと、 該光軸回転された一方の画像と該光軸回転されなかつた
   他方の画像を一次元画像として撮像手段に並列受光させ
   る受光ステップと、 該複数の画像が受光された該撮像手段の出力に基づいて
   該二次元画像の位置を得る認識ステップとを有すること
   を特徴とする視覚認識方法。
2. （２）視野内の二次元画像を光学的に光軸回転させた一
   方の画像と、光軸回転しない他方の画像とを作成する光
   学的画像作成手段（２）、（３）と、該光軸回転された
   一方の画像と該光軸回転されなかつた他方の画像とが一
   次元画像として並列受光される撮像手段（４）とを有し
   、 該撮像手段（４）の出力に基づいて該二次元画像の位置
   を得ることを特徴とする視覚認識装置。