JP2000213921A - 画像認識装置および画像認識方法 - Google Patents

Abstract

(57)【要約】 【課題】 認識精度を向上させ、装置稼働率を向上させ
ることができる画像認識装置および画像認識方法を提供
することを目的とする。 【解決手段】 認識対象物である認識マークの画像をカ
メラ１１で取り込み、取得した画像データを画像記憶部
３０ａに記憶させ、予めパターン記憶部３０ｂに記憶さ
れた認識マークの見え方がそれぞれ異る複数のリファレ
ンスパターンの１つと画像データをパターンマッチング
させてマッチング率を求め、求められたマッチング率の
合否判定を行う。マッチング率が不合格ならば順次他の
リファレンスパターンとのパターンマッチングを行い、
マッチング率が所定値以上のリファレンスパターンとの
照合結果に基づいて認識マークの位置を検出する。これ
により、同一対象物が単に見え方が異なることによる認
識エラーを減少させて認識精度を向上させることができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、認識対象物の画像
を取り込んで画像認識を行う画像認識装置および画像認
識方法に関するものである。

【０００２】

【従来の技術】電子部品や機器の製造分野において、検
査や位置検出などの目的で認識対象物を画像で取り込み
画像認識を行う方法が多用されている。この画像認識の
手法の１つとして、パターンマッチングングが広く用い
られる。このパターンマッチングングでは、予め認識対
象物の典型画像をリファレンスパターンとして記憶させ
ておき、カメラで取得した認識対象物の画像をこのリフ
ァレンスパターンと対比照合し、マッチング率を求める
ことにより認識対象物であるか否かを判断するものであ
る。そして、このパターンマッチングングは、基板や電
子部品の位置検出に広く応用されており、基板や電子部
品には位置検出用の認識マークが形成される。

【０００３】

【発明が解決しようとする課題】ところが、フレキシブ
ル基板など、撓み易いものに形成された認識マークが認
識対象物であるような場合には、画像認識に際し以下の
ような困難があった。まず、認識対象物の良好な画像を
取得するため、認識対象物周囲を照明することが行われ
るが、認識マークが形成された面が撓んでいる場合に
は、照明光が反射される方向は撓みの状態によって異
り、カメラで撮像して得られた画像上では大きな明暗差
が生じる。このため得られた画像データをリファレンス
パターンとパターンマッチングさせたときには、本来正
しい認識マークであるにも拘らずマッチング率が低くな
り、認識エラーを生ずる場合がある。

【０００４】また、認識マークそのものは同一であって
も、画像上での認識マーク周辺の背景に差異があるよう
な場合、さらには認識対象物の表面が経時的に変質する
ような場合（例えば金属表面の酸化など）にも、同様の
認識エラーを生じる場合がある。このように、従来の画
像認識装置では、認識マークそのものは同一であって
も、撮像された画像上で見え方が異ることに起因する認
識エラーにより認識精度が低く、その都度照明の調整な
どの対応を必要として装置稼働率を低下させる一要因と
なっていた。

【０００５】そこで本発明は、認識精度を向上させ、装
置稼働率を向上させることができる画像認識装置および
画像認識方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】請求項１記載の画像認識
装置は、認識対象物の画像を取り込むカメラと、このカ
メラで取得した画像データを記憶する画像記憶部と、前
記認識対象物の見え方がそれぞれ異る複数のリファレン
スパターンを記憶するパターン記憶部と、前記記憶され
た画像データを前記複数のリファレンスパターンとパタ
ーンマッチングさせることにより前記認識対象物を認識
する画像処理部と、この画像処理部によって求められた
マッチング率の合否判定を行い、マッチング率が不合格
ならば順次他のリファレンスパターンとのパターンマッ
チングを指令する判定手段とを備えた。

【０００７】請求項２記載の画像認識方法は、認識対象
物の画像をカメラで取り込み、取得した画像データを画
像記憶部に記憶させ、予めパターン記憶部に記憶された
前記認識対象物の見え方がそれぞれ異る複数のリファレ
ンスパターンの１つと前記画像データをパターンマッチ
ングさせてマッチング率を求め、求められたマッチング
率の合否判定を行い、マッチング率が不合格ならば順次
他のリファレンスパターンとのパターンマッチングを行
う。

【０００８】各請求項記載の発明によれば、同一認識対
象物について見え方が異る複数のリファレンスパターン
を予め記憶させておき、１つのリファレンスパターンと
のパターンマッチングによって認識エラーを生じたなら
ば、順次他のリファレンスパターンとパターンマッチン
グさせることにより、同一認識対象物が単に見え方が異
なることによる認識エラーを減少させることができる。

【０００９】

【発明の実施の形態】次に本発明の実施の形態を図面を
参照して説明する。図１は本発明の一実施の形態のボン
ディング装置の側面図、図２は同基板およびサブ基板の
平面図、図３、図４、図５は同ボンディング装置の部分
断面図、図６は同ボンディング装置の制御系のブロック
図、図７は同リファレンスパターンの画像図、図８は同
ボンディング装置の動作を示すフロー図、図９は同画像
認識処理のフロー図である。

【００１０】まず図１を参照して本発明の画像認識装置
が組み込まれたボンディング装置の構造を説明する。図
１において基台１には第１のＸＹθテーブル２が配設さ
れている。第１のＸＹθテーブル２はＸテーブル２Ａ、
Ｙテーブル２Ｂおよびθテーブル２Ｃを段積みして構成
されている。θテーブル２Ｃ上には主基板保持テーブル
３が装着されており、主基板保持テーブル３は主基板４
を吸着して保持する。

【００１１】基台１上の第１のＸＹテーブル２と反対側
の端部には、第２のＸＹθテーブル５が配設されてい
る。第２のＸＹθテーブル５はＸテーブル５Ａ、Ｙテー
ブル５Ｂおよびθテーブル５Ｃを段積みして構成されて
おり、θテーブル５Ｃ上にはサブ基板保持テーブル６が
装着されている。サブ基板保持テーブル６はフレキシブ
ル基板８が予め接続されたサブ基板７を吸着して保持す
る。

【００１２】第１のＸＹθテーブル２および第２のＸＹ
θテーブル５を駆動することにより、主基板４の縁部に
対してフレキシブル基板８の端部を位置合せすることが
できる。第１のＸＹθテーブル２および第２のＸＹθテ
ーブル５の間には、撮像部９が配設されている。基台１
上に配設されたカメラ移動手段としてのカメラＸＹテー
ブル１０上には、カメラ１１が装着されている。カメラ
１１に備えられた鏡筒１４には同軸照明部１２およびリ
ング照明部１３が備えられている。カメラＸＹテーブル
１０を駆動することにより、カメラ１１は水平方向に移
動し、同軸照明部１２およびリング照明部１３によって
フレキシブル基板８の下面を照明された状態で、フレキ
シブル基板８に設けられた認識マークを撮像する。

【００１３】主基板４の上方には、ＸＹテーブル１５が
配設されている。ＸＹテーブル１５はＸテーブル１５Ａ
およびＹテーブル１５Ｂを重ねて構成されており、Ｘテ
ーブル１５Ａの下面には移動ブロック１６が装着されて
いる。移動ブロック１６には圧着ツール１８を備えた圧
着ヘッド１７が固着されており、移動ブロック１６に立
設された棒状のブラケットの下端部には透過照明部１９
が装着されている。透過照明部１９が主基板４の縁部の
上方に位置した状態で上方より主基板４を照明し、主基
板４の下方よりカメラ１１で撮像すると、主基板４の上
面の認識マークを撮像する。また、主基板４の縁部上に
フレキシブル基板８の端部を位置合せした状態で圧着ツ
ール１８をフレキシブル基板８の端部に押圧することに
より、フレキシブル基板８は主基板４にボンディングさ
れる。

【００１４】次に図２を参照して主基板４とフレキシブ
ル基板８のボンディング部の詳細について説明する。図
２において、主基板４の縁部には、多数の端子電極２０
が列状に形成され、端子列２０Ａを構成している。それ
ぞれの端子列２０Ａの両側には、それぞれ主基板４の位
置認識用の認識対象物である第１の認識マーク２２のＡ
点およびＢ点が設けられている。主基板４の上面には、
縁部に沿ってテープ状の異方性導電材２１が貼付されて
いる。ここで、異方性導電材２１は本来端子列２０Ａの
範囲のみに貼付されればよいものであるが、貼付時に連
続したテープを複数の端子列２０Ａ上に一括して貼付す
る方法が採用されているため、図２において最上部に示
す第１の認識マーク２２上には異方性導電材２１は貼付
されず、その他の位置の第１の認識マーク２２上には異
方性導電材２１が貼付されている。

【００１５】フレキシブル基板８の下面には、主基板４
の端子列２０Ａの配列ピッチに対応して、同様に多数の
端子電極２３によって端子列２３Ａが構成されている。
また端子列２３Ａの両側のフレキシブル基板８の下面に
は、フレキシブル基板８の位置認識用の認識対象物であ
る第２の認識マーク２４が形成されている。

【００１６】第１の認識マーク２２および第２の認識マ
ーク２４を認識することにより、主基板４およびフレキ
シブル基板８の位置がそれぞれ認識される。したがっ
て、第１の認識マーク２２および第２の認識マーク２４
を認識することにより、端子列２０Ａと端子列２３Ａの
位置ずれ量を求めることができ、この位置ずれ量に基づ
いて第２のＸＹθテーブル５を駆動することにより、端
子列２３Ａを端子列２０Ａに正確に位置合せすることが
できる。

【００１７】次に図３を参照して撮像部９について説明
する。図３において、ＸＹテーブル１０に装着されたカ
メラ１１は鏡筒１４を備えている。鏡筒１４の側面には
同軸照明部１２が設けられており、同軸照明部１２を発
光させることにより、照明光はハーフミラー１２ａによ
り上方に反射され、カメラ１１の上方に位置する対象物
を同軸方向（矢印ａ）から照明する。鏡筒１４の上端部
にはリング照明部１３が鏡筒１４の周囲をリング状に取
り囲んで装着されている。リング照明部１３を発光させ
ることにより、カメラ１１の上方の対象物を斜下方（矢
印ｂ）から照明する。

【００１８】撮像部９を図３に示す撮像位置Ａに位置さ
せ、同軸照明部１２およびリング照明部１３を発光した
状態で、カメラ１１はフレキシブル基板８の下面の第２
の認識マーク２４を撮像する。また撮像部９を撮像位置
Ｂに位置させ、透過照明部１９をこの撮像位置Ｂの上方
に位置させた状態でカメラ１１により主基板４を撮像す
ることにより、主基板４の上面に形成された第１の認識
マーク２２（図２）を撮像する。なお、図３においては
フレキシブル基板８が撮像位置Ｂの主基板４の上方に重
なっているが、第１の認識マーク２２の位置にはフレキ
シブル基板８は存在せず、したがって透過照明を阻害し
ない。

【００１９】次に図６を参照してボンディング装置の制
御系の構成について説明する。図６においてカメラ１１
には画像処理部３０が接続されている。画像処理部３０
は取得された画像データを、予め記憶された認識マーク
の見え方の異なる複数のリファレンスパターンとパター
ンマッチングさせることにより、第１の認識マーク２２
および第２の認識マーク２４の認識を行い、位置を検出
する。

【００２０】画像処理部３０内には、画像記憶部３０ａ
およびパターン記憶部３０bが設けられており、画像記
憶部３０ａはカメラ１１で所得した画像データを記憶
し、パターン記憶部３０ｂは前記複数のリファレンスパ
ターンを記憶する。

【００２１】同軸照明部１２、リング照明部１３および
透過照明部１９は照明コントローラ３１に接続されてい
る。照明コントローラ３１は後述の制御部からの指令に
従って各照明部のＯＮ−ＯＦＦおよび明るさの制御を行
う。制御部３２はＣＰＵであり、ボンディング装置全体
の動作制御や位置補正演算などを行うほか、判定手段と
してマッチング率の合否判定処理を行う。すなわち、画
像処理部３０によって求められたマッチング率が所定値
以上であるか否かを判定し、所定値に満たなければ不合
格と判定して他のリファレンスパターンとのパターンマ
ッチングを指令する。記憶部３３は検出された認識マー
クの位置座標データや位置補正データを記憶する。

【００２２】第１のＸＹθテーブル２、第２のＸＹθテ
ーブル５、ＸＹテーブル１５、カメラＸＹテーブル１０
はモータ駆動部３４によって駆動される。モニター３５
は認識エラー表示などの報知および操作・入力画面を表
示する。操作・入力部３６はキーボードであり、一般の
操作コマンドや新たなリファレンスパターンの入力操作
を行う。

【００２３】図６に示す構成要素のうち、カメラＸＹテ
ーブル１０，カメラ１１，画像処理部３０，リング照明
部１３，同軸照明部１２，透過照明部１９，照明コント
ローラ３１，制御部３２，記憶部３３が画像認識装置を
構成している。

【００２４】このボンディング装置は上記のように構成
されており、以下動作について図８のフローに沿って説
明する。まず図１において主基板保持テーブル３上に主
基板４が載置され、主基板４の第１の認識マーク２２の
Ａ点、Ｂ点をカメラ１１により撮像する。このとき、図
４、図５に示すように、透過照明部１９を撮像対象の第
１の認識マーク２２上に位置させ、またカメラ１１を第
１の認識マーク２２の下方に位置させ、上方から透過照
明光を照射した状態で第１の認識マーク２２のＡ点、Ｂ
点を順次撮像する（ＳＴ１）。

【００２５】なお、図４は第１の認識マーク２２上に異
方性導電材２１が貼付された状態を、図５は異方性導電
材２１が貼付されていない状態を示している。図５は、
図２に示す最上部の第１の認識マーク２２に対応してお
り、図４はそれ以外の第１の認識マーク２２に対応して
いる。このように、同一の認識対象物である第１の認識
マーク２２を同一の照明条件で撮像した場合でも、異方
性導電材２１の貼付の有無によって、得られる画像は第
１の認識マーク２２の背景画像が異なる明度で観察され
る。

【００２６】次に、撮像により取得された画像データに
基づき第１の認識マーク２２のＡ点、Ｂ点の認識処理を
行い（ＳＴ２）、この認識結果により主基板４の位置ズ
レを求める（ＳＴ３）。そしてこの位置ズレ検出結果に
基づき、第１のＸＹθテーブル２を駆動して主基板４の
位置を補正する（ＳＴ４）。

【００２７】この後、第２のＸＹθテーブル５を駆動し
てフレキシブル基板８の端部を主基板４の縁部に重ね合
せ、サブ基板７を主基板４に対して仮位置決めする。次
いで図３に示すようにカメラＸＹテーブル１０を駆動し
てカメラ１１をフレキシブル基板８の第２の認識マーク
２４の下方に位置させ、第２の認識マーク２４のＡ点、
Ｂ点を撮像する（ＳＴ６）。次いで、取得された画像デ
ータを認識処理し（ＳＴ７）、第２の認識マーク２４の
位置を検出する。そして主基板４に対するフレキシブル
基板８の位置ズレを求め（ＳＴ８）、この位置ズレ検出
結果に基づき、第２のＸＹθテーブル５を駆動して、サ
ブ基板７を主基板４に位置合せする（ＳＴ９）。この
後、ＸＹテーブル１５を駆動して圧着ヘッド１７を主基
板４の縁部上に移動させ、圧着ツール１８を下降させて
フレキシブル基板８を主基板４に対して押圧する。これ
により、フレキシブル基板８は主基板４に異方性導電材
２１を介してボンディングされる（ＳＴ１０）。

【００２８】次に、図９を参照して前述のフロー中の認
識処理（ＳＴ７）について説明する。ここでは、予め対
象物である第２の認識マーク２４のリファレンスパター
ンを複数種類（ここでは６種類）パターン記憶部３０ａ
に記憶させておき、これらのリファレンスパターンを撮
像により取得された画像データと順次パターンマッチン
グさせるものである。このように複数のリファレンスパ
ターンを用いるのは、フレキシブル基板８は撓み易くし
かもその撓みの傾向には法則性がないため、個々のフレ
キシブル基板８によって撮像された画像が異り、単一の
リファレンスパターンのみを用いると認識エラーが多発
するからである。

【００２９】本実施の形態では、図７に示すような６種
類のリファレンスパターンが用いられる。図７（ａ）は
フレキシブル基板８がほぼ撓みなく水平に保たれた状態
での第２の認識マーク２４の画像を示すものである。こ
れに対し図７（ｂ），（ｃ），（ｄ），（ｅ）はフレキ
シブル基板８の撓みの方向に起因して、画像にそれぞれ
左、右、上、下の部分に影が生じた状態を示している。
また、図７（ｆ）はフレキシブル基板８そのものは撓み
がなく、第２の認識マーク２４の画像には影が発生しな
いものの、第２の認識マーク２４の表面が酸化などで変
質し、光の反射状況が変化して明度が異る画像となった
例を示している。このように通常で想定可能な複数種類
のリファレンスパターンを予め用意して、これらと順次
パターンマッチングさせることにより、認識マーク自体
としては正常であるにも拘らず、カメラ１１に対しての
認識マークの見え方が異ることによって認識エラーが発
生するという事態を防止することができる。

【００３０】図９において、まず複数のリファレンスパ
ターンに付されるインデックスＮｏ．（ｉ）を１にセッ
トする（ＳＴ１１）。次に、リファレンスパターンＮ
ｏ．（ｉ）と、第２の認識マーク２４のＡ点の画像とを
パターンマッチングングで照合する（ＳＴ１２）。そし
て、マッチング率の合否、すなわち求められたマッチン
グ率が８０％以上であるか否かが制御部３２によって判
断される（ＳＴ１３）。ここでマッチング率が８０％に
満たないならば不合格と判定され、制御部３２の指令に
より他のリファレンスパターンを用いてパターンマッチ
ングングを行う。すなわちインデックスＮｏ．（ｉ）が
６未満であるか否かが判断され（ＳＴ１４）、６未満、
すなわち他に未使用のリファレンスパターンが存在すれ
ば（ｉ）に１を加算し（ＳＴ１５）、ＳＴ１２に戻って
新たなインデックスＮｏ．のリファレンスパターンを用
いてパターンマッチングングを行う。そしてＳＴ１４に
てインデックスＮｏ．が６であれば後述のＳＴ２３に進
み、認識エラー処理が行われる。そしてＳＴ１３にてマ
ッチング率が８０％以上であれば、当該リファレンスパ
ターンによって特定された第２の認識マーク２４のＡ点
の位置を記憶させる（ＳＴ１６）。

【００３１】次に、第２の認識マーク２４のＢ点につい
ても、上述のＡ点についての認識処理（ＳＴ１１〜ＳＴ
１６）と同様に、ＳＴ１７〜ＳＴ２２の認識処理が行わ
れる。そしてＳＴ１４，ＳＴ２０にてＮＯと判断され、
すなわち８０％以上のマッチング率を与えるリファレン
スパターンが存在しないと判断されたならば、認識エラ
ー処理が行われる（ＳＴ２３）。ここでは、認識エラー
である旨がモニター３５によって報知され、オペレータ
はこの報知を受けて照明条件の調整や、新たなリファレ
ンスパターンの登録等の処置を行う。

【００３２】本実施の形態では、第２の認識マーク２４
についてのみ複数のリファレンスパターンの説明をして
いるが、第１の認識マーク２２に対しても同様に複数の
リファレンスパターンが用いられる。前述のように第１
の認識マーク２２は、上面に異方性導電材２１が貼付さ
れるか否かによって、透過照明下で撮像された画像の見
え方が異るからである。したがって、この見え方に応じ
た複数のリファレンスパターンを予め準備しておき、こ
れらのリファレンスパターンと順次パターンマッチング
ングさせることにより、認識エラーを減少させることが
できる。

【００３３】本発明は上記実施の形態に限定されず、本
来同一性を保っていながら、照明条件や背景状況など画
像上での見え方が異ることに起因して異る認識結果を与
えるような認識対象物について適用することができる。

【００３４】

【発明の効果】本発明によれば、同一対象物について見
え方が異る複数のリファレンスパターンを予め記憶させ
ておき、認識エラーを生じたならば順次他のリファレン
スパターンとパターンマッチングさせるようにしたの
で、同一対象物が単に見え方が異なることによる認識エ
ラーを減少させて、認識精度を向上させるとともに、画
像認識装置の稼働率を向上させることができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態のボンディング装置の側
面図

【図２】本発明の一実施の形態の基板およびサブ基板の
平面図

【図３】本発明の一実施の形態のボンディング装置の部
分断面図

【図４】本発明の一実施の形態のボンディング装置の部
分断面図

【図５】本発明の一実施の形態のボンディング装置の部
分断面図

【図６】本発明の一実施の形態のボンディング装置の制
御系のブロック図

【図７】本発明の一実施の形態のリファレンスパターン
の画像図

【図８】本発明の一実施の形態のボンディング装置の動
作を示すフロー図

【図９】本発明の一実施の形態の画像認識処理のフロー
図

【符号の説明】

４ 主基板 ８ フレキシブル基板 ９ 撮像部 １１ カメラ ２２ 第１の認識マーク ２４ 第２の認識マーク ３０ 画像処理部 ３０ａ 画像記憶部 ３０ｂ パターン記憶部 ３２ 制御部 ３３ 記憶部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA03 AA20 BB27 CC25 DD00 EE00 FF02 FF04 FF42 FF61 GG17 HH12 HH13 HH14 HH15 JJ03 JJ09 LL00 PP11 PP12 PP13 QQ23 QQ24 QQ26 QQ38 RR09 5B057 AA03 AA04 BA19 CH11 DA07 DB02 DC33

Claims (2)

【特許請求の範囲】
1. 【請求項１】認識対象物の画像を取り込むカメラと、こ
   のカメラで取得した画像データを記憶する画像記憶部
   と、前記認識対象物の見え方がそれぞれ異る複数のリフ
   ァレンスパターンを記憶するパターン記憶部と、前記記
   憶された画像データを前記複数のリファレンスパターン
   とパターンマッチングさせることにより前記認識対象物
   を認識する画像処理部と、この画像処理部によって求め
   られたマッチング率の合否判定を行い、マッチング率が
   不合格ならば順次他のリファレンスパターンとのパター
   ンマッチングを指令する判定手段とを備えたことを特徴
   とする画像認識装置。
2. 【請求項２】認識対象物の画像をカメラで取り込み、取
   得した画像データを画像記憶部に記憶させ、予めパター
   ン記憶部に記憶された前記認識対象物の見え方がそれぞ
   れ異る複数のリファレンスパターンの１つと前記画像デ
   ータをパターンマッチングさせてマッチング率を求め、
   求められたマッチング率の合否判定を行い、マッチング
   率が不合格ならば順次他のリファレンスパターンとのパ
   ターンマッチングを行うことを特徴とする画像認識方
   法。