JPH10320565A - 画像処理方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮像視野を越える大きさの対象物の画像を簡
単にしかも正確に画像処理して所定のデータを取得でき
る画像処理方法及び装置を提供する。 【解決手段】 撮像装置と対象物１０を相対的に移動す
ることにより対象物が互いに連続あるいは一部重なり合
う視野Ｇ１、Ｇ２、Ｇ３で複数回撮像する。一つの視野
と次の視野での画像処理により得られる対象物の各中心
位置Ｃ１、Ｃ２と次の視野へ移動したときの撮像装置と
対象物間の相対移動量（Ｘoff）との演算結果に基づ
き、一つの視野とその次の視野を合わせた視野に対応す
る視野での対象物の中心位置が求められる。対象物の全
景が入るまでのこの処理を繰り返すことにより対象物全
体の中心位置を求めることができる。各視野での対象物
の全画像を後で合成することなく、合成視野に対応する
対象物の中心位置を求めることができるので、画像デー
タを記憶するメモリの容量を顕著に節約することができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理方法及び
装置、更に詳細には、撮像装置の視野を越える大きさを
有する対象物の撮像データを処理する画像処理方法及び
装置に関する。

【０００２】

【従来の技術】従来より、電子部品搭載装置（マウン
タ）では吸着ノズルにより吸着された部品の画像をＣＣ
Ｄカメラ等の撮像装置（画像入力装置）から取り込み、
この部品の画像を処理することにより部品の位置を検出
し、必要に応じて吸着ノズルによる部品の姿勢を補正す
ることにより部品の位置決めを行ない、所定の基板上に
部品の搭載を行なっている。

【０００３】画像処理を利用して部品等の対象物の位置
を計測、評価するシステムにおいて、一度に撮像できる
視野範囲に入らない大きな対象物を扱う場合には、一度
に撮像できる視野を拡大し、画像処理を行う方法、対象
物を一部づつ複数回に分けて撮像し、各々の画像データ
を合成した後に、画像処理を行う方法が提案されてい
る。

【０００４】

【発明が解決しようとする課題】撮像視野を拡大する上
記の方法では、撮像装置と対象物との間の距離（物像間
距離）の変更、又は撮像装置のレンズにおける焦点距離
の変更等、機械的な変更が必要となるため、元のシステ
ムとの共存が難しく、また、画像入力段階で分解能が低
下してしまうため、画像処理後の分解能（精度）も低下
してしまい、そのため高精度を要求するシステムには採
用できない、という問題がある。

【０００５】また、対象物を複数回に分けて撮像する方
法においては、画像データを記憶しておく手段、例えば
半導体メモリ等を、新たに撮像の回数分持たなければな
らない、という欠点があり、更に、画像データの合成処
理の追加等、画像処理方法の変更も大きくなる。

【０００６】本発明は、このような点に鑑みてなされた
もので、撮像視野を越える大きさの対象物の画像を簡単
にしかも正確に画像処理して所定のデータを取得できる
画像処理方法及び装置を提供することを課題とする。

【０００７】

【課題を解決するための手段】本発明では、この課題を
解決するために、撮像装置により撮像された対象物の画
像を処理する画像処理方法において、撮像装置と対象物
を相対的に移動することにより対象物を互いに連続ある
いは一部重なり合う視野で複数回撮像し、一つの視野と
次の視野での画像処理により得られる対象物の各データ
と前記次の視野へ移動したときの撮像装置と対象物間の
相対移動量との演算結果に基づき、前記一つの視野と次
の視野を合わせた視野に対応する視野での対象物のデー
タを求める構成を採用している。

【０００８】また、本発明では、対象物に対して相対的
に移動可能な撮像装置により撮像された対象物の画像を
処理する画像処理装置において、撮像装置で撮像される
対象物の画像、並びに対象物が互いに連続あるいは一部
重なり合うように撮像装置と対象物を相対的に移動させ
たときに撮像装置で撮像される対象物の画像をそれぞれ
処理して相対移動前後の対象物のデータを取得する手段
と、相対移動前後でそれぞれ得られた対象物のデータと
撮像装置と対象物の相対移動量に基づき演算を行なう手
段と、前記演算結果から相対移動前後での撮像装置の視
野を合わせた視野に対応する部分の対象物のデータを取
得する構成も採用している。

【０００９】このような構成では、撮像装置の各視野で
の画像データを取得後に画像データを合成し、合成画像
から対象物のデータを取得するのではなく、一つの視野
と撮像装置と対象物の相対移動により得られる次の視野
でそれぞれ対象物のデータを求め、それぞれ求められた
データと相対移動量との演算結果に基づき、各視野を合
成した視野での対象物のデータを求めているので、対象
物のデータを求めるのに各視野での画像を合成する必要
がない。従って、合成のために各視野での対象物の全画
像を記憶しておく必要がなく、単に各視野で画像処理に
得られた対象物の目的とするデータを保存するだけでよ
いので、記憶手段の容量を顕著に節約することが可能に
なる。また、必要なデータを求めるのに、各視野での全
部の画像データを合成する必要がないので、画像処理の
コスト、時間を顕著に低減できる。

【００１０】例えば、対象物のデータが対象物の中心位
置のような位置データである場合、一つの視野での対象
物の中心位置を求め、次の視野での対象物の中心位置を
それぞれ求める。両視野を合わせた視野での対象物の中
心位置は、各視野での中心位置のデータと撮像装置と対
象物の相対移動量とに基づき簡単に演算できるので、各
視野での対象物の全画像を合成することなく、合成画像
に対応する対象物の中心位置を求めることができる。

【００１１】上記両視野でなお対象物の全景が撮像でき
ない場合は、撮像装置と対象物を相対移動させ、更に次
の視野に移動する。このとき、前の両視野での対象物の
中心位置と、更に次の視野での対象物の中心位置のデー
タ、並びに各相対移動量により３つの視野を合わせた視
野での対象物の中心位置を求めることができる。このよ
うな処理を対象物の全景が入るまで繰り返すことによ
り、大きな対象物でも対象物の位置データを簡単に求め
ることができる。

【００１２】また、対象物の所望データは、いずれも簡
単な演算で得られるので、機械的、電気的、ソフトウェ
ア的に変更が少なくしかも分解能（精度）を低下させず
に、大きな対象物を扱うことが可能になる。

【００１３】

【発明の実施の形態】以下、図面に示す実施の形態に基
づき本発明を詳細に説明する。

【００１４】図１は、本発明が適用される撮像装置並び
に画像処理装置の全体の構成を示す図である。

【００１５】１は、画像処理の対象となる対象物で、例
えば電子部品である。対象物１は、ＸＹテーブル５上に
載置され、画像データを取り込む画像入力装置、例えば
テレビカメラ、ＣＣＤカメラ等の撮像装置２により撮像
される。撮像装置で撮像された対象物１の画像データは
画像処理装置３により画像処理され、撮像装置２で撮像
された対象物の画像あるいは画像処理装置３における処
理の過程等がモニタテレビ４等の表示装置に表示され
る。

【００１６】ＸＹテーブル５は、Ｘ方向移動モータ６及
びＹ方向移動モータ８によりテーブル上面と撮像装置２
の撮像面とを平行に保って移動される。ＸＹテーブル５
のＸ方向の位置はエンコーダ７により、またＸＹテーブ
ル５のＹ方向の位置はエンコーダ９によりそれぞれを検
出することができる。

【００１７】本発明では、撮像装置２の視野範囲を越え
る大きさの寸法の対象物の画像処理が対象になるので、
図２に示したような長方形状の対象物（電子部品）１０
を例にして説明する。

【００１８】図３のステップＳ１、Ｓ２で示したよう
に、対象物の一部１０ａが撮像装置視野Ｇ１（Ｌ x
Ｌ）に入るようにＸＹテーブル５をモータ６、８により
移動して対象物を撮像する。次に、撮像された対象物の
画像に基づいて画像処理装置３で画像処理を行なう（ス
テップＳ３）。この画像処理により、対象物部分１０ａ
の輪郭線が抽出される。

【００１９】続いて、ステップＳ４で視野Ｇ１内の対象
物部分１０ａの中心位置Ｃ１の座標（Ｘ１、Ｙ１）が算
出される。次に、この中心位置の座標と左端の座標Ｘ０
をメモリに格納する（ステップＳ５）。

【００２０】続くステップＳ６で、対象物１０の全景を
捕らえたかを判断する。視野Ｇ１では対象物の一部しか
撮像されていないので、ステップＳ１に戻って、対象物
１０の別の一部１０ｂが撮像装置２により撮像されるよ
うに、ＸＹテーブル５をモータ６を使用して移動する。
この移動量Ｘoffは、エンコーダ７で検出することがで
きる。この例では、Ｘ方向だけの移動であるが、いずれ
にしても、ＸＹテーブル５の移動は、移動前の画像と移
動後の画像が連続的につながる、又は一部重なり合う長
さとし、画像と画像の間に隙間ができないようにする。

【００２１】再び撮像装置２より画像データを取り込
み、画像処理装置３にてデータの処理を行い、次の視野
Ｇ２内の対象物部分１０ｂの輪郭を抽出する。そして、
対象物部分１０ｂの中心Ｃ２の座標（Ｘ２、Ｙ２＝Ｙ
１）を求め、移動量Ｘoffとともにメモリに格納する。

【００２２】図２（Ａ）の例では、対象物の全景が撮像
されたので、ステップＳ７において結果のデータ処理を
行なう。すなわち、視野Ｇ１とＧ２の合成視野内の対象
物の中心座標（Ｘc、Ｙc）を求める。合成視野での対象
物の右端の座標をＸnとすると、 Ｘn = （２Ｘ１ - Ｘ０） + ２Ｘ２ - （Ｌ - Ｘoff） = ２Ｘ１ + ２Ｘ２ - Ｘ０ - （Ｌ - Ｘoff） となることから、 Ｘc = （Ｘ０ + Ｘn）／２ = Ｘ１ + Ｘ２ - （Ｌ - Ｘoff）／２ となる。また、Ｙcは、Ｙ１となる。

【００２３】このように、一つの視野Ｇ１での対象物の
中心位置を求め、次の視野Ｇ２での対象物の中心位置を
それぞれ求め、それに移動量とによる演算により、両視
野を合わせた視野での対象物の中心位置を簡単に演算で
きるので、各視野での対象物の全画像を合成することな
く、メモリの容量を顕著に節約することができる。

【００２４】図２（Ｂ）には、更にＸＹテーブルをＸof
f移動して視野Ｇ３において全景が補足される対象物１
０’の例が図示されている。

【００２５】全体の視野での中心のＸ座標Ｘcは、上記
で求めた２つの視野Ｇ１、Ｇ２の合成視野での中心座標
と視野Ｇ３での中心位置Ｃ３のＸ座標Ｘ３の処理と同じ
になるので、 Ｘc = （Ｘ０ + Ｘn）／２ = ｛Ｘ１ + Ｘ２ - （Ｌ - Ｘoff）／２｝ + Ｘ３ - （Ｌ - Ｘoff）／２ = Ｘ１ + Ｘ２ + Ｘ３ - （Ｌ - Ｘoff） となる。

【００２６】一般的に、複数視野数を合成した視野での
対象物の中心座標Ｘcは、 Ｘc = （各視野での結果の和） −（１／２）（Ｘ方向
の視野数−１）（重複部分の長さ） となる。

【００２７】対象物が矩形状に大きく、Ｘ方向だけでな
く、Ｙ方向にも移動させなければないときの中心のＹ座
標は、中心のＸ座標を求めたのと同様にして求めること
ができる。

【００２８】上記例では、対象物１０を複数の視野、例
えばＧ１〜Ｇ３の２視野あるいは３視野に分けて撮像し
たが、視野数は、対象物の大きさに従って決まるもの
で、対象物の形状に応じて２（Ｘ方向）X １（Ｙ方向）
の視野、３ X １の視野の他に、４ X １の視野、２ X
２の視野、１ X ２の視野、１ X ３の視野、１ X ４の
視野等の視野を選択できるようにする。その場合、Ｘ、
Ｙ方向の視野間距離Ｘoff、Ｙoffは、それぞれ同じ値と
するのが好ましいが、必要に応じて可変にすることがで
きる。可変の場合、それぞれ重複部分の長さが変化する
だけで、演算の内容は異ることはない。

【００２９】次に、図４に示したように、両側に多数の
リードが設けられている対象物２０（ＩＣ等の電子部
品）のリード先端座標を求める例について説明する。

【００３０】前の例と同様に、図３のステップＳ１、Ｓ
２において、対象物の一部２０ａが撮像装置視野Ｇ１
（Ｌ x Ｌ）に入るようにＸＹテーブル５をモータ６、
８により移動して対象物部分２０ａを撮像する。この撮
像例が図５（Ａ）に図示されている。次に、撮像された
対象物の画像に基づいて画像処理装置３で画像処理を行
なう（ステップＳ３）。

【００３１】この画像処理では、検出すべきリード列を
含む大きさの枠が設定され、この枠内でリード幅方向へ
フィルタ処理（ＤＯＧ）を行なうことによりゼロクロス
を検出してリードエッジが検出され、上側のリード列の
先端座標（ｘn、ｙn）（n＝１、２、３、４、５）が求
められる。同様に下側のリード列に対しても同様な処理
を行ない、先端座標（ｘn'、ｙn'）を求める（以上ステ
ップＳ４）。

【００３２】次に、ステップＳ５において、必要なデー
タを保存する。メモリに格納されるデータは、視野Ｇ１
での上記算出されたリード先端座標（ｘn、ｙn）、（ｘ
n'、ｙn'）である。

【００３３】対象物２０の全てがまだ捕捉されていない
ので、ステップＳ１に戻り、ＸＹテーブルをＸoff、Ｙo
ff（この例では、Ｙoff＝０）移動させて、次に視野Ｇ
２に移り、図５（Ｂ）に示したような撮像が行なわれ
る。

【００３４】同様な処理で、上側及び下側のリード列に
対して、リード先端座標（Ｘn、Ｙn）、（Ｘn'、Ｙn'）
（n＝５、６、７、８、９）を求め、各リード座標並び
に視野Ｇ１からのオフセット距離Ｘoff並びにＹoffをメ
モリに格納する。

【００３５】対象物の全景が捕捉されたので、ステップ
Ｓ７で対象物全部のリード先端座標（ＸＸn、ＹＹn）、
（ＸＸn'、ＹＹn'）を求める。

【００３６】ｎ＝１〜４に対しては、 （ＸＸn、 ＹＹn） ＝ （ｘn、ｙn） （ＸＸn'、ＹＹn'） ＝ （ｘn'、ｙn'） となる。

【００３７】また、ｎ＝６〜９に対しては、 （ＸＸn、 ＹＹn） ＝ （Ｘn ＋Ｘoff、Ｙn ＋Ｙoff） （ＸＸn'、ＹＹn'） ＝ （Ｘn' ＋Ｘoff、Ｙn' ＋Ｙoff） となる。

【００３８】なお、両視野に入るリード（ｎ＝５のリー
ド）に対しては、両座標の平均値をリード座標とする。
このため、オーバーラップ部分のリード列データに対し
ては、１／２リードピッチ以内の座標のデータは同じリ
ードとし、その平均値をとる。図４の例では、５番目の
リードがオーバーラップするので、その先端座標は、 ＸＸ５ ＝ ｛ｘ５ ＋ （Ｘ５ ＋Ｘoff）｝／２ ＹＹ５ ＝ ｛ｙ５ ＋ （Ｙ５ ＋Ｙoff）｝／２ ＸＸ５' ＝ ｛ｘ５' ＋ （Ｘ５'＋Ｘoff）｝／２ ＹＹ５' ＝ ｛ｙ５' ＋ （Ｙ５'＋Ｙoff）｝／２ となる。

【００３９】ここで、上側のリード列の中心を（ＸＸ
c、ＹＹc）、下側のリード列の中心を（ＸＸ'c、ＹＹ'
c）とすると、 ＸＸc ＝ （ＸＸ１ ＋ＸＸ２ ＋……＋ＸＸ９ ）／９ ＹＹc ＝ （ＹＹ１ ＋ＹＹ２ ＋……＋ＹＹ９ ）／９ ＸＸc' ＝ （ＸＸ１'＋ＸＸ２'＋……＋ＸＸ９'）／９ ＹＹc' ＝ （ＹＹ１'＋ＹＹ２'＋……＋ＹＹ９'）／９ となる。

【００４０】また、対象物全体の中心座標を（Ｃｘ、Ｃ
ｙ）とすると、 Ｃｘ ＝ （ＸＸc ＋ ＸＸc'）／２ Ｃｙ ＝ （ＹＹc ＋ ＹＹc'）／２ となる。

【００４１】また、各例では、中心座標ないしリード先
端座標を求めたが、対象物の傾き、あるいはリードの傾
きも簡単な演算で求めることができる。例えば、各部分
の中心座標、あるいはリードの両端の座標を結ぶ直線に
より傾きを求めることができる。

【００４２】なお、上述した例で各リード列のデータを
チェックし、例えば欠損リードあるいは破壊されたリー
ドが検出された場合、認識エラーとして全ての処理を中
止するようにしてもよい。この認識エラーはリード列の
不安全な場合だけでなく、その他データ処理に異常が検
出された場合にも認識エラーとして処理を中止するよう
にしてもよい。

【００４３】以上説明した例では、いずれも、全景捕捉
後に結果のデータ処理を行なっているが、２つの視野の
データ（図２の例では中心座標、図４の例ではリード先
端座標）を結合処理して得られる結合処理後のデータと
次の視野のデータを結合処理するようにしてもよい。そ
の場合には、メモリの容量を節約することが可能にな
る。

【００４４】なお、各実施形態では、撮像装置２を固定
し、対象物を移動する方法について示したが、対象物を
固定し、画像入力装置２を移動する方法も可能である。

【００４５】またＸＹテーブル５上に対象物を保持する
機構を追加することにより、天地を逆にする方法も可能
である。

【００４６】

【発明の効果】以上、説明したように、本発明では、撮
像装置の視野を越える大きな対象物を撮像して画像処理
する場合、対象物のデータを求めるのに各視野での全画
像を合成する必要がなく、単に各視野で画像処理に得ら
れた対象物の目的とするデータ並びに対象物と撮像装置
の相対移動量など少ないパラメータを保存するだけでよ
いので、記憶手段の容量を顕著に節約することが可能に
なる。更に、本発明では、ハードウェアやソフトウェア
等の変更が少なく、しかも分解能（精度）を低下させる
ことなく、大きな対象物を扱う画像処理装置を容易に実
現することが可能になる。

【図面の簡単な説明】

【図１】本発明装置が用いられる画像撮像処理システム
の全体の構成を示す構成図である。

【図２】対象物の中心位置を求める処理を示す説明図で
ある。

【図３】画像処理の流れを示すフローチャートである。

【図４】対象物のリードの先端位置を求める処理を説明
する説明図である。

【図５】対象物のリードの先端位置を求める処理を説明
する説明図である。

【符号の説明】

１、１０、２０ 対象物 ２ 撮像装置 ３ 画像処理装置 ４ モニタテレビ ５ ＸＹテーブル ６、８ モータ ７、９ エンコーダ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 撮像装置により撮像された対象物の画像
   を処理する画像処理方法において、 撮像装置と対象物を相対的に移動することにより対象物
   を互いに連続あるいは一部重なり合う視野で複数回撮像
   し、 一つの視野と次の視野での画像処理により得られる対象
   物の各データと前記次の視野へ移動したときの撮像装置
   と対象物間の相対移動量との演算結果に基づき、前記一
   つの視野と次の視野を合わせた視野に対応する視野での
   対象物のデータを求めることを特徴とする画像処理方
   法。
2. 【請求項２】 前記データが対象物の中心位置あるいは
   リード先端位置を示すデータであることを特徴とする請
   求項１に記載の画像処理方法。
3. 【請求項３】 前記データの処理に異常が検出された場
   合、処理を中止することを特徴とする請求項１または２
   に記載の画像処理方法。
4. 【請求項４】 対象物に対して相対的に移動可能な撮像
   装置により撮像された対象物の画像を処理する画像処理
   装置において、 撮像装置で撮像される対象物の画像、並びに対象物が互
   いに連続あるいは一部重なり合うように撮像装置と対象
   物を相対的に移動させたときに撮像装置で撮像される対
   象物の画像をそれぞれ処理して相対移動前後の対象物の
   データを取得する手段と、 相対移動前後でそれぞれ得られた対象物のデータと撮像
   装置と対象物の相対移動量に基づき演算を行なう手段と
   を備え、 前記演算結果から相対移動前後での撮像装置の視野を合
   わせた視野に対応する部分の対象物のデータを取得する
   ことを特徴とする画像処理装置。
5. 【請求項５】 前記データが対象物の中心位置あるいは
   リード先端位置を示すデータであることを特徴とする請
   求項４に記載の画像処理装置。
6. 【請求項６】 前記データの処理に異常が検出された場
   合、処理を中止することを特徴とする請求項４または５
   に記載の画像処理装置。