JPH095046A

JPH095046A - 立体形状測定装置

Info

Publication number: JPH095046A
Application number: JP7176931A
Authority: JP
Inventors: Mitsuhiro Ishihara; 満宏石原
Original assignee: Takaoka Electric Mfg Co Ltd
Current assignee: Takaoka Toko Co Ltd
Priority date: 1995-06-21
Filing date: 1995-06-21
Publication date: 1997-01-10

Abstract

(57)【要約】【目的】本発明は、オクルーディングエッジの問題が
なく、元の画像に対して横分解能が低下することなく、
処理が容易で、インラインでの使用に耐えうる速度で、
かつ焦点位置変化に対して結像倍率の変化しない立体形
状測定装置を提供することを目的とする。画像処理によ
る高速、高精度の立体形状測定装置を提供することを目
的とする。【構成】共焦点走査光学系１とその像を光電変換する
光電センサ２とよりなる共焦点走査撮像系３と、共焦点
走査撮像系３の焦点位置変化手段４と、共焦点走査撮像
系３と焦点位置変化手段４とから得られた焦点位置の異
なる複数枚の画像から、画像の濃度情報を用いて、画像
の焦点位置間隔を超える精度で画像各点の合焦位置を求
めることで物体の立体形状を演算する画像処理装置６と
により構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体の３次元的な形状
を光学的に測定する立体形状測定装置に関する。

【０００２】

【従来の技術】従来より焦点位置に着目した光学的立体
形状測定方法として特開平３−６３５０７号公報又は論
文［１］「Ｓｈａｐｅｆｒｏｍｆｏｃｕｓｓｙｓ
ｔｅｍｆｏｒｒｏｕｇｈｓｕｒｆａｃｅｓ」、Ｐｒ
ｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｍａｇｅＵｎｄ
ｅｒｓｔａｎｄｉｎｇ、１９９２年、Ｓ．Ｋ．Ｎａｙｅ
ｒに記載されたものが知られている（以下この方法をＳ
ｈａｐｅＦｒｏｍＦｏｃｕｓ法、略してＳＦＦ法と呼
ぶことにする）。ＳＦＦ法は物体表面にテクスチャーパ
ターンを投影し、z軸ステージの操作により、焦点位置
を変えた複数の画像を撮像し、得られたそれぞれの画像
の局所領域毎にその局所領域内のコントラスト情報から
合焦測度を求め、画像間の対応する局所領域毎に合焦位
置（合焦測度の最大位置）を内挿演算により求める処理
を画像全体にわたって行うことで物体の立体形状を計測
する方法であり、微小物体の高精度な立体形状計測方法
として知られている。

【０００３】

【発明が解決しようとする課題】しかしながらこのＳＦ
Ｆ法にはいくつかの問題がある。（１）図７に示すよう
な急峻な立体エッジが存在する場合、その下の部分のエ
ッジ近傍の領域では計測ができない。この領域では、撮
像系の焦点がこの位置にあっていても上側のエッジのボ
ケが重畳するためにコントラスト変化が確認できない。
（以下この問題をオクルーディングエッジの問題と呼
ぶ）。（２）横分解能が低い（横分解能とは高さ方向を
ｚ方向とした場合のｘｙ方向の分解能である）。合焦測
度であるコントラスト情報を得るためにはテクスチャー
が十分含まれる大きさの局所領域が必要となるため元の
画像に比べ平滑化の効果が生じ、それによって横分解能
が低下してしまう。（３）処理が複雑である。局所領域
内のコントラスト情報から合焦測度を求めるの計算には
微分処理と局所和の処理又はヒストグラムの分散値を求
める処理が必要であり、ソフト処理ではこの部分に非常
に時間がかかるため処理回路を製作する必要がある。ま
た微分や局所和を行うサイズとして、その最適な値は物
体によって異なるので、物体毎に選択が必要となる。

【０００４】その他に実用上以下の２つの問題がある。
（４）従来行われているz軸ステージ操作による焦点位
置の移動方法は制御が煩わしく、インライン計測で必要
となる高速応答には対応が難しい。（５）焦点位置が変
化した場合の結像倍率変化の問題が考慮されていないの
で計測精度が低下する。

【０００５】そこで本発明は、オクルーディングエッジ
の問題がなく、元の画像に対して横分解能が低下するこ
となく、処理が容易で、インラインでの使用に耐えうる
速度で、かつ焦点位置変化に対して結像倍率の変化しな
い立体形状測定装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】目的達成のために本発明
では、共焦点走査光学系と共焦点走査光学系により得ら
れる２次元光学像を光電変換する光電センサとより構成
された共焦点走査撮像系と、前記共焦点走査光学系の焦
点位置をする焦点位置変化手段と、前記共焦点走査撮像
系と前記焦点位置変化手段とにより得られた焦点位置の
異なる複数の画像を取り込み、焦点位置の変化に対応し
て変化する画像各点の濃度値から、取り込まれた画像の
焦点位置間隔を超える精度で、濃度値の最大値を与える
焦点位置を内挿処理を用いて画像各点毎に推定し、推定
した焦点位置をその点の高さとする処理を実行する画像
処理装置とから構成する。

【０００７】また焦点位置変化手段は、互いに厚さが異
なる複数の平行平板形の透明体か又は互いに屈折率が異
なる複数の平行平板形の透明体を、物体と共焦点走査光
学系の共焦点結像面間の光路に順次挿入するように構成
し、共焦点走査光学系は、物体側にテレセントリックと
なるように構成する。

【０００８】

【作用】このように装置を構成することにより以下のよ
うな作用が得られる。（１）共焦点走査撮像系はスポッ
ト光の走査により画像を構成するため、ある点の濃度値
は他の点のボケに影響を受けることがなくなり、オクル
ーディングエッジの問題は発生しなくなる。（２）共焦
点走査撮像系が構成する画像の各点の濃度値は合焦位置
に近いほど高い値となる。これはＳＦＦ法の合焦測度が
持つ性質そのものであるから合焦測度の計算には濃度値
をそのまま用いればよく、合焦測度の計算は必要なくな
る。このため局所領域の設定も必要なく、ある点の高さ
は画像それぞれのその点のみの濃度値から決定されるこ
とから横分解能の低下は発生しなくなる。（３）（２）
と同様に合焦測度を求める必要ないため、微分も局所和
もヒストグラムの分散値も求める必要が無くなり処理回
路が簡略化される。また処理のサイズの選択に煩わされ
ることもなくなる。（４）焦点位置の移動は平行平板形
の透明体の挿入による光路長の変化により達成されるた
めｚ軸ステージ移動の必要がなく、高速の画像入力が可
能となる。（５）共焦点走査光学系がテレセントリック
だから結像倍率変化は発生しなくなる。

【０００９】

【実施例】本発明の実施例を説明するのに先立ち共焦点
走査光学系についての一般的な説明をする。まず共焦点
光学系について述べる。図２に共焦点光学系の基本構成
を示す。ピンホール２０１を通して射出された照明光は
対物レンズ２０２により集光され焦点面２０３に収束す
る。この位置に物体表面２０４がある場合、物体の反射
光は照明光と全く逆の過程でピンホール２０１に収束
し、対物レンズ２０２に入射した反射光のほとんどがピ
ンホール２０１を通過する。しかし、物体表面２０４が
焦点面２０３から離れると反射光の収束点もピンホール
２０１から離れることになりピンホール２０１を通過す
る光量は減少する。このときピンホール２０１を通過す
る光強度｜Ｖ（ｚ）｜²は照明光の波数をｋ、対物レン
ズ２０２のＮＡをｓｉｎθ，反射光の収束点とピンホー
ル２０１の距離をｚとすれば｜Ｖ（ｚ）｜＝｜ｓｉｎ
ｋｚ（１−ｃｏｓθ）｜／｜ｋｚ（１−ｃｏｓθ）｜に
より与えられることが知られており（論文［２］「Ｄｅ
ｐｔｈｒｅｓｐｏｎｓｅｏｆｃｏｎｆｏｃａｌｏ
ｐｔｉｃａｌｍｉｃｒｏｓｃｏｐｅｓ」、ＯＰＴＩＣ
ＳＬＥＴＴＥＲＳ、Ｖｏｌ．１１、Ｎｏ．１２、１９
８６年、Ｔ．Ｒ．Ｃｏｒｌｅ他参照）、照明光の波長を
５５０ｎｍ、ＮＡが０．１の場合、図４のような光強度
変化となる。このように共焦点光学系ではピンホール２
０１を通過する反射光量により物体表面２０４の位置を
判定することが可能であり、また照明光はスポットとし
て物体に照射されるため物体上の他の点からの光の影響
がない。すなわち他点のボケは発生しない。

【００１０】次に共焦点走査光学系について述べる。共
焦点走査光学系は、前記の共焦点光学系を２次元的に走
査することで２次元的な光学像を得る光学系であり、図
３にその一例を示している。図３には共焦点走査光学系
とともに共焦点走査光学系により得られる２次元的な光
学像を光電変換する光電センサ２も同時に記載してあ
り、全体として共焦点走査撮像系を構成している。光源
１０１からでた光はコンデンサレンズ１０２により集光
されＮｉｐｋｏｗｄｉｓｋ１０３に照射される。Ｎｉ
ｐｋｏｗｄｉｓｋ１０３は螺旋状に多数のピンホール
が設けられた円盤であり、円盤上の多数のピンホール
は、対物レンズ１０５との組み合わせでそれぞれが共焦
点光学系をなしている。各ピンホール間は互いに光が干
渉しあうことがないように十分な距離がとってある。こ
のＮｉｐｋｏｗｄｉｓｋ１０３をモータ１０４により
高速で回転させると共焦点光学系の２次元走査がなされ
ることになる。Ｎｉｐｋｏｗｄｉｓｋ１０３上のピン
ホールを通過した物体５からの反射光はハーフミラー１
０７で反射し、レンズ１０８によりエリア形の光電セン
サ２へ導かれる。この部分は光電センサ２にＮｉｐｋｏ
ｗｄｉｓｋ１０３上のピンホールが結像する光学配置
となっており、光電センサ２にはピンホールを通過する
光の強度に応じた画像が形成される。

【００１１】続いて本発明の一実施例を図１から図６を
用いて説明する。図１に本発明の一実施例の構成を示
す。共焦点走査光学系１により得られた２次元光学像は
光電センサ２により電気的な映像信号となる（共焦点走
査光学系１と光電センサ２から構成されるこの映像信号
生成部を共焦点走査撮像系３と呼ぶ）。共焦点走査撮像
系３は先に詳述した図３に示す構成となっている。図３
での共焦点走査撮像系３はＮｉｐｋｏｗｄｉｓｋ１０
３を回転させて走査する構成ものであるが、本発明で
は、より一般的な、レーザービームを回転ミラーやガル
バノミラーまたはＡＯ素子を用いて走査する構成にして
もよく、また速度的に許容される場合にはｘｙテーブル
により物体５を移動させる構成にしてもよい。図２に示
す共焦点光学系と光学的に同等の光学系を２次元的に走
査して画像を得るものであればどのような構成であって
もよい。

【００１２】図３における対物レンズ１０５を挟むＮｉ
ｐｋｏｗｄｉｓｋ１０３と物体５間の光路には図１の
ように焦点位置変化手段４が設けられ焦点位置を変化さ
せることが出来るようになっている。この焦点位置変化
手段４と共焦点走査撮像系３とにより得られる焦点位置
の異なる複数の画像（例えばｚ１，ｚ２，ｚ３の焦点位
置で得られた物体５の３枚の画像）は画像処理装置６に
入力され、これらの画像から物体５の立体形状が画像処
理装置６により演算される。

【００１３】次に焦点位置の異なる複数の画像から物体
５の立体形状を求める方法を述べる。それぞれの画像の
物体５上の同一位置を表す点の濃度を焦点位置座標（ｚ
座標）上に並べればこれは図４に示した連続波形を離散
化したものとなる。離散化の一例を図４に点線で示して
いる。ｚ座標と光強度（画像では濃度）の関係は前記の
モデル｜Ｖ（ｚ）｜²で正確に表せるため、離散的な情
報からｃｅｎｔｅｒｌｏｂｅのピーク位置（以下ピーク
位置とする）つまり合焦位置を精度よく推定できる。例
えばｃｅｎｔｅｒｌｏｂｅの形状によく似た関数であ
るガウス関数を用いればピーク位置は解析的に求めるこ
とができて、離散値の最大値ｖ１とその前後のどちらか
１点ｖ２の計２点の値からピーク位置ｐは次のように表
されるｐ＝ｐ１＋（１＋ａ２（ｖ２−ｖ１））／２。こ
こにｐ１はｖ１のｚ座標であり，ａはｌｏｂｅの広がり
を示すパラメーターで照明の波長と対物レンズ１０５の
Ｎ．Ａ．で決まる定数である。ピーク位置の演算方法は
これだけではなく３点以上の点を用いてもよいし、２次
関数などの他の似た形状の関数を用いてもよい。もちろ
んモデル式｜Ｖ（ｚ）｜²を直接用いることもできる。
他にもモーメントを用いた演算などが可能である。これ
らの演算処理のより高速化のために、演算結果を事前に
ＬＵＴに格納しておき、その結果を参照するようにする
こともできる。求めた合焦位置は物体のその点の高さを
示しているから、上記の演算を画像中の全ての点に対し
て実行することで物体５の立体形状を求めることができ
る。

【００１４】この演算過程をＳＦＦ法の立体形状演算過
程と比較してみる。（１）まずＳＦＦ法で必須であった
合焦測度演算（コントラスト評価）が全く必要ない
（２）内挿演算において、ＳＦＦ法では物体の表面状態
によりモデル式の形状パラメータが変化するためピーク
位置演算のためには少なくとも３点が必要であり、また
合焦測度とモデル式との関係が明らかでないため合焦測
度演算方法も実験により選択の必要があるが、本発明で
用いている共焦点光学系は論文［２］によればモデル式
が正確に判っており物体５の表面状態や傾きが異なって
もその形状パラメータが変化しないことから、本発明で
はピーク位置がより精度よくかつより効率的に（最低２
点から）求められるものである。

【００１５】次に焦点位置変化手段４の構成を図５に示
す。互いに厚さが異なる複数の平行平板形の透明体４０
２が回転板４０１の円周上に並べられている（透明体４
０２の材料としては光学ガラスや光学用樹脂、液体、液
晶などを用いることができる）。この円周がちょうど共
焦点走査光学系１の光軸と垂直に交わるように（共焦点
走査光学系１の光路に透明体４０２が挿入されるよう
に）回転板４０１が配置されている。モータ４０３によ
り回転板４０１を高速に回転させると、共焦点走査光学
系１の光路に挿入される透明体４０２の厚さが高速に変
化することになる。透明体４０２の厚さが変化すると光
路長の変化にともなって焦点位置が変化するから、結
局、焦点位置が高速に変化することになる。回転板４０
１の回転速度と共焦点走査撮像系３の撮像速度との同期
をセンサ４０４を用いてとることにより、共焦点走査撮
像系３の撮像速度（リアルタイム）で焦点位置の異なる
画像を得ることが可能となる。光路長の変化手段として
互いに厚さの異なる複数の平行平板形の透明体４０２を
用いたが、互いに屈折率の異なる複数の平行平板形の透
明体４０２でも同様のことが可能である。またこの実施
例の他にも、例えば共焦点走査光学系１の対物レンズ１
０５を非球面レンズなどの特殊な光学素子によって簡単
な構造とすれば、音叉などの加振動手段により直接対物
レンズ１０５を動かすことで高速な焦点位置を変化させ
ることも可能である。

【００１６】図３では、対物レンズ１０５を一般的な結
像レンズで示しているが、一般的な結像レンズでは、焦
点位置の異なる画像それぞれの倍率は互いに異るため、
一般的な結像レンズを用いる場合、正確にはこの倍率変
化を考慮した高さ計測演算をする必要がある。そこで対
物レンズ１０５を物体側にテレセントリックなレンズ
（図６に示すように対物レンズ６０２の後側焦点に開き
しぼり６０１がある構造）とすることにより、主光線が
光軸に平行となることから、焦点位置が異なってもそれ
ぞれの画像で倍率が変化が無いようになる。

【発明の効果】以上のように構成することによりオクル
ーディングエッジの問題がなく、元の画像に対して横分
解能が低下することなく、処理が容易で、インラインで
の使用に耐えうる速度で、かつ焦点位置変化に対して結
像倍率の変化しない立体形状測定が可能となる。この装
置によりＬＳＩの実装時の検査、例えばＴＡＢのインナ
ーリードのハガレやフォーミング異常の検査、ボンディ
ングワイヤのループ高さ検査、バンプ形状検査などのイ
ンライン検査が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示した図である。

【図２】共焦点光学系の基本構成を示した図である。

【図３】本発明の共焦点走査撮像系の一例を示した図で
ある。

【図４】像側の焦点位置と光強度との関係を示した図で
ある。

【図５】本発明の焦点位置変化の手段の一例を示した図
である。

【図６】テレセントリックな共焦点光学系を示した図で
ある。

【図７】オクルーディングエッジを説明するための図で
ある。

【符号の説明】

１共焦点走査光学系２光電センサ３共焦点走査撮像系４焦点位置変化手段５物体６画像処理装置

Claims

【特許請求の範囲】

【請求項１】物体の立体形状を光学的に測定する装置
において、共焦点走査光学系と共焦点走査光学系により
得られる２次元光学像を光電変換する光電センサとより
構成された共焦点走査撮像系と、前記共焦点走査光学系
の焦点位置を変える焦点位置変化手段と、前記共焦点走
査撮像系と前記焦点位置変化手段とにより得られた焦点
位置の異なる複数の画像を取り込み、焦点位置の変化に
対応して変化する画像各点の濃度値から、濃度値の最大
値を与える焦点位置を内挿処理を用いて、取り込まれた
画像の焦点位置間隔を超える精度で画像各点毎に推定
し、推定した焦点位置をその点の高さとする処理を実行
する画像処理装置とから構成されることを特徴とする立
体形状測定装置。
【請求項２】焦点位置変化手段は、互いに厚さが異な
る複数の平行平板形の透明体か又は互いに屈折率が異な
る複数の平行平板形の透明体を、物体と共焦点走査光学
系の共焦点結像面間の光路に順次挿入するものであるこ
とを特徴とする請求項１記載の立体形状測定装置。
【請求項３】共焦点走査光学系は、物体側にテレセン
トリックであることを特徴とする請求項１又は２に記載
の立体形状測定装置。