JPH05137047A

JPH05137047A - 焦点検出方法及び焦点検出装置

Info

Publication number: JPH05137047A
Application number: JP3326442A
Authority: JP
Inventors: Toshiaki Kitamura; 俊昭北村
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 1991-11-14
Filing date: 1991-11-14
Publication date: 1993-06-01
Also published as: US5369430A

Abstract

(57)【要約】【目的】画面内の位置に関係なく特定のパターン又は
特定の物体に対する焦点検出が容易にできるようにす
る。【構成】予め目印となるパターンに対応する画像デー
タを外部記憶装置３で記憶し、光学系１０を介してサン
プル９の実像を撮像素子１１に投影して得られた画像デ
ータを画像メモリ２に取り込み、この取り込まれた画像
データとその目印となるパターンの画像データとの相関
を求めることにより、そのサンプル９の実像の内でその
目印となるパターンとの相関の高い１個又は複数個の候
補点を求める。そのサンプル９の実像の内でその目印と
なるパターンとの相関が最も高いパターンが存在する合
焦状態を合焦点とみなす。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば検査対象物の中
から所定のパターンを認識して検査する半導体検査装置
又はビデオカメラ等のオートフォーカス機構部に適用し
て好適な焦点検出方法及び焦点検出装置に関する。

【０００２】

【従来の技術】検査対象物の中から所定のパターンを認
識して検査する半導体検査装置又は一般民生用に使用さ
れるビデオカメラ等においては、撮像対象の鮮明な実像
を常に撮像素子に捉えておくためのオートフォーカス機
構が設けられている。撮像対象の自動焦点検出方法とし
ては、焦点位置検出用の照明光又はレーザ光を撮像対象
に照射して反射光の強度変化をモニタして焦点合わせを
行う能動的な方法と、撮像された画像信号から任意のパ
ターンのエッジ部の信号を検出して最も画像がシャープ
になるように焦点位置を制御する受動的な方法とが一般
的に使用されている。能動的な方法は、例えば顕微鏡観
察画像等で使用されることが多い。また、受動的な方法
は、例えばビデオカメラの自動焦点合わせ等で使用され
ることが多い。

【０００３】

【発明が解決しようとする課題】しかしながら、能動的
な方法の場合には、焦点位置の検出対象が予め決められ
た焦点位置検出エリア内の撮像対象面のみに限定されて
いる。そのため、撮像対象の位置が画面内で次第にずれ
ていくような場合には、異なった撮像対象面に対して焦
点合わせが行われる虞がある。一方、受動的な方法を使
用する場合、画面内に距離が異なる複数の物体が存在す
ると、エッジ検出の対象としてどの対象物が選択される
かによって、オペレータの意図しない物体に対して焦点
合わせが行われてしまう虞がある。

【０００４】即ち、従来の焦点検出方法では、画面内の
位置に関係なく特定のパターン又は特定の物体に対して
のみ焦点合わせを行うことができない不都合があった。
なお、従来の焦点検出方法でも、撮像対象が移動するの
に追従して例えばオペレータが画面内の焦点検出エリア
を変更すればその撮像対象に焦点合わせを行うことがで
きるが、それでは処理時間が長くなるばかりでなく、操
作性も悪くなる。

【０００５】本発明は斯かる点に鑑み、画面内の位置に
関係なく特定のパターン又は特定の物体に対する焦点検
出が容易にできる焦点検出方法を提供することを目的と
する。更に、本発明は、そのような焦点検出方法の実施
に直接使用できる焦点検出装置を提供することをも目的
とする。

【０００６】

【課題を解決するための手段】本発明による焦点検出方
法は、例えば図１に示す如く、予め目印となるパターン
に対応する画像データを（外部記憶装置３で）記憶し、
光学系（１０）を介して観察対象物（９）の実像を撮像
装置（１１）に投影して得られた画像データを（画像メ
モリ２に）取り込み、この取り込まれた画像データとそ
の目印となるパターンの画像データとの相関を求めるこ
とにより、その観察対象物（９）の実像の内でその目印
となるパターンとの相関の高い１個又は複数個の候補点
（例えば図５（Ａ）の点１６Ａ〜１６Ｃ）を求める。そ
の後、その光学系（１０）とその観察対象物（９）との
合焦状態を変化させながらその候補点の近傍におけるそ
の観察対象物（９）の実像とその目印となるパターンと
の相関を（ＣＰＵ１で）求め、その観察対象物（９）の
実像の内でその目印となるパターンとの相関が最も高い
パターンが存在する合焦状態を合焦点とみなすようにし
たものである。

【０００７】この場合、その撮像装置（１１）を用いて
取り込まれた画像データの最大値と最小値との間隔が所
定の振幅になるように階調の正規化を行い、この階調が
正規化された画像データとその目印となるパターンの画
像データとの相関を求めることにより、その観察対象物
（１０）の実像の内でその目印となるパターンとの相関
の高い１個又は複数個の候補点を求めるようにしてもよ
い。また、その観察対象物（９）の実像の内でその目印
となるパターンとの相関の高い１個又は複数の候補点を
求めた後に、これら候補点の内で最も相関の高い候補点
が所定の位置に来るように、その観察対象物（９）の実
像とその撮像装置（１１）との相対位置関係を補正する
ようにしてもよい。

【０００８】また、本発明による焦点検出装置は、例え
ば図１に示すように、観察対象物（９）の実像を撮像装
置（１１）の撮像面に投影する光学系（１０）と、その
観察対象物（９）の実像の合焦状態を変化させる駆動手
段（１３）と、その撮像装置（１１）より得られた画像
データを記憶する第１の記憶手段（２）と、予め目印と
なるパターンの画像データを記憶する第２の記憶手段
（３）と、その第１の記憶手段（２）の画像データとそ
の第２の記憶手段（３）の画像データとを比較して相関
を求める相関計算手段（１）と、この相関計算手段
（１）で求められた相関に応じてその駆動手段（１３）
の動作を制御する合焦制御手段（１）とを有するもので
ある。

【０００９】

【作用】斯かる本発明の焦点検出方法によれば、焦点合
わせを行う対象物の実像の合焦点における画像データを
目印となるパターンの画像データとして予め記憶（登
録）しておく。その目印となるパターンを別の観察対象
物の画像の中から認識するために例えばパターンマッチ
ングを行い、２個の画像の一致度を数値化したものをパ
ターン相関値とすると、その目印となるパターン及びこ
のパターンと似ているパターンが存在する位置（例えば
図５（Ａ）の候補点１６Ａ〜１６Ｃ）でのパターン相関
値は焦点位置の変化に対して、異なった曲線を示す。こ
の場合、観察対象物の合焦状態を次第に変化させると、
その観察対象物の画像の中でその目印となるパターンが
合焦点に達したときにパターン相関値が最大になること
から、目印となるパターンに対して正確に焦点検出を行
うことができる。

【００１０】また、焦点位置が変化してマッチング対象
パターンの画像がぼけた像になると、パターン相関値は
順次低くなり、目印となるパターンに対する焦点位置と
パターン相関値との関係は、例えば図３に示すように合
焦点で最大値となる関数（以下、「合焦点評価関数」と
いう。）となる。一方、登録されたパターンと異なるパ
ターンに対しては、焦点位置を変化させても図３のよう
な、合焦点で高いピークとなる合焦点評価関数は得られ
ない。同様に、その登録されたパターンと同一又は類似
のパターンが全く存在しない場合も、パターン相関値は
非常に低いレベルをとり、何れの場合も焦点位置の検出
は行われない。

【００１１】従って、目印となる登録されたパターンに
対してのみ得られる図３の合焦点評価関数に従って、パ
ターン相関値のピークに向かって焦点位置を変化させる
ことにより、合焦動作が実行される。

【００１２】次に、取り込まれた画像データの階調の正
規化を行う場合の作用効果につき説明する。一般に、合
焦点評価関数は図３に示すように、正しい合焦点で大き
なピークを示す形状である必要がある。しかしながら、
そのためには、目印となるパターンの画像データの作成
時及び観察対象物の画像データの取り込み時等に所定の
適切な前処理が必要な場合がある。例えば、観察対象物
の元の画像データは多値階調であるが、比較時には２値
画像同士を比較するような場合には、その多値階調の画
像データを２値化する必要がある。２値化のためには閾
値レベルを設定する必要があるが、例えば図１０（Ａ）
の画像データに対して図１０（Ｂ）に示すように、３通
りの閾値レベルｔｈ１〜ｔｈ３を設定すると、閾値レベ
ルｔｈ２に対する合焦点評価関数は図１０（Ｃ）の関数
２２のようになり、閾値レベルｔｈ１又はｔｈ３に対す
る合焦点評価関数は図１０（Ｃ）の関数２３のようにな
り、閾値レベルの設定の仕方によって不適当な合焦点評
価関数が得られることがある。

【００１３】これに対して、本発明では、例えば図８
（Ａ）の画像データに対して図８（Ｂ）に示すように、
画像データの最大値と最小値との間隔が所定の振幅（例
えば最大振幅）になるように階調の正規化が行われる。
これによれば、合焦点評価関数として、常に図９に示す
ような合焦点で大きなピークとなるほぼ一定の関数が得
られることが分かった。従って、現在のパターン相関値
が分かると、合焦点までの焦点位置の差をかなり正確に
推定することができ、より高速に焦点検出を行うことが
できる。

【００１４】また、目印となるパターンとの相関の高い
候補点を求めた後に、それら候補点の内で最も相関の高
い候補点が所定の位置に来るようにした場合には、観察
対象物の内の目印となるパターンに対する焦点合わせが
完了したときに、その目印となるパターンが常に観察画
面の所望の位置に設定される。従って、焦点合わせと位
置合わせとを同時に実行することができる。また、本発
明による焦点検出装置によれば、上述の焦点検出方法を
特定パターンの位置合わせ方法としてそのまま実施する
ことができる。

【００１５】

【実施例】以下、本発明の種々の実施例につき図面を参
照して説明しよう。本例は１画面の画像の中から所定の
パターンを認識する画像処理装置の自動焦点検出装置に
本発明を適用したものである。

【００１６】［第１実施例］図１は第１実施例のハード
ウェアの基本構成を示し、この図１において、１は装置
全体の動作を制御する中央処理装置（以下、「ＣＰＵ」
と略称する。）、２はランダムアクセスメモリ（ＲＡ
Ｍ）よりなる画像メモリ、３は例えばハードディスク装
置よりなる外部記憶装置である。４はデジタル／アナロ
グ（Ｄ／Ａ）変換器、５は画像表示装置を示し、画像メ
モリ２の画像データをＤ／Ａ変換器４を介して画像表示
装置５に供給する。これにより、画像メモリ２に格納さ
れている画像データに対応する画像がそのまま画像表示
装置５に表示される。

【００１７】また、ＣＰＵ１は画像メモリ２に例えばカ
ーソル等の画像データを書き込むと共に、焦点合わせの
目印となるパターン（以下、「テンプレート」とい
う。）の画像データを外部記憶装置３に記憶させる。更
に、ＣＰＵ１は、画像メモリ２から読み出した画像デー
タと外部記憶装置３から読み出した画像データとの相関
を計算し、その計算結果に応じて後述の焦点合わせを行
う。６はＣＰＵ１用のＣＲＴディスプレイ、７及び８は
それぞれＣＰＵ１に接続されたキーボード及び簡易座標
入力ユニット（例えばマウス等）を示し、オペレータは
ＣＲＴディスプレイ６を見ながらキーボード７及び座標
入力ユニット８を操作してＣＰＵ１に所望の動作を実行
させる。

【００１８】９はサンプル（観察対象物）、１０は観察
用の光学系、１１は電荷結合型撮像デバイス（ＣＣＤ）
等の撮像素子を示し、サンプル９の所定倍率の実像を光
学系１０を介して撮像素子１１の撮像面に形成する。こ
の撮像素子１１から出力される撮像信号をアナログ／デ
ジタル（Ａ／Ｄ）変換器１２を介して画像メモリ２に順
次書き込むようにする。１３は光学系１０の焦点調整を
行うレンズ駆動系を示し、ＣＰＵ１がレンズ部制御信号
Ｓ１をそのレンズ駆動系１３に供給することにより、光
学系１０の焦点調整が行われる。

【００１９】本例の画像処理装置において焦点合わせの
目印となるテンプレートの画像データを登録するときの
手順につき説明する。先ず、撮像素子１１でサンプル９
を撮像して、撮像素子１１から出力される画像データを
Ａ／Ｄ変換器１２を介して画像メモリ２に書き込み、こ
の画像メモリ２に書き込まれた画像データをＤ／Ａ変換
器４を介して画像表示装置５に供給する。これにより、
画像表示装置５には図２に示すように、画像メモリ２上
のデータ１４に対応する画像（即ち、サンプル９の所定
倍された実像）が表示される。この際に、オペレータは
例えば画像表示装置５に表示されている画像中のテンプ
レートの画像が最も鮮明になるように、ＣＰＵ１及びレ
ンズ駆動系１３を介して焦点合わせを行っておく。

【００２０】その後、オペレータが座標入力ユニット８
を用いてその画像表示装置５の画面上で矩形のウィンド
ゥを指定すると、このウィンドゥ内の画像に対応する画
像メモリ２上の画像データがＣＰＵ１により取り出さ
れ、この取り出された画像データがテンプレートの合焦
状態の画像データとして外部記憶装置３に記憶（即ち、
登録）される。なお、テンプレートとしては、観察対象
物に応じて様々な種類のものを登録しておく。

【００２１】この際に図２に示すように、比較的大きな
ウィンドゥＷ１と比較的小さなウィンドゥＷ２との２種
類のウィンドゥを用意し、これら２種類のウィンドゥＷ
１及びＷ２を用いてそれぞれラフ用テンプレートの画像
データ及びファイン用テンプレートの画像データを切り
出して、これら切り出した２種類のテンプレートの画像
データを外部記憶装置３に登録するようにしてもよい。
ラフ用テンプレートは焦点合わせを高速に行うために使
用され、ファイン用テンプレートは焦点合わせを高精度
に行うために使用される。

【００２２】次に、図４のフローチャートを参照して、
登録されたテンプレートの画像データを用いてオートフ
ォーカスを行う場合の動作につき説明する。先ず、図４
のステップ１０１において、オペレータが予め外部記憶
装置３の中から選択しておいたテンプレートの画像デー
タをＣＰＵ１にダウンロードしておく。その後、ステッ
プ１０２において、オペレータが観察対象物としてのサ
ンプル９を光学系１０の前に設定すると、そのサンプル
９の画像データが画像メモリ２に書き込まれる。そし
て、ＣＰＵ１によりそのサンプルの全画面内での候補点
のサーチが行われる。具体的に、ＣＰＵ１は画像メモリ
２上の全画像データ内でテンプレートの画像データとの
一致度（これを数値化したものを「パターン相関値」と
いう。）の分布を計算して、パターン相関値が所定の閾
値よりも大きい部分を候補点として抽出する。

【００２３】候補点が検出されなかったときにはＣＰＵ
１の動作はステップ１０３からステップ１０４に移行し
て、ＣＰＵ１はレンズ駆動系１３にレンズ部制御信号を
送信する。これに応じて光学系１０の焦点調整が行わ
れ、撮像素子１１上にはサンプル９の焦点状態が変化し
た実像が形成され、この像を対象としてステップ１０２
において再び候補点のサーチが行われる。

【００２４】候補点が検出されたときにはＣＰＵ１の動
作はステップ１０３からステップ１０５に移行し、画像
メモリ２上のデータのサーチ領域を既に検出された１個
又は複数個の候補点の周辺に固定する。それに続くステ
ップ１０６において、ＣＰＵ１はレンズ部制御信号Ｓ１
をレンズ駆動系１３に送信し、これによりサンプル９の
焦点位置の変えられた画像データが画像メモリ２に書き
込まれる。そして、ステップ１０７において、ＣＰＵ１
は、それら候補点の周辺に関してのみテンプレートの画
像データとのパターン相関値を算出し、パターン相関値
を焦点位置に対応して記録する。一般にパターン相関値
を焦点位置に対して記録すると、図３に示すように合焦
点で高いピークとなる「合焦点評価関数」が得られる。

【００２５】全候補点で合焦点評価関数のピークが検出
されるまでは、ＣＰＵ１の動作はステップ１０８からス
テップ１０６に戻り、繰り返し候補点の周辺でのパター
ン相関値の算出が実行される。そして、全候補点で合焦
点評価関数のピークが検出されると、ＣＰＵ１の動作は
ステップ１０８からステップ１０９に移行して、最終的
にパターン相関値が最も高くなる焦点位置に焦点状態が
戻される。これは例えば一般的な信号の山登り法を用い
て、ＣＰＵ１がレンズ部制御信号Ｓ１を介してレンズ駆
動系を制御することにより実行される。

【００２６】具体例で示すと、先ず候補点のサーチによ
り図５（Ａ）に示すように、観察画面１５内で例えば３
個の候補点１６Ａ〜１６Ｃが得られる。しかしながら、
これら候補点１６Ａ〜１６Ｃにおける合焦点評価関数は
それぞれ図５（Ｂ）の関数１７Ａ〜１７Ｃとなり、最も
パターン相関値Ｉのピークが高いのは候補点１６Ａにお
ける合焦点評価関数１７Ａである。これより、その候補
点１６Ａにのみテンプレートと同一又は類似のパターン
が存在することが分かる。そして、その関数１７Ａのピ
ーク点に焦点位置を合わせることにより、テンプレート
と同一又は類似のパターンに対して合焦が行われる。

【００２７】また、正しい候補点１６Ａ以外の候補点１
６Ｂ、１６Ｃで得られるパターン相関値の疑似的なピー
クは、正しい候補点で得られるピーク信号強度よりは十
分に低いレベルになる。そこで、図５（Ｂ）に示すよう
に、パターン相関値Ｉに閾値Ｉ₀ を設定して、図４のス
テップ１０３における候補点検出の判断の際には、パタ
ーン相関値Ｉがその閾値Ｉ₀ を超えている部分のみを候
補点とみなすようにしてもよい。このような候補点の絞
り込みにより、合焦速度を向上することができる。

【００２８】上述のように、本例によれば予めテンプレ
ートの画像データを登録した後に、観察画面上にそのテ
ンプレートとのパターン相関値が最も高くなる部分が存
在する焦点位置を合焦点とみなすようにしている。従っ
て、そのテンプレートと同一又は類似のパターンが画面
上のどの位置に存在していても、常にそのパターンに焦
点を合わせることができる。

【００２９】なお、テンプレートとして登録対象となる
形状が図６（Ａ）に示すように、段差のある形状である
場合には、それぞれ合焦を行ってから画像データを登録
する。即ち、図６（Ａ）の観察画面１５内にはテンプレ
ートとして登録したい２個のパターンＰＡ及びＰＢが存
在するものとして、これらパターンＰＡ及びＰＢのサン
プル上での高さはそれぞれＺ１及びＺ２（Ｚ１＞Ｚ２）
であるとする。この場合、パターンＰＡの画像データを
登録するには、サンプル上のＺ１の高さに焦点を合わせ
た状態で、観察画面１５上のパターンＰＡの周囲をウィ
ンドゥＷ３で囲む。このウィンドゥＷ３で囲まれた領域
（図６（Ｂ））の画像データが第１のテンプレートの画
像データとして登録される。次に、サンプル上のＺ２の
高さに焦点を合わせた状態で、観察画面１５上のパター
ンＰＢの周囲をウィンドゥＷ４で囲む。このウィンドゥ
Ｗ４で囲まれた領域（図６（Ｃ））の画像データが第２
のテンプレートの画像データとして登録される。

【００３０】それら図６（Ｂ）及び（Ｃ）の画像データ
をテンプレートの画像データとして登録した後に、図６
（Ａ）の観察画面１５を合焦の対象として図４に示す動
作を実行するものとする。この場合、図６（Ｂ）の画像
データを用いると、図７の関数１８Ａで示される合焦点
評価関数が得られ、その関数１８Ａのピークに焦点位置
を合わせることにより、図６（Ａ）のパターンＰＡに焦
点が合わせられる。一方、図６（Ｃ）の画像データを用
いると、図７の関数１８Ｂで示される合焦点評価関数が
得られ、その関数１８Ｂのピークに焦点位置を合わせる
ことにより、図６（Ａ）のパターンＰＢに焦点が合わせ
られる。これにより、テンプレートの高さに拘らず正確
に焦点合わせを行うことができる。

【００３１】更に、例えば図５（Ａ）の例では最終的に
候補点１６Ａがテンプレートと最も類似度の高いパター
ンとみなされて、その候補点１６Ａの像が最も鮮明にな
るように自動合焦動作が実行されるが、同時に自動位置
合わせ動作を実行するようにしてもよい。この自動位置
合わせ動作においては、図１のサンプル９の位置、光学
系１０の方向又は撮像素子１１の位置等を調整すること
により、テンプレートと同一のパターンが常に観察画面
１５内の所定の位置に来るよう調整が行われる。より具
体的に説明すると、例えば図５（Ａ）で候補点１６Ａが
テンプレートと最も類似度が高いとみなされたときに、
その候補点１６Ａの観察画面１５上の位置と所定の位置
とのずれ量が検出される。そして、このずれ量を打ち消
すように図１のＣＰＵ１はサンプル９の実像と撮像素子
１１との相対位置関係を修正する。この自動位置合わせ
により合焦状態が変化したときには、並行して自動合焦
動作も実行される。

【００３２】［第２実施例］本発明の第２実施例につき
説明する。本例のハードウェアの基本構成は第１実施例
の構成（図１）と同じであり、第１実施例と同様の手順
でテンプレートの画像データを作成する。ただし、本例
ではテンプレートの画像データを登録する際に、階調の
正規化を行っておく。

【００３３】階調の正規化について説明するに、登録対
象のテンプレートは図８（Ａ）のウィンドゥＷ５内のパ
ターンであるとして、生データの段階におけるそのウィ
ンドゥＷ５内の全画素の階調の分布は図８（Ｂ）の実線
１９Ａで表されるものとする。この実線１９Ａの分布で
は中心付近のレベルの画素が多くなっている。そこで、
本例ではその実線１９Ａの分布における階調の最大値及
び最小値を検出して、それら実測された最大値及び最小
値がそれぞれ階調の理論的な最大値及び最小値になるよ
うに階調の分布の調整を行う。これにより図８（Ｂ）の
破線１９Ｂで示すように、階調の分布の幅が最大振幅を
持つような画像データが登録される。このことは、テン
プレートの画像データは、明暗がより明確になるように
安定化されてから登録されることを意味する。

【００３４】次に階調の正規化が行われたテンプレート
の画像データを用いて、第１実施例と同様にサンプルに
対して候補点のサーチが行われる。この場合にも、最も
高いパターン相関値が得られた候補点の合焦点評価関数
の相関値が絶対値として評価される。このように正規化
されたテンプレートの画像データを用いて候補点のサー
チを行うことを本願では「正規化相関サーチ」という。
そのテンプレートと同一のパターンに対して正規化相関
サーチを行うことにより、合焦点評価関数のモデル曲線
として図９に示すような正規化相関サーチモデル曲線２
０が得られる。このモデル曲線２０では合焦点における
ピークの相関値を１００としている。また、正規化相関
サーチを行うと、得られる合焦点評価関数は合焦点を中
心として常にそのモデル曲線２０とほぼ等しい曲線にな
ることが分かった。

【００３５】そこで、予めその正規化相関サーチモデル
曲線２０の特性をメモリに記憶しておくことにより、得
られたパターン相関値より合焦点までの差を瞬時に推定
することができる。例えば、正規化相関サーチによりパ
ターン相関値としてＣ１が得られた場合には、図９に示
すように、正規化相関サーチモデル曲線２０において相
関値がＣ１である焦点位置を求める。合焦点は分かって
いるので、その焦点位置から合焦点までの差δｚはすぐ
に求めることができ、この差δｚが実際の合焦点までの
推定値となる。従って、図１のＣＰＵ１がレンズ部制御
信号Ｓ１を用いてレンズ駆動系１３にその差δｚだけ焦
点位置を移動させることにより、直ちに実際の合焦点評
価関数のピーク付近に焦点位置が移動される。その後、
そのピーク付近で山登り法等により焦点合わせを行うこ
とにより、最終的に正確な焦点合わせが行われる。この
際、図９に示すように、相関値が例えばＣ１である焦点
位置は合焦点の左右に２点存在するが、焦点位置を少し
ずらせたときに相関値が高くなるか又は低くなるかによ
り現在の焦点位置を容易に識別することができる。

【００３６】本例では、階調が正規化されたテンプレー
トの画像データを用いて正規化相関サーチを行うように
しているので、得られたパターン相関値より合焦点まで
の焦点位置差を瞬時に求めることができ、より高速に合
焦を行うことができる。更に、テンプレートの画像デー
タのみならず、サーチ対象である観察対象の画像データ
にも正規化処理を施すようにしてもよい。この場合に
も、焦点位置合わせが高速化される。

【００３７】なお、階調の正規化以外に例えば画像デー
タを２値化する前処理を考えてみる。この２値化の対象
となるテンプレートは図１０（Ａ）に示す領域２１内の
パターンであるとして、この領域２１内の画素の階調の
分布状態は図１０（Ｂ）に示す実線で表されているもの
とする。この画像データを２値化するための閾値として
例えば図１０（Ｂ）に示す３種類の閾値ｔｈ１，ｔｈ２
及びｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が考えられる。
そして、閾値ｔｈ２で２値化したテンプレートの画像デ
ータを用いて同一のパターンに対して合焦点評価関数を
求めると、図１０（Ｃ）の関数２２が得られ、閾値ｔｈ
１又はｔｈ３で２値化したテンプレートの画像データを
用いて同一のパターンに対して合焦点評価関数を求める
と、図１０（Ｃ）の関数２３が得られる。関数２２は合
焦点で大きなピークとなるが、関数２３は合焦点でも大
きなピークとならず、正確な焦点合わせができない虞が
ある。このことは単に画像データを２値化するのでは２
値化の閾値により合焦点評価関数の形状がばらついてし
まうことを意味する。これに対して、本例の階調を正規
化する処理によれば常にほぼ同一の合焦点評価関数を得
ることができ、焦点合わせを常に正確且つ高速に行うこ
とができる。

【００３８】［第３実施例］この第３実施例では、同一
の撮像視野内に焦点位置の異なる複数個（Ｎ個）のパタ
ーンが存在するものとして、連続してそれら異なるパタ
ーンに順次焦点合わせを行う場合を扱う。この第３実施
例のハードウェアの基本構成も第１実施例の構成（図
１）と同じであり、同様の手順でテンプレートの画像デ
ータを作成する。

【００３９】先ず図１１に示すように、焦点合わせを行
うサンプルの観察画面１５内でテンプレートとなる例え
ば３個のパターン２４Ａ〜２４Ｃをそれぞれ合焦状態に
してウィンドゥで囲むことにより、３個のテンプレート
の画像データを抽出する。これらの画像データは図１の
外部記憶装置３に格納される。そして、実際に撮像する
サンプルを視野に導入して、既に格納されている複数の
焦点合わせ用のテンプレートの画像データを指定してＣ
ＰＵ１へダウンロードしておく。

【００４０】次に、現在の焦点位置において使用するテ
ンプレートを替えながら順次テンプレート毎に観察画面
上でパターン相関値の高い候補点をサーチしていく。こ
のときに、テンプレートによっては観察画面上でパター
ン相関値が全て所定の候補点検出レベル以下になること
がある。この場合にはその焦点位置を検出しておき、焦
点位置を所定のステップ幅で変えて再びパターン相関値
の高い候補点をサーチして、全てのテンプレートについ
て候補点を検出する。一方、候補点の確定したテンプレ
ートに対しては、そのステップ幅で焦点位置を変えて各
候補点で合焦点評価関数を測定していき、最終的に図１
２に示すように、３個のテンプレートについてそれぞれ
合焦点がＺ１〜Ｚ３の合焦点評価関数２５Ａ〜２５Ｃを
得る。この場合、Ｚ１−Ｚ２＝δZ1、Ｚ２−Ｚ３＝−δ
Z2及びＺ３−Ｚ１＝δZ3が成立するものとする。そし
て、任意の２つのテンプレート間での合焦点評価関数の
ピーク間焦点位置差を求めて、次の表１に示すような焦
点位置相対関係テーブルを作成する。

【００４１】

【表１】

【００４２】この表１において、例えばテンプレート２
４Ａに沿う横軸の数値−δZ1及びδZ3は、テンプレート
２４Ａを基準とするとテンプレート２４Ｂ及び２４Ｃの
焦点位置はそれぞれ−δZ1及びδZ3だけ異なることを意
味する。この焦点位置相対関係テーブルの使用方法につ
き説明するに、予め指定されたテンプレートの順番で連
続的に焦点位置合わせを行うものとする。この場合、焦
点位置相対関係テーブルを参照して焦点位置の移動シー
ケンスを作成し、実際の移動時にはその移動シーケンス
に従って連続的に焦点位置を合わせていくことにより、
個々に焦点合わせ動作を行うよりも効率的な焦点合わせ
が可能となる。具体的に例えばテンプレート２４Ｂの次
にテンプレート２４Ａに焦点合わせを行うには、テンプ
レート２４Ｂへの焦点合わせが完了した後、表１に従っ
て焦点位置をδZ1だけ上にずらすことにより極めて迅速
に焦点合わせを行うことができる。

【００４３】［第４実施例］上述の第３実施例までは特
定のパターンに対して焦点合わせを行う場合を扱ってい
るが、この第４実施例では不特定なパターンに対して焦
点合わせを行う場合を扱う。本例においても、ハードウ
ェアの基本構成は第１実施例の構成（図１）と同じであ
る。

【００４４】一般に任意の形状のサンプルが観察されて
いる場合であっても、撮像された画像中には直角コーナ
ー部、円弧の一部、交線及び短い直線等が存在する。従
って、予め図１３（Ａ）〜（Ｄ）に示すようなパターン
の画像データを標準テンプレートの画像データとして図
１の外部記憶装置３に登録しておく。そして、特に焦点
位置合わせのために目印となるパターンが限定されてい
ない場合には、そのような標準テンプレートを用いて焦
点位置合わせを実行する。この場合のテンプレート及び
サーチ対象のパターンに対する前処理としては、上記の
正規化相関処理又はパターンのエッジ部分を強調するフ
ィルタ処理等が考えられ、これらの前処理を行うことに
より輪郭だけが鮮明な線画像等に対しても、安定した焦
点合わせを実行することができる。

【００４５】例えば焦点合わせの対象が図１４に示す画
像である場合には、領域２６Ａ及び２６Ｂでは図１３
（Ａ）の直角コーナーのテンプレートとの相関が高く、
領域２７では図１３（Ｂ）の円弧のテンプレートとの相
関が高く、領域２８では図１３（Ｃ）の交線のテンプレ
ートとの相関が高く、領域２９Ａ及び２９Ｂでは図１３
（Ｄ）の短い直線のテンプレートとの相関が高い。従っ
て、先ず第１実施例と同様に図１３（Ａ）の標準テンプ
レートの画像データをＣＰＵ１にダウンロードした後
に、図１４のサンプルを撮像して全画面内のパターン相
関度の分布を計算する。これにより領域２６Ａ、２６Ｂ
等がパターン相関値の高い候補点として検出される。

【００４６】次に、候補点の周辺をサーチ領域として、
図１のＣＰＵ１から順次レンズ部駆動信号Ｓ１をレンズ
駆動系１３に送りながらパターン相関度の変化をモニタ
して合焦点評価関数を得る。これらの中で最もピーク値
の高い合焦点評価関数のピーク値を示す位置に焦点位置
を追い込むことにより、焦点位置合わせが実行される。
同様に図１３（Ａ）〜（Ｄ）の標準テンプレートを用い
ても焦点合わせを正確に行うことができる。特にサンプ
ル画像が、例えば顕微鏡画像のように撮像系の焦点深度
に対してサンプル面の段差が十分小さい画像である場合
には、この第４実施例に示す手法で十分正確に焦点位置
合わせを行うことができる。

【００４７】なお、例えばビデオカメラでカメラと撮像
対象までの距離が様々である任意の画像を撮像するよう
な場合には、正確に焦点合わせを行う領域を決める候補
点のサーチの段階で、そのサーチ領域を観察画面内の所
定の領域に限定するようにしてもよい。このように所定
の領域のパターンに対してのみパターン相関度を計算し
て合焦点評価関数を求め、この結果に応じて焦点合わせ
を実行することによりより高速に焦点合わせを行うこと
ができる。このように、本発明は上述実施例に限定され
ず本発明の要旨を逸脱しない範囲で種々の構成を取り得
る。

【００４８】

【発明の効果】本発明の焦点検出方法によれば、取り込
まれた画像データと予め記憶されたパターンの画像デー
タとの相関を求めるようにしているので、特定のパター
ン又は物体に対してのみ容易に焦点の検出を行うことが
できる利点がある。また、取り込まれた画像データの最
大値と最小値との間隔が所定の振幅になるように階調の
正規化を行うようにした場合には、パターン同士の相関
を示す合焦点評価関数の形状が一定の形状に近づくの
で、その一定の形状を記憶しておくことにより、より高
速に合焦点までの差を検出することができる利点があ
る。

【００４９】そして、相関の最も高い候補点が所定の位
置に来るようにすることにより、自動焦点検出機能と自
動位置合わせ機能とを同時に実行することができる。ま
た、本発明の焦点検出装置によれば、それら焦点検出方
法を容易に実施することができる。

【図面の簡単な説明】

【図１】本発明の第１実施例の基本構成を示すブロック
図である。

【図２】第１実施例でテンプレートの画像データを登録
するときの説明に供する線図である。

【図３】実施例で用いる合焦点評価関数の一例を示す線
図である。

【図４】第１実施例の合焦動作を示すフローチャートで
ある。

【図５】第１実施例の合焦動作の過程で検出された候補
点の説明に供する線図である。

【図６】第１実施例で高さの異なるテンプレートの画像
データの登録を行うときの説明に供する線図である。

【図７】図６の２個のテンプレートを用いて得られた２
個の合焦点評価関数を示す線図である。

【図８】本発明の第２実施例の階調の正規化動作の説明
に供する線図である。

【図９】第２実施例で使用する正規化相関サーチモデル
曲線を示す線図である。

【図１０】画像データを２値化して合焦点評価関数を求
める場合の説明に供する線図である。

【図１１】本発明の第３実施例の複数のテンプレートを
示す線図である。

【図１２】第３実施例における複数のテンプレートに対
応する合焦点評価関数を示す線図である。

【図１３】本発明の第４実施例の標準テンプレートの例
を示す線図である。

【図１４】第４実施例で焦点合わせを行うサンプルの観
察画面を示す線図である。

【符号の説明】

１中央処理装置（ＣＰＵ）２画像メモリ３外部記憶装置５画像表示装置６ＣＲＴディスプレイ９サンプル１０光学系１１撮像素子１３レンズ駆動系

Claims

【特許請求の範囲】

【請求項１】予め目印となるパターンに対応する画像
データを記憶し、光学系を介して観察対象物の実像を撮像装置に投影して
得られた画像データを取り込み、該取り込まれた画像データと前記目印となるパターンの
画像データとの相関を求めることにより、前記観察対象
物の実像の内で前記目印となるパターンとの相関の高い
１個又は複数個の候補点を求め、前記光学系と前記観察対象物との合焦状態を変化させな
がら前記候補点の近傍における前記観察対象物の実像と
前記目印となるパターンとの相関を求め、前記観察対象物の実像の内で前記目印となるパターンと
の相関が最も高いパターンが存在する合焦状態を合焦点
とみなすようにした事を特徴とする焦点検出方法。
【請求項２】前記撮像装置を用いて取り込まれた画像
データの最大値と最小値との間隔が所定の振幅になるよ
うに階調の正規化を行い、該階調が正規化された画像データと前記目印となるパタ
ーンの画像データとの相関を求めることにより、前記観
察対象物の実像の内で前記目印となるパターンとの相関
の高い１個又は複数個の候補点を求めるようにした事を
特徴とする請求項１記載の焦点検出方法。
【請求項３】前記観察対象物の実像の内で前記目印と
なるパターンとの相関の高い１個又は複数の候補点を求
めた後に、該候補点の内で最も相関の高い候補点が所定の位置に来
るように、前記観察対象物の実像と前記撮像装置との相
対位置関係を補正するようにした事を特徴とする請求項
１又は２記載の焦点検出方法。
【請求項４】観察対象物の実像を撮像装置の撮像面に
投影する光学系と、前記観察対象物の実像の合焦状態を変化させる駆動手段
と、前記撮像装置より得られた画像データを記憶する第１の
記憶手段と、予め目印となるパターンの画像データを記憶する第２の
記憶手段と、前記第１の記憶手段の画像データと前記第２の記憶手段
の画像データとを比較して相関を求める相関計算手段
と、該相関計算手段で求められた相関に応じて前記駆動手段
の動作を制御する合焦制御手段とを有する事を特徴とす
る焦点検出装置。