JP7624355B2 - 試料観察装置および方法 - Google Patents

Description

本発明は、試料観察技術に関し、例えば半導体ウェハ等の試料における欠陥や異常等（欠陥と総称する場合がある）および回路パターン等を観察する機能を有する装置等に関する。

例えば半導体ウェハの製造では、製造プロセスを迅速に立ち上げて、高い歩留まりの量産体制に早期に移行させることが、収益確保のためには重要である。この目的のために、製造ラインには、各種の検査装置、観察装置、および計測装置等が導入されている。試料である半導体ウェハは、例えば検査装置において欠陥の検査が行われ、半導体ウェハの面における欠陥の位置を示す座標情報が、欠陥位置情報として、検査装置から出力される。試料観察装置は、その欠陥位置情報に基づいて、対象の半導体ウェハにおける欠陥の位置や部位を高解像度で撮像する。試料観察装置としては、例えば走査型電子顕微鏡（Scanning Electron Microscope：ＳＥＭ）を用いた観察装置（レビューＳＥＭとも呼ばれる）が使用されている。

レビューＳＥＭによる観察作業は、半導体ウェハの量産ラインでは、自動化が望まれている。その自動化のために、レビューＳＥＭを含むシステムは、自動欠陥レビュー（Automatic Defect Review：ＡＤＲ）機能と、自動欠陥分類（Automatic Defect Classification：ＡＤＣ）機能とを備えている。ＡＤＲ機能は、試料内の欠陥位置における画像を自動で収集する欠陥画像自動収集処理を行う機能である。ＡＤＣ機能は、収集された欠陥画像から欠陥を自動で分類する欠陥画像自動分類処理を行う機能である。

検査装置から供給された欠陥位置情報の欠陥座標には、誤差が含まれている。そのため、レビューＳＥＭは、ＡＤＲ機能において、欠陥位置情報の欠陥座標を中心として、まず第１の撮像条件で広視野・低倍率に撮像し、これにより得た画像（言い換えると低画質画像）から、欠陥を再検出する。レビューＳＥＭは、この再検出により得られた欠陥部位を、ＡＤＲ機能において、第２の撮像条件で狭視野・高倍率に撮像し、これにより得た画像（言い換えると高画質画像）を、観察用画像として出力する。このように、第１段階では広視野の画像で欠陥を探索し、第２段階では高画質の画像で欠陥を詳細に観察するといった２段階の画像で観察する方法がある。なお、上記画質などの高低は、相対的な定義であり、撮像条件に応じた画質などであり、例えば第２の撮像条件での倍率が、第１の撮像条件での倍率よりも高いことを意味する。画質（画像品質）の概念は、倍率や解像度、シグナル／ノイズ比などを含む。

上記試料観察装置によって撮像された画像（検査画像とも記載）から欠陥を判定・検出する方法としては以下がある。その方法は、欠陥部位と同一の回路パターンが形成されている領域を撮像した画像を参照画像として、欠陥部位を撮像した検査画像と欠陥を含まない参照画像とを比較することで欠陥を判定・検出する方法である。また、特開２００９－２５０６４５号公報（特許文献１）には、検査画像を用いて参照画像を合成することで、参照画像の撮像を省略する方法について記載がある。

ＡＤＲ機能においては、半導体ウェハに形成されたパターンの外観に応じて、欠陥検出に係わる処理パラメータを調整する必要がある。この処理パラメータを自動調整する方法としては、ユーザによって予め教示された欠陥部位を検出可能な処理パラメータを探索する方法がある。また、欠陥部位を撮像した検査画像と複数枚の参照画像とを用いて、欠陥とニュイサンスを高精度に弁別可能な処理パラメータを探索する方法がある。

また、ＡＤＲ機能のスループットを向上させるためには、高解像度の画像を推定することで撮像を省略する方法がある。この方法では、まず広視野で撮像した検査画像と、高倍率で撮像した高画質画像とを得て、それらの関係性を学習することでモデルを作成する。そして、この方法では、ＡＤＲを実行する際に、検査画像のみを撮像し、学習済みモデルを使用して、高画質画像である観察用画像を推定する。

特開２００９－２５０６４５号公報

例えば半導体デバイス製造では、デバイス性能向上や製造コスト削減のため、集積密度を高める試みが継続的に行われており、半導体ウェハ上に形成する回路パターン寸法の微細化が進められている。それに伴い、デバイスの動作に致命的となる欠陥の寸法も微小化する傾向にある。そのため、レビューＳＥＭのＡＤＲ機能においても、微小な欠陥を視認可能な観察用画像として高画質画像を得ることが求められている。そのために、レビューＳＥＭのＡＤＲ機能等に関する従来技術としては、機械学習を用いて、低画質の検査画像から高画質の観察用画像を推定して得る方法がある。

しかしながら、この方法を用いる従来技術は、精度の観点で改善余地がある。この方法では、低画質の検査画像から高画質の観察用画像を推定するためのモデルの学習は、欠陥検出に係わる処理パラメータの調整前に行われている。この方法では、その調整前の初期設定（デフォルト）の処理パラメータを用いて、学習用の検査画像と高画質画像を取得する。この場合、検査画像中に存在する欠陥が高画質画像中に写り込まない可能性がある。そのため、モデルの精度が低下し、高精度の推定が出来ない。

本発明の目的は、試料観察装置の技術に関して、ユーザが簡易に欠陥検出に係わる精度を向上できる技術を提供することである。

本発明のうち代表的な実施の形態は以下に示す構成を有する。実施の形態の試料観察装置は、撮像装置と、高画質画像推定モデルを学習する学習処理と、欠陥検出を行う試料観察処理と、を実行するプロセッサと、を備える試料観察装置であって、（Ａ）前記学習処理は：（Ａ１）学習用試料に関する１以上の学習用欠陥位置を取得し、（Ａ２）前記学習用欠陥位置毎に、第１の撮像条件での学習用低画質画像を取得し、（Ａ３）学習用高画質画像の撮像枚数に係る第１設定値を取得し、（Ａ４）前記学習用欠陥位置毎に：（Ａ４ａ）前記第１設定値に基づいて、前記学習用高画質画像の撮像枚数を決定し、（Ａ４ｂ）（Ａ４ａ）で決定した撮像枚数に基づいて、前記学習用高画質画像を撮像する位置である、１以上の撮像点を決定し、（Ａ４ｃ）（Ａ４ｂ）で決定した１以上の前記撮像点の各々について、第２の撮像条件での前記学習用高画質画像を取得し、（Ａ５）前記学習用低画質画像、および前記学習用高画質画像を用いて、前記高画質画像推定モデルを学習し、（Ａ６）前記高画質画像推定モデルを用いて、欠陥検出パラメータを調整し、（Ｂ）前記試料観察処理は、調整後の前記欠陥検出パラメータに基づいて：（Ｂ１）前記第１の撮像条件で、観察対象試料の欠陥位置の第１検査画像を取得し、（Ｂ２）前記第１検査画像に基づいて、前記観察対象試料の欠陥候補を検出する。

本発明のうち代表的な実施の形態によれば、試料観察装置の技術に関して、ユーザが簡易に欠陥検出に係わる精度を向上できる。上記した以外の課題、構成および効果等については、発明を実施するための形態において示される。

本発明の実施の形態１の試料観察装置の構成を示す図である。 実施の形態１で、上位制御装置の機能ブロック構成を示す図である。 実施の形態１で、ＳＥＭの検出器の配置を斜め上方向から見た図である。 実施の形態１で、ＳＥＭの検出器の配置をｚ軸方向から見た図である。 実施の形態１で、ＳＥＭの検出器の配置をｙ軸方向から見た図である。 検査装置の欠陥位置情報で示される、半導体ウェハ面における欠陥座標の例を模式的に示す説明図である。 実施の形態１の試料観察装置の全体の処理を示すフロー図である。 実施の形態１で、欠陥検出のステップＳ７０７に関する説明図である。 実施の形態１で、画像取得のステップＳ７０２のフロー図である。 実施の形態１で、撮像枚数決定に関する画面例を示す図である。 実施の形態１で、撮像点決定のステップＳ９０５のフロー図である。 実施の形態１で、撮像点決定処理に関する説明図である。 実施の形態１で、高画質画像推定モデルの構成例を示す説明図である。 実施の形態１で、パラメータ調整のステップＳ７０４のフロー図である。 実施の形態１で、高画質検査画像の取得処理に関する説明図である。 実施の形態１で、高画質検査画像の推定処理の例を示す模式図である。 実施の形態１で、高画質参照画像の推定処理の例を示す模式図である。 実施の形態１で、高画質参照画像の合成処理の例を示す模式図である。 実施の形態１で、画像取得に関する画面例を示す図である。 実施の形態１で、モデル学習およびパラメータ調整に関する画面例を示す図である。 実施の形態２で、上位制御装置の機能ブロック構成を示す図である。 実施の形態２で、試料観察装置の全体の処理を示すフロー図である。 実施の形態２で、画像取得のステップＳ２１０２のフロー図である。 実施の形態３で、上位制御装置の機能ブロック構成を示す図である。 実施の形態３で、試料観察装置の全体の処理を示すフロー図である。 実施の形態３で、画像取得のステップＳ２５０２のフロー図である。 実施の形態３で、撮像点決定処理に関する説明図である。 実施の形態３で、モデルの構成例を示す説明図である。 実施の形態３で、パラメータ調整のステップＳ２５０４のフロー図である。

以下、図面を参照しながら本発明の実施の形態を詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、各構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、および範囲等を表していない場合がある。説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいはそのプロセッサ等で構成されるコントローラ、装置、計算機、システム等である。計算機は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばＣＰＵやＧＰＵ等の半導体デバイス等で構成される。プロセッサは、所定の演算が可能なデバイスや回路で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、ＦＰＧＡ、ＡＳＩＣ、ＣＰＬＤ等が適用可能である。プログラムは、対象計算機に予めデータとしてインストールされていてもよいし、プログラムソースから対象計算機にデータとして配布されてインストールされてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体（例えばメモリカード）等でもよい。プログラムは、複数のモジュールから構成されてもよい。コンピュータシステムは、１台の装置に限らず、複数台の装置によって構成されてもよい。コンピュータシステムは、クライアントサーバシステム、クラウドコンピューティングシステム、ＩｏＴシステム等で構成されてもよい。各種のデータや情報は、例えばテーブルやリスト等の構造で構成されるが、これに限定されない。識別情報、識別子、ＩＤ、名、番号等の表現は互いに置換可能である。

＜実施の形態＞
実施の形態の試料観察装置は、半導体ウェハ等の試料に形成された回路パターンや欠陥を観察する装置である。試料観察装置は、検査装置が作成・出力した欠陥位置情報の欠陥位置毎に第１の撮像条件で検査画像（言い換えると低画質画像）を取得する検査画像取得部と、欠陥位置毎に第２の撮像条件で複数の高画質画像を取得する高画質画像取得部と、検査画像を用いて欠陥候補の位置と特徴量を算出する欠陥検出部と、検査画像と高画質画像とを用いて第１の撮像条件で取得した画像から第２の撮像条件で取得した画像を推定するモデル（高画質画像推定モデル）を学習するモデル学習部と、そのモデルを用いて欠陥検出部の欠陥検出処理に係わるパラメータを調整するパラメータ調整部とを備える。

実施の形態の試料観察方法は、実施の形態の試料観察装置において実行されるステップを有する方法であり、上記各部に対応付けられるステップを有する。試料観察装置での処理や対応するステップは、大別して、試料観察処理（言い換えると欠陥検出処理など）と、学習処理とがある。学習処理は、試料観察処理で用いる画像に対応させて、機械学習によるモデル学習を行い、試料観察処理に係わるパラメータを調整する処理である。

以下では、試料観察装置として、半導体ウェハを試料として半導体ウェハの欠陥等を観察する装置を例に説明する。この試料観察装置は、欠陥検査装置からの欠陥位置情報の欠陥座標に基づいて試料を撮像する撮像装置を備える。以下では、撮像装置としてＳＥＭを用いる例を説明する。撮像装置は、ＳＥＭに限定されず、ＳＥＭ以外の装置、例えばイオン等の荷電粒子を用いた撮像装置としてもよい。

＜実施の形態１＞
図１～図２０を用いて、実施の形態１の試料観察装置等について説明する。比較例の試料観察装置においては、試料欠陥観察のためのＡＤＲ処理に係わる処理パラメータの調整前に高画質画像推定モデルの学習用の高画質画像を収集する。この構成では、高画質画像中に欠陥が写り込まない場合があり、その場合にはモデルの精度が低下する。そこで、実施の形態１の試料観察装置（例えば図２）は、高画質画像取得部２０６を備える。高画質画像取得部２０６は、高画質画像の撮像枚数を決定する撮像枚数決定部２０７と、欠陥検出部２１５で算出した欠陥候補の位置と特徴量、および撮像枚数に基づいて、高画質画像の複数の撮像点を決定する撮像点決定部２０８と、決定した複数の撮像点の撮像点毎に第２の撮像条件での高画質画像を撮像する高画質画像撮像部２０９とを有する。これにより、モデルの精度を向上でき、モデルを用いたパラメータの調整によって、試料欠陥観察の精度を向上できる。

実施の形態１では、ＡＤＲ機能の欠陥検出処理（後述の図７のステップＳ７０７）は、一般的な画像処理（即ち、検査画像と参照画像との比較による差分の判定等）を用いて実現される。実施の形態１では、その欠陥検出処理のためのパラメータを調整（ステップＳ７０４）するために、機械学習（ステップＳ７０３）を用いる。なお、前述のように、２段階の画像において、画質などの高低の関係は、相対的な定義である。また、その画質などを規定する撮像条件（言い換えると画質条件）は、実際に撮像装置で撮像する場合に限らず、処理によって画像を作成する場合にも適用される条件とする。

［１－１．試料観察装置］
図１は、実施の形態１の試料観察装置１の構成を示す。試料観察装置１は、大別して、撮像装置２と、上位制御装置３とを有して構成されている。試料観察装置１は具体例としてレビューＳＥＭである。撮像装置２は具体例としてＳＥＭ１０１である。撮像装置２には上位制御装置３が結合されている。上位制御装置３は、撮像装置２等を制御する装置であり、言い換えるとコンピュータシステムである。試料観察装置１等は、必要な機能ブロックや各種のデバイスを備えているが、図面では必須な要素を含む一部を図示している。図１の試料観察装置１を含む全体は、言い換えると欠陥検査システムとして構成されている。上位制御装置３には、記憶媒体装置４や入出力端末６が接続されており、ネットワークを介して欠陥分類装置５や検査装置７等が接続されている。

試料観察装置１は、自動欠陥レビュー（ＡＤＲ）機能を有する装置またはシステムである。本例では、予め、外部の検査装置７において試料を検査した結果として欠陥位置情報８が作成されており、検査装置７から出力・提供されたその欠陥位置情報８が予め記憶媒体装置４に格納されている。上位制御装置３は、欠陥観察に係わるＡＤＲ処理の際に、記憶媒体装置４からその欠陥位置情報８を読み出して参照する。撮像装置２であるＳＥＭ１０１は、試料９である半導体ウェハの画像を撮像する。試料観察装置１は、撮像装置２で撮像した画像に基づいて、ＡＤＲ処理を行って複数の高画質検査画像を得る。

欠陥分類装置５（言い換えると欠陥画像分類装置）は、自動欠陥分類（ＡＤＣ）機能を有する装置またはシステムであり、試料観察装置１によるＡＤＲ機能を用いた欠陥観察処理結果の情報・データに基づいて、ＡＤＣ処理を行って、欠陥（対応する欠陥画像）を分類した結果を得る。欠陥分類装置５は、分類した結果の情報・データを、例えばネットワークに接続された図示しない他の装置に供給する。なお、図１の構成に限らず、試料観察装置１に欠陥分類装置５が併合された構成等も可能である。

上位制御装置３は、制御部１０２、記憶部１０３、演算部１０４、外部記憶媒体入出力部１０５（言い換えると入出力インタフェース部）、ユーザインタフェース制御部１０６、およびネットワークインタフェース部１０７等を備える。それらの構成要素は、バス１１４に接続されており、相互に通信や入出力が可能である。なお、図１の例では、上位制御装置３が１つのコンピュータシステムで構成される場合を示すが、上位制御装置３が複数のコンピュータシステム（例えば複数のサーバ装置）等で構成されてもよい。

制御部１０２は、試料観察装置１の全体を制御するコントローラに相当する。記憶部１０３は、プログラムを含む各種の情報やデータを記憶し、例えば磁気ディスクや半導体メモリ等を備える記憶媒体装置で構成される。演算部１０４は、記憶部１０３から読み出されたプログラムに従って演算を行う。制御部１０２や演算部１０４は、プロセッサやメモリを備えている。外部記憶媒体入出力部（言い換えると入出力インタフェース部）１０５は、外部の記憶媒体装置４との間でデータの入出力を行う。

ユーザインタフェース制御部１０６は、ユーザ（言い換えるとオペレータ）との間で情報・データの入出力を行うためのグラフィカル・ユーザ・インタフェース（ＧＵＩ）を含むユーザインタフェースを提供・制御する部分である。ユーザインタフェース制御部１０６には入出力端末６が接続されている。ユーザインタフェース制御部１０６には、他の入力デバイスや出力デバイス（例えば表示デバイス）が接続されてもよい。ネットワークインタフェース部１０７にはネットワーク（例えばＬＡＮ）を介して欠陥分類装置５や検査装置７等が接続されている。ネットワークインタフェース部１０７は、ネットワークを介して欠陥分類装置５等の外部装置との間の通信を制御する通信インタフェースを有する部分である。外部装置の他の例は、ＤＢサーバやＭＥＳ（製造実行システム）等が挙げられる。

ユーザは、入出力端末６を用いて、試料観察装置１（特に上位制御装置３）に対し、情報（例えば指示や設定）を入力し、試料観察装置１から出力された情報を確認する。入出力端末６は、例えばＰＣが適用でき、キーボード、マウス、ディスプレイ等を備える。入出力端末６は、ネットワークに接続されたクライアントコンピュータとしてもよい。ユーザインタフェース制御部１０６は、後述のＧＵＩの画面を作成し、入出力端末６の表示デバイスで表示させる。

演算部１０４は、例えばＣＰＵ、ＲＯＭ、およびＲＡＭ等によって構成され、記憶部１０３から読み出されたプログラムに従って動作する。制御部１０２は、例えばハードウェア回路またはＣＰＵ等によって構成される。制御部１０２がＣＰＵ等で構成される場合、制御部１０２も、記憶部１０３から読み出されたプログラムに従って動作する。制御部１０２は、例えばプログラム処理に基づいて各機能（後述の各機能ブロック）を実現する。記憶部１０３には、外部記憶媒体入出力部１０５を介して記憶媒体装置４からプログラム等のデータが供給・格納される。あるいは、記憶部１０３には、ネットワークインタフェース部１０７を介してネットワークからプログラム等のデータが供給・格納されてもよい。

撮像装置２を構成するＳＥＭ１０１は、ステージ１０９、電子源１１０、検出器１１１、図示しない電子レンズ、偏向器１１２等を備える。ステージ１０９（言い換えると試料台）は、試料９である半導体ウェハが載置され、少なくとも水平方向に移動可能であるステージである。電子源１１０は、試料９に電子ビームを照射するための電子源である。図示しない電子レンズは、電子ビームを試料９面上に収束させる。偏向器１１２は、電子ビームを試料９上で走査するための偏向器である。検出器１１１は、試料９から発生した二次電子や反射電子等の電子・粒子を検出する。言い換えると、検出器１１１は、試料９面の状態を画像として検出する。本例では、検出器１１１として、図示のように複数の検出器（後述）を有する。

ＳＥＭ１０１の検出器１１１によって検出された情報（言い換えると画像信号）は、上位制御装置３のバス１１４に供給される。その情報は、演算部１０４等によって処理される。本例では、上位制御装置３は、ＳＥＭ１０１のステージ１０９、偏向器１１２、および検出器１１１等を制御する。なお、ステージ１０９等の駆動のための駆動回路等については図示を省略している。試料９に対する欠陥観察処理は、ＳＥＭ１０１からの情報（言い換えると画像）を上位制御装置３であるコンピュータシステムが処理することで実現される。

本システムは、以下のような形態としてもよい。上位制御装置３はクラウドコンピューティングシステム等のサーバとし、ユーザが操作する入出力端末６はクライアントコンピュータとする。例えば、機械学習に多くのコンピュータ資源が要求される場合には、クラウドコンピューティングシステム等のサーバ群において、機械学習処理を行わせるようにしてもよい。サーバ群とクライアントコンピュータとの間で処理機能を分担してもよい。ユーザは、クライアントコンピュータを操作し、クライアントコンピュータは、サーバに対し要求を送信する。サーバは、要求を受信し、要求に応じた処理を行う。例えば、サーバは、要求された画面（例えばＷｅｂページ）のデータを、応答としてクライアントコンピュータに送信する。クライアントコンピュータは、その応答のデータを受信し、表示デバイスの表示画面に画面（例えばＷｅｂページ）を表示する。

［１－２．機能ブロック］
図２は、実施の形態１で、図１の上位制御装置３の制御部１０２、記憶部１０３、および演算部１０４により実現される機能ブロック構成例を示す。制御部１０２および演算部１０４には、プログラム処理に基づいて、図２のような各機能ブロックが構成され、記憶部１０３には、図２のような各記憶部が構成される。制御部１０２は、ステージ制御部２０１、電子ビームスキャン制御部２０２、検出器制御部２０３、参照画像取得部２０４、検査画像取得部２０５、および高画質画像取得部２０６を有する。高画質画像取得部２０６は、撮像枚数決定部２０７、撮像点決定部２０８、および高画質画像撮像部２０９を有する。演算部１０４は、欠陥検出部２１５、モデル学習部２１６、高画質画像推定部２１７、およびパラメータ調整部２１８を有する。

ステージ制御部２０１は、図１のステージ１０９の移動や停止を制御する。電子ビームスキャン制御部２０２は、所定の視野内において電子ビームが照射されるように図１の偏光器１１２等を制御する。検出器制御部２０３は、電子ビームのスキャンに同期させて図１の検出器１１１からの信号をサンプリングし、サンプリングされた信号のゲインやオフセット等を調整し、デジタル画像を生成する。

参照画像取得部２０４は、ステージ制御部２０１、電子ビームスキャン制御部２０２、および検出器制御部２０３を動作させ、欠陥観察処理で使用するための、欠陥を含まない参照画像を、第１の撮像条件で撮像することで取得する。検査画像取得部２０５は、ステージ制御部２０１、電子ビームスキャン制御部２０２、および検出器制御部２０３を動作させ、欠陥観察処理で使用する検査画像を、第１の撮像条件で撮像することで取得する。

高画質画像取得部２０６は、検査画像取得部２０５で取得した検査画像に対応付けられる、複数枚の高画質画像を、第２の撮像条件で撮像することで取得する。高画質画像は、欠陥観察用の画像であり、試料９の面の欠陥や回路パターンの視認性が高いことが求められる。そのため、この高画質画像は、検査画像よりも高画質とされ、一般的に、第２の撮像条件は、第１の撮像条件と比べると、より高画質の画像を撮像できる条件とされる。例えば、第２の撮像条件は、第１の撮像条件と比べて、電子ビームの走査速度が遅く、画像の加算フレーム数が多く、画像解像度が高くなる。なお、撮像条件はこれに限定されない。

記憶部１０３は、画像記憶部２１０、欠陥検出パラメータ記憶部２１１、高画質画像推定パラメータ記憶部２１２、撮像パラメータ記憶部２１３、および観察座標記憶部２１４を有する。画像記憶部２１０は、検出器制御部２０３によって生成されたデジタル画像（言い換えるとＳＥＭ１０１によって撮像された画像）を、付帯情報（言い換えると属性情報、メタデータ、管理情報など）とともに記憶し、演算部１０４によって生成された画像を記憶する。

欠陥検出パラメータ記憶部２１１は、欠陥観察に必要な欠陥検出処理に係わるパラメータ（欠陥検出パラメータと記載する場合がある）を記憶する。高画質画像推定パラメータ記憶部２１２は、高画質画像推定モデルに係わるパラメータ（モデルパラメータと記載する場合がある）を記憶する。撮像パラメータ記憶部２１３は、ＳＥＭ１０１において撮像する際の条件（撮像条件とも記載する）等の情報・データを、撮像パラメータとして記憶する。撮像条件は、前述の第１の撮像条件や第２の撮像条件を含み、予め設定可能である。撮像パラメータの例は、電子ビーム走査速度、画像加算フレーム数、画像解像度などが挙げられる。観察座標記憶部２１４は、欠陥位置情報８に基づいて入力された観察対象の欠陥位置の欠陥座標（観察座標とも記載する）等の情報・データを記憶する。

欠陥検出部２１５は、検査画像内の欠陥候補の位置と特徴量を算出する。モデル学習部２１６は、第１の撮像条件で取得した画像から第２の撮像条件で取得した画像を推定する推定処理を行うために必要なモデル（高画質画像推定モデルとも記載する）の学習処理を行う。なお、モデルにおける推定の意味は、実際に撮像した画像ではない高画質画像を、推定によって作成・出力するという意味である。なお、モデル学習の際の使用画像と、学習済みモデルを用いた実際の欠陥観察の際の使用画像とでは異なる。

高画質画像推定部２１７は、モデルを用いて、第１の撮像条件で取得した第１画像から第２の撮像条件で取得した第２画像への推定処理を行う。高画質画像推定部２１７は、第１画像をモデルに入力し、推定結果の出力として第２画像を得る。

パラメータ調整部２１８は、欠陥観察に係わる処理パラメータ（言い換えるとレシピ等）を自動的に調整するパラメータ調整機能を実現する部分である。この処理パラメータは、欠陥検出パラメータと、モデルパラメータと、撮像パラメータとを含む。欠陥検出パラメータは、例えば欠陥判定用の閾値等が挙げられる。モデルパラメータは、高画質画像推定モデルを構成（言い換えると設定）するパラメータであり、例えば後述のＣＮＮ等を構成するパラメータである。

［１－３．検出器］
図３は、実施の形態１で、ＳＥＭ１０１におけるステージ１０９に対する検出器１１１の配置を斜め上方向から見た投影図である。本例では、検出器１１１として、５つの検出器３０１～３０５を有し、これらの検出器３０１～３０５が、図示のようにＳＥＭ１０１内の所定の位置に搭載されている。検出器１１１の数はこれに限定されない。図４は、上記検出器１１１の配置をｚ軸方向から見た平面図である。ｚ軸は、鉛直方向と対応している。図５は、上記検出器１１１の配置をｙ軸方向から見た断面図である。ｘ軸およびｙ軸は水平方向と対応しており、直交する２つの方向である。

図３～図５に示すように、検出器３０１および検出器３０２は、ｙ軸に沿った位置Ｐ１および位置Ｐ２に配置され、検出器３０３および検出器３０４は、ｘ軸に沿った位置Ｐ３および位置Ｐ４に配置されている。これらの検出器３０１～３０４は、特に限定しないが、ｚ軸において同一の平面内に配置されている。検出器３０５は、ｚ軸に沿い、検出器３０１～３０４が配置されたｚ軸の平面の位置に比べて、ステージ１０９の試料９から離れた位置Ｐ５に配置されている。なお、図４および図５では、検出器３０５を省略している。

検出器３０１～３０４は、特定の放出角度（仰角および方位角）を持つ電子を選択的に検出できるように配置されている。検出器３０１は、試料９からｙ軸の方向（矢印で示す正方向）に沿って放出された電子を検出可能であり、検出器３０２は、試料９からｙ軸の方向（正方向に対し反転方向）に沿って放出された電子を検出可能である。同様に、検出器３０４は、ｘ軸の方向（正方向）に沿って放出された電子を検出可能であり、検出器３０３は、ｘ軸の反転方向に沿って放出された電子を検出可能である。これにより、あたかも各検出器に対して対向方向から光を照射したかのようなコントラストのついた画像を取得可能となる。検出器３０５は、主に試料９からｚ軸の方向に放出された電子を検出可能である。

上記のように、実施の形態１では、複数の検出器が異なる軸に沿って複数の位置に配置された構成により、コントラストのついた画像を取得可能であるため、より精細な欠陥観察が可能である。このような検出器１１１の構成には限定されず、図３とは異なる位置や向きで配置された構成としてもよい。

［１－４．欠陥位置情報］
図６は、外部の検査装置７からの欠陥位置情報８に含まれている欠陥座標で示される欠陥位置の例を示す模式図である。図６では、対象の試料９のｘ－ｙ面において、欠陥座標を、点（×印）で図示している。試料観察装置１からみると、この欠陥座標は、観察対象となる観察座標である。ウェハＷＷは、円形の半導体ウェハ面領域を示す。ダイＤＩは、ウェハＷＷに形成されている複数のダイ（言い換えると半導体チップ）の領域を示す。

実施の形態１の試料観察装置１は、このような欠陥座標に基づいて、試料９の面の欠陥部位の高精細な画像を高画質画像として自動的に収集するＡＤＲ機能を有する。ただし、検査装置７からの欠陥位置情報８内の欠陥座標には、誤差が含まれている。言い換えると、検査装置７の座標系での欠陥座標と、試料観察装置１の座標系での欠陥座標との間には誤差が生じ得る。誤差の要因としては、ステージ１０９上の試料９の位置合わせの不完全さ等が挙げられる。

そのため、実施の形態１の試料観察装置１は、まず欠陥位置情報８の欠陥座標を中心として第１の撮像条件で広視野・低倍率の画像（言い換えると相対的に低画質の画像）を検査画像として撮像し、その検査画像に基づいて、欠陥部位を再検出する。そして、試料観察装置１は、事前に学習した高画質画像推定モデルを用いて、その再検出した欠陥部位について、第２の撮像条件で狭視野・高倍率の高画質画像を推定して、その高画質画像を観察用画像として取得する。

ウェハＷＷには規則的に複数のダイＤＩが含まれている。そのため、欠陥部位を持つダイＤＩに対して例えば隣接する他のダイＤＩを撮像した場合、欠陥部位を含まない良品ダイの画像を取得可能である。試料観察装置１における欠陥検出処理では、例えばこのような良品ダイ画像を参照画像として用いることができる。そして、欠陥検出処理では、参照画像と検査画像との間で、欠陥判定として、例えば濃淡（特徴量の例）の比較が行われ、濃淡の異なる箇所を欠陥部位として検出可能である。前述の欠陥検出パラメータの一例として、このように欠陥部位を判定する際の濃淡の差を定める閾値がある。

［１－５．欠陥観察方法］
次に、試料観察装置１での欠陥観察方法について説明する。まず、欠陥観察方法・処理の全体を説明し、欠陥観察方法で実施される各ステップについて順に詳細説明する。なお、ステップの実行の主体は、主に上位制御装置３（特にプロセッサ）であり、適宜に図２の制御部１０２、記憶部１０３および演算部１０４等が用いられる。ステップで必要な情報は記憶部１０３から読み出され、ステップで生成した情報は記憶部１０３に記憶される。なお、学習処理時（後述の図７のステップＳ７０２～Ｓ７０７）に対象とする学習用試料と、試料観察処理時（後述のステップＳ７０５～Ｓ７０８）に対象とする観察対象試料とは、別な試料でもよく、対象とする位置は、同じ試料の別な位置でもよい。

［１－６．全体処理］
図７は、実施の形態１で、試料観察装置１の全体の処理・動作として、欠陥観察処理フローを示す。図７はステップＳ７０１～Ｓ７０８を有する。欠陥観察の開始時、ステップＳ７０１で、上位制御装置３は、図２の欠陥検出パラメータ記憶部２１１、高画質画像推定パラメータ記憶部２１２、撮像パラメータ記憶部２１３等から、各パラメータ等の情報を読み込み、欠陥観察・欠陥検出処理に係わるレシピがセットアップ済みか判定する。レシピは、欠陥観察・欠陥検出処理を行うために必要な情報のセットであり、ＡＤＲ機能に係わる処理パラメータ等を含む。レシピがセットアップされていない場合（No）にはステップＳ７０２、セットアップされている場合（Yes）にはステップＳ７０５へ移る。ステップＳ７０２～Ｓ７０４は、レシピのセットアップのための処理（前述の学習処理）である。ステップＳ７０５～Ｓ７０８は、実際の試料観察・欠陥検出の処理である。

ステップＳ７０２は、画像取得ステップである。ステップＳ７０２では、上位制御装置３は、図２の参照画像取得部２０４、検査画像取得部２０５、および高画質画像取得部２０６を用いて、高画質画像推定モデルの学習（ステップＳ７０３）、および欠陥検出パラメータ調整（ステップＳ７０４）で使用する画像（学習用低画質画像および学習用高画質画像）を取得する。この際、上位制御装置３は、観察座標記憶部２１４から、画像を取得する対象となる図６のようなウェハＷＷの欠陥座標を読み込み、全ての欠陥座標に対応する画像を取得し、取得した画像を画像記憶部２１０に格納する。

次に、ステップＳ７０３のモデル学習ステップが行われる。ステップＳ７０３では、上位制御装置３は、ステップＳ７０２で取得した画像を画像記憶部２１０から読み込み、モデル学習部２１６を用いて、高画質画像推定部２１７の処理に係わる高画質画像推定モデルの学習を実行する。学習されたモデルは、高画質画像推定パラメータ記憶部２１２に記憶される。

次に、ステップＳ７０４のパラメータ調整ステップが行われる。ステップＳ７０４では、上位制御装置３は、パラメータ調整部２１８を用いて、欠陥検出パラメータを調整する。調整された欠陥検出パラメータは、欠陥検出パラメータ記憶部２１１に記憶される。

欠陥観察前にレシピがセットアップ済みであった場合、または、ステップＳ７０２～Ｓ７０４によってセットアップされた後、ステップＳ７０５～Ｓ７０８のループ処理が実行される。このループ処理では、観察対象試料における欠陥座標で示す欠陥位置毎に、ステップＳ７０５～Ｓ７０８の処理が繰り返される。欠陥座標に対応する欠陥位置をｉとし、ｉ＝１～Ｌとする。

ステップＳ７０５は、参照画像取得ステップである。ステップＳ７０５で、上位制御装置３は、参照画像取得部２０４を用いて、欠陥位置（ｉ）を含んだダイＤＩに隣接するダイＤＩを、撮像パラメータ記憶部２１３に記憶された第１の撮像条件で撮像することで、検査画像（第１検査画像）に対応させた参照画像（第１参照画像）を取得する。

ステップＳ７０６は、検査画像取得ステップである。ステップＳ７０６で、上位制御装置３は、検査画像取得部２０５を用いて、欠陥位置（ｉ）における検査画像（第１検査画像）を、撮像パラメータ記憶部２１３に記憶された第１の撮像条件で撮像することで取得する。これらのステップで取得した参照画像と検査画像は、対応付けて、画像記憶部２１０に保存される。

ステップＳ７０７は、欠陥検出ステップである。ステップＳ７０７では、上位制御装置３は、欠陥検出部２１５において、ステップＳ７０５で得た参照画像と、ステップＳ７０６で得た検査画像と、欠陥検出パラメータ記憶部２１１に記憶されたセットアップ済み（言い換えると調整済み）の欠陥検出パラメータとを用いて、検査画像中からの欠陥検出を行う。欠陥検出パラメータは、後述する混合処理の際の画像混合比率などである。

ステップＳ７０８は、高画質画像推定ステップである。ステップＳ７０８では、上位制御装置３は、ステップＳ７０７で得た検査画像中の欠陥検出結果の欠陥位置情報と、高画質画像推定部２１７とを用いて、高画質画像推定を行う。即ち、上位制御装置３は、検査画像からモデルに基づいて欠陥観察用の高画質画像を推定して得る。推定された高画質画像は、検査画像および参照画像と同様に、対応付けて、画像記憶部２１０に保存される。このステップＳ７０８の推定では、セットアップ済み、またはステップＳ７０３でセットアップされた高画質画像推定モデルを用いてもよい。また、試料観察処理では、このステップＳ７０８で得られた高画質画像を用いて、高精度な欠陥検出や欠陥の観察、解析、計測、評価などを実施してもよい。ステップＳ７０５～Ｓ７０８の処理が全ての欠陥位置（ｉ）で行われると、本欠陥観察フローが終了する。

［１－７．ステップＳ７０７ 欠陥検出］
図８は、ステップＳ７０７の欠陥検出処理に関する説明図である。ステップＳ７０７で、欠陥検出部２１５は、検査画像８０１と参照画像８０２とのそれぞれに、ステップＳ８０５の前処理として、平滑化処理や、検出器１１１（３０１～３０５）で取得した画像の混合処理を行う。その後、ステップＳ８０８で、欠陥検出部２１５は、前処理された検査画像８０６と参照画像８０７との差分を計算し、その差分から第１の閾値を用いて二値化して二値化画像８０３を得る。

ステップＳ８０９で、欠陥検出部２１５は、二値化画像８０３における、第１の閾値より大きいと判定された領域８０４毎に、異常度を計算する。欠陥検出部２１５は、異常度が第２の閾値より大きい箇所を欠陥８１１として検出して、二値化画像８１０（言い換えると欠陥検出結果画像）を得る。異常度としては、例えば、二値化領域内の差分画像の輝度値の和を用いることができる。図８の処理において、前述の欠陥検出パラメータの例は、前処理中の平滑化処理の際の平滑化度合い、混合処理の際の画像混合比率、第１の閾値や第２の閾値などである。図８の例では、欠陥検出結果の二値化画像８１０として、１つの欠陥８１１が検出された場合を示しているが、欠陥が検出されない場合や複数の欠陥が検出される場合もある。

［１－８．ステップＳ７０２ 画像取得］
図９は、ステップＳ７０２の画像取得処理に係わる詳しいフローを示す。実施の形態１の試料観察装置１では、欠陥観察のために、欠陥位置（ｉ）毎に、欠陥部位を含む検査画像と、欠陥を含まない参照画像と、複数の高画質画像とが必要となる。そのため、このステップＳ７０２では、上位制御装置３は、検査画像取得部２０５と参照画像取得部２０４と高画質画像取得部２０６とを用いて、それらの画像（言い換えると学習用低画質画像、学習用参照画像、学習用高画質画像）を取得する。

高画質画像は、検査画像に対して欠陥検出を行って検出した欠陥位置（対応する欠陥候補）について、撮像パラメータ記憶部２１３に記憶された第２の撮像条件で撮像することで取得される。しかし、欠陥検出パラメータは、対象とする工程（半導体ウェハの製造工程）に調整されていないデフォルトパラメータである。デフォルトパラメータを用いて欠陥検出を行って検出された欠陥候補のうち、１つだけ（例えば異常度が最大となるもの）を撮像した場合、高画質画像中に欠陥が写り込まない可能性がある。そのため、実施の形態１では、検査画像から検出された欠陥候補毎に、撮像領域を変えながら、高画質画像を取得する。これにより、欠陥が写り込んだ高画質画像を取得する確率を高める。実施の形態１の試料観察装置１は、１枚の検査画像から複数の欠陥候補を検出した場合、欠陥候補毎に対応する高画質画像を撮像する。

図９のフローはステップＳ９０１～Ｓ９０６を有する。まず、ステップＳ９０１では、上位制御装置３は、撮像枚数決定部２０７を用いて、撮像枚数（Ｎとする）を決定する。この撮像枚数（Ｎ）は、高画質画像（学習用高画質画像）を撮像する最大枚数である。実施の形態１では、高画質画像を撮像する最大枚数は、撮像したい欠陥候補の数である。ステップＳ９０１では、プロセッサは、１つの検査画像に対応付けられる撮像枚数（Ｎ）を、ユーザによる入力（言い換えると設定）によって決定する。

図１０は、実施の形態１で、ステップＳ９０１の撮像枚数決定の際のＧＵＩの画面例を示す。ユーザは、この画面で、領域１００１に、高画質画像を撮像する最大枚数に対応した撮像枚数（Ｎ）を入力する。入力後、ユーザは、決定ボタンの領域１００２を押すことで、撮像枚数（Ｎ）を設定できる。この撮像枚数（Ｎ）は、撮像パラメータ記憶部２１３に記憶される。図１０の例では、Ｎ＝５である。

図９で、ステップＳ９０１の後、上位制御装置３は、欠陥位置（ｉ）毎に、ステップＳ９０２～Ｓ９０６のループ処理を行う。ステップＳ９０２は参照画像取得ステップである。ステップＳ９０２で、上位制御装置３は、参照画像取得部２０４を用いて、撮像パラメータ記憶部２１３に記憶された第１の撮像条件で、欠陥位置（ｉ）の参照画像（学習用参照画像）を取得する。ステップＳ９０３は検査画像取得ステップである。ステップＳ９０３で、上位制御装置３は、検査画像取得部２０５を用いて、撮像パラメータ記憶部２１３に記憶された第１の撮像条件で、欠陥位置（ｉ）の検査画像（学習用低画質画像）を取得する。ステップＳ９０２は前述のステップＳ７０５と同様の処理、ステップＳ９０３は前述のステップＳ７０６と同様の処理である。これらによって取得された画像は、画像記憶部２１０に保存される。

ステップＳ９０４は欠陥検出ステップである。ステップＳ９０４では、上位制御装置３２は、ステップＳ９０２およびステップＳ９０３で取得した検査画像および参照画像と、欠陥検出部２１５とを用いて、検査画像中からの欠陥検出処理を行う。ステップＳ９０４は前述のステップＳ７０７と同様の処理である。

次に、ステップＳ９０５で、上位制御装置３は、撮像点決定部２０８を用いて、複数の高画質画像の１以上の撮像点を決定する。撮像点をｊとし、ｊ＝１～Ｊとする。その後、ステップＳ９０６は、高画質画像撮像のループ処理である。このループ処理では、上位制御装置３は、高画質画像撮像部２０９を用いて、撮像点（ｊ）毎の高画質画像の取得を繰り返す。ステップＳ９０６で、上位制御装置３は、欠陥位置（ｉ）に対応付けられた撮像点（ｊ）における高画質画像を、撮像パラメータ記憶部２１３に記憶された第２の撮像条件で撮像することで、撮像点（ｊ）毎の複数の高画質画像を得る。得られた高画質画像は、画像記憶部２１０に保存される。全ての欠陥位置（ｉ）でのループ処理が完了すると、本画像取得フローが終了する。

［１－９．ステップＳ９０５ 撮像点決定］
図１１は、ステップＳ９０５の高画質画像撮像点決定処理に関するフローを示す。図１１のフローはステップＳ１１０１～１１０３を有する。まず、ステップＳ１１０１で、上位制御装置３は、検査画像（学習用低画質画像）中の欠陥候補の優先度を決定する。この優先度としては、例えば、欠陥検出のステップＳ７０７で用いた異常度を用いることができる。この異常度が大きいほど、検査画像と参照画像との差異が大きく、欠陥である確率が高いといえる。そのため、本例では、上位制御装置３は、この異常度が大きいほど、対応する欠陥候補の優先度を高くするように、計算・設定する。

次に、ステップＳ１１０２で、上位制御装置３は、優先度の高い欠陥候補を選択する。具体的には、上位制御装置３は、ステップＳ９０１で決定された撮像枚数（Ｎ）を、撮像パラメータ記憶部２１３から読み込み、優先度の高い順に、撮像枚数（Ｎ）に対応させた最大Ｎ個の欠陥候補を選択する。例えば、欠陥画像内の欠陥候補数が１００、撮像枚数（Ｎ）が１０である場合、１００個の欠陥候補から異常度の高い上位１０個の欠陥候補が選択される。また例えば、欠陥候補数が５、Ｎ＝１０である場合には、５個の欠陥候補が選択される。

次に、ステップＳ１１０３では、上位制御装置３は、ステップＳ１１０２で選択した最大Ｎ個の欠陥候補を撮像可能な１以上の撮像点（ｊ）を決定する。撮像点は、例えば学習用高画質画像の撮像領域の中心点に対応する撮像位置である。

［１－１０．ステップＳ１１０３ 撮像点決定］
図１２は、ステップＳ１１０３での高画質画像の撮像点の決定処理に関する説明図である。まず左側に示す検査画像１２０２について説明する。検査画像１２０２は、欠陥位置（ｉ）に応じた第１の撮像条件での検査画像である。図１２では、検査画像内の欠陥候補の位置を、欠陥候補１２０１のように、白色塗りつぶしの×印で表している。本例では、１つの検査画像１２０２内に、複数、例えば５個の欠陥候補１２０１が含まれている。本例のように、検査画像１２０２内で複数の欠陥候補１２０１が近在している場合を考える。高画質画像撮像領域１２０３は、欠陥候補１２０１を含んだ高画質画像を撮像する領域であり、矩形で図示している。

上位制御装置３は、各欠陥候補１２０１の位置座標を中心として、高画質画像撮像領域１２０３を決定する。すると、本例では、複数の欠陥候補１２０１が近在していることから、高画質画像撮像領域１２０３同士が大きく重なってしまう。例えば、ａ，ｂで示す２つの欠陥候補１２０１は相対的に近い位置にあり、それらに対応したＡ，Ｂで示す２つの高画質画像撮像領域１２０３は、相対的に重なる面積が大きい。この場合、重なった一部の領域を何度も撮像することになるので、撮像効率が悪く、結果、セットアップ時間が長くなってしまう。

そのため、実施の形態１では、右側に示す検査画像１２０４のように図１１の処理が行われる。上位制御装置３は、検査画像１２０４内で複数の欠陥候補１２０１が近在していることから、１つの高画質画像撮像領域１２０５内に複数の欠陥候補１２０１を内包できる場合には、それらの内包する複数の欠陥候補１２０１の重心を、高画質画像撮像点１２０６として決定する。高画質画像撮像点１２０６を、黒色塗りつぶしの×印で表している。高画質画像撮像領域１２０５は、高画質画像撮像点１２０６を中心とした矩形である。例えば、ａ，ｂで示す２つの欠陥候補１２０１については、それらに対応してｘで示す高画質画像撮像点１２０６が決定されて、Ｘで示す１つの高画質画像撮像領域１２０５が決定される。

上記処理により、左側の検査画像１２０２での５個の高画質画像撮像領域１２０３に対し、右側の検査画像１２０４での３個の高画質画像撮像領域１２０５が得られる。右側の検査画像１２０４では、高画質画像撮像領域１２０５同士の重なりが少なく、複数の欠陥候補１２０１（例えば５個）をより少ない枚数（例えば３枚）の高画質画像の撮像で捕捉可能となる。即ち、撮像効率が良く、結果、セットアップ時間を短くできる。

ステップＳ１１０２で選択した全ての欠陥候補を撮像可能な高画質画像撮像領域１２０５および高画質画像撮像点１２０６（＝ｊ）が決定された後、その撮像点（ｊ）の座標や個数等の情報は、撮像パラメータ記憶部２１３に記憶される。

［１－１１．ステップＳ７０３ モデル学習］
図１３は、ステップＳ７０３のモデル学習に関する、高画質画像推定モデルの構成例に関する説明図である。実施の形態１での高画質画像推定処理においては、検査画像と高画質画像との対応関係を機械学習する。そして、その機械学習したモデルを用いて、第１の撮像条件で撮像した検査画像または参照画像から第２の撮像条件で撮像した画像が推定される。

上位制御装置３は、ステップＳ９０３で撮像した検査画像に対し、ステップＳ９０５で決定した撮像点毎に、複数の高画質画像に対応する領域の切り出し・拡大処理を行い、切り出した画像と高画質画像との対を作成する。ここでは、検査画像から切り出した画像を、低画質画像と呼ぶ。低画質画像と高画質画像とのそれぞれは、同じ領域を含んでいるが、低画質画像は、撮像視野を拡大するような画像処理が施されている。そのため、この低画質画像は、高画質画像に比べて例えばぼやけた画像となる。

実施の形態１では、機械学習の実装方法として、公知の深層学習を用いる。具体的には、モデルとして、畳み込みニューラルネットワーク（ＣＮＮ）を用いる。図１３は、ＣＮＮの具体的な一例として、３層構造を持つニューラルネットワークを用いた例を示す。

図１３のＣＮＮにおいて、Ｙは、入力となる低画質画像を示し、Ｆ（Ｙ）は、出力である推定結果を示す。また、Ｆ１（Ｙ）およびＦ２（Ｙ）は、入力と推定結果との間の中間データを示す。中間データＦ１（Ｙ）および中間データＦ２（Ｙ）と推定結果Ｆ（Ｙ）は、下記の式１～式３によって算出される。
式１： Ｆ１（Ｙ）＝ｍａｘ（０，Ｗ１＊Ｙ＋Ｂ１）
式２： Ｆ２（Ｙ）＝ｍａｘ（０，Ｗ２＊Ｆ１（Ｙ）＋Ｂ２）
式３： Ｆ（Ｙ）＝Ｗ３＊Ｆ２（Ｙ）＋Ｂ３

ここで、記号＊は、畳み込み演算を示し、Ｗ１は、ｎ１個のｃ０×ｆ１×ｆ１サイズのフィルタを示し、ｃ０は、入力画像のチャネル数を示し、ｆ１は、空間フィルタのサイズを示す。図１３のＣＮＮでは、入力画像Ｙにｃ０×ｆ１×ｆ１サイズのフィルタをｎ１回畳み込むことで、ｎ１次元の特徴マップが得られる。Ｂ１は、ｎ１次元のベクトルであり、ｎ１個のフィルタに対応したバイアス成分である。同様に、Ｗ２は、ｎ２個のｎ１×ｆ２×ｆ２サイズのフィルタ、Ｂ２は、ｎ２次元のベクトル、Ｗ３は、ｃ３個のｎ２×ｆ３×ｆ３サイズのフィルタ、Ｂ３は、ｃ３次元のベクトルである。ｃ０とｃ３は、低画質画像と高画質画像のチャネル数により決まる値である。また、ｆ１、ｆ２、ｎ１、ｎ２は、学習シーケンス前にユーザが決定する。例えば、ｆ１＝９、ｆ２＝５、ｎ１＝１２８、ｎ２＝６４とすればよい。上記の各種のパラメータは、モデルパラメータの例である。

モデル学習のステップＳ７０３において、調整する対象となるモデルパラメータは、Ｗ１、Ｗ２、Ｗ３、Ｂ１、Ｂ２およびＢ３である。上位制御装置３は、第１の撮像条件で撮像した検査画像から画像領域を切り出して撮像視野が拡大された画像である低画質画像を、上記ＣＮＮのモデルの入力（Ｙ）とする。上位制御装置３は、第２の撮像条件で撮像した高画質画像を推定結果（Ｆ（Ｙ））として、上記ＣＮＮのモデルのパラメータを調整する。上位制御装置３は、モデルによる推定結果が高画質画像と整合するようなパラメータを、調整の結果として、高画質画像推定パラメータ記憶部２１２に記憶する。

上記モデルパラメータ調整においては、ニューラルネットワークの学習において一般的な誤差逆伝搬を用いればよい。また、推定誤差を算出する際に、取得した学習用画像対（上記低画質画像と高画質画像との対）の全てを用いてもよいが、ミニバッチ方式を採用してもよい。即ち、学習用画像対の中から数枚の画像をランダムに抜き出し、高画質画像推定処理パラメータを更新することを繰り返し実行してもよい。さらには、１つの学習用画像対からパッチ画像をランダムに切り出し、ニューラルネットワークの入力画像（Ｙ）としてもよい。これらにより、効率的な学習が可能である。なお、本例に示したＣＮＮの構成に限らず、他の構成を用いてもよい。例えば、層の数を変更してもよく、４層以上のネットワーク等を用いてもよいし、スキップコネクションを持つ構成にしてもよい。

［１－１２．ステップＳ７０４ パラメータ調整］
図１４は、ステップＳ７０４の欠陥検出パラメータ調整に関する詳しい処理フローを示す。図１４のフローはステップＳ１４０１～Ｓ１４０６を有する。ここでは、検査画像（学習用低画質画像）から高画質画像推定モデルを用いて推定した画像を、高画質検査画像（学習用高画質画像）と呼ぶ。本パラメータ調整では、上位制御装置３は、まず、欠陥位置（ｉ）の検査画像で詳細な欠陥位置を決定するために、欠陥位置（ｉ）に対応付けられた欠陥候補に対し、ステップＳ１４０１～Ｓ１４０３のループ処理を行う。欠陥候補をｋとし、ｋ＝１～Ｋとする。この際、高画質検査画像と、高画質検査画像に対応する高画質参照画像とを用いることで、高精度な欠陥位置の決定が可能となる。

［１－１３．ステップＳ１４０１ 高画質検査画像の取得］
図１５は、ステップＳ１４０１の高画質検査画像の取得処理に関する説明図である。図１５の１つの検査画像２９００では、複数の欠陥候補（ｋ）２９０１が含まれている。ステップＳ１４０１で、上位制御装置３は、ステップＳ９０４で検出した検査画像中の複数の欠陥候補（ｋ）について、高画質検査画像を取得する。具体的には、ｋ１で示す欠陥候補２９０１のように、欠陥候補の位置がステップＳ９０５で決定した高画質検査画像の撮像領域２９０２と重なっていた場合（言い換えると含まれている場合）には、その欠陥候補２９０１に対応する高画質検査画像がステップＳ９０６で取得されているため、画像記憶部２１０からその高画質検査画像が選択される。このような処理を、高画質検査画像の選択処理と記載する。

ステップＳ９０４で検出した欠陥候補の数が、ステップＳ９０１で決定した撮像枚数Ｎ（高画質画像を撮像する最大枚数）よりも多い場合、例えば図１５のｋ３で示す欠陥候補２９０３のように、優先度の低い欠陥候補では、その欠陥候補を含んだ高画質画像が撮像されていない。そこで、上位制御装置３は、このように欠陥候補の位置が高画質検査画像の撮像領域２９０２と重なっていない場合（含まれていない場合）には、高画質画像推定部２１７を用いて、高画質検査画像を推定する。このような処理を、高画質検査画像の推定処理と記載する。高画質検査画像の推定処理の詳細については後述する。

ステップＳ１４０１の後、ステップＳ１４０２で、上位制御装置３は、高画質検査画像に対応する高画質参照画像を取得する。高画質参照画像を取得する方法としては、参照画像から高画質参照画像を推定する方法や、高画質検査画像から高画質参照画像を合成する方法が適用できる。実施の形態１では、いずれの方法を適用しても構わない。これらの方法に対応した、高画質参照画像の推定処理と高画質参照画像の合成処理の詳細については後述する。

ステップＳ１４０２の後、ステップＳ１４０３では、上位制御装置３は、高画質検査画像と高画質参照画像とを用いて、欠陥弁別処理を行う。欠陥弁別処理では、例えば、高画質検査画像と高画質参照画像との比較で得られた異常度を、弁別の指標値として用いる。異常度が大きいほど、高画質検査画像と高画質参照画像との差分が大きい。そのため、上位制御装置３は、異常度が最大の高画質検査画像と対応する、検査画像の欠陥候補を、欠陥と判定する。欠陥弁別処理の指標値としては、異常度に限定されない。

次に、ステップＳ１４０４では、上位制御装置３は、ステップＳ１４０３で得た欠陥弁別結果から、検査画像中の欠陥位置の決定処理を行う。上位制御装置３は、欠陥弁別処理によって欠陥と判定された欠陥候補の検査画像上での位置を、欠陥位置として決定する。

全ての検査画像で詳細な欠陥位置が決定された後、ステップＳ１４０５で、上位制御装置３は、欠陥検出パラメータセット（ｐとする）毎に、検査画像中の欠陥位置を検出可能であるか評価する。実施の形態１では、この際の評価指標としては、ステップＳ１４０４で決定した欠陥位置の検出数を用いる。

最後に、ステップＳ１４０６で、上位制御装置３は、欠陥位置の検出数が最大の欠陥検出パラメータを、欠陥検出パラメータ記憶部２１１に記憶し、出力する。これにより、図１４のパラメータ調整フローが終了する。

［１－１４．高画質検査画像の推定処理］
図１６を用いて、上記高画質検査画像の推定処理について説明する。まず、上位制御装置３は、検査画像１５０１中の欠陥候補を中心に、破線で示す切り出し領域１５０２を決定し、画像切り出しのステップＳ１５０３を行う。本例では、欠陥候補は、図示のように縦ラインから横に少し出ている部分である。そして、上位制御装置３は、切り出された画像１５０４に対し、高画質画像推定部２１７を用いて、高画質検査画像推定のステップＳ１５０５を行うことで、高画質検査画像１５０６を推定して得る。

［１－１５．高画質参照画像を推定する方法］
図１７を用いて、上記高画質参照画像を推定する方法について説明する。まず、上位制御装置３は、検査画像１６０１を用いて、参照画像切り出し領域決定のステップＳ１６０２を行う。検査画像１６０１は、ステップＳ１４０１の際に高画質検査画像を取得した領域１６０３が含まれている。ここで、前述の高画質検査画像の選択処理が行われた場合には、選択された高画質画像の撮像領域が、領域１６０３として決定され、前述の高画質検査画像の推定処理が行われた場合には、図１６の画像切り出しのステップＳ１５０３での切り出し領域が、領域１６０３として決定される。

ステップ１６０２では、上位制御装置３は、欠陥位置（ｉ）での検査画像１６０１の欠陥候補（ｋ）で、ステップＳ１４０１の際に高画質検査画像を取得した領域１６０３と対応する切り出し領域１６０４を、検査画像１６０１に対応した参照画像１６０５から選択する。

切り出し領域１６０４の決定後、上位制御装置３は、画像切り出しのステップＳ１６０６を行う。ステップＳ１６０６は、図１６のステップＳ１５０３と同様の処理である。そして、上位制御装置３は、切り出した参照画像１６０７に対し、高画質画像推定部２１７を用いて、高画質参照画像推定のステップＳ１６０８を行うことで、高画質参照画像１６０９を得る。

［１－１６．高画質参照画像を合成する方法］
図１８を用いて、上記高画質参照画像を合成する方法について説明する。上位制御装置３は、ステップＳ１４０１で得た高画質検査画像１５０６に対し、ステップＳ１７０１で、高画質参照画像合成処理を行う。この合成処理は、例えば特許文献１に記載の参照画像合成処理を同様に適用可能である。これにより、欠陥を含まない高画質参照画像１７０２が合成される。なお、ここでの「合成」は、事前に参照画像を収集したデータベースを作成し、検査画像中の特徴的な領域をデータベースの類似領域との置き換えを実施する処理のことであるが、この処理に限らずに適用可能である。

［１－１７．ユーザインタフェース］
図１で、ユーザは、入出力端末６を用いて、実施の形態１の試料観察装置１を操作する。ユーザは、上位制御装置３のユーザインタフェース制御部１０６が提供するＧＵＩの画面を見て操作する。

図１９は、実施の形態１で、ステップＳ７０２の画像取得に関するＧＵＩの画面例を示す。本画面で、検査画像リストの領域１８０１には、画像取得が完了した検査画像のＩＤがリストで表示される。ユーザはリストからＩＤを選択できる。検査画像の領域１８０２には、リストで選択されたＩＤの検査画像が表示される。この際、チェックボックスの領域１８０３の「高画質画像撮像領域を表示」のチェックが選択された場合、領域１８０２には、高画質画像の撮像領域が、例えば破線の矩形で表示される。また、高画質画像の領域１８０４には、リストで選択されたＩＤの検査画像に係わる高画質検査画像（領域１８０２の高画質画像撮像領域と対応している）が表示される。例えば複数の高画質検査画像が並列で表示される。検出器（Detector）の領域１８０５では、前述の検出器１１１に対応した検出対象・画像種類が選択できる。

図２０は、前述のステップＳ７０３の高画質画像推定モデル学習とステップＳ７０４の欠陥検出パラメータ調整に関するＧＵＩの画面例を示す。本画面は、大別して、高画質画像推定の領域１９０１と、パラメータ調整の領域１９１０とを有する。高画質画像推定モデルの学習には、領域１９０１が用いられる。領域１９０２は、モデル学習を指示するボタンであり、高画質画像推定モデルの学習処理を実行するためにモデル学習部２１６を手動で呼び出すボタンである。領域１９０３は、高画質画像推定を指示するボタンであり、高画質画像推定部２１７を手動で呼び出すボタンである。領域１９０４には、検査画像が表示される。領域１９０５には、高画質画像推定部２１７を用いて推定された高画質画像が表示される。領域１９０６には、検査画像のＩＤのリストが表示される。領域１９０７には、領域１９０５の推定高画質画像との比較のために、取得された高画質画像が表示される。上位制御装置３は、画像記憶部２１０から取得高画質画像を読み込んでこの領域１９０７に表示する。

欠陥検出パラメータ調整には、領域１９１０が用いられる。領域１９１０内の上部の領域１９１１には、欠陥検出パラメータ（複数のパラメータ）がスライダー等の部品を用いて表示されている。本例では、ユーザが各パラメータ（＃１～＃４）のスライダー位置を変更することで、各パラメータ値を手動で調整可能である。また、各パラメータには、デフォルト値が、灰色のスライダーで表示されている。

領域１９１２は、自動調整を指示するボタンである。領域１９１２が押された場合、上位制御装置３は、パラメータ調整部２１８による処理を実行して欠陥検出パラメータを自動調整する。上位制御装置３は、調整後の欠陥検出パラメータの値に応じて、上部の領域１９１１の各パラメータのスライダーの値（位置）の表示を自動的に変更する。

領域１９１５には、検査画像の一覧がＩＤのリストで表示されており、検査画像における実欠陥の検出成否（ＯＫ／ＮＧ）が、「Ｒｕｎ１」、「Ｒｕｎ２」のような実行の項目毎に表示されている。領域１９１６には、検査画像における欠陥領域（欠陥部位を含む領域）が、破線で囲まれた領域として表示される。また、領域１９１６では、ユーザが手動で欠陥領域を指定することも可能である。領域１９１３は、欠陥領域追加を指示するボタンであり、欠陥領域を追加する処理を呼び出すボタンである。また、領域１９１４は、欠陥領域削除を指示するボタンであり、検査画像上の欠陥領域を削除する処理を呼び出すボタンである。領域１９１８は、欠陥の捕捉率を表示する領域である。領域１９１９は、パラメータ出力を指示するボタンであり、領域１９１０で設定された欠陥検出パラメータを欠陥検出パラメータ記憶部２１１に記憶する処理を呼び出すボタンである。

［１－１８．効果等］
以上のように、実施の形態１の試料観察装置および方法では、撮像装置２であるＳＥＭ１０１を用いて、欠陥位置情報８の欠陥座標毎に、検査画像、参照画像、および複数の高画質画像を取得し、検査画像と高画質画像とを用いて高画質画像推定モデルを学習し、高画質検査画像と高画質参照画像とを用いて欠陥検出パラメータを調整する。実施の形態１によれば、ユーザが簡易に欠陥検出に係わる精度を向上できる。実施の形態１によれば、高画質画像推定モデルの精度を向上でき、ＡＤＲ機能のレシピの作成に係わるユーザビリティも向上できる。実施の形態１によれば、欠陥位置情報８で示す欠陥位置毎に、複数の高画質画像が撮像可能となる。そのため、検査画像中の欠陥を高画質画像中に捕捉する可能性が向上するので、高画質推定モデルの精度が向上する。これにより、欠陥検出処理パラメータ調整の精度が向上する。また、欠陥観察に推定された高画質画像の精度が向上する。また、実施の形態１によれば、前述のような機能をユーザに提供し、ユーザは、前述のＧＵＩの画面を見ながら操作が可能であるため、欠陥観察作業時のユーザビリティが向上する。

なお、前述のステップＳ９０１に関して、図１０の画面でユーザが撮像枚数（Ｎ）を設定できる。これによる効果としては以下が挙げられる。機械学習のモデルを用いたＡＤＲ機能における、使用する画像の枚数に関して、一般的には、精度と処理時間とにトレードオフの関係がある。画像枚数を多くすれば精度を高くできるかもしれないが、処理時間が長くなる。そこで、実施の形態１では、ユーザが撮像枚数（Ｎ）を調整できることで、ユーザの好みの精度と処理時間とに調整しやすい。ユーザが撮像枚数（Ｎ）を可変に設定できる構成に限定されず、変形例としては、試料観察装置１を含むシステムが自動的に撮像枚数（Ｎ）を決定・設定する構成も可能である。

＜実施の形態２＞
図２１以降を用いて、実施の形態２について説明する。実施の形態２等における基本的な構成は実施の形態１と同様であり、以下では主に実施の形態２等における実施の形態１とは異なる構成部分について説明する。

実施の形態２では、検査画像から参照画像を生成する際に、低画質画像と高画質画像との両方を合成によって生成する。即ち、実施の形態２では、低画質検査画像から合成によって低画質参照画像を生成し、高画質検査画像から合成によって高画質参照画像を生成する。欠陥観察における画像取得時には、撮像する画像の枚数が少ないほど、取得時間が短縮され、スループットが向上する。実施の形態２では、参照画像を検査画像から生成することで、参照画像の撮像を省略して、欠陥観察を実施する。実施の形態２でのＧＵＩは、実施の形態１で説明した図１０、図１９、図２０のようなＧＵＩを同様に適用できる。

［２－１．参照画像取得部２００１］
図２１は、実施の形態２における、上位制御装置３の制御部１０２および演算部１０４により実現される機能ブロック構成を示す。実施の形態２の構成は、実施の形態１に対し主に異なる構成部分としては、参照画像取得部である。実施の形態２では、図２１のように、演算部１０４に、参照画像取得部２００１が構成されている。参照画像取得部２００１は、ＳＥＭ１０１の制御を行わずに演算処理のみを行うため、演算部１０４に構成されている。参照画像取得部２００１は、検査画像取得部２０５において第１の撮像条件で取得した検査画像を、記憶部１０３（図示省略。図２と同様）の画像記憶部２１０から読み込み、検査画像に対し、参照画像合成処理を実行することで、欠陥を含まない参照画像を取得する。参照画像合成処理は、例えば特許文献１に記載の参照画像合成処理と同様の処理を適用できる。

［２－２．全体処理］
実施の形態２の試料観察装置１で実行される欠陥観察方法について説明する。図２２は、実施の形態２の試料観察装置１の全体の処理・動作を示す。図２１のフローはステップＳ２１０１～Ｓ２１０８を有する。欠陥観察の開始時、ステップＳ２１０１（図７のＳ７０１に相当）では、欠陥検出処理に係わるレシピがセットアップ済みか判定される。セットアップされていない場合にはステップＳ２１０２、セットアップされている場合にはステップＳ２１０５へ移る。

ステップＳ２１０２では、上位制御装置３は、参照画像取得部２００１、検査画像取得部２０５、および高画質画像取得部２０６を用いて、高画質画像推定モデル学習および欠陥検出パラメータ調整で使用する画像を取得する。ステップＳ２１０３（図７のＳ７０３に相当）では、モデル学習が行われる。ステップＳ２１０４（図７のＳ７０４に相当）では、パラメータ調整が行われる。

レシピがセットアップ済みであった場合、または、ステップＳ２１０２～Ｓ２１０４によってセットアップされた後、欠陥位置情報８の欠陥位置（ｉ）毎に、ステップＳ２１０５～Ｓ２１０８のループ処理が行われる。ステップＳ２１０５（図７のＳ７０６に相当）では、上位制御装置３は、検査画像取得部２０５を用いて、欠陥位置（ｉ）における検査画像を取得する。ステップＳ２１０６では、上位制御装置３は、参照画像取得部２００１において、画像記憶部２１０から読み込んだ検査画像を用いて、参照画像合成処理を行って、参照画像を得る。得た参照画像は、画像記憶部２１０に保存される。ステップＳ２１０７（図７のＳ７０７に相当）では、欠陥検出が行われる。ステップＳ２１０８（図７のＳ７０８に相当）では、高画質画像推定が行われる。ステップＳ２１０５～Ｓ２１０８の処理が全ての欠陥位置（ｉ）で行われると、本欠陥観察フローが終了する。

［２－３．ステップＳ２１０２ 画像取得］
図２３は、ステップＳ２１０２の画像取得処理に関するフローを示す。上位制御装置３は、検査画像取得部２０５と参照画像取得部２００１と高画質画像取得部２０６とを用いて、この画像取得処理を行う。まず、ステップＳ２２０１（図９のＳ９０１に相当）では、上位制御装置３は、撮像枚数（Ｎ）（高画質画像を撮像する最大枚数）を決定する。ステップＳ２２０１の後、欠陥位置情報８の欠陥位置（ｉ）毎に、ステップＳ２２０２～Ｓ２２０６のループ処理が行われる。

ステップＳ２２０２（図９のＳ９０３に相当）では、上位制御装置３は、欠陥位置（ｉ）の検査画像を、撮像パラメータ記憶部２１３に記憶された第１の撮像条件で取得する。ステップＳ２２０３では、上位制御装置３は、参照画像取得部２００１において、画像記憶部２１０から読み込んだ検査画像を用いて、欠陥位置（ｉ）の参照画像を合成する。ステップＳ２２０３は、前述のステップＳ２１０６と同様の処理である。合成された参照画像は、画像記憶部２１０に保存される。

次に、ステップＳ２２０４（図９のＳ９０４に相当）では、上位制御装置３は、欠陥検出を行い、ステップＳ２２０５（図９のＳ９０５に相当）では、高画質画像の撮像点（ｊ）を決定する。撮像点（ｊ）が決定された後、ステップＳ２２０６（図９のＳ９０６に相当）で、上位制御装置３は、欠陥位置（ｉ）での撮像点（ｊ）における高画質画像を、撮像パラメータ記憶部２１３に記憶された第２の撮像条件で撮像する。撮像した高画質画像は、画像記憶部２１０に保存される。全ての欠陥位置でステップＳ２２０２～Ｓ２２０６の処理が完了すると、本画像取得フローが終了する。

［２－４．効果等］
以上のように、実施の形態２によれば、検査画像のみを撮像することで、参照画像の合成が可能となる。そのため、実施の形態２によれば、参照画像の撮像を省略でき、欠陥観察に係わるスループットを向上できる。

＜実施の形態３＞
図２４以降を用いて、実施の形態３について説明する。前述の実施の形態１および２では、高画質画像推定モデル学習や欠陥検出パラメータの調整において検査画像中の欠陥を検出するために、参照画像を利用する方法について述べた。実施の形態３では、検査画像の全領域を高画質画像で撮像することで、参照画像を必要としない欠陥観察を実現する。実施の形態３では、参照画像の取得が省略されるので、欠陥観察に係わるスループットが向上する。実施の形態３でのＡＤＲ処理は、機械学習を用いて実現される。実施の形態３でのＧＵＩは、前述の実施の形態１のＧＵＩを同様に適用できる。

［３－１．機能ブロック］
図２４は、実施の形態３で、上位制御装置３の制御部１０２および演算部１０４の機能ブロック構成を示す。実施の形態３で主に異なる構成部分は、制御部１０２および演算部１０４における構成であり、まず、制御部１０２または演算部１０４に参照画像取得部を有さない。また、高画質画像取得部２３０１の構成も異なり、撮像枚数決定部を有さない。そして、実施の形態３では、撮像枚数決定部を不要とするように、制御部１０２の高画質画像取得部２３０１内に、撮像点決定部２３０２を備える。加えて、欠陥検出部２３０３の処理・動作も、実施の形態１および２とは異なるため、パラメータ調整部２３０４の処理・動作も異なる。

［３－２．欠陥観察］
実施の形態３の試料観察装置１で実行される欠陥観察方法について説明する。図２５は、実施の形態３の試料観察装置１の全体の処理・動作を示す。欠陥観察の開始時、ステップＳ２５０１（図７のＳ７０１に相当）において、欠陥検出処理に係わるレシピがセットアップ済みか判定される。セットアップされていない場合にはステップＳ２５０２、セットアップされている場合にはステップＳ２５０５へ移る。ステップＳ２５０２では、上位制御装置３は、検査画像取得部２０５および高画質画像取得部２３０１を用いて、高画質画像推定モデル学習および欠陥検出パラメータ調整で使用する画像を取得する。続いて、ステップＳ２５０３（図７のＳ７０３に相当）でモデル学習が行われ、続いて、ステップＳ２５０４（図７のＳ７０４に相当）でパラメータ調整が行われる。なお、実施の形態３で、ステップＳ２５０３のモデル学習では、実施の形態１と同様のモデル（ここでは第１モデルとする）を使用する。ステップＳ２５０４のパラメータ調整は、ステップＳ２５０６の欠陥検出処理に係わるパラメータの調整である。

レシピがセットアップ済みであった場合、または、ステップＳ２５０２～Ｓ２５０４によってセットアップされた後、欠陥位置情報８の欠陥位置（ｉ）毎に、ステップＳ２５０５～Ｓ２５０７のループ処理が行われる。ステップＳ２５０５（図７のＳ７０６に相当）では、上位制御装置３は、検査画像取得部２０５を用いて、欠陥位置（ｉ）での検査画像を、撮像パラメータ記憶部２１３に記憶された第１の撮像条件で取得する。ステップＳ２５０６では、上位制御装置３は、欠陥検出部２３０３を用いて、検査画像中の欠陥を検出する。実施の形態３で、ステップＳ２５０６の欠陥検出処理では、ステップＳ２５０３の第１モデルとは別のモデル（ここでは第２モデルとする）を使用する。ステップＳ２５０６の欠陥検出処理は、実施の形態１での画像処理による欠陥検出処理とは異なり、機械学習による欠陥検出処理であるため、機械学習の第２モデルを使用する。ステップＳ２５０７（図７のＳ７０８に相当）では、上位制御装置３は、高画質画像を推定する。ステップＳ２５０５～Ｓ２５０７の処理が全ての欠陥位置で行われると、本欠陥観察フローが終了する。

［３－３．ステップＳ２５０２ 画像取得］
図２６は、ステップＳ２５０２の画像取得処理のフローを示す。上位制御装置３は、検査画像取得部２０５と高画質画像取得部２３０１とを用いて、この画像取得処理を行う。実施の形態３の試料観察装置１は、欠陥位置情報８の欠陥位置（ｉ）毎に、欠陥部位を含む検査画像と、検査画像の撮像範囲を全て撮像するように撮像範囲を決定した複数の高画質画像とが必要となる。そのため、ステップＳ２５０２では、それらの画像が取得される。

実施の形態３では、撮像枚数（Ｎ）は、検査画像と高画質画像との撮像範囲（言い換えると視野範囲）の大きさの比によって決定される（後述）。そのため、画像取得のステップＳ２５０２において、ユーザによる撮像枚数（Ｎ）の決定は必要としない。このステップＳ２５０２では、欠陥位置情報８の欠陥位置（ｉ）毎に、ステップＳ２６０１～Ｓ２６０３のループ処理が実行される。

検査画像取得のステップＳ２６０１（図９のＳ９０３に相当）では、上位制御装置３は、検査画像取得部２０５を用いて、欠陥位置（ｉ）の検査画像を、撮像パラメータ記憶部２１３に記憶された第１の撮像条件で取得する。ステップＳ２６０１は前述のステップＳ７０６と同様である。取得した画像は、画像記憶部２１０に保存される。

その後、ステップＳ２６０２で、上位制御装置３は、撮像点決定部２３０２を用いて、高画質画像の撮像点（ｊ）を決定する。このステップＳ２６０２では、実施の形態１および２とは異なり、上位制御装置３は、検査画像の撮像範囲を全て撮像できる最小個数の撮像点（ｊ）を決定する。ステップＳ２６０２の詳細については後述する。

撮像点（ｊ）が決定された後、ステップＳ２６０３（図９のＳ９０６に相当）では、上位制御装置３は、高画質画像撮像部２０９を用いて、欠陥位置（ｉ）に対応した撮像点（ｊ）における高画質画像を、撮像パラメータ記憶部２１３に記憶された第２の撮像条件で撮像する。撮像した高画質画像は、画像記憶部２１０に保存される。全ての欠陥位置でステップＳ２６０１～Ｓ２６０３の処理が完了すると、本画像取得フローが終了する。

［３－４．ステップＳ２６０２ 撮像点決定］
図２７は、実施の形態３で、ステップＳ２６０２の撮像点決定処理に関する説明図である。図２７では、検査画像と高画質画像とにおける撮像範囲（視野範囲）のサイズ比率が２である例を示している。本例では、検査画像２７０１は正方形とし、横のサイズ（画素数で表せる）をＳＸ１で示す。高画質画像（破線で示す）は正方形とし、横のサイズをＳＸ２とし、ＳＸ１の半分とする。例えば、サイズ比は、ＳＸ１：ＳＸ２であり、サイズ比率は、ＳＸ１／ＳＸ２＝２である。

図２７の検査画像２７０１を用いて撮像点の決定を行う場合、上位制御装置３は、検査画像２７０１の縦と横をそれぞれサイズ比率（＝２）と同じ数に分割した領域２７０２を構成する。本例では検査画像２７０１の全領域をカバーする４個の領域２７０２が構成される。そして、上位制御装置３は、これらの領域２７０２を高画質画像領域として撮像できるように、×印で示す複数（４個）の撮像点（ｊ）２７０３を決定する。

［３－５．ステップＳ２５０６ 欠陥検出］
図２８は、ステップＳ２５０６の欠陥検出処理に関する説明図である。実施の形態３での欠陥検出処理においては、機械学習のモデルを使用して、検査画像の欠陥検出が行われる。実施の形態３での欠陥検出の機械学習の実装方法としては、公知の深層学習を用いる。具体的には、図２８のようなＣＮＮを用いる。実施の形態３での欠陥検出では、出力を欠陥検出結果画像（Ｇ（Ｚ））とする。欠陥検出結果画像は、欠陥として検出された領域を示す二値画像であり、８ビットグレースケール画像の場合、例えば、欠陥検出領域の画素値が２５５、それ以外の領域の画素値が０となる。出力された欠陥検出結果画像は、画像記憶部２１０に保存される。

図２８で、Ｚは、入力となる検査画像を示し、Ｇ（Ｚ）は、推定結果としての出力となる欠陥検出結果画像である。また、Ｇ１（Ｚ）およびＧ２（Ｚ）は、入力と推定結果との間の中間データを示す。中間データＧ１（Ｚ）および中間データＧ２（Ｚ）と推定結果である欠陥検出結果画像Ｇ（Ｚ）は、下記の式４～式６によって算出される。
式４： Ｇ１（Ｚ）＝ｍａｘ（０，Ｖ１＊Ｚ＋Ａ１）
式５： Ｇ２（Ｚ）＝ｍａｘ（０，Ｖ２＊Ｇ１（Ｚ）＋Ａ２）
式６： Ｇ（Ｚ）＝Ｖ３＊Ｇ２（Ｚ）＋Ａ３

ここで、記号＊は、畳み込み演算を示し、Ｖ１は、ｍ１個のｄ０×ｇ１×ｇ１サイズのフィルタを示し、ｄ０は、入力画像のチャネル数を示し、ｇ１は、空間フィルタのサイズを示す。入力画像Ｚにｄ０×ｇ１×ｇ１サイズのフィルタをｍ１回畳み込むことで、ｍ１次元の特徴マップが得られる。Ａ１は、ｍ１次元のベクトルであり、ｍ１個のフィルタに対応したバイアス成分である。同様に、Ｖ２は、ｍ２個のｍ１×ｇ２×ｇ２サイズのフィルタ、Ａ２は、ｍ２次元のベクトル、Ｖ３は、１個のｍ２×ｇ３×ｇ３サイズのフィルタ、Ａ３は、１次元のベクトルである。ｇ１、ｇ２、ｍ１、ｍ２は、欠陥検出前にユーザが決定する値であり、例えば、ｇ１＝９、ｇ２＝５、ｍ１＝１２８、ｍ２＝６４とすればよい。

実施の形態３でのパラメータ調整部２３０４において、調整を行う対象となるモデルパラメータは、Ｖ１、Ｖ２、Ｖ３、Ａ１、Ａ２およびＡ３である。上記ＣＮＮの構成には限定されない。

［３－６．ステップＳ２５０４ パラメータ調整］
図２９は、ステップＳ２５０４の欠陥検出パラメータ調整処理に関するフローを示す。図２９はステップＳ２８０１～Ｓ２８０５を有する。実施の形態３でのパラメータ調整では、まず欠陥位置（ｉ）の検査画像で詳細な欠陥位置を決定するために、高画質画像の撮像点（ｊ）に対し、高画質検査画像選択のステップＳ２８０１、および欠陥弁別のステップＳ２８０２が行われる。ステップＳ２８０１では、画像取得のステップＳ２５０２で検査画像の全領域に対応する高画質画像が取得されているため、高画質画像の選択処理のみが行われる。ステップＳ２８０２では、上位制御装置３は、高画質検査画像を用いて欠陥弁別処理を行う。実施の形態３での欠陥弁別処理では、欠陥検出部２３０３において、高画質検査画像を用いて、高画質検査画像に対応する欠陥検出結果画像を取得する。この際に、欠陥検出パラメータは、まだ対象の製造工程に対して調整されていない。そのため、例えば、以前に異なる製造工程で調整した欠陥検出パラメータを用いて、高画質検査画像に欠陥検出処理を適用する。

ステップＳ２８０３（図１４のＳ１４０４に相当）では、上位制御装置３は、ステップＳ２８０２で得られた、高画質検査画像の欠陥検出結果画像を用いて、検査画像中の欠陥位置の決定処理を行う。ステップＳ２８０４では、上位制御装置３は、ステップＳ２８０３で決定した検査画像上の詳細な欠陥位置を用いて、検査画像と対応する欠陥検出結果画像を作成する。作成された欠陥検出結果画像は画像記憶部２１０に保存される。

全ての検査画像で、対応する欠陥検出結果画像を作成した後、最後に、ステップＳ２８０５（図１４のＳ１４０６に相当）で、上位制御装置３は、前述のモデルを用いて、検査画像を入力とし、欠陥検出結果画像を推定結果として、欠陥検出パラメータを調整する。このステップ２８０５での図２８のＣＮＮを用いた処理は、前述の図１３のＣＮＮを用いた処理と同様に、各種の方式を適用でき、効率化等が可能である。上記ニューラルネットワークの学習が終了した後、上位制御装置３は、欠陥検出パラメータを、調整の結果として、欠陥検出パラメータ記憶部２１１に記憶し、本パラメータ調整のフローが終了する。

［３－７．効果等］
以上のように、実施の形態３によれば、参照画像を取得しない高画質画像推定モデルの学習とパラメータ調整を行うことで、参照画像の取得が省略可能となり、試料観察装置のスループットを向上可能である。

以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。

１…試料観察装置（レビューＳＥＭ）、２…撮像装置、３…上位制御装置（コンピュータシステム）、４…記憶媒体装置、５…欠陥分類装置、６…入出力端末、７…検査装置、８…欠陥位置情報、９…試料（半導体ウェハ）、１０１…ＳＥＭ、１０１…制御部。

Claims (10)

1. 撮像装置と、
   高画質画像推定モデルを学習する学習処理と、欠陥検出を行う試料観察処理と、を実行するプロセッサと、
   を備える試料観察装置であって、
   （Ａ）前記学習処理は：
   （Ａ１）学習用試料に関する１以上の学習用欠陥位置を取得し、
   （Ａ２）前記学習用欠陥位置毎に、第１の撮像条件での学習用低画質画像を取得し、
   （Ａ３）学習用高画質画像の撮像枚数に係る第１設定値を取得し、
   （Ａ４）前記学習用欠陥位置毎に：
   （Ａ４ａ）前記第１設定値に基づいて、前記学習用高画質画像の撮像枚数を決定し、
   （Ａ４ｂ）（Ａ４ａ）で決定した撮像枚数に基づいて、前記学習用高画質画像を撮像する位置である、１以上の撮像点を決定し、
   （Ａ４ｃ）（Ａ４ｂ）で決定した１以上の前記撮像点の各々について、第２の撮像条件での前記学習用高画質画像を取得し、
   （Ａ５）前記学習用低画質画像、および前記学習用高画質画像を用いて、前記高画質画像推定モデルを学習し、
   （Ａ６）前記高画質画像推定モデルを用いて、欠陥検出パラメータを調整し、
   （Ｂ）前記試料観察処理は、調整後の前記欠陥検出パラメータに基づいて：
   （Ｂ１）前記第１の撮像条件で、観察対象試料の欠陥位置の第１検査画像を取得し、
   （Ｂ２）前記第１検査画像に基づいて、前記観察対象試料の欠陥候補を検出する、
   試料観察装置。
2. 請求項１記載の試料観察装置において、
   前記プロセッサは、ユーザによる入力に基づいて、前記撮像枚数に係わる前記第１設定値を設定する、
   試料観察装置。
3. 請求項１記載の試料観察装置において、
   前記プロセッサは、前記撮像点を決定する際に、
   前記学習用低画質画像中の欠陥候補の特徴量に基づいて、前記欠陥候補毎の優先度を決定し、
   前記欠陥候補毎の優先度に基づいて、前記撮像枚数以下となるように、前記学習用低画質画像の複数の欠陥候補から前記第２の撮像条件で撮像する複数の欠陥候補を選択し、
   前記選択した複数の欠陥候補を撮像するための前記撮像点を決定する、
   試料観察装置。
4. 請求項３記載の試料観察装置において、
   前記プロセッサは、前記撮像点を決定する際に、
   前記学習用低画質画像中にいくつかの欠陥候補が近在している場合に、前記撮像点を中心とした領域が、前記いくつかの欠陥候補を内包する１つの領域となるように、前記撮像点を決定する、
   試料観察装置。
5. 請求項１記載の試料観察装置において、
   前記学習処理は、
   前記学習用欠陥位置毎に、前記第１の撮像条件で、前記学習用低画質画像に対応付けられた、欠陥を含まない学習用参照画像を取得し、
   前記学習用参照画像を用いて、前記モデルを学習し、
   前記試料観察処理は、
   前記観察対象試料の欠陥位置毎に、前記第１の撮像条件で、前記第１検査画像に対応付けられた、欠陥を含まない第１参照画像を取得し、
   前記第１検査画像と前記第１参照画像との比較に基づいて、前記欠陥候補の位置および特徴量を算出する、
   試料観察装置。
6. 請求項５記載の試料観察装置において、
   前記プロセッサは、
   前記学習用参照画像を取得する際に、前記第１の撮像条件で前記撮像装置により撮像することで前記学習用参照画像を取得し、
   前記第１参照画像を取得する際に、前記第１の撮像条件で前記撮像装置により撮像することで前記第１参照画像を取得する、
   試料観察装置。
7. 請求項５記載の試料観察装置において、
   前記プロセッサは、
   前記学習用参照画像を取得する際に、前記学習用低画質画像から前記学習用参照画像を合成し、
   前記第１参照画像を取得する際に、前記第１検査画像から前記第１参照画像を合成する、
   試料観察装置。
8. 請求項５記載の試料観察装置において、
   前記プロセッサは、前記欠陥検出パラメータの調整の際に、
   前記学習用低画質画像から、前記欠陥候補について、画像を切り出し、
   切り出された前記画像から、前記高画質画像推定モデルを用いて前記学習用高画質画像を推定し、または、前記取得された学習用高画質画像から前記欠陥候補を含んだ学習用高画質画像を選択し、
   前記学習用参照画像から、前記欠陥候補に対応付けられた位置について、前記高画質画像推定モデルを用いて前記学習用参照画像を推定し、または、前記学習用高画質画像から前記学習用参照画像を合成し、
   前記学習用高画質画像と前記学習用参照画像とを用いて、前記欠陥候補について、欠陥か否かを弁別することで、前記学習用高画質画像中の欠陥位置を決定し、
   決定された前記欠陥位置を検出可能なパラメータを評価に基づいて選択する、
   試料観察装置。
9. 請求項８記載の試料観察装置において、
   前記プロセッサは、前記学習用低画質画像、前記学習用高画質画像、前記第１検査画像からの前記高画質画像推定モデルによる高画質検査画像の推定結果、前記欠陥検出パラメータの調整結果、および、前記欠陥検出パラメータの調整後の前記第１検査画像中の検出された欠陥候補に対応した欠陥位置を画面に表示させる、
   試料観察装置。
10. 撮像装置と、高画質画像推定モデルを学習する学習処理と、欠陥検出を行う試料観察処理と、を実行するプロセッサと、を備える試料観察装置における、試料観察方法であって、
    前記試料観察装置により実行されるステップとして、
    （Ａ）前記学習処理は：
    （Ａ１）学習用試料に関する１以上の学習用欠陥位置を取得し、
    （Ａ２）前記学習用欠陥位置毎に、第１の撮像条件での学習用低画質画像を取得し、
    （Ａ３）学習用高画質画像の撮像枚数に係る第１設定値を取得し、
    （Ａ４）前記学習用欠陥位置毎に：
    （Ａ４ａ）前記第１設定値に基づいて、前記学習用高画質画像の撮像枚数を決定し、
    （Ａ４ｂ）（Ａ４ａ）で決定した撮像枚数に基づいて、前記学習用高画質画像を撮像する位置である、１以上の撮像点を決定し、
    （Ａ４ｃ）（Ａ４ｂ）で決定した１以上の前記撮像点の各々について、第２の撮像条件での前記学習用高画質画像を取得し、
    （Ａ５）前記学習用低画質画像、および前記学習用高画質画像を用いて、前記高画質画像推定モデルを学習し、
    （Ａ６）前記高画質画像推定モデルを用いて、欠陥検出パラメータを調整し、
    （Ｂ）前記試料観察処理は、調整後の前記欠陥検出パラメータに基づいて：
    （Ｂ１）前記第１の撮像条件で、観察対象試料の欠陥位置の第１検査画像を取得し、
    （Ｂ２）前記第１検査画像に基づいて、前記観察対象試料の欠陥候補を検出する、
    試料観察方法。

Images