JP4844157B2

JP4844157B2 - 走査型顕微鏡

Info

Publication number: JP4844157B2
Application number: JP2006042660A
Authority: JP
Inventors: 豊佐々木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-02-20
Filing date: 2006-02-20
Publication date: 2011-12-28
Anticipated expiration: 2026-02-20
Also published as: JP2007219406A

Description

本発明は、走査型顕微鏡に関する。

従来、励起光を試料上で二次元的に走査し、試料からの蛍光をピンホールを介して検出する走査型顕微鏡が知られている。この走査型顕微鏡では、ピンホールによって焦点面以外から発せられる蛍光を除去することができるため、試料の光軸方向の薄い断面の画像を測定することができる。これによって、試料の位置を光軸方向にずらして複数の画像を取得し、試料の立体的な形状を測定することが可能である（例えば、特許文献１参照）。
特開平１１−２９５０５１号公報

しかしながら、細胞などの生体試料は、細胞の立体的な形状が時間的に変化するので測定するたびに光軸方向の測定範囲を設定しなければならないと言う問題がある。

本発明は、上記課題に鑑みて行われたものであり、試料の立体的な形状が時間的に変化する場合でも、光軸方向に試料が存在する範囲で試料の画像を取得することができる走査型顕微鏡を提供することを目的とする。

上記課題を解決するために、本発明は、対物レンズと、試料を載置するステージと、照明光を前記試料上で走査する走査手段と、前記試料と共役な位置に配置されたピンホールと、前記ピンホールを介して前記試料を検出する検出器とを有する走査型顕微鏡において、前記対物レンズと前記ステージとを相対的に移動する駆動手段と、前記駆動手段により駆動された結果、前記対物レンズの光軸方向の任意位置において前記検出器からの信号を取得し、前記試料の画像データを生成する画像生成手段と、前記画像生成手段からの画像データに基づき、前記試料の注視すべき注視領域を設定する注視領域設定手段と、前記注視領域設定手段で設定された注視領域の画像データに基づき、前記試料の有無を判定する基準値を設定する基準値設定手段と、前記駆動手段により前記対物レンズと前記ステージとを相対的に駆動し、前記画像生成手段により前記光軸方向の異なる位置における複数の前記画像データを取得し、前記注視領域の画像データと前記基準値設定手段で設定された基準値とを比較することで、前記試料が存在しないと判断したときに前記駆動手段を停止制御する制御手段とを備えたことを特徴とする走査型顕微鏡を提供する。

本発明によれば、試料の立体的な形状が時間的に変化する場合でも、光軸方向に試料が存在する範囲で試料の画像を取得することができる走査型顕微鏡を提供することができる。

以下、本発明の実施の形態に関し図面を参照しつつ説明する。

図１は、本発明の実施の形態にかかる走査型顕微鏡の概略構成図を示す。

図１において、レーザー光源１から射出されたレーザー光は、ダイクロイックミラー２で対物レンズ４方向に反射され、試料（シャーレ内で培養された細胞）５上を二次元に走査する二次元スキャナ３に入射する。二次元スキャナ３で二次元走査されたレーザー光は対物レンズ４に入射し、ステージ（ＸＹＺ方向に移動するステージ）６に載置された試料５に集光される。試料５上で集光されたレーザー光は、試料５に予め含まれている蛍光色素を励起して蛍光光が試料５から発せられる。なお、対物レンズ４とステージ６とは相対的に光軸方向に移動できれば、どちらが駆動されても良い。

試料５で発せられた蛍光光は、対物レンズ４で集光され、二次元スキャナ３でデスキャンされてダイクロイックミラー２に入射する。ダイクロイックミラー２に入射した蛍光光は、ダイクロイックミラー２を透過して試料５と共役な位置に配設されたピンホール７に入射する。ピンホール７は対物レンズ４の焦点位置と共役な位置に配設されているため、光軸上の位置として、集光されたレーザー光の焦点位置より手前あるいは奥の位置で励起された蛍光光を通さず、焦点位置で励起された蛍光光のみを通過させる。

ピンホール７を通過した蛍光光は、光電子倍増管８に入射する。光電子倍増管８は、受光した光強度を電気信号に変換し、コンピュータ９に送出する。コンピュータ９は、受信した電気信号をＡ／Ｄ変換しデジタルデータにする。このデジタルデータを二次元スキャナ３の走査に同期して二次元に配置することで、コンピュータ９内に焦点位置のみの情報を持った二次元画像データを取得することができる。

コンピュータ９は、二次元画像データを取得した後、ステージ６に光軸方向に一定量移動する命令を伝達する。この命令を受けてステージ６は、光軸方向に一定量移動する。移動が完了後、二次元画像データ取得を行うことで焦点位置の異なる二次元画像データを取得することができる。

この様に、「ステージ６を光軸方向に一定量移動する」、「二次元画像データ取得を行う」と言う操作を繰り返すことで、焦点位置の異なる複数の二次元画像データを取得することができる。対物レンズ４から射出したレーザー光の焦点位置は不変であり。ステージ６の光軸位置が変化すると相対的に試料５上での焦点位置が変化する。この結果、取得されたそれぞれの二次元画像データは、それぞれの試料５の位置に対応した焦点位置の情報を持つ二次元画像データとなる。

使用者は、後述するようにプレビュー画像を取得し、コンピュータ９は取得された二次元画像データについて後述する方法で最小コントラスト値を求める。コンピュータ９は、本画像取得後に求められたコントラスト値が、使用者が設定した最小コントラスト値を下回っていた場合、「ステージ６を光軸方向に一定量移動する」、「二次元画像データ取得を行う」と言う繰り返し処理を中止し、複数枚の二次元画像データの取得を終了する。

この様にして取得されたそれぞれの二次元画像データは、コンピュータ９のメモリに記憶される。また、取得した、あるいは記憶されている二次元画像データをコンピュータ９で処理し、モニター１０に二次元画像表示、あるいは三次元画像表示して蛍光像を観察することができる。この様にして、倒立型の走査型顕微鏡１００が構成されている。

なお、本実施の形態にかかる走査型顕微鏡では、ダイクロイックミラー２は、レーザー光を反射し蛍光光を透過する特性を有するものであるが、ダイクロイックミラー２としてダイクロイックイミラーと蛍光フィルタが組となったフィルターセットを用いることも可能である。また、レーザー光源１は１個に限らず複数の波長のレーザー光源を照明光学系の光軸に切替えて入射するように構成することも可能である。

次に、取得された二次元画像データからコントラスト値を計算する方法の例を示す。図２（ａ）は、垂直方向コントラスト計算フィルタの一例を、図２（ｂ）は、水平方向コントラスト計算フィルタを、図２（ｃ）は、ラプラシアンフィルタをそれぞれ示している。

上述の測定で取得された二次元画像データ中の注目画素をｎとする。注目画素ｎの近傍の画素について図２（ａ）に示す垂直方向コントラスト計算フィルタを行列演算で掛け合わせる。その結果を注目画素ｎの垂直方向コントラスト値Ｖｎとする。

同様に、図２（ｂ）に示す水平方向コントラスト計算フィルタを行列演算で掛け合わせた結果を注目画素ｎの水平方向コントラスト値Ｖｈとする。

続いて、Ｖｎ、およびＶｈそれぞれを二乗して加えた値を注目画素ｎのコントラスト値とする。

全ての画素（例えば、ｍ個とする）についてコントラスト値を計算し、ｍ個のコントラスト値を合計する。この合計したコントラスト値を全ての画素数（ｍ）で割った値がその二次元画像データのコントラスト値となる。

さらに、このコントラスト値を画像データの取り得る最大値（例えば、デジタルデータが８ビットの場合は２５５）の二乗を２倍した値で割り、０から１までのデータとして正規化する。この様にすることで、デジタルデータのビット数が異なる場合（例えば、１０ビットの場合）にも対応できる。

本実施の形態においては、コントラスト値の計算に垂直方向コントラスト計算フィルタと水平方向コントラスト計算フィルタを用いる場合を説明したが、図２（ｃ）に示すラプラシアンフィルタを用いて計算することも可能である。ラプラシアンフィルタを用いる場合は、取得された二次元画像データの注目画素ｎとその近傍の画素についてラプラシアンフィルタを行列演算で掛け合わせ、その結果を二乗したものを注目画素ｎのエッジ値Ｅｎとし、前述の正規化処理は、全ての画素数（ｍ）の二乗を４倍したもので割ることで対応できる。なお、コントラスト値の計算に用いるフィルタは上述の垂直方向コントラスト計算フィルタ、水平方向コントラスト計算フィルタ、あるいはラプラシアンフィルタ以外のフィルタを用いても良い。

また、コンピュータ９でコントラスト値を計算する画像データの範囲を設定するようにすることで、コントラスト値の計算量を減らすことが可能になり、処理の高速化が可能になる。さらに、画面内に複数の細胞が存在している場合、ある特定の細胞のみに注目して複数枚の二次元画像データを取得することができる。

また、背景に対応する画素のうちコントラスト値がゼロに近いデータ、あるいはコントラスト値が飽和してしまい白とびしたデータが、計算で求めるコントラスト値に与える影響を除去するため、予め（プレビュー時等）取得された二次元画像データに対して輝度値のヒストグラム解析を行い、図３に示すようなヒストグラム解析を用いて背景の画素の閾値値Ａおよび飽和した画素の閾値値Ｂを決定する。

図３において、横軸は画素の輝度値を０から２５５の段階で示す。縦軸は、輝度値の出現頻度を示す。

本発明の実施の形態にかかる走査型顕微鏡１００の場合は、蛍光画像の背景は暗いので（画素データとしては値が小さくほぼセロ付近の値となる）、例えば、コントラスト計算に使用する画素を決めるために、画素データの輝度値が下限値Ａを下回る背景の画素データと見なして使用しない。図３の例では、０〜２５５のうち輝度値１８と言う値を設定した例を示している。同様に、コントラスト計算に使用しない画素としては、白とびして飽和したデータ有する画素とし上限値Ｂを上回る画素を設定する。図３の例では、０〜２５５のうち輝度値２３０と言う値を設定した例を示している。なお、下限値Ａ及び上限値Ｂはコンピュータ９から固定値として入力しても良いし、図３のヒストグラムを解析して所定の閾値を用いて自動的に設定するようにしても良い。

そして、コントラスト値の計算において、図３の下限値Ａと上限値Ｂの間の画素データのみを用いて計算することで、暗い背景データおよび白とびの飽和データの影響を除去することができる。即ち、下限値Ａ未満及び上限値Ｂを超えるデータはコントラスト値の計算には使用せず、またコントラスト値を計算した画素数にも加えないように処理する。

以上の処理工程を一定時間間隔で行うことで、細胞などの試料５を所定の時間間隔で測定する、いわゆるタイムラプス測定を行うことが可能になる。また、このとき細胞の立体的な形状が時間的に変化したとしても、コントラスト値が下限値Ａを下回らない限り、つまり画像のコントラスト情報が存在している限りステージ６を光軸方向に移動させて二次元画像データの取得を継続する。

このように、本発明の実施の形態にかかる走査型顕微鏡１００では、試料５の測定開始前のプレビュー画像の二次元画像データから、輝度値の下限値Ａ及び上限値Ｂを設定し、その範囲内の画像データに基き、試料５の有無を判定するための最小コントラスト値（基準値）を算出することができる。以後の長時間測定の際に試料５の立体的な形状が変化したとしても、順次取得した二次元画像データのコントラスト値と試料５の最小コントラスト値とを比較して試料５の有無を判定して、ステージ６を光軸方向に移動させて二次元画像データの取得を継続するかどうかを決めることができる。よって、細胞等の試料の立体的な形状の変化に追従し、かつ最適な厚さ分の立体的な形状を二次元画像データとして取得することができる。

なお、上述の処理は一例であり、画像を処理する場合に、コントラスト値、エッジ値などの特徴量を抽出するほかの手段を用いて、画像内に背景でも飽和でもない画像データが存在しているかどうかを判断することで、同様な効果を奏することができる。

図４は、本発明の実施の形態にかかる走査型顕微鏡１００のタイムラプス画像取得フローチャートを示す。以下、ステップ毎に説明する。

（ステップＳ０１）
走査型顕微鏡１００のステージ６に試料５を載置して観察位置に対物レンズ４をセットし、試料５に励起光を照射し、試料５の蛍光画像をプレビュー画像として記録し、モニター１０で観察する。このプレビュー画像は、所定のＺ軸上の１枚の画像でも良いし、複数のＺ軸上の複数枚の画像でも良い。

（ステップＳ０２）
使用者は、ステップＳ０１で記録されたプレビュー画像をモニター１０上で見ながら注視細胞を決定する。また使用者は、リアルタイムの蛍光画像のプレビュー画像を見ながらステージ６をＸＹＺ方向に移動して所望の細胞を探査し、二次元画像データを取得する観察対象の細胞を決める。

（ステップＳ０３）
観察対象の細胞を決めたら、使用者は、プレビュー画像の表示されているウインドウ上で対象の細胞を囲むようにコントラスト値計算位置を指定する。即ち、注視領域の設定を行う。なお、この注視領域の設定は、コンピュータ９側で細胞を自動認識して、自動的に設定しても良い。

（ステップＳ０４）
表示されているプレビュー画像のヒストグラム解析を行い、解析結果を図３に示すようなグラフでモニター１０上に表示する。

（ステップＳ０５）
使用者は、モニター１０上に表示されたヒストグラム上で、試料５のコントラスト値の計算を行う下限値Ａと上限値Ｂとをコンピュータ９の入力手段で設定する。

（ステップＳ０６）
使用者は、光軸方向にステージ６を動かし、二次元画像データの取得を終了する所望の最小のコントラスト値（この値以下になったら二次元画像データ取得を終了する基準値、例えば、０．０５〜０．１程度）をコンピュータ９の入力手段で設定する。即ち、使用者は、走査型顕微鏡１００をプレビューモードにセットする（不図示のスイッチによりモード切替を行うことが可能）。走査型顕微鏡１００は、コンピュータ９により制御され、試料５のプレビュー画像をモニター１０に表示する。使用者は、プレビュー画像を見ながらＸＹＺ方向にステージ６を移動し、所望の画像が得られる位置を探す。その中の一つのプレビュー画像から使用者が注視する注視領域を設定することで、その注視領域から試料５の最小コントラスト値を求める。また使用者は、本画像取得時に、その取得動作を終了する最小コントラスト値を決定する。

（ステップＳ０７）
ステージ６を移動する光軸方向（Ｚ方向）の最大移動範囲を設定する。設定する値は、二次元画像データの取得を開始するＺ０位置（開始位置）、ステージ６の送り間隔（ΔＺ）、及びステージ６の最大移動位置Ｚｍ（これを超えてステージ６を移動させることが無いようにする値）である。なお、開始位置Ｚ０は、細胞の上面近傍に（対物レンズ４から遠い位置）設定し、ステージ６の送りは、細胞の上面から下面方向（対物レンズ４に近い位置）に向かって行われる。この結果、測定中に対物レンズ４が試料５に衝突する虞は無い。

（ステップＳ０８）
タイムラプスの設定条件を設定する。即ち、二次元画像データ取得時間間隔、および取得枚数をコンピュータ９の入力手段（モニター１０のＧＵＩのポインタやキーボード）から設定する。

（ステップＳ０９）
本画像取得のためのタイムラプス開始のスタート釦をＯＮする。使用者は、二次元画像データ取得を開始する。

（ステップＳ１０）
タイムラプス設定条件を取得する。

（ステップＳ１１）
設定された取得開始位置Ｚ０にステージ６を移動する。

（ステップＳ１２）
ＸＹＺ取得（三次元取得）を開始する。

（ステップＳ１３）
まず、二次元画像データを取得する。

（ステップＳ１４）
取得した二次元画像データからコントラスト値を計算する。

（ステップＳ１５）
計算されたコントラスト値が（ステップＳ０６）で入力した最小のコントラスト値より小さいかどうかを判定する。コントラス値が最小のコントラス値より小さい場合には（ステップＳ１８）にジャンプして二次元画像データ取得を終了する。コントラスト値が最小のコントラスト値以上であれば（ステップＳ１６）を実行する。

（ステップＳ１６）
ステージ６を送り間隔ΔＺ値だけ移動して次の目標位置に設定する。

（ステップＳ１７）
ステージ６を移動した後のステージ位置（Ｚ値）が、最大移動位置Ｚｍを越えたかどうかを判定する。ステージ６のＺ位置が最大移動位置Ｚｍを越えた時には（ステップＳ１８）にジャンプして二次元画像データ取得を終了する。ステージ６が最大移動位置Ｚｍ以内にあれば（ステップＳ１３）にジャンプして（ステップＳ１３）以降のステップを実行する。

（ステップＳ１８）
ＸＹＺ取得終了する。

（ステップＳ１９）
タイムラプス撮影取得枚数に達しているかどうかを判定する。撮影枚数が達していれば（ステップＳ２２）にジャンプしてタイムラプス取得を終了し、併せて二次元画像データの取得を終了する。撮影枚数が達していないときは（ステップＳ２０）を実行する。

（ステップＳ２０）
（ステップＳ０８）で設定した取得時間間隔の間待機する。

（ステップＳ２１）
待機時間が取得時間間隔に達したかどうかを判定する。取得時間間隔に達したときは（ステップＳ１１）にジャンプし以降のステップを実行する。達していないときは、（ステップＳ２０）と（ステップＳ２１）とを繰り返す。

（ステップＳ２２）
タイムラプス撮影を終了する。

以上のフローで試料５の三次元画像データがコンピュータ９に取得されメモリに記憶される。以後、取得した三次元画像データを基に種々の解析が可能となる。

なお、前もって二次元画像データのＺ方向の最大取得範囲を設定しておき、ステージ６がＺ方向の最大取得範囲の最大値に移動し、コントラスト値が基準値（最小コントラスト値）を下回っていない場合でも強制的に次の二次元画像データの取得を中断する。この様にすることで、予想外に二次元画像データ取得範囲が大きくなることを防ぐことができる。

また、上述の実施の形態では、蛍光画像の取得の例について説明したが、蛍光画像に限らず、位相観察やＤＩＣ観察等の別の観察方法にも適用可能である。

本発明によれば、画像取得する細胞の立体的な構造の変化に対応した三次元画像データの取得を可能にする走査型顕微鏡を実現することができる。

なお、上述の実施の形態は例に過ぎず、上述の構成や形状に限定されるものではなく、本発明の範囲内において適宜修正、変更が可能である。

本発明の実施の形態にかかる走査型顕微鏡の概略構成図を示す。コントラスト値計算の際に用いるフィルタの例を示し、（ａ）は垂直方向コントラスト計算フィルタの一例を、（ｂ）は水平方向コントラスト計算フィルタを、（ｃ）はラプラシアンフィルタをそれぞれ示している。コントラスト値計算に用いるヒストグラムの例と、下限値及び上限値の設定例を示す。本発明の実施の形態にかかる走査型顕微鏡のタイムラプス画像取得フローチャートを示す。

符号の説明

１レーザー光源
２ダイクロイックミラー
３二次元スキャナ
４対物レンズ
５試料
６ステージ
７ピンホール
８光電子倍増管
９コンピュータ
１０モニター
１００走査型顕微鏡

Claims

対物レンズと、
試料を載置するステージと、
照明光を前記試料上で走査する走査手段と、
前記試料と共役な位置に配置されたピンホールと、
前記ピンホールを介して前記試料を検出する検出器とを有する走査型顕微鏡において、
前記対物レンズと前記ステージとを相対的に移動する駆動手段と、
前記駆動手段により駆動された結果、前記対物レンズの光軸方向の任意位置において前記検出器からの信号を取得し、前記試料の画像データを生成する画像生成手段と、
前記画像生成手段からの画像データに基づき、前記試料の注視すべき注視領域を設定する注視領域設定手段と、
前記注視領域設定手段で設定された注視領域の画像データに基づき、前記試料の有無を判定する基準値を設定する基準値設定手段と、
前記駆動手段により前記対物レンズと前記ステージとを相対的に駆動し、前記画像生成手段により前記光軸方向の異なる位置における複数の前記画像データを取得し、前記注視領域の画像データと前記基準値設定手段で設定された基準値とを比較することで、前記試料が存在しないと判断したときに前記駆動手段を停止制御する制御手段とを備えたことを特徴とする走査型顕微鏡。
前記注視領域の画像データに基づいて算出されたコントラスト値の最小値を前記基準値設定手段を介して手動で設定することを特徴とする請求項１に記載の走査型顕微鏡。
前記コントラスト値を計算する領域は、前記注視領域の画像データの輝度データに基き、前記注視領域設定手段が設定することを特徴とする請求項２に記載の走査型顕微鏡。
前記駆動手段は、前記試料の前記対物レンズから遠い位置から近い位置に向けて、前記光軸方向に所定間隔でステップ移動をすることを特徴とする請求項１から３のいずれか１項に記載の走査型顕微鏡。