JP4982974B2 - 共焦点顕微鏡システム - Google Patents

Description

本発明は、共焦点スキャナに入力されるレーザ光を顕微鏡を介して試料に照射し、試料からの戻り蛍光を結像させた共焦点画像をカメラで撮像し、撮像データを所定のタイムラプス周期で取り込み画像処理して保存する共焦点顕微鏡システムに関する。

図３は、従来の共焦点顕微鏡システムの構成例を示す機能ブロック図である。１は高速ビデオカメラであり、ＣＣＤセンサ１ａを有する。２は共焦点スキャナであり、ダイクロイックミラー２ａを有する。３は顕微鏡、４はアクチュエータであり、対物レンズ５をＺ方向にシフト操作する。６はステージであり、観察対象の試料７が搭載されている。

８は画像処理手段であり、試料の長時間変化を計測するために、タイムラプス的に画像を取り込む。高速ビデオカメラ１からのビデオ信号ＶＳをタイムラプス周期でサンプルして取り込み、画像処理を実行して画像データベース９に保存する。１０はタイムラプス周期設定手段であり、ビデオ信号ＶＳに同期して例えば２個の異なる周期設定値ｔ１，ｔ２で設定される画像取り込み指令信号ＳＴを画像処理手段８に出力する。

１１は任意波形発生器であり、タイムラプス周期設定手段１０からの画像取り込み指令信号ＳＴを入力し、ＳＴの取得毎に一定ステップ増加して、所定ステップまで増加すると元のレベルに戻る三角波の走査信号ＳＣをアクチュエータドライバ１２に出力し、対物レンズ５のアクチュエータ４をＺ軸方向に走査させる。ＭＰはアクチュエータドライバ１２の操作信号である。

高速ビデオカメラ１、共焦点スキャナ２、顕微鏡３、アクチュエータ４、及び、対物レンズ５は、同じ光軸上に配置される。共焦点スキャナ２は、２万個のピンホールを持つニポウディスク、及び、それに対応するマイクロレンズアレイを有し、シンプルな光学系から成るニポウディスク方式が採用されるアドオンタイプであり、顕微鏡３のカメラポートに取り付けることにより、手持ちの顕微鏡３を共焦点顕微鏡にグレードアップすることができる。ニポウディスク方式の共焦点スキャナの詳細は、特許文献２に開示されている。

共焦点スキャナ２に入射されたレーザ光Ｒは、ダイクロイックミラー２ａで反射して、顕微鏡３、アクチュエータ４、対物レンズ５を経由して試料７に照射される。試料７からの戻り蛍光は、同一経路をダイクロイックミラー２ａまで戻り、これを透過して高速ビデオカメラのＣＣＤセンサ１ａに共焦点画像を結像する。

アクチュエータ４は、顕微鏡３の対物レンズレボルバーと対物レンズ５との間に取り付けられ、ピエゾ駆動により操作信号ＭＰのレベルに比例して画像の焦点方向（Ｚ方向）の長さが変化し、対物レンズ５の焦点位置を制御する。共焦点顕微鏡は、操作信号ＭＰに基づいて、焦点位置をシフトさせる走査により、試料７のスライス画像を取得する。

図４は、従来の可変タイムラプスの概念を示すタイムチャートである。この例では、第１タイムラプス周期ｔ１での画像取り込みを所定期間Ｔ１実行した後に第２タイムラプス周期ｔ２での画像取り込みを所定期間Ｔ２実行する。

共焦点顕微鏡システムに関連する先行技術文献としては次のようなものがある。

特開２００２−７２１０２号公報

ニポウディスク方式の共焦点スキャナに関連する先行技術文献としては次のようなものがある。

特開平５−６０９８０号公報

従来の共焦点顕微鏡システムにおけるタイムラプス周期の設定手法では、次のような問題点がある。
（１）観察対象の試料（細胞等）の経時変化は、必ずしも観察者があらかじめ設定した周期に一致して起こるものではない。例えば、細胞分裂のように、長時間ゆっくり変化した後、高速に分裂が発生し、その後また、ゆっくりとした変化が起きる（１回の分裂に、１時間〜２４時間）。この現象を、高速分裂時に合わせたタイムラプス周期で画像取り込みを実行した場合、非常に多くの重複取得画面数となってしまう。

（２）また、長い時間、レーザ光を試料に照射するので、蛍光褪色が進み、後半では、画像が暗くなり、見えなくなってしまう。

（３）逆に、１回毎の画像測定の時間間隔を大きくとると、高速分裂時の画像取り込み枚数が減り、変化に追随して計測することが困難になる。

従って本発明が解決しようとする課題は、観察対象の試料の経時変化の激しさに合わせて最適なタイプラプス周期に自動的に変更することを可能とした共焦点顕微鏡システムを実現することにある。

このような課題を達成するために、本発明は次の通りの構成になっている。
（１）共焦点スキャナに入力されるレーザ光を顕微鏡を介して試料に照射し、試料からの戻り蛍光を結像させた共焦点画像をカメラで撮像し、撮像データを所定のタイムラプス周期で取り込み画像処理して保存する共焦点顕微鏡システムにおいて、
取り込んだ画像と所定個数前に取り込んだ画像との差から求めた差分値を演算する差分値演算手段と、
前記差分値に基づいて前記タイムラプス周期を変更するタイムラプス制御手段と、
を備え、
前記タイムラプス制御手段は、前記差分値が所定のスレッシュホールド値を超えたときに、前記差分値が前回演算された差分値より大きくなる場合には変化の加速期間とみなして前記タイムラプス周期を短く調整すると共に、前記差分値が前回演算された差分値より小さくなる場合には変化の減速期間とみなして前記タイムラプス周期を長く調整することを特徴とする共焦点顕微鏡システム。

（２）前記共焦点スキャナは、ニポウディスク方式であることを特徴とする（１）に記載の共焦点顕微鏡システム。

以上説明したことから明らかなように、本発明によれば次のような効果がある。
（１）長時間タイムラプス計測の際、試料の反応や変化の度合いに合わせて、タイムラプス周期を自動的に調整することによって、試料の反応や変化が激しい時には、細かい時間間隔で画像を取得して詳細な解析が可能となる。

（２）試料の反応や変化が落ち着いている時には、タイムラプス周期を長くして、無駄な画像や、不必要な励起による試料のダメージを小さくすることができる。

以下、本発明を図面により詳細に説明する。図１は本発明を適用した共焦点顕微鏡システムの一実施形態を示す機能ブロック図である。図３で説明した従来システムと同一要素には同一符号を付して説明を省略する。以下、本発明の特徴部につき説明する。

図１において、１００は本発明で導入されたタイムラプス管理手段である。画像データベース９において、Ｇ１乃至Ｇｎは、タイムラプス周期毎に取り込まれて保存された画像データであり、Ｇ１は最近の取り込み画像データ、Ｇｎはｎ回前の取り込み画像データである。

タイムラプス管理手段１００において、１０１は差分値演算手段であり、最近の取り込み画像データＧ１の画像信号Ｓ１と、ｎ回前の取り込み画像データＧｎの画像信号Ｓｎを入力し、両者の画像の差より所定の画像比較アルゴリズムに基づいて数値化された差分値ΔＳを演算して出力する。

１０２は、タイムラプス制御手段であり、差分値ΔＳを入力し、タイムラプス周期変更信号ｔをタイムラプス周期設定手段１０に出力する。ＳＨは、予め設定されたスレッシュホールド値であり、差分値ΔＳがこのスレッシュホールド値を超える場合、タイムラプス周期を自動的に調整する。

画像間の差分が前回演算された差分値より大きくなる場合、それは変化の加速期間と見て、タイムラプス周期を短くする。画像間の差分が前回演算された差分値より小さくなる場合小さくなる場合、それを変化の減速期間と見て、タイムラプス周期を長くする。タイムラプス周期の調整係数はあらかじめパラメータとして設定しておく。

タイムラプス制御手段１０２は、差分値ΔＳに基づいて最適のタイムラプス周期ｔを所定のアルゴリズムで計算して出力するか、若しくは差分値ΔＳに基づいて複数のタイムラプス周期を保持するテーブルにアクセスして最適のタイムラプス周期を選択出力する。

このようなタイムラプス管理手段を導入することによって、長時間タイムラプス計測の際、試料の反応や変化の度合いに合わせて、タイムラプス周期を自動的に調整することが可能となり、試料の反応や変化が激しい時には、細かい時間間隔で画像を取得して詳細な解析を可能とし、逆に変化が緩やかな時には、タイムラプス周期を長くとることにより、無駄な画像取得を減らすことができる。

図２は、タイムラプス管理手段１００の信号処理の手順を示すフローチャートである。ステップＳ１で条件設定のルーチンがスタートすると、ステップＳ２で画像信号（Ｓ１，Ｓ２）の読み取りを実行する。

ステップＳ３の終了時間チェックで、終了時間に達していなければステップＳ４でｎ回前の画像との差分値ΔＳを演算する。ステップＳ５では差分値ΔＳがスレッシュホールド値より大きいかがチェックされ、大きい場合にはステップＳ６に進む。

ステップＳ６では、試料の変化が加速期間か否かがチェックされ、差分が前回演算された差分値より大きくなる加速期間と判断された場合には、ステップＳ７でタイムラプス周期を長くする調整を実行する。差分が前回演算された差分値より小さくなる減速期間と判断された場合には、ステップＳ８でタイムラプス周期を短くする調整を実行してステップＳ９に進む。

ステップＳ９では、ステップＳ７またはステップＳ８に調整実行後にシステムが新たなタイムラプス周期による画像取り込みを開始するまでの所定の待ち時間を設け、この時間を経過したときにステップＳ２に戻る。

ステップＳ２で終了時間に達していればステップＳ１０に進み、条件設定のルーチンが終了する。ステップＳ５のチェックで、差分値ΔＳがスレッシュホールド値より小さい場合には、タイムラプス周期の調整は実行せずにステップＳ９にジャンプする。

図１の実施形態では、アクチュエータ４のＺ方向シフト制御により、試料７の３次元スライス画像を取り込む長時間観察を行なうシステムを例示したが、本発明はこれに限定されるものではなく、焦点位置を固定した試料のリアルタイム画像の観察システムにも適用することができる。

本発明において、高速ビデオカメラ１はこれに限定されるものではなく、通常のカメラ手段でもよい。また、共焦点スキャナ２も、ニポウディスク方式に限定されるものではない。

実施形態のように、タイムラプス周期より十分短い撮像周期を有する高速ビデオカメラとニポウディスク方式の共焦点スキャナの組み合わせによれば、ニポウディスクの回転同期制御、画像処理手段によるビデオ信号の取得の開始タイミング及び光学制御系による対物レンズの焦点位置の走査開始タイミングが、すべてビデオ信号に同期することになり、共焦点画像の位置精度が向上し、複数のスライス画像を取得する際に個々の取得時間のばらつきがなくなるので、信頼性の高いスライス画像が得られる。

本発明を適用した共焦点顕微鏡システムの一実施形態を示す機能ブロック図である。 タイムラプス管理手段の信号処理の手順を示すフローチャートである。 従来の共焦点顕微鏡システムの構成例を示す機能ブロック図である。 従来の可変タイムラプスの概念を示すタイムチャートである。

符号の説明

１ 高速ビデオカメラ
１ａ ＣＣＤセンサ
２ 共焦点スキャナ
２ａ ダイクロイックミラー
３ 顕微鏡
４ アクチュエータ
５ 対物レンズ
６ ステージ
７ 試料
８ 画像処理手段
９ 画像データベース
１０ タイムラプス周期設定手段
１１ 任意波形発生器
１２ アクチュエータドライバ
１００ タイムラプス管理手段
１０１ 差分値演算手段
１０２ タイムラプス制御手段

Claims (2)

1. 共焦点スキャナに入力されるレーザ光を顕微鏡を介して試料に照射し、試料からの戻り蛍光を結像させた共焦点画像をカメラで撮像し、撮像データを所定のタイムラプス周期で取り込み画像処理して保存する共焦点顕微鏡システムにおいて、
   取り込んだ画像と所定個数前に取り込んだ画像との差から求めた差分値を演算する差分値演算手段と、
   前記差分値に基づいて前記タイムラプス周期を変更するタイムラプス制御手段と、
   を備え、
   前記タイムラプス制御手段は、前記差分値が所定のスレッシュホールド値を超えたときに、前記差分値が前回演算された差分値より大きくなる場合には変化の加速期間とみなして前記タイムラプス周期を短く調整すると共に、前記差分値が前回演算された差分値より小さくなる場合には変化の減速期間とみなして前記タイムラプス周期を長く調整することを特徴とする共焦点顕微鏡システム。
2. 前記共焦点スキャナは、ニポウディスク方式であることを特徴とする請求項１に記載の共焦点顕微鏡システム。

Images