JP6599018B2

JP6599018B2 - 画像取得システム及び画像取得方法

Info

Publication number: JP6599018B2
Application number: JP2018542872A
Authority: JP
Inventors: 大治福田; 一樹丹羽; 孝之沼田
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2016-09-29
Filing date: 2017-09-28
Publication date: 2019-10-30
Anticipated expiration: 2037-09-28
Also published as: JPWO2018062412A1; WO2018062412A1

Description

本発明は画像取得システム及び画像取得方法に係り、特に試料から放出される発光を検出・分光測定して、試料が発光する光のスペクトル情報の画像を取得する画像取得システム及び画像取得方法に関する。

生体試料などの試料に含まれる物質や組成の分布を画像として可視化するために、分光イメージング法が注目されている。この分光イメージング法では、試料が発光する光の複数の波長領域の分光スペクトルを測定し、解析することで、試料を染色することなく、試料に含まれる物質や組成の分布の画像を出力できる。

ここで、上記の生体試料は超微弱な光を発光するが、その超微弱な発光スペクトル情報検出のため、色ガラスフィルタと楕円体形反射鏡とを用い、ディジタル検出方式により光スペクトル分析を行う極微弱光スペクトル分析装置が知られている（例えば、非特許文献１参照）。この従来の光スペクトル分析装置では、試料が発光した極微弱な光を楕円体形反射鏡及び２７枚で１セットの色ガラスフィルタのうちの１枚の色ガラスフィルタを透過させて光電子増倍管に入射する。上記の２７枚の色ガラスフィルタは、機械的に回転されるディスク上に設置され、順番に１枚ずつ光電子増倍管の前面に自動的に挿入・除去される。光電子増倍管は、光電子パルスを出力しパルス増幅器で増幅させた後、波高値弁別器により一定の波高値以上のパルスだけを計数させる。波高値弁別器は計数値をコンピュータに供給してスペクトル分析させる。

また、光スペクトル情報である光子の波長情報を得る方法として、フィルタを用いて分光する方法、あるいは分光器を用いて分光する方法が知られている（例えば、非特許文献２参照）。また、超伝導転移端センサ（ＴＥＳ：Transition Edge Sensor）を使えば、単一光子を高効率に検出し、そのエネルギー情報を取得できることが知られている（例えば、非特許文献３参照）。

清水慶昭他、"極微弱な光情報の計測"、光学第４巻第３号、p.105-p.125(1975) Yasushi Hiraoka et al.,"Multispectral Imaging Fluorescence Microscopy for Living Cells",CELL STRUCTURE AND FUNCTION 27:367-374(2002) B.Cabrera et al.,"Detection of single infrared,optical,and ultraviolet photons using superconducting transition edge sensors",Applied Physics Letters Vol.73,No.6,10 August 1998

しかしながら、非特許文献１に記載の光スペクトル分析装置では、長い波長の光を透過し短い波長の光を阻止する２７枚の色ガラスフィルタを用いて光子の色の判別をしてスペクトル分析結果のカラー化をしているが、試料の発光光子の利用効率が悪いという問題がある。例えば、波長５００ｎｍで透過率が変化する色ガラスフィルタを用いて測定をしているときは、波長５００ｎｍより短い波長の光子の発光は全く測定できない（波長５００ｎｍ以下の発光光子は捨てられている）。すなわち、使用する色ガラスフィルタに応じて測定できていない波長の光子が必ず存在する。

また、分光器を用いて分光する方法もフィルタを用いて分光する方法と同様に、光子の利用効率が悪いという問題がある。分光器は、回折格子やプリズムなどの分散素子を用いて光を分光するが、分散素子は、光が吸収されてしまったり、散乱してしまうなどの大きな損失があることが知られている。この分散素子の損失によって発光光子が減数を受け、光子の利用効率が悪くなってしまう。また、電荷結合素子（ＣＣＤ）や光電子増倍管などの光検出器は、良好な効率あるいは感度が得られる波長域が狭く、ＣＣＤでは波長９００ｎｍ付近で９０％以上の効率をもつものもあるが、それ以外の波長では効率は低く、また１１００ｎｍより長い波長の光には全く感度が無い。また、光電子増倍管は、効率が最も良くても２０％程度の効率が普通で、測定できる光子の波長は、その中心波長の±２００ｎｍ程度の狭い範囲に限られる。

これに対し、超伝導転移端センサは紫外域（波長２００ｎｍ）から近赤外域（波長２μｍ）までの広い通信波長帯域の光子を、たった一つの検出器で検出できる。したがって、このような広い波長の光子を検出するために、異なる波長域に感度のある検出器を複数用意した装置のような構造の複雑さはなく、また複数の検出器を切り替えた際に、検出結果が不連続になったり、ノイズレベルが突然変わったりして扱いにくいという問題はない。しかしながら、超伝導転移端センサが出力する入射光子のエネルギーに比例した電圧信号である検出信号から発光のスペクトル分析のために波長情報を得るには、一般には(i)検出信号の波高値の計測、(ii)計測波高値の波長への変換、(iii)変換した波長の波長頻度分布の構築などの複雑な信号処理が必要で、画像取得までに長時間を要してしまう。

本発明は以上の点に鑑みなされたもので、試料の広い波長域の発光スペクトラム情報のカラー画像を簡単な構成により短時間で効率良く取得し得る画像取得システム及び画像取得方法を提供することを目的とする。

また、本発明の他の目的は、試料の発光スペクトラム情報の検出の成否結果を迅速に判定することができる画像取得システム及び画像取得方法を提供することにある。

更に、本発明の他の目的は、試料の発光スペクトラム情報のカラー画像をリアルタイムで取得することができる画像取得システム及び画像取得方法を提供することにある。

上記の目的を達成するため、第１の発明の画像取得システムは、試料からの光を光ファイバの端面に結像する顕微鏡と、前記光ファイバを伝搬した前記光が入射され、その光のスペクトルの波長に応じた波高値の検出信号を出力する超伝導転移端センサと、前記超伝導転移端センサから出力された前記検出信号の波高値を三原色光の各波長にそれぞれ対応した所定の各閾値と比較し、その各閾値以上の前記検出信号入力時の回数をそれぞれ計数して各原色光波長の入力回数にそれぞれ対応した第１乃至第３の計数値を出力する比較・計数手段と、前記第１乃至第３の計数値に基づいて、カラー画像データを生成するカラー画像生成手段と、を備えることを特徴とする。

また、上記の目的を達成するため、第２の発明の画像取得システムは、前記顕微鏡が前記試料からの前記光を取り出す前記試料上の撮影位置を、前記試料の表面の中心位置から外側へ渦巻状にスキャンするように、前記試料が載置されているステージを移動させるスキャン手段を有することを特徴とする。

また、上記の目的を達成するため、第３の発明の画像取得システムは、一画面分の画素の前記カラー画像データを格納できる記憶領域を有するデータファイルと、前記顕微鏡が前記試料から前記光を取り出す撮影を開始した前記試料上の最初の位置における一画素の前記カラー画像データを、前記データファイルのすべての記憶領域に格納する手段と、前記最初の位置以後の前記撮影した画素の前記カラー画像データを撮影順に前記データファイルに格納して上書き更新する上書き手段と、前記顕微鏡の撮影途中の読み出し時に、前記データファイルのすべての記憶領域から前記カラー画像を読み出す読み出し手段とを有することを特徴とする。

また、上記の目的を達成するため、第４の発明の画像取得システムは、第１乃至第３の発明のいずれかにおいて前記試料からの光は、前記試料が自ら発光する微弱な光であることを特徴とする。

また、上記の目的を達成するため、第５の発明の画像取得方法は、顕微鏡により試料からの光を光ファイバの端面に結像する結像ステップと、超伝導転移端センサに前記光ファイバを伝搬した前記光を入射し、前記超伝導転移端センサから前記光のスペクトルの波長に応じた波高値の検出信号を出力する出力ステップと、前記超伝導転移端センサから出力された前記検出信号の波高値を三原色光の各波長にそれぞれ対応した所定の各閾値と比較し、その各閾値以上の前記検出信号入力時の回数をそれぞれ計数して各原色光波長の入力回数にそれぞれ対応した第１乃至第３の計数値を出力する比較・計数ステップと、前記第１乃至第３の計数値に基づいて、カラー画像を生成するカラー画像生成ステップと、を含むことを特徴とする。

また、上記の目的を達成するため、第６の発明の画像取得方法は、第５の発明において前記顕微鏡が前記試料から前記光を取り出す前記試料上の撮影位置を、前記試料の表面の中心位置から外側へ渦巻状にスキャンするように、前記試料が載置されているステージを移動させるスキャンステップを含むことを特徴とする。

また、上記の目的を達成するため、第７の発明の画像取得方法は、第５又は第６の発明において、前記顕微鏡が前記試料から前記光を取り出す撮影を開始した前記試料上の最初の位置における一画素の前記カラー画像を、一画面分の画素の記憶領域を有するデータファイルのすべての記憶領域に格納する格納ステップと、前記最初の位置以後の前記撮影した画素の前記カラー画像を撮影順に前記データファイルに格納して上書き更新する上書きステップと、前記顕微鏡の撮影途中の読み出し時に、前記データファイルのすべての記憶領域から前記カラー画像を読み出す読み出しステップと含むことを特徴とする。

また、上記の目的を達成するため、第８の発明の画像取得方法は、第５乃至第７の発明のいずれかにおいて、前記試料からの光は、前記試料が自ら発光する微弱な光であることを特徴とする。

本発明によれば、試料の広い波長域の発光スペクトラム情報のカラー画像を簡単な構成により短時間で効率良く取得できる。また、本発明によれば、試料の発光スペクトラム情報の検出の成否結果を迅速に判定することができ、更に試料の発光スペクトラム情報のカラー画像をリアルタイムで取得することができる。

本発明に係る画像取得システムの一実施形態のシステム構成図である。図１中のフォトンカウンタの一例のブロック図である。図１中の超伝導転移端センサの一例の検出信号とフォトンカウンタの閾値電圧を示す図である。フォトンカウンタの閾値電圧と閾値電圧以上のレベルの検出信号の計数値からカラーＲＧＢ値を取得することを説明する図である。超伝導転移端センサの検出信号の一例の頻度分布図である。図５中の曲線Iの頻度分布の各ピークの中心位置（応答の電圧に相当）と波長の関係を示す図である。一般的なスキャン方法とスキャンの１／９が終了した時点での撮影済み領域を示す図である。本発明の実施形態によるスキャン方法とスキャンの１／９が終了した時間での撮影済み領域等を示す図である。撮影途中で画面表示をした時の一般的な場合の説明図（Ａ〜Ｃ）と、本発明の実施形態による撮影途中で画面表示をした時の説明図（Ｄ〜Ｆ）である。レーザ光源と光減衰器とによるレーザパルスの生成を模式的に示す図である。本発明の実施形態において試料に反射光を照射した場合に得られる測定画像の一例を示す図である。本発明の実施形態において励起光によって試料のカラー画像を取得する画像取得システムの一例を示すシステム構成図である。本発明の実施形態において画像取得システムを用いて得られるカラー画像の一例を示す図である。本発明の実施形態において透過光によって試料のカラー画像を取得する画像取得システムの一例を示すシステム構成図である。

次に、本発明の実施形態について図面と共に説明する。
図１は、本発明に係る画像取得システムの一実施形態のシステム構成図を示す。同図において、本実施形態の画像取得システム１００は、顕微鏡１０１、（落射用）光源１０２、観察用カメラ１０３、ファイバーポート１０４、光ファイバ１０５、光コネクタ１０６及び光ファイバ１０７などからなる光学系と、断熱消磁冷凍機１１０内に収納された超伝導転移端センサ（ＴＥＳ：Transition Edge Sensor）１０８及び電流アンプ１０９からなる光検出部と、ＳＱＵＩＤ(Superconducting Quantum Interference Device：超伝導量子干渉素子)コントローラ１１１及びフォトンカウンタ１１２からなる光子数・波長情報生成部と、制御用パーソナルコンピュータ（ＰＣ：Personal Computer）１１３からなる解析・制御部と、画像出力器１１４からなる出力部とから大略構成されている。制御用ＰＣ１１３は、フォトンカウンタ１１２から供給される後述する３種類の波長情報（三原色光波長情報）に基づいて、カラー画像を生成する機能を有する。

顕微鏡１０１は、水平面の直交するＸ軸方向及びＹ軸方向に、後述する制御用ＰＣ１１３により指示された任意の距離移動可能な試料台であるＸＹ軸ステージ１２１と、対物レンズ１２２と、対物レンズ１２２をその光軸方向であるＺ軸方向に移動調整するＺ軸ステージ１２３と、レンズ１２４と、ビームスプリッタ１２５と、光路切替器１２６と、結像レンズ１２７とを有し、更に結像レンズ１２７は図示しない焦点合わせ用Ｚ軸ステージによりその光軸方向（すなわちＺ軸方向）に移動調整可能とされている。

次に、本実施形態の画像取得システム１００の動作について説明する。光路切替器１２６は、全反射ミラーあるいはハーフミラーから構成され、ビームスプリッタ１２５と結像レンズ１２７との間に挿入されることで、入射光の全部を観察用カメラ１０３へと導くあるいは一部分岐して取り出し観察用カメラ１０３へと導く装置である。まず、光源１０２が点灯されると共に、顕微鏡１０１内の光路切替器１２６は入射光を観察用カメラ１０３方向へ反射する光路に切り替えられる。これにより、顕微鏡１０１は、光源１０２から出射された白色光を、レンズ１２４を通してビームスプリッタ１２５で反射させて対物レンズ１２２を通してＸＹ軸ステージ１２１上に載置固定された生体試料等の試料２００に対して照射して反射させる。試料２００からの反射光は、対物レンズ１２２、ビームスプリッタ１２５をそれぞれ透過し、更に光路切替器１２６で反射されて観察用カメラ１０３に入射する。これにより、観察用カメラ１０３は、ＸＹ軸ステージ１２１上に載置固定された試料２００の観察位置の画像を撮像する。この画像により画像取得者は観察位置の確認（同定）を行う。

続いて、光路切替器１２６は入射光を観察用カメラ１０３方向への光路から結像レンズ１２７方向へ透過させる光路に切り替える。また、光源１０２は消灯される。これにより、顕微鏡１０１は、試料２００が自ら放出する超微弱な発光（これは試料２００に含まれる発光物質や試料２００の内部の化学反応に応じて生じた光）を、対物レンズ１２２、ビームスプリッタ１２５、光路切替器１２６をそれぞれ透過させて結像レンズ１２７に入射する。結像レンズ１２７の結像面には光ファイバ１０５の端面が位置するように光ファイバ１０５がファイバーポート１０４に固定されている。これにより、試料２００からの発光は光ファイバ１０５の端面に結像され、更に光ファイバ１０５及び１０７を低損失で伝搬して超伝導転移端センサ１０８に入射される。なお、光ファイバ１０７は、光コネクタ１０６によりレーザ光源１３０からのレーザ光又は光ファイバ１０５からの光のどちらかを伝搬するように切り替え可能とされているが、通常は光ファイバ１０５に接続されている。

超伝導転移端センサ１０８は、単一光子を分光できる光検出素子であり、また紫外域（波長２００ｎｍ）から近赤外域（波長２μｍ）までの広い波長域の光子を検出し、検出した光子のエネルギーに比例した電圧信号（換言すると、光のスペクトルの波長に応じた波高値の電圧信号）を検出信号として出力する。したがって、超伝導転移端センサ１０８によれば、試料２００からの広い波長域の発光のスペクトルの波長に応じた波高値の検出信号を出力できる。しかしながら、超伝導転移端センサの検出信号に基づいてカラー画像を得るには前述したように複雑な信号処理が必要で、長時間を要してしまう。

そこで、本実施形態ではフォトンカウンタ１１２を用いて、超伝導転移端センサ１０８の検出信号から、短時間にカラー画像取得のための波長情報を得るようにしている。すなわち、図１において、フォトンカウンタ１１２は、超伝導転移端センサ１０８の検出信号が電流アンプ１０９及びＳＱＵＩＤコントローラ１１１を通して入力され、閾値電圧と電圧比較して閾値電圧以上の検出信号の単位時間当たりの入力回数（閾値を超えた時の入力回数）を計数する。

図２は、フォトンカウンタ１１２の一例のブロック図を示す。図２に示すように、フォトンカウンタ１１２は、入力に対して並列に設けられた３つの電圧コンパレータ１１２１ａ、１１２１ｂ及び１１２１ｃと、それらの出力側に別々に設けられた計数回路１１２２ａ、１１２２ｂ及び１１２２ｃとより構成されている。電圧コンパレータ１１２１ａ及び計数回路１１２２ａは第１のフォトンカウント部を、電圧コンパレータ１１２１ｂ及び計数回路１１２２ｂは第２のフォトンカウント部を、電圧コンパレータ１１２１ｃ及び計数回路１１２２ｃは第３のフォトンカウント部をそれぞれ構成している。

電圧コンパレータ１１２１ａ、１１２１ｂ及び１１２１ｃは、図３に示すような超伝導転移端センサ１０８の検出信号が共通に供給され、図示しないメモリから読みだされた互いに異なる所定の閾値電圧Ｖth1、Ｖth2及びＶth3と電圧比較し、その閾値電圧以上の検出信号が入力された時に所定値のパルスを対応して設けられた計数回路１１２２ａ、１１２２ｂ及び１１２２ｃへ出力して計数させる。したがって、計数回路１１２２ａ、１１２２ｂ及び１１２２ｃは、それぞれ閾値電圧Ｖth1、Ｖth2及びＶth3以上の単位時間当たりの検出信号入力回数の計数値ｎ1、ｎ2、ｎ3を得る。

上記の閾値電圧Ｖth1、Ｖth2及びＶth3は、それぞれ超伝導転移端センサ１０８の検出信号の青色（Ｂ）光波長付近の５００ｎｍ未満に対応した電圧値、緑色（Ｇ）光波長付近６００ｎｍ未満に対応した電圧値、赤色（Ｒ）光波長付近８００ｎｍ未満に対応した電圧値に設定されている。ここで、図３に示すように、Ｖth1＞Ｖth2＞Ｖth3であるから、検出信号の波高値がＶth1より大である青色光波長を示しているときには、計数回路１１２２ａ、１１２２ｂ及び１１２２ｃの各計数値n1、ｎ2及びｎ3がそれぞれ１増加し、検出信号の波高値がＶth1未満でＶth2以上である緑色光波長を示しているときには、計数回路１１２２ｂ及び１１２２ｃの各計数値ｎ2及びｎ3が１増加し、検出信号の波高値がＶth2未満でＶth3以上である赤色光波長を示しているときには、計数回路１１２２ｃの計数値ｎ3のみが１増加する。したがって、図４に示すように、青色光波長のみの入力回数を示す計数値ｎ1からカラー画像の青色値が得られ、計数値ｎ2とｎ1の差の緑色光波長のみの入力回数を示す計数値からカラー画像の緑色値が得られ、計数値ｎ3とｎ2との差の赤色光波長のみの入力回数を示す計数値からカラー画像の赤色値が得られる。

このように、本実施形態では、超伝導転移端センサ１０８の検出信号から直接ＲＧＢの三原色信号値を短時間で取得することができるので、カラー画像の高速な構築が可能となり、試料２００が細胞などの生きている時間が短い試料であっても、生きている間にカラー画像を取得することができる。また、閾値電圧の調整により、試料２００の発光スペクトルに合わせたコントラスト像の取得も可能である。更に、本実施形態によれば、光子の利用効率が悪いフィルタや分光器や回折格子等の分光素子を用いる必要が無くなり、簡単な構成のシステムで高効率の分光測定ができる。

次に、上記の閾値電圧Ｖth1、Ｖth2及びＶth3を得る波長校正方法の一例について説明する。超伝導転移端センサ１０８が測定するのはエネルギーであり、出力する検出信号の電圧値（波高値）がこのエネルギーに比例する。従って、検出信号の電圧値（波高値）から波長を知るためには何らかの波長校正手段が必要である。この波長校正には、一般に白色光源と分光器を用いて、単色化した光を超伝導転移端センサに入射し、入射光の波長をスキャンしながら超伝導転移端センサの応答を測定するという方法が考えられる。しかしながら、この方法は波長スキャンを必要とすることから、手間と時間がかかる。

そこで、本実施形態では、白色光源と分光器に代えて通信波長帯（１.５μｍ）のパルスレーザを用いる。すなわち、図１において、画像取得に先立って事前に光コネクタ１０６を光ファイバ１０５ではなく、レーザ光源１３０の出力側に接続し、レーザ光源１３０からの通信波長帯の例えば波長１５２４ｎｍのパルスレーザを一パルス当たりの光子数を１〜４個程度となる強度にして光ファイバ１０７を通して超伝導転移端センサ１０８に照射する。これにより、超伝導転移端センサ１０８から出力される検出信号は、電流アンプ１０９、ＳＱＵＩＤコントローラ１１１を通してＡＤ変換器１３１に供給され、ディジタル信号に変換されて制御用ＰＣ１１３に供給される。制御用ＰＣ１１３は超伝導転移端センサ１０８からの検出信号に基づき、光子数にほぼ比例した電圧値（波高値）を示す頻度分布を得る。

図５は、超伝導転移端センサの検出信号の一例の頻度分布図を示す。同図において、横軸はマルチチャンネルアナライザ（ＭＣＡ）の測定チャンネルで、物理的には観測された超伝導転移端センサの波高値電圧ΔＶを示す（一例として、８１９２チャンネルが約１０Ｖの波高値電圧を示す。）。一方、図５の縦軸は横軸が示すチャンネル（波高値電圧ΔＶ）を持つ波形が観測された（１ｂｉｎあたりの）計数値を示す。図５において、曲線Iは波長１５２４ｎｍのパルスレーザを超伝導転移端センサ１０８に照射したときの頻度分布を示し、ｎ＝１のピークは上記パルスレーザの一パルス当たりの光子数が「１」、ｎ＝２のピークは上記光子数が「２」、ｎ＝３のピークは上記光子数が「３」、ｎ＝４のピークは上記光子数が「４」のときの頻度分布を示す。

このときのパルスレーザのエネルギーは光子数「１」のときは０.８１ｅＶ、光子数「２」のときは光子数「１」のときの２倍の１.６３ｅＶ、光子数「３」のときは光子数「１」のときの３倍の２.４４ｅＶ、光子数「４」のときは光子数「１」のときの４倍の３.２５ｅＶである。また、パルスレーザのエネルギーＥ（単位ｅＶ）と、波長λ（単位ｎｍ）とは次式の関係がある。
Ｅ＝１２４０／λ （１）

したがって、（１）式から上記の光子数ｎ、パルスレーザのエネルギー及び波長とは表１の関係がある。

なお、図５において、曲線IIは赤色光の波長７６２ｎｍの単色レーザ（パルスでなく連続光）を超伝導転移端センサに照射したときの応答特性を示し、これは曲線Iの頻度分布中のｎ＝２の波長７６２ｎｍのときと同じ位置にピークを示すスペクトル形状を示す。同様に、曲線IIIは緑色光の波長５０８ｎｍの単色レーザ（パルスでなく連続光）を超伝導転移端センサに照射したときの応答特性を示し、これは曲線Iの頻度分布中のｎ＝３の波長５０８ｎｍのときと同じ位置にピークを示すスペクトル形状を示す。更に、曲線IVは青色光波長３８１ｎｍの単色レーザ（パルスでなく連続光）を超伝導転移端センサに照射したときの応答特性を示し、これは曲線Iの頻度分布中のｎ＝４の波長３８１ｎｍのときと同じ位置にピークを示すスペクトル形状を示す。

続いて、曲線Iの頻度分布の各ピークの中心位置（応答の電圧に相当）と波長の関係を図６のように求める。図６において、横軸はＭＣＡチャンネル(Channel)、縦軸は波長Wavelength（単位ｎｍ）である。この特性を次式の関数
Wavelength＝ａ₀＋（ａ₁/Channel) （２）
でフィッティングにより定数ａ₀とａ₁を求める。そして、求められた定数ａ₀とａ₁、及び（２）式を使用することで、未知の信号波形の波長が、そのChannel値に対応した波高値電圧から直ちに求められる。

本実施形態では、図６にx1で示す青色（Ｂ）光波長付近３８１ｎｍのChannel値に対応する波高値電圧を、電圧コンパレータ１１２１ａの前述した５００ｎｍ未満に対応した電圧値電圧である閾値電圧Ｖth1に設定する。同様に、図６にx2で示す緑色（Ｇ）光波長付近５０８ｎｍのChannel値に対応する波高値電圧を、電圧コンパレータ１１２１ｂの前述した６００ｎｍ未満に対応した電圧値電圧である閾値電圧Ｖth2に設定し、図６にx3で示す赤色（Ｒ）光波長付近７６２ｎｍのChannel値に対応する波高値電圧を、電圧コンパレータ１１２１ｃの前述した８００ｎｍ未満に対応した電圧値電圧である閾値電圧Ｖth3に設定する。上記のx1、x2、x3は、それぞれ前述した１５３４ｎｍのパルスレーザの一パルス当たりの光子数「４」、「３」、「２」のときの各波長における波高値電圧(Channel)を示す。

このように、本実施形態ではＲ（赤）、Ｇ（緑）、Ｂ（青）の三原色の各単色レーザ（連続光）を別々に用意しなくても、通信波長帯の１５３４ｎｍのパルスレーザの一パルス当たりの光子数ｎを「２」、「３」、「４」とすることでそれぞれＲ、Ｇ、Ｂの各波長に対応した波高値電圧を得ることができ、これにより一気に校正ができることが分かる。

再び図１に戻って説明する。制御用ＰＣ１１３は、フォトンカウンタ１１２からの光子数、波長情報を示す３種類の計数値が供給され、それら３種類の計数値から図４に示した方法でＲＧＢ三原色の各画像値を取得し、それらの画像値に基づいて公知の方法でカラー画像を構築してディスプレイ、プリンタ等の画像出力器１１４に出力し、カラー画像の表示・印刷などを行わせる。このようにして、試料２００の発光スペクトルに応じたカラー画像が取得されて出力される。

ここで、試料２００の発光スペクトルのカラー画像は、試料２００をスキャニングすることで得られる。上記のスキャニングには数分から数時間が必要で、撮影の成否が判明できるまで、やはり数分から数時間が必要となる。一方で、試料２００が生きた細胞の場合、その観察は時間との勝負であり、撮影の失敗が判明したときには細胞が劣化し、やり直しがきかないこともある。超伝導転移端センサ１０８も、冷却時間に制限がある。

一般的なスキャンは、試料２００の表面の画像取得位置（撮影位置）を、図７（Ａ）の平面図に矢印Ａ1で示すように、水平方向に、かつ、上から下方向に移動するように、試料２００が載置固定されているＸＹ軸ステージ１２１を移動させることで行う。このため、試料２００の表面全面の例えば上から１／９の面積のスキャンが終了した時点では、図７（Ｂ）に示すように、撮影領域２２０の上から１／９の領域Ｂ１が撮影された状態である。試料２００の１／９の面積のスキャン終了時点までにはある程度の時間がたっている。しかしながら、試料２００の観察対象位置は、通常は中心部に配置されていることが多いので、上記の場合、１／９の領域Ｂ1が撮影された時間たっても観察対象の背景部分しか撮影されていないことが多い。前述したように試料２００の観察は時間との勝負であるので、これは問題である。また、長い距離のスキャンになるほど位置ずれのリスクが高くなるので、画像歪みを防ぐためにはエンコーダ付きのステージを用いる必要がある。

そこで、本実施形態では、試料２００の表面の画像取得位置（撮影位置）を、図８（Ａ）の平面図に実線の矢印Ａ２で示すように、試料の中央部から外側に向かって渦巻状にスキャンするようにＸＹ軸ステージ１２１を移動させる。これにより、一般的なスキャンで図７（Ａ）、（Ｂ）に示した撮影領域２２０の１／９の領域の撮影を終了した時間と同じ時間経過した場合は、本実施形態では、図８（Ｂ）に示すように、撮影領域２２０の１／９の領域で、かつ、中央部の領域Ｂ２の撮影が終了した状態となる。

したがって、本実施形態によれば、試料２００の中心部に配置されていることが多い観察対象を従来に比べて短時間短ストロークで画像取得することができる。これにより、本実施形態によれば、従来に比べて撮影の成否の判定が格段に速くなり、エンコーダ無しの安価なステージでも画像歪みのリスクを減らすことができる。

なお、本実施形態では、上記の１／９領域のスキャン終了後は図８（Ａ）に点線の矢印Ａ３で示すように更に外側に渦巻き状にスキャンが行われ、その結果、得られる画像は図８（Ｂ）に示すように、試料２００の中央部の領域を含む点線Ｂ３で示す外側に拡大した面積の領域の画像となる。以下同様にして、時間の経過とともに撮影画像領域が外側へ拡大していく。

ところで、制御用ＰＣ１１３は、フォトンカウンタ１１２から撮影順に従って供給される３原色の各原色光波長の計数値から図４に示した方法でＲＧＢ三原色の各画像値を取得し、更にそれらの画像値に基づいてカラー画像を構築する際に、撮影順に従って取得した画像値を単純に順番に表示していくので、試料２００の一画面分の撮影終了前の撮影途中で画像表示を行うと、図９（Ａ）に模式的に示すように、まだ撮影されていない試料部分の画像データは構築されていない。なお、画面に表示される画像は、フォトンカウンタ１１２の計数値を３原色のカラー画像値に変換し、それらから得たカラー画像であり、その画像値は階調に対応しているので、以下の説明では「階調値」ともいう。

このため、一画面の撮影途中で画像表示を行うと、一般には図９（Ｂ）に示すように、未撮影領域の画像データはすべてデフォルトの固定値（通常、黒を示す最小階調値「０」）に設定されて一画面の表示が行われる。一方、撮影終了済みの試料部分の発光スペクトルの画像データは、比較的明るい階調を示す値である（図９（Ａ）では一例として「９８」〜「９６」）。このため、一画面の撮影途中で画像表示を行うと、一画面の表示画像は図９（Ｃ）に模式的に示すような、撮影済み（測定済み）の領域の画像が白抜けした、コントラストの変化が大きな試料の本来の画像とは大きく異なる画像となってしまう。従って、上記の場合は試料の撮影画像をリアルタイムで表示できず、試料に対する一画面分の撮影が終了するまでは、撮影画像に基づく測定の成否を判定できない。

そこで、本実施形態では、撮影順に従って画像データを順番に取得していく点は従来と同じであるが、カラー画像を表示する一画面分の画素の記憶領域を有するデータファイルを用意しておき、まず試料の最初の一画素の撮影画像データ（具体的にはＲＧＢ画像データに基づくカラー画像データ）をデータファイルの記憶領域全体に書き込む。本発明では測定対象の試料は一般に一画面における画像のコントラストの差があまり大きくなく、最初の一画素の撮影画像データの階調値は試料の一画面のすべての撮影画像データの階調値のばらつきの範囲内であることに着目したものである。図９（Ｄ）は、最初の一画素の撮影画像データが階調値「９８」であり、それがデータファイルの記憶領域全体に書き込まれたデータファイルの格納状態を示す（ここでは、簡単のため、３６画素分の記憶領域を有するデータファイルのすべての領域に画像データが格納されているものとする。）。その後、撮影順に従って取得された試料の画像データがデータファイルに順番に上書きされて更新されていく。

ここで、図９（Ｅ）に丸印で示した階調値「９７」の撮影画像データを取得してデータファイルに格納した、一画面の撮影途中の時点で画像表示を行うものとする。本実施形態ではデータファイルのすべての記憶領域から読み出した画像データの画像表示を行う。データファイルの記憶画像データは図９（Ｅ）に示したものであるので、一画面の表示画像は丸印で示した画像データまでの撮影済みの１０画素の画像データは撮影された階調値で、かつ、丸印で示した画像データ以降の未撮影領域の２６画素の画像データはすべて最初の画像データの階調値「９８」で一画面の表示が行われる。

この結果、一画面の表示画像は図９（Ｆ）に模式的に示すように、試料の表示画像は画面内においてコントラストの差が極めて小さな、試料本来の撮影画像に近いものとなる。したがって、本実施形態によれば、撮影途中のリアルタイム画像表示が可能となり、撮影が終了するまで待たなくても撮影画像に基づく測定の成否を判定することができる。本実施形態の画像処理は、一画面における画像のコントラストの差があまり大きくない測定対象の試料の撮影画像に基づく測定に極めて有効である。

なお、図９（Ｄ）〜（Ｆ）で説明した実施形態の技術を、図８（Ａ）、（Ｂ）で説明した実施形態の技術と組み合わせることもできる。この場合、まず、最初に撮影された画像中心部の一画素の画像データがデータファイル全体に書き込まれる。その後、図８（Ａ）に矢印Ａ２で示したスキャン順に入力される撮影画像データをデータファイル内の画素対応アドレスに上書き更新していく。そして、一画面の撮影終了前の例えば図８（Ｂ）の画面の１／９の領域のスキャンを終了した時点で画面表示をした場合、画面中心部の１／９の領域には撮影済みの試料中心部分の画像が表示され、一画面内のそれ以外の外側周囲の領域の画像は最初に撮影された画像中心部の一画素の画像が表示されることになる。この場合は、試料の表示画像は、試料中心部の観察対象の画像が迅速に表示され、かつ、画面内においてコントラストの差が極めて小さな試料本来の撮影画像に近いものとなる。

ところで、図１に示した本実施形態の画像取得システム１００では、光源１０２を消灯して超伝導転移端センサ１０８で単一光子を測定してその色を同定し、発光する試料２００の発光スペクトルの測定結果に基づくカラー画像を取得しているので、発光する試料２００が細胞の場合は細胞内で起きている機能等を色によって同定することができる。しかし、本実施形態の画像取得システム１００はこれに限らず、試料２００に代えて蛍光試料や通常の試料（発光、蛍光性の物質を含んでいなくても可）についても単一光子を測定して試料のスペクトルの測定結果に基づくカラー画像を取得できる。

すなわち、蛍光試料の場合は、光源１０２として励起用レーザ光源を用意すると共に、光路切替器１２６をビームスプリッタ１２５からの入射光を結像レンズ１２７へ導く光路に切り替える。これにより、励起用レーザ光源からの励起用レーザをレンズ１２４、ビームスプリッタ１２５、対物レンズ１２２を経て蛍光試料に照射し、蛍光試料から反射された光を対物レンズ１２２及びビームスプリッタ１２５をそれぞれ透過させ、更に光路切替器１２６を通して結像レンズ１２７により光ファイバ１０５の端面に結像させる。以下、試料２００のときと同様の動作が行われる。この場合、顕微鏡１０１は公知の共焦点蛍光顕微鏡とほぼ同等の構成であり、また、超伝導転移端センサ（ＴＥＳ）１０８を用いることで、僅かな励起光でもその蛍光を測定できるため、蛍光試料に対する光ダメージを小さくできる。

また、試料２００に代えて通常の試料に対するスペクトル分析を行う場合は、光源１０２として白色光源を用意する。この場合、本実施形態の画像取得システム１００は、通常の試料に対して図１と共に説明したと同様の動作を行い、通常の試料からの反射光が単一光子レベルの微弱光であっても、分析スペクトルに応じた色のカラー画像を取得できる。以上の本実施形態の画像取得システム１００で測定できる試料、光源との関係をまとめると表２のようになる。

なお、本発明は以上の実施形態に限定されるものではなく、例えばフォトンカウンタ１１２における閾値電圧Ｖth1、Ｖth2及びＶth3は、それぞれ青色（Ｂ）光波長付近の５００ｎｍ未満に対応した電圧値、緑色（Ｇ）光波長付近６００ｎｍ未満に対応した電圧値、赤色（Ｒ）光波長付近８００ｎｍ未満に対応した電圧値に設定されておればよく、前述した波長校正方法により設定される電圧に限定されるものではない。

ここで、上記の実施形態におけるパルスレーザの強度について説明する。例えば、図１０に示すように、レーザ光源と光減衰器とによってパルスごとに様々な光子数を有するレーザパルスが生成される。図１０において、レーザ光源の波長、繰り返し周波数、平均光出力をそれぞれλ（ｍ）、ｆ（Ｈｚ）、Ｐ（Ｗ）とし、光減衰器の減衰量をＡ（ｄＢ）とすると、光減衰後のレーザパルスの平均光子数ｕ（個／パルス）は、以下の式（３）により表される。

ここで、ｈはプランク定数である。

上式（３）において、例えばλ＝１５５０ｎｍ、Ｐ＝１００ｐＷ、ｆ＝５０ｋＨｚ、Ａ＝４０ｄＢとすると、ｕは約１．５６個／パルスとなる。得られたパルス列に含まれる光子数は、平均光子数をｕ、分散を同じくｕとしたポアソン分布に従うので、１パルス当たり光子が数個程度を含むレーザパルスを得ることができる。

なお、パルスレーザを光減衰器で減衰させたとき、そのパルスに含まれる光子数はポアソン分布に従う。このとき、１パルス当たりに含まれる光子の数をｋとして、その光パルスが生成される確率をＰ（ｋ）とすると、確率Ｐ（ｋ）は以下の式（４）のように表される。

また、図１１に、上記の実施形態で試料に反射光を照射した場合に得られる測定画像の一例を示す。図１１の例において、測定対象の試料はプリント基板である。図中「強照明下」で示された画像は、当該プリント基板の基板表面に上記の測定に使用する照明強度よりも高くして図１の１０３としてＣＭＯＳ（Complementray Metal-Oxide Semiconductor）により取得した当該基板表面の画像である。図１１には、強照明下の画像に示す一辺４００μｍの正方形の領域の基板表面を従来のＣＭＯＳカメラ、従来の光電子増倍管（ＰＭＴ（Photomultiplier Tube））、上記の実施形態に係るＴＥＳによってそれぞれ取得した画像を示す。なお、図１１の例に示す測定において、光源は落射光源であり、露光時間は５０ｍｓである。また、ＰＭＴは、光ファイバ１０７をファイバーポート１０６から切り離し、１０７の代わりにＰＭＴを１０６に接続して測定する。

図中「ＣＭＯＳ」の画像が示すように、光源強度が単一光子レベルの極微弱光では、従来のＣＭＯＳカメラでは基板表面の画像を取得できないことがわかる。また、図中「ＰＭＴ」の画像が示すように、従来のＰＭＴでは基板表面の画像を取得できる。ただし、ＰＭＴにより取得される画像は、白黒画像となる。一方、図中「ＴＥＳ」の画像が示すように、上記のＴＥＳによれば、基板表面の画像を取得できる。さらに、ＰＭＴによって取得される画像とは異なり、ＴＥＳによって取得される画像はカラー画像である。そして、「ＴＥＳ」の画像では、銅パターン（橙色）、レジスト部分（緑色）、シルクパターン（白色）からの反射光をそれぞれ明瞭に区別できる。したがって、上記の実施形態によれば、試料表面からの反射光を単一光子レベルで分光イメージングできることがわかる。

次に、図１２を参照しながら、上記の実施形態において励起光によって試料のカラー画像を取得する場合について説明する。なお、図１２に示す画像取得システム１０００において、上記の実施形態と同様の構成については同一の符号を付し、詳細な説明は省略する。画像取得システム１０００においては、上記の画像取得システム１００に励起用レーザ光源１４０、励起光を吸収する励起光カットフィルタ１４１、励起光を反射して蛍光を透過させるダイクロイックミラー１４２、励起用レーザ光源１４０からの光をダイクロイックミラー１４２に導くレンズ１４３が追加されている。画像取得システム１０００では、励起用のレーザ光を試料２００に照射できるようにし、その励起光によって生じた蛍光を、ファイバーポート１０４を経て光ファイバ１０５へと導入する方法で試料２００のスペクトルの測定を行う。

図１３に、画像取得システム１０００を用いて得られるカラー画像の例を示す。図１３の例において、測定対象の試料は蛍光染色した生物試料（ＦｌｕｏＣｅｌｌ＃１（Thermo Fisher Scientific社製））である。図１３には、中心波長３６５ｎｍのＬＥＤを用いた落射用光源１０２からの光を試料２００に照射し、その励起光によって生じた蛍光を従来のＣＭＯＳカメラで取得した画像（図中「落射蛍光（ＣＭＯＳ）」）を示す（露光時間は３ｓ）。また、図１３には、中心波長４８８ｎｍのレーザを用いた励起用レーザ光源１４０からの光を試料２００に照射し、その励起光によって生じた蛍光を従来の光電子増倍管（ＰＭＴ）によって取得した画像（図中「ＰＭＴ」）を示す（露光時間は１００ｍｓ）。また、図１３には、上記の実施形態に係るＴＥＳによって取得した画像（図中（「ＴＥＳ］）を示す。

図１３に示すように、ＰＭＴによって取得した画像は、ＴＥＳによって取得した画像と同様のコントラストのある試料の像が得られるが、カラー画像ではない。そして、ＴＥＳによって取得した画像は、ＰＭＴによって取得した画像と異なり、カラー画像である。そして、「ＴＥＳ」の画像では、細胞骨格を染色した蛍光物質(Alexa Fluor488)からの蛍光とミトコンドリアを染色した蛍光物質(MitoTracker Red)からの蛍光をそれぞれ明瞭に区別できる。さらに、ＴＥＳによって取得した画像では、ＣＭＯＳによって取得した画像よりも有意に明瞭な試料の像を得ることができる。以上より、本実施形態によれば、試料表面からの蛍光を単一光子レベルで分光イメージングできることがわかる。

次に、図１４を参照しながら、上記の実施形態において透過光によって試料のカラー画像を取得する場合について説明する。なお、図１４に示す画像取得システム１１００において、上記の実施形態と同様の構成については同一の符号を付し、詳細な説明は省略する。画像取得システム１１００においては、上記の画像取得システム１００に透過用光源１５０が追加されている。画像取得システム１１００では、透過用光源１５０からの光を試料２００に照射できるようにし、試料２００からの透過光を、ファイバーポート１０４を経て光ファイバ１０５へと導入する方法で試料２００のスペクトルの測定を行う。これにより、画像取得システム１１００においても上記の実施形態と同様に、試料からの透過光を単一光子レベルで分光イメージングし、試料２００のカラー画像を得ることができる。

１００、１０００、１１００画像取得システム
１０１顕微鏡
１０２（落射用）光源
１０３観察用カメラ
１０４ファイバーポート
１０５、１０７光ファイバ
１０６光コネクタ
１０８超伝導転移端センサ（ＴＥＳ）
１０９電流アンプ
１１０断熱消磁冷凍機
１１１ＳＱＵＩＤコントローラ
１１２フォトンカウンタ
１１３制御用パーソナルコンピュータ（ＰＣ）
１１４画像出力器
１１２１ａ、１１２１ｂ、１１２１ｃ電圧コンパレータ
１１２２ａ、１１２２ｂ、１１２２ｃ計数回路

Claims

試料からの光を光ファイバの端面に結像する顕微鏡と、
前記光ファイバを伝搬した前記光が入射され、その光のスペクトルの波長に応じた波高値の検出信号を出力する超伝導転移端センサと、
前記超伝導転移端センサから出力された前記検出信号の波高値を三原色光の各波長にそれぞれ対応した所定の各閾値と比較し、その各閾値以上の前記検出信号入力時の回数をそれぞれ計数して各原色光波長の入力回数にそれぞれ対応した第１乃至第３の計数値を出力する比較・計数手段と、
前記第１乃至第３の計数値に基づいて、カラー画像データを生成するカラー画像生成手段と、
を備えることを特徴とする画像取得システム。
前記顕微鏡が前記試料からの前記光を取り出す前記試料上の撮影位置を、前記試料の表面の中心位置から外側へ渦巻状にスキャンするように、前記試料が載置されているステージを移動させるスキャン手段を有することを特徴とする請求項１に記載の画像取得システム。
一画面分の画素の前記カラー画像データを格納できる記憶領域を有するデータファイルと、
前記顕微鏡が前記試料から前記光を取り出す撮影を開始した前記試料上の最初の位置における一画素の前記カラー画像データを、前記データファイルのすべての記憶領域に格納する手段と、
前記最初の位置以後の前記撮影した画素の前記カラー画像データを撮影順に前記データファイルに格納して上書き更新する上書き手段と、
前記顕微鏡の撮影途中の読み出し時に、前記データファイルのすべての記憶領域から前記カラー画像を読み出す読み出し手段と、
を備えることを特徴とする請求項１又は２に記載の画像取得システム。
前記試料からの光は、前記試料が自ら発光する微弱な光であることを特徴とする請求項１乃至３のいずれか一項に記載の画像取得システム。
顕微鏡により試料からの光を光ファイバの端面に結像する結像ステップと、
超伝導転移端センサに前記光ファイバを伝搬した前記光を入射し、前記超伝導転移端センサから前記光のスペクトルの波長に応じた波高値の検出信号を出力する出力ステップと、
前記超伝導転移端センサから出力された前記検出信号の波高値を三原色光の各波長にそれぞれ対応した所定の各閾値と比較し、その各閾値以上の前記検出信号入力時の回数をそれぞれ計数して各原色光波長の入力回数にそれぞれ対応した第１乃至第３の計数値を出力する比較・計数ステップと、
前記第１乃至第３の計数値に基づいて、カラー画像を生成するカラー画像生成ステップと、
を含むことを特徴とする画像取得方法。
前記顕微鏡が前記試料から前記光を取り出す前記試料上の撮影位置を、前記試料の表面の中心位置から外側へ渦巻状にスキャンするように、前記試料が載置されているステージを移動させるスキャンステップを含むことを特徴とする請求項５に記載の画像取得方法。
前記顕微鏡が前記試料から前記光を取り出す撮影を開始した前記試料上の最初の位置における一画素の前記カラー画像を、一画面分の画素の記憶領域を有するデータファイルのすべての記憶領域に格納する格納ステップと、
前記最初の位置以後の前記撮影した画素の前記カラー画像を撮影順に前記データファイルに格納して上書き更新する上書きステップと、
前記顕微鏡の撮影途中の読み出し時に、前記データファイルのすべての記憶領域から前記カラー画像を読み出す読み出しステップと、
を含むことを特徴とする請求項５又は６に記載の画像取得方法。
前記試料からの光は、前記試料が自ら発光する微弱な光であることを特徴とする請求項５乃至７のいずれか一項に記載の画像取得方法。