JP2017151471A

JP2017151471A - 画像取得装置及び画像取得方法

Info

Publication number: JP2017151471A
Application number: JP2017093140A
Authority: JP
Inventors: 岩瀬　富美雄; Fumio Iwase; 富美雄岩瀬
Original assignee: Hamamatsu Photonics KK
Current assignee: Hamamatsu Photonics KK
Priority date: 2017-05-09
Filing date: 2017-05-09
Publication date: 2017-08-31
Anticipated expiration: 2033-11-01
Also published as: JP6496772B2

Abstract

【課題】部分画像の取得及び全体画像の合成を高速に実行できる画像取得装置を提供する。【解決手段】この画像取得装置１では、ステージ駆動部１１（駆動部）が試料に対する対物レンズ２５の視野位置を所定の速度で移動させると共に、二次元撮像素子６が試料Ｓの光像を所定のフレームレートで順次撮像していく。そのため、試料Ｓ全体にわたって部分画像を取得するために要する時間が短縮される。また、この画像取得装置１では、視野位置の移動速度は、撮像素子６のフレームレートに基づいて設定された速度である。そのため、視野位置の移動と撮像素子６の撮像とが同期されることとなり、必要な部分画像のみを撮像することが可能となる。したがって、この画像取得装置１では、部分画像の取得及び全体画像の合成を高速に実行できる。【選択図】図１

Description

本発明は、画像取得装置及び画像取得方法に関する。

組織細胞などの試料の静止画像を取得するための画像取得装置において、試料が撮像素子の撮像視野に対して大きい場合、例えば試料が載置されたステージを対物レンズに対して移動させながら試料の部分画像を順次取得していき、その後に部分画像を合成することで試料全体の画像を取得している。

従来、このような画像取得装置では、例えばタイリングスキャン方式と呼ばれる画像取得方法が用いられている。タイリングスキャン方式では、試料の所定領域が対物レンズの視野に含まれるようにステージを移動させ、その後にステージを停止させた状態でエリアセンサなどの二次元撮像素子を用いて部分画像を取得する。以降、同様の動作を繰り返し実行することで試料全体の静止画像を取得している。

しかしながら、タイリングスキャン方式では、ステージの移動と停止とを繰り返しながら部分画像を取得していくため、試料全体にわたって部分画像を取得するために長時間を要することが問題となる場合があった。これに対して、例えば特許文献１〜３では、ステージの停止を伴わずに、二次元撮像素子を用いて部分画像を取得する画像取得方法が提案されている。より具体的には、例えば特許文献１に記載の画像取得方法では、ステージを移動させると共にステージの移動に同期させて断続的に試料に光を照射し、一方で二次元撮像素子を用いて連続的に部分画像を取得している。

特開２００３−２２２８０１号公報特表２０００−５０１８４４号公報特開昭６３−１９１０６３号公報

しかしながら、例えば特許文献１に記載の画像取得方法では、撮像素子は試料に光が照射されていない期間中にも部分画像を取得し続けるため、得られる部分画像の中に不要な画像が多数含まれることとなる。不要な画像は試料全体の静止画像を合成する際に排除する必要があるため、不要な画像が多数含まれることによって全体画像の合成に要する時間が長くなるおそれがあった。

本発明は、上記課題の解決のためになされたものであり、部分画像の取得及び全体画像の合成を高速に実行できる画像取得装置及び画像取得方法を提供することを目的とする。

上記課題の解決のため、本発明に係る画像取得装置は、試料が載置されるステージと、瞬間光を照射する光出射手段と、ステージ上の試料と対峙するように配置された対物レンズを含む導光光学系と、複数の画素列を有する二次元撮像素子であり、導光光学系によって導光された試料の光像を撮像する撮像素子と、対物レンズに対して試料を所定の速度で移動させる駆動部と、光出射手段を制御する制御部と、を備え、撮像素子は、画素列の全てが露光していることを示すトリガ信号を前記制御部に出力し、制御部は、撮像素子から出力されたトリガ信号に基づいて、画素列の全てが露光している期間中に光出射手段から瞬間光を照射させる。

また、速度は、撮像素子によって連続して撮像される試料の二つの領域の一部が互いに重畳するように、少なくとも重畳領域に対応する撮像素子の画素数に基づいて設定された速度であってもよい。

また、速度は、少なくとも対物レンズを含む導光光学系の光学倍率に基づいて設定された速度であってもよい。

また、速度は、少なくとも撮像素子の画素列の画素幅に基づいて設定された速度であってもよい。

また、本発明の一側面に係る画像取得方法は、ステージ上の試料と対峙するように配置された対物レンズに対して試料を所定の速度で移動させる移動ステップと、試料に向けて瞬間光を照射する照射ステップと、複数の画素列を有する二次元撮像素子である撮像素子を用い、対物レンズによって導光された試料の光像を撮像する撮像ステップと、画素列の全てが露光していることを示すトリガ信号を撮像素子から出力する信号出力ステップと、を備え、照射ステップでは、撮像素子から出力されたトリガ信号に基づいて、画素列の全てが露光している期間中に前記光出射手段から瞬間光を照射させる。

本発明によれば、部分画像の取得及び全体画像の合成を高速に実行できる。

本発明に係る画像取得装置の一実施形態を示す図である。図１に示した画像取得装置を構成する撮像素子の受光面を示す図である。試料に対する画像取得領域のスキャンの一例を示す図である。撮像素子における露光期間及び読み出し期間と瞬間光の照射との関係の一例を示す図である。変形例に係る画像取得領域のスキャンと撮像素子の受光面との関係の一例を示す図である。

以下、図面を参照しながら、本発明の一側面に係る画像取得装置及び画像取得方法の好適な実施形態について詳細に説明する。

図１は、本発明に係る画像取得装置の一実施形態を示す図である。同図に示すように、画像取得装置１は、試料Ｓが載置されるステージ２と、試料に向けて瞬間光を照射する光源３（光出射手段）と、ステージ２上の試料Ｓと対峙するように配置された対物レンズ２５を含む導光光学系５と、導光光学系５によって導光された試料Ｓの光像を撮像する撮像素子６とを備えている。

また、画像取得装置１は、試料Ｓに対する対物レンズ２５の視野位置を移動させるステージ駆動部１１（駆動部）と、試料Ｓに対する対物レンズ２５の焦点位置を変更させる対物レンズ駆動部１２と、光源３を制御する光源制御部１３（制御部）と、画像処理部１４とを備えている。

画像取得装置１で観察する試料Ｓは、例えば組織細胞などの生体サンプルであり、スライドガラスに密封された状態でステージ２に載置される。光源３は、ステージ２の底面側に配置されている。光源３としては、例えばレーザダイオード（ＬＤ）、発光ダイオード（ＬＥＤ）、スーパールミネッセントダイオード（ＳＬＤ）、キセノンフラッシュランプといったフラッシュランプ方式光源などが用いられる。

導光光学系５は、光源３とステージ２との間に配置される照明光学系２１と、ステージ２と撮像素子６との間に配置される顕微鏡光学系２２とによって構成されている。照明光学系２１は、例えば集光レンズ２３と投影レンズ２４とによって構成されるケーラー照明光学系を有し、光源３からの光を導光して試料Ｓに均一な光を照射するようになっている。

一方、顕微鏡光学系２２は、対物レンズ２５と、対物レンズ２５の後段側（撮像素子６側）に配置された結像レンズ２６とを有し、試料Ｓの光像を撮像素子６に導光する。なお、試料Ｓの光像とは、明視野照明の場合は透過光、暗視野照明の場合は散乱光、発光計測の場合は発光（蛍光）による像である。また、試料Ｓからの反射光による像であってもよい。これらの場合、導光光学系５として、試料Ｓの透過光画像、散乱光画像、及び発光（蛍光）画像の画像取得に対応した光学系を採用することができる。

撮像素子６は、複数の画素列を有する二次元撮像素子である。このような撮像素子６としては、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサが挙げられる。撮像素子６の受光面６ａには、図２に示すように、例えば複数の画素が一次元に配置されてなる画素列３１（第１の画素列３１_１、第２の画素列３１_２、第３の画素列３１_３、…、第Ｍ−２の画素列３１_Ｍ−２、第Ｍ−１の画素列３１_Ｍ−１、第Ｍの画素列３１_Ｍ）が互いに平行になるようにＭ列配列されている。各画素列３１の配列方向（読出し方向）における長さ（画素幅）Ｐは、例えば１．５μｍ程度となっている。撮像素子６は、所定のフレームレートα（例えば３０ｆｐｓ（ＦｒａｍｅｓＰｅｒＳｅｃｏｎｄ）未満）で導光光学系５によって導光された試料Ｓの光像を順次撮像していく。

ステージ駆動部１１は、例えばステッピングモータ（パルスモータ）といったモータやピエゾアクチュエータといったアクチュエータによって構成されている。ステージ駆動部１１は、ステージ２を対物レンズ２５の光軸の直交面に対して所定の角度（例えば９０度）を有する面についてＸＹ方向に駆動する。これにより、ステージ２に固定された試料Ｓが対物レンズの光軸に対して移動し、試料Ｓに対する対物レンズ２５の視野位置が移動することとなる。

画像取得装置１では、例えば２０倍や４０倍といった高倍率で試料Ｓの撮像が行われる。このため、対物レンズ２５の視野Ｆは、試料Ｓに対して小さく、図２に示すように、一回の撮像で画像を取得できる領域も試料Ｓに対して小さくなる。したがって、試料Ｓの全体を撮像するためには、対物レンズ２５の視野Ｆを試料Ｓに対して移動させる必要がある。

そこで、画像取得装置１では、試料Ｓを保持する試料容器（例えばスライドガラス）に対して試料Ｓを含むように画像取得領域３２を設定し、画像取得領域３２及び対物レンズ２５の試料Ｓ上の視野Ｆに基づいて複数の分割領域３３の位置を設定する。そして、分割領域３３に対応する試料Ｓの一部を撮像することで、分割領域３３に対応する部分画像データを取得した後、対物レンズ２５の視野Ｆが次に撮像する分割領域３３の位置となったら、再び撮像を行って部分画像データを取得する。以降、画像取得装置１では、この動作が繰り返し実行され、画像処理部１４は、取得した部分画像データを合成して試料Ｓの全体画像（合成画像データ）を形成する。

このとき、ステージ駆動部１１は、複数の分割領域３３から構成される撮像ラインＬｎ（ｎは自然数）に沿ったスキャン方向に試料Ｓに対する対物レンズ２５の視野Ｆの位置が移動するようにステージ２を駆動する。隣接する撮像ラインＬｎ間での試料Ｓに対する対物レンズ２５の視野位置の移動は、例えば図３に示すように、隣り合う撮像ラインＬｎ間でスキャン方向が反転する双方向スキャンが採用される。また、隣り合う撮像ラインＬｎ間でスキャン方向が同方向となる一方向スキャンが採用されてもよい。なお、撮像ラインＬｎに沿った方向は、撮像素子６の受光面６ａにおける各画素列３１の配列方向に対応している。

また、ステージ駆動部１１は、撮像素子６のフレームレートαに基づいて設定した速度でステージ２を駆動している。すなわち、ステージ駆動部１１は、対物レンズ２５の視野Ｆが各分割領域３３の位置となるタイミングと撮像素子６が撮像するタイミングとが合致するような速度でステージ２を駆動している。

具体的には、ステージ駆動部１１は、例えば画素列３１の画素列数Ｍに基づいて下記式（１）で示される速度Ｖでステージ２を駆動している。
Ｖ＝Ａ×Ｍ×α …（１）
ただし、式（１）中、Ａはピクセルレゾリューション（＝画素列３１の配列方向における長さＰ／顕微鏡光学系２２の光学倍率）を表す。

また、ステージ駆動部１１は、例えば式（１）を書き換えた下記式（２）で示される速度Ｖでステージ２を駆動しているともいえる。
Ｖ＝Ｈ１×α …（２）
ただし、式（２）中、Ｈ１は、対物レンズ２５の視野Ｆの撮像ラインＬｎに沿った方向における長さを表す。

対物レンズ駆動部１２は、ステージ駆動部１１と同様に、例えばステッピングモータ（パルスモータ）といったモータやピエゾアクチュエータといったアクチュエータによって構成されている。対物レンズ駆動部１２は、対物レンズ２５を対物レンズ２５の光軸に沿ったＺ方向に駆動する。これにより、試料Ｓに対する対物レンズ２５の焦点位置が移動する。

光源制御部１３は、図４に示すように光源３から瞬間光を照射させる。すなわち、まず、撮像素子６は、露光と読み出しとを交互に行っていき、画素列３１（第１の画素列３１_１、第２の画素列３１_２、第３の画素列３１_３…第Ｍの画素列３１_Ｍ）の全てが露光しているときにトリガ信号を光源制御部１３に出力する。

続いて、光源制御部１３は、撮像素子６から出力された画素列３１の全てが露光していることを示すトリガ信号に基づいて、光源３から瞬間光を照射させる。瞬間光は、例えば下記式（３）で示されるパルス幅Ｗを有している。
Ｗ＝Ａ／Ｖ …（３）
瞬間光が式（３）で表されるパルス幅Ｗを有していることによって、試料Ｓの所定の箇所からの光像を画素列３１のうち所定の一列にのみ受光させることが容易となる。そのため、歪みが抑制された静止画像を得ることが可能となる。以降、画像取得装置１では、上述した動作が繰り返し実行される。

以上説明したように、画像取得装置１では、ステージ駆動部１１がステージ２を駆動することで試料Ｓに対する対物レンズ２５の視野Ｆの位置を移動させると共に、二次元撮像素子である撮像素子６が試料Ｓの光像を所定のフレームレートαで順次撮像していく。そのため、試料Ｓ全体にわたって部分画像を取得するための時間が短縮される。また、画像取得装置１では、ステージ駆動部１１は、撮像素子６のフレームレートαに基づいた速度でステージ２を駆動する。そのため、対物レンズ２５の視野Ｆが各分割領域３３の位置となるタイミングと撮像素子６が撮像するタイミングとが合致するようにステージ２の駆動（対物レンズ２５の視野Ｆの位置の移動）と撮像素子６の撮像とが同期されることとなり、各分割領域３３に対応した部分画像のみを撮像することが可能となる。したがって、画像取得装置１では、部分画像の取得及び全体画像の合成を高速に実行できる。

また、光源制御部１３は、撮像素子６から出力される画素列３１の全てが露光していることを示すトリガ信号に基づいて、画素列３１の全てが露光している期間中に光源３から瞬間光を照射させる。そのため、分割領域３３の全てにおいて確実に部分画像を取得できる。

本発明は、上記実施形態に限られるものではない。例えば上記実施形態では、光源制御部１３は撮像素子６から出力されるトリガ信号に基づいて光源３から瞬間光を照射させていたが、光源制御部１３は、光源３から瞬間光を照射させるタイミングを撮像素子６のフレームレートαに基づいて撮像素子６が撮像するタイミングと同期するように設定することによって、画素列３１の全てが露光している期間中に光源３から瞬間光を照射させてもよい。この場合でも、分割領域３３の全てにおいて確実に部分画像を取得できる。

また、上記実施形態では、光源３から瞬間光を出射させていたが、光源３から連続光（ＣＷ光）を出射させ、光源３と試料Ｓとの間にシャッターを設けてもよい。この場合、光出射手段は光源３とシャッターとによって構成され、光源制御部１３がシャッターの開閉を制御することにより、画素列３１の全てが露光している期間中に瞬間光を試料Ｓに照射させることが可能となる。

また、上記実施形態では、ステージ駆動部１１がステージ２を駆動することにより、試料Ｓに対する対物レンズ２５の視野位置を移動させていたが、対物レンズ２５を含む導光光学系５を駆動する導光光学系駆動部（駆動部）を設け、導光光学系駆動部により試料Ｓに対する対物レンズ２５の視野位置を移動させてもよい。

また、上記実施形態では、対物レンズ駆動部１２が対物レンズ２５をその光軸方向に移動させることにより、試料Ｓに対する対物レンズ２５の焦点位置を対物レンズ２５の光軸方向に移動させていたが、ステージ駆動部１１がステージ２を対物レンズ２５の光軸方向に移動させることにより、試料Ｓに対する対物レンズ２５の焦点位置を対物レンズ２５の光軸方向に移動させてもよい。

また、上記実施形態では、ステージ駆動部１１は連続して撮像される二つの分割領域３３同士が接するようにステージ２を駆動していたが、ステージ駆動部１１は、連続して撮像される二つの分割領域３３の一部同士が重畳するようにステージ２を駆動してもよい。

すなわち、図５（ａ）に示すように、撮像素子６によって撮像ラインＬｔ（ｔは１以上ｎ以下の自然数）における分割領域３３_Ｓに続いて分割領域３３_Ｓ＋１が撮像される場合に、ステージ駆動部１１は、分割領域３３_Ｓの一部と分割領域３３_Ｓ＋１の一部とが互いに重畳する重畳領域Ｒが形成されるようにステージ２を駆動してもよい。

具体的には、ステージ駆動部１１は、例えば重畳領域Ｒに対応する撮像素子６の受光面６ａにおける画素列数Ｎに基づいて、下記式（４）で示される速度Ｖ’でステージ２を駆動することができる。
Ｖ’＝Ａ×（Ｍ−Ｎ）×α …（４）

この場合、図５（ｂ）に示すように、対物レンズ２５の視野Ｆが分割領域３３_Ｓの位置となったときには、例えば撮像素子６の受光面６ａにおける第Ｍ−１の画素列３１_Ｍ−１及び第Ｍの画素列３１_Ｍが重畳領域Ｒに対応する。一方、図５（ｃ）に示すように、対物レンズ２５の視野Ｆが分割領域３３_Ｓ＋１の位置となったときには、例えば撮像素子６の受光面６ａにおける第１の画素列３１_１及び第２の画素列３１_２が重畳領域Ｒに対応する。

そして、上述したように、ステージ駆動部１１は、重畳領域Ｒに対応する撮像素子６の受光面６ａにおける画素列数Ｎ（図５に示した例ではＮ＝２）に基づいて、式（４）で示される速度Ｖ’でステージ２を駆動する。なお、この場合、ステージ駆動部１１は、例えば式（４）を書き換えた下記式（５）で示される速度Ｖ’でステージ２を駆動しているともいえる。
Ｖ’＝（Ｈ１−Ｈ２）×α …（５）
ただし、式（５）中、Ｈ２は、撮像ラインＬｔに沿った方向における重畳領域Ｒの長さを表す。

この場合、重畳領域Ｒと重畳領域Ｒに対応する撮像素子６の受光面６ａにおける画素列数Ｎとの関係を勘案してステージ２の駆動速度を設定するため、確実に重畳領域Ｒが形成される。したがって、得られる部分画像を合成したときに部分画像間をスムーズに合成することができ、切れ目のない全体画像を取得できる。

１…画像取得装置、２…ステージ、３…光源（光出射手段）、５…導光光学系、６…撮像素子、１１…ステージ駆動部（駆動部）、１２…対物レンズ駆動部、１３…光源制御部（制御部）、１４…画像処理部、２２…顕微鏡光学系、２５…対物レンズ、３１…画素列、３２…画像取得領域、３３…分割領域、Ｆ…対物レンズの視野、Ｒ…重畳領域、Ｓ…試料。

Claims

試料が載置されるステージと、
瞬間光を照射する光出射手段と、
前記ステージ上の前記試料と対峙するように配置された対物レンズを含む導光光学系と、
複数の画素列を有する二次元撮像素子であり、前記導光光学系によって導光された前記試料の光像を撮像する撮像素子と、
前記対物レンズに対して前記試料を所定の速度で移動させる駆動部と、
前記光出射手段を制御する制御部と、を備え、
前記撮像素子は、前記画素列の全てが露光していることを示すトリガ信号を前記制御部に出力し、
前記制御部は、前記撮像素子から出力された前記トリガ信号に基づいて、前記画素列の全てが露光している期間中に前記光出射手段から前記瞬間光を照射させる画像取得装置。
前記速度は、前記撮像素子によって連続して撮像される前記試料の二つの領域の一部が互いに重畳するように、少なくとも重畳領域に対応する前記撮像素子の画素数に基づいて設定された速度である請求項１記載の画像取得装置。
前記速度は、少なくとも前記対物レンズを含む前記導光光学系の光学倍率に基づいて設定された速度である請求項１又は２記載の画像取得装置。
前記速度は、少なくとも前記撮像素子の前記画素列の画素幅に基づいて設定された速度である請求項１〜３のいずれか一項に記載の画像取得装置。
ステージ上の試料と対峙するように配置された対物レンズに対して前記試料を所定の速度で移動させる移動ステップと、
前記試料に向けて瞬間光を照射する照射ステップと、
複数の画素列を有する二次元撮像素子である撮像素子を用い、前記対物レンズによって導光された前記試料の光像を撮像する撮像ステップと、
前記画素列の全てが露光していることを示すトリガ信号を前記撮像素子から出力する信号出力ステップと、を備え、
前記照射ステップでは、前記撮像素子から出力された前記トリガ信号に基づいて、前記画素列の全てが露光している期間中に前記瞬間光を照射させる画像取得方法。
前記速度は、前記撮像素子によって連続して撮像される前記試料の二つの領域の一部が互いに重畳するように、少なくとも重畳領域に対応する前記撮像素子の画素数に基づいて設定された速度である請求項５記載の画像取得方法。
前記速度は、少なくとも前記対物レンズを含む導光光学系の光学倍率に基づいて設定された速度である請求項５又は６記載の画像取得方法。
前記速度は、少なくとも前記撮像素子の前記画素列の画素幅に基づいて設定された速度である請求項５〜７のいずれか一項に記載の画像取得方法。