JP2019074721A

JP2019074721A - 観察画像撮影方法

Info

Publication number: JP2019074721A
Application number: JP2017202752A
Authority: JP
Inventors: 渡辺　大輔; Daisuke Watanabe; 大輔渡辺
Original assignee: Shibuya Kogyo Co Ltd
Current assignee: Shibuya Corp
Priority date: 2017-10-19
Filing date: 2017-10-19
Publication date: 2019-05-16

Abstract

【解決手段】まず、観察対象物３の部分領域Ａ６について、対物レンズ５と観察対象物３との間隔を変更しながら観察対象物３の複数の画像を撮像手段６により所定時間間隔で複数回取得し、その画像の中から観察対象物３に対物レンズ５の焦点Ｆが合っている合焦画像を抽出する。次に、部分領域Ａ６で合焦画像を撮影した際の対物レンズ５と観察対象物３との間隔に基づいて、隣接する部分領域Ａ７における撮影開始時の上記対物レンズ５と観察対象物３との間隔の変更範囲を決定し、その状態から対物レンズ５と観察対象物３の間隔を変更しながら観察対象物３を複数回撮影する。その後、同様にして隣接する部分領域について撮影を行って、観察対象物３全体の合焦画像を取得する。【効果】少ない撮影回数で精度良く合焦画像を取得することが可能となり、観察画像の撮影に要する時間を短縮することができる。【選択図】図３

Description

本発明は観察画像撮影方法に関し、より詳しくは、顕微鏡画像を取得する場合に好適な観察画像撮影方法に関する。

従来、顕微鏡で拡大した観察画像の撮影においては、対物レンズの視野が狭く観察対象物の全体像を一度にカバーすることができないため、観察対象物を複数の部分領域に分けて撮影するようにしている。また、観察対象物が凹凸やうねりを有している場合には、部分領域のそれぞれにおいて観察対象物が対物レンズの被写界深度の範囲を超えることがあり、超えた部分のピントが合わず画像の一部が欠落してしまうという問題がある。
このような問題の解決策として、各部分領域毎に被写界深度の方向に沿って、凹凸やうねりの幅以上に観察対象物を移動させながら複数回撮影することが行われている。これにより、全ての部分領域においてピントの合った画像を取得することができる。
さらに、特許文献１に記載される画像取得方法では、分割された部分領域のいくつかにおいて、対物レンズの光軸方向の複数位置で撮影をして、ここから焦点の合った合焦位置を求め、これら合焦位置情報に基づいて今回の観察対象物のフォーカスマップを作成し、このフォーカスマップの位置情報に基づいて部分領域毎に合焦位置の変化量を求め、この変化量に応じて、予め設定している光軸方向における撮影回数を変更するようにしている。これにより全ての部分領域において、光軸方向における観察対象物の存在範囲を全て撮影することができる。

特開２０１６−７５８１７号公報

ところで、各部分領域毎に、対物レンズの被写界深度の方向に沿って観察対象物を移動させながら複数回撮影する場合には、凹凸やうねりによる観察対象物の存在範囲を網羅するために、全ての部分領域において凹凸やうねりに従う最大幅以上に、観察対象物を移動させて複数回撮影しなければならず、撮影回数が多く撮影に時間が掛かるという問題がある。
また、特許文献１の画像取得方法によれば、観察対象物毎に事前にフォーカスマップを作成し、部分領域毎に合焦位置の変化量を求めて予め設定した撮影回数を変更するため、撮影回数は各部分領域に応じたものとなるが、フォーカスマップを事前に作成しなければならず、そのための撮影が必要となり事前準備に手間が掛かるという問題がある。また、精度の高いフォーカスマップを作成するには、できるだけ多くの部分領域で多数回の撮影を行わなければならず、結局は撮影に時間を要するという問題がある。

上述した事情に鑑み、本発明は、観察対象物の像を拡大する対物レンズと、対物レンズで拡大された像を撮影する撮像手段と、観察対象物と対物レンズの間隔を変更する間隔変更手段とを備え、観察対象物の拡大された画像を取得する観察画像撮影方法において、
観察対象物を含む観察範囲を設定するとともに該観察範囲を複数の部分領域に分割し、
まず、いずれかの部分領域の観察対象物について、観察対象物と対物レンズの間隔を変更しながら複数回撮影し、
撮影された複数の画像から観察対象物に焦点が合った合焦画像を選択して、当該合焦画像を撮影した時の観察対象物と対物レンズの間隔に基づいて、隣接する部分領域における撮影時の観察対象物と対物レンズの間隔の変更範囲を決定し、
次に、隣接する部分領域の観察対象物について、決定した変更範囲で観察対象物と対物レンズの間隔を変更しながら複数回撮影して、部分領域毎に複数の画像を取得するようにしたものである。

本発明による観察画像撮影方法によれば、少ない撮影回数で精度良く合焦画像を取得することが可能で、観察画像の撮影に要する時間を短縮することができる。

本発明の一実施例を示す観察画像撮影装置の構成図。観察対象物の全景と各部分領域を示す図。観察対象物と被写界深度の関係を説明するための図２のＩＩＩ―ＩＩＩ線に沿う断面図。

以下、図示実施例について本発明を説明すると、図1において１は観察画像撮影装置であり、この観察画像撮影装置１は、観察容器２に収容された観察対象物３に対し、上方側から照明４により検査光を照射し、下方側の顕微鏡を構成する対物レンズ５で像を拡大して、ＣＣＤカメラからなる撮像手段６で撮影するようになっている。撮影した画像は、画像処理ソフトがインストールされたパーソナルコンピュータ等からなる制御手段７に順次取り込まれるようになっており、モニター７Ａに取り込んだ画像を表示して観察できるようになっている。

観察容器２は支持部材８により下方から支持され、支持部材８に形成された観察孔８Ａを介して下方から観察されるようになっている。支持部材８は昇降手段９により、対物レンズ５の光軸すなわち被写界深度の方向に沿った上下方向（Ｚ軸方向）に移動されるようになっており、観察容器２に収容された観察対象物３と対物レンズ５の間隔を変更する間隔変更手段を構成して、対物レンズ５の被写界深度の範囲に観察対象物３を位置させることができるようになっている。
また、昇降手段９は横移動手段１０により、横方向（Ｘ−Ｙ軸方向）に移動されるようになっており、支持部材８および観察容器２を対物レンズ５の上方で、対物レンズ５の光軸と直交する横方向に移動させることができるようになっている。これら昇降手段９、横移動手段１０の動作および撮像手段６の撮影タイミング等、観察画像撮影装置１の動作は、パラメータ等により条件が設定された制御手段７により制御されるようになっている。

以上のように構成される観察画像撮影装置１を用いた、本発明にかかる観察画像撮影方法について説明する。
観察対象物３に対して対物レンズ５を介した撮像手段６の視野は狭く、観察対象物３の全体を一度に撮影することはできない。そこで、図２に示すように平面視で円形をした観察対象物３に対して観察範囲Ａを設定し、この観察範囲Ａについて、対物レンズ５を介した撮像手段６の視野に含まれる大きさの部分領域Ａ１〜Ａ１６を予め設定する。本実施例では、正方形の観察範囲Ａを縦横に４等分した部分領域Ａ１〜Ａ１６に分割しており、横移動手段１０により支持部材８を横方向に移動させて、各部分領域Ａ１〜Ａ１６に対応する位置関係となるように、対物レンズ５の上方に順次観察対象物３を位置させるよう制御手段７が設定されている。
また、各部分領域Ａ１〜Ａ１６において、昇降手段９により支持部材８を対物レンズ５の光軸方向となる被写界深度の方向に移動させながら、撮像手段６により複数回の撮影を行うよう制御手段７が設定されている。

図３は図２のＩＩＩ―ＩＩＩに沿う観察対象物３の断面を示しており、本実施例において観察対象物３は中央が窪んだ凹状となっている。図２に示した部分領域Ａ６、Ａ７、Ａ１０、Ａ１１が、それぞれ凹状をした観察対象物３の底部に対応しており、本実施例では部分領域Ａ６を基準領域として、この部分領域Ａ６に対応する観察対象物３の部分については、全域を対象として確実に対物レンズ５の被写界深度の範囲に含まれた状態で撮影されるように、対物レンズ５の被写界深度の範囲に対して観察対象物３を昇降手段９で上下動させながら撮影を行う。具体的には、観察対象物３と対物レンズ５の間隔が、観察対象物３が対物レンズ５の被写界深度より上方に位置した状態から観察対象物３を対物レンズ５に近づけるようにして、被写界深度の範囲を越えた下方まで下降させ、この間に観察対象物３が被写界深度の長さ分移動する毎に撮影を行うようになっており、より具体的には、観察対象物３を一定の速度で下降させながら、所定の時間間隔で複数回撮影を行う。このときの昇降手段９の動作は予め制御手段７に設定されており、撮影を開始する際の観察対象物３と対物レンズ５の間隔や、その後の撮影を終了するまでの移動量は事前に設定しておく。これにより、部分領域Ａ６に対応する観察対象物３の部分について、合焦画像が得られるようになっている。
なお、図３は観察対象物３と対物レンズ５の被写界深度の関係を模式的に表しており、各部分領域Ａ５〜Ａ８に描いた横線は、観察対象物３に対する対物レンズ５の焦点Ｆの位置を示している。この横線の上下に亘って対物レンズ５の被写界深度が存在し、各横線の間隔は対物レンズ５の被写界深度に相当している。
図３において、部分領域Ａ６については、最も下方の横線の位置に対物レンズ５の焦点Ｆが位置する状態で撮影を開始し、ここから観察対象物３を下降させることで対物レンズ５に接近させる。これにより相対的に対物レンズ５の焦点Ｆの位置が上昇することとなり、焦点Ｆが対物レンズ５の被写界深度に相当する距離を移動する毎に、すなわち焦点Ｆが順次横線に到達するタイミングで撮像手段６により画像を撮影し、焦点Ｆが最も上方の横線に到達するまで所定回数の撮影を行う。これにより、部分領域Ａ６に対応する観察対象物３の部分の全域について、被写界深度の範囲で撮影した画像を取得することが可能となり、この場合において最も下方の横線と最も上方の横線の範囲が間隔の変更範囲に相当する。

続いて、部分領域Ａ６に隣接する部分領域Ａ７を対象に撮影を行う。この場合には、撮影を開始するときの観察対象物３と対物レンズ５の間隔およびその後の変更量すなわち間隔の変更範囲を、部分領域Ａ６において観察対象物３の合焦画像を撮影した時の対物レンズ５との間隔に基づいて決定するようになっている。
すなわち、部分領域Ａ６で撮影した全ての画像において、端から所定画素分の幅を有する端部Ａ６ａの部分領域Ａ７との隣接部分で、観察対象物３に焦点Ｆが合っている合焦画像のうち、観察対象物３の最も下方部分に対応する画像を選定する。この場合、焦点Ｆが合っているか否かは、画像を構成する各画素のコントラストの高さにより判断することができ、制御手段７によって、隣接する部分領域Ａ７と接する端部６Ａの最も端に位置する各画素で最もコントラストの高い画素を含む画像や、端部６Ａの隣接部分の範囲内での平均が最も高い画像を選定するようになっている。
そして、選定された合焦画像を撮影した時の、支持部材８すなわち観察対象物３と対物レンズ５の間隔を基準として、この時の観察対象物３と対物レンズ５の間隔よりも所定量離隔させた間隔から撮影を開始するものとしている。、その後は予め設定した所定の移動量だけ支持部材８を下降させて、観察対象物３を対物レンズ５に近づけて、焦点Ｆが相対的に光軸方向上方へ移動する間に、被写界深度の長さを移動する毎に撮影を行う。すなわち図３に示すように、部分領域Ａ６の下から３番目の横線に焦点Ｆが位置した際の画像を、観察対象物３の最も下方部分の合焦画像として選定した場合には、部分領域Ａ７については、それよりも一つ下方の横線の位置に対物レンズ５の焦点Ｆが位置する状態で撮影を開始し、そこから焦点Ｆが相対的に所定量上昇する間隔の変更範囲において所定回数の撮影を行う。このように、部分領域Ａ６の端部Ａ６ａにおける合焦画像を撮影したときの焦点Ｆの位置に基づく観察対象物３と対物レンズ５の間隔を基準にして、この端部Ａ６ａに隣接する部分領域Ａ７の撮影時における観察対象物３と対物レンズ５の間隔の変更範囲を決定するため、撮影回数を少なく抑えることができる。
すなわち、観察対象物３を部分領域毎に撮影する場合において、観察対象物３のどの部分を撮影するのか分からない場合には、全ての部分領域において観察対象物３の最大上下幅以上に、観察対象物３と対物レンズ５の間隔を変更させながら複数回の撮影を行わければならないが、本発明のように観察対象物３の部分の上下位置が分かっていれば、その部分領域における観察対象物３の上下幅に対応させて観察対象物３と対物レンズ５の間隔を変更させればよく、さらに隣接する部分領域の端部における合焦画像を把握することで、今回撮影する部分領域の観察対象物３の部分の上下位置を認識することができ、この位置に基づいて観察対象物３と対物レンズ５の間隔を変更することができ、撮影回数を少なくすることが可能となる。なお、本実施例においてはほぼ半分の回数となり、撮影に要する時間を大幅に短縮することができる。

本実施例においては、観察対象物３は中央が窪んだ凹状となっていることから、できるだけ高低差の変化が小さくなるように、隣接する部分領域Ａ６、Ａ７、Ａ１１、Ａ１０の順で撮影するようにしており、その後はＡ９、Ａ５、Ａ１、Ａ２と続いてＡ１３まで、時計回りの螺旋状に撮影を行う。
この場合に、部分領域Ａ１１についてはＡ７の場合と同様に隣接するＡ７の端部Ａ７ａの合焦画像を基準として、撮影を開始する際の観察対象物３と対物レンズ５の間隔の変更範囲を決定するが、その次の部分領域Ａ１０については、隣接するＡ１１の端部Ａ１１ａの合焦画像のみならず、既に撮影済みの部分領域Ａ６の隣接する端部Ａ６ａの合焦画像も参照することで、観察対象物３の形状に応じてより正確に観察対象物３の位置を把握できるようにしている。
このように、順次隣接する部分領域の端部における合焦画像を撮影したときの観察対象物３と対物レンズ５の間隔を基準にして、この端部に隣接する部分領域について観察対象物３と対物レンズ５の間隔の変更範囲を決定することにより、撮影回数を抑えながら観察対象物３全体について合焦画像を取得することが可能となる。取得された各部分領域の画像については、各画像を確認しながら観察対象物３全体を観察することが可能であり、また各部分領域毎に合焦部分を抽出して合成し、これを全部分領域で行って観察対象物３の全体像として合成することも可能である。
なお、本実施例においては、観察対象物３の形状を中央が窪んだ凹状として説明したが、これに限定されることはなく、中央が突出した凸状や複数の凹凸を有する形状、さらには規則的または不規則にうねりが生じた形状であってもよい。

１‥観察画像撮影装置２‥観察容器
３‥観察対象物５‥対物レンズ
６‥撮像手段７‥制御手段
Ａ‥観察範囲Ａ１〜Ａ１６‥部分領域

Claims

観察対象物の像を拡大する対物レンズと、対物レンズで拡大された像を撮影する撮像手段と、観察対象物と対物レンズの間隔を変更する間隔変更手段とを備え、観察対象物の拡大された画像を取得する観察画像撮影方法において、
観察対象物を含む観察範囲を設定するとともに該観察範囲を複数の部分領域に分割し、
まず、いずれかの部分領域の観察対象物について、観察対象物と対物レンズの間隔を変更しながら複数回撮影し、
撮影された複数の画像から観察対象物に焦点が合った合焦画像を選択して、当該合焦画像を撮影した時の観察対象物と対物レンズの間隔に基づいて、隣接する部分領域における撮影時の観察対象物と対物レンズの間隔の変更範囲を決定し、
次に、隣接する部分領域の観察対象物について、決定した変更範囲で観察対象物と対物レンズの間隔を変更しながら複数回撮影して、部分領域毎に複数の画像を取得することを特徴とする観察画像撮影方法。
上記隣接する部分領域における観察対象物と対物レンズの間隔の変更範囲を決定する際は、先に撮影した部分領域の複数の画像において、隣接する部分領域に接する端部で観察対象物に焦点が合っている合焦画像を選択することを特徴とする請求項１に記載の観察画像撮影方法。