JP2017153441A - 観察装置、測定システム及び観察方法 - Google Patents

観察装置、測定システム及び観察方法 Download PDF

Info

Publication number
JP2017153441A
JP2017153441A JP2016041434A JP2016041434A JP2017153441A JP 2017153441 A JP2017153441 A JP 2017153441A JP 2016041434 A JP2016041434 A JP 2016041434A JP 2016041434 A JP2016041434 A JP 2016041434A JP 2017153441 A JP2017153441 A JP 2017153441A
Authority
JP
Japan
Prior art keywords
imaging
mode
control unit
unit
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016041434A
Other languages
English (en)
Other versions
JP2017153441A5 (ja
JP6640610B2 (ja
Inventor
宏樹 網野
Hiroki Amino
宏樹 網野
勝久 川口
Katsuhisa Kawaguchi
勝久 川口
幸治 青田
Koji Aota
幸治 青田
野中 修
Osamu Nonaka
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016041434A priority Critical patent/JP6640610B2/ja
Priority to US15/435,113 priority patent/US10129474B2/en
Priority to CN201710122767.5A priority patent/CN107151627A/zh
Publication of JP2017153441A publication Critical patent/JP2017153441A/ja
Publication of JP2017153441A5 publication Critical patent/JP2017153441A5/ja
Application granted granted Critical
Publication of JP6640610B2 publication Critical patent/JP6640610B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0016Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/487Physical analysis of biological material of liquid biological material
    • G01N33/48707Physical analysis of biological material of liquid biological material by electrical means
    • G01N33/48735Investigating suspensions of cells, e.g. measuring microbe concentration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Sustainable Development (AREA)
  • Biotechnology (AREA)
  • Microbiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Optics & Photonics (AREA)
  • Urology & Nephrology (AREA)
  • Pathology (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Immunology (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】目的に応じて必要な画像情報を取得することができる観察装置を提供する。【解決手段】観察装置100は、撮像部170と、移動機構160と、第1の制御部110とを備える。撮像部170は、対象物を観察するように構成されている。移動機構160は、対象物の観察位置を変更するために撮像部170を移動させる。第1の制御部110は、移動機構160に高速で撮像部170を移動させながら撮像部170に撮影させる第1のモードと、移動機構160に第1のモードよりも低速で撮像部170を移動させながら第1のモードよりも高精細の画像を撮像部170に撮影させる第2のモードとを切り換えて、移動機構160及び撮像部170の動作を制御する。【選択図】図2

Description

本発明は、観察装置、測定システム及び観察方法に関する。
一般に、インキュベータ内に培養容器を静置し、当該培養容器内の培養細胞等の画像を得る装置が知られている。例えば特許文献1には、インキュベータ内で、撮像部であるカメラを移動させながら複数の撮影を行い、培養容器内の広い範囲に存在する細胞を撮影する装置に係る技術が開示されている。
特開2005−295818号公報
一般に、広い範囲を撮影するには長時間を要する。これに対して、試料全体の状態を把握するために、短時間で広い範囲の画像を取得することが望まれることがある。
本発明は、撮像部を移動させながら撮影を行う観察装置であって、目的に応じて必要な画像情報を取得することができる観察装置、当該観察装置を有する測定システム、及び観察方法を提供することを目的とする。
本発明の一態様によれば、観察装置は、対象物を観察するための撮像部と、前記対象物の観察位置を変更するために前記撮像部を移動させる移動機構と、前記移動機構に高速で前記撮像部を移動させながら前記撮像部に撮影させる第1のモードと、前記移動機構に前記第1のモードよりも低速で前記撮像部を移動させながら前記第1のモードよりも高精細の画像を前記撮像部に撮影させる第2のモードとを切り換えて、前記移動機構及び前記撮像部の動作を制御する制御部とを備える。
本発明の一態様によれば、測定システムは、前記観察装置であって、通信装置をさらに具備する観察装置と、前記通信装置を介して前記観察装置と通信をし、前記観察装置の動作を制御するコントローラとを備える。
本発明の一態様によれば、観察方法は、撮像部で対象物を撮像する撮像ステップと、前記対象物の観察位置を変更するために前記撮像部を移動させる移動ステップと、前記撮像部を高速で移動させながら連続撮影させる第1のモードと、前記第1のモードよりも低速で前記撮像部を移動させながら前記第1のモードよりも高精細の画像を前記撮像部に連続撮影させる第2のモードとを切り換えて、前記撮像部の動作を制御するステップとを備える。
本発明によれば、撮像部を移動させながら撮影を行う観察装置であって、目的に応じて必要な画像情報を取得することができる観察装置、当該観察装置を有する測定システム、及び観察方法を提供できる。
図1は、一実施形態に係る測定システムの構成例の概略を示す図である。 図2は、一実施形態に係る測定システムの構成例の概略を示すブロック図である。 図3は、一実施形態に係る支持部と試料との構成例の概略を示す側面図である。 図4は、一実施形態に係る観察装置制御処理の一例を示すフローチャートである。 図5は、一実施形態に係る観察装置によるラフスキャンについて説明するための図である。 図6は、一実施形態に係る観察装置によるラフスキャンについて説明するための図である。 図7は、一実施形態に係る観察装置のラフスキャン移動パターンに係る情報について説明するための図である。 図8は、一実施形態に係るラフスキャン処理の一例を示すフローチャートである。 図9は、一実施形態に係る観察装置の移動パターンに係る情報について説明するための図である。 図10は、一実施形態に係る観察装置による画像取得について説明するための図である。 図11は、一実施形態に係る測定システムで得られる測定結果のデータの構成例の概略を示す図である。 図12は、一実施形態に係る観察装置による深度合成について説明するための図である。 図13Aは、一実施形態に係るコントローラ制御処理の一例を示すフローチャートである。 図13Bは、一実施形態に係るコントローラ制御処理の一例を示すフローチャートである。
本発明の一実施形態について図面を参照して説明する。本実施形態に係る測定システムは、培養中の細胞、細胞群、組織等を撮影し、細胞又は細胞群の個数、形態等を記録するためのシステムである。
〈測定システムの構成〉
測定システム1の外観の概略を示す模式図を図1に示す。また、測定システム1の構成例を表すブロック図を図2に示す。測定システム1は、観察装置100と、コントローラ200とを備える。図1に示すように、観察装置100は、おおよそ平板形状をしている。観察装置100は、例えばインキュベータ内に設置され、観察装置100の上面には、観察対象である試料300が配置される。以降の説明のため、観察装置100の試料300が配置される面と平行な面内に互いに直交するX軸及びY軸を定義し、X軸及びY軸と直交するようにZ軸を定義する。観察装置100の上面には、透明板102が設けられており、観察装置100の筐体101の内部には、撮像部170が設けられている。観察装置100は、透明板102を介して試料300を撮影し、試料300の画像を取得する。一方、コントローラ200は、インキュベータの外部に設置される。観察装置100とコントローラ200とは、通信する。コントローラ200は、観察装置100の動作を制御する。
(試料について)
測定システム1の測定対象である試料300は、例えば次のようなものである。容器310内に培地322が入れられ、培地322内で細胞324が培養されている。容器310は、例えばシャーレ、培養フラスコ、マルチウェルプレート等であり得る。このように、容器310は、例えば、生体試料を培養するための培養容器である。容器310の形状、大きさ等は限定されない。培地322は、液体培地でも固体培地でもよい。測定対象は例えば細胞324であるが、これは、接着性の細胞でもよいし、浮遊性の細胞でもよい。また、細胞324は、スフェロイドや組織であってもよい。さらに、細胞324は、どのような生物に由来してもよく、菌等であってもよい。このように、試料300は、生物又は生物に由来する試料である生体試料を含む。
培地322が液体培地であるとき、培地322にはブイ340が浮かべられてもよい。このブイ340は、培地322の上面位置を確認する際の目印となる。容器310の上面には、反射板360が配置される。反射板360は、後述する照明光を反射するものである。
(観察装置について)
図1に示すように、観察装置100の筐体101の上面には、例えばガラス等で形成された透明板102が設けられている。試料300は、この透明板102上に静置される。図1には、筐体101の上面の全体が透明な板で形成されている例が示されているが、観察装置100は、筐体101の上面の一部に透明板が設けられ、上面のその他の部分が不透明であるように構成されてもよい。
また、透明板102上の試料300が配置される位置を統一し、また試料300を固定するために、透明板102の上には、固定枠410が乗せられてもよい。ここで、固定枠410は、例えば透明板102と同じ大きさなど、透明板102に対して特定の位置に配置されるように構成されている。また、固定枠410は、固定板412に孔414が設けられた構成を有する。ここで、孔414は、試料300の容器310の外径よりもわずかに大きな直径を有する。したがって、透明板102上に固定枠410が乗せられた状態においては、容器310は、孔414内に固定され得る。固定枠410は、試料300の容器310の種類に応じて複数種類用意される。固定枠410は、用いられてもよいし、用いられなくてもよい。
筐体101の内部には、観察装置100の各構成要素が設けられている。インキュベータ内は例えば温度37℃、湿度95%といった高温多湿の環境であり、観察装置100はこのような高温多湿の環境で用いられるため、筐体101は気密性が保たれている。
筐体101内の支持部168には、試料300を照明する照明部180が設けられている。照明部180は、透明板102がある方向、すなわち、試料300が置かれている方向に照明光を射出する。図2に示すように、照明部180は、照明光学系182と光源184とを備える。光源184から射出された照明光は、照明光学系182を介して試料300へと照射される。なお、照明部180は支持部168に配置されていると述べたが、照明光学系182の射出端が支持部168に配置されていればよく、例えば光源184は、観察装置100の何れの場所に配置されていてもよい。
また、図1に示すように、支持部168の照明部180の近傍には、撮像部170が設けられている。撮像部170は、試料300の方向を撮像し、試料300の画像を取得する。図2に示すように、撮像部170は、撮像光学系172と撮像素子174とを含む。撮像部170では、撮像光学系172を介して撮像素子174の撮像面に結像した像に基づいて、画像データが生成される。撮像光学系172は、焦点距離を変更できるズーム光学系であることが好ましい。
図3に試料300を側面から見た模式図を示す。この図に示すように、照明部180の照明光学系182から射出された照明光は、容器310の上面に設けられた反射板360に照射され、反射板360で反射する。反射光は、細胞324を照明して撮像部170の撮像光学系172に入射する。
図1に戻って説明を続ける。撮像部170及び照明部180が固定された支持部168は、移動機構160によって移動させられる。移動機構160は、支持部168をX軸方向に移動させるためのX送りねじ161とXアクチュエータ162とを備える。また、移動機構160は、支持部168をY軸方向に移動させるためのY送りねじ163とYアクチュエータ164とを備える。
Z軸方向の撮影位置は、撮像光学系172の合焦位置が変更されることで変更される。すなわち、撮像光学系172は、合焦用レンズを光軸方向に移動させるための合焦調整機構を備えている。なお、合焦調整機構に代えて、又はこれと共に、移動機構160は支持部168をZ軸方向に移動させるためのZ送りねじ及びZアクチュエータ等を備えてもよい。
筐体101の内部には、移動機構160、撮像部170及び照明部180の動作を制御するための回路群105が設けられている。回路群105には、第1の通信装置192が設けられている。第1の通信装置192は、例えば無線でコントローラ200と通信を行うための装置である。この通信には、例えばWi−Fi(登録商標)又はBluetooth(登録商標)等を利用した無線通信が利用される。また、観察装置100とコントローラ200とは、有線によって接続されて有線によって通信が行われてもよい。
図2に示すように、観察装置100は、上述の移動機構160、撮像部170、照明部180及び第1の通信装置192に加えて、第1の制御部110と、第1の記録部130と、画像処理回路140とを備える。第1の制御部110、第1の記録部130、画像処理回路140及び第1の通信装置192は、例えば上述の回路群105に配置されている。
第1の制御部110は、観察装置100の各部の動作を制御する。第1の制御部110は、位置制御部111、撮像制御部112、照明制御部113、通信制御部114、記録制御部115、及び測定制御部116としての機能を備える。位置制御部111は、移動機構160の動作を制御し、支持部168の位置を制御する。撮像制御部112は、撮像部170の動作を制御し、撮像部170に試料300の画像を取得させる。照明制御部113は、照明部180の動作を制御する。通信制御部114は、第1の通信装置192を介したコントローラ200との通信を管理する。記録制御部115は、観察装置100で得られたデータの記録について制御する。測定制御部116は、測定を行うタイミングや回数など、測定全体を制御する。
第1の記録部130は、例えば第1の制御部110で用いられるプログラムや各種パラメータを記録している。また、第1の記録部130は、観察装置100で得られたデータ等を記録する。
画像処理回路140は、撮像部170で得られた画像データに対して、各種画像処理を施す。画像処理回路140による画像処理後のデータは、例えば第1の記録部130に記録されたり、第1の通信装置192を介してコントローラ200に送信されたりする。また、第1の制御部110又は画像処理回路140は、得られた画像に基づく各種解析を行ってもよい。例えば第1の制御部110又は画像処理回路140は、得られた画像に基づいて、試料300に含まれる細胞又は細胞群の画像を抽出したり、細胞又は細胞群の数を算出したりする。このようにして得られた解析結果も、例えば第1の記録部130に記録されたり、第1の通信装置192を介してコントローラ200に送信されたりする。
(コントローラについて)
コントローラ200は、例えばパーソナルコンピュータ(PC)、タブレット型の情報端末等である。図1には、タブレット型の情報端末を図示している。
コントローラ200には、例えば液晶ディスプレイといった表示装置272とタッチパネルといった入力装置274とを備える入出力装置270が設けられている。入力装置274は、タッチパネルの他に、スイッチ、ダイヤル、キーボード、マウス等を含んでいてもよい。
また、コントローラ200には、第2の通信装置292が設けられている。第2の通信装置292は、第1の通信装置192と通信を行うための装置である。第1の通信装置192及び第2の通信装置292を介して、観察装置100とコントローラ200とは通信を行う。
また、コントローラ200は、第2の制御部210と、第2の記録部230とを備える。第2の制御部210は、コントローラ200の各部の動作を制御する。第2の記録部230は、例えば第2の制御部210で用いられるプログラムや各種パラメータを記録している。また、第2の記録部230は、観察装置100で得られ、観察装置100から受信したデータを記録する。
第2の制御部210は、システム制御部211、表示制御部212、記録制御部213、及び通信制御部214としての機能を有する。システム制御部211は、試料300の測定のための制御に係る各種演算を行う。表示制御部212は、表示装置272の動作を制御する。表示制御部212は、表示装置272に必要な情報等を表示させる。記録制御部213は、第2の記録部230への情報の記録を制御する。通信制御部214は、第2の通信装置292を介した観察装置100との通信を制御する。
第1の制御部110、画像処理回路140及び第2の制御部210は、Central Processing Unit(CPU)、Application Specific Integrated Circuit(ASIC)、又はField Programmable Gate Array(FPGA)等の集積回路等を含む。第1の制御部110、画像処理回路140及び第2の制御部210は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、第1の制御部110及び画像処理回路140は、1つの集積回路等で構成されてもよい。また、第1の制御部110の位置制御部111、撮像制御部112、照明制御部113、通信制御部114、記録制御部115、及び測定制御部116は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、位置制御部111、撮像制御部112、照明制御部113、通信制御部114、記録制御部115、及び測定制御部116のうち2つ以上が1つの集積回路等で構成されてもよい。同様に、第2の制御部210のシステム制御部211、表示制御部212、記録制御部213、及び通信制御部214は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、システム制御部211、表示制御部212、記録制御部213、及び通信制御部214のうち2つ以上が1つの集積回路等で構成されてもよい。これら集積回路の動作は、例えば第1の記録部130又は第2の記録部230や集積回路内の記録領域に記録されたプログラムに従って行われる。
〈測定システムの動作〉
測定システム1の動作について説明する。本実施形態に係る測定システム1に係る観察装置100は、撮影モードとして2つのモードで動作する。すなわち、測定システム1は、ラフスキャンによって試料300の概要を把握する第1のモードと、測定のための高精細な画像を取得する第2のモードとで動作する。第1のモードでは、移動機構160は高速で撮像部170を移動させ、撮像部170は解像度を犠牲にしても素早く撮影を行う。一方、第2のモードでは、移動機構160は第1のモードよりも低速で撮像部170を移動させ、撮像部170は第1のモードよりも高精細の画像を取得する。第1の制御部110は、位置制御部111及び撮像制御部112によって、第1のモード及び第2のモードで観察装置100を動作させる。
これに限定されないが、例えば、90mm四方の範囲を観察する場合、第2のモードで3mm四方ずつ撮影すると、900回の撮影が必要になる。第2のモードにおいて、1秒間に1枚ずつ撮影できる場合、全体の撮影に900秒を要する。一方、第1のモードで6mm四方の視野を用いて30フレーム/秒の動画で撮影を行う場合、7.5秒で撮影が完了する。これは、一般のデジタルカメラ用の撮像素子が、速いフレームレートで画素を間引いたり加算したりして撮像する動画モードと、高精細の静止画モードとを有し、必要に応じてそれらを切り替えて利用できることを応用すれば実現され得る。撮像素子はカラーフィルタを有するが、これは対象物に応じてあってもなくてもよい。
まず、観察装置100の動作について、図4に示すフローチャートを参照して説明する。図4に示すフローチャートは、観察装置100、コントローラ200及び試料300の設置が終わり、測定の準備が完了した後に開始する。
ステップS101において、第1の制御部110は、電源をオンにするか否かを判定する。第1の制御部110は、例えば予め決められた時間毎に電源をオンにすると設定されており、電源をオンにする時間になったとき、電源をオンにすると判定される。あるいは、観察装置100は、例えばBluetooth(登録商標) Low Energyといった低消費電力の通信手段を用いてコントローラ200と常時通信しており、コントローラ200から当該通信手段を用いて電源をオンにする指示を受けたとき、電源をオンにすると判定される。電源をオンにしないとき、処理はステップS101を繰り返して待機する。一方、電源をオンにすると判定されたとき、処理はステップS102に進む。
ステップS102において、第1の制御部110は、電源をオンに切り替えて、観察装置100の各部に電力を投入する。試料300の測定を実際に行うときのみなど、必要なときにのみ電源を投入することで、省電力が実現される。特に、観察装置100の電源がバッテリーであるとき、観察装置100の駆動時間が長くなる等の効果が得られる。
ステップS103において、第1の制御部110は、コントローラ200との通信を確立する。ここで用いられる通信手段は、例えばWi−Fiといった、高速の通信手段である。
ステップS104において、第1の制御部110は、コントローラ200から確立した通信を介して情報を取得するか否かを判定する。例えばコントローラ200から情報が送信されているとき、情報を取得すると判定される。情報を取得しないとき、処理はステップS106に進む。一方、情報を取得するとき、処理はステップS105に進む。
ステップS105において、第1の制御部110は、コントローラ200から送信された情報を取得する。ここで取得される情報には、例えば撮影条件、撮影間隔、その他パラメータ等を含む測定の条件、測定結果の記録の方法、測定結果の送信条件等の条件情報が含まれる。その後、処理はステップS106に進む。
ステップS106において、第1の制御部110は、ラフスキャンを行うか否かを判定する。ラフスキャンについて説明する。ラフスキャンは、測定に係る撮影に先立って、試料300の全体の状態の概要を把握するために、画質等よりも撮影時間の短さを優先して行われる撮影である。例えば、図5に示すように、試料300の注目している部分のみならず、透明板102上の全体をスキャンする。例えば、初期位置511から線512の経路を通って、終了位置513まで、撮像部170を素早く移動させながら、撮影が行われる。なお、試料300の位置が把握されているのであれば、図6に示すように、試料300が配置されている範囲内のみをスキャンしてもよい。ラフスキャンにおいては、例えば撮像部170は、動画撮影を行う。
ラフスキャンを行うために必要な撮像部170の移動パターンは、第1の記録部130に記録さている。第1の記録部130に記録されているラフスキャン移動パターン520の一例を図7に示す。ラフスキャン移動パターン520は、開始条件521と、開始位置522と、終了条件523とを含む。開始条件521は、スキャンを開始する条件に係る情報を含む。開始条件521は、例えば透明板102の全体をスキャンするのか、試料300が配置されている範囲内のみをスキャンするのかといった情報を含んでもよい。また、開始条件521は、例えば撮像部170の位置が初期位置に設定されてからスキャンを開始するまでの時間等を含む。開始位置522は、スキャンを開始する位置に係る情報を含む。開始位置522は、例えば、透明板102の端の位置、試料300の端の位置等の情報を含む。終了条件523は、スキャンを終了する条件に係る情報を含む。終了条件523は、例えば、スキャンの終了位置の情報、スキャンを開始して終了するまでの時間に係る情報等を含む。
また、ラフスキャン移動パターン520は、X方向スピード524、Y方向スピード525、X→Y変更条件526、及びY→X変更条件527をさらに含む。X方向スピード524は、撮像部170をX軸方向に移動させる際の移動速度に係る情報を含む。Y方向スピード525は、撮像部170をY軸方向に移動させる際の移動速度に係る情報を含む。X→Y変更条件526は、撮像部170の移動方向をX軸方向からY軸方向に変更させる条件を含む。X→Y変更条件526は、例えば、スキャン領域のX軸方向の端部の位置情報を含む。Y→X変更条件527は、撮像部170の移動方向をY軸方向からX軸方向に変更させる条件を含む。Y→X変更条件527は、例えば、1回のY軸方向の移動に係るY軸方向の移動距離の情報を含む。
また、ラフスキャン移動パターン520は、NG判定条件528と、再トライ判定条件529とを含む。NG判定条件528は、ラフスキャンが不良と判定される条件を含む。また、再トライ判定条件529は、ラフスキャンを再度初めから行うと判定される条件を含む。
また、ラフスキャン移動パターン520は、コマ数531と時刻532とZ座標533と撮影条件534との組み合わせに係る情報を含んでいてもよい。
第1の記録部130には、図5に示すような透明板102の全体をスキャンする1つのラフスキャン移動パターン520が記録されていてもよい。また、第1の記録部130には、透明板102の全体をスキャンするパターンに加えて、又はそれに代えて、図6に示すような透明板102の一部をスキャンする1つ以上のラフスキャン移動パターン520が記録されていてもよい。
ラフスキャンは、ラフスキャン移動パターン520の情報を用いて行われる。すなわち、測定制御部116は、開始条件521、開始位置522、終了条件523、NG判定条件528、再トライ判定条件529等の情報を用いて、ラフスキャンを開始させたり終了させたりする。また、位置制御部111は、X方向スピード524、Y方向スピード525、X→Y変更条件526、Y→X変更条件527等の情報を用いて、撮像部170が設けられた支持部168を移動させる。また、撮像制御部112は、Z座標533及び撮影条件534等の情報を用いて撮像部170の動作を制御する。また、画像処理回路140は、コマ数531、時刻532、X方向スピード524、Y方向スピード525、X→Y変更条件526、Y→X変更条件527、及びZ座標533等の情報を用いて、撮影により得られた動画について解析を行ってもよい。
図4に戻って説明を続ける。ステップS106において、ラフスキャンを行わないと判定されたとき、処理はステップS108に進む。一方、ラフスキャンを行うと判定されたとき、処理はステップS107に進む。なお、ステップS106において、ラフスキャンを行うと判定されるのは、例えば、測定システムによる測定が開始された初めのときであったり、ユーザがラフスキャンを行うことを指示した場合であったり、繰り返し行われる測定の直前であったり、得られた測定結果が所定の条件を満たす場合であったりなど、種々の条件があり得る。
ステップS107において、第1の制御部110は、ラフスキャン処理を行う。ラフスキャン処理について、図8に示すフローチャートを参照して説明する。
ステップS201において、第1の制御部110は、撮像部170の位置を初期位置に移動させるように移動機構160の動作を制御する。また、第1の制御部110は、撮像光学系172を所定の設定とする。例えば、撮像光学系172がズーム光学系であるとき、撮影光学系の設定を広角側、すなわち、焦点距離が短くなるように設定する。また、第1の制御部110は、撮像光学系172の絞りの開口径を小さくさせ、被写界深度を深くさせる。このとき、第1の制御部110は、絞りの開口径を小さくした分だけ、照明部180に照明光の強度を上げさせてもよい。また、第1の制御部110は、撮像素子174の感度を増加させてもよい。例えば、撮像素子174の複数の画素で得られた輝度値を加算する画素加算によっても、増感が実現され得る。
また、ラフスキャン処理においては、画質を多少犠牲にしても概要が把握されやすいように、測定の場合と比較して以下のように設定されてもよい。すなわち、測定における画像取得では、照明光として位相差コントラスト照明が用いられる。これに対して、ラフスキャン時は、一般照明である偏射照明が用いられてもよい。偏射照明が用いられることで、撮影時の焦点が多少ずれていても概要が把握されやすい画像が取得され得る。また、位相差コントラスト照明が用いられるとき、デフォーカス時に複数の像が重なったような画像が取得され得る。これは、シェーディングのむらを低減させるために発光ダイオード(LED)が複数設けられていることにより生じる。そこで、ラフスキャン時は、複数のLEDのうち、一部のみが点灯してもよい。一部のLEDのみが点灯することで、撮影時の焦点が多少ずれていても概要が把握されやすい画像が取得され得る。
ステップS202において、第1の制御部110は、撮像部170に連続撮影を開始させる。また、第1の制御部110は、移動機構160に、所定の速度及び所定の経路で撮像部170を移動させることを開始させる。このとき、第1の記録部130に記録されたラフスキャン移動パターン520の情報が用いられる。
ステップS203において、第1の制御部110は、撮像部170による撮影又は移動機構160による移動に不具合があった場合、又は不具合等のために撮影を初めからやり直す場合に該当するか否かを判定する。撮影又は移動に不具合があった又は撮影をやり直すとき、処理はステップS204に進む。
ステップS204において、第1の制御部110は、撮影又は移動に不具合があった旨、又は撮影をやり直す旨をユーザに提示して警告する。その後、処理はステップS201に戻る。
ステップS203の判定において、撮影又は移動に不具合が無く、かつ、撮影のやり直しもしないとき、処理はステップS205に進む。
ステップS205において、第1の制御部110は、ラフスキャンを終了するか否かを判定する。例えば、所定のスキャンが完了したとき、終了すると判定される。終了しないと判定されたとき、処理はステップS206に進む。
ステップS206において、第1の制御部110は、X→Y変更条件526を参照して、移動方向をX軸方向からY軸方向に変更するか否かを判定する。変更しないとき、処理はステップS208に進む。一方、変更するとき、処理はステップS207に進む。
ステップS207において、第1の制御部110は、移動機構160に撮像部170の移動方向を変更させる。その後、処理はステップS208に進む。
ステップS208において、第1の制御部110は、Y→X変更条件527を参照して、移動方向をY軸方向からX軸方向に変更するか否かを判定する。変更しないとき、処理はステップS203に戻る。一方、変更するとき、処理はステップS209に進む。
ステップS209において、第1の制御部110は、移動機構160に撮像部170の移動方向を変更させる。その後、処理はステップS203に戻る。
ステップS205において、終了すると判定されたとき、処理はステップS210に進む。
ステップS210において、第1の制御部110は、撮像部170に連続撮影を停止させる。また、第1の制御部110は、移動機構160に撮像部170の移動を停止させる。
ステップS211において、第1の制御部110は、連続撮影により得られたデータの処理を行う。第1の制御部110は、例えば得られたデータに基づいて、試料300の位置や、試料300に含まれる細胞324の位置及び個数などについて解析する。また、第1の制御部110は、例えばコントローラ200に送信するのに適したデータを作成する。連続撮影により得られた画像データは、例えば動画データであってもよし、複数の静止画の集合のデータであってもよい。試料300の位置や、試料300に含まれる細胞324の位置及び個数等についてコントローラ200で解析を行う場合は、第1の制御部110は、これらの解析を行わなくてもよい。
ステップS212において、第1の制御部110は、撮像部170による連続撮影によって得られたれた画像、解析結果等をコントローラ200に向けて送信させる。なお、画像の送信は、ステップS212においてまとめて行われてもよいし、ステップS203乃至ステップS209の繰り返し処理のどこかで、順次行われてもよい。以上により、ラフスキャン処理を終了し、処理は観察装置制御処理に戻る。
図4に戻って、観察装置制御処理の続きを説明する。ステップS107のラフスキャン処理の後、処理はステップS108に進む。ステップS108において、第1の制御部110は、マニュアルによる位置指定があったか否かを判定する。すなわち、コントローラ200から撮影位置を指定しての撮影の指示があったか否かを判定する。例えば、ユーザは、ラフスキャン処理で得られた試料300全体の画像に基づいて、位置を指定することができる。また、ラフスキャン処理で得られた画像に限らず、過去に測定に係る撮影で得られた画像に基づいても、ユーザは撮影位置を指定することができる。撮影の指示がないとき、処理はステップS110に進む。一方、撮影の指示があるとき、処理はステップS109に進む。
ステップS109において、第1の制御部110は、移動機構160を動作させて、指示された位置に撮像部170を移動させ、撮像部170に当該位置における画像の取得を行わせる。第1の制御部は、得られた画像を第1の通信装置192を介してコントローラ200へと送信する。その後、処理はステップS110に進む。
ステップS110において、第1の制御部110は、測定を開始するタイミングであるか否かを判定する。測定を開始するタイミングでないとき、処理はステップS112に進む。一方、測定を開始するタイミングであるとき、処理はステップS111に進む。測定を開始するタイミングは、例えば1時間毎など予め定められていてもよい。また、測定が開始される条件は、時間によらず、例えば細胞324又は培地322の状態に応じてもよい。本実施形態においては、測定を開始するタイミングになるごとに、繰り返し測定が行われる。
ステップS111において、第1の制御部110は、測定処理を行う。すなわち、第1の制御部110は、移動機構160に指令して撮像部170の位置を変えながら、撮像部170に撮像を繰り返し行わせる。第1の制御部110は、得られた画像に対して、所定の処理を行い、要求されている結果を第1の記録部130に記録する。その後、処理はステップS112に進む。
測定処理における移動機構160による撮像部170の移動パターンについて図9を参照して説明する。図9は、移動パターン550の構成の一例を示す。図9に示すような移動パターン550が第1の記録部130に記録される。この移動パターン550は、例えば、ラフスキャン処理で得られた画像データの解析結果に基づいて決められる。この解析は、所定の規則に従って第1の制御部110によって行われてもよいし、所定の規則に従って第2の制御部210によって行われてもよいし、ユーザによって別途行われてもよい。
移動パターン550によって規定される測定処理で撮影される範囲は、例えば次のような範囲である。例えば、測定処理で撮影される範囲は、ラフスキャン処理によって得られた画像データに基づいて、試料300が配置されていると特定された領域である。あるいは、測定処理で撮影される範囲は、測定の開始当初に例えば細胞のコロニー等、注目する細胞があると特定された領域である。あるいは、測定処理で撮影される範囲は、複数回の撮影で、細胞等に注目すべき変化が生じている領域である。
第1の制御部110は、この移動パターン550に従って、移動機構160及び撮像部170の動作を制御する。すなわち、移動パターン550は、移動機構160及び撮像部170の動作手順を含む。図9に示すように、移動パターン550は、1回目の移動パターンである第1の移動パターン551、2回目の移動パターンである第2の移動パターン552等が含まれる。第1の移動パターン551、第2の移動パターン552等は、互いに同じでもよいし、異なっていてもよい。これらのデータの数は、測定の回数に応じて増減する。毎回同じ移動パターンで測定が行われる場合には、一組のパターンのみが用意されていてもよい。
例えば第1の移動パターン551に注目すると、第1の移動パターン551には、以下の情報が含まれる。すなわち、第1の移動パターン551には、開始条件560が含まれる。この開始条件560は、ステップS110で測定開始と判定される条件を含んでいる。
また、第1の移動パターン551には、第1の撮影情報561、第2の撮影情報562、第3の撮影情報563等が記録されている。第1の撮影情報561に注目すると、第1の撮影情報561には、以下の情報が含まれる。すなわち、第1の撮影情報561には、順番571と、位置572と、Z位置573と、撮影条件574とが含まれる。順番571は、位置を変更しながら撮影を繰り返す際の撮影毎の通し番号である。位置572は、撮影位置のX座標及びY座標を含む。X座標及びY座標は、例えば位置制御部111による移動機構160の制御で用いられる値である。Z位置573は、撮影位置のZ座標を含む。Z座標は、例えば撮像制御部112による撮像光学系172の制御に用いられる値である。撮影条件574は、シャッタースピードや絞り等の露出条件その他の撮影条件を含む。ここでいう撮影条件は、撮影毎に異なっていてもよいし、第1の移動パターン551に含まれる各撮影で共通であってもよいし、移動パターン550に含まれる全ての撮影で共通であってもよい。第2の撮影情報562、第3の撮影情報563等も、それぞれ同様に、順番、位置、Z位置、及び撮影条件の情報を含む。なお、Z方向に撮影面を変更せずに固定値とする場合には、Z位置573の情報は省略されてもよい。また、撮影条件を変更せずに固定値とする場合には、撮影条件574の情報は省略されてもよい。
なお、上述の説明では、ラフスキャン処理においては動画撮影が行われるものとしたが、これに限らない。ラフスキャン処理においても、ここで説明したように、撮像部170の位置座標ごとに静止画を撮影し、得られた静止画に基づく解析が行われてもよい。また、測定処理においても、動画撮影が行われてもよい。
測定処理で行われる画像取得について図10の模式図を参照して説明する。観察装置100は、例えば第1の面内において、X方向及びY方向に位置を変更させながら繰り返し撮影を行い、複数の画像を取得する。画像処理回路140は、これらの画像を合成して、第1の面に係る1つの第1の画像611を作成する。ここで、第1の面は、例えば撮像部170の光軸に垂直な面、すなわち、透明板102と平行な面である。さらに、観察装置100は、厚さ方向に撮影位置を第2の面、第3の面と変化させながら、同様に、X方向及びY方向に位置を変更させながら繰り返し撮影を行い、それらを合成して、第2の画像612及び第3の画像613を取得する。ここで、厚さ方向とは、撮像部170の光軸方向であるZ軸方向であり、透明板102に対して垂直な方向である。このようにして、3次元の各部における画像が取得される。ここでは、Z方向に撮影面を変化させながら撮影を繰り返す例を示したが、Z方向には複数の画像を得ることなく、X方向及びY方向にのみ位置を変更させながら繰り返し撮影が行われてもよい。この場合、1つの平面の合成画像が得られる。なお、第1の画像611、第2の画像612、第3の画像613等の取得方法については、Z軸方向の位置を固定してX方向及びY方向にスキャンし、その後、Z軸方向の位置を変更して再びX方向及びY方向にスキャンしてもよい。また、X方向及びY方向の1つの位置につきZ軸方向の位置を変更しながら複数回の撮影が行われ、この複数回の撮影がX方向及びY方向にスキャンしながら行われてもよい。
上述のようにして得られた、第1の記録部130に記録される測定結果のデータの構成の一例を図11に示す。図11に示すように、測定結果700には、1回目の測定で得られた第1のデータ701、2回目の測定で得られた第2のデータ702等が含まれる。これらのデータの数は、測定の回数に応じて増減する。
例えば第1のデータ701に注目すると、第1のデータ701には、以下の情報が含まれる。すなわち、第1のデータ701には、開始条件710が含まれる。この開始条件710は、ステップS110で測定開始と判定された条件を含んでいる。例えば測定開始時刻などが予め決められており、当該決められた測定開始時刻で測定が開始されたとき、測定開始時刻が開始条件710として記録される。
また、第1のデータ701には、第1の画像情報721、第2の画像情報722、第3の画像情報723等が記録されている。これらのデータは、それぞれ1回の撮影において取得されたデータの集合である。第1の画像情報721に注目すると、第1の画像情報721には、以下の情報が含まれる。すなわち、第1の画像情報721には、順番731と、位置732と、Z位置733と、撮影条件734と、画像735とが含まれる。順番731は、位置を変更しながら撮影を繰り返す際の撮影毎の通し番号である。位置732は、撮影位置のX座標及びY座標を含む。X座標及びY座標は、移動機構160の制御で用いられる値であり、例えば位置制御部111から取得され得る。Z位置733は、撮影位置のZ座標を含む。Z座標は、撮像光学系172の制御に用いられる値であり、例えば撮像制御部112から取得され得る。撮影条件734は、シャッタースピードや絞り等の露出条件その他の撮影条件を含む。ここでいう撮影条件は、撮影毎に異なっていてもよいし、第1のデータ701内に含まれる各撮影では共通であってもよいし、測定結果700に含まれる全ての撮影で共通であってもよい。画像735は、撮影により得られた画像データである。第2の画像情報722、第3の画像情報723等も、それぞれ同様に、順番、位置、Z位置、撮影条件、及び画像の情報を含む。なお、Z方向に撮影面を変更しない場合には、Z位置の情報は省略されてもよい。
また、第1のデータ701には、解析結果740が含まれる。解析結果740は、例えば画像処理回路140を用いて測定された細胞又は細胞群の数を表す細胞数741等を含む。また、解析結果740には、Z位置が共通の画像を合成することで作成された平面の画像が含まれ得る。また、解析結果740には、全ての画像735を合成することで作成された3次元画像が含まれ得る。また、解析結果740には、深度合成画像が含まれてもよい。
深度合成画像について、図12を参照して説明する。Z座標がZsである第1の面621に第1の細胞631があり、Z座標がZs+ΔZ/2である第2の面622に第2の細胞632があり、Z座標がZs+ΔZである第3の面623に第3の細胞633がある場合を考える。合焦位置を変更しながら行った撮影によって、第1の面621に合焦している第1の画像641と、第2の面622に合焦している第2の画像642と、第3の面623に合焦している第3の画像643とが得られたとする。このとき、第1の画像641では、第1の細胞631に合焦しており、その他の細胞には合焦していない。同様に、第2の画像642では、第2の細胞632に合焦しており、その他の細胞には合焦していない。また、第3の画像643では、第3の細胞633に合焦しており、その他の細胞には合焦していない。そこで、深度合成画像650では、第1の画像641に含まれる第1の細胞631の画像と、第2の画像642に含まれる第2の細胞632の画像と、第3の画像643に含まれる第3の細胞633の画像とが合成される。その結果、第1の細胞631、第2の細胞632、及び第3の細胞633の全てについて合焦している深度合成画像650が得られる。このような深度合成画像が解析結果740として含まれていてもよい。
第2のデータ702にも、第1のデータ701と同様に、開始条件、第1の画像データ、第2の画像データ、第3の画像データ等、及び解析結果等が含まれ得る。
さらに、測定結果700には、第1のデータ、第2のデータ等に基づいて得られた、測定全体の解析結果709も含まれ得る。測定結果700の全てが1つのファイルとして記録されてもよいし、測定結果700の一部が1つのファイルとして記録されてもよい。
図4に戻って説明を続ける。ステップS112において、第1の制御部110は、コントローラ200から情報の要求があるか否かを判定する。コントローラ200からは、例えばステップS111の測定で得られたデータが要求される。情報の要求が無いとき、処理はステップS114に進む。一方、情報の要求があるとき、処理はステップS113に進む。
ステップS113において、第1の制御部110は、コントローラ200から要求された情報を第1の通信装置192を介してコントローラ200に送信する。その後、処理はステップS114に進む。
ステップS114において、第1の制御部110は、観察装置制御処理を終了するか否かを判定する。観察装置制御処理を終了するとき、当該処理は終了する。例えば、一連の測定が終了し、観察装置100がインキュベータから取り出されるような状況において、観察装置制御処理は終了する。一方、終了しないとき、ステップS115に進む。
ステップS115において、第1の制御部110は、電源をオフにするか否かを判定する。例えば、ステップS111で行われた測定から、次に行われる測定までの待機時間が長いとき、電力の消費を抑制するために、電源をオフにすると判定する。電源をオフにしないとき、処理はステップS104に戻る。一方、電源をオフにすると判定されたとき、処理はステップS116に進む。
ステップS116において、第1の制御部110は、観察装置100の各部の電源をオフにする。その後、処理はステップS101に戻る。以上のようにして、観察装置100は、繰り返し測定を行う。
次に、コントローラ200の動作について、図13A及び図13Bに示すフローチャートを参照して説明する。図13A及び図13Bのフローチャートに示す処理は、例えば観察装置100、コントローラ200及び試料300の設置が終わった後に開始する。
ステップS301において、第2の制御部210は、本実施形態に係る測定プログラムが起動されたか否かを判定する。測定プログラムが起動していないとき、処理はステップS301を繰り返す。コントローラ200は、本実施形態に係る測定システムのコントローラとしての機能に限らず、種々の機能を果たし得る。したがって、測定プログラムが起動していないとき、コントローラ200は、測定システム1以外として動作をしてもよい。測定プログラムが起動したと判定されたとき、処理はステップS302に進む。
ステップS302において、第2の制御部210は、観察装置100との通信を確立させる。この動作は、観察装置100による観察装置制御のステップS103と対になっており、観察装置100及びコントローラ200による動作によって、観察装置100とコントローラ200との間の通信が確立される。また、ここで確立される通信は、観察装置制御のステップS103と無関係な、例えば後述の観察装置100の電源をオンにするための指示を送信するための低消費電力な通信でもよい。
ステップS303において、第2の制御部210は、観察装置100の電源をオンにすることをユーザが要求しているか否かを判定する。例えば観察装置100の電源をオンにする命令が入力装置274を介して入力されたとき、電源をオンにすることが要求されていると判定される。電源をオンにすることが要求されていないとき、処理はステップS305に進む。一方、電源をオンにすることが要求されているとき、処理はステップS304に進む。ステップS304において、第2の制御部210は、観察装置100の電源をオンにすべき旨の命令を観察装置100へと送信する。その後、処理はステップS305に進む。この動作は、観察装置100による観察装置制御のステップS101と対になっており、コントローラ200から観察装置100へと送信された電源をオンにすべき旨の命令を受信した観察装置100では、ステップS102の処理により電源がオンに切り替えられる。なお、ここで用いられる通信手段は、例えばBluetooth Low Energy等の低消費電力な通信方法によってもよい。
ステップS305において、第2の制御部210は、観察装置100に向けて情報を送信することをユーザが要求しているか否かを判定する。例えば情報送信に係る命令が入力装置274を介して入力されたとき、情報送信が要求されていると判定される。ここで送信の要求がなされる情報は、測定の条件等である。情報送信が要求されていないとき、処理はステップS307に進む。一方、情報送信が要求されているとき、処理はステップS306に進む。ステップS306において、第2の制御部210は、入力装置274を介して入力された情報を観察装置100へと送信する。その後、処理はステップS307に進む。この動作は、観察装置100による観察装置制御のステップS104と対になっており、観察装置100は、コントローラ200から観察装置100へと送信された情報をステップS105の処理により取得する。
ステップS307において、第2の制御部210は、観察装置100がラフスキャンを行うことをユーザが要求しているか否かを判定する。例えばラフスキャン実行に係る命令が入力装置274を介して入力されたとき、ラフスキャンが要求されていると判定される。ラフスキャンが要求されていないとき、処理はステップS309に進む。一方、ラフスキャンが要求されているとき、処理はステップS308に進む。ステップS308において、第2の制御部210は、ラフスキャンを開始する旨の指示を観察装置100へと送信する。その後、処理はステップS309に進む。この動作は、観察装置100による観察装置制御のステップS106と対になっており、観察装置100は、コントローラ200から観察装置100へと送信されたラフスキャン開始指示に基づいて、ステップS107でラフスキャン処理を実行する。
ステップS309において、第2の制御部210は、観察装置100による撮影について、撮影すべき位置がユーザによって手動で指定されたか否かを判定する。例えば撮影位置が入力装置274を介して入力されたとき、撮影位置が指定されていると判定される。撮影位置が指定されていないとき、処理はステップS311に進む。一方、撮影位置が指定されているとき、処理はステップS310に進む。ステップS310において、第2の制御部210は、入力装置274を介して入力された撮影位置を観察装置100へと送信する。その後、処理はステップS311に進む。この動作は、観察装置100による観察装置制御のステップS108と対になっており、コントローラ200から観察装置100へと送信された撮影位置に応じて、ステップS109の処理で位置合わせが行われ、当該位置における画像が取得されて送信される。
ステップS311において、第2の制御部210は、観察装置100の測定の開始をユーザが要求しているか否かを判定する。例えば観察装置100に測定を開始させる命令が入力装置274を介して入力されたとき、測定開始が要求されていると判定される。測定開始が要求されていないとき、処理はステップS313に進む。一方、測定開始が要求されているとき、処理はステップS312に進む。ステップS312において、第2の制御部210は、測定を開始すべき旨の命令を観察装置100へと送信する。その後、処理はステップS313に進む。この動作は、観察装置100による観察装置制御のステップS110と対になっており、コントローラ200から観察装置100へと送信された命令に応じて、ステップS111の処理で測定が行われる。
ステップS313において、第2の制御部210は、観察装置100から情報を取得することをユーザが要求しているか否かを判定する。例えば情報要求に係る命令が入力装置274を介して入力されたとき、情報要求されていると判定される。要求される情報は、例えば観察装置100によって得られた試料300に関する情報である。この情報は、例えば、試料300に係る画像データや、試料300に含まれる細胞又は細胞群の数等、図11を参照して説明した測定結果700に含まれる情報であり得る。情報要求がされていないとき、処理はステップS315に進む。一方、情報要求がされているとき、処理はステップS314に進む。ステップS314において、第2の制御部210は、ユーザが要求している情報を送信すべき旨の命令を観察装置100へと送信する。その後、処理はステップS315に進む。この動作は、観察装置100による観察装置制御のステップS112と対になっており、コントローラ200から観察装置100へと送信された情報要求に応じて、ステップS113の処理で要求された情報が観察装置100からコントローラ200へと送信される。
ステップS315において、第2の制御部210は、ステップS314で要求した情報を受信したか否かを判定する。情報を受信していないとき、処理はステップS317に進む。一方、情報を受信したとき、処理はステップS316に進む。ステップS316において、第2の制御部210は、受信した情報を表示装置272に表示させたり、第2の記録部230に記録したりする。その後、処理はステップS317に進む。
ステップS317において、第2の制御部210は、観察装置100の電源をオフにすることをユーザが要求しているか否かを判定する。例えば観察装置100の電源をオフにする命令が入力装置274を介して入力されたとき、電源をオフにすることが要求されていると判定される。電源をオフにすることが要求されていないとき、処理はステップS319に進む。一方、電源をオフにすることが要求されているとき、処理はステップS318に進む。ステップS318において、第2の制御部210は、観察装置100の電源をオフにすべき旨の命令を観察装置100へと送信する。その後、処理はステップS319に進む。この動作は、観察装置100による観察装置制御のステップS115と対になっており、コントローラ200から観察装置100へと送信された電源をオフにすべき命令に応じて、ステップS116の処理で電源がオフにされる。
ステップS319において、第2の制御部210は、測定プログラムが終了したか否かを判定する。測定プログラムが終了しているとき、処理はステップS301に戻る。一方、測定プログラムが終了していないとき、処理はステップS303に戻る。すなわち、上述の動作は、繰り返し実行される。
以上のように、測定システム1による測定は、予め設定されたタイミングで、予め設定された条件で繰り返し行われ得る。測定のタイミングや条件の設定は、コントローラ200を用いてユーザによって入力され、観察装置100に設定されてもよい。また、測定システム1による測定は、ユーザがコントローラ200を用いて観察装置100に指示をすることで、ユーザによる指示の都度に手動で行われることもある。
〈測定システムの利点〉
本実施形態に係る測定システム1によれば、インキュベータ内に試料300が静置されたままの状態で、広い範囲の細胞の画像を得ることができる。ここで、画像は、時間経過に従って繰り返し得られる。したがって、ユーザは、例えば細胞が経時的に変化していく様子を知ることができ、それを解析することができる。本実施形態では、ラフスキャンが行われる。このラフスキャンによって、ユーザは、試料300の概要を素早く把握することができる。また、ラフスキャンによって得られた画像に基づけば、その後の測定において重点的にデータを取るべき領域に係る情報を取得することができる。この情報に基づいて、移動パターン550が決定され得る。測定において撮影される条件は、ラフスキャンに基づいて決定された移動パターン550に基づく。
〈変形例〉
上述の実施形態では、撮像部170で得られた画像の処理、測定結果の解析等が、観察装置100で行われる例を示したが、これに限らない。処理前のデータが観察装置100からコントローラ200へと送信されることで、これらの処理のうち1つ以上が、コントローラ200の第2の制御部210で行われてもよい。すなわち、装置としてのこの発明は、複数の装置で連携して上述の機能を満足させるなど、様々な変形が可能である。また、観察方法としてのこの発明は、撮像部で対象物を撮像する撮像ステップと、上記対象物を変えて前記撮像部を移動させる移動ステップと、上記撮像部を高速で移動させながら連続撮影させる第1のモードと、前記第1のモードよりも低速で前記撮像部を移動させながら前記第1のモードよりも高精細の画像を前記撮像部に連続撮影させる第2のモードとを切り換えて、前記撮像部の動作を制御するステップとを備える観察方法の発明であると言える。対象物は細胞に限る必要はなく、シート状の素材や素材表面の検査なども対象物になり得る。また、撮像や観察の対象物と撮像部の位置関係が変わるものであれば、以上説明した実施例以外のものも、本発明は示唆しており、観察対象物が固定されて撮像部に移動機構が設けられるのではなく、観察対象物に移動機構が設けられてもよい。撮像部と観察対象物との相対的な位置が変化すれば、同様の効果、目的が達成され得る。
また、上述の実施形態では、観察装置100の筐体101の上面が透明板102で覆われており、試料300が筐体101の上面に配置される例を示したが、これに限らない。もちろん、観察対象の大きさや筐体の形状等によっては透明板がなく、中空でもよい。試料300の形状、観察したい方向等に応じて、観察装置100の形状は適宜に変更され得る。
また、撮像部170は、第1の撮像光学系及び第1の撮像素子と、第2の撮像光学系及び第2の撮像素子とを有する2眼を有する撮像部であってもよい。第1の撮像光学系及び第1の撮像素子はラフスキャンに用いられ、第2の撮像光学系及び第2の撮像素子は測定に用いられてもよい。例えば、第1の撮像素子は白黒センサであり、第2の撮像素子はカラーセンサであってもよい。第2の撮像素子は、カラーセンサに限らず、測定に適した例えば第1の撮像素子よりも画素数の多い白黒センサであってもよいし、赤外線(IR)センサであってもよい。また、測定には、2つの撮像素子の両方が用いられてもよい。例えばそれぞれの撮像素子を用いて得られた画像を合成することで、高解像化されてもよい。また、測定において、第2の撮像素子で静止画を取得し、第1の撮像素子で動画を取得してもよい。
1…測定システム、100…観察装置、101…筐体、102…透明板、105…回路群、110…第1の制御部、111…位置制御部、112…撮像制御部、113…照明制御部、114…通信制御部、115…記録制御部、116…測定制御部、130…第1の記録部、140…画像処理回路、160…移動機構、161…X送りねじ、162…Xアクチュエータ、163…Y送りねじ、164…Yアクチュエータ、168…支持部、170…撮像部、172…撮像光学系、174…撮像素子、180…照明部、182…照明光学系、184…光源、192…第1の通信装置、200…コントローラ、210…第2の制御部、211…システム制御部、212…表示制御部、213…記録制御部、214…通信制御部、230…第2の記録部、270…入出力装置、272…表示装置、274…入力装置、292…第2の通信装置、300…試料、310…容器、322…培地、324…細胞、340…ブイ、360…反射板、410…固定枠、412…固定板、414…孔。

Claims (10)

  1. 対象物を観察するための撮像部と、
    前記対象物の観察位置を変更するために前記撮像部を移動させる移動機構と、
    前記移動機構に高速で前記撮像部を移動させながら前記撮像部に撮影させる第1のモードと、前記移動機構に前記第1のモードよりも低速で前記撮像部を移動させながら前記第1のモードよりも高精細の画像を前記撮像部に撮影させる第2のモードとを切り換えて、前記移動機構及び前記撮像部の動作を制御する制御部と
    を備える観察装置。
  2. 前記撮像部は、複数の画素を含み画像信号を出力する撮像素子を有し、
    前記撮像部は、前記第1のモードでは前記第2のモードより少ない画素で前記画像信号を出力する、
    請求項1に記載の観察装置。
  3. 前記制御部は、前記第1のモードの場合において、前記撮像部に、撮像素子の感度を前記第2のモードの場合よりも向上させる、請求項1に記載の観察装置。
  4. 前記制御部は、
    前記第1のモードでは、前記撮像部の合焦位置を変化させず、
    前記第2のモードでは、前記撮像部の合焦位置を変化させる又は変化させない、
    請求項1に記載の観察装置。
  5. 前記制御部は、前記第1のモードの場合において、前記撮像部に、撮像光学系の焦点距離を前記第2のモードの場合よりも短くさせる、請求項1に記載の観察装置。
  6. 前記制御部は、前記第1のモードの場合において、前記撮像部に、撮像光学系の絞りを前記第2のモードの場合よりも絞らせる、請求項1に記載の観察装置。
  7. 前記撮像部は、特性が異なる2つの撮像素子を有している、請求項1に記載の観察装置。
  8. 前記制御部は、前記第1のモードによる撮影結果に基づいて決定された前記第2のモードに係る前記移動機構及び前記撮像部の動作手順に基づいて、前記移動機構及び前記撮像部の動作を制御する、請求項1に記載の観察装置。
  9. 請求項1に記載の観察装置であって、通信装置をさらに具備する観察装置と、
    前記通信装置を介して前記観察装置と通信をし、前記観察装置の動作を制御するコントローラと
    を備える測定システム。
  10. 撮像部で対象物を撮像する撮像ステップと、
    前記対象物の観察位置を変更するために前記撮像部を移動させる移動ステップと、
    前記撮像部を高速で移動させながら連続撮影させる第1のモードと、前記第1のモードよりも低速で前記撮像部を移動させながら前記第1のモードよりも高精細の画像を前記撮像部に連続撮影させる第2のモードとを切り換えて、前記撮像部の動作を制御するステップと
    を備える観察方法。
JP2016041434A 2016-03-03 2016-03-03 観察装置、測定システム及び観察方法 Active JP6640610B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016041434A JP6640610B2 (ja) 2016-03-03 2016-03-03 観察装置、測定システム及び観察方法
US15/435,113 US10129474B2 (en) 2016-03-03 2017-02-16 Observation apparatus, measurement system and observation method
CN201710122767.5A CN107151627A (zh) 2016-03-03 2017-03-03 观察装置、测定系统、观察方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016041434A JP6640610B2 (ja) 2016-03-03 2016-03-03 観察装置、測定システム及び観察方法

Publications (3)

Publication Number Publication Date
JP2017153441A true JP2017153441A (ja) 2017-09-07
JP2017153441A5 JP2017153441A5 (ja) 2019-03-22
JP6640610B2 JP6640610B2 (ja) 2020-02-05

Family

ID=59723813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016041434A Active JP6640610B2 (ja) 2016-03-03 2016-03-03 観察装置、測定システム及び観察方法

Country Status (3)

Country Link
US (1) US10129474B2 (ja)
JP (1) JP6640610B2 (ja)
CN (1) CN107151627A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7069751B2 (ja) * 2018-01-29 2022-05-18 カシオ計算機株式会社 印刷装置
US12504612B2 (en) 2020-03-18 2025-12-23 Fanuc Corporation Microscope observation system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6235313A (ja) * 1985-08-09 1987-02-16 Canon Inc 実体顕微鏡
JP2005295818A (ja) * 2004-04-07 2005-10-27 Hitachi Medical Corp 細胞培養装置
US20050272046A1 (en) * 2003-06-09 2005-12-08 Schermer Mack J Methods, apparatus and compositions for improved measurements with optical biosensors
JP2006023496A (ja) * 2004-07-07 2006-01-26 Olympus Corp 顕微鏡撮像装置および生体試料観察システム
JP2006023175A (ja) * 2004-07-07 2006-01-26 Olympus Corp 顕微鏡撮像装置
JP2008005048A (ja) * 2006-06-20 2008-01-10 Olympus Imaging Corp 撮像装置及び信号処理装置
JPWO2007145198A1 (ja) * 2006-06-16 2009-10-29 三洋電機株式会社 培養物観察システム
JP2011055086A (ja) * 2009-08-31 2011-03-17 Sanyo Electric Co Ltd 撮像装置
JP2013142769A (ja) * 2012-01-11 2013-07-22 Olympus Corp 顕微鏡システム、オートフォーカスプログラムおよびオートフォーカス方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098105A1 (ja) * 2009-02-26 2010-09-02 国立大学法人名古屋大学 培養状態評価装置、培養状態評価方法、インキュベータおよびプログラム
CN102289066A (zh) * 2011-08-12 2011-12-21 北京航空航天大学 一种多细胞培养过程自动显微成像系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6235313A (ja) * 1985-08-09 1987-02-16 Canon Inc 実体顕微鏡
US20050272046A1 (en) * 2003-06-09 2005-12-08 Schermer Mack J Methods, apparatus and compositions for improved measurements with optical biosensors
JP2005295818A (ja) * 2004-04-07 2005-10-27 Hitachi Medical Corp 細胞培養装置
JP2006023496A (ja) * 2004-07-07 2006-01-26 Olympus Corp 顕微鏡撮像装置および生体試料観察システム
JP2006023175A (ja) * 2004-07-07 2006-01-26 Olympus Corp 顕微鏡撮像装置
JPWO2007145198A1 (ja) * 2006-06-16 2009-10-29 三洋電機株式会社 培養物観察システム
JP2008005048A (ja) * 2006-06-20 2008-01-10 Olympus Imaging Corp 撮像装置及び信号処理装置
JP2011055086A (ja) * 2009-08-31 2011-03-17 Sanyo Electric Co Ltd 撮像装置
JP2013142769A (ja) * 2012-01-11 2013-07-22 Olympus Corp 顕微鏡システム、オートフォーカスプログラムおよびオートフォーカス方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TUMA, T. ET AL.: "Dual-Stage Nanopositioning for High-Speed Scanning Probe Microscopy", IEEE/ASME TRANSACTION OF MECHATRONICS, vol. 19, no. 3, JPN6019047016, June 2014 (2014-06-01), pages 1035 - 1045, ISSN: 0004165804 *

Also Published As

Publication number Publication date
US20170257569A1 (en) 2017-09-07
US10129474B2 (en) 2018-11-13
CN107151627A (zh) 2017-09-12
JP6640610B2 (ja) 2020-02-05

Similar Documents

Publication Publication Date Title
US8982457B2 (en) Microscope system and illumination intensity adjusting method
US9798129B2 (en) Microscope system and method for deciding stitched area
JP6698451B2 (ja) 観察装置
US20180259764A1 (en) Microscope system
JP2018013734A (ja) 拡大観察装置
WO2017077906A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019123869A1 (ja) 画像取得装置及び画像取得方法
US10298833B2 (en) Image capturing apparatus and focusing method thereof
JP6640610B2 (ja) 観察装置、測定システム及び観察方法
CN108603745B (zh) 信息处理装置、信息处理方法及程序
JP2018028593A (ja) 観察装置、観察方法及び観察システム
US10771677B2 (en) Observation device and focus adjustment method
US10275882B2 (en) Observation apparatus, measurement system and observation method
JP6815787B2 (ja) 観察装置、観察装置の制御方法及び観察装置の制御プログラム
JP6330070B1 (ja) 観察装置、観察システム及び観察装置の制御方法
JP2017169479A (ja) 観察装置、測定システム及び培養容器
US20190052798A1 (en) Imaging apparatus, imaging system, and method for controlling imaging apparatus
CN108718532B (zh) 信息处理装置、信息处理方法及记录介质
WO2020021698A1 (ja) 走査型プローブ顕微鏡および走査型プローブ顕微鏡の制御装置
JP2009068898A (ja) 三次元形状測定装置および該方法
JP2018152794A (ja) 撮像装置及び観察装置
CN108603743B (zh) 信息处理装置、信息处理方法及程序
JP3125124U (ja) 赤外顕微鏡
JP6667394B2 (ja) 拡大観察装置
JP2010210254A (ja) エアギャップ測定装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191226

R151 Written notification of patent or utility model registration

Ref document number: 6640610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250