WO2017217180A1

WO2017217180A1 - 情報処理装置、観察システム、観察方法及びプログラム

Info

Publication number: WO2017217180A1
Application number: PCT/JP2017/018654
Authority: WO
Inventors: 卓青木; 武史大橋; 直史松井; 智也大沼
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-06-15
Filing date: 2017-05-18
Publication date: 2017-12-21
Anticipated expiration: 2018-12-15
Also published as: JP6992748B2; AU2017283878A1; EP3473998A1; CA3026225A1; JPWO2017217180A1; US20190220979A1; EP3473998A4; BR112018075406A2; US10872414B2

Abstract

本技術の一形態に係る情報処理装置は、制御部を具備する。上記制御部は、第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出し、上記状態変化を検出したとき、撮影モードを上記第１の撮影間隔から上記第１の撮影間隔よりも短い第２の撮影間隔に切り替える。

Description

情報処理装置、観察システム、観察方法及びプログラム

　本技術は、例えば培養中の細胞を観察する情報処理装置、観察システム、観察方法、プログラムに関する。

　近年、畜産分野、再生医療分野等において、培養した生体細胞や生体組織の解析・評価をするために、生体細胞や生体組織を時系列画像で順次取得し、解析・評価する装置が開発されている。

　例えば特許文献１には、受精卵の時系列画像を取得し、時系列画像間の画素値の差から、受精卵の発育の状態を観察・評価する受精卵品質評価支援方法が開示されている。

特開２０１０－１８１４０２号公報

　しかしながら、細胞の周期において、細胞の状態変化の度合いは細胞分裂期と間期と分けられるように一定ではないため、特許文献１に記載の受精卵品質評価支援方法のように、終始一定間隔で受精卵を撮影し続けた場合、状態変化の著しい細胞分裂期などにおいて、重要な撮影タイミングで撮り逃すおそれがある。一方で、細胞分裂期に合わせて短い撮影間隔で撮影し続けた場合、その撮影画像の容量が膨大になるほか、その解析にも膨大な時間がかかるため、現実的に困難なものとなる。

　以上のような事情に鑑み、本技術の目的は、重要な撮影タイミングでの撮り逃しを防止することができる情報処理装置、観察システム、観察方法及びプログラムを提供することにある。

　本技術の一形態に係る情報処理装置は、制御部を具備する。
　上記制御部は、第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出し、上記状態変化を検出したとき、撮影モードを上記第１の撮影間隔から上記第１の撮影間隔よりも短い第２の撮影間隔に切り替える。

　これにより、重要な撮影タイミングでの撮り逃しを防止することができる。

　上記制御部は、培養中の細胞の熱画像から細胞の状態変化の有無を検出するように構成されてもよい。
　これにより、細胞へのダメージを軽減しつつ、より精度よく撮影間隔の切り替えができる。

　上記光学画像は、多視点から撮影された複数の光学画像から得られる三次元画像であり、上記制御部は、上記三次元画像の情報に基づいて定量化された細胞の特徴量の変化に応じて、細胞の状態変化を検出するように構成されてもよい。
　これより、より精度よく撮影間隔の切り替えができ、重要な撮影タイミングの撮り逃しを防止することができる。

　上記細胞は、受精卵であって、上記細胞の特徴量は、受精卵の体積、表面積、真球度、表面凹凸度、及び卵割の均一度であってもよい。

　本技術の一形態に係る観察システムは、細胞培養容器と、撮影部と、制御部と、を具備する。
　上記細胞培養容器は、細胞を培養する。
　上記撮影部は、第１の撮影間隔で培養中の細胞の光学画像を取得する光学画像撮影部を有する。
　上記制御部は、第１の撮影間隔で撮影した培養中の細胞の画像から細胞の状態変化の有無を検出し、上記状態変化を検出したとき、撮影モードを上記第１の撮影間隔から上記第１の撮影間隔よりも短い第２の撮影間隔に切り替える。

　上記撮影部は、培養中の細胞の熱画像を連続的に取得する熱画像撮影部を有し、上記制御部は、上記熱画像撮影部が撮影した上記熱画像に基づいて、細胞の状態変化の有無を検出してもよい。

　上記光学画像撮影部は、上記細胞の多視点光学画像を取得してもよい。
　上記観察システムは、光学画像データベース部と、三次元再構成部と、をさらに具備してもよい。
　上記光学画像データベース部は、上記多視点光学画像を保存する。
　上記三次元再構成部は、上記光学画像データベース部より上記多視点光学画像を取得し、三次元再構成する。

　上記制御部は、三次元再構成された上記多視点光学画像に基づいて、細胞の状態変化を検出してもよい。

　本技術の一形態に係る観察方法は、第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出し、上記状態変化を検出したとき、撮影モードを上記第１の撮影間隔から上記第１の撮影間隔よりも短い第２の撮影間隔に切り替える。

　本技術の一形態に係るプログラムは、情報処理装置に、第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出するステップと、上記状態変化を検出したとき、撮影モードを上記第１の撮影間隔から上記第１の撮影間隔よりも短い第２の撮影間隔に切り替えるステップとを実行させる。

　以上のように、本技術によれば、重要な撮影タイミングでの撮り逃しを防止することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の一実施形態に係る情報処理装置の概略構成を示すブロック図である。上記観察システムの主要部分を示すブロック図である。上記観察システムの動作例を示すフローチャートである。上記観察システムの撮影部２１における撮影間隔が切り替わる動作の具体例を示す図である。上記観察システムにおける光学撮影部の構成の一例（構成例１）を示す図である。上記観察システムにおける光学撮影部の構成の一例を示す図（構成例２）である。上記観察システムにおける光学撮影部及び培養容器の構成の一例を示す図（構成例３）である。上記観察システムにおける光学撮影部の構成の一例を示す図（構成例４）である。上記観察システムにおける光学撮影部の構成の一例を示す図（構成例５）である。光軸を補正した画像を取得する一般的な方法を示す図である。上記観察システムにおける光学撮影部（構成例１）の光軸を補正した画像を取得する方法を示す図である。本技術の第３の実施形態に係る三次元再構成部の構成を示すブロック図である。左右画像からステレオマッチングする一般的方法を説明する図である。上記観察システムにおける光学撮影部（構成例１）の左右画像からステレオマッチングする方法の一例を示す図である。本技術の第３の実施形態に係る三次元再構成部の動作例を説明する図である。本技術の第４の実施形態に係る観察システムの構成を示すブロック図である。上記観察システムの動作例を説明するフローチャートである。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
[観察システム概要]
　図１は、本発明の一実施形態の観察システム１０を示すブロック図である。図２は、観察システム１０の主要部分を示すブロック図である。

　観察システム１０は、培養容器１と、撮影部２と、情報処理装置３とを含む。

　培養容器１は、培養液と１以上の細胞Ｃを収容可能に構成され、外部より細胞Ｃを撮影可能な程度に透光性を有する。培養容器１の形状は特に限定されず、典型的には、シャーレ等の平皿形状が用いられる。培養容器１の数は特に限定されず、単数でもよいし、複数であってもよい。

　本明細書において、「細胞」（単数形）は、単一の細胞と、複数の細胞の集合体とを少なくとも概念的に含む。培養容器１にて培養される「細胞」として、例えば、畜産分野等における生物の未受精の卵細胞（卵子）、受精卵、胚等や、再生医療、病理生物学等の分野における、幹細胞、免疫細胞、癌細胞等の生体から取り出された生体試料等が挙げられ、これらに特に限定されない。

　撮影ユニット２は、培養容器１に収容された細胞Ｃを所定の撮影間隔で撮影し、細胞Ｃの光学画像を取得する。撮影ユニット２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の固体撮像素子（撮影部２１）と、撮影部２１の駆動を制御する駆動制御部２２等を含む。撮影ユニット２は、典型的には可視光カメラで構成され、ストロボを内蔵していてもよい。撮影ユニット２は、可視光カメラに代えて又はこれに加えて、近赤外カメラを備えてもよい。

　培養容器１及び撮影ユニット２は、これらの相対距離を一定に保持する観察台５にそれぞれ支持される。撮影ユニット２は、典型的には、培養容器１内の細胞Ｃに対向する位置に固定されるが、培養容器１に対して相対移動可能に設置されてもよい。撮影ユニット２の数は特に限定されず、単数でもよいし、複数であってもよい。撮影ユニット２が複数設置される場合、細胞Ｃを多視点から観察できるとともに、これらの多視点画像から細胞Ｃの三次元画像を合成することができる。

　情報処理装置３は、撮影ユニット２の撮影間隔を制御する撮影間隔制御部３１を有する。情報処理装置３は、第１の撮影間隔で撮影された培養中の細胞Ｃの光学画像を画像ＤＢ（データベース）部４から取得する。情報処理装置３は、撮影間隔制御部３１においてその細胞Ｃの光学画像に基づいて、細胞Ｃの所定の状態変化の有無を判定し、当該状態変化を検出したとき、第１の撮影間隔より短い撮影間隔の第２の撮影間隔に切り替える制御信号Ｓ_０を生成する。情報処理装置３は、制御信号Ｓ_０を撮影ユニット２へ出力する。

　撮影ユニット２は、情報処理装置３から出力される撮影間隔に関する制御信号Ｓ_０に基づいて、所定の撮影間隔で細胞Ｃの光学画像を取得する。撮影ユニット２は、当該撮影間隔で撮影した細胞Ｃの光学画像を画像ＤＢ部４に送信する。

　画像ＤＢ部４は、撮影ユニット２で撮影された細胞Ｃの光学画像を保存し、当該細胞Ｃの光学画像を時系列的に情報処理装置３に送信する。画像ＤＢ部４は、汎用のコンピュータで構成されてもよいし、撮影ユニット２及び情報処理装置３とインターネット回線を介して接続されたクラウドサーバで構成されてもよい。

［情報処理装置］
　続いて、情報処理装置３の詳細について説明する。情報処理装置３は、撮影間隔制御部３１と、送受信部３２と、メモリ３３とを有する。

　撮影間隔制御部３１は、解析部３４と更新部３５とを有する。解析部３４及び更新部３５は、非一過性のコンピュータ読み取り可能な記録媒体の一例であるＲＯＭ（Read Only Memory）に記録されたプログラムをＲＡＭ（Random Access Memory）にロードしてＣＰＵ（Central Processing Unit）が実行することにより実現される。

　撮影間隔制御部３１は、細胞Ｃの状態変化に応じて、撮影モードを第１の撮影間隔と第２の撮影間隔とに選択的に切り替えることが可能に構成される。第２の撮影間隔は、第１の撮影間隔より短い。第１の撮影間隔及び第２の撮影間隔は特に限定されず、細胞Ｃの種類や評価すべき状態変化の種類、状態変化の速さ等に応じて適宜設定可能である。例えば、第１の撮影間隔は数秒～数十分、第２の撮影間隔は数十ミリ秒～数分に設定可能である。つまり、第２の撮影モードにおいては、撮影ユニット２は細胞Ｃを動画で撮影してもよい。

　解析部１４は、細胞Ｃの時系列画像に基づいて、細胞Ｃの光学画像を解析することで、細胞Ｃの状態変化の有無を検出するように構成される。例えば、撮影時刻の異なる２枚の細胞Ｃの光学画像の差分画像を生成することで、細胞Ｃの状態変化を検出できる。詳細は後述する。

　更新部１５は、解析部１４の解析結果に応じて、撮影間隔を第１の撮影間隔と第２の撮影間隔との間で切り替える信号Ｓ_０を生成する。

　送受信部３２は、画像ＤＢ部４から撮影された細胞Ｃの光学画像を取得する。送受信部３２は、撮影ユニット２から直接、細胞Ｃの光学画像を取得するように構成されてもよい。また、送受信部３２は、撮影ユニット２に撮影間隔を制御するための信号Ｓ_０を送信する。送受信部３２は、例えば、通信回路及びアンテナを含み、撮影ユニット２や画像ＤＢ部４との通信のためのインターフェースを構成する。なお、送受信部３２で行われる通信は、無線でもよく有線であってもよい。無線の通信は、電磁波（赤外線を含む）を利用した通信や、電界を利用した通信でもよい。

　メモリ３３は、ＲＯＭ及びＲＡＭ等を有し、細胞の状態変化の有無の判定するためのアルゴリズムや、撮影間隔の制御をするためのプログラム、画像データの補正処理用のプログラム、画像ＤＢ部４（撮影ユニット２）から取得した細胞Ｃの画像等を記憶する。また、これらのプログラムを実行するための各種パラメータあるいはデータ等がメモリ３３に格納されてもよい。

［観察システムの動作例］
　以下、図３に示すように、本実施形態の観察システム１０の動作例を説明する。

　本実施形態の観測システム１０は、所定の撮影間隔Ｔｘが経過する毎に細胞Ｃの光学画像を取得し（Ｓ１０１，１０２）、撮影した細胞Ｃの光学画像を画像ＤＢ部４に保存し（Ｓ１０３）、保存した細胞Ｃの光学画像を情報処理装置３において解析する（Ｓ１０４）。観測システム１０は、上記解析結果より、細胞Ｃの状態変化の有無を検出し（Ｓ１０５）、その検出結果に応じて上記撮影間隔Ｔｘを変更する（Ｓ１０６，１０７）。

　ここで、細胞Ｃの状態変化が検出されなかった場合（Ｓ１０５においてＮｏの場合）、撮影間隔制御部３１は、撮影間隔Ｔ_０（初期設定値）を維持する（Ｓ１０６）。一方、細胞の状態変化が検出された場合（Ｓ１０５においてＹｅｓの場合）、撮影間隔制御部３１は、撮影間隔をＴ_０より短いＴ_１に切り替える（Ｓ１０７）。撮影ユニット２は撮影間隔Ｔ_１で撮影をする（Ｓ１０１，Ｓ１０２）。

　図４は、受精卵（細胞Ｃ）の状態変化の一例を示す概略図である。受精卵の状態変化が検出されない場合、撮影ユニット２は、撮影間隔Ｔ_０で受精卵を撮影する。受精卵の２細胞期への変化が検出された場合、撮影ユニット２は、短い撮影間隔Ｔ_１で受精卵を撮影する。次に、２細胞期の変化が停止したとき（即ち、状態変化の検出なしの場合）、撮影ユニット２は再び撮影間隔Ｔ_０にて受精卵を撮影する。さらに、２細胞期から４細胞期への変化が検出された場合、撮影ユニット２は、再び撮影間隔Ｔ_１で撮影する。

　典型的な動作のフローは次のとおりである。撮影間隔制御部３１は、細胞の状態変化が検出されないときは、撮影間隔Ｔ_０にて細胞Ｃを撮影する制御を撮影ユニット２に実行させ、細胞Ｃの状態変化を検出したときは、Ｔ_０よりも短い撮影間隔Ｔ_１で細胞Ｃを撮影する制御を撮影ユニット２に実行させる。その後、細胞Ｃの状態変化が検出されなかったとき、撮影間隔制御部３１は、細胞Ｃの撮影間隔をＴ_１からＴ_０に戻す。これより、細胞の発育段階に合わせて、撮影間隔を適応的に変化させることができ、細胞の評価にかかわる重要なタイミングにおいて撮り逃すことなく撮影できる。

　撮影間隔としては、例えば、細胞分裂前の休止期は５ｍｉｎ間隔（Ｔ₀）とし、細胞Ｃの状態変化を検出した場合、３０ｍｓｅｃ（Ｔ_１）間隔とする。なお、撮影間隔は、細胞の状態変化に応じて、段階的に切り替えてもよい。

　撮影間隔制御部３１は、細胞Ｃが細胞分裂を開始する状態変化を検出するために、例えば、細胞の境界面や内部細胞塊の発生、細胞の表面積や体積の増加、細胞の真球度の変化等の特徴量の変化を検出する。これらを検出することで、細胞Ｃが細胞分裂を開始する重要なタイミングにおいて、細かい撮影間隔で撮影可能となる。

［撮影間隔制御部の具体的な動作例の説明］
　本実施形態に係る撮影間隔制御部３１の具体的な動作の一例について説明する。

　撮影間隔制御部３１（解析部３４）は、例えば、撮影時刻の異なる２枚の光学画像の差分値を算出し、その差分値が所定の閾値以上か否か比較する。解析部３４は、所定の閾値以上の場合には、画像変化が大きいものとして、細胞Ｃの状態変化を検出（判定）する。撮影時刻の異なる２枚の光学画像とは、具体的には、現在の細胞の光学画像と過去の細胞の光学画像（前回の撮影画像又は前回までの所定の複数の撮影画像）であり、現在の細胞の光学画像との変化を検出することで、細胞分裂が開始する重要なタイミングで、リアルタイムで撮影間隔を切り替え、撮影することができる。撮影時刻の異なる２枚の光学画像から状態変化を検出する方法は、光学画像の各画素の差分値を算出する方法以外に、後述するように、多視点の光学画像から三次元再構成し、得られた三次元画像より抽出された特徴量の変化量に基づいて検出してもよく、その方法は特に限定されない。

　ここで、培養中の細胞Ｃは培養容器内でわずかながら回転運動や平行移動をするため、撮影される細胞画像の位置や大きさが変化してしまう場合がある。これを解消するために、細胞Ｃの光学画像をそれぞれ回転、平行移動、スケーリングし、細胞の位置や大きさを補正してから、２枚の画像の差分計算を行ってもよい。このとき、補正後の細胞画像間の差分が、例えば最小となる値を採用し、判定する。これより、より精度よく細胞Ｃの状態変化を検出することができる。なお、本実施形態における情報処理装置は、以上の補正処理を実行するＣＰＵ、メモリを別途有していてもよい。

（まとめ）
　細胞の状態変化は、培養される細胞の種類、細胞の発育段階などに応じて、異なる度合いで進行する。従前の通り、一定の間隔で細胞を撮影した場合、細胞の状態変化の著しい細胞分裂期では、細胞の評価にかかわる分裂の様子を撮り逃す恐れがある。一方で、細かい撮影間隔で撮影した場合、画像のデータ量が膨大となり、その処理にも膨大な時間がかかる。これに対して、本実施形態によれば、細胞の状態変化に応じて、撮影間隔を切り替えることができ、細胞が状態変化する重要なタイミングにおいて高密度で撮影することができる。また、重要なタイミングの時にのみ、高密度で撮影し、通常の撮影モードでは低密度で撮影することで、保存や処理すべき画像容量を抑えることができる。さらに、必要以上に撮影回数を増やさないことで、撮影時に照射される照射光による細胞へのダメージを軽減することができる。

＜第２の実施形態＞
　続いて、本技術の第２の実施形態について説明する。以下、第１の実施形態と異なる構成について、主に説明し、第１の実施形態と同様の構成については同様の符号を付し、その説明を省略又は簡略化する。

　本実施形態に係る観察システム２０は、細胞Ｃの多視点画像を取得可能な撮影ユニット１２を有する点で、第１の実施形態と異なる。多視点から細胞Ｃを観察することより、細胞Ｃの状態変化をより精度よく検出することができる。

（構成例１）
　図５に示す観察システム２０は、シャーレ等の平皿からなる培養容器１に収容された細胞Ｃを複数のカメラａ１～ａ３で撮影する撮影ユニット１２を有する。カメラａ１～ａ３は、細胞Ｃを中心として細胞Ｃ表面に沿って周方向に配置されてもよい。これより、細胞の上半球を観察可能な多視点画像を取得でき、より精度よく細胞の状態変化を検出できる。後述するように、多視点画像から三次元再構成し、三次元画像を形成してもよい。配置するカメラの台数は特に限定されないが、カメラの台数が多いほど、オクルージョン領域の画像を補完でき、状態変化をより精度よく検出できる。

　撮影間隔制御部３１（図２）は、各カメラａ１～ａ３について撮影間隔を個別的に制御してもよいし、各カメラａ１～ａ３について撮影間隔を共通に制御してもよい。例えば、撮影間隔制御部３１は、上記所定の撮影間隔で各カメラａ１～ａ３から細胞Ｃの光学画像を個々に取得するように撮影ユニット１２を制御してもよいし、上記所定の撮影間隔でカメラａ１～ａ３を切り替えて当該カメラから細胞Ｃの光学画像を取得するように撮影ユニット１２を制御してもよい。

（構成例２）
　図６に示す観察システム２０は、シャーレ等の平皿からなる培養容器１に収容された細胞Ｃを移動可能なカメラｂ１で撮影する撮影ユニット１２を有する。カメラｂ１は、細胞Ｃを中心として、細胞Ｃ表面に沿って周方向に、カメラｂ１'の位置へと移動できるように構成される。これより、上記と同様に、細胞Ｃの上半球の多視点画像を取得することができる。さらに、配置されるカメラの台数を削減できるため、装置のコンパクト化、低コスト化も図れる。

（構成例３）
　図７Ａに示す観察システム２０においては、細胞Ｃを収容する容器が透光性を有する円管等からなる円筒状容器１１で構成されるとともにカメラｄ１が円筒状容器の側面の全周方向Ｐ１から細胞Ｃを観察可能なように、移動可能に構成される。これより、細胞Ｃの上半球画像だけでなく、下半球画像も取得することができる。即ち細胞Ｃの全周画像を取得することができるため、より精度よく細胞の状態変化を検出できる。

（構成例３'）
　一方、図７Ｂに示す観察システムにおいては、円筒状容器１１が周方向（Ｚ軸周り）に回転可能に構成されるとともに、円筒状容器１１の側面を撮影するカメラｄ２がＺ軸と直交するＹ軸上の所定位置に固定される。これより、構成例２と同様に細胞Ｃの全周画像を取得することができる。また、カメラの台数の削減ができ、カメラを移動させるスペースも要しないため、装置のコンパクト化、低コスト化が図れる。

（構成例３"）
　さらに、上記構成例（構成例３'）に加えて、図７Ｃに示す観察システムにおいては、円筒状容器１１のＺ軸方向から細胞Ｃを撮影可能なように、カメラｄ３（ｄ３'）が移動可能に設置される。例えば、図示するようにＸ-Ｚ平面（Ｙ-Ｚ平面）にて、細胞Ｃを中心にカメラｄ３（ｄ３'）が円運動する。これより、全方位からの光学画像を取得することが可能となるため、より精度よく細胞の状態変化を検出でき、重要なタイミングにおいて短い撮影間隔で撮影できる。

（構成例４）
　図８Ａ、Ｂに示す観察システム２０は、水平面（Ｘ-Ｙ面）上に配置された細胞Ｃを囲むように等角度間隔で配置された鏡（Ｍ１～Ｍ３）を有する。そして、図８Ｂに示すように、細胞Ｃの鉛直方向上部に配置されたカメラｅ１が細胞Ｃと鏡（Ｍ１～Ｍ３）の反射像を撮影してもよい。これより、細胞Ｃの上部鉛直方向からの光学画像と、水平面内の細胞Ｃを中心とした円周方向からの光学画像を取得することができる。また、後述するように、多視点画像から三次元再構成し、三次元画像を形成してもよい。配置する鏡の台数は特に限定されないが、鏡の台数が多いほど、オクルージョン領域の画像を補完でき、状態変化をより精度よく検出できる。

　さらに、図８Ｂに示すように、細胞Ｃを下部から撮影するカメラｅ２がさらに配置されてもよい。これより、下部視野の細胞Ｃの光学画像を取得できるため、全方位から見た細胞画像を取得することができる。

（構成例５）
　図９に示す観察システムは、複数の細胞Ｃ１～Ｃ３を収容する培養容器１２と、各細胞の鉛直方向上部にそれぞれ配置された複数のカメラｆ１～ｆ３とを有し、各カメラｆ１～ｆ３は、直下の細胞だけでなく、その周辺の細胞をも同時撮影することが可能な視野角を有する。その結果、例えば細胞Ｃ２に関しては、カメラｆ２（視点Ｆ２）からの視点画像だけでなく、カメラｆ１（視点Ｆ１２）からの視点画像と、カメラｆ３（視点Ｆ３２）からの視点画像とを取得することができる。これより、各細胞Ｃ１～Ｃ３について多視点からの観察が可能となる。さらに、配置するカメラの台数も削減することができる。

　ここで、図９において各カメラｆ１～ｆ３の光軸は相互に平行であるため、例えばカメラｆ２で撮影した細胞Ｃ１の視点画像は光軸の違いによって位置や見え方が異なることがある。この場合、カメラｆ２で撮影した細胞Ｃ１の画像を、カメラｆ２の光軸を細胞Ｃ１に向けた画像に変換すればよい。これにより、各々のカメラの位置・向きを変えることなく、複数の視点から１つの細胞を観察することができる。

　カメラの光軸を変換する方法は特に限定されず、種々の方式が採用可能である。例えば、図１０Ａに示すように、光軸Ａ１の画像を光軸Ａ１'に垂直な画像平面Ｐに射影することで、光軸がＡ１からＡ１'に変換された画像を作ることができる。例えば、チェッカーボードを撮影した場合、光軸Ａ１の画像と、光軸変換した光軸Ａ１'の画像では、図１０Ｂ、Ｃに示すように異なる見え方の画像が得られる。

　そこで図１１Ａ，Ｂに示すように、中央に配置された細胞Ｃ２を観察する場合、隣接するカメラｆ１、ｆ３の光軸Ｆ１、Ｆ３を、細胞Ｃ２を中心とする光軸Ｆ１'、Ｆ３'に変換したときの画像Ｖ１'、Ｖ３'を取得する。光軸を変換した画像は、光軸上の物体が画像の中心に映り、光軸に対して遠くのものは、小さく、近くのものは大きく映ることとなる。このように、光軸を変えた画像を作り、複数視点からの細胞画像を統合することにより、より正確に細胞の状態変化を検知できる。

　また、後述するように複数のカメラから２視点の画像を取得し、ステレオマッチングにより、三次元再構成をすることもできる。カメラステレオマッチングするための画像変換処理法については、後述する。

（まとめ）
　細胞の細胞分裂による状態変化は、撮影する角度によっては、分裂の境界面などを撮影できない場合がある。また、一視点からの撮影の場合、細胞の回転運動などの動的変化により今まで撮影できていた部位が撮影できない事態が生じる。本実施形態の構成では、多視点から細胞の光学画像を取得することで、細胞の状態変化をより見逃すことなく、検出することができる。このため、細胞の発育過程における重要なタイミングで撮影間隔の切り替えをより精度よく実現できる。

＜第３の実施形態＞
　続いて、本技術の第３の実施形態について説明する。図１２は、本実施形態に係る観察システム３０の構成を示すブロック図である以下、第１、第２の実施形態と異なる構成について主に説明し、第１、第２の実施形態と同様の構成については同様の符号を付し、その説明を省略又は簡略化する。

　本実施形態は、第２の実施形態により得られる多視点の画像を利用し、三次元再構成する三次元再構成部５を有する点で、上述の各実施形態と異なる。三次元再構成をする手法は、例えば、一般に多眼視による手法と、ステレオ視による手法に大別されるが、本実施形態では細胞表面の凹部の再現性に優れるステレオ視による手法が採用される。

　三次元再構成部５は、画像データベース（ＤＢ）部５１と、ステレオ画像取得部５２と、ステレオマッチング部５３と、三次元再構成データベース（ＤＢ）部５４とを有する。なお、三次元再構成部５は、情報処理装置３の一部として構成されてもよい。また、画像ＤＢ部５１及び三次元再構成ＤＢ部５４は、三次元再構成部５とは別機器として構成されてもよい。

　画像ＤＢ部５１は、撮影ユニット１２によって取得された多視点の細胞画像を保存する。ステレオ画像取得部５２は、画像ＤＢ部５１から取得した多視点の細胞画像のうち２視点の画像を取得し、２視点の光軸を平行化した画像を取得する。ステレオマッチング部５３は、平行化した上記２視点の画像をステレオマッチングし、三次元画像を取得する。三次元再構成ＤＢ部５４は、ステレオマッチング部５３で三次元再構成された画像を保存する。

　一般に、ステレオマッチングをするためには、左右画像の光軸を平行化させる必要がある。例えば、図１３Ａのように、光軸Ｇ１，Ｇ２が相互に非平行なカメラｇ１、ｇ２でサンプルＳを撮影する場合、各カメラｇ１、ｇ２で取得される画像ｖ１、ｖ２は図示のように像が異なる。そこで、図１３Ｂに示すようにカメラｇ１、ｇ２の光軸Ｇ１'、Ｇ２'が相互に平行になるように射影変換した画像ｖ１'、ｖ２'を生成する。なお光軸の変換方法は、前述のとおりである。

　その他に、図１４Ａのように細胞Ｃの上半球の周方向に沿ってカメラａ１～ａ３が配置された場合（図５参照）、ステレオマッチング処理に際して、例えば図１４Ｂに示すように、カメラａ１、ａ２の組合せとカメラａ２、ａ３の組合せでそれぞれの光軸を平行化してもよい。つまり、光軸Ａ１とＡ２、光軸Ａ２とＡ３を平行化し、それぞれ光軸Ａ１'とＡ２'、光軸Ａ２"とＡ３'とに変換した画像を生成する。

　図１５は、三次元再構成部５の動作例を示すフローチャートである。

　三次元再構成部５は、まず、複数の視点から撮影された細胞の画像（Ｎ枚）から２視点の組合せを取得する（Ｓ２０１）。三次元再構成部５は、光軸を平行化したステレオ画像を作成（Ｓ２０２）した後、ステレオマッチング画像を作成（Ｓ２０３）し、作成した三次元画像を三次元画像ＤＢ部５４に保存する（Ｓ２０４）。異なる２視点の組み合わせ画像を有する場合には、同様の操作が繰り返される（Ｓ２０５）。すべての組合せにおいて、ステレオマッチングすることにより、細胞の三次元画像を取得することができる。

　以上のようにして作成された三次元画像は、情報処理装置３において細胞の状態変化の検出に参照される。本実施形態によれば、二次元画像間の差分値だけでは検出できなかった表面の凹凸や、体積の変化など、細胞の状態変化を精度よく検出できる。

（動作例）
　情報処理装置３は、三次元再構成ＤＢ部５４に保存された画像から、現在の細胞画像と過去の細胞画像のそれぞれ特徴を定量化し、定量化された特徴量の変化量に基づいて細胞の状態変化の有無を判定する。例えば、細胞が受精卵である場合、受精卵の体積、表面積、真球度、表面凹凸度、卵割の均一度などを定量化して、その変化分を状態変化の検出の有無に反映させてもよい。また、受精卵の種々の特徴点の動きから、三次元空間での細胞の回転や移動などの時間変化の動きについても、追従することができる。これより、細胞の状態変化を精度よく検出でき、受精卵の変化に合わせて適応的に撮影間隔を切り替えることができる。

＜第４の実施形態＞
　続いて、本技術の第４の実施形態について説明する。以下、第１の実施形態と異なる構成について、主に説明し、第１の実施形態と同様の構成については同様の符号を付し、その説明を省略又は簡略化する。

　本実施形態に係る観察システム４０は、撮影ユニット４２と、情報処理装置４３とを有する。本実施形態において撮影ユニット４２は熱画像撮影部２０１を有し、情報処理装置４３は熱画像解析部３０１を有する点で、上述の第１の実施形態と異なる。

　熱画像撮影部２０１は、典型的には、赤外線カメラで構成される。熱画像撮影部２０１は、培養中の細胞Ｃの熱画像を所定のフレームレートで連続的に取得する。熱画像解析部３０１は、解析部３４の一部を構成し、取得された細胞Ｃの熱画像を常時解析し、培養中の細胞Ｃの状態変化の有無を検出するように構成される。

　なお、撮影ユニット２は、第１の実施形態と同様に単一のカメラで構成されてもよいし、第２の実施形態と同様に多視点画像を取得可能な単数又は複数のカメラで構成されてもよい。また本実施形態の観察システム４０においても、第３の実施形態で説明した三次元再構成部５を備えていてもよい。

　図１７は、本実施形態の観察システム４０の典型的な動作例を示すフローチャートである。

　本実施形態の観測システム４０は、熱画像撮影部２０１にて細胞の熱画像を取得する（Ｓ３０１）。そして、情報処理装置４３は、取得した熱画像を解析し（Ｓ３０２）、細胞Ｃの状態変化の有無を検出する（Ｓ３０３）。情報処理装置４３は、細胞Ｃの状態の変化を検出しなかった場合（Ｓ３０３においてＮｏの場合）、撮影間隔Ｔ_０（初期設定値）を維持し（Ｓ３０４）、細胞の状態の変化を検出した場合（Ｓ３０３においてＹｅｓの場合）、撮影間隔をＴ_０より短いＴ_１に切り替える（Ｓ３０５）。

（まとめ）
　光学撮影手段で常時細胞の状態変化を撮影した場合、細胞に常時光を照射する必要があり、細胞に多大なダメージを及ぼすこととなる。本実施形態によれば、細胞の状態変化の検出のためのツールとして、光学的撮影手段に代わって熱画像撮影手段を採用することで、細胞に与えるダメージを最小限にとどめながら、常時状態変化を観察できる。即ち、光学的撮影手段が細胞を撮影しない撮影間隔時においても、細胞の状態変化を検出できるので、細胞の評価にかかわる重要な撮影タイミングにおいて、撮影のタイムラグの少ない光学画像を取得することができる。

　特に、本実施形態における熱画像撮影部は、光源を必要としないため、細胞に対して非侵襲で撮影できる。このため、細胞画像を常時取得するのに適している。

　以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、種々変更を加え得ることは勿論である。

　なお、本技術は以下のような構成もとることができる。
（１）第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出し、前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える制御部
　を具備する情報処理装置。
（２）上記（１）に記載の情報処理装置であって、
　前記制御部は、培養中の細胞の熱画像から細胞の状態変化の有無を検出する
　情報処理装置。
（３）上記（１）又は（２）に記載の情報処理装置であって、
　前記光学画像は、多視点から撮影された複数の光学画像から得られる三次元画像であって、
　前記制御部は、前記三次元画像の情報に基づいて定量化された細胞の特徴量の変化に応じて、細胞の状態変化を検出する
　情報処理装置。
（４）上記（１）～（３）のいずれか１つに記載の情報処理装置であって、
　前記細胞は、受精卵であって、
　前記細胞の特徴量は、受精卵の体積、表面積、真球度、表面凹凸度、及び卵割の均一度である
　情報処理装置。
（５）　細胞を培養する細胞培養容器と、
　第１の撮影間隔で培養中の細胞の光学画像を取得する光学画像撮影部を有する撮影部と
　第１の撮影間隔で撮影した培養中の細胞の画像から細胞の状態変化の有無を検出し、前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える制御部と、
　を具備する観察システム。
（６）上記（５）に記載の観察システムであって、
　前記撮影部は、培養中の細胞の熱画像を連続的に取得する熱画像撮影部を有し、
　前記制御部は、前記熱画像撮影部が撮影した前記熱画像に基づいて、細胞の状態変化の有無を検出する
　観察システム。
（７）上記（５）又は（６）に記載の観察システムであって、
　前記光学画像撮影部は、前記細胞の多視点光学画像を取得し、
　前記観察システムは、前記多視点光学画像を保存する光学画像データベース部と、前記光学画像データベース部より前記多視点光学画像を取得し、三次元再構成する三次元再構成部と、をさらに具備する
　観察システム。
（８）上記（７）に記載の観察システムであって、
　前記制御部は、三次元再構成された前記多視点光学画像に基づいて、細胞の状態変化を検出する
　観察システム。
　観察システム。
（９）第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出し、
　前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える
　観察方法。
（１０）情報処理装置に、
　第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出するステップと、
　前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替えるステップと
　を実行させるプログラム。

１，１１，１２…培養容器
２，１２，４２…撮影ユニット
３，４３…情報処理装置
４，５１…画像ＤＢ部
５…三次元再構成部
１０，２０，３０，４０…観察システム
１１…円筒状容器
１４…解析部
１５…更新部
３１…撮影間隔制御部
３２…送受信部
３３…メモリ
３４…解析部
３０，４０…観察システム
５２…ステレオ画像取得部
５３…ステレオマッチング部
５４…三次元再構成ＤＢ部
２０１…熱画像撮影部
３０１…熱画像解析部
ａ１～ａ３，ｂ１，ｄ１～ｄ３，ｆ１～ｆ３，ｇ１～ｇ２…カメラ
Ｍ１～Ｍ３…鏡

Claims

　第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出し、前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える制御部
　を具備する情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記制御部は、培養中の細胞の熱画像から細胞の状態変化の有無を検出する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記光学画像は、多視点から撮影された複数の光学画像から得られる三次元画像であり、
　前記制御部は、前記三次元画像の情報に基づいて定量化された細胞の特徴量の変化に応じて、細胞の状態変化を検出する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記細胞は、受精卵であって、
　前記細胞の特徴量は、受精卵の体積、表面積、真球度、表面凹凸度、及び卵割の均一度である
　情報処理装置。
　細胞を培養する細胞培養容器と、
　第１の撮影間隔で培養中の細胞の光学画像を取得する光学画像撮影部を有する撮影部と
　第１の撮影間隔で撮影した培養中の細胞の画像から細胞の状態変化の有無を検出し、前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える制御部と、
　を具備する観察システム。
　請求項５に記載の観察システムであって、
　前記撮影部は、培養中の細胞の熱画像を連続的に取得する熱画像撮影部を有し、
　前記制御部は、前記熱画像撮影部が撮影した前記熱画像に基づいて、細胞の状態変化の有無を検出する
　観察システム。
　請求項５に記載の観察システムであって、
　前記光学画像撮影部は、前記細胞の多視点光学画像を取得し、
　前記観察システムは、前記多視点光学画像を保存する光学画像データベース部と、前記光学画像データベース部より前記多視点光学画像を取得し、三次元再構成する三次元再構成部と、をさらに具備する
　観察システム。
　請求項７に記載の観察システムであって、
　前記制御部は、三次元再構成された前記多視点光学画像に基づいて、細胞の状態変化を検出する
　観察システム。
　第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出し、
　前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える
　観察方法。
　情報処理装置に、
　第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出するステップと、
　前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替えるステップと
　を実行させるプログラム。