JP5659158B2 - 画像処理装置、培養観察装置、及び画像処理方法 - Google Patents

Description

本発明は、分化した体細胞を初期化して人工多能性幹細胞（ＥＳ細胞に近い多分化や増殖能を有する細胞であり、以下「ｉＰＳ細胞」と称す。）を樹立するに当たり、ｉＰＳ細胞コロニーの育成状態を観察する培養観察装置、それに適用される画像処理装置、及び画像処理方法に関する。

従来、マウス由来のｉＰＳ細胞を樹立する際には、細胞の初期化の有無を可視化するため、多能性維持遺伝子とみられるＥＣＡＴ４（Ｎａｎｏｇ）の遺伝子座に蛍光蛋白質遺伝子（ＥＧＦＰ遺伝子）を挿入してなるマウスが使用されていた。この場合、ＥＧＦＰが初期化マーカーとなり、細胞が初期化されたか否かを蛍光発光の有無により確認することができる（非特許文献１等を参照）。

Keisuke Okita, Tomoko Ichisaka, and Shinya Yamanaka, "Generation of germline-competent induced pluripotent stem cells", Nature Vol 488, 19 July 2007, P313-317

しかしながら、再生医療の用途でヒト由来のｉＰＳ細胞を樹立する際には、マーカー遺伝子の使用は避けるべきである。

そこで本発明の目的は、蛍光蛋白質遺伝子などのマーカー遺伝子を使用せずとも細胞の初期化の有無を判別することのできる画像処理装置、培養観察装置、及び画像処理方法を提供することにある。

本発明の画像処理装置は、観察ユニットにより取得された細胞コロニーの位相差画像を入力し、前記細胞コロニーの輪郭線を抽出する輪郭抽出処理手段と、前記位相差画像における前記輪郭線の外側の輝度情報と内側の輝度情報とに基づき前記細胞コロニーの輪郭の特徴量を抽出する抽出手段と、前記抽出手段が抽出した前記特徴量と予め決められた判別基準とに基づき、前記細胞コロニーがｉＰＳ細胞コロニーであるか否かを自動判別する自動判別手段とを備える。
本発明の培養観察装置は、培養容器を収容する恒温室と、前記恒温室内に収容された培養容器の位相差画像を取得する撮像手段と、前記撮像手段が取得した位相差顕画像を処理する本発明の画像処理装置とを備える。
本発明の画像処理方法は、観察ユニットにより取得された細胞コロニーの位相差画像を入力し、前記細胞コロニーの輪郭線を抽出する輪郭抽出処理手順と、記位相差画像における前記輪郭線の外側の輝度情報と内側の輝度情報とに基づき前記細胞コロニーの輪郭の特徴量を抽出する抽出手順と、前記抽出手順が抽出した前記特徴量と予め決められた判別基準とに基づき、前記細胞コロニーがｉＰＳ細胞コロニーであるか否かを自動判別する自動判別手順とを含む。

本発明によれば、蛍光蛋白質遺伝子などのマーカー遺伝子を使用せずとも細胞の初期化の有無を判別することのできる画像処理装置、培養観察装置、画像処理方法が実現する。

インキュベータの正面図。 正面扉１８が開放されたときにおけるインキュベータの正面図。 観察ユニット２８の構成を示す概略図。 インキュベータ１１の回路ブロック図。 各回の実験における制御ユニット１４の動作フローチャート。 手動モードにおける制御ユニット１４の動作フローチャート。 自動モードにおける制御ユニット１４の動作フローチャート。 合成マクロ画像Ｉの例。 二値化画像Ｉ’の例。 二値化コロニー画像Ｉ”の例。 合成マクロ画像Ｉの部分拡大図。 合成マクロ画像Ｉの部分拡大図（指定された細胞コロニーの枠が変化した様子。）。 （Ａ）は、指定された細胞コロニーの拡大図、（Ｂ）は、指定されなかった細胞コロニーの拡大図。 輪郭線Ｌｃの例。 帯状領域１００Ａ、１００Ｂを説明する図。 特徴量を説明する図。 学習サンプルデータｇ_ｉ’、学習サンプルデータｇ_ｎ’を説明する図。 学習サンプルデータｇ_ｉ、学習サンプルデータｇ_ｎを説明する図。 更新後の学習サンプルデータｇ_ｉ、及び更新後の学習サンプルデータｇ_ｎを説明する図。 ステップＳ８３を説明する図。

［第１実施形態］
以下、本発明の第１実施形態を説明する。本実施形態はインキュベータの実施形態である。

先ず、本実施形態のインキュベータの構造を説明する。

図１は、本実施形態のインキュベータの正面図であり、図２は、正面扉１８が開放されたときにおけるインキュベータの正面図である。図１，図２に示すとおり、インキュベータ１１は、生体細胞の培養を行う第１筐体１２と、制御ユニット１４を収納する第２筐体１３とを有しており、第１筐体１２は第２筐体１３の上部に配置される。

第２筐体１３の前面には操作パネル５６が設けられており、その操作パネル５６には、モニタや入力釦などが設けられている。第２筐体１３の内部には、制御ユニット１４と、観察ユニット２８の一部とが配置される。

第１筐体１２の内部には、断熱材で覆われた恒温室１５（図２）が形成されている。この恒温室１５は、第１筐体１２の正面に形成された正面開口１６（図２）と、第１筐体１２の左側面に形成された搬出入口１７（図２）とによって外部と連絡している。このうち正面開口１６（図２）は、観音開きの正面扉１８によって開閉可能であり、搬出入口１７（図２）は、スライド式の自動扉１９（図１）によって開閉可能である。なお、搬出入口１７のサイズは培養容器３０（図２）が通過可能なサイズに設定されている。また、第１筐体１２の底面には、正面側からみて右寄りの位置に開口２０（図２）が形成されており、その開口２０（図２）から観察ユニット２８の一部が突設されている。

恒温室１５の壁面には、温度調整装置、噴霧装置、ガス導入部、環境センサユニットなどが内蔵されている。このうち温度調整装置はペルチェ素子を有しており、ペルチェ効果によって恒温室１５（図２）の加熱または冷却を行う。噴霧装置は、恒温室１５（図２）内に噴霧を行って恒温室１５（図２）内の湿度を調整する。ガス導入部は、インキュベータ外の二酸化炭素ボンベと接続されており、その二酸化炭素ボンベから恒温室１５（図２）へと二酸化炭素を導入することにより、恒温室１５（図２）内の二酸化炭素濃度を調整する。環境センサユニットは、恒温室１５（図２）内の温度、湿度、二酸化炭素濃度をそれぞれ検出する。

第１筐体１２の内部には、ストッカー２５と、容器搬出入機構２６（図２）と、容器搬送機構２７とが配置され、前述したとおり観察ユニット２８の一部も配置されている。

ストッカー２５の配置箇所は、第１筐体１２の正面からみて恒温室１５（図２）の左側である。ストッカー２５は、複数の棚を有しており、各々の棚に培養容器３０を収納することができる。ストッカー２５の最下段は、第１筐体１２の搬出入口１７（図２）に連続しており、その最下段のスペースには、培養容器３０を搬出入するための容器搬出入機構２６（図２）が設置される。

容器搬送機構２７の配置箇所は、第１筐体１２の正面からみて恒温室１５（図２）の中央である。この容器搬送機構２７は、ストッカー２５、容器搬出入機構２６（図２）、観察ユニット２８との間で培養容器３０（図２）の受け渡しを行う。

観察ユニット２８の配置箇所は、第１筐体１２の正面からみて恒温室１５（図２）の右側である。この観察ユニット２８は、試料台４７（図２）と、試料台４７（図２）の上方に張り出したアーム４８（図２）と、本体部分４９（図２）とを有している。このうち試料台４７（図２）及びアーム４８（図２）が第１筐体１２の恒温室１５（図２）の側に位置し、本体部分４９（図２）が第２筐体１３の側に位置している。

図３は、観察ユニット２８の構成を示す概略図である。図３に示すとおり、観察ユニット２８は、試料台４７と、第１照明部５１と、第２照明部５２と、顕微観察部５３と、容器観察部５４と、画像処理部５５とを有している。

このうち、顕微観察部５３は本体部分４９に内蔵されており、第１照明部５１は、アーム４８のうち、顕微観察部５３と対向する位置に配置される。これらの顕微観察部５３と第１照明部５１とが、位相差観察用の顕微鏡を構成する。

また、容器観察部５４はアーム４８に収納されており、第２照明部５２は、本体部分４９のうち、容器観察部５４と対向する位置に配置される。これらの容器観察部５４と第２照明部５２とが、反射観察用の観察系を構成する。

試料台４７は、透光性の材質で構成されており、その上に培養容器３０が載置される。この試料台４７は、高精度なステージからなり、培養容器３０を水平方向（ＸＹ方向）に移動させることにより、培養容器３０を位相差観察用の顕微鏡（顕微観察部５３及び第１照明部５１）の光路へ挿入したり、反射観察用の観察系（容器観察部５４及び第２照明部５２）の光路へ挿入したりすることができる。

また、試料台４７は、培養容器３０と位相差観察用の顕微鏡との間のＺ方向の位置関係を変化させることにより、位相差観察用の顕微鏡の焦点調節を行うことができる。また、試料台４７は、培養容器３０と位相差観察用の顕微鏡とのＸＹ方向の位置関係を変化させることにより、位相差観察用の顕微鏡の観察ポイントを変更することができる。

観察ユニット２８は、培養容器３０を反射観察用の観察系（容器観察部５４及び第２照明部５２）の光路へ挿入した状態で、培養容器３０の全体の反射像を撮像することができる。以下、この撮像によって取得される画像を「反射画像」という。

また、観察ユニット２８は、培養容器３０を位相差観察用の顕微鏡（顕微観察部５３及び第１照明部５１）の光路へ挿入した状態で、培養容器３０の一部の拡大位相差像を撮像することができる。以下、この撮像によって取得される画像を「位相差画像」という。

なお、顕微観察部５３の対物レンズ６１及び位相フィルタ６２の組み合わせは、観察倍率の異なる複数種類の組み合わせの間で切り替えることが可能である。例えば、２倍観察用の組み合わせ（対物レンズ６１low及び位相フィルタ６２low）と、４倍観察用の組み合わせ（対物レンズ６１high及び位相フィルタ６２high）との間で切り替わる。

よって、観察ユニット２８は、対物レンズ６１low及び位相フィルタ６２lowを光路に設定した状態で倍率２倍の位相差画像（低倍位相差画像）を取得することができ、対物レンズ６１high及び位相フィルタ６２highを光路に設定した状態で倍率４倍の位相差画像（高倍位相差画像）を取得することができる。

画像処理部５５は、観察ユニット２８が取得した画像（反射画像、低倍位相差画像、高倍位相差画像の何れか）に対して各種の画像処理を施す。なお、画像処理部５５が実行可能な画像処理には、画像から細胞コロニーを検出するコロニー検出処理（後述）などがある。

次に、インキュベータ１１の電気系統を説明する。

図４は、インキュベータ１１の回路ブロック図である。図４に示すとおり、インキュベータ１１の制御ユニット１４は、自動扉１９の扉開閉機構１９ａ、温度調整装置２１、噴霧装置２２、ガス導入部２３、環境センサユニット２４、容器搬出入機構２６、容器搬送機構２７、観察ユニット２８、モニタ５６ａ、入力釦５６ｂとそれぞれ接続されている。

制御ユニット１４は、所定の制御プログラムに従ってインキュベータ１１の各部を統括的に制御する。一例として、制御ユニット１４は、温度調整装置２１、噴霧装置２２、ガス導入部２３、環境センサユニット２４をそれぞれ制御して恒温室１５内を所定の環境条件に維持する。また、制御ユニット１４は、ユーザが入力した観察スケジュールに基づいて、観察ユニット２８および容器搬送機構２７を制御して、培養容器３０の観察シーケンスを自動的に実行する。

また、制御ユニット１４は、ハードディスクや不揮発性メモリなどで構成された記憶部１４ａを有しており、観察データ、管理データ、学習画像数データ、学習サンプルデータ、判別面データなどの各種のデータを格納する。このうち観察データは培養容器毎に用意されるデータであり、管理データは実験毎に用意されるデータであり、学習画像数データ及び学習サンプルデータは、全ての実験に共通のデータである。なお、記憶部１４ａには、制御ユニット１４の動作に必要な動作プログラムも格納されており、後述する制御ユニット１４の動作は、その動作プログラムに従うものとする。

次に、本実施形態の培養容器３０を説明する。

培養容器３０は、シャーレ（ディッシュ）であって、その底部にフィーダー細胞層が形成されている。そのフィーダー細胞層上には、複数のヒト体細胞が生育する専用培地層が設けられており、個々のヒト体細胞には予め、分化万能性の獲得に必要な遺伝子が導入されている。培養開始から一定期間（例えば１週間）が経過すると、培養容器３０内で生育するヒト体細胞の一部がｉＰＳ細胞となり、ｉＰＳ細胞コロニーを形成する。

通常、１回の実験では、複数個（ここでは５０個）の培養容器３０が同時に培養される。それら５０個の培養容器３０の間では、細胞に導入された遺伝子の種類が互いに異なる場合があり、ｉＰＳ細胞コロニーの出現率は様々である。よって、これら５０個の培養容器３０の観察スケジュールは、１週間ほど培養した後にｉＰＳ細胞コロニーの出現率を容器毎にカウントするよう設定される。このような観察スケジュールの実験は、通常、培養対象となる培養容器群を交換しながら何度か行われる。

次に、各回の実験における制御ユニット１４の動作を説明する。

図５は、各回の実験における制御ユニット１４の動作フローチャートである。以下、各ステップを順に説明する。

ステップＳ１：制御ユニット１４は、例えば以下の手順（１）〜（６）により５０個の培養容器３０の登録を行う。

（１）制御ユニット１４は、搬出入口１７にユーザが挿入した培養容器３０を恒温室１５へ搬入すると共に、培養容器３０の搬送を容器搬送機構２７へ指示する。容器搬送機構２７は、その培養容器３０を搬送し、試料台４７の所定位置へ載置する。

（２）制御ユニット１４は、培養容器３０の反射画像を取得するよう観察ユニット２８へ指示する。観察ユニット２８は、培養容器３０を反射観察用の観察系（容器観察部５４及び第２照明部５２）の光路へ配置し、その状態で培養容器３０の反射画像を取得すると、それをモニタ５６ａへ表示すると共に、前述した観察データへ書き込む。

（３）制御ユニット１４は、培養容器３０をストッカー２５へ収納するよう容器搬送機構２７へ指示する。容器搬送機構２７は、培養容器３０をストッカー２５へ収納する。

（４）制御ユニット１４は、手順（１）〜（３）を５０回繰り返すことにより、５０個の培養容器３０の全てを登録する。なお、制御ユニット１４は、一度に登録された５０個の培養容器３０に対して登録順に容器番号１〜５０を割り当てるものとする。

（５）制御ユニット１４は、登録された５０個の培養容器３０に関する観察スケジュール（培養条件、培養期間、観察内容など）をユーザに入力させる。ここでは、１週間ほど培養した後にｉＰＳ細胞コロニーの出現率を容器毎にカウントする観察スケジュールがユーザから入力されるものとする。なお、ユーザから制御ユニット１４への情報入力は、入力釦５６ｂを介して行われる（以下も同様。）。制御ユニット１４は、ユーザが入力した観察スケジュールを今回の実験の管理データへ書き込む。

（６）制御ユニット１４は、今回の実験の管理データに書き込まれた観察スケジュールに従い、登録された５０個の培養容器３０の培養を開始する。

ステップＳ２：制御ユニット１４は、今回の実験の管理データに書き込まれた観察スケジュールと現在日時とを比較して、培養容器３０の観察時期が到来したか否かを判別する。観察時期が到来した場合にはステップＳ３に移行し、観察時期が到来していない場合には待機する。

ステップＳ３：制御ユニット１４は、容器番号を初期値に設定する。

ステップＳ４：制御ユニット１４は、現在の容器番号に対応する培養容器３０（以下、「着目培養容器３０」と称す。）を搬送するよう容器搬送機構２７へ指示する。容器搬送機構２７は、着目培養容器３０をストッカー２５から搬出して試料台４７の所定位置に載置する。

ステップＳ５：制御ユニット１４は、着目培養容器３０の全体の高倍位相差画像を取得するよう観察ユニット２８へ指示する。観察ユニット２８は、着目培養容器３０を位相差観察用の顕微鏡（顕微観察部５３及び第１照明部５１）の光路へ配置すると共に、対物レンズ６１及び位相フィルタ６２の組み合わせを、４倍観察用の組み合わせ（対物レンズ６１ _high 及び位相フィルタ６２ _high ）に設定し、その状態で観察ポイントをステップ状にずらしながら高倍位相差画像を繰り返し取得する。さらに、観察ユニット２８は、取得した複数の高倍位相差画像をタイリングする（繋ぎ合わせる）ことにより、着目培養容器３０の全体の高倍位相差画像（合成マクロ画像Ｉ）を取得する。さらに制御ユニット１４は、その合成マクロ画像Ｉを着目培養容器３０の観察データへ書き込むと共に、モニタ５６ａへ表示する（図８参照）。

ステップＳ６：制御ユニット１４は、現時点における学習画像数データを閾値（例えば５０枚）と比較し、閾値を超えていなかった場合には手動モード（ステップＳ７）へ移行し、閾値を超えていた場合には自動モード（ステップＳ８）へ移行する。なお、手動モード（ステップＳ７）は、ユーザがｉＰＳ細胞コロニーの手動判別（テーチング）を行い、制御ユニット１４が学習するモードである。また、自動モード（ステップＳ８）は、制御ユニット１４がｉＰＳ細胞コロニーの自動判別を行うモードである。また、現時点における学習画像数データとは、現時点までの学習に使用されたトータルの画像数である。

ステップＳ９：制御ユニット１４は、着目培養容器３０をストッカー２５へ収納するよう容器搬送機構２７へ指示する。容器搬送機構２７は、着目培養容器３０をストッカー２５へ収納する。

ステップＳ１０：制御ユニット１４は、容器番号が最終値（ここでは５０）に達したか否かを判別し、最終値に達していなかった場合にはステップＳ１１へ移行し、最終値に達した場合にはフローを終了する。

ステップＳ１１：制御ユニット１４は、容器番号をインクリメントしてからステップＳ４へ戻る。

次に、手動モードにおける制御ユニット１４の動作を説明する。

図６は、手動モードにおける制御ユニット１４の動作フローチャートである。以下、各ステップを順に説明する。

ステップＳ７１：制御ユニット１４は、着目培養容器３０の合成マクロ画像Ｉ（図８）を画像処理部５５に与えると共に、その画像処理部５５に対してコロニー検出処理を施すよう指示する。画像処理部５５は、その合成マクロ画像Ｉに対して二値化処理を施すことにより二値化画像Ｉ’（図９）を取得し、その二値化画像Ｉ’に現れた複数の暗領域のうち領域サイズが所定範囲から外れたものを除外することにより、二値化コロニー画像Ｉ”（図１０）を取得する。そして、画像処理部５５は、その二値化コロニー画像Ｉ”を検出結果として制御ユニット１４へ出力する。制御ユニット１４は、その二値化コロニー画像Ｉ”に現れた複数の暗領域の各々を細胞コロニーとしみなし、それら細胞コロニーの各々を囲う矩形枠のイメージ（枠画像）を作成し、その枠画像を、モニタ５６ａに表示中の合成マクロ画像Ｉ上に重畳させる（図１１）。

ステップＳ７２：制御ユニット１４は、表示中の合成マクロ画像Ｉ上でｉＰＳ細胞コロニーを指定するようユーザへ指示を出す。なお、制御ユニット１４からユーザへの情報出力は、モニタ５６ａを介して行われる（以下も同様。）。ユーザは、モニタ５６ａに表示されている複数の細胞コロニーの中からｉＰＳ細胞コロニーを見い出し、そのｉＰＳ細胞コロニーを制御ユニット１４へ指定する。制御ユニット１４は、細胞コロニーが指定されると、その細胞コロニーを囲う矩形枠の状態（例えば、色、太さ、線種など）を変更することにより、ユーザの指定内容を可視化する（図１２）。なお、Ｎｏｎ−ｉＰＳ細胞コロニーを誤って指定した場合、ユーザは、その細胞コロニーを再度指定することにより、その指定を解除する。制御ユニット１４は、指定済みの細胞コロニーが再度指定された場合には、指定が解除されたとみなし、その細胞コロニーを囲う矩形枠の状態を元に戻す。

その後、ユーザは、典型的なｉＰＳ細胞コロニーを選択し、指定を終えると、制御ユニット１４へ完了通知を入力する。なお、図１３（Ａ）に示すのは、指定された細胞コロニーの拡大図であり、図１３（Ｂ）に示すのは、指定されなかった細胞コロニーの拡大図である。図１３（Ａ）、（Ｂ）から明かなとおり、指定された細胞コロニーは、輪郭線が明確であり、背景との区別がはっきりしているのに対し、指定されなかったコロニーは、輪郭線が不明確であり、背景との区別が曖昧である。

ステップＳ７３：制御ユニット１４は、完了通知が入力されたか否かを判別し、完了通知が入力されていない場合はステップＳ７２に戻り、完了通知が入力された場合はステップＳ７４へ移行する。

ステップＳ７４：制御ユニット１４は、完了通知が入力された時点で表示されていた枠画像を、着目培養容器３０の観察データへ書き込む。また、制御ユニット１４は、完了通知が入力された時点で指定されていた細胞コロニーの個数（すなわち完了通知が入力された時点で状態の変化していた矩形枠の個数）を、ｉＰＳ細胞コロニーの個数Ｎ_ｉＰＳとして計数する。また、制御ユニット１４は、完了通知が入力された時点で指定されていなかった細胞コロニーの個数（すなわち完了通知が入力された時点で状態の変化していなかった矩形枠の個数）を、Ｎｏｎ−ｉＰＳ細胞コロニーの個数Ｎ_Ｎｏｎとして計数する。さらに、制御ユニット１４は、ｉＰＳ細胞の出現率Ｒの値をＲ＝Ｎ_ｉＰＳ／（Ｎ_Ｎｏｎ＋Ｎ_ｉＰＳ）の式によって算出し、その出現率Ｒを着目培養容器３０の観察データへ書き込むと共に、モニタ５６ａへ表示する。

ステップＳ７５：制御ユニット１４は、ステップＳ７１の過程で取得した二値化コロニー画像Ｉ”に対して輪郭抽出処理を施すことにより、個々の細胞コロニーの輪郭線Ｌｃを抽出する（図１４）。なお、細胞コロニーの輪郭線Ｌｃは、その細胞コロニーがｉＰＳ細胞コロニーであるか否かに拘わらず閉曲線となる。そして、制御ユニット１４は、個々の細胞コロニーの特徴量を、以下の手順（１）〜（３）で抽出する。

（１）制御ユニット１４は、細胞コロニーの輪郭線Ｌｃに接し、かつその輪郭線Ｌｃの外側に位置する帯状領域１００Ａを算出すると共に、その輪郭線Ｌｃに接し、かつ輪郭線Ｌｃの内側に位置する帯状領域１００Ｂを算出する（図１５）。

（２）制御ユニット１４は、合成マクロ画像Ｉのうち、帯状領域１００Ａに相当する部分位相差画像の輝度平均値Ａ及び輝度分散値σＡを算出すると共に、合成マクロ画像Ｉのうち、帯状領域１００Ｂに相当する部分位相差画像の輝度平均値Ｂ及び輝度分散値σＢを算出する（図１６（Ａ））。

（３）制御ユニット１４は、輝度平均値Ａから輝度平均値Ｂを差し引くことにより、細胞コロニーの輪郭の先鋭度（Ａ−Ｂ）を算出すると共に、輝度分散値σＡと輝度分散値σＢとの和をとることにより、細胞コロニーの輪郭周辺のざらつき度（σＡ＋σＢ）を算出する（図１６（Ｂ））。これらの先鋭度（Ａ−Ｂ）及びざらつき度（σＡ＋σＢ）が、細胞コロニーの特徴量である。なお、２つの成分を有したこの特徴量を、以下「特徴量ベクトル」と称す。

ここで、図１６の左側に模式的に示すとおり、ｉＰＳ細胞コロニーの輪郭は明確であり、かつ輪郭の外側及び内側はそれぞれ輝度がほぼ均一なので、ｉＰＳ細胞コロニーの輪郭の先鋭度（Ａ−Ｂ）は比較的大きく、ｉＰＳ細胞コロニーの輪郭周辺のざらつき度（σＡ＋σＢ）は比較的小さい。

一方、図１６の右側に模式的に示すとおり、Ｎｏｎ−ｉＰＳ細胞コロニーの輪郭は不明確であり、かつ輪郭の外側及び内側はそれぞれ輝度が不均一なので、Ｎｏｎ−ｉＰＳ細胞コロニーの輪郭の先鋭度（Ａ−Ｂ）は比較的小さく、Ｎｏｎ−ｉＰＳ細胞コロニーの輪郭周辺のざらつき度（σＡ＋σＢ）は比較的大きい。

ステップＳ７６：制御ユニット１４は、特徴量ベクトルのベクトル空間（特徴量空間）を想定し、ユーザが指定した細胞コロニー（ｉＰＳ細胞コロニー）を、それら細胞コロニーの特徴量ベクトルに応じて特徴量空間へ写像することにより、ｉＰＳ細胞コロニーの写像先の集合（学習サンプルデータｇ_ｉ’）を取得する。また、制御ユニット１４は、ユーザが指定しなかった細胞コロニー（Ｎｏｎ−ｉＰＳ細胞コロニー）を、それら細胞コロニーの特徴量ベクトルに応じて特徴量空間へ写像することにより、Ｎｏｎ−ｉＰＳ細胞コロニーの写像先の集合（学習サンプルデータｇ_ｎ’）を取得する（図１７）。そして、制御ユニット１４は、現時点におけるｉＰＳ細胞コロニーの学習サンプルデータｇ_ｉに対して本ステップで取得した学習サンプルデータｇ_ｉ’を加算する（和集合をとる）と共に、現時点におけるＮｏｎ−ｉＰＳ細胞コロニーの学習サンプルデータｇ_ｎに対して本ステップで取得した学習サンプルデータｇ_ｎ’を加算する（和集合をとる）ことによって、学習サンプルデータｇ_ｉ、ｇ_ｎを更新する（図１８→図１９）。なお、実験回数がゼロであるときにおける学習サンプルデータｇ_ｉ、ｇ_ｎ（すなわち学習サンプルデータｇ_ｉ、ｇ_ｎの初期値）はゼロ（空集合）である。

さらに、制御ユニット１４は、更新後の学習サンプルデータｇ_ｉと更新後の学習サンプルデータｇ_ｎとを分離する超平面を判別面Ｓ_０として算出する（図１９）。この超平面は、例えば、学習サンプルデータｇ_ｉの重心からの距離と、学習サンプルデータｇ_ｎの重心からの距離とが等しいような超平面である。そして、制御ユニット１４は、算出した判別面Ｓ_０を規定する係数を、現時点における判別面データへ上書きすることにより、その判別面データを更新する。なお、その判別面Ｓ_０を使用して細胞コロニーがｉＰＳ細胞コロニーであるか否かを判別する際には、判別面Ｓ_０の上側に写像される細胞コロニーをＮｏｎ−ｉＰＳ細胞コロニーとみなし、判別面Ｓ_０の下側に写像される細胞コロニーをｉＰＳ細胞コロニーとみなせばよい。なお、本ステップにおける判別面Ｓ_０の算出方法は、ここで説明した方法以外に公知の何れかの方法を採用することができる。

ステップＳ７７：制御ユニット１４は、学習画像数データをインクリメントし、手動モードのフローを終了する。

次に、自動モードにおける制御ユニット１４の動作を説明する。

図７は、自動モードにおける制御ユニット１４の動作フローチャートである。以下、各ステップを順に説明する。

ステップＳ８１：制御ユニット１４は、上述したステップＳ５１と同様、着目培養容器３０の合成マクロ画像Ｉ（図８）を画像処理部５５に与えると共に、その画像処理部５５に対してコロニー検出処理を実行するよう指示する。画像処理部５５は、上述したステップＳ７１と同様に二値化コロニー画像Ｉ”（図１０）を取得し、それを検出結果として制御ユニット１４へ出力する。制御ユニット１４は、その二値化コロニー画像Ｉ”に現れた複数の暗領域の各々を細胞コロニーとみなし、それら細胞コロニーの各々を囲う矩形枠のイメージ（枠画像）を作成し、その枠画像を、モニタ５６ａに表示中の合成マクロ画像Ｉ上に重畳させる（図１１）。

ステップＳ８２：制御ユニット１４は、ステップＳ８１の過程で取得した二値化コロニー画像Ｉ”に対して輪郭抽出処理を施すことにより、個々の細胞コロニーの輪郭線Ｌｃを抽出する（図１４）。そして、制御ユニット１４は、個々の細胞コロニーの特徴量ベクトルを、上述したステップＳ７５と同じ手順で抽出する。

ステップＳ８３：制御ユニット１４は、現時点における判別面データに基づき、特徴量ベクトルのベクトル空間（特徴量空間）に判別面Ｓ_０を設定する（図２０）。そして、制御ユニット１４は、ステップＳ８２で抽出した個々の細胞コロニーがｉＰＳ細胞コロニーであるか否かを以下の手順（１）〜（３）で判別する。

（１）制御ユニット１４は、細胞コロニーを、その細胞コロニーの特徴量ベクトルに応じて特徴量空間へ写像することにより、その細胞コロニーの写像先を算出する（例えば図２０の×印）。

（２）制御ユニット１４は、手順（１）で算出した写像先が現在の判別面Ｓ_０の上側である場合には、その細胞コロニーをＮｏｎ−ｉＰＳ細胞コロニーと判断し、その写像先が現在の判別面Ｓ_０の下側であるときには、その細胞コロニーをｉＰＳ細胞コロニーと判断する。

（３）制御ユニット１４は、細胞コロニーをｉＰＳ細胞コロニーと判断した場合には、モニタ５６ａ上でその細胞コロニーを囲う矩形枠の状態（例えば、色、太さ、線種など）を変更する。これによって、手順（２）による判別結果が可視化される（図１２）。

ステップＳ８４：制御ユニット１４は、ステップＳ８３による判別結果が正しいか否かを確認するようユーザに指示する。ユーザは、その判別結果が正しいか否かをモニタ５６ａ上で確認し、正しければ制御ユニット１４へ完了通知を入力し、正しくなければ手動モードへの移行指示を制御ユニット１４へ入力する。

ステップＳ８５：制御ユニット１４は、完了通知が入力されたか否かを判別し、完了通知が入力されていない場合はステップＳ８６へ移行し、完了通知が入力された場合はステップＳ８７へ移行する。

ステップＳ８６：制御ユニット１４は、手動モードへの移行指示が入力されか否かを判別し、移行指示が入力されていない場合はステップＳ８４へ戻り、移行指示が入力された場合は手動モードのステップＳ７２へ移行する。

ステップＳ８７：制御ユニット１４は、完了通知が入力された時点で表示されていた枠画像を、着目培養容器３０の観察データへ書き込む。また、制御ユニット１４は、ステップＳ８３においてｉＰＳ細胞コロニーと判断した細胞コロニーの個数Ｎ_ｉＰＳを計数する。また、制御ユニット１４は、ステップＳ６３においてＮｏｎ−ｉＰＳ細胞コロニーと判断した細胞コロニーの個数Ｎ_Ｎｏｎを計数する。さらに、制御ユニット１４は、ｉＰＳ細胞の出現率Ｒの値をＲ＝Ｎ_ｉＰＳ／（Ｎ_Ｎｏｎ＋Ｎ_ｉＰＳ）の式によって算出し、その出現率Ｒを着目培養容器３０の観察データへ書き込むと共に、モニタ５６ａへ表示し、自動モードのフローを終了する。
以上、本実施形態の制御ユニット１４は、学習画像枚数データが閾値（ここでは５０）を超過した時点で自動モードを発現させるので、１回目の実験で使用した培養容器３０の個数が５０個であった場合には、２回目以降の実験ではユーザがｉＰＳ細胞コロニーを指定する必要は無くなる。

また、本実施形態の制御ユニット１４は、自動モードにおいて、位相差顕微鏡画像である合成マクロ画像Ｉから細胞コロニーの輪郭の明確さを示す特徴量ベクトルを抽出し、その特徴量ベクトルと特徴量空間に設定された判別面Ｓ_０とに基づきその細胞コロニーがｉＰＳ細胞コロニーであるか否かを自動判別するので、マーカー遺伝子を細胞に予め導入しておく必要は無い。

また、本実施形態の制御ユニット１４は、細胞コロニーの輪郭線Ｌｃの外側に位置する帯状領域１００Ａの輝度平均値Ａと、輪郭線Ｌｃの内側に位置する帯状領域１００Ｂの輝度平均値Ｂとの差分（Ａ−Ｂ）を特徴量ベクトルの１成分として抽出するので、細胞コロニーがｉＰＳ細胞コロニーであるか否かの判別を確度高く行うことができる。
また、本実施形態の制御ユニット１４は、帯状領域１００Ａの輝度分散値σＡと、帯状領域１００Ｂの輝度分散値σＢとの和（σＡ＋σＢ）を特徴量ベクトルの１成分として抽出するので、細胞コロニーがｉＰＳ細胞コロニーであるか否かの判別を確度高く行うことができる。

また、本実施形態の制御ユニット１４は、複数の合成マクロ画像Ｉに対するユーザの手動判別（テーチング）の結果に基づき自動判別の判別基準である判別面Ｓ_０を設定するので、インキュベータ１１をユーザ自信がカスタマイズすることができる。

また、本実施形態の制御ユニット１４は、学習画像枚数データが閾値（ここでは５０）を超過しない限り自動モードを発現させないので、自動判別の精度を確実に一定以上とすることができる。

また、本実施形態の制御ユニット１４は、自動判別の判別結果にユーザが不満を持った場合は即座に手動判別（テーチング）を開始するので、誤測定の可能性を回避することができる。

また、本実施形態の制御ユニット１４は、学習画像枚数データが閾値（ここでは５０）を超過していたとしても、手動判別（テーチング）をユーザからの要求に応じて何度でも行うこともできるので、自動判別の精度をユーザが必要に応じて高めることもできる。

なお、図５に示した制御ユニット１４の動作は、次のとおり変形することもできる。

すなわち、図５のステップＳ６、Ｓ７を省略し、ステップＳ５、Ｓ９の間にステップＳ８（図７のサブルーチン処理）を挿入する。但し、その場合、制御ユニット１４は、ｉＰＳ細胞コロニーの学習サンプルデータを獲得するテーチング処理（図６のサブルーチン処理）を予め実行しておくことになる。

このテーチング処理における制御ユニット１４は、合成マクロ画像Ｉ上でｉＰＳ細胞コロニーをユーザに指定させ（指定数は任意でよい）、図６（手動モード）のステップＳ７４〜Ｓ７７に示す処理を実行することで、ｉＰＳ細胞コロニーの学習サンプルデータを獲得して記憶する。

したがって、それ以降における制御ユニット１４は、記憶した学習サンプルデータに基づき、被検査対象の合成マクロ画像Ｉから自動的にｉＰＳ細胞コロニーを判別する自動判別処理を実行することができる。このように、テーチング処理を別途実施しておけば、自動判別処理を任意のタイミングで即座に開始することができる。

なお、この学習サンプルデータを、本装置と同機種の別の装置へ記憶させることも可能であり、その場合は、その装置におけるテーチング処理を省略することができる。

また、本実施形態の制御ユニット１４は、輪郭線の先鋭度の指標として値（Ａ−Ｂ）を使用したが、輪郭線の内側から外側にかけての輝度勾配を示す他の指標を使用してもよい。例えば、値（Ｂ／Ａ）を使用してもよい。

また、本実施形態の制御ユニット１４は、輪郭線周辺のざらつき度の指標として、帯状領域１００Ａの輝度分散値σＡと、帯状領域１００Ｂの輝度分散値σＢとの和（σＡ＋σＢ）を使用したが、帯状領域１００Ａの輝度差ΔＡと、帯状領域１００Ｂの輝度差ΔＢとの和（ΔＡ＋ΔＢ）を使用してもよい。なお、ここでいう「帯状領域の輝度差」とは、帯状領域に相当する部分位相差画像の最大輝度と最小輝度との差のことを指す。
また、本実施形態の制御ユニット１４は、特徴量ベクトルとして２次元の特徴量ベクトルを使用したが、１次元又は３以上の次元の特徴量ベクトルを使用してもよい。
また、本実施形態の制御ユニット１４は、特徴量ベクトルの成分を、輪郭の先鋭度と、輪郭周辺のざらつき度との組み合わせとしたが、他の組み合わせにしてもよい。特徴量ベクトルの成分として有効な量としては、輪郭の先鋭度、輪郭周辺のざらつき度の他に、輪郭線内の領域サイズ、輪郭線内の領域の輝度平均値などが挙げられる。

また、本実施形態では、細胞コロニーの位相差顕微鏡画像から抽出すべき特徴量を、細胞コロニーの輪郭の明確さを示す特徴量としたが、細胞コロニーのエッジの変化度（具体的にはエッジ信号の変化分）を示す特徴量としても良い。エッジ信号の変化分は、細胞コロニーの位相差顕微鏡画像に対する微分処理などで抽出することができる。例えば、微分法によるエッジ検出処理（エッジ信号が変化する部分を抽出する微分処理を用いる）、ラプラシアンによるエッジ検出処理（エッジの強さだけを検出する方法として２次微分をもちいるラプラシアンを用いる）などである。

また、本実施形態のインキュベータにおいては、画像処理部５５の動作の一部又は全部を制御ユニット１４に行わせてもよい。また、制御ユニット１４の動作の一部又は全部を画像処理部５５に行わせてもよい。

また、本実施形態では、培養対象をヒト体細胞としたが、他の動物の体細胞としてもよい。但し、ｉＰＳ細胞コロニーであるか否かの判別基準は動物の種類によって異なる可能性があるので、制御ユニット１４は、上述した学習画像数データ、学習サンプルデータ、判別面データを、動物毎の種類毎に用意するとよい。

１１…インキュベータ，１２…第１筐体，１３…第２筐体，５６…操作パネル，１４…制御ユニット，２８…観察ユニット，１５…恒温室，１６…正面開口，１７…搬出入口，１８…正面扉，１７…搬出入口，１９…自動扉１９，３０…培養容器，２０…開口，４７…試料台，５１…第１照明部，５２…第２照明部，５３…顕微観察部，５４…容器観察部，５５…画像処理部，４９…本体部分，６１…対物レンズ，６２…位相フィルタ

Claims (14)

1. 観察ユニットにより取得された細胞コロニーの位相差画像を入力し、前記細胞コロニーの輪郭線を抽出する輪郭抽出処理手段と、
   前記位相差画像における前記輪郭線の外側の輝度情報と内側の輝度情報とに基づき前記細胞コロニーの輪郭の特徴量を抽出する抽出手段と、
   前記抽出手段が抽出した前記特徴量と予め決められた判別基準とに基づき、前記細胞コロニーがｉＰＳ細胞コロニーであるか否かを自動判別する自動判別手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記抽出手段は、前記細胞コロニーの輪郭の特徴量として、前記細胞コロニーの輪郭の先鋭度を抽出することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記抽出手段は、前記細胞コロニーの輪郭の特徴量として、前記細胞コロニーの輪郭のざらつき度を抽出することを特徴とする画像処理装置。
4. 請求項１〜請求項３の何れか一項に記載の画像処理装置において、
   前記抽出手段は、前記外側又は前記内側の輝度情報として、前記外側又は前記内側の輝度の統計情報を使用することを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記抽出手段は、前記細胞コロニーの輪郭の特徴量として、前記細胞コロニーのエッジの変化度を抽出することを特徴とする画像処理装置。
6. 請求項２に記載の画像処理装置において、
   前記抽出手段は、前記細胞コロニーの輪郭の先鋭度を、前記外側の輝度平均値および前記内側の輝度平均値に基づき抽出する、あるいは前記内側から前記外側にかけての輝度勾配に基づき抽出することを特徴とする画像処理装置。
7. 請求項３に記載の画像処理装置において、
   前記抽出手段は、前記細胞コロニーの輪郭のざらつき度を、前記外側の輝度分散値および前記内側の輝度分散値に基づき抽出する、あるいは前記外側の輝度差（最大輝度と最小輝度との差）および前記内側の輝度差（最大輝度と最小輝度の差）に基づき抽出することを特徴とする画像処理装置。
8. 請求項１〜請求項７の何れか一項に記載の画像処理装置において、
   前記抽出手段は、前記位相差画像のうち前記細胞コロニーの輪郭線を含む所定幅の帯状領域を、前記輝度情報の参照先に設定する
   ことを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記抽出手段は、前記帯状領域の輝度分散値と輝度平均値との少なくとも一方を前記輝度情報として使用することを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記抽出手段は、前記帯状領域における前記輪郭線の外側の輝度平均値と内側の輝度平均値との差異を、前記特徴量の少なくとも１成分として抽出する
    ことを特徴とする画像処理装置。
11. 請求項９に記載の画像処理装置において、
    前記抽出手段は、前記帯状領域における前記輪郭線の外側の輝度分散値と内側の輝度分散値との和を、前記特徴量の少なくとも１成分として抽出する
    ことを特徴とする画像処理装置。
12. 請求項１〜請求項１１の何れか一項に記載の画像処理装置において、
    複数の細胞コロニーの位相差画像をモニタに表示させ、ｉＰＳ細胞コロニーであるか否かの手動判別を前記複数の細胞コロニーの各々についてオペレータに行わせるテーチング手段と、
    輪郭の特徴量を前記複数の細胞コロニーの各々について抽出する抽出手段と、
    前記抽出手段が前記複数の細胞コロニーの各々について抽出した特徴量と、前記オペレータが前記複数の細胞コロニーの各々について行った手動判別の結果とに基づき、前記自動判別手段の判別基準を設定する設定手段と、
    を備えたことを特徴とする画像処理装置。
13. 培養容器を収容する恒温室と、
    前記恒温室内に収容された培養容器の位相差画像を取得する撮像手段と、
    前記撮像手段が取得した位相差画像を処理する請求項１〜請求項１２の何れか一項に記載の画像処理装置と、
    を備えたことを特徴とする培養観察装置。
14. 観察ユニットにより取得された細胞コロニーの位相差画像を入力し、前記細胞コロニーの輪郭線を抽出する輪郭抽出処理手順と、
    前記位相差画像における前記輪郭線の外側の輝度情報と内側の輝度情報とに基づき前記細胞コロニーの輪郭の特徴量を抽出する抽出手順と、
    前記抽出手順が抽出した前記特徴量と予め決められた判別基準とに基づき、前記細胞コロニーがｉＰＳ細胞コロニーであるか否かを自動判別する自動判別手順と、
    を含むことを特徴とする画像処理方法。

Images