JP2000513465A

JP2000513465A - 生体組織の試料および体液の試料の自動顕微鏡支援検査方法

Info

Publication number: JP2000513465A
Application number: JP09538571A
Authority: JP
Inventors: モルナー、ベラ; シェッファー、ライナー; アルベルト、ビンフリード
Original assignee: Boehringer Mannheim GmbH
Current assignee: Roche Diagnostics GmbH
Priority date: 1996-04-27
Filing date: 1997-04-25
Publication date: 2000-10-10
Also published as: DE19616997A1; EP0896661A1; US6246785B1; JP2007133859A; WO1997041416A1

Abstract

(57)【要約】顕微鏡を用いた生体組織や体液の試料の検査が、ニューラルネットワークにより自動化されて実行される。検査の第１段階のプロセスは、試料がそのタイプによって分類され、デジタル化された試料の画像は、互に接続した複数のセグメントに分割され、それらはニューラルネットワークにより検査される。試料は、その試料に対応しないタイプの細胞を含んでいたり、細胞や組織の構造的変化があった場合に病的であると分類される。検査の第２段階のプロセスは、第１段階で分割されたデジタル画像のセグメントが更に分割され、分割されたセグメントは、その中に細胞検体が存在するかどうかについてチェックされる。次に、細胞検体が単一の細胞であるか、複数の細胞の複合体であるかどうかについて確認される。検査の第３段階では、検出された細胞が画像セグメントの境界内にあるかどうかについて確認される。境界内にある場合、その画像は再び記録される。最終段階で、中に細胞の検出されていた画像セグメントは、評価の目的でより高い倍率で記録される。

Description

【発明の詳細な説明】生体組織の試料および体液の試料の自動顕微鏡支援検査方法本発明は、自動顕微鏡、ビデオシステム、およびニューラルネットワークを備えた評価コンピュータを用いて、スライドガラス上の組織の試料または体液を検査する方法に関する。上記方法の詳細は、特許請求の範囲１と８から分かる。現在の技術水準で、コンピュータに連結されたビデオカメラ付き顕微鏡を備えてなる、試料検査用コンピュータ支援画像分析システムは公知である。ビデオカメラで記録された画像は、画像処理チップによってコンピュータに転送され、画像処理ソフトウエアを用いて、適切な方式でスクリーンに表示される。現在の技術水準の公知の方法では、ユーザが、顕微鏡を調節して、被検査領域に焦点を合わせねばならない。試料は、スクリーンに表示された画像に基づいて分析されるが、その画像は、任意に画像処理ソフトウエアによって支援され、コントラスト、色合いなどを変化させることができる。また、更に自動化された装置も、例えば、国際特許願公開第ＷＯ９１／２００４８号および同第ＷＯ７２／１３３０８号に記載されているように、現在の技術水準で公知である。これらの文献に開示されている装置は、カメラ付きの自動顕微鏡とコンピュータ支援分析システムを備えている。レンズの交換、焦点合わせおよび試料の移動は自動的に実施される。例えば、しきい値法のような特別の方法によって、画像情報からバックグランドを除くことによって、分析が実施される。被写体は画像内に位置決めされ、次いで被写体を互いに離れさせる。位置を確認された被写体（通常は細胞）に焦点を合わせて、形態計測パラメータと写真濃度計測パラメータが測定される。次に、これらパラメータは、ルールベース法または多変量統計的方法で評価される。この方法の必要条件は、近接している細胞が、光学的に互いに隔てられていることである。なぜならば、さもないと、細胞を、形態計測パラメータと写真濃度計測パラメータに基づいて認識できないからである。このような方法は、文献“Automated Cervical Smear Classification ”（IEEE／9th Annual Conference of theEngineering in Medicine and Biolog ical Society，１４５７頁）に記載されている。この文献には、オーバーラップしている細胞の問題は、核を染色し、この染色に基づいて分類を行うだけで解決できると述べられている。さらに、被写体の画像を、多変数空間内で分離線／分離領域によって互いに分離しようとする数学的最適化法が、現在の技術水準で公知である。また、ルールベース法と統計的方法も、被写体分離の問題を解決するために開発されている。本発明の目的は、近接している被写体を有する試料の場合でさえ、被写体に焦点を合わせて分離する必要なしに特定の分析を行うことができる、組織の試料または体液の試料の検査方法を提供することである。上記目的は、特許請求の範囲１と８に記載の方法で達成できる。特に、細胞、細胞複合体または組織学的構造体の画像が、分析領域の周縁部に存在しているのではなくて分析領域から部分的に突出する方法で形成されていることが、試料をニューラルネットワークで検査する場合に重要であることが分かったのである。本発明の方法は、オペレータが、例えば形態計測パラメータや写真濃度計測パラメータのような誘導パラメータに介入しまたはこれを使用する必要がない方法を提案している。驚くべきことには、個々の細胞に焦点を合わなかった場合でも、近接している細胞または細胞複合体を含んだ画像セグメントを、ニューラルネットワークで検査することができることが分かったのである。上記のことは予想外のことである。なぜならば、現在の技術水準で公知の方法は、細胞、細胞複合体または組織学的構造体のような個々の複写体を位置決めし、焦点を合わせて確認することに基づいているからである。さらに、試料のタイプを分類することが有利であると分かり、そして、この分類を考慮して、ニューラルネットワークが、試料のタイプに属していない細胞型が存在しているかどうか、または細胞または組織の構造的変化があるかどうかを検査する。この方法では、試料の画像をディジタル化し、得られた画像ポイントを、各々、個々に検査できる接続したセグメントに分割することが重要であることが分かったのである。本発明は、断層撮影法、超音波法および顕微鏡法を含む医療画像診断法の技術分野の発明である。これらの方法のうち、顕微鏡診断法は、悪性疾患を除外するかまたは確認するのに最も重要な手段である。したがって、婦人科、泌尿器科または内視鏡の診察と手術を行う際に、試料が、腫瘍学的検査を行うため、病理学、細胞学、または血液学の研究室に日常的に送られている。試料物質には、細胞塗抹試料、細胞懸濁液もしくは細胞を形成する成分、または生検で得られる構造体もしくは組織切片が含まれる。現在の標準の検査では、医師が、最初に、全細胞成分が存在しているか、これら成分が互いに正常な比率で存在しているか、そして、細胞核のクロマチン分布が正常かどうかを、細胞レベルで決定する。さらに、異常な細胞型が存在しているかどうかを細胞レベルで分析する。構造レベルでは、医師は、見出される細胞群が、採取された器官に相当するものであるかどうか、そして被験組織に対して一般的でない細胞型が生成しているかどうかを検査する。その上に、各種組織型間の境界が正常かまたは乱れているかが検査される。このような変化を起こす最も多い原因は、細胞の悪性変換である。探索される試料中の構造の変化は通常、染色を行わずに目視することはできないので、特別の染色が使用される。標本は手作業でまたは自動染色装置を用いて染色され、その際、例えば腫瘍マーカーの抗体のような特定の免疫マーカーを使うこともできる。いわゆるｉｎｓｉｔｕハイブリッド形成法では、細胞ＤＮＡの腫瘍遺伝子部分に結合する特別のＤＮＡプローブを用いて腫瘍遺伝子を見つけ出す。ＰＣＲ法は、中間の増幅ステップによって、特定のＤＮＡまたはＲＮＡの各種染色法に対して適当な量の元の腫瘍細胞を生成して検出する特別の実施態様である。次いで、この方法で標識された組織の成分または細胞は、先に述べた顕微鏡分析に利用できる。従来、医師が実施してきた検査を自動化できるように、多変数統計的方法による決定規則を公式化する試みが細胞レベルで行われている。この分野の自動化は極めて重要である。というのは、検査の数は引続き増大し、かつ必要な適格の研究室スタッフが不足している場合が多いからである。癌性変化が早期に認識されると、患者の病後の経過の医学的見通しが根本的に改善される。細胞と器官の細胞および構造の変化が自動的に評価されると、腫瘍を早期認識する新しい可能性が開かれて、治癒する可能性が著しく増大する。本発明は、これらの問題に関し、組織の試料または体液の試料の自動検査法を提案する物である。本発明の方法で検査できる試料は、例えば、組織の切片、塗抹標本、細胞塗抹標本、ならびに血液、尿、穿刺液などの体液である。試料は、検査する場合、検査できる試料の薄層が得られるように、スライドガラス上にのせる。本発明の範囲内で、細胞、細胞複合体、組織学的構造体などは、ニューラルネットワークによって検査される。これらのものは、以後、総合的に細胞被写体（ cellobject）と呼称する。これらのものには、記録された画像の周縁に位置しているものおよび一部分だけ入っている被写体も含まれる。試料は自動顕微鏡で分析される。現在の技術水準で知られている顕微鏡（例えば国際特許願公開第ＷＯ９１／２００４８号）は、焦点合わせを調節する装置と所望の画像セクションを調節する装置を備えている。試料を横に移動させるこのような装置の最も新しい例は、スライドガラスを、平面内で移動させることができるクロステーブルを備えている。さらに、本発明の方法を実施するのに用いる顕微鏡は、レンズとフィルターを自動的に変換する装置も設けることができる。ビデオシステムのセンサが、上記顕微鏡の画像平面内に配置されている。最新のビデオカメラは、４４０，０００個の画素を有する１／２インチのＣＣＤプレイを有している。画像を記録するのに使用するフレームグラッバー（flame grab ber）は、１０２４×１０２４または５１２×５１２の画素のアレイを提供する。出力値としてグレイ（白黒濃度）値を与えるＣＣＤアレイ、およびカラー値（赤−緑−青値）を与えるＣＣＤアレイが知られている。試料を自動的に検査する本発明のシステムは、さらに、前記ビデオシステムと前記顕微鏡に接続された評価コンピュータを備えている。このように利用される評価コンピュータは、そのビデオシステムによってその評価コンピュータに与えられる信号を読みとる働きをするいわゆる“フレームグラッパー”を備えている。評価コンピュータはさらに、焦点合わせおよび顕微鏡のレンズに対する試料の横方向への移動を制御するために顕微鏡を制御する装置を備えている。評価コンピュータは、現在の問題点を解決するため、高い演算能力をもっていなければならない。特にいくつものニューラルネットワークが評価コンピュータ内で使用される。ニューラルネットワークは、生物学的な脳の機能の数学的モデルとして使用される。適切なネットトポロジー（net topology）と処理機能を選択することによって、複雑な思考と決定を、コンピュータでシミュレートする試みがなされている。人工ニューラルネットワークに関する基本的な知見は、ＲｕｍｍｅｌｈａｒｔとＭｃＣｕｌｌｏｃｈが、著書“Paralled distributedprocssing:Explorations in the microstructure of cognition”に提供されている。現在、１００種を超えるネットワークモデルが多数の接続特性や機能とともに存在している。ニューラルネットワークが機能する原理の方式を図１に示す。いわゆる入力ニューロンが、隠れニューロン（hidden neuron）に接続されているニューラルネットワークの入力側に配置されている。各ニューロンは、外部信号の形態で、または他のニューロンからの出力として、一つ以上の重み付けされた入力を有している。正および負の重み付けが可能である。重み付けされた入力の合計は、順に他のニューロンを制御する出力値、またはネットワークの出力値として働く単一もしくは複数の出力値に、伝達関数を通じて伝達される。図１に示す隠れたニューロンは、出力ニューロンと接続されている。勿論、隠れニューロンの領域は、かなり複雑な構造を有し、複数段の内部結合レベル（interlinked level）で構成されていてもよい。特定の機能を有するすべてのニューロンを総括して、層、例えば入力層と呼称される。現在の技術水準で知られているニューラルネットワークの組織構造のうち、ｐｅｒｃｅｐｔｒｏｎ、Ｈｏｐｆｉｅｌｄ、ＫｏｈｎｅｎおよびＧｒｏｓｓｂｅｒｇのモデルのタイプだけを本明細書で述べる。トポロジー以外のネットワークの最も重要なパラメータは、ニューロンのベースポテンシャルと、ニューロン間結合の強度である。これらのパラメータを設定するため、代表的な訓練のセット（training set）をネットワークで何度も評価する。各評価サイクルの後、重み付けとベースポテンシャルは変更され、新たに設定される。この繰返しは、平均の誤まり率が予め決められた最小値より小さい値に低下するか、または予め決められた問題に関連する停止基準に到達するまで実施される。試験のセット（test set）もまた、トレーニングの規準としての目的のために、繰返し評価される。本発明は、特に、異なるタスクを有するいくつものニューラルネットワークを使用することを特徴とするものである。ニューラルネットワークで分析する場合、ディジタル化された画像を、好ましくは同じ大きさの接続しているセグメントに分割し、得られたセグメントを、ネットワークで別個に評価する。検査される試料は、第一に、タイプによって分類することが重要である。これはオペレータが実施してもよく、または試料のディジタル化画像をニューラルネットワーク（ＮＮα）で検査してもよい。本発明の方法では、試料の画像が第一に記録され、次に、個々の画像点が、その画像のディジタル化信号に割り当てられる。得られた画像点は、接続したセグメントに割り当てられ、そのセグメントは別々に評価される。これらのセグメントは、セグメントのディジタル化画信号を入力ニューロンに送ることによって、ニューラルネットワークＮＮ_βiで検査される。第一タイプのニューラルネットワークＮＮ_βiの場合、そのニューラルネットワークは、細胞、細胞複合体、組織の一部、またはアーチファクト（artifact）構造体がそれぞれのセグメント内に存在しているかどうかを検査する。代わりにまたは追加して、試料の組織が上皮、内皮、結合組織または筋系であるかどうか、または体液が存在しているかどうかを検査するニューラルネットワークＮＮ_β ₂ によってさらに分析を行うことができる。さらに、細胞または細胞複合体がそのセグメント内に存在しているかどうかを検査する第三のニューラルネットワークＮＮ_β3による分析を行うことができる。最後に、それぞれのセグメントの周縁から突出している細胞被写体を検出する第四のニューラルネットワークＮＮ_β4による追加の検査を行うことができる。この場合、全細胞被写体が分析される。細胞被写体が、画像がすでに記録されている他のセグメント中に延出している場合、その細胞被写体は、それがこれらセグメントの中の一つの中に完全に入るような方式で新しいセグメントを作ることによって検査することができる。しかし、細胞被写体が、ビデオシステムによって記録されている画像から突出している場合、細胞被写体を完全に包含する別の画像を記録する必要がある。一つの検査で、上記諸分析のうちの一つだけを利用するか、または適切な方式で互いにネットワークを組み合わせることができる。しかし、一試料に対し、前記４種のすべてのニューラルネットワークを使用することが有利である。本発明の方法では、これらセグメントは、１種以上のニューラルネットワークＮＮ_γiでさらに分析され、試料のタイプに属していない細胞型が存在しているか、または細胞もしくは組織が構造的に変化している場合、病的であると分類される。異種の細胞型または構造の変化があるかどうかを検査するため、試料のタイプを分析に組み入れることが重要である。特に、試料のタイプの知識に基づいて、ニューラルネットワークＮＮ_γiを選択することが有利である。その結果、例えば、実際に存在する各タイプの試料に対するニューラルネットワークであって、試料の特定のタイプに対して訓練されたネットワークのセットを提供することが考えられる。ニューラルネットワークＮＮ_γiでセグメントを分析するのに、一つ以上のネットワークを使用するかどうかは、それぞれの問題の複雑さによって決まる。それぞれの試料が異常であると分類されたならば、異常が見られた、それぞれの単一もしくは複数のセグメントの画像をより大きい倍率で記録して検査する追加の検査を行う方が好ましい。この新しい記録はすでに述べたように再び分割し、次いでニューラルネットワークＮＮ_γiをすでに実施したように低分解度（low resolution）で利用する。最後に、ニューラルネットワークＮＮ_γiを用いてより大きい倍率で記録を行い、次いで該ネットワークは、試料のタイプに属していない細胞型が存在しているかどうか、または細胞／組織の構造的変化があるかどうかを再び検査する。この場合、低倍率で得た画像で行った診断が確認される。高倍率の画像をモニターに直接示して熟練オペレータが視覚で分析できるように計画することもできる。すでに述べた方法に加えて、本特許願の課題は、３種のタイプのニューラルネットワークによる分析を有効な方式で実施できる方法を示す別の自動顕微鏡検査法である。すでに述べた方法と以下に述べる方法は互いに組み合わすこともできる。上記方法は、より総合的に、図５の流れ図に示してある。本発明の第二の方法では、第一ニューラルネットワークは、細胞被写体が、このニューラルネットワークの入力層に割り当てられたセグメント内に位置しているかどうかについて、ビデオシステムのディジタル化信号を分析する働きをする。この第一ニューラルネットワーク（ＮＮ_A）は、好ましくは、各出力ニューロンが入力フィールドの１６×１６の画素画像に割り当てられる構造を有している。したがって、これは、５１２×５１２画素を有するＣＣＤカメラ用の３２×３２の出力フィールドになる。ニューラルネットワークＮＮ_Aおいて、およびＮＮ_B とＮＮ_Cにおいても、ディジタル化画像点が、各場合、入力ニューロンに割り当てられる。各場合の本発明のニューラルネットワークは、１セグメント当たり単一の出力ニューロンを有していることが好ましい。望ましい情報をこれら出力ニューロンから簡単な方式で読みとることができるならば、１セグメント当たりいくつもの出力ニューロンを有するＮＮを使用することも勿論可能である。この第一ネットワークのタスクは、細胞被写体が、どのセグメント内に位置しているかを決定することである。この分析を行うには、使用されるニューラルネットワークを適切に訓練する必要がある。特に、そのネットワークによって後に分析されることになっているのと同じタイプの試料を用いてそのニューラルネットワークを訓練することが有利であることが分かった。望ましい作動を達成するために行うニューラルネットワークの訓練は、現在の技術水準でよく知られているので、ここではこれ以上詳細には説明しない。分析の結果、細胞被写体がどのセグメント内に存在しているかという情報が得られる。これは、各セグメントに割り当てられている単一もしくは複数の出力ニューロンの活動によって得られる。細胞被写体が検出されたこれらセグメントは、それぞれのセグメントのディジタル化信号をＮＮ_Bの入力ニューロンに送り、かつ好ましくは一つの出力ニューロンを、その活動が、個々の細胞もしくは細胞複合体がそれぞれのセグメント内に存在しているかどうか示す各セグメントに割り当てることによって、第二ニューラルネットワーク（ＮＮ_B）で分析される。また、この用途に対して適切なニューラルネットワークは、既知の組成の試料で訓練することによって得ることができる。ニューラルネットワークＡと同様に、この場合も、同じタイプの試料で訓練することが有利である。ニューラルネットワークＡによって、細胞被写体がセグメント内にすでに検出されたセグメントのみをニューラルネットワークＢで分析するという方法は、評価しなければならないセグメントの数を大きく減らすことができて、計算時間が節約されるという利点がある。したがって、この方法は、ごく少数の細胞被写体しか画像中に存在しないとき（まれな事象の検出）に特に有利である。さらに、本発明の方法の信頼性を得るには、細胞被写体が、画像の境界に位置しているかまたはごく一部分だけ画像内に含まれているかを検査する必要があることが分かった。これを排除するため、画像の境界に位置しかつ細胞被写体が見出されたセグメントを分析する第三のニューラルネットワーク（ＮＮ_c）を使用する。ニューラルネットワークＣによって、特定のセグメント内の画像境界に細胞被写体が存在するかどうかの情報が得られる。この場合、細胞被写体が完全に包含されている試料の別の画像が記録される。この場合、自動顕微鏡が、試料とレンズが横方向に逆方向へ移動するように、評価コンピュータによって操縦される。この操縦は、例えば、電動機で駆動されるクロステーブルで達成される。分析ステップをニューラルネットワークＮＮ_A、ＮＮ_BおよびＮＮ_Cで実施した場合、細胞被写体が検出されたセグメントは高い倍率で再び記録される。この方式で得られた画像は、例えば、オペレータによって目視で分析できる。しかし、これらの記録は別のニューラルネットワーク（ＮＮ_D）で評価することが有利である。このネットワークは、試料が病的であるとみなすことができるかどうかを分析する。ニューラルネットワークの樹木状接続部および交差部で起こる分類方式と評価方式は、正常な試料と病的な試料を分類するのに用いることができる理想的な分類規準になる。したがって、上記システムを利用中に、ノウハウのデータベースが成長する。局部的に（すなわち個々のシステムに）生じる各種の上記データベースは接合されて基準データベースが得られる。評価する専門家は、彼自身が検査するのに用いる基準として、この基準データベースから、正常試料また病的試料を提供される。以下の有利な実施態様は、前記両検査法に関する。本発明の方法の特徴は、どのステップでも、顕微鏡は個々の細胞または構造に焦点を合わせないということである。焦点を合わせることは、試料の適切な層の画像を記録する場合にしか必要でない。細胞を診断する自動画像分析に用いる現在の技術水準で知られている方法は、細胞または細胞集合体の位置を局限し、これらを、形態計測パラメータと写真濃度パラメータについて分析する方法である。したがって、本発明の方法が、個々の被写体に焦点を合わせなくても、高い確実度で病的な構造変化を検出できることは驚くべきことである。ビデオシステムがその細胞または細胞群に焦点が合わされていない試料のいくつもの層の画像を記録することが特に有利であることが分かった。各種の層が重なっているセグメントからの情報を組み合わせてより正確な分析を行うことができる。試料のタイプを分類することは有利であるとすでに述べたが、これは、適切なニューラルネットワークがこの情報に基づいて選択できるからである。したがって、評価コンピュータは、各種の試料のタイプに適応した多数の各種のニューラルネットワークを自由に利用できる方が好ましい。試料のタイプが分かっている場合、適切なニューラルネットワークを、本発明の方法の評価ステップに自動的に使用できる。試料自身の分類は、起源によって分類するユーザが実施してもよく、または、各種試料のタイプを互いに区別するため特殊化されている別のニューラルネットワークを使用してもよい。日常的に使用するため、試料のタイプについては、試料が置かれているスライドガラスに標識を付ける（例えばバーコードで）ことが好ましい。この情報は、（例えばバーコードリーダで）、検査手順が始まる前に読み取ることができるので、この情報は、評価コンピュータに転送されて適切なニューラルネットワークを選択に利用することができる。顕微鏡が作動する倍率は、ニューラルネットワークＮＮ_A、ＮＮ_BおよびＮＮ_C を用いるステップの場合、３０〜２００の範囲内であり、好ましくは約１００である。細胞被写体が検出されたセグメントを分析するための高倍率での記録は、２００〜６００の倍率、好ましくは約４００の倍率で実施する。各入力ニューロンが１６×１６の入力フィールドを割り当てられるニューラルネットワークＮＮ_AとＮＮ_Bを使用すると、実際に有利であることが分かった。また、上記の方法は、その方法で、組織試料の三次元顕微鏡検査を実施できるような方式に改変することもできる。この場合、切片は、上記方法で各々検査される組織試料から調製される。この目的を達成するため、切片は、分析が完了した後、評価結果を試料中の元の部位に割り当てることができるように規定された方式で調製される。組織切片は、その断面が互いにほぼ平行なものを用いることが好ましい。組織試料のこのような検査は、現在の技術水準の手作業による、または部分的に自動化された方法では不可能であった。この三次元の特に好ましい実施態様では、これら切片は、２種類以上の調製法で標識化される。例えば、第一切片はヘマトキシリンで標識化し、次の切片を免疫組織化学的標識で、そしてその次の切片をｉｎｓｉｔｕハイブリッド形成法で標識化することができる。その次の切片を再びヘマトキシリンなどで標識化してもよい。いくつもの切片および標本から得たデータが論理的に統合されたならば、これらの三次元標本の分析結果は、４Ｄスライドマップ（4D slide-map）に対応させることができる。同じ効果は、生検試料の切片を代わりに、例えば、異なるエピトープ特異性を有する抗体および蛍光標識を用いるいくつもの標識化法で調製するときにも得られる。個々のＲＧＢ画像成分を選択することによって、試料のいくつもの三次元顕微鏡画像を得ることができる。この場合の各蛍光の波長は、他の試料特性に対応している。４Ｄスライドマップは、医師が、試料のトポロジーと細胞の特性（標識のタイプ）について調べることができるデータを論理的に統合することによって形成される。個々の画像のデータセットをぼかしたりまたはマスクすることによって、試料の各種の画像を選択することができる。これは、診断の仮説を立証または反証する場合、システムのユーザを著しく助ける。上記スライドマップのその外の用途は、そのマップから、適切なソフトウェアモジュールで各種の画像を作る用途である。これによって、観察者は、試料を各種の空間方向から見ることができる。このことは特に重要である。なぜならば、特に病的な試料中の各種細胞型は均一に分散していなくて局部的に集まって存在している傾向があるので、前記方法で位置を確認しやすいからである。本発明の方法の使用を、さらに、下記の用途実施例によって説明する。血液学的な細胞のタイプの分類血液学的な細胞のタイプの分類における主なタスクは以下のとおりである。定量的または定性的な血球数の測定、および例えば白血病とリンパ腫のような悪性の血液学的疾患の検出と区別である。この分析を行うため、血液塗抹または胸骨の穿剌塗抹を先に述べた方法で調製し、次に本発明の方法で評価する。この用途では、選択されたセグメントが全細胞を含有していなければならないということは無条件に必要なわけではなく、実際に、セグメントが細胞の一部しか含有していないときもそのセグメントを評価することができる。この用途で、色は重要な情報源であるから、画素の色情報は、ＲＧＢ（赤−緑−青）系またはＨＳＩ（色相−彩度−強度）系で分析することが好ましい。尿沈渣の検査尿沈渣を検査する場合、より定性的な診断が必要である。尿沈渣が大細胞（円柱状）の場合、これら細胞を高い信頼性で検出することが最も優先されるが、赤血球の場合は、その数の方が重要である。組織学的検査組織学の試料は、現在、臨床上の問題によって、非常に異なる方法で分析されている。手術室からの組織試料は、例えば、試験結果が手術の手順を進行させるのに重要な場合、迅速法で分析される。第二のタイプの試料は生検によって得られる試料である。この場合、試料は、内視鏡的超音波検査またＸ線断層撮影検査を行っている際、体内にソリッドマス（solid mass）が検出された場合、生検針で採取するかまたははさみで切り取る。このような試料の分析には一般に約１週間掛かる。第三のタイプの試料は、手術中に採取されるが、直ちに分析することはない。第四のタイプの試料は、識別して診断することが困難な試料であり、診断センターに送られる。この場合、組織学上の試料または生検試料を直接分析することに加えて、ＤＮＡステインと免疫組織化学ステインも考慮する。これらの試料は非常に異なっているので、この用途の場合、それぞれのタイプの試料に対して適切なニューラルネットワークを選択することが特に重要である。最終の分析を実施するネットワークは、このタイプの組織中に通常存在している構造体と、異常な変化が原因で存在しているかまたはこの種の試料中には通常存在していない構造体に起因している構造体とを区別する。起こりうる症例のタイプが非常に異なるので、ニューラルネットワークが、異常であると認識された構造体を局限し、そしてその構造体をディスプレイでオペレータに表示して別の分析を実施できるようにする分析法が好ましい。一方、この場合、起こりうる症例の形態に適合した特異的な診断ニューラルネットワークを使用することもできる。免疫組織化学的検査免疫組織化学反応によって特異的な診断が容易になり、かつ病後の経過が見通しやすくなる。現在、各種の免疫組織化学的評価法がある。細胞懸濁液の場合、フローサイトメトリーを使用できるが、この評価に用いる信頼性の高い腫瘍マーカーまたはマーカーパターンまでは入手できない。テレビ画像サイトメトリーによって、個々の細胞の免疫組織化学反応を、定性的のみならず定量的に測定することも可能である。組織学的試料は、現在まで引続いて、顕微鏡で手作業によって測定されてきたが、染色された標本および各種抗体で標識した標本を得るのに要する時間は５〜３０分間である。免疫化学反応の強さは、“＋”または“＋＋”または“＋＋＋”のマークで表される。特定の腫瘍の場合、正の核反応と細胞質反応が区別される。ニューラルネットワークに基づいたシステムは、特定の抗体で染色された標本の画像を、画像セグメントに分割し、これらの画像を陽性の反応があるかどうかについてチェックする。そのニューラルネットワークは、メーカーが訓練することが好ましく、各試験法に対し特別の訓練を行わねばならない。解決すべき問題の困難度によって、例えば異なる試験法に対していくつもの構造が異なるニューラルネットワークを使うこともできる。分析システムが、バーコードまたは手作業プログラミングを通じて、現在要求されている試験法を受ける場合、適当なネットワークのタイプと有効なネットワークパラメータが自動的に選択される。そのネットワークは、画像セグメントに対してｙｅｓ／ｎｏの決定だけをしていればよいので、分析は極めて迅速に進行する。免疫組織科学的評価は、試料を特定の抗体で染色した後、ニューラルネットワークで実施することができる。試料の画像は各種の画像セグメントに分割され、これらセグメントは、抗体との陽性の反応についてチエックされる。この用途では、各試験法に対して特定のニューラルネットワークを訓練することが重要である。解決すべき問題の困難度によっては、異なる試験法に対していくつもの構造が異なるニューラルネットワークを使用することもできる。特にこの用途では、現行の試験法を、バーコードまたは手動のプログラミングを通じて分析システムと連通させて、その分析に適切なニューラルネットワークを使用できるようにすることが有利である。ｉｎｓｉｔｕハイブリッド形成法ｉｎｓｉｔｕハイブリッド形成法は、特定のＤＮＡセグメントを検出するのに役立つ。この方法では、細胞ＤＮＡがまず変性され、次いで標識化システムを備えたＤＮＡプローブが添加される。反応が完了した後、細胞がプローブを取り込んだかどうかを確認し、次にプローブをいくつ取り込んだかを確認する。最も重要なタスクは、標識をつけて、反応を分析することである。試料を自動的に調整する装置が開発されつつあるので、反応の分析の自動化に関心が増している。ニューラルネットワークによって、第二の作業集約的ステップ（work-int ensive step）すなわち画像分析を簡略化しかつ短時間で実施することができる。さらに、この分析は、いくつものステップで、定性的（陽性／陰性）のみならず半定量的にも実施できる。実施例１：ニューラルネットワークＡによる分析図２はスライドガラス上に置かれている被分析被写体の画像を示す。この画像は電子メモリに読み取られてさらに処理される。図３は、ＸＹ面に置かれた試料被写体の光強度分布をＺ軸方向に示す。ここに示した単色強度の測定の代わりに、赤、黄および青の色の強度を測定して、それを、その後の分析の基準として利用することが有利である。図３に示す強度分布の分析結果を、図４に図式的に示してある。強度分布の上方に画かれているラスタは、画像がセグメントに分割されている分画を示す。ニューラルネットワークは、ここのセグメントを分析し、組織試料がそれぞれのセグメント内に存在しているかどうかをチェックする。その後の検査では、これらの画像セグメントだけが検討される。実組織の試料の場合、強度の情報を、ニューラルネットワークを用いて、異常について、さらに検討する。このような異常が見出された画像セグメントは、脈管被写体、ニューロン複合体および直接の病理変化を区別できる別のニューラルネットワークで分類される。上皮／内皮器官の場合、ニューラルネットワークは、被分析被写体が結合組織、筋系、上皮または内皮を含有しているかどうかを分析する。別のニューラルネットワークは、侵襲性過程を検出するため上皮と結合組織の境界を分析する。さらに別のニューラルネットワークを使用して、結合組織が上皮／内皮の細胞島を含有しているかどうかを検査することができる。その外のニューラルネットワークは、脈管複合体またはニューロン複合体についてセグメントを検査することができる。実施例２：ニューラルネットワークによる組織型の区別試料の顕微鏡画像の作成この実施例では、胃の生検で得た試料を検査する。試料の大きさは３ｍｍ×８ｍｍであり、ヘマトキシリン−エオシンを染色に使用する。ＺｅｉｓｓＡｘｉｏｐｌａｎ２ＭＯＴ顕微鏡を用いて自動的に写真をとり、ＯｌｙｍｐｕｓＢＨ２顕微鏡を用いて、手作業でその写真を記録する。Ｇｒｕｎｄｉｇ１／２ ″ＣＣＤカメラを用いてカラー写真をとるが、これは黒／白画像もとることができる。あるいは、“Stemmer Datentechnik”製のカメラを使用することもできる。データ圧縮なしでは、４０μｍ×４０μｍの画像部分に対し約１Ｍｂｙｔｅのメモリ容量が必要であるが、ＪＰＥＧ仕様の圧縮によって、メモリの必要性は、画像情報を著しく損失することなしに、約１０〜２０％まで減らすことができる。これら個々の画像は、全セグメントにわたって画像の内容を電子的に検査することができるような方式で記憶される。ニューラルネットワークによる決定木のシミュレーションニューラルネットワークＡは、すべての部分的画像を、生物学的物質が存在しているかどうかチェックして、“空の”セグメントはすべて廃棄／消去する。この分析結果によって、組織試料の位置がプロットされているスライドガラスの区分された“マップ”が得られる。このスライドマップはコンピュータに記録され、その後の検査と分類に対する基準として役立つ。ニューラルネットワークＢは、これらセグメントが上皮を含有しているかどうかを検査するのに使用される。評価結果が陽性の場合、決定木が“ニューラルネットワークＢ１とＢ２に分枝する。ネットワークＢ１は、他の組織型も存在しているかどうか、および上皮の境界領域が存在しているかどうかをチェックする。ネットワークＢ２は、上部と下部の上皮領域を区別する。上皮が存在しない場合、ニューラルネットワークＣが、セグメントが結合組織または筋系を含有しているかどうかをチェックする。画像セグメントのその後の検査は、ニューラルネットワークＤとＥによって行われる。ネットワークＤは、病的細胞または病的細胞群を有する上皮を探索する。ネットワークＥは、上皮島を含有しているどうかについて結合組織のセグメントをチェックする。個々の分析の要約個々の分析結果は、段階的にスライドマップに入れられ、医師は決定基準として利用できる。可視化するため、各種の組織型を、異なる色で表す。例えば、上皮を緑色、結合組織を黄色、筋系をオレンジ色で示し、病的領域を赤で表す。この表示の利点は、各種の組織型を区別するのに加えて、それらのお互いの相対的な大きさと位置を見ることもできることである。適当な分析用具によって、さらに、マウスクリックによって、スライドマップ上に、画像セグメントを直接呼び出すことができる。実施例３：ニューラルネットワークによる増殖中の細胞の検出試料の顕微鏡画像この実施例では、ヘマトキシリンで染色した胃の生検由来の標本を、ＰＣＮＡ抗体系を用いて検査する〔この抗体は増殖細胞各抗原（proliferation cellular nuclear antigen）に対する抗体であり、アビジン−ビオチン−ペルオキシダーゼ系で標識されている〕。陽性の反応性を有する細胞核は薄い褐色に染色され、そして陰性の反応性の細胞は薄い青色になる。画像セグメントの自動記録を、実施例２に記載したのと同様にして実施する。黒／白の画像およびＲＧＢの３色成分を提供するＧｒｕｎｄｉｇカメラ８３０Ｉを使用する。ニューラルネットワークによる決定樹のシミュレーション黒／白の画像に基づいて、ニューラルネットワークＡは、どのセグメントが上皮由来であるかをチェックする。これらセグメントは、次に、陽性染色を呈する中心があるかどうかについてニューラルネットワークＢによって検査される。個々の分析の要約これら分析の結果はスライドマップに入れられ、例えば、ポジティブの上皮領域は褐色でありネガティブの上皮領域は緑色であり、上皮なしの領域は黄色である。腫瘍の転移は、スライドマップで、迅速にかつ高い信頼性で検出することができる。実施例４：標本中の組織型の空間分布規定の距離を置いていくつもの平行な切片を生検試料から採取する。試料の作製、画像の記録、および各種のニューラルネットワークによる分析を、実施例３に記載したのと同様にして実施する。分析は、個々の切片のデータが論理的に総合され、集められた生検試料の三次元の表示が、延長された分析プログラムによって得られるように実施する（３−Ｄスライドマップ）。

───────────────────────────────────────────────────── フロントページの続き (72)発明者アルベルト、ビンフリードドイツ連邦共和国、デー―82390 エベルフィング、ハウプトシュトラーセ 16アー

Claims

【特許請求の範囲】 1. 自動顕微鏡、ビデオシステム、およびニューラルネットワーク（ＮＮ）を備えた評価コンピュータを用いて行う、スライドガラス上の生体組織の試料または体液の試料の自動顕微鏡検査方法であって；下記ステップ、すなわちａ）試料の画像を上記ビデオシステムで記録し、次いでディジタル化信号を個々の画像点に割り当て、ｂ）試料のタイプを分類し、ｃ）上記画像点を接続したセグメントに分割し、次いで、そのセグメントのディジタル化画像信号を１種以上のニューラルネットワーク（ＮＮ_βi）の入力ニューロンに送ることによって、１種以上のニューラルネットワークＮＮ_βiで各セグメントを分析し、ｄ）１種以上のニューラルネットワークＮＮ_γiでセグメントを分析して、試料のタイプに属していない細胞型が存在しているか、または構造細胞／組織の変化が存在している場合、病的であると試料を分類する、ステップを含んでなる生体組織の試料または体液の試料の自動顕微鏡検査方法。 2. 試料のタイプがニューラルネットワークＮＮ_αによって分類される請求の範囲第１項記載の方法。 3. 細胞、細胞複合体、組織の部分またはアーチファクト構造体がそれぞれのセグメント内に存在しているかどうかを検査するニューラルネットワークＮＮ_βi を用いる請求の範囲第１項記載の方法。 4. 試料の組織が、上皮、内皮、結合組織、筋系または体液であるかどうかを検査するニューラルネットワークＮＮ_β2を使用する請求の範囲第１項または第３項記載の方法。 5. 細胞または細胞複合体がセグメント中に存在しているかどうかを検査するニューラルネットワークＮＮ_β3を使用する請求の範囲第１項、第３項または第４項記載の方法。 6. 細胞被写体がそれぞれのセグメントの周縁を超えて突出しているときにそれを認識するニューラルネットワークＮＮ_β4を用い、そして、この場合、全細胞被写体が検査される請求の範囲第１項、第３項、第４項または第５項記載の方法。 7. ステップｄ）において、試料が病的であると分類された場合、それぞれの単一もしくは複数のセグメントの記録を高倍率で行い次いでステップｃ）とｄ）を再び実施する請求の範囲第１項記載の方法。 8. 自動顕微鏡、ビデオシステム、および少なくとも３種のニューラルネットワーク（ＮＮ）を備えた評価コンピュータを用いて行う、スライドガラス上の組織の試料または体液の試料の自動顕微鏡検査方法であって；下記ステップ、すなわちａ）試料の画像を上記ビデオシステムで記録し、次いでディジタル化信号を個々の画像点に割り当て；ｂ）上記画像点を対応したセグメントに分配し、次いで、そのセグメントのディジタル化画像信号を第一二ューラルネットワーク（ＮＮ_A）に送り、そしてその活動が、細胞被写体がそれぞれのセグメント内に存在しているかどうかを示す少なくとも一つの出力ニューロンを各セグメントに割り当てることによって、第一ニューラルネットワークＮＮ_Aで各セグメントを分析し、ｃ）細胞被写体が検出されたセグメントのディジタル化画像信号を各場合に第二ニューラルネットワーク（ＮＮ_B）の入力ニューロンに送り、そしてその活動が、個々の細胞または細胞複合体がそれぞれのセグメント内に存在しているかどうかを示す少なくとも一つの出力ニューロンを前記検査された各セグメントに割り当てることによって、第二ニューラルネットワークＮＮ_Bで前記検査された各セグメントを分析し、ｄ）画像の境界に位置しかつその中に細胞被写体が見出された各セグメントのディジタル化信号を第三ニューラルネットワーク（ＮＮ_c）の入力ニューロンに送り、そしてそのＮＮ_cが、細胞被写体が画像境界に位置しているかどうかの情報を提供することによって、第三ニューラルネットワークＮＮ_cで、前記各セグメントを分析し、ｅ）画像の境界に位置している細胞被写体がステップｄ）で検出された場合、完全な細胞被写体を含有する新しい画像を記録し、次いでステップｂ）とｃ）を再度実施し、ｆ）細胞被写体がステップｂ）で検出されたセグメントを高倍率で記録する、ステップを含んでなる方法。 9. ステップｆ）で記録された画像を別のニューラルネットワーク（ＮＮ_D）で分析し、そしてそのＮＮ_Dが、試料が病的であるかどうかの情報を、出力として与える請求の範囲第８項記載の方法。 10 .ビデオシステムが、少なくとも二つの層内の試料の画像を記録し、そのビデオシステムが細胞または細胞群に焦点を合わせない請求の範囲第１項または第８項記載の方法。 11 .試料をさらにそのタイプについて分類し、次に、この情報を、試料が病的であるかどうかを決定するときに考慮する請求の範囲第９項記載の方法。 12 .同じタイプの病的でない試料中には存在していない細胞、細胞複合体または細胞間構造体が存在している場合、その試料は病的であると認識される請求の範囲第９項または第１１項記載の方法。 13. 試料のタイプがオペレータによって分類される請求の範囲第１１項記載の方法。 14. 試料のタイプが別のニューラルネットワークによって分類される請求の範囲第１１項記載の方法。 15. 予め決められたネットワークパラメータを有する特定タイプのネットワークを、試料の分類に基づいてＮＮ_D用に選択する請求の範囲第１１項記載の方法。 16. 適切なニューラルネットワークＮＮ_BiすなわちＮＮ_A、ＮＮ_BおよびＮＮ_cを、分類に基づいて選択する請求の範囲第１項〜第６項および第１１項のいずれか一つに記載の方法。 17. 組織の切片を試料として使用し、検査を始める前に、これら試料を、免疫組織化学的染色法で染色するかまたはｉｎｓｉｔｕハイブリッド形成法で染色して、分析を上記染色に基づいて実施する請求の範囲第１項または第８項記載の方法。 18. ステップａ）の第一画像を３０〜２００の倍率で記録し、そしてステップｅ）の第二画像を２００〜６００の倍率で記録する請求の範囲第７項または第８項記録の方法。 19. 第一画像を約１００の倍率で記録し、そして第二画像を約４００の倍率で記録する請求の範囲第１８項記載の方法。 20. １６×１６の入力フィールドが各出力ニューロンに割り当てられているＮＮ_Aを用いる請求の範囲第８項記載の方法。 21 .ビデオシステムが、４４０，０００画素のＣＣＤアレイを備えたＣＣＤカメラである請求の範囲第８項記載の方法。 22. 正常なタイプの試料中には存在しない、器官由来の細胞を含有する画像セグメントを探索する請求の範囲第９項または第１１項記載の方法。 23. 個々の細胞または細胞複合体に焦点を合わせない請求の範囲第１項または第８項記載の方法。 24. 組織の試料の二つ以上の切片を互いに規定の空間配置で調製する、組織の試料の自動顕微鏡検査法であって；請求の範囲第１項または第８項記載の方法を、各試料切片について実施し、得られた分析結果を総合して三次元の画像を形成させる方法。 25 .二つ以上の切片に、異なる方法を用いて標識を付ける請求の範囲第２４項記載の方法。 26. 組織の切片に含まれているＤＮＡまたはＲＮＡを、ステイニングを行う前に増幅する請求の範囲第１７項記載の方法。