JPH02271836A - Ｘ線画像認識方法及びその表示装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、カテーテル検査を行なう場合のＸ線診断装置
のモニタの画像表示に関し特にカテーテルのマーカーを
自動認識するＸ線画像認識方法及びその表示装置に関す
る。

（従来の技術） Ｘ線血管造影撮影を行なうＸ線診断装置においては、Ｘ
線透視像に血管を重ね合せるともに、この血管内のカテ
ーテルの進行方向を明瞭に画像表示できるＸ線画像認識
表示装置か備えられている。前記カテーテルすなわち先
端部付近に少なくとも１つ以上のＸ線不透過性の物質を
設けた例えば線状物体の画像を得るには、次のようにし
て行なわれる。

まず被検体の血管にカテーテルを挿入し、且つ造影剤を
注入する。そしてＴＶモニタに透視されたＸ線透視像を
見ながら、血管の内部を前記カテーテルが進行するよう
に操作する。しかし、Ｘ線透視像には血管の内部が映ら
ないため、カテーテルが血管の内部を進行しているにも
かかわらず、操作がしにくい。

そこで造影剤をカテーテルの先端から注入すると、これ
からカテーテルが進行すべき血管が造影される。そして
血管が最も良く染まった画像と造影剤を注入する前の画
像とを減算すると、背影は除去され、血管のみの画像が
表示系に得られる。

さらにその血管画像とＸ線透視像とを加算しすなわち重
ね合せると、血管が映った透視像が得られる。

またカテーテルの先端部は、図示しない画像入力装置に
より読み取られてディジタル信号に変換され、この信号
は画像メモリに一旦記憶される。

そして画像データはカテーテルの先端部を認識するため
のマーカ自動認識回路に入力し、ヒストグラム演算回路
により最小値が検出され、スレッシホールドレベル設定
回路により閾値が設定される。

さらに２値化処理回路により前記画像メモリからの画像
データをスレッシホールドレベル設定回路からの閾値で
２値化処理してブレーンメモリに記憶した後、表示シス
テムにカテーテルのマーカを表示する。

（発明が解決しようとする課題） 然し乍ら、従来のＸ１１画像認識方法及びその表示装置
にあっては、次のような問題がある。すなわち上述した
装置にあっては、閾値で画像データを２値化処理してい
るものの、局所的にカテーテルを認識処理していないた
め、カテーテルを適確に認識できなかった。つまりカテ
ーテルのマーカの自動認識に関する方式が不充分であり
、カテーテルの認識が困難であった。

そこで本発明の目的は、カテーテルのマーカーをＸ線画
像上で自動認識し、マーカを強調して表示でき、適切な
診断情報を得るＸ線画像認識方法及びその表示装置を提
供することにある。

［発明の構成］ （課題を解決する為の手段） 本発明は上記の課題を解決し目的を達成する為に次のよ
うな手段を講じた。すなわち本発明は、先端部付近にＸ
線不透過性の物質を設けた線状または管状の物体をＸ線
透視・撮影した際に得られるＸ線画像中の画素濃度の最
小値を検出し、この検出された画素濃度の最小値に基き
画素濃度の閾値を設定し、前記Ｘ線画像中の画素濃度を
前記閾値で２値化処理して２値画像を作成し、この２値
画像から所定の大きさの領域を単位とする画像を切出し
、この切出した２値画像を予め定められた標準の２値画
像と比較することにより、前記Ｘ線不透過性の物質の有
無を認識するようにしたものである。

また先端部付近にＸ線不透過性の物質を設けた線状また
は管状の物体をＸ線透視・撮影した際に得られるＸ線画
像中の画素濃度の最小値を検出する検出手段と、この検
出手段により検出された画素濃度の最小値に基き画素濃
度の閾値を設定する設定手段と、前記Ｘ線画像中の画素
濃度を前記設定手段から入力する閾値で２値化処理して
２値画像を作成する処理手段と、この処理手段から入力
する２値画像から所定の大きさの領域を単位とする画像
を切出し、この切出した２値画像を予め定められた標準
の２値画像と比較する画像認識手段とを備え、前記Ｘ線
不透過性の物質の有無を認識するようにしたものである
。

また複数枚の標準の２値画像を画素の組合せによる特徴
によって記憶し、切出し画像の画素の組合せと比較する
ことによりＸ線不透過性の物質の有無を認識するもので
ある。

また複数枚の標準の２値画像を大規模なニュラル・ネッ
トワークにより学習し、この学習結果に基き対応するニ
ュラル・ネットワークを実装し切出し画像を前記実装し
たニュラル・ネットワークに入力して前記切出し画像に
おけるＸ線不透過性の物質の有無を認識するものである
。

（作用） このような手段を講じたことにより、次のような作用を
呈する。２値画像から所定の大きさの領域を単位とする
画像を切出し、この切出した２値画像を予め定められた
標章の２値画像と比較することにより、Ｘ線不透過性の
物質を強調して表示できる。その結果、例えばカテーテ
ルのマーカの有無を認識でき、マーカーをＸ線画像上で
リアルタイムで表示できるので、適切な診断情報が得ら
れる。

また複数枚の標準の画像の組合せを記憶した特徴画像と
１ビツトメモリからの切出し画像の画素の組合せとが簡
単に比較できるので、時間が短縮できるとともにメモリ
容量が少なくて済む。

さらにニュラル・ネットワークの学習によりカテーテル
のマーカを典型的な標準画像と照らし合せてパターンの
類似度を判定するので、マーカを強調して表示できる。

（実施例） 第１図は本発明に係るＸ線画像認識方法を適用したＸ線
画像認識表示装置の一実施例を示す概略構成図である。

本実施例が特徴とするところは、画像認識部７およびブ
レーンメモリ１３を設けた点にある。同図において、画
像入力装置１は図示しないＸ線診断装置から画像データ
を入力しディジタル信号に変換するものである。画像メ
モリ２は、前記画像入力装置１から入力するディジタル
化された画像信号を記憶するものである。ゼーカ自動認
識回路２０は、検出手段としてのヒストグラム演算回路
３．設定手段としてのスレッシホールド設定回路４．処
理手段としての２値化処理回路５゜ブレーンメモリ６、
カテーテルのマーカを画像認識する画像認識手段として
の画像認識部７．ブレンメモリ１３を篩えて構成される
。前記ヒストグラム演算回路３は、前記画像メモリ２か
ら読出される画像濃度データのヒストグラムを計算し最
小値を検出する。スレッシホールドレベル設定回路４は
、前記ヒストグラム演算結果の最小値に基き閾値を設定
するものである。２値化処理回路５は、画像メモリ２か
ら入力する画像濃度データを前記スレッシホールドレベ
ル設定回路４から入力する前記閾値で０．１の値により
２値化処理するものである。ブレーンメモリ６は、前記
２値化処理回路５から入力する２値画像を記憶するもの
である。

画像認識部７は、ブレーンメモリＢから入力スル２値画
像から所定の大きさの領域を単位とした画像を切出し、
この切出し画像を予め定められた標・準の２値画像と比
較することにより、Ｘ線不透過性の物質を認識するもの
である。ブレーンメモリ１３は画像認識部７から入力す
る比較データを記憶するものであり、最初に全て０を書
込んでおく。

さらに表示システム１４は、マーカ自動認識回路２゜の
ブレーンメモリ１３から入力するマーカデータを表示系
に表示するものである。

第２図は前記画像認識Ｒ７の詳紐１を示すブロック図、
第３図は前記画像認識部７の作用を示すフロー図、第４
図はブレーンメモリ６と切出し画像との関係を示す概略
図である。第２図に示すように前記画像認識部７内の標
準画像記憶装置２１にはＸ線不透過性の物質と見なせる
２値画像を５×５のマトリックスで記憶しておく。また
画像認識部７は、前記標準記憶装置２１からの記憶デー
タを順次読出して切出し画像と比較するものである。

次にこれらの図面を参照してカテーテルのマーカのＸ線
画像認識方法及びその表示装置の作用について説明する
。まず第１図に示すように画像入力装置ｌに入力した画
像信号は、これによりディジタル信号に変換され、画像
メモリ２に一旦記憶され、マーカ自動認識回路２０に入
力する。そしてヒストグラム演算回路３により最小値が
検出され、この最小値に基きスレッシホールドレベル設
定回路４により閾値のみが設定される。さらに２値化処
理回路５により前記画像メモリ２からの画像濃度データ
をスレッシホールドレベル設定回路４からの閾値で２値
化処理してブレーンメモリ６に記憶した後、画像認識部
７に入力する。そうすると、第２図に示すようにブレー
ンメモリ６からの画像は切出し画像部２０により順次一
定の大きさの領域で切出される（ステップＢ）。すなわ
ち切出し画像部２０により第４図に示すように画像のマ
トリックスを２５６　Ｘ２５Ｂ　、切出し画像のマトリ
ックスを５×５、切出し画像のマトリックスはＸ線不透
過性の物質の大きさより少し大きくし、連続した大きな
物質と区別するために境界を“０”で囲むようにする。

ただし不必要に大きくすると認識率が落ちるので、物質
の大きさよりも少し大きく設定する。そして第４図に示
すようにブレーンメモリ６の左上を切出し、以降１ビク
セルづつ右にずらしていき、１列が終了したら、今度は
１ピクセル下にづらしていき、切出し画像を得る。

そして比較部２３により前記切出し画像を標準画像選択
装置２２からの標準画像と比較しくステップＣ）、Ｘ線
不透過性物質であるかどうかを判定する。そしてＸ線不
透過性の物質であれば、ブレーンメモリ１３にその形状
が書込まれる（ステップＥ）。したがって、ブレーンメ
モリ１３には最終的にＸ線不透過性の物質の形状が２値
画像として残る。　また画像中には画像ノイズを含んで
いるので、Ｘ線不透過性の物質とし認識される画像は、
実際に存在するＸ線不透過性の物質の数（１ないし２）
より多くなる。この場合には予め標準画像毎に付加され
ている優先度の高い方がブレーンメモリ１３に書込まれ
る（ステップＤ、Ｅ）。したがって、後から優先度の高
い方が検出された場合はその前の優先度の低い方を消去
して優先度の高い方を書込む。

このように記憶データを順次読出して切出し画像と比較
する方法によれば、Ｘ線不透過性の物質すわちカテーテ
ルのマーカが強調して表示システム１４に表示でき、適
切な診断情報が得られるので、術者の操作負担を軽減で
き、特に標準画像の枚数が少ない場合には有効である。

第５図は前記第１の実施例を変形した第２の実施例を示
す概略構成図である。この第２の実施例が特徴とすると
ころは、前記第１の実施例における標準画像の枚数が多
くなると切出し画像と標準画像との比較に時間がかかり
すぎるという問題を解決した点にある。第５図に示すよ
うにアドレス選択器２５は、２５ビツトからなるアドレ
ス２４を任意に選択できるものである。また前述した切
出し画像のマトリックスの画素を第６図のように配置す
ると、第７図（ａ）の画像の場合は第６図（ｂ）のよう
な２値画像となる。いまＸ線不透過性の物質と見なせる
標準画像を第７図（ａ）〜（ｄ）であるとする。また第
５図に示すように２５ビツトアドレス２４に対応して！
アドレス毎に１ビツトのメモリ２６を設けておく。この
メモリ２Ｂには第７図のパターンに合致したアドレスに
“１ｍが記憶され且つそれ以外には“０゛が記憶されて
いる。第６図に示すマトリックスを第５図に示すように
２５ビツトのアドレス２４と看做すと、アドレス選択器
２５により第６図（ｂ）の場合にはアドレス２６は２８
＋　２１３＋２１８−１３５１９となる。

したがって、切出し画像のマトリックスをアドレスと看
做し、１ビツトのメモリ２Ｇから例えば前記１３５１９
に対応する“ｌ”を読出すと、即座にこれを標準画像と
比較でき、しかも標準画像の枚数に関係なく一定の時間
で比較できる。その結果、この方法は切出し画像のマト
リックスが少ない場合に有効なものとなる。

第８図は本発明の第３の実施例の概略構成図である。こ
の第３の実施例が特徴とするところは、前記第２の実施
例における切出し画像のマトリックスが多くなると大き
なメモリ容量を必要とするという問題を解決した点にあ
る。

まず前述した第７図に示す標準画像の特徴を例ごとに見
ると、第１列は（ａ）〜（ｄ）とも全て０である。した
がって、′全でθ″と“それ以外”とに分けられる。第
２列の（ａ）は中央が“ｌ”で他は“０″である。（ｂ
）は右から２番目が“１′で他は′０″である。したが
って、４つのパターンすなわち００１００　、０００１
０　、０００００　。

０１０００に分けられる。

第８図に示すように第１列についてのみ第２の実施例と
同様の方法で標準画像との比較を行なうと、（ａ）に示
すようにアドレス２４ａのＹｌ〜Ｙ５が“全て０＃のと
きのみメモリ２Ｂから出力Ｚｌに“ｌ“が出力され、そ
の他のときは“Ｏ”が出力される。

第２列、第４列の場合にはパターンが５種類あるから、
（ｂ）に示すように３ビツトメモリ２８ｂによりＺ２を
出力する。同様にして他の例の出力を得、第１列〜第５
列まで出力される２１〜Ｚ５を第８図（ｃ）に示すよう
なアドレス２４ｃと着像して１ビツトメモリ２［ｉｃか
らのデータを読出す。

このメモリ２０ｃには、例えば第７図（ａ）の場合には
第１列からはＺｌ　−１、第２列からはＺ２−００１が
読出される。同様に２３−０１．　　Ｚ４−００１　。

Ｚ５−１となり、アドレス２４ｃは１ｏｏｉｏｔ口０１
１となり、つまり１ビツトメモリ２８ｃの５９５番地と
なる。

したがって、５９５番地は標準画像と一致するから、１
ビツトメモリ２６ｃに“ｌ”を記憶させておけば、２段
階のメモリ２６ｃ　、　２８ｂ　、　２８ｃを読出すだ
けで簡単に標準画像との比較を行なうことができる。ま
た１ビツトメモリであることからメモリ容量も少なくて
良い。また標準画像に合せて各メモリの内容をセットす
る操作は簡単な作業であり、プログラムを作成して実行
すれば、各メモリ２６ａ。

２Ｇｂ　、　２６ｃの内容を容易に得ることができる。

第９図は本発明の第４の実施例を示す概略構成図である
。第４の実施例が特徴とするところは、前記第３の実施
例を改良した点にある。すなわち第３の実施例は非常に
有効な方法であるが、標準画像との合致性を厳密に見て
いるという問題もある。これは長所でもあるが、その反
面全ての標準画像を決定しなければならない。しかし、
現実のＸ線画像はノイズ、散乱線を含む上、カテーテル
は３次元で動くので、２次元のＸ線画像では多くの形状
になってくる。また撮影の際の拡大率が異なるので、拡
大率に対する補正を行なったとしても、形状を一義的に
決めることが困難である。そこでＸ線不透過性の物質を
示す典型的な標準画像・と照らしあわせて、類似度を判
定する。

パターンの類似度の判定には手書き文字認識で用いられ
る複合類似度法が良く知られている。切出し画像と標準
画像の比較の方法として、第３の実施例の代りに複合類
似度法を用いても良いが、ここではニュラル・ネットワ
ークを応用した例について説明する。ニュラル・ネット
ワークの層の数は４層でも良いが、ここでは３層つまり
入力層３１、中間層３２．出力層３３の場合について説
明する。

また学習するニュラル・ネットワークと実装するニュラ
ル・ネットワークはかならずしも同一でなくても良い。

すなわち学習の段階では中間層の数、素子の関数、学習
の方式、学習のための係数、学習データ（標準画像）の
順序等の未知数を多く含んでいるため、大規模でかつ多
機能なニュラル・ネットワークを用いる。そして−度学
習が終了すれば、方法が固定されるから、比較的簡単な
ニュラル・ネットワークを組める。またその場合に学習
の機能が不要となるので、ネットワークを比較的簡単に
構成できる。ニュラル・ネットワークの学習方法は幾つ
か提案されているが、典型的なものはパックプロパゲイ
ジョン法である。ここではパックプロパゲイジョン法を
用いる。このパックプロパゲイジョン法によれば、まず
最初にＸ線不透過性の物質を示す典型的な標準画像とＸ
線不透過性の物質以外を示す典型的な標準画像を一定枚
数用意する。枚数はなるべく多いほうが良いが両者の枚
数は同じ数に揃える。

次にＸ線不透過性の物質を示す標準画像の１枚のマトリ
ックスの各画素（Ｙｌ−Ｙ２５）の値（画像を２値化し
ているので、（“０°または“１°）を入力層３１の素
子１〜２５の値に入力する。またこれと同時に出力層３
３に教師データＤとして“ｌ。

を与える。即ちＸ線不透過性の物質であることを教える
。このとき入力（Ｙｌ−Ｙ２５）からニュラル・ネット
ワークによって求まった出力（０〜ｌ）との教師データ
（１）との差（誤差）とに基き、パックプロパゲイジョ
ン法により、入力層３１と中間層３２、および中間層３
２と出力層３３との間のウェイト３４．３５を変更する
。

次にＸ線不透過性の物質以外を示す標準画像の１枚のマ
トリックスの各画素（Ｙｌ−Ｙ２５）の値（“０°また
は“Ｍ）を入力層３１の素子１〜２５に入力し、出力層
３３に教師データＤとして“ｌ゛を与え、Ｘ線不透過性
の物質以外であることを教える。さらに入力層３１と中
間層３２、および中間層３２と出力層３３との間のウェ
イト３４．、８５を変更する。

これを全ての標準画像について行ない、これを学習１回
と定義する。この学習１回ではウェイト３４、３５の変
更が充分でなく誤差が大きいので、同じ標準画像で学習
を誤差が少なくなるまで繰返す。

そして学習が完了するとＸ線不透過性の物質を示す標準
画像に対してはｌに近い値が出力され、Ｘ線不透過性以
外の物質を示す標準画像に対しては０に近い値が出力さ
れる。また標準画像以外の画像を入力（このときは教師
データを入力しないし、学習も行なわない。）した場合
にも、標準画像との類似度にしたがって、０〜ｌの中間
値を出力する。

Ｘ線画像中に存在するＸ線不透過性の物質の数は予めわ
かっているので、出力値の大きいものから、順次Ｘ線不
透過性の物質の数だけ選択すればよい。

学習完了後のウェイトを調べて、ウェイトの低いものは
認識に関与していないので実装する必要はない。ウェイ
トの高いものだけを実装すれば簡単になる。

なお本発明は上述した実施例に限定されるものではない
。前述した第４の実施例においては画像を２値化した例
について説明したが、ブレーンメモリ６に記憶する画像
は２値画像でなくても良い。

例えば第１０図に示すように、カーブｃｌはこれまで説
明した例の場合であり、最小値を閾値として２値化した
場合、カーブＣ２は最小値と最大値との間を０〜ｌの数
段階に変換した場合、カーブｃ３は最小値と最大値との
間を０〜ｌの連続量に変換した場合である。このように
原画像からブレーンメモリ七に記憶する画像への変換は
、画像認識の精度が向上する方法で行なえばよい。この
ほか本発明の要旨を逸脱しない範囲で種々変形実施可能
であるのは勿論である。

［発明の効果］ 本発明によれば、２値画像から所定の大きさの領域を単
位とする画像を切出し、この切出した２値画像を予め定
められた標準の２値画像と比較することにより、Ｘ線不
透過性の物質を強調して表示できる。その結果、例えば
カテーテルのマーカの有無を認識でき、マーカーをＸ線
画°像上でリアルタイムで表示できるので、適切な診断
情報が得られる。

また複数枚の標準の画像の組合せを記憶した特徴画像と
１ビツトメモリからの切出し画像の画素の組合せとが簡
単に比較できるので、時間が短縮できるともにメモリ容
量が少なくて済む。さらにニュラル・ネットワークの学
習によりカテーテル°のマーカを典型的な標準画像と照
らし合せてパターンの類似度を判定するので、マーカを
強調して表示し得るＸ線画像認識方法及びその表示装置
を提供できる。

【図面の簡単な説明】

第１図は本発明に係るＸ線画像認識方法を適用したＸ線
画像認識表示装置の一実施例を示す概略図、第２図は画
像認識部の詳細を示す図、第３図は前記画像認識部の作
用を示すフロー図、第４図は切出し画像を示す概略図、
第５図は第２の実施例を示す概略図、第６図は前記切出
し画像のアドレスを示す概略図、第７図はカテーテルの
パターンを示す図、第８図は本発明の第３の実施例を示
す概略図、第９図は本発明の第４の実施例を示す概略図
、第１０図は原画素値に対するブレーンメモリの画素値
を示す図である。 ｌ・・・画像入力装置、２・・・画像メモリ、３・・・
ヒストグラム演算回路、４・・・スレッシホールドレベ
ル設定回路、５・・・２値化処理回路、６．１３・・・
ブレーンメモリ、７・・・画像認識部、１４・・・表示
システム、２０・・・切出し画像部、２１・・・標準画
像装置、２２・・・標準画像選択装置、２３・・・比較
部、２４．２４ａ〜２４ｃ・・・メモリアドレス、２５
・・・アドレス選択器、２Ｂ・・・１ビツトメモリ、３
１・・・入力層、３２・・・中間層、３３・・・出力層
。

Claims (5)

【特許請求の範囲】
1. （１）先端部付近にＸ線不透過性の物質を設けた線状ま
   たは管状の物体をＸ線透視・撮影した際に得られるＸ線
   画像中の画素濃度の最小値を検出し、この検出された画
   素濃度の最小値に基き画素濃度の閾値を設定し、前記Ｘ
   線画像中の画素濃度を前記閾値で２値化処理して２値画
   像を作成し、この２値画像から所定の大きさの領域を単
   位とする画像を切出し、この切出した２値画像を予め定
   められた標準の２値画像と比較することにより、前記Ｘ
   線不透過性の物質の有無を認識するようにしたことを特
   徴とするＸ線画像認識方法。
2. （２）先端部付近にＸ線不透過性の物質を設けた綿状ま
   たは管状の物体をＸ線透視・撮影した際に得られるＸ線
   画像中の画素濃度の最小値を検出する検出手段と、この
   検出手段により検出された画素濃度の最小値に基き画素
   濃度の閾値を設定する設定手段と、前記Ｘ線画像中の画
   素濃度を前記設定手段から入力する閾値で２値化処理し
   て２値画像を作成する処理手段と、この処理手段から入
   力する２値画像から所定の大きさの領域を単位とする画
   像を切出し、この切出した２値画像を予め定められた標
   準の２値画像と比較する画像認識手段とを備え、前記Ｘ
   線不透過性の物質の有無を認識するようにしたことを特
   徴とするＸ線画像認識表示装置。
3. （３）前記標準の２値画像が複数枚であることを特徴と
   する請求項１項記載のＸ線画像認識方法。
4. （４）複数枚の標準の２値画像を画素の組合せによる特
   徴によって記憶し、切出し画像の画素の組合せと比較す
   ることによりＸ線不透過性の物質の有無を認識すること
   を特徴とする請求項３項記載のＸ線画像認識方法。
5. （５）複数枚の標準の２値画像を大規模なニュラル・ネ
   ットワークにより学習し、この学習結果に基き対応する
   ニュラル・ネットワークを実装し切出し画像を前記実装
   したニュラル・ネットワークに入力して前記切出し画像
   におけるＸ線不透過性の物質の有無を認識することを特
   徴とする請求項３項記載のＸ線画像認識方法。