JPH07284090A - 画像分類装置 - Google Patents

画像分類装置

Info

Publication number
JPH07284090A
JPH07284090A JP6070919A JP7091994A JPH07284090A JP H07284090 A JPH07284090 A JP H07284090A JP 6070919 A JP6070919 A JP 6070919A JP 7091994 A JP7091994 A JP 7091994A JP H07284090 A JPH07284090 A JP H07284090A
Authority
JP
Japan
Prior art keywords
information
classification
unit
image
information input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6070919A
Other languages
English (en)
Other versions
JP3974946B2 (ja
Inventor
Yasuhiro Komiya
康宏 小宮
Tatsuo Nagasaki
達夫 長崎
Giyouki I
暁輝 易
Toshiaki Wada
利昭 和田
Koichi Ito
紘一 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP07091994A priority Critical patent/JP3974946B2/ja
Priority to US08/418,183 priority patent/US5754676A/en
Publication of JPH07284090A publication Critical patent/JPH07284090A/ja
Application granted granted Critical
Publication of JP3974946B2 publication Critical patent/JP3974946B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【目的】本発明は、入力した画像において2値化や3次
元表示だけでは抽出しにくい部分を分類し、視覚的に分
かり易く指示する画像分類装置を提供することを目的と
する。 【構成】本発明は、画像データを取込む画像入力装置1
と、入力画像データを保存し、所定操作により読み出
し、検索、編集を行なうファイリング装置2と、画像入
力時の諸条件や前記画像入力装置によるばらつきを補正
し、実行時と学習時の入力条件を一致させるノーマライ
ズ部3と、分類に有効な特徴量を抽出する特徴抽出部4
と、特徴抽出部4より得られた特徴量から分類判定を行
なう分類判定部5と、入力画像に分類判定の結果を合成
して表示する表示部6と、予め定めた学習データに基づ
き、前記特徴抽出部4及び分類判定部5をそれぞれ制御
する学習制御部7とで構成される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像情報を入力して、分
類判定を行なう装置に関する。
【0002】
【従来の技術】一般に、カメラ、赤外線カメラ等の撮影
装置や内視鏡画像,顕微鏡画像,超音波画像入力装置、
X線画像入力装置、MRI(Magnetic Resonance Imagi
ng)装置、CT (Computer Tomography)装置等からの画
像を予め定めた幾つかの種類に分類し表示する画像入力
装置がある。
【0003】例えば、第1の例としては、「画像ラボ」
(1993年2月号,P19)に、2値化により悪性腫
瘍を抽出する装置に応用した例が記載されている。また
これには原発性肝癌を3次元表示する例において、映し
出された画像における不規則性から判断するものが記載
されている。
【0004】その他、第2の例としては、「Konik
a Technical Report」,Vol.
6,1993,P55に、病変部の特定パターンを強調
した画像と、減弱した画像との差を特徴解析する例が記
載されている。
【0005】
【発明が解決しようとする課題】しかし、前述した第1
の例による2値化された画像から悪性腫瘍を抽出する装
置例では、悪性として検出する2値化レベルの設定が難
しく、元々、目で見て差が明かな腫瘍にのみ有効であ
る。
【0006】また、第2の例においては、画像内での病
変部の形状が限定されているが、実際には様々な形状で
ある。従って、検出できるパターンが決まっており、パ
ターンが多少異なるだけでも検出精度が低下してしまう
問題がある。
【0007】そこで本発明は、入力した画像において2
値化や3次元表示だけでは抽出しにくい部分をも適確に
分類し、視覚的に分かり易く指示することを可能とした
画像分類装置を提供することを目的とする。
【0008】
【課題を解決するための手段】本発明は上記目的を達成
するために、以下の構成の画像分類装置を提供する。第
1に、分類のための情報を入力するための情報入力手段
と、前記情報入力手段により入力された情報から特徴情
報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出
された特徴情報及びまたは前記情報入力手段から入力さ
れた情報に基づき情報の種別を判定し、この種別毎に分
類わけする分類判定手段とで構成される画像分類装置を
提供する。
【0009】第2に、分類のための情報を入力するため
の情報入力手段と、前記情報入力手段により入力された
情報を正規化するためのノーマライズ手段と、前記ノー
マライズ手段により正規化された情報から特徴情報を抽
出する特徴抽出手段と、前記特徴抽出手段で抽出された
特徴情報及びまたは前記情報入力手段から入力された情
報に基づき情報の種別を判定し、この種別毎に分類わけ
する分類判定手段とで構成される画像分類装置を提供す
る。
【0010】第3に、分類のための情報を入力するため
の情報入力手段と、前記情報入力手段により入力された
情報から特徴情報を抽出する特徴抽出手段と、前記特徴
抽出手段で抽出された特徴情報及びまたは前記情報入力
手段から入力された情報に基づき情報の種別を判定し、
この種別毎に分類わけする分類判定手段と、前記分類判
定手段による分類判定結果を表示する表示手段とで構成
される画像分類装置を提供する。
【0011】第4に、分類のための情報を入力するため
の情報入力手段と、前記情報入力手段により入力された
情報から特徴情報を抽出する特徴抽出手段と、前記特徴
抽出手段で抽出された特徴情報及びまたは前記情報入力
手段から入力された情報に基づき情報の種別を判定し、
この種別毎に分類わけする分類判定手段と、前記特徴抽
出手段及び、または前記分類判定手段を構築する学習手
段とで構成される画像分類装置を提供する。
【0012】第5に、分類のための情報を入力するため
の情報入力手段と、前記情報入力手段により入力された
情報を正規化するためのノーマライズ手段と、前記ノー
マライズ手段により正規化された情報から特徴情報を抽
出する特徴抽出手段と、前記特徴抽出手段で抽出された
特徴情報及びまたは前記情報入力手段から入力された情
報に基づき情報の種別を判定し、この種別毎に分類わけ
する分類判定手段と前記分類判定手段による分類判定結
果を表示する表示手段とで構成される画像分類装置を提
供する。
【0013】第6に、分類のための情報を入力するため
の情報入力手段と、前記情報入力手段により入力された
情報を正規化するためのノーマライズ手段と、前記ノー
マライズ手段により正規化された情報から特徴情報を抽
出する特徴抽出手段と、前記特徴抽出手段で抽出された
特徴情報及びまたは前記情報入力手段から入力された情
報に基づき情報の種別を判定し、この種別毎に分類わけ
する分類判定手段と、前記特徴抽出手段及びまたは、前
記分類判定手段を構築する学習手段とで構成される画像
分類装置を提供する。
【0014】第7に、分類のための情報を入力するため
の情報入力手段と、前記情報入力手段により入力された
情報から特徴情報を抽出する特徴抽出手段と、前記特徴
抽出手段で抽出された特徴情報及びまたは前記情報入力
手段から入力された情報に基づき情報の種別を判定し、
この種別毎に分類わけする分類判定手段と、前記分類判
定手段による分類判定結果を表示する表示手段と、前記
特徴抽出手段及びまたは、前記分類判定手段を構築する
学習手段とで構成される画像分類装置を提供する。
【0015】第8に、分類のための情報を入力するため
の情報入力手段と、前記情報入力手段により入力された
情報を正規化するためのノーマライズ手段と、前記ノー
マライズ手段により正規化された情報から特徴情報を抽
出する特徴抽出手段と、前記特徴抽出手段で抽出された
特徴情報及びまたは前記情報入力手段から入力された情
報に基づき情報の種別を判定し、この種別毎に分類わけ
する分類判定手段と、前記分類判定手段による分類判定
結果を表示する表示手段と、前記特徴抽出手段及びまた
は、前記分類判定手段を構築する学習手段とで構成され
る画像分類装置を提供する。
【0016】
【作用】以上のような構成の画像分類装置においては、
第1の構成により、入力された画像情報から分類するた
めの特徴情報を抽出し、抽出された特徴情報や前記画像
情報に基づき情報の種別を判定し、この種別毎に分類さ
れる。
【0017】第2の構成により、入力された画像情報が
正規化され、正規化された情報から特徴情報を抽出し、
その特徴情報や前記画像情報に基づき情報の種別を判定
し、この種別毎に分類される。
【0018】第3の構成により、入力された画像情報か
ら特徴情報を抽出し、その特徴情報や前記画像情報に基
づき情報の種別を判定し、この種別毎に分類され、その
分類判定結果が表示される。
【0019】第4の構成により、入力された画像情報か
ら特徴情報を抽出し、その特徴情報や前記画像情報に基
づき情報の種別を判定し、この種別毎に分類され、これ
らの特徴抽出と分類判定は所定学習により構築される。
【0020】第5の構成により、入力された画像情報が
正規化され、正規化された情報から特徴情報を抽出し、
その特徴情報や前記画像情報に基づき情報の種別を判定
し、この種別毎に分類され、その分類判定結果が表示さ
れる。
【0021】第6の構成により、入力された画像情報が
正規化され、正規化された情報から特徴情報を抽出し、
その特徴情報や画像情報に基づき情報の種別を判定し、
この種別毎に分類され、これらの特徴抽出と分類判定は
所定学習により構築される。
【0022】第7の構成より、入力された画像情報から
特徴情報を抽出し、抽出された特徴情報や画像情報に基
づき情報の種別を判定し、この種別毎に分類され、その
分類判定結果が表示され、これらの特徴抽出と分類判定
は所定学習により構築される。
【0023】第8の構成により、入力された画像情報が
正規化され、正規化された情報から特徴情報を抽出し、
抽出された特徴情報や画像情報に基づき情報の種別を判
定し、この種別毎に分類され、その分類判定結果が表示
され、これらの特徴抽出と分類判定は所定学習により構
築される。
【0024】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。まず、本発明の画像分類装置において、目
で見て差が分かりにくい腫瘍の病変部に対して診断支援
を行う画像分類装置を例にして、概要について説明す
る。
【0025】この画像分類装置は、病変部のテクスチャ
ーパターンを統計的な手法を用いた学習により分析し、
分類に有効な特徴量を抽出することを特徴とする。そし
て、画像入力時の諸条件が違うと同じ病変部でも異なる
画像となってしまうので、画像入力時の諸条件や画像入
力装置のばらつきを補正する(正規化)ことも、その形
態とする。
【0026】特に、入力画像が超音波画像の場合に、正
規化には、周波数、波形、TGC(Time Gain Control)
、DR(ダイナミックレンジ)、ゲイン、画素位置に
よる判定領域の切り出し方等がある。
【0027】また、単なる2値化や3次元表示だけでは
病変部の特徴を捕らえにくいので、多くの特徴量を多変
量解析して、病変部の判断に有効な特徴量または処理法
を選定する例も含まれる。この選定のために本装置は学
習モードと、実行モードの2モードを具備する形態があ
る。
【0028】前記学習モードでは、経験の積んだ医師等
が正常部と病変部を画像上で指定し、学習データを作成
し、この学習データに種々の前処理を施し、統計量を多
変量解析することにより、病変部の判断に有効な特徴量
を抽出する。
【0029】そして、実行モード時には学習モードで決
定された特徴量を抽出して、病変部の判断を行なうが、
必要な場合には判定結果に応じて、特徴抽出部や分類判
定部へフィードバックを行ない判定の精度を高める。学
習モードも実行モードも前述した正規化を行なうことを
可とする。
【0030】そして、判定結果を原画像と合成して表示
する例を含む。例えば、超音波画像やX線画像では原画
像はモノクロであり、病変部と判定された領域に色を付
けて表示する。
【0031】図1には、本発明の画像分類装置の一例を
示す。図1(a)は、画像分類装置における分類実行時
の構成を示し、図1(b)は、分類を実行するために先
立って行う分類学習の構成を示す図である。
【0032】図1(a)に示す画像分類装置の構成は、
超音波画像入力装置、X線画像入力装置等による画像デ
ータやCT画像データを取込む画像入力装置1と、該画
像入力装置1から入力された画像データを保存し、所定
の操作により読み出し、検索、編集を行なうファイリン
グ装置2と、画像入力時の諸条件や前記画像入力装置に
よるばらつきを補正し、実行時と学習時の入力条件を一
致させる正規化処理をするノーマライズ部3と、分類に
有効な特徴量を抽出する特徴抽出部4と、特徴抽出部4
より得られた特徴量から後述する分類判定を行なう分類
判定部5と、入力画像に分類判定の結果を合成して表示
する表示部6とからなり、図1(b)においては、さら
に、予め定めた学習データに基づき、前記特徴抽出部4
及び分類判定部5をそれぞれ制御する学習制御部7とで
構成される。
【0033】また、前記特徴抽出部4は、入力画像から
診断に有効な特徴量、例えば、第1次統計量等を前段階
として抽出する前処理部8と、前処理部8により得られ
た特徴量を統計的に解析し、特徴量を変換または、減少
させる(次元数の減少)多変量解析部9とで構成され
る。
【0034】このように構成された画像分類装置におい
て、画像入力装置1から入力された画像データは、必要
に応じて、ファイリング装置2に保存した後に学習や分
類判定が行なわれる。そして、ノーマライズ部3によ
り、実行時の分類判定精度が向上する。
【0035】前記ファイリング装置2及びノーマライズ
部3で所定の処理された画像データから、前処理部8に
より入力画像から診断に有効な複数の特徴量が抽出さ
れ、多変量解析部9により、これらの特徴量から、分類
に有効な特徴量を選択し、分類精度を向上させると共
に、次元数の減少により分類判定が高速に行なわれる。
また前処理部8は、多変量解析部9との併用により、対
象物に応じて最適な分類特徴量が選択できる。
【0036】このような特徴抽出部4により、画像デー
タの分類を自動的に行なうための特徴量が抽出され、分
類判定部5で、その特徴量に基づき判定を行う。このよ
うにして判定された分類判定結果は、表示部6で視覚的
に異ならせてわかり易く表示される。
【0037】また学習制御部7により、経験による信頼
性の高い分類判定データが前記ノーマライズ部3、特徴
抽出部4及び分類判定部5にそれぞれ組み込まれ、初心
者でもレベルの高い分類判定を行なうことができる。
【0038】このように構成された画像分類装置におい
て、図1(a)の実行モード、図1(b)の学習モード
が選択されない場合には、画像入力装置から入力された
画像はそのまま表示部6に表示される。
【0039】図1(a)を参照して、実行モードについ
て説明する。まず、画像入力装置1によりDR,Gai
n,倍率等がノーマライズされた画像を入力する。図示
しないコントロール部より順次座標情報が与えられ、そ
の領域の切り出し方向等のノーマライズが行われ、特徴
抽出部4にて、前処理および多変量解析を行ない、分類
判定が行なわれる。必要に応じて、フィードバック演算
が行なわれ、結果が原画像と合成され表示部6にて表示
される。コントロール部からは指定された範囲内の座標
情報が順次与えられ、この一連の処理が行なわれ、この
指定範囲が例えばカラー表示される。
【0040】次に図2,図3には、本発明による第1実
施例としての画像分類装置の画像入力装置に、コンベッ
クス型超音波装置を用いた例を示す。このコンベックス
型超音波装置10においては、8つのグループに分割さ
れ、超音波の送信、受信を順次選択して行う128個の
振動子11と、該振動子11からの送信、受信を切り替
え、所定数(該所定数はアパーチャーと称され、本実施
例では8つ)ずつ同時にON,OFFを行なう素子選択
スイッチ12と、該素子選択スイッチ12の切り替え端
子の一方に接続され、8個の振動子から所定のフォーカ
スポイントに収束するような波形が作られるようなパル
スを送信する送信回路13と、前記素子選択スイッチ1
2の切り替え端子の他端に接続され、受信している8つ
の信号を所定のデレイライン15に送るロータリースイ
ッチ14と、受信波が球面波であるため、各振動子の位
置に応じて信号を受信する時間が異なり、この受信信号
を時間的に補正するデレイライン15と、該デレイライ
ン15からの出力信号を加算する加算器16と、この実
施例では距離が時間に一致するためTGC(Time
Gain Control)と称され、距離に応じて減
衰した振幅を増幅するアンプ17とで構成される。
【0041】このTGCは、後述するノーマライズ制御
部43によりスイッチングが切り替えられる切り替えス
イッチ130の働きにより、所定の増幅を行うTGC固
定波形発生回路132、または、外部設定信号に基づい
て増幅を行うTGC波形発生回路131に接続されてい
る。学習モード、実行モード時には、TGC固定波形発
生回路132にスイッチングされ、所定の増幅値に正規
化される。
【0042】さらに、前記アンプ17からの出力信号
(振動子11が受信した信号)を一度高い周波数(f0
+fH )にシフトさせる乗算器18、所定帯域の信号を
抽出するBPF19、ゼロ周波数へシフトさせる乗算器
20,21及び、LPF22,23とからなるダブルコ
ンバージョン回路24と、前記LPF22,23からの
出力信号を、それぞれA/D変換するA/D変換器2
5,26と、A/D変換された出力信号(超音波)の波
形である図7(a)に示す超音波の波形を、図7(c)
に示す波形に補正する2つのデジタルフィルタ27,2
8からなる波形補正回路(ノーマライズ部)29と、デ
ジタルフィルタ27,28の出力から出力値を算出する
2乗回路30,31と加算器32からなる検波回路33
と、検波出力に対してダイナミックレンジの圧縮を行う
対数アンプ34と、図示しない画像の表示部に合わせた
走査線変換を行ない、該表示部への表示倍率も制御可能
なスキャンコンバータ35と、学習、または実行モード
時、DR(ダイナミックレンジ),ゲイン(Gain),倍
率を各々所定値Vref1、Vref2、Vref3に設定するノー
マライズ部36と、送信回路13を制御するとともに、
DR、ゲイン、倍率をユーザの希望値に設定するための
制御部37とで構成される。
【0043】この様に構成されたコンベックス型超音波
装置においては、前記振動子11の周波数をf0 とすれ
ば、図7(a)のような波形の送受信信号が入力され
る。そして、これらの信号は、素子選択スイッチ12及
びロータリースイッチ14の切り替えにより選択され、
デレイライン15で各信号を時間的に補正して揃える。
補正された信号は、ダブルコンバージョン回路24によ
り、図7(b)に示すように、一度高い周波数(f0
H )にシフトさせ、信号帯域だけを効率良く抽出し、
次に低周波にシフトされる。この処理により回路の負担
が軽減する。
【0044】さらに、波形補正回路(ノーマライズ部)
29により、学習した振動子と特性が異なる場合、フィ
ルタにより補正が行なわれる。また、学習した振動子が
経年変化した場合にも補正される。また距離(時間)に
対する周波数減衰の補正も行なうことができる。
【0045】この波形補正回路29からの2つの出力信
号は、検波回路33により所定の検波が行われる。次
に、この検波信号は、ノーマライズ部36により、学習
モード時と、実行モード時にだけノーマライズが行なわ
れ、学習モード時と実行モード時のDR、ゲイン、倍率
が所定の値に正規化される。さらにスキャンコンバータ
35は、図示しない表示部に合わせた走査線変換を行な
い、表示部への表示倍率も制御する。
【0046】図4には、前述したコンベックス型超音波
装置を組み入れた第1実施例の画像分類装置の構成を示
す。図4に示す画像分類装置は、分類判定実行時(実行
モード)の構成を示し、構成する部材は、図1に示した
部材と同等の部材には同じ参照符号を付し、その説明は
省略する。本実施例では、画像分類装置が人体に生じる
腫瘍等の病理的な形態を画像として分類する例とする。
【0047】この画像分類装置において、大きくは、コ
ンベックス型の超音波装置10と、画像中から分類判定
を行なう範囲、及び、分類判定に用いる抽出領域の大き
さを指定し、座標情報を順次出力する範囲指定部41
と、超音波装置10内のノーマライズ部29,36、切
り替えスイッチ130とノーマライズ部42とを制御
し、通常の診断と判定分類処理(学習モード、実行モー
ド)の切替を行うノーマライズ制御部43と、超音波装
置10からの画像信号をフレーム単位で一時的に記憶す
るフレームモリ44と、ファイリング装置2と、特徴抽
出部4と、分類判定部5と、表示部6とで構成される。
【0048】なお、例えば、ノーマライズ部36におけ
る所定値Vref1、Vref2、Vref3、及び、TGC固定波
形発生回路132の増幅値は、図示しない条件設定手段
により、所望の値に設定される。前記ノーマライズ部4
2は、指定された座標値Pから、その位置の傾き角θ
と、距離dを式(1)で算出する。
【0049】
【数1】
【0050】その結果により、コンベックス型画像の周
辺部の4点の座標より簡易的にθ,dが求められるθ,
d算出器45aと、該θ,d算出器45aからのθ,d
に応じて抽出領域を変形させる。矩形で回転させたり
(図9(a))、台形で切り出し(図9(b))を行な
うことにより、画像位置に応じて、撮像特性(周波数特
性)が異なるコンベックス型の超音波画像の特性の相違
を補正する領域抽出部45bとからなる。
【0051】また、前記範囲指定部41は、利用者が画
像中に分類判定したいエリアを容易に指示できるもの
で、分類判定を行なう範囲、分類判定に用いる抽出領域
の大きさを指定し、座標情報を指定する。
【0052】次に前記特徴抽出部4は、前処理部46と
多変量解析部47とからなる。この前処理部46では、
ハミング,ハニング等のウィンドウ関数を乗じて、後述
する画像の分類に有効な情報を多く持つパワースペクト
ルP(u)の検出にあたり、画像周辺部のエッジの影響
を除去するウィンドウ回路48と、図10に示すよう
に、フーリエ変換を利用したパワースペクトルP(u)
を検出するパワースペクトル検出器49とからなる。こ
こで、FFTは、高速フーリエ変換を意味し、出力され
る実数項と虚数項が、2乗され加算される。パワー正規
化部では、ゼロ周波数が一定値になるように処理され、
画像輝度の違いをノーマライズする。また、パワー処理
部は同図(b)〜(e)のように値を変換する。
【0053】前記多変量解析部47は、前記パワースペ
クトル検出器49により検出されたパワースペクトルP
(u)を記憶しておくことにより、フィードバック制御
で何度も利用する分類データメモリ50と、次元変換部
51からなる。この次元変換部51は、学習時に算出さ
れた分類ベクトルを記憶し、且つθ,d算出器45aで
計算されたdの値、分類番号により分類ベクトルの値が
選択される分類ベクトルメモリ52と、分類データメモ
リ50から読出されたパワースペクトルP(u)と、選
択された分類ベクトルC1(u),C2(u)との内積
演算を行ない、結果t1,t2を出力することにより、
分類に有効な特徴空間へ変換し、分類性能を落さずに次
元数を削減して、分類判定部への入力を少なくする投影
演算器53とで構成される。この投影演算器53は図1
1に示すように、並列する乗算器と累積加算器からな
り、それぞれの乗算器に選択された分類ベクトルC1
(u),C2(u)が入力され、内積演算を行ない、結
果t1,t2が出力するように構成される。この次元変
換部により、分類判定部5の入力部を少なくでき、分類
判定部5を小規模、即ち高速処理化できる。
【0054】次に前記分類判定部5は、入力される信号
を論理的判定に適する形に変換するための曖昧判定部5
4とAI等の論理的な判断回路である論理判定部55
と、該論理判定部55の出力に基づき分類番号を重みメ
モリ57及び分類ベクトルメモリ52に指示するコント
ロール部58とで構成される。
【0055】また、ニューラルネットワークを用いるこ
とにより、分類の境界が複雑な場合でも、その分類境界
を容易に構築できる利点を有する。この曖昧判定部54
においては、前記投影演算器53からのt1,t2から
判定値J1,J2,J3を出力することにより、正常部
か、異常部か判定の微妙なものも、学習データをもとに
正しい評価値(J1,J2,J3)を出力でき、人が行
なうようなアナログ的(直感的)評価ができる3階層の
ニューラルネットワーク56と、このニューラルネット
ワーク56の重み係数を記憶する重みメモリ57とで構
成される。
【0056】前記重みメモリ57は、コントロール部5
8が指示した分類番号と距離dの値により重み係数を選
択し、ニューラルネットワーク56の重み係数として設
定することにより、分類目的に適した重みメモリ値を選
択できると共に、距離により異なる撮像特性を補正で
き、分類精度を向上できる。但し、前記ニューラルネッ
トワーク56の出力においては、J1は正常部、J2は
異常部(悪性)、J3は異常(良性)の度合を示し、各
々0〜1.0の値を出力とする。また、論理判定部55
は、J1,J2,J3の値に応じて、後述する[判断表
1]のように処理を選択する。ケース4の場合は異常で
あるが悪性か良性かがわからない場合で、悪性か良性か
だけを分類するように学習された分類べクトル、重みを
選択し、再実行する。
【0057】このように論理判定部55の判定が曖昧な
時は、分類判定部5または、その前段部へフィードバッ
ク処理し、判定を行なうことにより分類判定の精度を向
上させる。ニューラルネットワーク56がアナログ的
(直感的)評価をするのに対して、論理判定部55はデ
ジタル的(論理的)評価を行なうことができ、より複雑
な分類判定をも行うことができる。なお、フィードバッ
クの回数が所定回数以上になる場合には、判定値5(分
類不明を意味する)を出力する。
【0058】この論理判定部55が出力する判定値は、
表示部6に送出される。この表示部6は、表示画像生成
部59とCRTやフラットパネル等のデイスプレイから
なるモニタ60とで構成され、例えば、入力画像に判定
値に応じて色を変えて表示する。例えば、判定値1(正
常)では緑色、判定値2(悪性)では赤色、判定値3
(良性)では青色、判定値5(不明)では黄色に領域を
着色することにより、分類判定結果が視覚的にわかり易
く表示でき、有用な診断支援ができる。
【0059】なお、分類ベクトルの値と重みメモリの値
は、ノーマライズ部42から出力される制御情報(ここ
では距離d)及び、または、分類番号により選択される
ことにより、分類精度を向上させることができる。
【0060】次に図1(b)を参照して学習モードにつ
いて説明する。まず、画像入力装置1により、TGC、
波形、DR,Gain,倍率がノーマライズされた画像
を入力し、適当にフリーズしてファイリング装置2に保
存する。そして、学習制御部7の制御により、ファイリ
ングする画像の中から指定された画像を読み出し、表示
部6に表示し、オペレータ(経験者)が表示内の所望の
領域を指定し、教師情報を与える。このように指定され
た領域は、切り出し方向等のノーマライズが行なわれ、
特徴抽出部にて前処理および多変量解析を行ない、学習
データが作成され、分類判定部で学習が行なわれる。
【0061】そして、図5には、図4に示した画像分類
装置における分類判定学習時(学習モード)の構成を示
す。ここで構成する部材で図4に示した部材と同等の部
材には同じ参照符号を付し、その説明は省略する。
【0062】この分類判定学習時の画像分類装置には、
ノーマライズ制御器43及び表示画像生成部59に座標
情報Pを出力し、多変量解析部47及び曖昧判定部54
にそれぞれ所定の分類番号を学習させるための学習制御
部61が設けられる。
【0063】この学習制御部61は、医師等の経験者に
より症例等のデータを入力するための教師データ入力部
62と、投影演算器53からの結果t1,t2を記録す
る学習データメモリ63と、学習データメモリ63から
のデータと前記教師データから重みメモリの値を生成す
る学習器64と、分類データメモリ50からの分類デー
タから分類ベクトルを演算する分類ベクトル演算部65
と、学習全体を制御する学習制御器66とで構成され
る。この演算された分類ベクトルにより、特徴抽出部4
の処理条件が設定されることになる。
【0064】前記教師データ入力部62は、医師等の経
験者とのユーザインターフェイスであり、経験者がモニ
タ60に表示される画面を見ながら、図示しないマウ
ス、キーボード等により、モニタ60内に表示されるウ
ィンドウを移動させて、正常部、異常部(悪性)、異常
部(良性)の位置等の教師データを入力する。また、指
示した位置の画像領域の色を変えて表示することによ
り、教師データとして入力された領域を視覚的に認知し
易くできる。また、この指示した位置の座標情報により
θ,dが算出される。この様にして、経験者の有益な情
報を容易に入力できることから、常に新たな症例等のデ
ータを後から簡単に入力でき、学習し直すことができ
る。また、教師データとしては、正常部、異常部(悪
性)、異常部(良性)の情報だけでなく、異常部の名称
等を入力してもよい。
【0065】前記学習制御器66は、教師データ入力部
62の指示に従い学習全体を制御することにより、距離
d、分類番号に応じ、分類ベクトルメモリ52、重みメ
モリ57の値を算出するような制御情報を出力する。こ
のdは、例えば距離の範囲により図8に示すように、d
1,d2,d3,d4の4段階等の複数に場合分けす
る。分類番号は後述するように分類番号1番と2番の2
段階等の複数に設定する。この結果、分類判定の精度向
上を図ることができる。
【0066】また、前記学習器64は、ニューラルネッ
トワーク56を学習させるための学習器であり、前記学
習データメモリ63は、ニューラルネットワーク56に
入力される学習データを記憶するためのメモリである。
【0067】前記分類データメモリ50は、パワースペ
クトル検出器49で算出されたパワースペクトルP
(u)を記憶する。教師データ毎(正常か異常(悪性)
か異常(良性)か)、画像の距離d毎(d1,d2,d
3,d4)に記憶される。
【0068】前記分類ベクトル演算部65は、分類デー
タメモリ50に記憶されたパワースペクトルP(u)か
ら、分類ベクトルを演算する。この演算の詳細は、本出
願人が提案した特願平5−264781号に記載するよ
うに、FS変換等を利用した統計的手法により、2クラ
スを分類するためのべクトルを算出する。正常と異常
(悪性)、異常(良性)を混合した2クラスを分類する
ための分類べクトル1(分類番号1番)と、フィードバ
ック時に用いる異常(悪性)と異常(良性)の2クラス
を分類するための分類ベクトル2を算出する(分類番号
2番)。この分類ベクトル1,2は、距離d1,d2,
d3,d4の各距離に対しても算出され、分類ベクトル
メモリ52の所定のアドレスに書き込まれる。また、同
様に、重みメモリ57の値も各分類番号、各距離に応じ
て算出され、所定のアドレスに書き込まれる。
【0069】この様に、構成された画像分類装置の動作
について説明する。この画像分類装置において、学習モ
ード、実行モードが選択されない場合は、入力装置とな
る超音波装置の切り替えスイッチ130及びノーマライ
ズ部36のスイッチA側(図3)が選択されユーザの指
定した、TGC増幅値、DR,Gain,倍率が選択さ
れて、入力が行なわれ、表示される。学習モード、実行
モードが選択された場合にはスイッチBが選択され、T
GC増幅値、DR,Gain,倍率は所定の値に正規化
され入力が行なわれ、特徴抽出および分類判定が行なわ
れる。
【0070】この実施例では正常部と異常部(悪性)、
異常部(良性)の3種類を分類する。つまり、学習モー
ドではこの3種類の領域を指定する。また、分類番号と
して、1番と2番があり、分類の目的により切り変え
る。正常部と異常部(悪性と良性双方)を分類する目的
が分類番号1で、異常部(悪性)と異常部(良性)を分
類するのが分類番号2である。学習は分類番号毎に行な
う。また、実行では分類番号1番を実行し、判定が微妙
な場合に分類番号2を選択したフィードバック制御を行
なう。
【0071】図5を参照して、学習モードについて説明
する。TGC増幅値、波形、DR,Gain,倍率がノ
ーマライズされた画像は、適当にフリーズしてファイリ
ング装置2に保存される。学習制御部61の制御により
指定された画像がファイリング装置2から読みだされ、
フレームメモリ44に記憶され、表示部6のモニタ60
に表示される。
【0072】そして、医者等の経験者が図示しないマウ
ス等で病変部等の領域を指定し、病気の種類等の教師情
報を与える。指定された領域は、切り出し方向等のノー
マライズが行なわれ、特徴抽出部4にてパワースペクト
ルP(u)がまず求められ、分類データメモリ50に記
憶される。学習制御部61では分類番号に応じて分類デ
ータメモリ50からデータを選択利用して、分類べクト
ル、ニューラルネットワーク56の重みを計算する。こ
の計算は分類番号毎だけでなく、距離d毎にも行なわれ
る。
【0073】なお、ファイリング装置2へ一時的に記録
せずに、超音波装置10からの画像にて直接領域を指定
し、教師情報を与えるようにしてもよい。また、倍率の
補正は領域の切り出し(領域抽出部45b)を行なう時
に兼ねておこなってもよい。また、この学習制御部は、
着脱自在としてもよいし、オフライン処理として、別の
計算機にて、重みメモリ、分類ベクトルメモリの値を計
算するようにしてもよい。さらに本実施例では、分類ベ
クトルを求める統計的手法としてFS変換を利用した
が、多クラスを分類するための手法として知られるHT
C(Hotelling Trace Criterion) を利用してもよい。
【0074】次に図4を参照して、実行モードについて
説明する。画像入力装置となる超音波装置10により、
TGC増幅値、波形、DR,Gain,倍率がノーマラ
イズされた画像を入力する。範囲指定部41より順次座
標情報が与えられ、その領域の切り出し方向等のノーマ
ライズが行なわれ、特徴抽出部4にて前処理(パワース
ペクトル算出)および多変量解析が行なわれ、値t1,
t2が分類判定部5へ入力される。この分類判定部5で
は、ニューラルネットワーク56からJ1,J2,J3
が出力され、この値に応じた判定が論理判定部55で行
なわれ、必要に応じてフィードバック演算が行なわれ、
結果が原画像と合成され表示部6にて表示される。以上
ような処理が範囲指定部41での対応領域全てに渡り行
なわれる。
【0075】また、入力は画像入力装置(超音波装置1
0)から直接入力してもよいし、若しくはフリーズした
画像でも順次送られてくる動画像でもよい。さらには、
ファイリング装置2に記録された画像を読み出してもよ
い。
【0076】なお、本実施例においては、ニューラルネ
ットワークに3層の階層型を用いたが、これに限定され
るものではなく、勿論、2層や多層を用いてもよいし、
フィードバック型(全結合型)を用いてもよい。また本
実施例では、フーリエ変換を用いて、そのパワーを利用
したが、他の直交変換、例えばコサイン変換やウェーブ
レット変換を用いてもよい。
【0077】 [判断表1] ケース1:J1≧0.7 かつ J2,J3≦0.3 正常部と判断し判定値1を出力する。 ケース2:J2≧0.7 かつ J1,J3≦0.3 異常部(悪性)判断し判定値2を出力 する。 ケース3:J3≧0.7 かつ J1,J2≦0.3 異常部(良性)判断し判定値3を出力 する。 ケース4:J1<0.5 かつ (J2>0.5 異常部と判断し、判定値4出力する。
【0078】 又はJ3>0.5) 異常部識別用の分類スペクトル、重み メモリ(分類番号2)を選択し再実行 する(フィードバック)。 ケース5:上記以外 分類不明と判断し、判定値5を出力す る。
【0079】次に図6には、本発明による第2実施例と
して、前述した第1実施例の分類判定部にニューラルネ
ットワークを用いない画像分類装置の構成例について説
明する。ここで、第2実施例では、特徴部分のみを説明
し、以外は図4,5に示す第1実施例と同等である。
【0080】図6(a)に示すように、分類判定部5a
は論理判定部55と、判定テーブル71により構成され
る。この判定テーブル71は、投影演算器53から得ら
れる特徴量t1,t2の値から判定値をダイレクトに結
び付けたもので、図4に示した重みメモリ57と同様
に、距離dや分類番号に応じて、予め決められている。
例えば、分類番号1が選択された時は図12(a)に示
すように、領域Aの場合は判定値1を、領域Bの場合は
判定値2を、領域Cの場合は判定値3を、領域Dの場合
は判定値4をそれ以外の場合は判定値5として出力す
る。
【0081】また、分類番号2が選択された時は、図1
2(b)に示すように、領域Aの場合は判定値2を、領
域Bの場合は判定値3を、それ以外の場合は判定値5と
して出力する。
【0082】なお、このテーブルの境界値は、「画像解
析ハンドブック」(東京大学出版会)のP.656に記
述されているようなクラス間距離を用いてもよいし、予
め別のニューラルネットワークにより学習し、決めてお
いてもよい。
【0083】このような構成の分類判定部5aを画像分
類装置に用いることによって、演算処理がテーブル演算
のため、ニューラルネットワークを使う場合に比べ、演
算速度が高速化され、計算時間が短縮される。
【0084】次に図6(b)には本発明の第3実施例と
して、前述した第1実施例の表示部6を変形した構成例
を示し説明する。ここで、第3実施例では、特徴部分の
みを説明し、以外は図4,5に示す第1実施例と同等で
ある。
【0085】前述した第1実施例では、表示画像生成部
59において、論理判定部55からの判定値に応じて色
を付けるようにした。しかし、例えば異常部(悪性)と
判断された場合においても、かなり進行して悪化が激し
い場合や、まだ正常部に近い場合等その状態は様々であ
り、これらの情報は反映されていない。そこで第3実施
例では、ニューラルネットワーク56からの出力、その
ものを着色に利用する。図6(b)のようにJ1,J
2,J3の値に画像情報を加算し、各々をGRB値とし
て入力し、NTSC信号を生成する。ここで定数Cは画
像情報をどの程度の重みで加算するかのパラメータであ
り、この値が大きい程色が薄くまた、小さい程色が濃く
なる。
【0086】この第3実施例によれば、J1,J2,J
3の値の大小がはっきりしている(分類結果が明瞭な
時)領域には、色の彩度が高く視覚的にも印象深く表示
される。また、J1,J2,J3の値の大小がはっきり
していない場合でも、その情報を色の微妙な違いとして
表示し、診断支援に有効に働く。例えば、正常から、徐
々に悪性異常部に変化しつつある領域は、緑と赤の中間
的な色として表示される。また、第2実施例の出力をこ
の第3実施例の入力として、用いてもよいのは当然であ
る。また、t1,t2の出力に応じて色をつけるように
してもよい。つまり、図6(c)に示すように、悪性異
常部を“赤”、良性異常部を“青”、その他を“緑”で
現す。さらに各異常部とも、その中心ほど色を濃くし、
境界線に近付くほど色を薄くすると、より視覚的にわか
りやすくなる。
【0087】次に図16には、本発明による第4実施例
としての画像分類装置の構成を示し説明する。ここで、
第4実施例の構成部材で図4,5に示した第1実施例の
構成部材と同等の部材には同じ参照符号を付して、その
説明を省略する。
【0088】この第4実施例は、前述した第1実施例と
は分類方法が異なり、図13に示すような正常部と4つ
の異常部(病変部α,β,γ,δ,ε)に分類する。t
1,t2の値で各領域は分離されるが、境界に近い場合
にフィードバックにより再分類を行ない、精度の向上を
図る。
【0089】第4実施例の特徴抽出部4の前処理部46
aが第1実施例の前処理部46と構成が異なっている。
この前処理部46aは、ヒストグラム検出器81と、該
ヒストグラム検出器81の出力側にそれぞれ接続するヒ
ストグラムの歪度を検出する歪度検出器82及びヒスト
グラムの尖度を検出する尖度検出器83と、同時生起行
列検出部84と、該同時生起行列検出部84の出力側に
接続する特徴量計算器85と、フラクタル次元検出部8
6とで構成される。
【0090】この第4実施例では、第1実施例で用いた
パワースペクトルの代りに、ヒストグラム、同時生起行
列、フラクタル次元の情報を利用する。そして、これら
から抽出した特徴量を1つの多次元データとみなし、分
類ベクトルを求める。また、ニューラルネットワーク5
6aの出力層は、分類したい対象別に5ユニット設けら
れている。
【0091】ここで、ヒストグラムの歪度,尖度、同時
生起行列、フラクタル次元のそれぞれの特徴量の算出に
ついて概略を説明する。まず、ヒストグラムとは、画像
濃度のレベルに応じた累積数であり、例えば、図26に
示すような8bitのモノクロ画像の場合には、濃度レ
ベルは、0〜255の256階調であり、各階調の画素
が画像中に何画素あるかを示している。
【0092】またヒストグラムの歪度(歪度S:ske
wness)とは、ヒストグラムの形状が対称な形から
どれだけ歪んでいるかの程度を表すものである。このヒ
ストグラムの歪度からパターンの一様性を知ることがで
きる。
【0093】ヒストグラムの尖度(尖度K:kurto
sis)とは、ヒストグラムの分布が平均値(μ)のま
わりに集中しているか、端の方へ広がっているかを表す
ものである。このヒストグラムの尖度は、画像が細かな
パターンであるか、粗いパターンであるかがわかる。
【0094】
【数2】
【0095】次に同時生起(co−occurrenc
e)行列とは、画像の濃度iの点から一定の変位δ=
(r,θ)だけ、離れた点の濃度がjである確率Pδ
(i,j)(i,j=0,1,2,…,n−1)を要素
とする行列である。但しnは階調数である。この行列か
ら14種類の特徴量を計算し、これらの値によってテク
スチャを特徴づける。この同時生起行列により、フーリ
エ変換等に比較し、画像の細かな特徴を抽出できる。超
音波画像に生じるスペックルパターン等を数値として表
現できる。
【0096】そして、フラクタル次元とは、非整数値を
とる次元のことであり、図形の複雑さを表現する指標に
利用される。このフラクタル次元により、自然界に存在
するような自己相似形状の特徴を表す数値として簡単に
表現できる。詳しくは、「画像解析ハンドブック」東京
大学出版会のP518にヒストグラムの歪度,尖度、P
518〜P521に同時生起行列、P528〜P538
にフラクタル次元について記載されている。
【0097】この第4実施例による各分類番号として
は、以下の分類ベクトルが対応する。 分類番号1:正常部4つの異常部(病変部α、β、γ、
δ)を分類する。 分類番号2:正常部と病変部αを分類する。 分類番号3:病変部αと病変部βを分類する。 分類番号4:病変部βと病変部γを分類する。 分類番号5:病変部αと病変部γを分類する。 分類番号6:病変部γと病変部δを分類する。 判定部の処理においては、 ケース1:J1≧0.7 かつ J2,J3,J4,J5≦0.3 正常部と判断し判定値1を出力する。 ケース2:J2≧0.7 かつ J1,J3,J4,J5≦0.3 病変部αと判断し判定値2を出力する。 ケース3:J3≧0.7 かつ J1,J2,J4,J5≦0.3 病変部βと判断し判定値3を出力する。 ケース4:J4≧0.7 かつ J1,J2,J3,J5≦0.3 病変部γと判断し判定値4を出力する。 ケース5:J5≧0.7 かつ J1,J2,J3,J4≦0.3 病変部δと判断し判定値5を出力する。 ケース6:J1,J2 ≧0.5 かつ J3,J4,J5 ≦0.3 境界線Aの近くと判断し、分類番号2を選択判定し、フ
ィードバックを行う。 ケース7:J2,J3 ≧0.5 かつ J1,J4,J5 ≦0.3 境界線Bの近くと判断し、分類番号3を選択判定し、フ
ィードバックを行う。 ケース8:J3,J4 ≧0.5 かつ J1,J2,J5 ≦0.3 境界線Cの近くと判断し、分類番号4を選択判定し、フ
ィードバックを行う。 ケース9:J2,J4 ≧0.5 かつ J1,J3,J5 ≦0.3 境界線Dの近くと判断し、分類番号5を選択判定し、フ
ィードバックを行う。 ケース10:J4,J5 ≧0.5 かつ J1,J2,J3 ≦0.3 境界線Eの近くと判断し、分類番号6を選択判定し、フ
ィードバックを行う。 ケース11:上記以外 分類不明と判断し、判定値
11を出力する。
【0098】また、判定値に応じて色を付ける。例え
ば、 判定値1 緑 判定値2 赤 判定値3 青 判定値4 紫 判定値5 橙 判定値11 黄 とする。
【0099】本実施例は、学習の手法については、第1
実施例と同様に行うものとする。各特徴量(ヒストグラ
ムの歪度,尖度、同時生起行列、フラクタル次元)の算
出は、前述と同様である。
【0100】このような第4実施例により、計算上全く
無関係な特徴量(ヒストグラム、同時生起行列、フラク
タル次元の情報等)を1つの多次元データとみなして解
析することにより、相乗効果が得られる。また、多くの
領域を分類し、かつ色により分かり易く表示でき、容易
に前処理部で用いる特徴量を増やすことができる。
【0101】また、曖昧判定部にニューラルネットワー
クを用いていることから、正常と4つの異常部(α、
β、γ、δ)の分類境界を容易に検出できる。次に図2
7には、前述した第4実施例の変形例としての画像分類
装置の構成を示し説明する。本実施例は前述した第4実
施例とは、前処理部の構成が異なり、さらに、前処理演
算制御部141と選択部142を有する。前処理演算制
御部141は、ヒストグラム検出器81、同時生起行列
検出器84、フラクタル次元検出器86の演算パラメー
タ等を制御する。この演算パラメータとは、例えば、ヒ
ストグラム検出器81に対してはヒストグラムの階調
数、同時生起行列検出器84に対しては同時生起行列を
算出する2点間の位置関係量、フラクタル次元検出器8
6に対してはフラクタル次元の演算手法等のパラメータ
である。
【0102】また、前処理演算制御部141は、さらに
選択部142も制御し、抽出された特徴量の中から分類
データメモリ等へ出力する特徴量の選択を行なう。この
前処理演算制御部141の働きにより分類対象に応じて
特徴量の演算方法、及び、分類に用いる特徴量の選択を
行なうことができ、分類精度をさらに向上させることが
できる。また、この前処理演算制御部141は、コント
ロール部58からの信号(分類番号)により制御され
る。つまり、フィードバック制御時に、分類ベクトルメ
モリ52や重みメモリ57の選択だけではなく、特徴量
の演算方法、及び、分類に用いる特徴量の選択も変える
ことにより、さらに分類性能を向上させることができ
る。
【0103】なお、本実施例において、選択部142か
らの出力はすべて多変量解析部へ入力したが、曖昧判定
部54、論理判定部55へ直接入力してもよい。次に図
17には、本発明による第5実施例としての画像分類装
置の構成を示し説明する。本実施例は、前述した第4実
施例とは、前処理を施したデータの全てを多変量解析せ
ずに、分類判定部へ直接入力するデータがあることが異
なっている。
【0104】つまり、歪度検出器82と尖度検出器83
からの歪度S,尖度K、及びフラクタル次元検出器86
からのフラクタル次元Fは、分類データメモリ50aに
入力しても、投影演算器53aを介さずに、直接ニュー
ラルネットワーク56bの入力層に入力され、また、特
徴量計算器85の出力c1〜c14が投影演算器53a
で多変量解析されて、結果t1,t2としてニューラル
ネットワーク56bの入力層に入力される。そのため、
ニューラルネットワーク56bの入力層は、入力される
データ数に対応できるように多数入力ユニットであり、
本実施例では、5ユニットとしている。この多変量解析
部以外は、第4実施例の構成部材と同等であり、同じ参
照符号を付してその説明を省略する。
【0105】この第5実施例の画像分類装置は、投影演
算器で用いる次元を減らすことができ計算を高速化でき
る。さらに、それが分類に有効が特徴量であると分かっ
ている場合には、直接分類判定部へ入力する方が精度が
高い。この実施例では、同時生起行列から得られた特徴
量に対して、多変量解析を行ったが、他の特徴量でもよ
いことは、当然である。
【0106】次に図18,図19には、本発明による第
6実施例としての画像分類装置の構成を示し説明する。
ここで、第6実施例の構成部材で図4に示す第1実施例
の構成部材と同等の部材には同じ参照符号を付してその
説明を省略する。この実施例では、第1実施例に示した
パワースペクトルを検出する細パターン検出部46a
と、より粗いパターンの特徴を検出する粗パターン検出
部97から構成される。前記粗いパターン検出部97
は、フレームメモリ44から読出された画像データが入
力し、画像の輪郭線を抽出する輪郭線抽出部91と、指
示している領域(座標情報P)が輪郭線で囲まれている
領域内か否かを判定する包含関係算出器92と、抽出さ
れた輪郭線の輪郭線長を抽出する輪郭線長抽出部93
と、抽出された輪郭線内の面積を抽出する面積抽出部9
4と、輪郭線及び輪郭線内の面積から円形度を算出する
円形度算出部95と、輪郭線と面積の比から所定の特徴
量の算出を行なう輪郭線/面積比算出器96とで構成さ
れる。
【0107】また、曖昧判定部54のニューラルネット
ワークの入力層は、第5実施例の入力ユニットと同様に
複数の入力データ数に対応できるように多数のユニット
で構成されている。本実施例の画像分類装置のニューラ
ルネットワークの出力層以降は、第1実施例と同様であ
る。
【0108】前記輪郭線抽出部91の具体的な構成を図
20に示す。この輪郭線抽出部91は、画像中のノイズ
を除去し、不要な輪郭線の抽出を防止する平滑化器10
1と、ラプラシアンフィルタ等のエッジ検出フィルタか
らなる先鋭化器102と、2値化処理により輪郭線を抽
出する2値化器103と、メジィアンフィルタやイロー
ジョン、ダイレーション等により孤立点の除去を行な
い、不要な輪郭線を消去する孤立点除去器104とで構
成される。また、これらの演算の前に線細化処理を行な
ってもよいし、孤立点除去処理の後に、輪郭追跡処理を
行ってもよい。
【0109】前記包含関係算出器92で指示領域が輪郭
線で囲まれている場合には異常部である可能性が高い。
また前記包含関係算出器92により、テクスチャー情報
だけでなく、構造的な情報からも判定を行なえ精度が向
上する。
【0110】前記輪郭線/面積比算出器96において
は、指示された領域が属する腫瘍が悪性の場合には、図
14(a)に示すように、周囲での凹凸が激しい。逆に
良性腫瘍の場合は図14(b)に示すように周囲は滑ら
かである。そのため、同じ面積の場合その輪郭線の長さ
は悪性腫瘍の方が良性腫瘍よりも長い。これを利用した
特徴量の算出を行なう。なお、以上は、一画面での処理
であったが、複数画面の入力が行われ、3次元的な画像
データが入力できた場合には、体積と表面積を比較する
ことでも同様な判定が行なえる。
【0111】この輪郭線/面積比算出器96により、悪
性,良性の判定をその輪郭線の形状からも行なうことが
でき、判定の精度が向上する。また前記円形度算出部9
5は、輪郭線抽出では腫瘍以外に体内の臓器の一部や血
管が間違えて検出されることがある。これを除去するた
めに腫瘍が大まかに円形に近いことを利用する。つま
り、図15に示すように、検出した輪郭線で囲まれる面
積と同一の面積を有する円を、その重心位置が一致する
ように重ね、その重複領域の面積(図斜線部)を検出す
る。この重複領域の面積の円の面積に対する割合が大き
ければ大きい程円形をしており、腫瘍である可能性が高
い。
【0112】このように前記円形度算出部95によれ
ば、腫瘍検出の精度を高めることができる。また本実施
例では、ニューラルネットワーク56cに入力させる、
画像以外からの情報、例えば年令、性別、体温、他検査
結果(血液検査、CT検査、レントゲン検査、内視鏡検
査等)のような医師が実際の診断に用いている情報を分
類判定部に入力させる。なお、これ以外に、前回の検診
結果や痛み等の病気の程度、脈拍等を利用してもよい。
【0113】このような医師が実際の診断に用いている
画像以外の情報を用いることにより、より高精度な判定
をおこなうことができる。この画像分類装置の特徴抽出
部4では輪郭線の情報も検出し、得られた特徴量を分類
判定部へ入力する。また、画像以外から得られた情報
(年齢、性別、体温、他検査結果等)も分類判定部5の
ニューラルネットワーク56cに入力される。このよう
な構成により、細パターン検出部で得られるテクスチャ
ー情報だけでなく、粗パターン検出部で得られる構造的
な情報や、患者の情報からの総合的な判定を行なうこと
ができ、診断精度の向上が図れる。
【0114】次に図21には、第7実施例として、分類
判定部内の曖昧判定部にファジイ推論を用いる。即ち、
前述した各実施例では、曖昧判定部にニューラルネット
ワークを用いて、判定に利用していたが、本実施例で
は、ニューラルネットワーク56の代わりに、ファジイ
推論回路105を、また重みメモリ57の代わりにメン
バーシップ関数メモリを用いる。これ以外の構成は第1
実施例と同等である。
【0115】本実施例の画像分類装置は、ニューラルネ
ットワークに比べ、回路規模が小さく計算の高速化が図
れる利点がある。次に図23には、本発明による第8実
施例としての画像分類装置の構成を示し説明する。ここ
で、第8実施例の構成部材で図4に示す第1実施例の構
成部材と同等の部材には同じ参照符号を付してその説明
を省略する。
【0116】この画像分類装置は、画像の入力装置とな
るCTスキャナ111と、CTスキャナで取り入れられ
た画像信号を画像(画像データ)として再構成する再構
成演算部112と、さらにフレームメモリ44を介し
て、範囲指定部41からの座標情報により所定領域を抽
出する領域抽出部113と、前記CTスキャナ111に
投影方向数を与え、再構成演算部112に再構成法を指
示するノーマライズ制御器114と、表示画像生成部5
9の画像内で位置を指定するためのマウス等のカーソル
位置指定部115とを含み構成される。また、投影演算
器53からの結果t1,t2が、表示画像生成部59に
出力されるように接続される。これ以外の構成は、第1
実施例の構成と同等である。
【0117】本実施例におけるノーマライズ手段として
は、CTスキャナの投影方向数、再構成演算部での再構
成法、パワースペクトル(第1実施例と同様)がある。
このように構成された画像分類装置の動作について、図
22を参照して説明する。
【0118】図22は、モニタ60に表示される映像例
(画面)を示す。画面の右下には、2次元平面へのプロ
ット図が表示され、カーソル位置指定部115で画面内
の位置が制御されるカーソル“×”が表示される。その
カーソルの位置の投影演算値t1,t2が右下のグラフ
上に点滅する点としてプロットされる。このグラフに
は、学習したデータ(正常部、異常部(悪性)、異常部
(良性))もプロットされており、この図からもどの領
域に近いかを視覚的に判断できる。
【0119】また、左側に表示されるのは、判定結果を
カラー表示した例である。範囲指定部で指定された範囲
について、分類判定が行われ、結果に応じて色が付けら
れている。なお、グラフ表示は、t1,t2の代わり
に、J1,J2,J3の値に応じて行なうようにしても
よい。
【0120】次に図24(a)には、本発明による第9
実施例としての画像分類装置の構成を示し、同図(b)
には、該画像分類装置内の特徴画像生成部の構成を示し
説明する。ここで、第9実施例の構成部材で図4に示す
第1実施例の構成部材と同等の部材には同じ参照符号を
付してその説明を省略する。
【0121】前記特徴画像生成部は、次元変換部の投影
演算器にて抽出される特徴量に関与する画像を生成する
ものであり、特に特徴画像と呼ぶ。この特徴画像は図2
4(b)に示すように、フーリエ変換された信号の実数
項、虚数項に分類べクトルを乗じ、逆フーリエ変換する
ことにより求められる。
【0122】さらに、前記特徴画像は、表示画像生成部
59で表示される。この場合、特徴画像だけをモニタ6
0に表示させるようにしてもよいし、判定値により色付
けされた原画像に更に、異なる色で表示するようにして
もよい。
【0123】この様に構成された画像分類装置によれ
ば、画像の分類に寄与する特徴(濃淡パターン)を視覚
的にわかりやすく表示でき、診断の支援に役立つ。また
パワースペクトル検出器49は、フーリエ変換器(FF
T)121と、変換された虚数項と実数項を2乗処理す
る2乗回路122,123と、2乗処理された虚数項と
実数項を加算する加算器124と、パワー正規化部12
5で構成され、図10に示すように、すべての成分を用
いてP(u)を生成する。
【0124】次に図25には、本発明による第10実施
例としての画像分類装置の構成を示し説明する。ここ
で、第10実施例の構成部材で図4に示す第1実施例の
構成部材と同等の部材には同じ参照符号を付してその説
明を省略する。
【0125】この画像分類装置は、第1実施例で示した
画像分類装置に画像情報以外の一般情報を入力するため
の一般情報入力部131を設ける。この一般情報入力部
131において、一般情報とは、各種の検査情報であ
り、例えば、血液検査による血糖値、γ−GTP値、尿
検査による尿糖値、尿蛋白値、X線検査結果等である。
そして、これらの情報は、特徴抽出部4の多変量解析部
47や分類判定部5の曖昧判定部54か論理判定部55
に入力される。また、情報の信頼度が高いものは、論理
判定部55へ、信頼度が低いものは多変量解析部47
へ、中間的なものは曖昧判定部54へ入力することによ
り、より効率的で精度の高い判定を行うことができる。
また、画像以外の情報も用いることから、画像にノイズ
等がある場合においても、正確な判定を行うことができ
る。
【0126】次に図28には、本発明による第11実施
例としての画像分類装置の構成を示し説明する。この実
施例は特徴抽出部、及び、曖昧判定部を複数有すること
を特徴とする。情報入力部としては、超音波装置等の画
像入力装置1a〜1d、第10実施例と同様の一般情報
入力部150a〜150dから成り、各々が特徴抽出部
155,156,157,158に入力される。
【0127】特徴抽出部155〜158は、同様な構成
であり、前段から入力された信号は、前処理部151及
び多変量解析部153を経由して後段へ出力される構成
と、前処理部152のみを経由して後段へ出力される構
成と、多変量解析部154のみを経由して後段へ出力さ
れる構成を各々有する。
【0128】画像入力装置1a及び一般情報入力部15
0aから入力される信号は各々特徴抽出部155へ入力
され、その出力が曖昧判定部157に入力されるととも
に、直接曖昧判定部157にも入力される。画像入力装
置1b、一般情報入力部150bから入力される信号も
同様にして、曖昧判定部157に入力される。つまり、
この曖昧判定部157には複数の特徴抽出部、複数の画
像入力装置及び一般情報入力部からの入力がなされる。
これに対し、曖昧判定部158へは、画像入力装置1c
及び一般情報入力部150cからの直接入力と、特徴抽
出部157からの入力がなされる。曖昧判定部157,
158の出力は、論理判定部159へ出力される。ま
た、画像入力装置1dと一般情報入力部150dから入
力される信号は直接論理判定部159へ入力されるとと
もに、特徴抽出部158を経由して論理判定部157に
も入力される。
【0129】このように、本実施例では全ての入力は最
終的には論理判定部159へ入力されるものの、特徴抽
出部、曖昧判定部は経由する場合としない場合があり、
これらが組み合わされた構成となっている。
【0130】このような構成とすることにより、入力さ
れる情報毎に最適な演算経路を経て、最終段の論理判定
部へ入力されることになり、分類の精度が向上する。前
述したように、情報の信頼度が高いものは直接、論理判
定部へ、信頼度が低いものは特徴抽出部の前処理部や多
変量解析部へ中間的なものは曖昧判定部へ入力すること
により、より効率的で精度の高い判定を行なうことがで
きる。また、特徴抽出部においても、前処理部にて有効
な特徴量が抽出された場合は多変量解析部を経由せずに
後段の処理をしたほうが、演算規模を小さくできる。ま
た、入力される信号を直接多変量解析してもよい。
【0131】この実施例では、曖昧判定部としては2つ
あるが、各々処理する内容を異なるものとすることによ
り、一つの曖昧判定部でまとめて処理する場合に比べ、
論理的判定に適する形へ情報を変換しやすくなり、学習
時間を短縮することができる。 なお、本実施例では、
論理的判定部の出力に応じたフィードバック制御及びノ
ーマライズ部、表示部等の構成を図示していないが、前
述の実施例と同様なフィードバック制御及びノーマライ
ズ処理、表示処理等を行なってよいのはもちろんであ
る。
【0132】以上、詳述した如く、上記実施形態をとる
本発明は、以下の様に構成でき、種々の効果が得られ
る。即ち、 (1)本発明は、分類のための情報を入力するための情
報入力手段と、前記情報入力手段により入力された情報
から特徴情報を抽出する特徴抽出手段と、前記特徴抽出
手段で抽出された特徴情報及びまたは前記情報入力手段
から入力された情報に基づき情報の種別を判定し、この
種別毎に分類わけする分類判定手段とを具備することを
特徴とする画像分類装置を提供する。
【0133】これにより、従来の技術のように、単に画
像の表示方法を変えるのではなく、特徴情報に基づいて
情報の種別を判定するため、特徴の違いに応じて、情報
を適確に分類することができる。
【0134】(2)本発明は、分類のための情報を入力
するための情報入力手段と、前記情報入力手段により入
力された情報を正規化するためのノーマライズ手段と、
前記ノーマライズ手段により正規化された情報から特徴
情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽
出された特徴情報及びまたは前記情報入力手段から入力
された情報に基づき情報の種別を判定し、この種別毎に
分類わけする分類判定手段とを具備することを特徴とす
る画像分類装置を提供する。
【0135】これにより、入力された情報をノーマライ
ズ手段で正規化するため、情報入力手段の入力条件の相
違を解消することができ、分類の精度を向上させること
ができる。
【0136】(3)本発明は、分類のための情報を入力
するための情報入力手段と、前記情報入力手段により入
力された情報から特徴情報を抽出する特徴抽出手段と、
前記特徴抽出手段で抽出された特徴情報及びまたは前記
情報入力手段から入力された情報に基づき情報の種別を
判定し、この種別毎に分類わけする分類判定手段と、前
記分類判定手段による分類判定結果を表示する表示手段
とを具備することを特徴とする画像分類装置を提供す
る。
【0137】これにより、分類判定結果の表示手段を有
するため、分類判定結果を容易に認知できる。 (4)本発明は、分類のための情報を入力するための情
報入力手段と、前記情報入力手段により入力された情報
から特徴情報を抽出する特徴抽出手段と、前記特徴抽出
手段で抽出された特徴情報及びまたは前記情報入力手段
から入力された情報に基づき情報の種別を判定し、この
種別毎に分類わけする分類判定手段と、前記特徴抽出手
段及び、または前記分類判定手段を構築する学習手段と
を具備することを特徴とする画像分類装置を提供する。
【0138】これにより、学習手段を有するため、分類
したい対象に応じて特徴抽出手段、分類判定手段を構築
でき、種々な対象の分類が容易に行うことができる。 (5)本発明は、分類のための情報を入力するための情
報入力手段と、前記情報入力手段により入力された情報
を正規化するためのノーマライズ手段と、前記ノーマラ
イズ手段により正規化された情報から特徴情報を抽出す
る特徴抽出手段と、前記特徴抽出手段で抽出された特徴
情報及びまたは前記情報入力手段から入力された情報に
基づき情報の種別を判定し、この種別毎に分類わけする
分類判定手段と、前記分類判定手段による分類判定結果
を表示する表示手段とを具備することを特徴とする画像
分類装置を提供する。
【0139】このように、ノーマライズ手段と表示手段
の双方を有することにより、ノーマライズした画像を表
示手段に表示できる。つまり、表示の際に画像が所定の
条件の画像に正規化されており、分類される領域間の違
いがよりよく認識できる。
【0140】(6)本発明は、分類のための情報を入力
するための情報入力手段と、前記情報入力手段により入
力された情報を正規化するためのノーマライズ手段と、
前記ノーマライズ手段により正規化された情報から特徴
情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽
出された特徴情報及びまたは前記情報入力手段から入力
された情報に基づき情報の種別を判定し、この種別毎に
分類わけする分類判定手段と、前記特徴抽出手段及びま
たは、前記分類判定手段を構築する学習手段とを具備す
ることを特徴とする画像分類装置を提供する。
【0141】このように、ノーマライズ手段と学習手段
を有することにより、学習時と分類判定時の入力条件が
一定化され、分類精度を大幅に向上させることができ
る。 (7)本発明は、分類のための情報を入力するための情
報入力手段と、前記情報入力手段により入力された情報
から特徴情報を抽出する特徴抽出手段と、前記特徴抽出
手段で抽出された特徴情報及びまたは前記情報入力手段
から入力された情報に基づき情報の種別を判定し、この
種別毎に分類わけする分類判定手段と、前記分類判定手
段による分類判定結果を表示する表示手段と、前記特徴
抽出手段及びまたは、前記分類判定手段を構築する学習
手段とを具備することを特徴とする画像分類装置を提供
する。
【0142】このように、表示手段と学習手段を有する
ことにより、学習している情報を表示手段に表示するこ
とができ、より効果的に且つ、正確な学習情報にて学習
を行うことができる。
【0143】(8)本発明は、分類のための情報を入力
するための情報入力手段と、前記情報入力手段により入
力された情報を正規化するためのノーマライズ手段と、
前記ノーマライズ手段により正規化された情報から特徴
情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽
出された特徴情報及びまたは前記情報入力手段から入力
された情報に基づき情報の種別を判定し、この種別毎に
分類わけする分類判定手段と、前記分類判定手段による
分類判定結果を表示する表示手段と、前記特徴抽出手段
及びまたは、前記分類判定手段を構築する学習手段とを
具備することを特徴とする画像分類装置を提供する。
【0144】このように、ノーマライズ手段と、表示手
段と、学習手段とを有することにより、正規化された情
報にて学習を行うため、学習している情報の領域間の相
違を容易に表示手段で認知できる。
【0145】(9)本発明は、前記情報入力手段は、画
像入力装置,ファイリング装置,一般情報入力装置の中
から選ばれる少なくとも1つ以上のものからなることを
特徴とする(1)乃至(8)記載の画像分類装置を提供
する。
【0146】これにより、前記情報入力手段が画像入力
装置であることから、様々な対象物のイメージ情報を入
力することができる。また、情報入力手段がファイリン
グ装置であることからデジタル化された情報やデータベ
ース情報を入力することができる。また、前記情報入力
手段が一般情報入力装置であることから、分類判定に有
効な情報を入力することができる。
【0147】(10)本発明は、前記ノーマライズ手段
は、所定の設定条件に応じて、正規化を行うための1乃
至複数個のノーマライズ器と、前記ノーマライズ器を制
御するためのノーマライズ制御手段を有することを特徴
とする(2),(5),(6)または(8)記載の画像
分類装置を提供する。
【0148】このように、ノーマライズ手段(ノーマラ
イズ器)により、所定の設定条件に応じた正規化を行う
ことができ、分類精度を向上させることができる。ま
た、ノーマライズ制御手段により、これらのノーマライ
ズ器の動作のタイミング等を制御でき、各々のノーマラ
イズ器をより有機的に活用することができ、さらに分類
判定精度を向上させることができる。
【0149】(11)本発明は、前記ノーマライズ手段
は、正規化を行うための所望の条件を設定するための条
件設定手段を含むことを特徴とする(2),(5),
(6)または(8)記載の画像分類装置を提供する。
【0150】これにより、分類対象に応じて最適な正規
化の条件が異なる場合に、この条件設定手段により所望
の最適な正規化を行うことができ、分類判定精度を向上
させることができる。
【0151】(12)本発明は、前記ノーマライズ手段
は、前記特徴抽出手段及び、または前記分類判定手段の
処理を選択するための制御情報を出力することを特徴と
する(2),(5),(6)または(8)記載の画像分
類装置を提供する。
【0152】これにより、正規化の条件毎に特徴抽出手
段や分類判定手段の最適条件が異なるため、ノーマライ
ズ手段から、この特徴抽出手段や分類判定手段に制御信
号を出力し、最適手段を選択するよう制御することによ
り、分類判定精度を向上させることができる。
【0153】(13)本発明は、前記特徴抽出手段は、
前記分類判定抽出手段での分類に適した情報に変換する
ための多変量解析手段と、この多変量解析手段に対して
入力するために前段階として、特徴量を算出するための
前処理手段を有することを特徴とする(1)乃至(8)
記載の画像分類装置を提供する。
【0154】従って、前処理手段により情報の分類に有
効な特徴量を算出できる。前記多変量解析手段は、これ
らの算出された特徴量の中から分類に有効に働く特徴量
への変換を行い、分類判定精度を向上させることができ
る。
【0155】(14)本発明は、前記特徴抽出手段は、
前記分類判定抽出手段に対して直接入力するために前段
階として、特徴量を算出するための前処理手段を有する
ことを特徴とする(1)乃至(8)記載の画像分類装置
を提供する。
【0156】従って、前処理手段にて既に分類に有効に
働く特徴量が算出されている場合には、多変量解析手段
を介さず、直接、分類判定手段へ入力した方が回路規模
が小さくできると共に、より短時間で処理を行うことが
できる。
【0157】(15)本発明は、前処理手段は、入力さ
れた画像情報の一画面領域または複数画面領域におい
て、比較的広い領域の特徴量を抽出するための粗パター
ン検出手段と、前記領域のうち比較的狭い領域の特徴量
を抽出するための細パターン検出手段とを有することを
特徴とする(13)及び(14)記載の画像分類装置を
提供する。
【0158】これにより、分類のための特徴量である画
像のテクスチャー等の情報は画像の比較的狭い領域から
得られ、また、画像の輪郭線等の情報は画像の比較的広
い領域から得られる。各々領域から検出される特徴量を
用いることにより、分類判定精度を向上させることがで
きる。
【0159】(16)本発明は、前記分類判定手段は、
分類判定の対象となる情報を論理的判定に適する形に変
換するための曖昧判定手段と、この曖昧判定手段からの
出力及びまたは分類判定の対象となる情報を論理判定す
るための論理判定手段と、この論理判定手段からの出力
に基づいて自己ないしは当該論理判定手段より前段の処
理の選択を行うようになしたフィードバック手段とを有
することを特徴とする(1)乃至(8)記載の画像分類
装置を提供する。
【0160】これにより、曖昧判定手段は、人間の右脳
で行っているような直観的な判定を行うことができると
共に、論理判定手段では、人間の左脳で行っているよう
な論理的な判定を行うことができる。また、フィードバ
ック手段では、人間の繰り返し思考のように繰り返し処
理を行うことができ、この3つの作用により人間の判定
と同様な処理を行うことができ、より高精度の分類判定
を行うことができる。
【0161】(17)本発明は、前記分類判定手段は、
分類判定の対象となる情報を論理的に判定するための論
理判定手段と、この論理判定手段からの出力に基づいて
自己ないしは当該論理判定手段より前段の処理の選択を
行うようになしたフィードバック手段とを有することを
特徴とする(1)乃至(8)記載の画像分類装置を提供
する。
【0162】これにより入力された情報が分類目的に対
し、より明確なものになっている場合は、(16)での
曖昧判定手段は省ける。よって回路規模が小さくでき、
より短時間で処理できる。
【0163】(18)本発明は、前記分類判定手段は、
分類判定の対象となる情報を論理的判定に適する形に変
換するための曖昧判定手段と、この曖昧判定手段からの
出力及びまたは分類判定の対象となる情報を論理判定す
るための論理判定手段とを有することを特徴とする
(1)乃至(8)記載の画像分類装置を提供する。
【0164】これにより、曖昧判定手段と論理判定手段
にて分類が良好な場合には、フィードバック手段を省く
ことができ、よって回路規模が小さくでき、より短時間
で処理できる。
【0165】(19)本発明は、前記分類判定手段は、
分類判定の対象となる情報を論理的判定に適する形に変
換するための曖昧判定手段を有することを特徴とする
(1)乃至(8)記載の画像分類装置を提供する。
【0166】これにより、曖昧判定手段だけで分類が良
好な場合には、論理判定手段とフィードバック手段を省
くことができ、回路規模が小さくでき、より短時間で処
理できる。
【0167】(20)本発明は、前記分類判定手段は、
分類判定の対象となる情報を論理判定するための論理判
定手段を有することを特徴とする(1)乃至(8)記載
の画像分類装置を提供する。
【0168】これにより、論理判定手段だけで分類が良
好な場合には、曖昧判定手段とフィードバック手段を省
くことができ、回路規模が小さくでき、より短時間で処
理できる。
【0169】(21)本発明は、前記表示手段は、前記
情報入力手段からの画像情報と、前記特徴抽出手段で抽
出された特徴量及び又は前記分類判定手段での判定結果
に係る情報と、を表示するための表示画像生成手段を有
することを特徴とする(3)、(5)、(7)及び
(8)記載の画像分類装置を提供する。
【0170】このように、画像情報と、特徴量又は分類
判定結果を表示することにより、判定結果をより認知し
やすくできる。 (22)本発明は、前記表示画像生成手段は、前記特徴
抽出手段で抽出された特徴量または前記分類判定手段で
の判定結果に応じて画像を視覚的に異ならせて表示する
ことを特徴とする(21)記載の画像分類装置を提供す
る。
【0171】このように、判定結果に応じて画像を視覚
的に異ならせて表示することにより、判定結果を目視に
より正確に、迅速及び容易に認知できる。 (23)本発明は、前記画像を視覚的に異ならせて表示
するに際して前記特徴量または判定結果に応じて色を変
えて表示することを特徴とする(22)記載の画像分類
装置を提供する。
【0172】このように、判定結果により色を変えて表
示することにより、さらに正確に、迅速且つ容易に判定
結果を認知できる。 (24)本発明は、前記画像を視覚的に異ならせて表示
するに際して前記特徴量または判定結果に応じてグラフ
表示することを特徴とする(22)記載の画像分類装置
を提供する。
【0173】このように、判定結果に応じて、グラフ表
示することにより、判定結果をさらに正確に、迅速且つ
容易に判定結果を認知できる。 (25)本発明は、前記学習手段は、学習を行うために
必要なデータを入力するための教師データ入力手段と、
この教師データ入力手段からの情報に基づいて、前記特
徴量抽出手段における各種条件設定を行うための演算を
行う分類ベクトル演算手段と、前記教師データ入力手段
及び、前記分類ベクトル演算手段を制御するための学習
制御手段とからなることを特徴とする(4,6,7又は
8)記載の画像分類装置を提供する。
【0174】このように、教師データ入力手段を有する
ことにより、教師情報を早く、正確に入力することがで
きる。また、学習手段内に分類ベクトル演算手段を有す
ることにより、時間のかかる演算を学習時だけに行うこ
とができ、分類判定の高速化を図ることができる。ま
た、両手段を制御する学習制御手段により効率的な学習
を行うことができる。
【0175】(26)本発明は、前記学習制御手段は、
画像情報表示のための表示用モニタに前記教師データを
表示するための制御を行うことを特徴とする(25)記
載の画像分類装置を提供する。
【0176】教師情報を表示手段で表示することによ
り、より早く、正確に教師情報を入力することができ
る。 (27)本発明は、前記分類ベクトル演算手段では統計
的手法により分類ベクトルを算出することを特徴とする
(25)記載の画像分類装置を提供する。
【0177】従って、統計的手法により高精度でノイズ
に頑健な分類ベクトルを算出することができる。 (28)本発明は、前記学習制御手段は、前記特徴抽出
手段及び又は、前記分類判定手段の処理を選択するため
の制御情報を出力することを特徴とする(21)記載の
画像分類装置を提供する。
【0178】従って、学習条件毎に特徴抽出手段及び分
類判定手段の処理を選択でき、より高度な分類判定を行
うことができる。 (29)前記分類判定手段に設けられた曖昧判定手段
は、所定学習を施したデータを記憶した重みメモリと、
この重みメモリに記憶されたデータに基づき重み付けら
れたニューラルネットワークからなり、ニューラルネッ
トワークは容易に学習でき、様々な教師情報を分類装置
に組み込むことができ、分類判定の精度向上を図ること
ができる。
【0179】(30)前記特徴抽出手段は前処理部と多
変量解析部とで構成され、前処理部は、入力した画像の
輪郭線情報を抽出する輪郭線抽出手段を有し、分類判定
に構造的特徴も利用できる。
【0180】(31)前記多変量解析部は、特徴情報を
分類するために必要なデータを記憶した分類ベクトルメ
モリを有し、フィードバック制御により何度でも抽出し
た情報を利用することができる。
【0181】(32)前記分類判定手段に設けられた論
理判定部からの情報に基づき、前記重みメモリに記憶さ
れた情報及び、前記分類ベクトルメモリに記憶された情
報を選択的に読出すことによって、より効果的な情報を
利用でき、分類判定の精度が向上する。
【0182】(33)前記特徴抽出手段に抽出される特
徴情報は、パワースペクトル、ヒストグラム、同時生起
行列、フラクタル次元及び、輪郭線のうち少なくとも1
つの情報であり、この情報を利用することにより、複雑
に判定を容易に且つ、高精度に判定することができる。
【0183】(34)本発明の画像分類装置は、画像信
号を入力する画像入力装置に、X線画像入力装置、CT
(X線、NMR)や、超音波装置を用いることができ、
該超音波装置を用いた場合に、超音波振動子の特性に応
じて、受信した超音波信号の波形を補正する補正手段を
設けることにより、各超音波振動子の性能上のばらつき
を補正し、分類判定の精度の向上を図ることができる。
【0184】(35)本発明の画像分類装置は、入力さ
れた画像信号の特徴を抽出する特徴抽出手段と、抽出さ
れた特徴情報に基づき画像信号の種別を判定し、この種
別毎に分類する分類判別手段と、前記特徴抽出手段と前
記分類判別手段の構築を行う学習制御手段とを設けてお
り、前記分類判定手段は曖昧判定手段と、該曖昧判定手
段の出力に基づき、前記特徴情報の分類を判定する論理
判定手段と、前記特徴抽出手段と前記分類判別手段の構
築を行う学習手段とからなり、所定領域毎の特徴を抽出
することから分類判定領域を任意に選択できる。また、
分類判定を2段階で行うことにより、より複雑な分類判
定を行うことが容易にできる。
【0185】(36)前記特徴抽出手段は、画像抽出位
置に応じて領域抽出ウィンドウを設定することにより、
コンベックス型超音波装置特有の位置により異なる(超
音波振動子の配置により受信した信号に時間差が生じ
る)撮影特性を補正することができる。
【0186】(37)前記特徴抽出の分類ベクトルメモ
リと、前記分類判定手段の重みメモリの値の書き込み、
読出しアドレスを画像抽出位置に応じて設定することに
より、すなわち、測定する距離に応じて撮像する帯域が
異なる超音波装置の前記距離を数段階の分け、各段階毎
に分類ベクトル重みメモリの値を設定し、分類判定の精
度の向上を図ることができる。
【0187】(38)前記表示手段は、前記分類判定手
段により判定されれた分類毎に色の種類と濃さを変えて
表示することにより、輝度情報は保存しておき、写し出
した画像に所定の着色を行うことにより、どの構造のも
のがどの分類であるかが容易に理解させることができ
る。
【0188】また本発明は、腫瘍の病変部に対して診断
支援を行う画像分類装置を実施例として説明したが、こ
れに限定されるものではなく、実施例に記載される画像
入力装置で取り込めることができる画像データであれ
ば、同様に画像分類を行うことができ、他にも発明の要
旨を逸脱しない範囲で種々の変形や応用が可能であるこ
とは勿論である。
【0189】
【発明の効果】以上詳述したように本発明によれば、入
力した画像において2値化や3次元表示だけでは抽出し
にくい部分をも適確に分類し、視覚的に分かり易く指示
することが可能な画像分類装置を提供することができ
る。
【図面の簡単な説明】
【図1】図1(a)は、本発明による画像分類装置にお
ける分類実行時の構成を示し、図1(b)は、分類を実
行するために先立って行う分類学習の構成を示す図であ
る。
【図2】本発明による第1実施例としての画像分類装置
の画像入力装置に用いたコンベックス型超音波装置の前
半部の構成を示す図である。
【図3】本発明による第1実施例としての画像分類装置
の画像入力装置に用いたコンベックス型超音波装置の後
半部の構成を示す図である。
【図4】図1に示したコンベックス型超音波装置を組み
入れた本発明による第1実施例の画像分類装置の構成例
(分類判定実行時)を示す図である。
【図5】図4に示した画像分類装置における分類判定学
習時(学習モード)の構成を示す図である。
【図6】図6(a)は、本発明による第2実施例として
の画像分類装置の分類判定部の構成を示す図であり、図
6(b)は、本発明による第3実施例としての画像分類
装置の表示部の構成を示す図であり、図6(c)は、画
像分類装置の表示部に表示される異常部の表示例を示す
図である。
【図7】超音波の波形の補正を説明するための図であ
る。
【図8】コンベックス型超音波装置の超音波画像の形態
を示す図である。
【図9】超音波画像の抽出領域の形状を示す図である。
【図10】パワースペクトルP(u)を検出するパワー
スペクトル検出器の構成例と、分類方式を示す図であ
る。
【図11】投影演算器の構成例を示す図である。
【図12】投影演算器からの結果t1,t2による正常
・異常の領域の位置例を示す図である。
【図13】正常部と4つの異常部(病変部α,β,γ,
δ,ε)に分類する状態を示す図である。
【図14】図14(a)は悪性腫瘍の形状例(輪郭)を
示し、図14(b)は良性腫瘍の形状例(輪郭)を示す
図である。
【図15】腫瘍検出の一例を示す図である。
【図16】本発明による第4実施例としての画像分類装
置の構成を示す図である。
【図17】本発明による第5実施例としての画像分類装
置の構成を示す図である。
【図18】本発明による第6実施例としての画像分類装
置の後半部の構成を示す図である。
【図19】本発明による第6実施例としての画像分類装
置の前半部の構成を示す図である。
【図20】輪郭線抽出部の具体的な構成を示す図であ
る。
【図21】本発明による第7実施例としてのファジイ推
論を用いた画像分類装置の構成を示す図である。
【図22】モニタに表示される映像例(画面)を示す図
である。
【図23】本発明による第8実施例としての画像分類装
置の構成を示す図である。
【図24】図24(a)は、本発明による第9実施例と
しての画像分類装置の構成を示し、図24(b)は、該
画像分類装置内の特徴画像生成部の構成を示す図であ
る。
【図25】本発明による第10実施例としての画像分類
装置の構成を示す図である。
【図26】ヒストグラムと画像濃度のレベルの関係を示
す図である。
【図27】第4実施例の変形例としての画像分類装置の
構成を示す図である。
【図28】本発明による第11実施例としての画像分類
装置の構成を示す図である。
【符号の説明】
1…画像入力装置、2…ファイリング装置、3…ノーマ
ライズ部、4…特徴抽出部、5…分類判定部、6…表示
部、7…学習制御部、8…前処理部、9…多変量解析
部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06T 1/00 7/00 (72)発明者 和田 利昭 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 (72)発明者 伊東 紘一 東京都新宿区大久保1丁目14番11号

Claims (28)

    【特許請求の範囲】
  1. 【請求項1】 分類のための情報を入力するための情報
    入力手段と、 前記情報入力手段により入力された情報から特徴情報を
    抽出する特徴抽出手段と、 前記特徴抽出手段で抽出された特徴情報及びまたは前記
    情報入力手段から入力された情報に基づき情報の種別を
    判定し、この種別毎に分類わけする分類判定手段と、を
    具備することを特徴とする画像分類装置。
  2. 【請求項2】 分類のための情報を入力するための情報
    入力手段と、 前記情報入力手段により入力された情報を正規化するた
    めのノーマライズ手段と、 前記ノーマライズ手段により正規化された情報から特徴
    情報を抽出する特徴抽出手段と、 前記特徴抽出手段で抽出された特徴情報及びまたは前記
    情報入力手段から入力された情報に基づき情報の種別を
    判定し、この種別毎に分類わけする分類判定手段と、を
    具備することを特徴とする画像分類装置。
  3. 【請求項3】 分類のための情報を入力するための情報
    入力手段と、 前記情報入力手段により入力された情報から特徴情報を
    抽出する特徴抽出手段と、 前記特徴抽出手段で抽出された特徴情報及びまたは前記
    情報入力手段から入力された情報に基づき情報の種別を
    判定し、この種別毎に分類わけする分類判定手段と、 前記分類判定手段による分類判定結果を表示する表示手
    段と、を具備することを特徴とする画像分類装置。
  4. 【請求項4】 分類のための情報を入力するための情報
    入力手段と、 前記情報入力手段により入力された情報から特徴情報を
    抽出する特徴抽出手段と、 前記特徴抽出手段で抽出された特徴情報及びまたは前記
    情報入力手段から入力された情報に基づき情報の種別を
    判定し、この種別毎に分類わけする分類判定手段と、 前記特徴抽出手段及び、または前記分類判定手段を構築
    する学習手段と、を具備することを特徴とする画像分類
    装置。
  5. 【請求項5】 分類のための情報を入力するための情報
    入力手段と、 前記情報入力手段により入力された情報を正規化するた
    めのノーマライズ手段と、 前記ノーマライズ手段により正規化された情報から特徴
    情報を抽出する特徴抽出手段と、 前記特徴抽出手段で抽出された特徴情報及びまたは前記
    情報入力手段から入力された情報に基づき情報の種別を
    判定し、この種別毎に分類わけする分類判定手段と、 前記分類判定手段による分類判定結果を表示する表示手
    段と、を具備することを特徴とする画像分類装置。
  6. 【請求項6】 分類のための情報を入力するための情報
    入力手段と、 前記情報入力手段により入力された情報を正規化するた
    めのノーマライズ手段と、 前記ノーマライズ手段により正規化された情報から特徴
    情報を抽出する特徴抽出手段と、 前記特徴抽出手段で抽出された特徴情報及びまたは前記
    情報入力手段から入力された情報に基づき情報の種別を
    判定し、この種別毎に分類わけする分類判定手段と、 前記特徴抽出手段及びまたは、前記分類判定手段を構築
    する学習手段と、を具備することを特徴とする画像分類
    装置。
  7. 【請求項7】 分類のための情報を入力するための情報
    入力手段と、 前記情報入力手段により入力された情報から特徴情報を
    抽出する特徴抽出手段と、 前記特徴抽出手段で抽出された特徴情報及びまたは前記
    情報入力手段から入力された情報に基づき情報の種別を
    判定し、この種別毎に分類わけする分類判定手段と、 前記分類判定手段による分類判定結果を表示する表示手
    段と、 前記特徴抽出手段及びまたは、前記分類判定手段を構築
    する学習手段と、を具備することを特徴とする画像分類
    装置。
  8. 【請求項8】 分類のための情報を入力するための情報
    入力手段と、 前記情報入力手段により入力された情報を正規化するた
    めのノーマライズ手段と、 前記ノーマライズ手段により正規化された情報から特徴
    情報を抽出する特徴抽出手段と、 前記特徴抽出手段で抽出された特徴情報及びまたは前記
    情報入力手段から入力された情報に基づき情報の種別を
    判定し、この種別毎に分類わけする分類判定手段と、 前記分類判定手段による分類判定結果を表示する表示手
    段と、 前記特徴抽出手段及びまたは、前記分類判定手段を構築
    する学習手段と、を具備することを特徴とする画像分類
    装置。
  9. 【請求項9】 前記情報入力手段は、画像入力装置,フ
    ァイリング装置,一般情報入力装置の中から選ばれる少
    なくとも1つ以上のものからなることを特徴とする請求
    項1乃至8記載の画像分類装置。
  10. 【請求項10】 前記ノーマライズ手段は、所定の設定
    条件に応じて、正規化を行うための1乃至複数個のノー
    マライズ器と、前記ノーマライズ器を制御するためのノ
    ーマライズ制御手段を有することを特徴とする請求項
    2,5,6または8記載の画像分類装置。
  11. 【請求項11】 前記ノーマライズ手段は、正規化を行
    うための所望の条件を設定するための条件設定手段を含
    むことを特徴とする請求項2,5,6または8記載の画
    像分類装置。
  12. 【請求項12】 前記ノーマライズ手段は、前記特徴抽
    出手段及びまたは、前記分類判定手段の処理を選択する
    ための制御情報を出力することを特徴とする請求項2,
    5,6または8記載の画像分類装置。
  13. 【請求項13】 前記特徴抽出手段は、前記分類判定抽
    出手段での分類に適した情報に変換するための多変量解
    析手段と、この多変量解析手段に対して入力するために
    前段階として、特徴量を算出するための前処理手段を有
    することを特徴とする請求項1乃至8記載の画像分類装
    置。
  14. 【請求項14】 前記特徴抽出手段は、前記分類判定抽
    出手段に対して直接入力するために前段階として、特徴
    量を算出するための前処理手段を有することを特徴とす
    る請求項1乃至8記載の画像分類装置。
  15. 【請求項15】 前記前処理手段は、入力された画像情
    報の一画面領域または複数画面領域において、比較的広
    い領域の特徴量を抽出するための粗パターン検出手段
    と、前記領域のうち比較的狭い領域の特徴量を抽出する
    ための細パターン検出手段とを有することを特徴とする
    請求項13及び14記載の画像分類装置。
  16. 【請求項16】 前記分類判定手段は、分類判定の対象
    となる情報を論理的判定に適する形に変換するための曖
    昧判定手段と、 この曖昧判定手段からの出力及びまたは、分類判定の対
    象となる情報を論理判定するための論理判定手段と、 この論理判定手段からの出力に基づいて自己ないしは当
    該論理判定手段より前段の処理の選択を行うようなした
    フィードバック手段とを有することを特徴とする請求項
    1乃至8記載の画像分類装置。
  17. 【請求項17】 前記分類判定手段は、分類判定の対象
    となる情報を論理的に判定するための論理判定手段と、 この論理判定手段からの出力に基づいて自己ないしは当
    該論理判定手段より前段の処理の選択を行うようになし
    たフィードバック手段とを有することを特徴とする請求
    項1乃至8記載の画像分類装置。
  18. 【請求項18】 前記分類判定手段は、分類判定の対象
    となる情報を論理的判定に適する形に変換するための曖
    昧判定手段と、 この曖昧判定手段からの出力及びまたは分類判定の対象
    となる情報を論理的に判定するための論理判定手段とを
    有することを特徴とする請求項1乃至8記載の画像分類
    装置。
  19. 【請求項19】 前記分類判定手段は、分類判定の対象
    となる情報を論理的判定に適する形に変換するための曖
    昧判定手段を有することを特徴とする請求項1乃至8記
    載の画像分類装置。
  20. 【請求項20】 前記分類判定手段は、分類判定の対象
    となる情報を論理判定するための論理判定手段を有する
    ことを特徴とする請求項1乃至8記載の画像分類装置。
  21. 【請求項21】 前記表示手段は、前記情報入力手段か
    らの画像情報と、前記特徴抽出手段で抽出された特徴量
    及び又は前記分類判定手段での判定結果に係る情報と、
    を表示するための表示画像生成手段を有することを特徴
    とする請求項3,5,7または8記載の画像分類装置。
  22. 【請求項22】 前記表示画像生成手段は、前記特徴抽
    出手段で抽出された特徴量または前記分類判定手段での
    判定結果に応じて画像を視覚的に異ならせて表示するこ
    とを特徴とする請求項21記載の画像分類装置。
  23. 【請求項23】 前記画像を視覚的に異ならせて表示す
    るに際して前記特徴量または判定結果に応じて色を変え
    て表示することを特徴とする請求項22記載の画像分類
    装置。
  24. 【請求項24】 前記画像を視覚的に異ならせて表示す
    るに際して前記特徴量または判定結果に応じてグラフ表
    示することを特徴とする請求項22記載の画像分類装
    置。
  25. 【請求項25】 前記学習手段は、学習を行うために必
    要なデータを入力するための教師データ入力手段と、こ
    の教師データ入力手段からの情報に基づいて、前記特徴
    量抽出手段における各種条件設定を行うための演算を行
    う分類ベクトル演算手段と、前記教師データ入力手段及
    び、前記分類ベクトル演算手段を制御するための学習制
    御手段とからなることを特徴とする請求項4,6,7又
    は8記載の画像分類装置。
  26. 【請求項26】 前記学習制御手段は、画像情報表示の
    ための表示用モニタに前記教師データを表示するための
    制御を行うことを特徴とする請求項25記載の画像分類
    装置。
  27. 【請求項27】 前記分類ベクトル演算手段では統計的
    手法により分類ベクトルを算出することを特徴とする請
    求項25記載の画像分類装置。
  28. 【請求項28】 前記学習制御手段は、前記特徴抽出手
    段及び又は、前記分類判定手段の処理を選択するための
    制御情報を出力することを特徴とする請求項21記載の
    画像分類装置。
JP07091994A 1994-04-08 1994-04-08 画像分類装置 Expired - Fee Related JP3974946B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP07091994A JP3974946B2 (ja) 1994-04-08 1994-04-08 画像分類装置
US08/418,183 US5754676A (en) 1994-04-08 1995-04-07 Image classification apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07091994A JP3974946B2 (ja) 1994-04-08 1994-04-08 画像分類装置

Publications (2)

Publication Number Publication Date
JPH07284090A true JPH07284090A (ja) 1995-10-27
JP3974946B2 JP3974946B2 (ja) 2007-09-12

Family

ID=13445402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07091994A Expired - Fee Related JP3974946B2 (ja) 1994-04-08 1994-04-08 画像分類装置

Country Status (2)

Country Link
US (1) US5754676A (ja)
JP (1) JP3974946B2 (ja)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11113854A (ja) * 1997-10-09 1999-04-27 Multi Media System Jigyo Kyodo Kumiai 医療用画像データの処理装置
JP2000126182A (ja) * 1998-10-27 2000-05-09 Mitani Sangyo Co Ltd 腫瘍診断方法
JP2000126178A (ja) * 1998-10-27 2000-05-09 Mitani Sangyo Co Ltd 立体表面形状定量化方法、及びこれを応用した悪性腫瘍自動識別方法
JP2002177214A (ja) * 2000-12-12 2002-06-25 Asahi Optical Co Ltd 電子内視鏡装置の内視鏡像ファイリング装置
JP2003000575A (ja) * 2001-06-14 2003-01-07 Ge Medical Systems Global Technology Co Llc 画像診断支援システム
JP2004174218A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
JP2004174220A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理方法をコンピュータに実行させるプログラムを格納する記録媒体
JP2004174219A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
JP2005301823A (ja) * 2004-04-14 2005-10-27 Olympus Corp 分類装置及び分類方法
JP2006187412A (ja) * 2005-01-05 2006-07-20 Hitachi Medical Corp 医用画像診断支援装置
US7202973B2 (en) 2001-07-04 2007-04-10 Dainippon Screen Mfg. Co., Ltd. Patch measurement device
JP2007512894A (ja) * 2003-12-04 2007-05-24 ジーイー・ヘルスケア・アクスイェ・セルスカプ 方法
JP2007520002A (ja) * 2004-01-30 2007-07-19 セダラ ソフトウェア コーポレイション 能動外観モデルを画像解析へ応用するシステム及び方法
JP2007283103A (ja) * 2006-04-13 2007-11-01 General Electric Co <Ge> 相対的な灌流及び/又は生存性を求める方法及び装置
JP2008253379A (ja) * 2007-04-02 2008-10-23 Matsushita Electric Ind Co Ltd 超音波診断装置
JP2009072593A (ja) * 2007-09-18 2009-04-09 Siemens Medical Solutions Usa Inc 3次元心臓エコーグラフデータからの平面の自動検出方法
JP2009082469A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 超音波診断装置及びプログラム
JP2009163744A (ja) * 2008-01-09 2009-07-23 Sonavation Inc フーリエ位相解析を用いたスワイプセンサ画像アライメントの方法およびシステム
US7639867B2 (en) 2003-09-19 2009-12-29 Ziosoft, Inc. Medical image generating apparatus and method, and program
JP2010067221A (ja) * 2008-09-12 2010-03-25 Nikon Corp 画像分類装置
JP2012055493A (ja) * 2010-09-08 2012-03-22 Toshiba Corp 画像処理装置
JP2012143369A (ja) * 2011-01-12 2012-08-02 Konica Minolta Medical & Graphic Inc 医用画像表示装置及びプログラム
JP2013144049A (ja) * 2012-01-16 2013-07-25 Toshiba Corp 超音波診断装置、医用画像処理装置及びプログラム
JP2015501194A (ja) * 2011-11-02 2015-01-15 セノ メディカル インストルメンツ,インク. 機能的および解剖学的同時表示マッピングのための二重モダリティ画像処理システム
CN105308651A (zh) * 2013-06-24 2016-02-03 奥林巴斯株式会社 检测装置、学习装置、检测方法、学习方法和程序
JP2016523165A (ja) * 2013-06-26 2016-08-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. マルチモード組織分類のための方法およびシステム
JP2019033966A (ja) * 2017-08-18 2019-03-07 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2019046469A (ja) * 2017-08-31 2019-03-22 富士通株式会社 多変数データの画像化
WO2019102844A1 (ja) * 2017-11-21 2019-05-31 国立研究開発法人理化学研究所 分類装置、分類方法、プログラム、ならびに、情報記録媒体
JP2019198475A (ja) * 2018-05-16 2019-11-21 株式会社トーメーコーポレーション 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム
JP2020099619A (ja) * 2018-12-25 2020-07-02 株式会社日立製作所 超音波送受信装置
US10709419B2 (en) 2011-11-02 2020-07-14 Seno Medical Instruments, Inc. Dual modality imaging system for coregistered functional and anatomical mapping
JP2020187661A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置
US11087461B2 (en) 2016-06-28 2021-08-10 Sony Corporation Image processing device, image processing method, medical imaging system
WO2021221008A1 (ja) * 2020-04-28 2021-11-04 株式会社Splink システム、制御方法及びプログラム
WO2022065061A1 (ja) 2020-09-28 2022-03-31 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
JP2022111449A (ja) * 2021-01-20 2022-08-01 国立大学法人北海道国立大学機構 画像取得装置、ランク推定装置、枝肉横断画像出力装置、画像取得方法、ランク推定方法、枝肉横断画像出力方法、およびプログラム
JP2022164527A (ja) * 2021-04-16 2022-10-27 ヒューロン カンパニー,リミテッド 医用画像による腫瘍検出及び診断装置
US12022991B2 (en) 2019-03-27 2024-07-02 Hoya Corporation Endoscope processor, information processing device, and program

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09327015A (ja) * 1996-06-06 1997-12-16 Matsushita Electric Ind Co Ltd 画像圧縮方法
JP3864400B2 (ja) 1996-10-04 2006-12-27 ソニー株式会社 画像処理装置および画像処理方法
US5907838A (en) * 1996-12-10 1999-05-25 Seiko Epson Corporation Information search and collection method and system
WO1998029833A1 (en) * 1996-12-25 1998-07-09 Hitachi, Ltd. Pattern recognition apparatus and pattern recognition method
US6466687B1 (en) * 1997-02-12 2002-10-15 The University Of Iowa Research Foundation Method and apparatus for analyzing CT images to determine the presence of pulmonary tissue pathology
US6148099A (en) * 1997-07-03 2000-11-14 Neopath, Inc. Method and apparatus for incremental concurrent learning in automatic semiconductor wafer and liquid crystal display defect classification
US5984870A (en) * 1997-07-25 1999-11-16 Arch Development Corporation Method and system for the automated analysis of lesions in ultrasound images
JP4158232B2 (ja) * 1998-07-23 2008-10-01 ソニー株式会社 画像情報変換装置および画像表示装置
JP3777813B2 (ja) * 1998-08-05 2006-05-24 コニカミノルタビジネステクノロジーズ株式会社 網点画像判別方法及び画像処理装置
JP3903610B2 (ja) * 1998-09-28 2007-04-11 富士ゼロックス株式会社 検索装置、検索方法及び検索プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2000055811A1 (en) * 1999-03-12 2000-09-21 Sony Corporation Data processor, data processing method, and recorded medium
KR100325884B1 (ko) * 1999-04-06 2002-03-07 이민화 3차원 칼라 초음파영상의 부호화 및 복호화시스템
US6393449B1 (en) 1999-05-11 2002-05-21 The Ohio State University Research Foundation Arbitrary function generator
US7123759B1 (en) * 1999-06-30 2006-10-17 Fuji Photo Film Co., Ltd. Image transfer and output method and system using the same
US6563959B1 (en) 1999-07-30 2003-05-13 Pixlogic Llc Perceptual similarity image retrieval method
EP1516264B1 (en) * 1999-07-30 2017-05-24 Intellectual Ventures Holding 81 LLC Image retrieval by generating a descriptor for each spot of an image the cells of which having visual characteristics within a selected tolerance
US6804683B1 (en) * 1999-11-25 2004-10-12 Olympus Corporation Similar image retrieving apparatus, three-dimensional image database apparatus and method for constructing three-dimensional image database
US6901156B2 (en) 2000-02-04 2005-05-31 Arch Development Corporation Method, system and computer readable medium for an intelligent search workstation for computer assisted interpretation of medical images
WO2001071634A1 (en) * 2000-03-23 2001-09-27 Mednostic Method and system for clinical knowledge management
JP2002032751A (ja) * 2000-07-18 2002-01-31 Olympus Optical Co Ltd 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体
US7187789B2 (en) * 2000-08-31 2007-03-06 Fuji Photo Film Co., Ltd. Prospective abnormal shadow detecting system, and method of and apparatus for judging whether prospective abnormal shadow is malignant or benignant
EP1215627A3 (en) * 2000-12-13 2004-09-29 International Business Machines Corporation Method and circuits for encoding an input pattern using a normalizer and a classifier
US6873743B2 (en) * 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
US6751348B2 (en) * 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images
US7995825B2 (en) * 2001-04-05 2011-08-09 Mayo Foundation For Medical Education Histogram segmentation of FLAIR images
JP2002330950A (ja) * 2001-05-11 2002-11-19 Fuji Photo Film Co Ltd 異常陰影候補検出装置
AUPR676201A0 (en) * 2001-08-01 2001-08-23 Canon Kabushiki Kaisha Video feature tracking with loss-of-track detection
US7400757B2 (en) * 2001-10-04 2008-07-15 Siemens Medical Solutions Usa, Inc. System and method for segmenting the left ventricle in a cardiac image
NZ515527A (en) * 2001-11-15 2003-08-29 Auckland Uniservices Ltd Method, apparatus and software for lossy data compression and function estimation
US7155043B2 (en) * 2001-11-21 2006-12-26 Confirma, Incorporated User interface having analysis status indicators
US20030103663A1 (en) * 2001-11-23 2003-06-05 University Of Chicago Computerized scheme for distinguishing between benign and malignant nodules in thoracic computed tomography scans by use of similar images
US7039239B2 (en) * 2002-02-07 2006-05-02 Eastman Kodak Company Method for image region classification using unsupervised and supervised learning
US20030228044A1 (en) * 2002-06-05 2003-12-11 Canon Kabushiki Kaisha Radiographic marker location
KR100477801B1 (ko) * 2002-12-26 2005-03-22 한국전자통신연구원 3차원 영상정보 기술장치와 그 방법 및 이를 이용한 3차원영상정보 검색장치 및 그 방법
CN1685373B (zh) * 2003-03-14 2011-03-02 富士通株式会社 钞票的识别方法和识别装置
US6932770B2 (en) * 2003-08-04 2005-08-23 Prisma Medical Technologies Llc Method and apparatus for ultrasonic imaging
JP4913601B2 (ja) * 2003-11-26 2012-04-11 イマコー・インコーポレーテッド 細いプローブを使用する経食道超音波
JP4328224B2 (ja) * 2004-01-26 2009-09-09 オリンパス株式会社 結像光学系の結像性能評価方法及び装置
WO2005119574A2 (en) * 2004-05-26 2005-12-15 Guardian Technologies International, Inc. System and method for identifying objects of interest in image data
US20060269140A1 (en) * 2005-03-15 2006-11-30 Ramsay Thomas E System and method for identifying feature of interest in hyperspectral data
US7840048B2 (en) * 2004-05-26 2010-11-23 Guardian Technologies International, Inc. System and method for determining whether there is an anomaly in data
WO2006093523A2 (en) * 2004-07-15 2006-09-08 Kenji Suzuki Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose ct
EP1828961A2 (en) * 2004-12-17 2007-09-05 Koninklijke Philips Electronics N.V. Method and apparatus for automatically developing a high performance classifier for producing medically meaningful descriptors in medical diagnosis imaging
US20060269135A1 (en) * 2005-03-15 2006-11-30 Ramsay Thomas E System and method for identifying objects of interest in image data
US20080159605A1 (en) * 2005-03-15 2008-07-03 Ramsay Thomas E Method for characterizing an image source utilizing predetermined color spaces
EP1870020B1 (en) * 2005-04-13 2015-08-05 Olympus Medical Systems Corp. Image processing apparatus and image processing method
US8014590B2 (en) * 2005-12-07 2011-09-06 Drvision Technologies Llc Method of directed pattern enhancement for flexible recognition
JP4690204B2 (ja) * 2006-01-16 2011-06-01 富士フイルム株式会社 画像再生装置およびそのプログラム
US20070242863A1 (en) * 2006-04-13 2007-10-18 Bernice Eland Hoppel Methods and Apparatus for Contouring at Least One Vessel
US7860320B2 (en) * 2006-06-26 2010-12-28 Eastman Kodak Company Classifying image regions based on picture location
US8009889B2 (en) * 2006-06-27 2011-08-30 Affymetrix, Inc. Feature intensity reconstruction of biological probe array
US8818109B2 (en) * 2006-07-04 2014-08-26 Hewlett-Packard Development Company, L.P. Context-aware image processing
US8693769B2 (en) * 2009-12-28 2014-04-08 Industrial Technology Research Institute Image classification methods and systems
US9289191B2 (en) 2011-10-12 2016-03-22 Seno Medical Instruments, Inc. System and method for acquiring optoacoustic data and producing parametric maps thereof
CN102984990B (zh) * 2011-02-01 2015-05-20 奥林巴斯医疗株式会社 诊断辅助装置
US10433732B2 (en) 2011-11-02 2019-10-08 Seno Medical Instruments, Inc. Optoacoustic imaging system having handheld probe utilizing optically reflective material
US9996772B2 (en) * 2016-04-28 2018-06-12 International Business Machines Corporation Detection of objects in images using region-based convolutional neural networks
CN109302500A (zh) * 2018-12-07 2019-02-01 安徽职业技术学院 一种基于大数据的图形图像处理系统
US11372092B2 (en) 2019-01-04 2022-06-28 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Hybrid ultrasound transmitter
JP7557824B2 (ja) * 2021-06-25 2024-09-30 富士フイルム株式会社 医用画像処理装置、医用撮像装置、及び、医用画像におけるノイズ低減方法
US12236587B2 (en) * 2022-02-14 2025-02-25 Fujifilm Sonosite, Inc. Neural network utilization with ultrasound technology

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031228A (en) * 1988-09-14 1991-07-09 A. C. Nielsen Company Image recognition system and method
US5274714A (en) * 1990-06-04 1993-12-28 Neuristics, Inc. Method and apparatus for determining and organizing feature vectors for neural network recognition
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
US5343390A (en) * 1992-02-28 1994-08-30 Arch Development Corporation Method and system for automated selection of regions of interest and detection of septal lines in digital chest radiographs
US5319549A (en) * 1992-11-25 1994-06-07 Arch Development Corporation Method and system for determining geometric pattern features of interstitial infiltrates in chest images
US5497430A (en) * 1994-11-07 1996-03-05 Physical Optics Corporation Method and apparatus for image recognition using invariant feature signals

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11113854A (ja) * 1997-10-09 1999-04-27 Multi Media System Jigyo Kyodo Kumiai 医療用画像データの処理装置
JP2000126182A (ja) * 1998-10-27 2000-05-09 Mitani Sangyo Co Ltd 腫瘍診断方法
JP2000126178A (ja) * 1998-10-27 2000-05-09 Mitani Sangyo Co Ltd 立体表面形状定量化方法、及びこれを応用した悪性腫瘍自動識別方法
JP2002177214A (ja) * 2000-12-12 2002-06-25 Asahi Optical Co Ltd 電子内視鏡装置の内視鏡像ファイリング装置
JP2003000575A (ja) * 2001-06-14 2003-01-07 Ge Medical Systems Global Technology Co Llc 画像診断支援システム
US7202973B2 (en) 2001-07-04 2007-04-10 Dainippon Screen Mfg. Co., Ltd. Patch measurement device
JP2004174218A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
JP2004174220A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理方法をコンピュータに実行させるプログラムを格納する記録媒体
JP2004174219A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
US7639867B2 (en) 2003-09-19 2009-12-29 Ziosoft, Inc. Medical image generating apparatus and method, and program
JP2007512894A (ja) * 2003-12-04 2007-05-24 ジーイー・ヘルスケア・アクスイェ・セルスカプ 方法
JP2007520002A (ja) * 2004-01-30 2007-07-19 セダラ ソフトウェア コーポレイション 能動外観モデルを画像解析へ応用するシステム及び方法
JP2005301823A (ja) * 2004-04-14 2005-10-27 Olympus Corp 分類装置及び分類方法
JP2006187412A (ja) * 2005-01-05 2006-07-20 Hitachi Medical Corp 医用画像診断支援装置
JP2007283103A (ja) * 2006-04-13 2007-11-01 General Electric Co <Ge> 相対的な灌流及び/又は生存性を求める方法及び装置
JP2008253379A (ja) * 2007-04-02 2008-10-23 Matsushita Electric Ind Co Ltd 超音波診断装置
JP2009072593A (ja) * 2007-09-18 2009-04-09 Siemens Medical Solutions Usa Inc 3次元心臓エコーグラフデータからの平面の自動検出方法
JP2009082469A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 超音波診断装置及びプログラム
JP2009163744A (ja) * 2008-01-09 2009-07-23 Sonavation Inc フーリエ位相解析を用いたスワイプセンサ画像アライメントの方法およびシステム
JP2010067221A (ja) * 2008-09-12 2010-03-25 Nikon Corp 画像分類装置
JP2012055493A (ja) * 2010-09-08 2012-03-22 Toshiba Corp 画像処理装置
JP2012143369A (ja) * 2011-01-12 2012-08-02 Konica Minolta Medical & Graphic Inc 医用画像表示装置及びプログラム
JP2018143778A (ja) * 2011-11-02 2018-09-20 セノ メディカル インストルメンツ,インク. 機能的および解剖学的同時表示マッピングのための二重モダリティ画像処理システム
JP2015501194A (ja) * 2011-11-02 2015-01-15 セノ メディカル インストルメンツ,インク. 機能的および解剖学的同時表示マッピングのための二重モダリティ画像処理システム
US10709419B2 (en) 2011-11-02 2020-07-14 Seno Medical Instruments, Inc. Dual modality imaging system for coregistered functional and anatomical mapping
JP2013144049A (ja) * 2012-01-16 2013-07-25 Toshiba Corp 超音波診断装置、医用画像処理装置及びプログラム
CN105308651B (zh) * 2013-06-24 2020-02-21 奥林巴斯株式会社 检测装置、学习装置、检测方法、学习方法
CN105308651A (zh) * 2013-06-24 2016-02-03 奥林巴斯株式会社 检测装置、学习装置、检测方法、学习方法和程序
JP2016523165A (ja) * 2013-06-26 2016-08-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. マルチモード組織分類のための方法およびシステム
US11087461B2 (en) 2016-06-28 2021-08-10 Sony Corporation Image processing device, image processing method, medical imaging system
JP2019033966A (ja) * 2017-08-18 2019-03-07 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2019046469A (ja) * 2017-08-31 2019-03-22 富士通株式会社 多変数データの画像化
WO2019102844A1 (ja) * 2017-11-21 2019-05-31 国立研究開発法人理化学研究所 分類装置、分類方法、プログラム、ならびに、情報記録媒体
JP2019095980A (ja) * 2017-11-21 2019-06-20 国立研究開発法人理化学研究所 分類装置、分類方法、プログラム、ならびに、情報記録媒体
US11263494B2 (en) 2017-11-21 2022-03-01 Riken Classification device, classification method, program, and information recording medium
JP2019198475A (ja) * 2018-05-16 2019-11-21 株式会社トーメーコーポレーション 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム
JP2020099619A (ja) * 2018-12-25 2020-07-02 株式会社日立製作所 超音波送受信装置
US12022991B2 (en) 2019-03-27 2024-07-02 Hoya Corporation Endoscope processor, information processing device, and program
JP2020187661A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置
WO2021221008A1 (ja) * 2020-04-28 2021-11-04 株式会社Splink システム、制御方法及びプログラム
JPWO2021221008A1 (ja) * 2020-04-28 2021-11-04
WO2022065061A1 (ja) 2020-09-28 2022-03-31 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
US12597130B2 (en) 2020-09-28 2026-04-07 Fujifilm Corporation Image processing apparatus, operation method of image processing apparatus, and operation program of image processing apparatus for generating examination results of new medical examinations
JP2022111449A (ja) * 2021-01-20 2022-08-01 国立大学法人北海道国立大学機構 画像取得装置、ランク推定装置、枝肉横断画像出力装置、画像取得方法、ランク推定方法、枝肉横断画像出力方法、およびプログラム
JP2022164527A (ja) * 2021-04-16 2022-10-27 ヒューロン カンパニー,リミテッド 医用画像による腫瘍検出及び診断装置
US11568538B2 (en) 2021-04-16 2023-01-31 Heuron Co., Ltd. Medical image-based tumor detection and diagnostic device

Also Published As

Publication number Publication date
JP3974946B2 (ja) 2007-09-12
US5754676A (en) 1998-05-19

Similar Documents

Publication Publication Date Title
JP3974946B2 (ja) 画像分類装置
Baumgartner et al. SonoNet: real-time detection and localisation of fetal standard scan planes in freehand ultrasound
Loizou et al. Quality evaluation of ultrasound imaging in the carotid artery based on normalization and speckle reduction filtering
EP1690230B1 (en) Automatic multi-dimensional intravascular ultrasound image segmentation method
US8483488B2 (en) Method and system for stabilizing a series of intravascular ultrasound images and extracting vessel lumen from the images
JP4614548B2 (ja) 超音波診断装置
EP2016905B1 (en) Ultrasound diagnostic apparatus
US6154560A (en) System and method for staging regional lymph nodes using quantitative analysis of endoscopic ultrasound images
US20200367853A1 (en) Apparatus for ai-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same
JP2008544766A (ja) デジタル画像のピクセルまたはボクセルをコーディングするための方法、およびデジタル画像を処理するための方法
CN118918106B (zh) 一种医疗影像病变检测系统
JPH08293025A (ja) 画像分類装置
JP6996303B2 (ja) 医用画像生成装置
CN117017347B (zh) 超声设备的图像处理方法、系统及超声设备
CN118557219A (zh) 超声成像系统及超声图像显示方法
CN112515705B (zh) 用于投影轮廓启用的计算机辅助检测的方法和系统
CN120732465A (zh) 基于三维超声联合断层超声显像的宫颈癌浸润性风险评估方法及系统
Wang et al. Gan-based architecture for low-dose computed tomography imaging denoising
JP3662835B2 (ja) 超音波診断装置
Roseno et al. Classification of Fetal Heart Based on Images Augmentation Using Convolutional Neural Network Method
Salehi et al. Investigation and simulation of different medical image processing algorithms to improve image quality using simulink matlab
CN119152049B (zh) 一种基于web的超声图像智能采集系统及方法
CN115778435B (zh) 胎儿颜面部的超声成像方法和超声成像系统
CN121414746B (zh) 超声剪切波弹性成像的自动化分析方法和系统
Khatib et al. Automated Cystic Mass Extraction from Ultrasound Phantom Images

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050307

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050404

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070618

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees