JPH1014864A - 診断支援装置 - Google Patents
診断支援装置Info
- Publication number
- JPH1014864A JPH1014864A JP15708096A JP15708096A JPH1014864A JP H1014864 A JPH1014864 A JP H1014864A JP 15708096 A JP15708096 A JP 15708096A JP 15708096 A JP15708096 A JP 15708096A JP H1014864 A JPH1014864 A JP H1014864A
- Authority
- JP
- Japan
- Prior art keywords
- image
- roi
- data
- feature
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003745 diagnosis Methods 0.000 title abstract description 91
- 230000003902 lesion Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 abstract description 169
- 210000004400 mucous membrane Anatomy 0.000 abstract description 6
- 239000006185 dispersion Substances 0.000 abstract description 2
- 201000010099 disease Diseases 0.000 abstract 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 107
- 238000010586 diagram Methods 0.000 description 96
- 238000000034 method Methods 0.000 description 78
- 238000007726 management method Methods 0.000 description 67
- 230000008569 process Effects 0.000 description 41
- 230000006870 function Effects 0.000 description 37
- 238000012937 correction Methods 0.000 description 30
- 238000007781 pre-processing Methods 0.000 description 20
- 239000013598 vector Substances 0.000 description 20
- 238000009826 distribution Methods 0.000 description 18
- 238000003672 processing method Methods 0.000 description 18
- 238000003705 background correction Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 238000005070 sampling Methods 0.000 description 13
- 230000015654 memory Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 235000019646 color tone Nutrition 0.000 description 8
- 238000007689 inspection Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 210000004877 mucosa Anatomy 0.000 description 6
- 230000003936 working memory Effects 0.000 description 6
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000001839 endoscopy Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008707 rearrangement Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 208000003200 Adenoma Diseases 0.000 description 1
- 206010001233 Adenoma benign Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000001187 pylorus Anatomy 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G06F19/00—
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
を算出し、この特徴量を用いることにより、安定した自
動診断結果を得る。 【解決手段】 診断支援装置における診断支援処理実行
プログラム70の特徴量算出ブロック74は、1枚の内
視鏡画像中に設定したROIにおける2個以上の組み合
わせによりROI間相互特徴量を算出することで、異な
る病変間の正常粘膜に対する相対的な差異を評価する。
すなわち、同一画像中における複数のROIから算出さ
れる特徴量の相対的な値を求めることにより、撮像条件
のばらつきに影響されない判別分類を可能とする。
Description
詳しくは内視鏡装置による画像データを基に病変の種類
を自動的に判別分類する部分に特徴のある診断支援装置
に関する。
固体撮像素子等を撮像手段に用いて体腔内臓器等をモニ
タ画面により観察し、検査あるいは診断することのでき
る内視鏡装置が広く用いられている。
この超音波の反射あるいは透過度等により該体腔内臓器
の状況をモニタ画面により観察し、検査あるいは診断す
ることのできる超音波内視鏡装置も広く用いられてい
る。
装置等により得られた多数の画像データを管理する医療
用画像データベースを用いた画像表示装置が提案されて
いる。
で撮像した内視鏡画像を光磁気ディスク等の記録媒体に
記録し、後の診断に有効利用できるように画像ファイル
装置を接続してシステムとして使用される状況にある。
開平7−37056号公報に示されるように、画像ファ
イル装置に記録された画像に対しコンピュータを用い、
自動診断を行うことができる診断支援装置が提案されて
いる。
(ROI)から算出された何らかの特徴量を用い、閾値
処理あるいは統計的・非統計的判別器を用いて診断対象
とする画像がどのような病変に分類されるかを医師に提
示することにより、診断の支援を行うものである。
診断支援装置においては、内視鏡画像を対象として単純
に多数の画像において設定したROIから個別に算出し
た特徴量を用いて診断支援を行う場合、必ずしも病変の
特徴に即した特徴量の算出が行われているとはいえなか
った。その理由は以下の通りである。
おける色調、模様の構造パターン(テクスチャ)の規則
性・粗密度等、多くの特徴に基づき病変の発見及び診断
を行っている。
撮像条件のばらつきが大きい。例えば同一の病変を撮像
した場合においても、観察角度、距離等により観察光の
照射条件が画像ごとに変化するため、撮像画像における
色調が変化する場合がある。また、粘膜色の個人差等の
影響も考えられる。さらに、テクスチャにおいても観察
距離に応じて特徴が大きく変化するものである。したが
って、異なる内視鏡画像からそれぞれ算出された正常部
位及び病変部位における特徴量の値が接近し、診断支援
の妨げとなる。
常粘膜と病変粘膜との前記特徴の違いに基づいている場
合が多いと考えられる。例えば1枚の内視鏡画像におけ
る正常部位と病変部位との間の何らかの特徴の相対的な
相違(例えば周辺粘膜と色調が異なる等)から病変の発
見が、該相違の種類(例えば周辺粘膜より色調が赤い
等)から診断が行われる。
慮されておらず、複数のROIにおける相対的な特徴量
を算出することができなかった。
像上の位置に依存する局所的な情報を有効に利用する特
徴量に対する考慮もなされていなかった。
ためには、特徴量算出手法適用の前段にあたってノイズ
除去等の前処理が行われている。しかしながら、これら
の前処理手法は公知の基本的な手法を適用しているのみ
であり、内視鏡画像からの特徴量抽出のために特化した
複数の手法、さらには、必要に応じてそれらの各手法を
適切な順序及び組み合わせて使用するといった配慮がな
されていなかった。
であり、撮像条件の違いによる影響の少ない特徴量の算
出、画素の画像上における位置に依存する情報を保存し
た特徴量の算出、さらには、内視鏡画像から診断に有用
な特徴量を算出するための前処理手法を提供することに
より、安定した自動診断結果を得ることのできる診断支
援装置を提供することを目的としている。
は、少なくとも1つの信号からなる画像データを入力す
る画像入力手段と、入力された前記画像データを記憶す
る記憶手段と、前記記憶手段により記録された前記画像
データに対して少なくとも1つの関心領域を設定する関
心領域設定手段と、前記関心領域設定手段により設定さ
れた前記関心領域から特徴量を算出する特徴量算出手段
と、前記特徴量算出手段により算出された特徴量を用い
た病変の判別分類を行う判別分類手段とを備えて構成さ
れる。
出手段が前記関心領域設定手段により設定された前記関
心領域から特徴量を算出し、前記判別分類手段が前記特
徴量算出手段により算出された特徴量を用いた病変の判
別分類を行うことで、撮像条件の違いによる影響の少な
い特徴量等を算出し、この特徴量を用いることにより、
安定した自動診断結果を得ることを可能とする。
の実施の形態について述べる。
形態に係わり、図1は診断支援装置の構成を示す構成
図、図2は図1の診断支援装置における診断支援処理実
行プログラムの構成を示す機能ブロック図、図3は図1
の診断支援装置におけるマルチウインドウの画面の概念
構成を示す構成図、図4は図3の画面でのアイコン操作
によって展開されるマルチウインドウ画面の構成を示す
構成図、図5は図4のマルチウインドウ画面上のウイン
ドウの構成を説明する第1の説明図、図6は図4のマル
チウインドウ画面上のウインドウの構成を説明する第2
の説明図、図7は図1の診断支援装置におけるマルチウ
インドウの画面の具体的な構成を示す構成図、図8は図
1のハードディスクに記録された内視鏡画像ファイルを
管理するファイル管理データを説明する説明図、図9は
図1のハードディスクに記録された内視鏡画像ファイル
の各内視鏡画像の内視鏡検査ごとに付与される管理デー
タを説明する説明図、図10は図7の画像表示アイコン
のクリック操作により展開される画像管理データウイン
ドウの構成を示す構成図、図11は図10の呼び出しボ
タンのクリック操作により展開される検索ウインドウの
構成を示す構成図、図12は図11の条件検索開始ボタ
ンのクリック操作により展開される検索結果表示ウイン
ドウの構成を示す構成図、図13は図12の画像一覧ボ
タンのクリック操作により展開される画像一覧表示ウィ
ンドウの構成を示す構成図、図14は図13の表示ボタ
ンのクリック操作により展開される画像表示ウインドウ
の構成を示す構成図、図15は図7の画像処理アイコン
のクリック操作により展開される画像処理ウインドウの
構成を示す構成図、図16は図15の実行ボタンのクリ
ック操作により展開される処理結果画像表示ウィンドウ
の構成を示す構成図、図17は図2のデータベース管理
ブロックが管理するデータベースの構成を示す構成図、
図18は図7のROI設定アイコンのクリック操作によ
り展開されるROI設定ウインドウの構成を示す構成
図、図19は図18の特徴量選択ボタンのクリック操作
により展開される算出特徴量メニューウインドウの構成
を示す構成図、図20は図19の一括選択ボタンのクリ
ック操作により展開される一括選択メニューウインドウ
の構成を示す構成図、図21は図18の部位設定ボタン
のクリック操作により展開される部位指定メニューウイ
ンドウの構成を示す構成図、図22は図18の特徴量算
出実行ボタンのクリック操作により展開される特徴量算
出結果表示ウインドウの構成を示す構成図、図23は図
7のROI設定アイコンによる原画像及び処理結果画像
に対するROIの設定方法を説明する説明図、図24は
図19の相互特徴量算出ボタンによる特徴量算出処理の
流れを示すフローチャート、図25は図24の特徴量算
出処理におけるG画像データから取り出すサンプリング
画素を説明する説明図、図26は図19の相互特徴量算
出ボタンのクリック操作により展開されるROI間相互
特徴量メニューウィンドウの構成を示す構成図、図27
は図26のROI間相互特徴量メニューウィンドウで算
出されるROI間相互特徴量を説明する説明図、図28
は図26のROI間相互特徴量メニューウィンドウでの
ROI間相互特徴量算出における自動組み合わせの動作
を説明するためのフローチャート、図29は図7の特徴
量算出アイコンのクリック操作により展開される特徴量
算出ウインドウの構成を示す構成図、図30は図29の
ROI指定ボタンのクリック操作により展開されるRO
I指定ウインドウの構成を示す構成図、図31は図7の
判別分類アイコンのクリック操作により展開される判別
分類ウインドウの構成を示す構成図、図32は図31の
データセット作成ボタンのクリック操作により展開され
るデータセット作成ウインドウの構成を示す構成図、図
33は図31のクラス別ROI選択ボタンのクリック操
作により展開されるクラス別ROI一覧ウインドウの構
成を示す構成図、図34は図32の既存データセット呼
び出しボタンのクリック操作により展開されるデータセ
ット一覧ウインドウの構成を示す構成図、図35は図3
1の判別分類実行ボタンのクリック操作により展開され
る判別分類実行ウインドウの構成を示す構成図、図36
は図35の実行ボタンのクリック操作により展開される
判別分類結果表示ウインドウの構成を示す構成図、図3
7は図7のレポート作成アイコンのクリック操作により
展開されるレポート作成ウインドウの構成を示す構成
図、図38は図37の選択ボタンのクリック操作により
展開される特徴量レポート作成ウインドウの構成を示す
構成図、図39は図38の表示ボタンのクリック操作に
より展開される特徴量レポート表示ウインドウの構成を
示す構成図、図40は図38のグラフ作成ボタンのクリ
ック操作により展開されるグラフ表示ウインドウの構成
を示す構成図である。
援装置1は、例えば図示しない電子内視鏡から撮像信号
を得て映像信号に変換するビデオプロセッサ2と、この
ビデオプロセッサ2からの映像信号を映し出す観察モニ
タ3と、ビデオプロセッサ2からの映像信号を画像デー
タに変換して信号処理する入力ユニット4と、入力ユニ
ット4により信号処理した画像データ及びこの画像デー
タを可逆あるいは非可逆圧縮た圧縮画像データを記憶す
るサーバユニット5と、サーバユニット5に記憶された
画像データあるいは圧縮画像データを検索して表示する
と共に、関心領域(ROI)設定処理、特徴量算出処
理、判別分類処理等の一連の診断支援処理を行うカンフ
ァレンスユニット6とを備えて構成されている。
らの映像信号であるアナログRGBビデオ信号をデジタ
ル信号である画像データへ変換するA/Dコンバータ1
1と、画像データを記憶するメモリを備えビデオプロセ
ッサ2からの管理情報を付加した画像ファイルを生成す
る画像処理部12と、画像処理部12により生成された
画像ファイルをLAN(Local Area Network)ケーブル4
aを介してサーバユニット5に送出するLANコントロ
ーラ13と、ビデオプロセッサ2と画像データの管理情
報等を通信すると共に画像処理部12及びLANコント
ローラ13を制御するコントローラ14とを備えて構成
される。
アナログRGBビデオ信号出力端及び通信信号出力端を
備えており、映像信号出力端は観察モニタ3に接続さ
れ、アナログRGBビデオ信号出力端はA/Dコンバー
タ11の入力端に接続され、通信信号出力端はコントロ
ーラ14に接続されている。
画像処理部12のデータ信号端に接続されている。
信号端は、バスライン14aにより画像処理部12及び
LANコントローラ13との制御信号端に接続されてい
る。そしてコントローラ14による画像処理部12及び
LANコントローラ13の制御は、バスライン14aを
介した信号により行われるようになっている。
された、例えば図示しない電子内視鏡による観察像は、
観察モニタ3に観察画像として映し出されるようになっ
ている。また、ビデオプロセッサ2の操作者が、前述し
た観察画像を記録する必要があると判断した場合、前述
した映像信号は、アナログRGBビデオ信号としてA/
Dコンバータ11へ出力され、このA/Dコンバータ1
1は、アナログRGBビデオ信号を所定の量子化処理を
行い、デジタルRGBビデオ信号に変換し、画像処理部
12へ観察画像データとして出力するようになってい
る。
御により、A/Dコンバータ11から入力された観察画
像データを記憶するようになっている。
憶された観察画像データに対して縮小処理等の各種デー
タ処理を施し、さらには管理情報を付加して画像ファイ
ルとし、画像処理部12へ一旦記憶させ或いはLANコ
ントローラ13へ出力するようになっている。また、コ
ントローラ14は、前述したように各種データ処理を施
された画像ファイルを画像処理部12へ一旦記憶した場
合、該画像ファイルを所定のタイミングにより画像処理
部12からLANコントローラ13へ出力するようにな
っている。
ANコントローラ13より送出される画像ファイルを受
け取るLANコントローラ21と、LANコントローラ
21が受け取った画像ファイルを一時的に記憶するメモ
リ22と、LANコントローラ21が受け取った画像フ
ァイルを大容量記憶媒体である例えばハードディスク2
3に記録するハードディスクドライバ24と、LANコ
ントローラ21が受け取った画像ファイルを可逆あるい
は非可逆で圧縮して圧縮画像データをハードディスクド
ライバ24に送出する圧縮装置25と、LANコントロ
ーラ21、メモリ22、ハードディスクドライバ24及
び圧縮装置25を制御するコントローラ26とを備えて
構成され、ハードディスクドライバ24は、画像ファイ
ル及び圧縮画像データをハードディスク23に記録する
と共に、LANコントローラ21は、LANケーブル5
aを介してハードディスク23に記録された画像ファイ
ルまたは圧縮画像データをカンファレンスユニット6に
送信できるようになっている。
のLANケーブル4a端はサーバーユニット5のLAN
コントローラー21に接続されている。このLANケー
ブル4aは、いわゆる10baseTといわれるケーブ
ルであり、ツイストペア線を用い10Mbit/sec の双方
向のデータ通信を長さ100m以内の範囲で可能であ
り、複数の装置間の制御及びデータの送受をすることが
できるものである。
制御信号端及びデータ信号端は、バスライン26aによ
りメモリ22と、LANコントローラ21と、ハードデ
ィスクドライブ24との制御信号端に接続されている。
LANコントローラ13からの画像ファイルをLANケ
ーブル4aを介してLANコントローラ21で入力し、
コントローラ26が、LANコントローラ21を介して
入力された画像ファイルを一旦メモリ22に記憶する。
ハードディスクドライブ24は、この画像ファイルを例
えばハードディスク23へ記憶するようになっている。
ニット5のLANコントローラ21からの画像ファイル
または圧縮画像データをLANケーブル5aを介して受
け取るLANコントローラ31と、LANコントローラ
31が受け取った画像ファイルまたは圧縮画像データを
記憶する画像処理部32と、画像処理部32が記憶した
圧縮画像データを伸張する伸張装置33と、画像処理部
32が記憶した画像ファイル中のデジタル信号である画
像データ及び伸張装置33で伸張された画像データを逆
量子化処理し、アナログRGBビデオ信号へ変換するD
/Aコンバータ34と、D/Aコンバータ34により変
換されたアナログRGBビデオ信号を映し出す観察モニ
タ35と、画像処理部32を制御するコントローラ36
とを備えている。
コンバータ34の入力端に接続され、このD/Aコンバ
ータ34の出力端は、観察モニタ35に接続されてい
る。コントローラ36の制御信号端及びデータ信号端
は、バスライン36aにより前記画像処理部32とLA
Nコントローラ31との制御信号端に接続されている。
コントローラー36の制御信号端及びデータ信号端は、
バスライン36bにより後述のCPU41との制御信号
端に接続されている。
トローラ36を制御するCPU41と、例えばサーバー
ユニット5への画像ファイルの検索等の要求を入力する
と共に、この画像ファイルに併せて各種の情報を入力す
るキーボード42と、このキーボード42の信号とCP
U41の信号との整合をとるキーボードインターフェー
ス(以下、キーボードI/Fと称する)43と、キーボ
ード42により入力された情報を表示する検索モニタ4
4と、検索モニタ44の画面上のカーソル座標を任意の
位置に移動させる指示を与えるマウス45と、このマウ
ス45の信号とCPU41の信号との整合をとるマウス
インターフェース(以下、マウスI/Fと称する)46
と、CPU41の実行プログラム及び検索モニタ44の
メニュー画面の画像データ等の各種データを記録したハ
ードディスク47と、このハードディスク47の信号と
CPU41との信号の整合をとるハードディスクインタ
ーフェース(以下、ハードディスクI/Fと称する)4
8と、CPU41の各種処理作業領域として用いられる
作業メモリ49と、検索モニタ44に表示するデジタル
RGBビデオ信号を記憶するメモリを含む画像処理部5
0と、CPU41からの情報を印刷するプリンタ51
と、プリンタ51とCPU41との整合をとるプリンタ
インターフェース(以下、プリンタI/Fと称する)5
2とを備えている。
PU41によりキーボード42から入力された情報のう
ちパスワードを記憶するパスワード記憶部61と、パス
ワード記憶部61が記憶したパスワードのレベルを判定
するパスワード監視部62と、パスワード監視部62の
判定結果に基づいてCPU41の制御を制限する制御制
限部63とを備えている。
は、バスライン41aによりハードディスクI/F4
8、マウスI/F46、キーボードI/F43、作業メ
モリ49,画像処理部50及びパスワード監視部61の
制御信号端及びデータ信号端に接続されている。そし
て、CPU41は、バスライン41aにより、ハードデ
ィスクI/F48、マウスI/F46、キーボードI/
F43、プリンタI/F52及び作業メモリ49を制御
するようになっている。
相対移動量に応じた信号を検出し、作業メモリ49へ出
力し、作業メモリ49は、前述した移動量を記憶するよ
うになっている。
から入力された文字情報の信号を作業メモリ49へ出力
し、作業メモリ49は、前述した文字情報等を記憶する
ようになっている。
スク47からCPU41が実行するプログラム及びメニ
ュー画面等の検索モニタ44用の画像データを読み出
し、作業メモリ49へ出力し、作業メモリ49は前述し
たプログラム及び検索モニタ44用の画像データ等を記
憶するようになっている。
してCPU41から送信される情報を伝送し印刷を行
う。
スク47に記憶されたプログラムを電源投入時に、作業
メモリ44にロードし該プログラムによって動作する。
ドディスク23に記憶された画像ファイルは、コントロ
ーラー26の制御により、ハードディスクドライバ14
に出力されメモリ22に一旦記憶されるか或いは直接L
ANコントローラ21へ出力される。LANコントロー
ラ21からLANケーブル5aを介し、カンファレンス
ユニット6のLANコントローラ31へ画像ファイルが
入力される。
コントローラ36の制御によりLANコントローラ31
は、画像処理部32に画像ファイルを出力する。画像処
理部32に記憶された、サーバーユニット5のハードデ
ィスク23からの画像ファイルは、コントローラ36の
制御によりデジタルの観察画像データと管理情報に分離
され、デジタル観察画像データは画像処理部32に記憶
され、管理情報はバスライン36bによりCPU41に
送られる。
タを記憶するようになっている。前述したように画像処
理部32へ記憶されたデジタル信号である観察画像デー
タは、D/Aコンバータ34の逆量子化により、アナロ
グRGBビデオ信号へ変換され、観察モニタ35へ出力
されるようになっている。観察モニタ35は、前述した
ように入力されたアナログRGBビデオ信号を映し出す
ようになっている。尚、観察画像データが圧縮画像デー
タの場合は、伸張装置33で伸張された後にD/Aコン
バータ34に出力される。
ル、キーボード42による文字情報、ハードディスク4
7からのメニュー画面等の検索モニタ44用の画像デー
タと管理情報を合成或いは単独で表示するように演算処
理し、画像データとして画像処理部50へ記憶させるよ
うになっている。
ファイルの観察画像データは、例えばカラーである観察
画像を横640ドット、縦480ドットで分割し、この
各ドットに対応じてRGB各色信号レベルを、例えば8
ビットとなるように量子化した所定のバイト数で構成さ
れるようになっている。
の詳細について説明する。診断支援処理は、ハードディ
スク47に記録された診断支援処理実行プログラムを用
い、CPU41により実行される。また、診断支援処理
は、検索モニタ44に表示されるマルチウインドウ環境
上において、キーボード42及びマウス45を用いての
入力により操作される。
グラム70は、画像管理ブロック71、データベース管
理ブロック72、ROI設定ブロック73、特徴量算出
ブロック74、判別分類ブロック75、レポート作成ブ
ロック76及び画像処理ブロック77からなっている。
を構成する各ブロックの概要を説明する。
おいて使用する内視鏡画像の管理及び検索等を行う。
援処理において使用する画像、設定されるROI、算出
される特徴量等を記憶及び管理するためのデータベース
を管理する。
において、特徴量の算出及び判別分類の対象とするため
のROIを設定する。
ロック73により設定されたROIに対して、特徴量算
出手法を適用することにより特徴量を算出する。
ック74において算出された特徴量を用いた判別分類処
理を行う。
ブロック74及び/または判別分類ブロック75により
得られた各処理結果の一覧表示及びグラフ上へのプロッ
ト等によるレポートを作成する。
処理に使用する原画像である内視鏡画像に対し、たとえ
ばノイズ除去処理、構造成分強調処理等の画像処理を適
用する。
結果画像は、原画像と同様にサーバユニット5における
ハードディスク23に記録されるとともに、診断支援類
処理の対象データとすることができる。
ては、各ブロックはマルチウインドウ上でのマルチプロ
セッシングにより、並行して動作することが可能となっ
ている。
めの説明図である。当初、検索モニタ44のモニタ画面
80上には各種機能を実行するためのウインドウを開く
ためのアイコン81、82及び83が表示されている.
操作者は目的とする機能のウインドウを開くために,マ
ウス45に連動して移動するマウスポインタ84による
クリックを行う。クリックとは、マウスポインタ84を
アイコン等に重ね、マウス45のボタンを押下する動作
を示す。
アイコンは、各々に対応する機能を実行するための1つ
以上のウインドウを開く。図4は開かれたウインドウの
例を説明するための説明図であって、図3におけるアイ
コン81、82及び83は、クリックにより、図4に示
すようなウインドウ85、86及び87を検索モニタ4
4のモニタ画面80上にそれぞれ開く。
ポインタ84が重ねられたウインドウ上(以下,このよ
うなウインドウをアクティブウインドウと称し、図4に
おいてはウインドウ86がアクティブウインドウであ
る)で入力等の作業が行われる。また、マウスポインタ
84の移動により任意のウインドウをアクティブウイン
ドウとして選択することが可能である。
構成例を説明するための説明図であって、図5において
は、ウインドウ90は、機能の動作指定等を行うための
ボタン91、ウインドウ90に関する機能におけるシス
テム側からの出力を表示する出力表示領域92、機能に
基づく事項を選択するためのメニューバー93、メニュ
ーバー93をスクロールさせるためのスクロールバー9
4、キーボード42からの入力を表示するための入力表
示領域95及び作業を終了によりウインドウ90を閉じ
るための終了ボタン96からなっている。
てクリックすることにより、対応する機能を動作させる
ことができる。なお、例えばボタン91を選択した場合
に新たな別のウインドウ(図示せず)が開くように制御
することも可能である。
スト、数値データ等のメッセージをシステム側から表示
する。
る場合には、入力情報を入力表示領域95に表示するこ
とができる。
タン96にマウスポインタ84を重ねてクリックするこ
とにより、ウインドウ90を閉じることができる。
すバー(図5において1、2、3、…の番号付けされた
部分)にマウスポインタ84を重ねてクリックすること
により、希望するものを選択することができる。その
際,クリックされたバーは反転表示等の動作が適用さ
れ、いずれが指定されたものかを操作者に知らせること
ができるようになっている。
て、選択できる事項の数が大である場合(図5の例にお
いては,例えば事項が10ある場合等)においては、ス
クロールバー94を使用することができる。すなわち、
マウスポインタ84をスクロールバー94の上方スクロ
ールボタン94aに重ねマウス45のボタンを押下する
とメニューバー93が上方へ、スクロールバー94の下
方スクロールボタン94bに重ねて押下した場合には下
方へとスクロールする。図5の例においては、下方スク
ロールボタン94bを使用することにより、事項6以降
を表示・選択することが可能となる。
おいてスクロールバー94のおよそどの部分をメニュー
バー93に表示しているかを知るための目安を示してい
る。
項目を2次元的に配置し、水平方向へのスクロールを行
うスクロールバーを備えることも可能である。すなわ
ち、図6において、ウインドウ100は項目が2次元に
配置されたメニューバー101と、垂直方向へのスクロ
ールを行うスクロールバー102及び水平方向へのスク
ロールを行うスクロールバー103からなっている。
する操作と同様にして、水平及び垂直方向にメニューウ
インドウ100をスクロールさせることにより、任意の
項目を選択することが可能となる。
に説明したように動作するボタン、メニューバー、スク
ロールバー、出力表示領域及び入力表示領域を任意の大
きさ及び個数で構成している。なお、以下の説明におい
て、特に断りのない場合は、終了ボタンをクリックする
と、該当するウインドウを閉じるよう動作するものとす
る。
の各機能の呼び出し動作を説明するための説明図であ
る。
支援処理のメインメニューとなるアイコンが配置された
メイン画面110が表示される。このメイン画面110
は、画像表示機能を呼び出す画像表示アイコン111、
データベースカスタマイズ機能を呼び出すデータベース
アイコン112、ROI設定機能を呼び出すROI設定
アイコン113、特徴量算出機能を呼び出す特徴量算出
アイコン114、判別分類機能を呼び出す判別分類アイ
コン115、レポート作成機能を呼び出すレポート作成
アイコン116及び画像処理機能を呼び出す画像処理ア
イコン117からなっている.上記のアイコン111〜
117により実行される各機能は、診断支援処理実行プ
ログラムにおいては、図2に示したように、画像表示機
能は画像管理ブロック71が、データベースカスタマイ
ズ機能はデータベース管理ブロック72が、ROI設定
機能はROI設定ブロック73が、特徴量算出機能は特
徴量算出ブロック74が、判別分類機能は判別分類ブロ
ック75が、レポート作成機能はレポート作成ブロック
76が、画像処理機能は画像処理ブロック77がそれぞ
れ動作する。
り並行して動作可能である。また、各機能においては動
作内容ごとのサブルーチン化がなされており、必要に応
じて異なる機能から任意のサブルーチンを呼び出すこと
が可能となっている。
る各ブロックの動作の詳細について説明する。
1は、前述の通り、主として診断支援処理において使用
する内視鏡画像の管理及び検索を行うものである。サー
バユニット5のハードディスク23に記録された内視鏡
画像ファイルは、対象となる患者の内視鏡検査ごとに管
理される。
記録された内視鏡画像ファイルは、ファイル管理データ
により患者ID及び検査年月日(及び患者名)ごとに管
理されることとなり、各内視鏡検査単位に番号付けがな
されている。検査No.は検査ごとに、また患者IDは
各患者ごとに設定されるため、重複が生ずることはな
い。
鏡画像の内視鏡検査ごとに付与される管理データを説明
するための説明図であって、この例においては、検査N
o.1として管理される内視鏡画像データは7枚である
ものとする。管理データとしては、前述の患者ID、患
者名及び検査年月日の他に、例えば検査部位、診断名、
メモ及び担当医等のデータを含むことができる。これら
のデータは、ハードディスク23に記録され、後述する
画像検索処理におけるキーとして使用される。
84で選択する(図7参照)ことで、画像管理ブロック
71は、図10に示すような画像管理データウインドウ
120を開く。画像管理ウィンドウ120は各種データ
を入力するための入力表示領域121と、すでに与えら
れている管理データを再編集する場合に使用する呼び出
しボタン122及び終了ボタン123からなっている。
理データの入力欄に重ね、キーボード42より必要な情
報を入力する。また、検査No.のみを入力し、呼び出
しボタン122をクリックした場合には、対応する内視
鏡検査の管理データを入力表示領域121に各々表示す
る。管理データ呼び出し後は、操作者が所望の管理デー
タを編集することができる。
マウス45でクリックすると、検索処理が実行される。
この検索処理においては、図11に示すように、まず検
索ウインドウ130を開く。検索ウインドウ130は検
索キーを入力するための入力表示領域131と、入力し
た検索キーを用いた条件検索の開始を指定する条件検索
開始ボタン132と、全内視鏡検査データを表示する全
検索の開始を指定する全検索開始ボタン133及び終了
ボタン134から構成されている.なお、この例におい
ては、検索キーとして患者ID、患者名、検査部位及び
診断名が使用可能であるものとする。
者は全検索ボタン133をマウス45でクリックする。
また、条件検索を行う場合、操作者は入力表示領域13
1に所望のキーをキーボード42を用いて入力し、条件
検索開始ボタン132をマウス45でクリックする。
検索結果として得られた内視鏡検査データが存在する場
合には、図12に示すような新たに検索結果表示ウイン
ドウ140を開き、検索結果を表示する。
果である内視鏡検査データの管理データ(この例では検
査No.、患者ID、患者名及び検査年月日)を表示す
るメニューバー141と、スクロールバー142と、所
望の内視鏡検査において記録した内視鏡画像の一覧表示
を指定するための画像一覧ボタン143と、後述する各
処理において内視鏡検査を選択する際に使用する確定ボ
タン144及び終了ボタン145からなっている.操作
者がメニューバー141のクリックにより所望の内視鏡
検査を指定後、さらに画像一覧ボタン143をクリック
すると、該当する内視鏡検査において記録された内視鏡
画像が一覧表示される図13に示すような画像一覧表示
ウィンドウ150が開かれる。
表示された内視鏡検査に基づいて記録されている内視鏡
画像に対しては、後述する内視鏡画像の表示、画像処
理、ROIの設定及び特徴量算出、判別分類等の各処理
が適用されることとなる。
に示すように、内視鏡検査データにおける管理データ及
び記録された内視鏡画像の枚数等を表示するためのデー
タ表示領域151と、記録された内視鏡画像ごとに付与
された画像No.等を表示することにより所望の内視鏡
画像を指定することができるメニューバー152と、ス
クロールバー153と、メニューバー152上でクリッ
クにより選択した内視鏡画像の表示を開始するための表
示開始ボタン154及び終了ボタン155からなってい
る。
(ここでは内視鏡画像)をクリックにより選択した後、
表示ボタン154をクリックすることにより、選択され
た内視鏡画像を表示する図14に示すような画像表示ウ
インドウ160が開かれる。
すように、画像表示領域161と、管理データ等を表示
するためのデータ表示領域162と、後述するROI設
定処理等において画像選択等に使用される確定ボタン1
63及び終了ボタン164からなっている。
表示された内視鏡画像を見ることにより、最終的な検索
結果が所望する内視鏡画像であるか否かを確認すること
ができる。
ウ120上でのすべての作業が終了した場合には、終了
ボタン123をマウス45でクリックすることにより画
像管理データウインドウ120が閉じられる。
クリックされた場合には、画像表示ウインドウ160が
開かれるとともに,選択された内視鏡画像が観察モニタ
35上に表示されるように制御してもよい。
した各ブロックより、内視鏡画像の検索が必要とされる
任意の時点で実行可能となっている。すなわち、各ブロ
ックにおける機能を実行するウィンドウ(図示せず)上
に、図11の検索ウィンドウ130を開くことを指示す
るための検索指示ボタンを設定しておくことができる。
ック77の動作について説明する。画像処理アイコン1
17をマウスポインタ84で選択する(図7参照)こと
で、画像処理ブロック77は、図15に示すような画像
処理ウインドウ170を開く。画像処理ブロック77は
前述のように、ハードディスク23に記録された内視鏡
画像に対し、所望の画像処理を適用する。
ウインドウ170上において指定される。画像処理ウィ
ンドウ170は、実行する画像処理の一覧表示からなる
メニューバー171と、スクロールバー172と、前述
した検索処理の実行を指定するための検索ボタン173
と、メニューバー171において指定した1つ以上の画
像処理の実行開始を指定する実行ボタン174及び終了
ボタン175からなっている。
て、所望する画像処理名をクリックにより指定する。画
像処理として、例えばノイズ除去処理、構造成分強調処
理、2値化処理がある。
とにより,前述の検索ウインドウ130が開かれる(図
11参照)。前述した一連の検索処理を経て、操作者は
検索結果表示ウィンドウ140において、メニューバー
141及び確定ボタン144のクリックにより、選択し
た画像処理を適用する内視鏡画像を選択し終了ボタン1
34をクリックすることで、画像処理ウインドウ170
に戻る(図12参照)。
を終了後、図15において、実行ボタン174をクリッ
クすることにより処理が実行される。メニューバー17
1上に表示される各画像処理は、サブルーチンプログラ
ムとしてハードディスク47に記憶されている。実行結
果である処理結果画像は、新たに開かれる処理結果画像
表示ウインドウ上に表示される.処理結果画像を表示す
る処理結果画像表示ウィンドウ180は、図16に示す
ように、処理結果画像表示領域181と、画像管理デー
タ表示領域182と、処理結果画像のハードディスク2
3への記録開始を指示するための記録開始ボタン183
及び終了ボタン184からなっている。
の管理データ及び適用した画像処理の処理名等を表示す
る。また、記録開始ボタン183をクリックすることに
より、処理結果画像がハードディスク23に管理データ
とともに記録される。
ない場合には、終了ボタン184をクリックすることに
より処理結果画像表示ウィンドウ180を閉じればよ
い。この場合、処理結果画像は棄却される。
タベース管理ブロック72について説明する。データベ
ース管理ブロック72は、診断支援装置1における内視
鏡検査、内視鏡画像、設定したROI及び各機能におけ
る処理結果等をデータベース化し管理するものである。
データベースは、図17に示すように、検査データ19
0、患者管理データ191、処理結果画像管理データ1
92、画像処理手法データ193、画像管理データ19
4、ROI管理データ195、部位データ196、所見
データ197、分類データ198、特徴量算出手法デー
タ199、ROI間相互特徴量データ200、ROI特
徴量データ201及び判別分類手法データ202、デー
タセット名データ203、使用特徴量データ204、分
類クラスデータ205、クラス別サンプルデータ20
6、判別分類係数データ207、判別分類結果データ2
08、判別境界値データ209により構成されており、
各データはそれぞれファイルとしてハードディスク23
に記憶されている。
位である前述の内視鏡検査ごとに付与されるデータを管
理するデータベースである。
日及び患者ID等の患者ごとに付与されるデータを与え
る参照用データベースである。
下に管理される内視鏡画像ごとに付与されるデータを管
理するデータベースである。
画像処理が適用された処理結果画像に付与されるデータ
を管理するデータベースである。
手法の種類を与える参照用データベースである。
るいは処理結果画像に対し、後述する一連の処理により
設定されたROIの個々に対して付与されるデータを管
理するデータベースである。
対し、診断部位を与えるための参照用データベースであ
る。
対し、所見属性を与えるための参照用データベースであ
る。
対し、診断分類を与えるための参照用データベースであ
る。
たROIに対して適用する特徴量算出処理の名称を与え
る参照用データベースである。
する一連の処理により算出されるROI間相互特徴量を
管理するためのデータベースである。
連の処理により算出されるROI特徴量を管理するため
のデータベースである。
た特徴量を用いた判別分類処理手法の名称を与える参照
用データベースである。
手法に基づく後述する判別分類系を管理するためのデー
タベースである。
生成において使用した特徴量の名称を管理するためのデ
ータベースである。
分類系のデータセットが分類の対象とするクラス(本実
施の形態においては診断分類)を管理するためのデータ
ベースである。
類系の生成においてデータセットが教師データとして使
用したROIを管理するデータベースである。
判別分類系における各係数値を管理するためのデータベ
ースである。
ROIに対して生成された判別分類系を適用して得られ
た結果を管理するためのデータベースである。
別分類系の判別分類基準となる値を管理するためのデー
タベースである。
位(食道、胃、大腸等)、所見(発赤、褪色、隆起
等)、診断分類(正常、潰瘍、早期癌等)の名称を項目
として含むデータベースである。参照用データベース
は,操作者により、任意の時点で項目の追加、変更及び
削除等のカスタマイズが可能なデータベースである。
ースは、各々が管理対象とするデータが発生した時点で
項目が生成される。例えば、新たな内視鏡検査により内
視鏡画像が記録された場合には検査データ190及び画
像管理データ194に新たな項目が追加生成される。ま
た、データが更新、削除された場合に連動し、対応する
項目が更新、削除される。
各々のキーとなるプライマリナンバを参照することによ
り結合がなされている。プライマリナンバは各データベ
ースにおける項目ごとに1対1に付与された番号であ
る。これにより、検査、患者、画像、ROI等の種々の
データが関連づけられる。
ベース化すべきデータの出現、データの内容変更等が生
じた場合に、各データのオープン、読みだし、書換、格
納、クローズ等の一連の作業を制御する。
をクリックすることにより、患者管理データ191、部
位データ196、所見データ197及び分類データ19
8における項目の追加、変更及び削除等のカスタマイズ
が可能となる。その場合、データベースカスタマイズウ
インドウ(図示せず)が開き、操作者は該ウインドウ上
においてカスタマイズするデータ、追加、変更及び削除
等の操作を行い、確定ボタン及び終了ボタンのクリック
により作業を終了する。データベース管理ブロック72
は、確定ボタンのクリックにより該当するデータの書き
換えを行う。
ブロック73の動作について説明する。図7のROI設
定アイコン113のクリックによりROI設定処理の実
行を選択すると、図10に示した画像管理データウイン
ドウ120が開く。以下、前述の手順にしたがいROI
の設定を行う内視鏡画像を、図12に示したように、検
索結果表示ウィンドウ140上のメニューバー141に
おいて選択する。続いて、確定ボタン144をクリック
することにより、新たなROI設定ウインドウが開かれ
る。
ウ220は、画像表示及びROI描画作業を行うための
ROI表示領域221、設定するROIの番号を指定す
るROI番号選択ボタン222、算出する特徴量を指定
するための特徴量選択ボタン223、設定したROIに
対し、部位、所見及び分類をそれぞれ設定するための部
位設定ボタン224、所見設定ボタン225及び分類設
定ボタン226、特徴量の算出を実行するための特徴量
算出実行ボタン227、ROIの設定をやり直す場合等
に使用するROI削除ボタン228、設定したROIの
データベースへの登録を指示する確定ボタン229、終
了ボタン230,画像表示領域においてROIの描画線
の表示または非表示を指定するためのROI表示指定ボ
タン231及びROI非表示指定ボタン232から構成
される。
インドウ220上の各機能ボタンをクリックすることに
より作業を進める。なお、本実施の形態においては1枚
の内視鏡画像上に最大5個のROIが設定可能であるも
のとする。
を、ROI設定ウインドウ220における画像表示領域
221に表示する。操作者は、表示された内視鏡画像を
確認後、マウスポインタによりROI番号選択ボタン2
22をクリックする。ROI番号選択ボタン222は数
字1ないし5を示しており、それぞれが設定されるRO
Iの番号(1)ないし(5)に対応している。
マウス45の操作によりROIの描画を行う。ROIの
描画は、例えばマウス45のボタンを押下したままでマ
ウスポインタ84を移動させ、その軌跡を表示するよう
に制御すればよい。描画されたROIに対して、対応す
るROIの番号(1)ないし(5)のいずれかを画像表
示領域221上に重畳表示する。
の描画に限らず、正方形あるいは長方形のような矩形に
より設定してもよい。矩形の水平及び垂直方向の大きさ
(サイズ)は、操作者による指定または、例えば5画素
ずつ大きくした初斯設定値群から選択する等の可変にし
ておく。その場合は、図18に示したROI設定ウィン
ドウ上において、「矩形/任意描画選択ボタン」及び
「矩形サイズ指定ボタン」(ともに図示せず)を備える
ものとする。操作者は,マウスポインタ84を移動し、
画像表示領域221に表示された画像上の所望の位置に
矩形のROIを設定することが可能となる。画像表示領
域221上において、マウスポインタ84と同時に矩形
を表示し、マウスポインタ84の移動にともない矩形も
移動するように制御する。
円、その他の多角形等の任意の定形ROIを任意の大き
さで設定できるようにしてもよい。
徴量を指定する。この操作は特徴量選択ボタン223を
クリックすることにより行う。特徴量選択ボタン223
をクリックすると、図19に示す算出特徴量メニューウ
インドウ240が開く。
各種処理手法名及び各々から算出される特徴量の名称を
表示するメニューバー241と、スクロールバー242
と、後述するROI間相互特徴量を指定するための相互
特徴量算出ボタン243と、やはり後述する特徴量の一
括選択を指定する一括選択ボタン244と、算出する特
徴量の指定を確定し算出特徴量メニューウインドウ24
0を閉じるための確定ボタン245から構成される。
において実行可能である処理手法群と、各処理手法の適
用により得られる特徴量の名称からなる項目が表示され
ている。処理手法としては、例えば設定したROIに内
包された各画素におけるR、G及びB画像データに基づ
き色調を評価する手法、濃度共起行列等を用いたテクス
チャを解折する手法等、種々のものが考えられる。算出
の指定はマウス45を用いてメニューバー241上の該
当する項目をクリックすることにより行われる。
ら、任意の特徴量を指定可能とすることにより、不要な
特徴量の算出にともなう計算時間及び算出結果の記憶領
域の節減を図ることが可能となる。
ては,算出する特徴量の指定をメニューバー241の各
項目を逐一クリックすることによるのみでなく、一括選
択ボタン244を使用することによりさらに簡便に行う
ことができる。
合、新たな一括選択メニューウインドウが開かれる。
インドウ250は、算出する特徴量の組み合わせを選択
するための組み合わせ番号ボタン251と、組み合わせ
番号ボタン251により指定される算出される特徴量の
項目を表示する特徴量表示領域252と、すべての特徴
量の算出を指定するための全選択ボタン253と、確定
ボタン254と、一括選択メニューウインドウ250上
での操作を終了するための終了ボタン255から構成さ
れている。
後の判別分類処理において使用する特徴量の数通り(本
実施の形態においては3組とする)の組み合わせを、あ
らかじめ設定しておく。すなわち、組み合わせ番号ボタ
ン251の1ないし3に番号付けされたボタン及び確定
ボタン254をクリックすることにより、常に必要最小
限の特徴量を算出することが可能となる。したがって、
使用しない特徴量算出に要する計算時間及び算出された
値を記憶するための記憶領域の大幅な節約が実現でき
る。
場合においては、メニューバー251における特徴量す
べてが選択される。これにより、すべての特徴量が必要
な場合において、算出する特徴量示す項目を逐一クリッ
クする労力が省かれることとなる。
後述する特徴量算出処理及び判別分類処理の実行時にお
いて行うことも可能であるため、ROIの設定時におい
ては省略(指定なし)してもかまわない。
う。ROIの設定における部位の指定は、例えば内視鏡
検査における部位が胃であれば、噴門、胃角、胃体部、
幽門等の詳細部位が与えられる。図18のROI設定ウ
インドウ220において、部位設定ボタン224をクリ
ックすることにより、新たな部位指定メニューウインド
ウが開かれる。
インドウ260は、図17の部位データ196における
項目を表示するメニューバー261と、スクロールバー
262と、部位の設定を確定する確定ボタン263から
なっている。また、確定ボタン263は終了ボタンの機
能も兼ねており、クリックされた時点で部位指定メニュ
ーウインドウ260を閉じる。操作者は、所望する部位
の名称をメニューバー261をクリックすることにより
選択し、確定ボタン263をクリックすることにより確
定する。
0の所見設定ボタン225及び分類設定ボタン226を
クリックすることにより、部位の指定と同様にして設定
するROIの所見及び分類を指定する。所見及び分類の
指定においては、所見指定メニューウインドウ及び分類
指定メニューウインドウ(ともに図示せず)を開く。そ
の際,各々のメニューウインドウが部位指定メニューウ
インドウ260の内容と異なる点は,メニューバー26
1上がそれぞれ所見データ197及び分類データ198
における項目となることである(図17参照)。
は、それぞれ初期値として「未設定」を与えておく。こ
れにより、各項目の指定を省略してROIの描画のみを
行う等の作業が可能となる。
定が終了すると、確定ボタン229をクリックを機にR
OI管理データ195(図17参照)に新たなデータが
追加される。
等の操作を順序立てて説明したが、ROIの設定におい
てはROI番号選択ボタン222及び確定ボタン229
がそれぞれROI設定開始時及び設定終了時にクリック
されればよく、その間の作業はどのような順序で行って
もよい。
が可能となる。特徴量の算出は、後述する特徴量算出ブ
ロック74が動作することにより行われ、特徴量算出実
行ボタン227のクリックのみでなく、特徴量算出アイ
コン114のクリック及び判別分類ブロック75からの
呼び出し(ともに後述する)からも実行可能である。
いて、特徴量算出実行ボタン227がクリックされる
と、算出する特徴量の選択がなされている場合には、図
22に示す特徴量算出結果表示ウインドウ270が開
く。算出する特徴量が未選択であれば、「算出する特徴
量を選択して下さい」等のメッセージを表示する。
ウインドウ270は、各ROIごとに算出された特徴量
の値等を表示するための表示領域271と、スクロール
バー272及び終了ボタン273とからなっている。表
示領域271においては,検査NO.、患者ID、患者
名、画像No.、ROIの番号等、ROIに関する情報
が表示されるとともに、算出が終了したROIから逐次
算出結果である値が表示される。また、ROI設定ウイ
ンドウ220を複数開き、異なる複数の内視鏡画像に対
し、並行してROIの設定を行う場合等、多数のROI
から特徴量を算出する場合には、スクロールバー272
を使用することができる。操作者は、算出結果を確認
後、終了ボタン273をクリックすることにより、特徴
量算出結果ウインドウ270を閉じる。特徴量の算出結
果は、ROI特徴量データ201に追加される(図17
参照)。
徴量を1つの特徴量算出結果表示ウインドウ270上に
表示したが、各特徴量ごとに異なる特徴量算出結果表示
ウインドウを開くように制御してもよい。
0においては、ROI表示指定ボタン231及びROI
非表示指定ボタン232のそれぞれがクリックされるこ
とにより、画像表示領域221におけるROIの描画線
を表示及び消去するように制御する。これにより、操作
者は任意の時点でROIの描画線のない内視鏡画像を確
認することができる。
7による処理結果画像とすることも可能である。この場
合、設定されるROIの描画位置、部位、所見及び分類
等は、画像処理の適用されていない原画像と同一であ
る。したがって、原画像である内視鏡画像においてRO
Iの設定あるいは変更がなされた場合には、同一のデー
タを処理結果画像に対しても付与するように制御する。
また、処理結果画像においてROIの設定あるいは変更
がなされた場合には、やはり原画像に対して同一のデー
タを付与するように制御すればよい。
OIを設定する場合、あるいは比較のため同一部位を切
り出してひとつの画面上に表示する場合等では、座標位
置、ROIサイズ等の情報を各々の画像に対し操作者が
別個に指定する必要があった。
び処理結果画像に対するROIの設定方法を説明するた
めの説明図である。図23において、(a)は原画像、
(b)は処理結果画像をそれぞれ示している。
aが定められたとき、図23(b)の処理結果画像に対
しても、自動的にROI1bが設定されたこととする。
ROI1a及びROI1bは、それぞれ画像上における
ROIの位置、大きさ及び形状が同一であるものとす
る。
おけるROI1bが先に設定されれば、対応する図23
(a)の原画像に対しても同様にRO1aを設定する。
上のの処理結果画像のいずれか1つにおいてROIが設
定された場合には、関連する各画像上においても同一の
ROIが設定されたものとみなし、必要なROI管理デ
ータ等を付加するように制御する。
ブロック74における特徴量算出手法について説明す
る。本実施の形態としては、特徴量算出手法として、G
abor(ガボール)特徴に基づくテクスチャ解折手法
を適用する。
る。Gabor特徴は、人間の視覚系のモデル化に基づ
く特徴量であり、画像における位置(座標)に依存する
局所的な情報を保存した周波数成分の解折手法である。
なお、より詳しい説明は文献「Gabor特徴による指
紋認識;浜本他:1995年第26回画像工学コンファ
レンス発表予報集 P.91〜P.94」に記述されて
いるため、ここでは概要を示すものとする。
原画像とのたたみ込み演算により得られた値から算出さ
れる特徴量である。Gaborフィルタは、2次元ガウ
ス曲面と2次元平面上を一方向に伝わる平面波とをかけ
合わせたものであり、ガウス曲面における標準偏差σx
とσy、平面波の進行方向θk及び平面波の波長λmによ
り決定される。標準偏差σxとσyは波長λmと密接に関
係しており、波長λmの関数とすることができ、それぞ
れσx(λm)及びσy(λm)と表される。Gaborフ
ィルタは、実部Re(f)及び虚部Im(f)からなる
2次元フィルタであり、それぞれ、
及び(2)におけるσx(λm)、σy(λm)、λm及び
θkを変更することにより、種々の特性を実現すること
が可能である。
画像から抽出する周波数成分の帯域を、方向θkはその
方向を規定する。
画像とのたたみ込みから得られる。画像を大きさN×N
の多値画像I(i,j)(0≦i≦N-1,0≦j≦N-
1)とし、画像上のサンプリング画素を(X,Y)とす
る。ある特定のθk、λmに対するGaborフィルタと
画像とのたたみ込みは、
or特徴の値h(X,Y,θk,λm)は、
1/2を表す。
(X,Y,θk,λm)を、複数のθk及びλmの各々の組
み合わせ数(Lとする)分作成し、M個のサンプリング
画素に対して算出する。得られた特徴の値を用いて特徴
次元数M×Lの特徴量(特徴ベクトル)とする。
いて行うのであれば、
π/4(radian)とすればよい。また、波長λmは、2
1/2,2×21/2,4×21/2,8×21/2のように適宜定
める。さらにσx(λ)及びσy(λ)については、例え
ばσx(λm)=σy(λm)=0.5×λmのように定め
ればよい。σx(λm)≠σy(λm)とすることも可能で
ある。
特徴に基づく特徴量算出手法を説明するためのフローチ
ャートである。ステップS101において、内視鏡画像
上に設定されたROIにおけるG画像データIgを取得
する。ここでは、簡単のためROIの形状は大きさN×
Nの矩形であるものとする。ステップS102におい
て、取得したG画像データIgに対し、ノイズ除去、逆
γ補正、シェーディング補正等の各前処理を適用するか
否かを判断し、適用する場合はステップS103へ、適
用しない場合はステップS104に進む。
ィルタリング等によるノイズ除去、逆γ補正、シェーデ
ィング補正等の前処理をG画像データIgに対し適用す
る。なお、前処理の各々を選択的に適用してもよい。
タIgに対し、前述したGaborフィルタによるGa
bor特徴を算出する。本実施の形態においては、上述
したGabor特徴を、 θk=(0,π/4,π/2,3π/4) (a) λm=(3×21/2,6×21/2) (b) σx(λm)=σy(λm)=0.5×λm (c) について設計したL=8個のGaborフィルタによ
り、G画像データIgからM個のサンプリング画素につ
いて算出するものとする。
ンプリング画素の取り方を説明するための説明図であ
る。ここでは、図25に示すように、大きさN×NのG
画像Igに対し、間隔Dで5×5の計25画素のサンプ
リング画素を設定し、L個のGaborフィルタによる
Gabor特徴を算出する。
いては、ステップS104において算出したM×L(=
120)個のGabor特徴hij(i=1,2,…,
M;j=1,2,…,L)を特徴量とし、各値を特徴量
算出結果ウィンドウ(図22参照)に表示し、ROI特
徴量データ201に記億する。
るGaborフィルタの適用によるGabor特徴の利
用により、画像上の位置に依存する局所的な情報を保存
した特徴量の算出が可能となる。得られた特徴量を用い
て内視鏡画像における粘膜表面の構造パターンを示すテ
クスチャの解折及び判別分類が良好に行える。
方向θk、波長λm及び標準偏差σxとσyの各々の与え方
は、本実施の形態の例に限定されるものではなく、適用
対象とする画像に合わせる等適宜決定してよい。また、
方向θkを非等間隔に設定してもよい。
を正規化して使用することももちろん可能である。その
場合は、例えば周波数領域における直流成分に対する周
波数応答を0に、通過帯域における周波数応答の絶対値
の最大値をα(αは任意の定数)となるように各Gab
orフィルタを変更すればよい。さらに、このような正
規化を、算出されたGabor特徴に対して適用しても
よい。
出の対象として、ROIにおけるG画像を用いたが、R
及びB画像から同様の特徴量を算出してもよい。また、
例えば輝度画像等のR、G及びB画像データに対する演
算の適用により得られた画像に対して適用することも可
能である。
サンプリング画素に関し適用するのみでなく、ROIに
内包される全画素から得るようにしてもよい。
のではなく、任意の描画形伏でのROIから同様の特徴
量を求めることも可能である。
OI間相互特徴量について説明する。ROI間相互特徴
量とは、1枚の内視鏡画像中に設定したROIにおける
2個以上の組み合わせにより算出された特徴量を指し示
す。
量としてlog(G/R)の平均値間の差分演算を想定
した場合、ROI間相互特徴量は各々のROIより算出
したlog(G/R)の平均値v1及びv2との差分で
ある v=v1−v2 となる。また、差分演算以外にも除算による比v1/v
2の算出等、種々のものが考えられ(例えば、(v1−
1)×v2のような数式でもよい)、3個以上のROI
における特徴量の任意の演算を用いてもよい。
り、異なる病変間の正常粘膜に対する相対的な差異を評
価することが可能となる。例えば、ある病変1と病変2
との判別において、それぞれの色調を正常粘膜と比較し
た際に前者は白色調,後者は赤色調として観察者により
判断される場合がある。これは、1枚の内視鏡画像中に
おける病変部位とその周辺における正常粘膜との相対的
な評価に基づいている。
よる観察光の照射条件は、内視鏡画像1枚ごとに異な
る。したがって、同じ白色調あるいは赤色調の病変を撮
像した場合においてもそれらを構成するR,G及びB画
像データの組成は異なることとなる。そこで、1枚の内
視鏡画像の視野内においては比較的撮像条件が均一と考
えられることから、同一画像中における複数のROIか
ら算出される特徴量の相対的な値を求めることにより、
撮像条件のばらつきに影響されない判別分類が可能とな
る。
ニューウインドウ240で、相互特徴量算出ボタン24
3がクリックされた場合、図26に示すROI間相互特
徴量メニューウインドウ280が開く。
80は、算出する特徴量の種類を指定するためのメニュ
ーバー281と、スクロールバー282と、ROI間の
演算の種類を指定するためのニューバー283と、スク
ロールバー284と、後述する基準分類を指定するため
のメニューバー285と、スクロールバー286と、相
互特徴量の一括選択を行うための一括選択ボタン287
と、算出するROI間相互特徴量を確定しROI間相互
特徴量メニューウィンドウ280を閉じるための確定ボ
タン288から構成される。
バー241と同様に、算出可能である特徴量が一覧表示
され、操作者のクリックにより算出する特徴量の種類が
設定される。その際、図19のメニューバー241にお
いて設定された特徴量があれば、メニューバー281に
おいても同じ特徴量が自動的に選択されるように制御し
てもよい。
ニューバー281をスクロールさせることができる。
互演算の種類を設定するためのもので、複数の演算を選
択可能である。
ニューバー283をスクロールさせることができる。
量の算出において、基準とするROIの分類である基準
分類を設定する。前述した例において、病変1と病変2
のそれぞれの正常粘膜に対するROI間相互特徴量を算
出する場合には、基準分類を正常とする。複数の基準分
類を選択可能としてもよい。
ニューバー285をスクロールさせることができる。
の一括選択ボタン244の動作と同様に、算出するRO
I間相互特徴量の一括選択を指定する。
インドウ280における一連の作業を終了後、確定ボタ
ン288のクリックにより算出するROI間相互特徴量
を確定の上、ROI間相互特徴量メニューウインドウ2
80を閉じ、図18のROI設定ウインドウ220に戻
る。
合には、図18において特徴量算出実行ボタン227の
クリックによりROI間相互特徴量が算出される。
するための説明図であって、内視鏡画像290におい
て、ROIが5個設定されそれぞれに分類ボタン226
(図18参照)を用いての分類がなされているものとす
る。また、図27に示す例においては、基準分類は正
常、相互演算は差分演算が設定されているものとする。
また,各ROI(1)ないし(5)における特徴量をv
1ないしv5とする。
分類と同一の分類がなされたROIから算出される特徴
量と、その他の分類がなされたROIから算出される特
徴量との演算を行うものである。したがって、この場
合、ROI間相互特徴量は、以下の通り求められる。た
だし、ともに基準分類が与えられたROI間においては
ROI間相互特徴量の算出は行わないものとする。
として自動的に決定することが可能である。図28は、
ROI間相互特徴量算出における自動組み合わせの動作
を説明するためのフローチャートである。
分類(この例では正常)がなされたROIの番号をカウ
ントするための変数iを1に初期化し、ステップS2へ
進む。
Iの分類が正常であるかどうかを判定する。判定結果が
真であればステップS3へ、偽であればステップS9へ
進む。
の判定により基準分類であるとされたi番目のROIと
の特徴量間の差分算出対象とするROIの番号をカウン
トする変数jを1に初期化し、ステップS4へ進む。
どうかを判定し、判定結果が真であればステップS7
へ、偽であればステップS5へ進む。
の分類が正常であるかどうかを判定する。判定結果が真
であればステップS7へ、偽であればステップS6へ進
む。
目のROIにおけるROI間相互特徴量の算出を行い、
ステップS7へ進む。
し、ステップS8へ進む。
否か、すなわち、すべてのROI(この例では5個)に
対する処理が終了したかどうかを判定する。判定結果が
真であればステップS9へ、偽であればステップS4進
む。
し、ステップS10へ進む。
か否か、すなわち、すべてのROI(この例では5個)
に対する処理が終了したかどうかを判定する。判定結果
が真であれば処理を終了し、偽であればステップS2へ
進む。
ックされると、算出するROI間相互特徴量の選択がな
されている場合にはROI間特徴量算出結果表示ウイン
ドウ(図示せず)が開く。ROI間特徴量算出結果ウイ
ンドウの構成は、前述の特徴量算出結果表示ウィンドウ
(図22)とほぼ同一であり、例えば(1)−(2)
等、どのROIが組み合わされたかがわかるように表示
される点のみが異なる。
間相互特徴量データ200に追加される(図17参
照)。
をクリックすると、新たな特徴量算出ウインドウが開
く。
ウ300は、特徴量を算出するROIを選択するための
ROI指定ボタン301と、特徴量の算出を実行するた
めの特徴量算出実行ボタン302及び終了ボタン303
からなっている。
ックすることにより、図30に示すROI指定ウインド
ウ310が開く。
ウ310は、すでに設定済みであるROIの一覧を表示
及び選択することが可能であるメニューバー311と、
スクロールバー312と、すべての設定済みのROIを
特徴量算出の対象として指定する為の全ROI指定ボタ
ン313と、設定されているROIを確認するためのR
OI画像表示ボタン314と、算出する特徴量の種類を
選択する特徴量選択ボタン315と、部位,所見あるい
は分類によりメニューバー311上に表示するROIを
限定するためのROI限定ボタン316及びROI指定
を確定しROI指定ウィンドウ310を閉じるための確
定ボタン317からなっている。
患者ID、患者名、画像No.あるいはROIの番号
等、ROIを特定するためのデータが表示され、任意の
事項をクリックすることによりROIを指定する。
れた場合には、メニューバー311上で指定されている
ROIを含む内視鏡画像を表示する、ROI設定ウィン
ドウ220における画像表示領域221(図18参照)
に準じた新たなウインドウ(図示せず)が開かれる。そ
の際、内視鏡画像と同時に、部位、所見及び分類等のデ
ータを併せて表示してもよい。
場合には、前述のROI設定ウィンドウ220における
特徴量選択ボタン223がクリックされた場合と同様の
処理が行われる。
場合には、操作者によるメニューバー311への表示項
目の限定が行われる。すなわち、部位、所見あるいは分
類をキーとし、指定されたデータが付されたROIのみ
を表示するようにする。
タン317クリックすることにより、特徴量を算出する
ROIの指定が確定し、ROI指定ウィンドウ290を
閉じる。
リックされた場合においては、指定されたROIに対す
る特徴量の算出が行われる。この後の動作は、前述した
ROI設定ウインドウ220における特徴量算出実行ボ
タン227がクリックされた場合と同様である。
とにより特徴量算出ウインドウ300を閉じる。
ック75の動作について説明する。
は非統計的な手法として、種々のものが知られている。
前者は線形判別関数、ECM 規則等が挙げられ、後者はニ
ューラルネットワークによる判別器等が挙げられる。本
実施の形態においては公知技術として広く用いられてい
るFisherの線形判別関数(2クラス分類)を扱うことと
する。
実施の形態においては、設定したROIに対して付され
た分類をクラスとする)における1つ以上の特徴量か
ら、判別分類器(本実施の形態においては線形判別関
数)を作成し、判別分類対象とするデータがいずれのク
ラスに該当するかを判定するものである。判別分類器の
作成にあたっては、あらかじめ正しいクラスが与えられ
たサンプルデータ(教師データと呼ばれる)における1
つ以上の特徴量の値の組み合わせ(特徴ベクトルと呼ば
れる)を複数使用する。
るI型早期癌及び腺腫をクラスとする。また、特徴ベク
トルを構成する特徴量を、ROI間相互特徴量とし、各
ROIにおける正常粘膜とのlog(G/R)及びlo
g(B/R)の平均値の差分を使用するものとする。
対象とするクラス、特徴ベクトルとして使用する特徴量
の種類、教師データとして使用したROIの組み合わせ
及び判別分類器における各係数をデータセットと呼称す
る。
をクリックすることにより、新たな判別分類ウィンドウ
を開く。
320は、適用する判別分類手法の種類を表示及び選択
するためのメニューバー321と、スクロールバー32
2と、後述するデータセット作成処理を動作させるため
のデータセット作成ボタン323と、判別分類を実行す
るための判別分類実行ボタン324及び終了ボタン32
5からなっている。
である判別分類手法が一覧表示され、操作者はクリック
により実行する判別分類手法を選択する。
すると、新たなデータセット作成ウインドウが開く。
ィンドウ330は、判別分類対象とするクラスを設定す
るためにクラス(ここでは分類)を表示及び選択するた
めのメニューバー331と、スクロールバー332と、
特徴ベクトルとして使用する特徴量を選択するためのメ
ニューバー333と、メニューバー333を垂直及び水
平方向にそれぞれスクロールさせることができるスクロ
ールバー334a及び334bと、教師データを指定す
るためのクラス別ROI選択ボタン335と、作成する
データセットに対して名称を付すためのデータセット名
入力領域336と、データセットの作成を実行する作成
実行ボタン337と、すでに作成済みのデータセットを
呼び出すことができる既存データセット呼び出しボタン
338及び終了ボタン339からなっている。
判別分類対象とするクラスを、メニューバー333上に
おいて、特徴ベクトルとして使用する特徴量を選択す
る。
クすることにより、新たなクラス別ROI一覧ウインド
ウが開く。このクラス別ROI一覧ウインドウは、判別
分類対象とするクラス数と同じ数だけ開くものとする。
ウインドウ340は、設定されたROIの一覧を表示及
び選択するためのメニューバー341と、スクロールバ
ー342と、対応するクラスの名称を表示するための出
力表示領域343と、メニューバー341上に表示され
たすべてのROIを一括選択するための全選択ボタン3
44及び確定ボタン345からなっている。
OIにおいて対応するクラスの分類が付されたものが一
覧表示され、クリックにより教師データとして使用する
ことが指定される。また、全選択ボタン344をクリッ
クすることにより、メニューバー341上に表示された
すべてのROIを教師データとして一括指定することも
可能である。
了後、確定ボタン345をクリックすることによりクラ
ス別ROI一覧ウィンドウを閉じる。
ス数回行うことにより、教師データの指定を完了する。
成するデータセットに対する名称を付与することができ
る。データセット名は図32の出力表示領域336上に
表示される。
インドウ330上での作業は、任意の順序で行うことが
可能である。
することにより、データセットの作成が行われる。Fish
er の線形判別関数においては、特徴ベクトルを構成す
る特徴量の個数と同数の係数と、判別分類の境界値が算
出される。
38をクリックすると、新たなデータセット一覧ウイン
ドウが開かれる。
インドウ350は、作成済みであるデータセット名の一
覧表示し、選択するためのメニューバー351と、スク
ロールバー352と、確定ボタン353及び終了ボタン
354からなっている。
ット名を1個選択し、確定ボタン353をクリックする
ことにより、データセット作成ウインドウ330におけ
るメニューバー331、メニューバー333、出力表示
領域336の設定内容を選択したデータセットと同じも
のとすることができる。また、クラス別ROI一覧ウイ
ンドウ340における各表示項目も同様である。
ることにより、新たなデータセットを作成することが可
能となる。これにより、判別分類への寄与度が低い特徴
量の使用をやめる、教師データとするROIの組み合わ
せを若干変更するといった調整が可能となる。
クリックすることによりデータセット作成ウィンドウ3
30を閉じる。
をクリックすることにより、作成したデータセットを用
いた判別分類が実行される。判別分類実行ボタン324
をクリックすると、新たな判別分類実行ウインドウが開
く。
ドウ360は、既に作成済みのデータセット名の一覧を
表示及び選択することができるメニューバー361と、
スクロールバー361と、設定されたすべてのROIを
表示及び選択することができるメニューバー363と、
スクロールバー364と、スクロールバー363上に表
示するROIを、教師データと同じクラスとなる分類が
与えられたROIに限定するための対応クラス選択ボタ
ン365と、判別分類の実行を開始するための実行ボタ
ン366及び終了ボタン367からなっている。
れた任意のデータセットを判別分類器として選択する。
また、メニューバー363上に表示された任意のROI
を判別分類対象として選択する。
ックされた場合には、教師データと同じクラスとなる分
類が付与されたROIのみを表示する。これにより、作
成したデータセットによる判別分類の正答率等を確認す
ることが容易になる。
は、選択されたデータセット及びROIを用いた判別分
類処理が実行され、新たな判別分類結果表示ウインドウ
が開く。
インドウ370は、使用したデータセット名を表示する
出力表示領域371と、判別分類の境界値を表示するた
めの出力表示領域372と、判別分類の対象としたクラ
スの名称を表示するための出力表示領域373と、判別
分類対象としたROIの情報及び判別結果を表示するた
めの出力表示領域374と、スクロールバー375及び
終了ボタン376からなっている。
数において2クラスを分離する境界を与える係数であ
る。判別分類対象としたROIの特徴ベクトルから算出
された結果の値がこの境界値に対して大または小である
ことにより、2クラスに分類する。算出結果と境界値と
が等しい場合にはいずれのクラスに分類するかをあらか
じめ決定しておけばよい。
結果が得られたROIに関する検査No.、患者ID、
画像No.、ROIの番号等のデータ及び判別分類結果
を逐次表示する。
ン376をクリックすることにより判別分類結果表示ウ
インドウ370を閉じる。
択されたデータセットの個数分開かれ、各データセット
ごとの判別分類結果が表示される.以上説明した一連の
作業における所望の処理を実施後、図31の判別分類ウ
インドウ320における終了ボタン325をクリックす
ることにより判別分類ウインドウを閉じる。
おいては、教師データあるいは判別分類対象データとし
て指定されたROIにおいて、特徴ベクトルとして使用
する特徴量が未算出である場合には自動的に特徴量算出
ブロック74を呼び出すよう制御する。これにより、あ
らかじめ多数のROIを設定しておき、判別分類におい
て必要とする最小限の特徴量をまとめて算出することが
可能となる。
ト作成ブロック76の動作について説明する。レポート
作成アイコン116(図7)をクリックすることによ
り、レポート作成ウインドウが開く。本実施の形態にお
けるレポートは、特徴量算出及び判別分類における各処
理結果を基に作成されたデータ群からなるものとする。
その内容は、設定したROIから算出した特徴量の値、
データセットによる判別分類結果等に基づく。
ドウ380は、作成するレポートの内容を選択するため
の選択ボタン381と、終了ボタン382からなってい
る。選択ボタン381は特徴量算出または判別分類にお
ける各処理結果において所望するものをクリックする。
双方のレポートを同時に並行して作成することも可能で
ある。
果に対するレポート作成がなされた場合には、新たな特
徴量レポート作成ウインドウが開かれる。
ウインドウ390は、レポート作成の対象とするクラス
すなわち分類の一覧を表示及び選択するためのメニュー
バー391と、スクロールバー392と、使用する特徴
量の一覧を表示及び選択するためのメニューバー393
と、スクロールバー394a及び394bと、レポート
の表示開始を指示するための表示ボタン395と、後述
するグラフの表示開始を指示するためのグラフ作成ボタ
ン396及び終了ボタン397からなっている。
において、レポート作成に使用するクラス及び使用特徴
量を選択する。
ことにより、新たな特徴量レポート表示ウインドウを開
く。図39に示すように、特徴量レポート表示ウインド
ウ400は、メニューバー391において選択したクラ
ス数と同数開かれ、クラス名を表示する出力表示領域4
01と、検査No.、患者ID、画像No.、ROIの
番号等のデータ及び各ROIにおけるメニューバー39
3上で選択した特徴量の算出結果が一覧表示されるとと
もに選択可能であるメニューバー402と、スクロール
バー403a及び403bと、レポートの印刷開始を指
示するための印刷開始ボタン404と、終了ボタン40
5からなっている。
目を選択し、印刷開始ボタン404をクリックすること
でその内容をプリンタ51に出力することができる。
の項目を選択するための一括選択ボタンを設けてもよ
い。
り特徴量レポート表示ウインドウ400を閉じる。
96をクリックすることにより、新たなグラフ表示ウイ
ンドウが開く。この場合、メニューバー393において
特徴量の個数は2個となる。
ウ410は、グラフ上にプロットされる各データのクラ
スの凡例を示すための出力表示領域411と、縦軸及び
横軸にそれぞれ選択された特徴量を与えたグラフを表示
するためのグラフ表示領域412と、出力表示領域41
1及びグラフ表示領域412における表示内容の印刷を
指示するための印刷開始ボタン413及び終了ボタン4
14からなっている。
スの選択された特徴量を2次元座標上にプロットする。
表示におけるスケールは、各特徴量の算出結果の最小値
及び最大値を基に自動的に設定される。また、プロット
されたデータ属するクラスの認識を容易にするために、
プロット色はクラスごとに異なるものとする。この例に
おいてはクラス数を3としており、それぞれ赤、青及び
緑の点によりプロットし,その対応を凡例として出力表
示領域401に表示する。
果の平均値あるいは分散等を併せて表示してもよい。
合においては、出力表示領域411及びグラフ表示領域
412における内容を、プリンタ51に出力する。
りグラフ表示ウインドウ410を閉じる。
0及びグラフ表示ウインドウ410を同時に開いている
場合には、メニューバー402における項目と、グラフ
表示領域412におけるプロットとの対応がわかるよう
に制御する。例えば、メニューバー402における項目
をクリックした場合に、対応するプロットを強調表示す
ればよい。
て、判別分類結果に対するレポート作成がなされた場合
には、判別分類結果レポート作成ウインドウ(図示せ
ず)が開かれ、選択したデータセット、判別分類結果等
を適宜選択の上、プリンタ51に出力すればよい。
では、診断支援処理実行プログラム70の特徴量算出ブ
ロック74により、1枚の内視鏡画像中に設定したRO
Iにおける2個以上の組み合わせによりROI間相互特
徴量を算出することで、異なる病変間の正常粘膜に対す
る相対的な差異を評価し、同一画像中における複数のR
OIから算出される特徴量の相対的な値を求めることに
より、撮像条件のばらつきに影響されない判別分類がで
きる。
したGabor特徴に基づく特徴量算出手法は、ROI
に内包される例えばG画像データIgにおけるM個のサ
ンプリング画素に対し、L個のGaborフィルタを適
用することにより得られたM×L個の特徴量をテクスチ
ャ解折及び判別分類に使用するものとしたが、これに限
らず、Gabor特徴のさらなる利用方法として、得ら
れたGabor特徴からより診断に有効なあらたな特徴
量を算出するようにしてもよい。
変形例としては、図23におけるステップS101ない
しS104に示した一連の処理により、M×L個のGa
bor特徴hij(i=1,2,…,M;j=1,2,
…,L)を算出する点は、上記第1の実施に形態と同様
である。
abor特徴を、M個のサンプリング画素毎に、 h(1)=(h11,h12,…,h1L) h(2)=(h21,h22,…,h2L) : : : : h(M)=(hM1,hM2,…,hML) と置き直す。h(i)(i=1,2,…,M)はそれぞ
れL個の要素を持つベクトルと考えることができる。そ
こで、各ベクトルの要素の生起する確率分布を仮定し、
それを規定するパラメータを算出し、得られた値をあら
たな特徴量とすることを考える。
いては、ベクトルh(i)の各要素の生起する確率分布
をL次元の正規分布と仮定し、多次元正規分布を規定す
るパラメータである平均ベクトルμ及び共分散行列Σを
求める。
の各要素は、
おける、i番目のGaborフィルタにより算出される
Gabor特徴の平均値(期待値)を示す。また、共分
散行列Σは、
列Σにおいては,σpq=σqpの性質から、L個の分散
(対角成分)と((L×(L−1))/2)個の共分散
を特徴量として使用すればよい。
散・共分散σpqにより、次元数(L+L+(L×(L−
1))/2)個の値を特徴量とし、特徴量算出結果ウィ
ンドウ(図22参照)に表示し、ROI特徴量データ2
01に記億する。
の変形例では、以上説明したように、ROIにおける各
画素から算出された特徴量の値の生起する確率分布を仮
定し、その分布を規定するパラメータを算出し、あらた
な特徴量とすることにより、より診断に有効な特徴量が
算出可能となる。さらに、特徴次元数の削減という効果
をも得ることができる。
例においては、Gabor特徴に基づく特徴量の生起す
る確率分布について説明した、確率分布を仮定する特徴
は、これに限られるものではない。すなわち、例えば各
サンプリング画素から得られたlog(G/R)、lo
g(B/R)の値についてもその生起する確率分布の型
を仮定し、それを規定するパラメータを算出し、あらた
な特徴量とすればよい。また、特徴量が生起する確率分
布の形態は正規分布に限るものではなく、二項分布,χ
2分布等、種々のものが考えられる。
ては、特徴量算出手法として、設定されたROIにおけ
るR、G及びB画像データに基づく統計量を算出する手
法を使用する。
は、各色信号により構成される各画素の色調や分布が診
断における有用な情報となっている。上記第1の実施の
形態の第2の変形例においては、この点に着目し、判別
分類等への使用に良好な特徴量の算出手法について説明
する。
いては、内視鏡画像における各画素は各々0ないし25
5の値をとるR、G及びB画像データからなるものとす
る。このような内視鏡画像上に設定されたROIにおけ
る統計量としては、例えば以下(1)〜(10)のもの
が考えられる。なお、各統計量を算出するための画素数
を、ここではN個とする。また、ri、gi及びbiは、
それぞれi番目(i=1,2,…,N)の画素のR、G
及びBデータの値を示すものとする。
g,μb その算出式は、それぞれ、
σ2 g,σ2 b その算出式は、それぞれ、
σg,σb σr,σg,σbは、それぞれの分散σ2 r,σ2 g,σ2 bの
正の平方根で与えられる。
σ2 rb,σ2 gb その算出式は、それぞれ、
σb)で与えられる。
偏差 μr/σr,μg/σg,μb/σbで与えられる。
R)の平均値:μ(log(G/R)),μ(log(B/R) その算出式は、それぞれ、
R)の分散:σ2 log(G/R),σ2 log(B/ R) その算出式は、それぞれ、
R)の標準偏差:σlog(G/R),σlog( B/R) σlog(G/R),σlog(B/R)は、それぞれの分散σ2
log(G/R),σ2 log(B/R)の正の平方根で与えられる。
/R)の共分散:σ2 log(G/R)log(B/R ) その算出式は、
biはそれぞれi番目の画素のR、G及びBデータの
値)として、R/A,G/A及びB/Aを算出すること
により、各画素の色調をRGB色空問におけるベクトル
で表現することができ。それらの統計量を特徴量とする
ことも可能である。すなわち、以下の(11)〜(1
6)の統計量を特徴量とすることができる。
値:μr/a,μg/a,μb/a その算出式は、それぞれ、
σ2 r/a,σ2 g/a,σ2 b/a その算出式は、それぞれ、
差:σr/a,σg/a,σb/a σr/a,σg/a,σb/aは、それぞれの分散σ2 r/a,σ2
g/a,σ2 b/aの正の平方根で与えられる。
散:σ2 r/a,g/a,σ2 r/a,b/a,σ2 g/a,b /a その算出式は、それぞれ、
数 σ2 r/a,g/a/(σr/aσg/a)、σ2 r/a,b/a/(σr/aσ
b/a)、σ2 g/a,b/a/(σg/aσb/a)で与えられる。
/標準偏差 μr/a/σr/a,μg/a/σg/a,μb/a/σb/aで与えられ
る。
変形例では、以上に示した統計量をROIより算出する
ことにより、診断に有効な特徴量を得ることが可能とな
る。
の形態に係わり、図41は画像のテクスチャの構造パタ
ーンを示すパターン図、図42は図41のテクスチャの
構造パターンの補正を説明する説明図、図43は図41
のテクスチャの構造パターンの変形例を示すパターン図
である。
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号をつけ説明は省略する。
の形態の構成と同じであり、Gabor特徴のように画
像中の位置に依存する局所的な情報を抽出する特徴量の
補正方法に関する。
k、波長λm及びσx(λm)とσy(λm)により設定され
るGaborフィルタにより算出される値である。一
方、内視鏡での撮像のように、撮像条件を定めることが
難しい条件の下で得られた画像は、回転移動が生じるた
め、上下左右等の方向を規定することが困難である場合
が多い。したがって、算出された、方向θkの変化に依
存する特徴量の値が意味をなさなくなる場合も考えられ
る。
ている画像及び方向を規定することが困難である画像に
おいても、診断に良好に寄与する特徴量を得ることがで
きる補正について説明する。
として第1の実施に形態において説明したGabor特
徴に基づく特徴量を算出するものとする。
を算出するためのGaborフィルタを第1の実施の形
態において説明した数値群(a)、(b)及び(c)か
ら得られるものとする。すなわち、方向θkは4通り、
波長λmは2通りとなり、Gaborフィルタは8種と
なっている。
正を説明するための説明図である。ここで、ある画素に
おいて、波長λmに対し方向θkを変化させたGabor
フィルタにより算出されたGabor特徴の値をそれぞ
れ(hm1,hm2,hm3,hm4)とする。
るべきパターンにおいては、同一の波長λmにおける異
なる方向の各Gabor特徴の値の分布は類似したもの
となることが予測される。例えば、図41に示すような
テクスチャから、Gabor特徴を求める場合について
考える。図42(a)は、図41において示したテクス
チャの構造パターンの要素を示したものである。
ンにおける画素P(x,y)に対し、同一のλmにおけ
る4方向のθkによるGabor特徴は、図42(b)
に示すθ1の場合、すなわちhm1が最大となる。一方、
図42(c)に示すような回転移動が生じた場合、回転
移動後の画素P(x,y)に対応する画素P’(x,
y)におけるGabor特徴は図42(b)におけるθ
2の場合が最大となる。
パターンにより、同一の波長λmにおけるGaborフ
ィルタにおいて、Gabor特徴が最大となる方向θk
を定めることにより、算出された特徴量の値への回転移
動の影響に対する補正が可能であることを示している。
に、テクスチャ構造パターンの回転移動による変化が発
生した場合においても、得られたGabor特徴の値が
最大となる方向θkをあらたにθ1とし、図42(d)に
示すような並べ替えを行えばよい。この例においては、
画素P(x,y)において得られたGabor特徴(h
m1,hm2,hm3,hm4)を、(hm2,hm3,hm4,hm
1)の順序に並び替えればよい。また、単純に最大値を
与える方向を基準とするのみでなく、hm1ないしhm4の
値の大小に見られる傾向から回転量を決定してもよい。
r特徴の並べ替えを、ROIにおけるサンプリング画素
すべてにおいて適用する。これは、ある特定の波長λ
m、異なる方向θk(この例では4方向)により規定され
るGaborフィルタにより算出されたGabor特徴
の平均値を求め、その最大値を与えるθkについての並
び替えを行うようにする。また、回転移動の補正に対す
るより高い精度を望むのであれば方向θkをより多く
(例えば6方向)について定めればよい。
り)定められるが、その中の特定の波長(基準波長)に
おいて並び替えの順序を決定し、他の波長によるGab
or特徴に対しても同様の順序での並び替えを適用す
る。基準波長は任意のλmを選択可能であるが、例えば
対象とするテクスチャ構造パターンをよく反映する波長
に定めてもよい。
り、回転移動のあるパターン(テクスチャ)に対して
も、位置に依存した局所的な情報を保存した特徴量算出
手法の適用が可能となる。
構造の不規則性等の理由により、方向性の保存が重要な
意味をなさない場合がある。例えば、図43に示すテク
スチャの例のように、テクスチャ全体における方向性に
おいてはあまり規則性がなく、むしろテクスチャを構成
する構造パターン自体に見られる特徴が重要である場合
がある。このようなテクスチャに対しては、前述したR
OI全体の回転移動に対する補正を適用するのではな
く、むしろサンプリング画素毎に独立に、算出されたG
abor特徴の並び替えを適用した方が望ましい特徴量
を得られることとなる。この場合は、図42を用いて説
明したGabor特徴の並べ替えを、算出した25画素
の各々における最大値に基づき実施すればよい。この補
正の適用により、Gabor特徴から、周波数成分の伝
搬方向によらないあらたな特徴量を算出することが可能
となる。なお、基準波長の設定の有無は適宜選択すれば
よい。
より、方向性の保存がまったく重要でないような場合も
ありうる。このような場合には、各サンプリング点にお
いて方向θkに規定された順序で得られるGabor特
徴hm1ないしhmn(nは方向θkの個数)を値の大小に
したがい再整列して使用してもよい。
の形態に係わり、図44は前処理ブロックの処理構成を
示すブロック図、図45は図44の前処理ブロックの作
用を説明する第1の説明図、図46は図44の前処理ブ
ロックの作用を説明する第2の説明図である。
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号をつけ説明は省略する。
の形態の構成は同じであり、特徴量算出手法による特徴
量の値を良好に得るための前処理手法に特徴がある。
0は、内視鏡画像におけるノイズを除去するためのノイ
ズ除去ブロック501と、逆γ補正を適用するための逆
γ補正ブロック502と、面順次方式の内視鏡により撮
像された画像に対する色ずれ補正ブロック503と、シ
ェーディングによる大域的な明るさの変化を補正するた
めのシェーディング補正ブロック504とからなってい
る。各ブロックは、それぞれ独立かつ選択的に適用で
き、任意の組み合わせ及び順序で使用することが可能と
なている。
る。ノイズ除去ブロック501は、R、G及びB画像デ
ータの各々におけるノイズを除去するものである。具体
的には、例えばR,G及びB画像データのすべてまたは
いずれかに対し、マスクサイズ3×3のメディアンフィ
ルタあるいは一様重みづけフィルタによるフィルタリン
グを適用すればよい。処理対象としては、R、G及びB
画像データのみではなく、輝度画像データ等、後段につ
づく特徴量算出手法が使用する画像データのすべてに適
用可能である(他のブロックにおける前処理においても
同様である)。
画像データ各々に対して適用されているγ補正を除去す
るための前処理を適用する。
の内視鏡で撮像された画像において発生した色ずれを補
正するものである。具体的には、以下に示す一連の処理
により実現可能である。
いて、G画像を基準とした場合のR画像及びB画像が、
水平及び垂直の各方向に何画素分ずれているかを推定
し、各々のずれを補正するようにする。G画像に対する
R画像のずれの補正は以下のように行う。
れが何画素分であるかを推定するための処理及び推定し
たずれに対する補正に関する説明図である。
y1、R画像の大きさはx2×y2であり、x2=x1+2
×dx,y2=y1+2×dyであるものとする。ここ
で、dx及びdyは、それぞれ水平及び垂直方向におけ
るずれの発生した範囲を考慮して定めた値である。
タは同一部位から得ているが、その大きさはR画像デー
タの方が若干大きく切り出されていることになる。
Srを座標(0,0)とする。これに対して、G画像デ
ータの始点Sgを(x,y)とし、座標(0,0)から
水平方向に2dx、垂直方向に2dyの範囲で1画素ず
つ移動させる。すなわち、Sg(x,y)(0≦x≦2
dx,0≦y≦2dy)となる。水平または垂直方向の
いずれか1画素分移動させるごとに、R画像データ及び
G画像データとの間の相互相関を算出し、その値の最大
値を与えるSg(xmax,ymax)を求める。
ax=7であった場合には,xmax−dx=−3、ymax−
dy=2となることから、G画像データに対するR画像
データのずれは、水平方向に−3画素(画像に向かって
左方向に3画素)、垂直方向に2画素(画像下方向に2
画素)であることがわかる。
データを水平方向に3画素、垂直方向に2画素移動させ
れば、色ずれに対する補正が完了したこととなる。
することにより、R、G及びB画像データのすべてが色
ずれのない状態に補正される。
の内容について説明する。シェーディングとは、照明光
の照射角度、撮像対象の形状等の理由により撮像画像上
に表れる、大域的な明暗の変化を示す。本実施の形態に
おいては、ROIにおけるR、G及びB画像データの各
々における大域的な明暗の変化を二次曲面近似(以下、
この曲面をシェーディング面とする)し、これを用いた
シェーディング補正を適用する。
て説明する。二次曲面S(x,y)は、
次曲面を規定するための定数、x及びyは三次元空間上
でのx及びy座標を、S(x,y)は点(x,y)にお
ける二次曲面の値をそれぞれ示す。また、画像において
は、x及びyは画素の画像上における位置を、S(x,
y)はその画素の値がそれぞれ対応する。
対する二次曲面近似について説明する。R画像データ
(Irとする)における各画素は、それぞれ値r(x,
y)を持つものとする。ここで、0≦x<N及び0≦y
<Nである。シェーディング面上での値S(x,y)
と、R画像データIr上の各画素の値r(x,y)との
2乗誤差Dは、
Nにおいて式(19)における2乗誤差D(x,y)の
総和Dsumを
fを求めることを考える。式(20)に式(18)を代
入すると、
及びfの値の組み合わせは、式(21)を各々について
偏微分した上で、”=0”とおいた(すなわち、極値を
求める)6個の連立方程式から算出することができる。
これにより得られた連立方程式を行列形式で表すと、
d,e及びfは、式(22)における左辺のx及びyに
関する6×6行列の逆行列を求め、右辺に左から乗ずる
ことにより得ることができ、これを式(18)に代入す
ることによりシェーディング面とする。
シェーディング補正の方法について説明する。
像データIrにおける画素r(x,y)の平均値rmean
を求めておく。また、画素r(x,y)の各々に対し、
求め、さらに、
とする。なお、式(25)は、rsn(x,y)の値の総
和を1に正規化するものであり、一連の処理において省
略してもよい。その場合は、rs(X,y)に対してr
smeanを乗ずることによりrr(x,y)を得ることが
できる。
像データ及びB画像データについても同様に適用するこ
とにより、各々に対するシェーディング補正後の画像デ
ータを得ることができる。また、R、G及びB画像デー
タのいずれか1つからシェーディング面を求め、得られ
た定数a,b,c,d,e及びfを用いて他の画像のシ
ェーディング面として使用してもよい。
において適用されるシェーディング補正の処理内容は以
上の説明によるものに限らず、例えば低域通過フィルタ
リングにより得られた画像データをシェーディング曲面
に代用してもよい。
意の組み合わせ及び順序で適用した画像データに対し特
徴量算出手法を適用することにより、より診断に有効な
特徴量の算出が可能となる。各前処理の適用の組み合わ
せ及び順序は、特徴量算出手法に合わせて適宜決定すれ
ばよい。また、ユーザによる指定が可能であってもよ
い。さらに、各前処理を繰り返して適用してもよい。例
えば、色ずれ補正ブロック503においては,シェーデ
ィング補正適用後のR、G及びB画像に対し色ずれ補正
適用後,再度シェーディング補正を適用することも可能
である。この場合は、より精度の高い色ずれ補正を行う
ことができる。
ては、他の前処理手法を適宜追加してもよい。例えば画
像データに対する閾値処理、エッジ強調処理、二値化処
理、ラベリング処理等が挙げられる。
を入力する画像入力手段と、入力された前記画像データ
を記憶する記憶手段と、前記記憶手段により記録された
前記画像データに対して少なくとも1つの関心領域を設
定する関心領域設定手段と、前記関心領域設定手段によ
り設定された前記関心領域から特徴量を算出する特徴量
算出手段と、前記特徴量算出手段により算出された特徴
量を用いた病変の判別分類を行う判別分類手段とを備え
たことを特徴とする診断支援装置。
関心領域から算出された第1の特徴量に基づく新たな第
2の特徴量を算出することを特徴とする付記項1に記載
の診断支援装置。
関心領域から算出された第1の特徴量に基づく新たな第
2の特徴量を算出することを特徴とする付記項1または
2に記載の診断支援装置。
特徴量であることを特徴とする付記項1、2または3の
いずれか1つに記載の診断支援装置。
基づく特徴量であることを特徴とする付記項1、2また
は3のいずれか1つに記載の診断支援装置。
域から算出された第1の特徴量における差分演算により
得られた値であることを特徴とする付記項3、4または
5のいずれか1つに記載の診断支援装置。
域から算出された第1の特徴量における比に基づく値で
あることを特徴とする付記項3、4または5のいずれか
1つに記載の診断支援装置。
心領域における前記画像データの信号に基づく統計量を
算出することを特徴とする付記項1、2、3、4、5、
6、7または8のいずれか1つに記載の診断支援装置。
な周波数成分の分布に基づく特徴量を算出することを特
徴とする付記項5に記載の診断支援装置。
第1の特徴量の値が生起する確率分布に基づくことを特
徴とする付記項2、3、4、5、6、7、8または9の
いずれか1つに記載の診断支援装置。
関心領域における前記第1の特徴量の平均値及び/また
は分散及び/または共分散及び/または標準偏差及び/
または相関係数であることを特徴とする付記項10に記
載の診断支援装置。
する前記特徴量が正規化された値であることを特徴とす
る付記項1、2、3、4、5、6、7、8、9、10ま
たは11のいずれか1つに記載の診断支援装置。
する前記特徴量が補正された値であることを特徴とする
付記項1、2、3、4、5、6、7、8、9、10、1
1または12のいずれか1つに記載の診断支援装置。
方向に関する補正であることを特徴とする付記項13に
記載の診断支援装置。
画像の回転移動に関する補正であることを特徴とする付
記項13に記載の診断支援装置。
bor特徴に基づく特徴量を算出することを特徴とする
付記項1、2、3、4、5、6、7、8、9、10、1
1、12、13、14または15のいずれか1つに記載
の診断支援装置。
算出される特徴量が、前記画像データを構成する信号に
基づく平均値及び/または標準偏差及び/または分散及
び/または共分散及び/または相関係数及び/または標
準偏差を平均値で除した値であることを特徴とする付記
項8に記載の診断支援装置。
前段に前記画像データに対する画像処理を適用するため
の画像処理手段を設けたことを特徴とする付記項1、
2、3、4、5、6、7、8、9、10、11、12、
13、14、15、16または17のいずれか1つに記
載の診断支援装置。
ズ除去処理及び/またはγ捕正除去処理及び/または色
ずれ補正処理及び/またはシェーディング補正処理の少
なくともいずれか1つの画像処理を適用することを特徴
とする付記項18に記載の診断支援装置。
記画像処理の適用の有無及び/または適用の順序を前記
特徴量算出手段が算出する前記特徴量の種別に応じて異
ならしめることを特徴とする付記項19に記載の診断支
援装置。
定する前記関心領域の形状が任意の描画線であることを
特徴とする付記項1、2、3、4、5、6、7、8、
9、10、11、12、13、14、15、16、1
7、18、19または20のいずれか1つに記載の診断
支援装置。
定する前記関心領域があらかじめ定められた形状である
とともに、その大きさが可変であることを特徴とする付
記項1、2、3、4、5、6、7、8、9、10、1
1、12、13、14、15、16、17、18、19
または20のいずれか1つに記載の診断支援装置。
定する前記関心領域の形状が多角形または円であること
を特徴とする付記項22に記載の診断支援装置。
定する前記関心領域の形状が任意の描画線によるもの、
またはあらかじめ定められた形状であることを選択可能
とする関心領域形状選択手段を備えたことを特徴とする
付記項1、2、3、4、5、6、7、8、9、10、1
1、12、13、14、15、16、17、18、1
9、20、21、22または23のいずれか1つに記載
の診断支援装置。
信号からなる内視鏡画像及び/または超音波画像である
ことを特徴とする付記項1、2、3、4、5、6、7、
8、9、10、11、12、13、14、15、16、
17、18、19、20、21、22、23または24
のいずれか1つに記載の診断支援装置。
ータからなることを特徴とする付記項25に記載の診断
支援装置。
ンの方向性に関する特徴量を抽出することを特徴とする
画像処理方法。
ンの方向性に関する特徴量を抽出する第1のステップ
と、前記抽出された特徴量を要素とする第1の特徴ベク
トルを生成する第2のステップと、前記第1の特徴ベク
トルから第2の特徴ベクトルを生成する第3のステップ
とを備えたことを特徴とする付記項27に記載の画像処
理方法。
が、前記第1の特徴ベクトルにおける各要素の生起する
確率分布を規定するパラメータであることを特徴とする
付記項28に記載の画像処理方法。
し、値の正規化及び/または方向に関する補正の少なく
ともいずれか1つを適用することを特徴とする付記項2
7、28または29のいずれか1つに記載の画像処理方
法。
画像の回転移動に関するものであることを特徴とする付
記項30に記載の画像処理方法。
abor特徴に基づくものであることを特徴とする付記
項27、28、29、30または31のいずれか1つに
記載の画像処理方法。
な明暗変化を近似する多次元曲面を生成する第1のステ
ップと、前記多次元曲面を用いて前記画像データを補正
する第2のステップとからなることを特徴とする画像処
理方法。
補正であることを特徴とする付記項33に記載の画像処
理方法。
像であることを特徴とする付記項27、28、29、3
0、31、32、33または34のいずれか1つに記載
の画像処理方法。
なる原画像データを入力する画像入力手段と、前記画像
入力手段により入力された前記原画像データに対して画
像処理を適用する画像処理手段と、前記画像入力手段に
より入力された前記原画像データ及び前記画像処理手段
による処理結果画像データを記億する記憶手段と、前記
記億手段により記録された前記原画像データ及び/また
は処理結果画像データに対して、少なくとも1つの関心
領域を設定する関心領域設定手段と、前記原画像データ
及び処理結果画像データに対して設定される関心領域の
情報を管理するための管理手段とを設けたことを特徴と
する診断支援装置。
及び前記原画像に対する処理結果画像を1つの画像群と
して管理し、前記関心領域設定手段により前記画像群の
少なくとも1つの原画像及び/または処理結果画像に対
して設定された関心領域と同じ形状、位置及び大きさの
関心領域を前記画像群における他の画像に付与すること
を特徴とする付記項36に記載の画像処理方法。
置によれば、特徴量算出手段が関心領域設定手段により
設定された関心領域から特徴量を算出し、判別分類手段
が特徴量算出手段により算出された特徴量を用いた病変
の判別分類を行うので、撮像条件の違いによる影響の少
ない特徴量等を算出し、この特徴量を用いることで、安
定した自動診断結果を得ることができるという効果があ
る。
の構成を示す構成図
プログラムの構成を示す機能ブロック図
の画面の概念構成を示す構成図
るマルチウインドウ画面の構成を示す構成図
構成を説明する第1の説明図
構成を説明する第2の説明図
の画面の具体的な構成を示す構成図
ファイルを管理するファイル管理データを説明する説明
図
ファイルの各内視鏡画像の内視鏡検査ごとに付与される
管理データを説明する説明図
り展開される画像管理データウインドウの構成を示す構
成図
り展開される検索ウインドウの構成を示す構成図
により展開される検索結果表示ウインドウの構成を示す
構成図
り展開される画像一覧表示ウィンドウの構成を示す構成
図
開される画像表示ウインドウの構成を示す構成図
り展開される画像処理ウインドウの構成を示す構成図
開される処理結果画像表示ウィンドウの構成を示す構成
図
データベースの構成を示す構成図
より展開されるROI設定ウインドウの構成を示す構成
図
より展開される算出特徴量メニューウインドウの構成を
示す構成図
り展開される一括選択メニューウインドウの構成を示す
構成図
り展開される部位指定メニューウインドウの構成を示す
構成図
作により展開される特徴量算出結果表示ウインドウの構
成を示す構成図
処理結果画像に対するROIの設定方法を説明する説明
図
算出処理の流れを示すフローチャート
タから取り出すサンプリング画素を説明する説明図
作により展開されるROI間相互特徴量メニューウィン
ドウの構成を示す構成図
ドウで算出されるROI間相互特徴量を説明する説明図
ドウでのROI間相互特徴量算出における自動組み合わ
せの動作を説明するためのフローチャート
より展開される特徴量算出ウインドウの構成を示す構成
図
より展開されるROI指定ウインドウの構成を示す構成
図
り展開される判別分類ウインドウの構成を示す構成図
操作により展開されるデータセット作成ウインドウの構
成を示す構成図
ク操作により展開されるクラス別ROI一覧ウインドウ
の構成を示す構成図
クリック操作により展開されるデータセット一覧ウイン
ドウの構成を示す構成図
により展開される判別分類実行ウインドウの構成を示す
構成図
開される判別分類結果表示ウインドウの構成を示す構成
図
により展開されるレポート作成ウインドウの構成を示す
構成図
開される特徴量レポート作成ウインドウの構成を示す構
成図
開される特徴量レポート表示ウインドウの構成を示す構
成図
より展開されるグラフ表示ウインドウの構成を示す構成
図
スチャの構造パターンを示すパターン図
説明する説明図
を示すパターン図
ックの処理構成を示すブロック図
1の説明図
2の説明図
Claims (1)
- 【請求項1】 少なくとも1つの信号からなる画像デー
タを入力する画像入力手段と、 入力された前記画像データを記憶する記憶手段と、 前記記憶手段により記録された前記画像データに対して
少なくとも1つの関心領域を設定する関心領域設定手段
と、 前記関心領域設定手段により設定された前記関心領域か
ら特徴量を算出する特徴量算出手段と、 前記特徴量算出手段により算出された特徴量を用いた病
変の判別分類を行う判別分類手段とを備えたことを特徴
とする診断支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15708096A JP3895400B2 (ja) | 1996-04-30 | 1996-06-18 | 診断支援装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10958896 | 1996-04-30 | ||
| JP8-109588 | 1996-04-30 | ||
| JP15708096A JP3895400B2 (ja) | 1996-04-30 | 1996-06-18 | 診断支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1014864A true JPH1014864A (ja) | 1998-01-20 |
| JP3895400B2 JP3895400B2 (ja) | 2007-03-22 |
Family
ID=26449319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15708096A Expired - Fee Related JP3895400B2 (ja) | 1996-04-30 | 1996-06-18 | 診断支援装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3895400B2 (ja) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000237122A (ja) * | 1999-02-24 | 2000-09-05 | Asahi Optical Co Ltd | 内視鏡装置の表示切り替え装置 |
| JP2001202523A (ja) * | 1999-12-03 | 2001-07-27 | Canon Inc | 画像処理方法及びその装置 |
| JP2003506797A (ja) * | 1999-08-09 | 2003-02-18 | ウェイク フォレスト ユニバーシティ | レポートを作成する方法とシステム |
| WO2004052188A1 (ja) | 2002-12-12 | 2004-06-24 | Olympus Corporation | 情報処理装置 |
| JP2005192880A (ja) * | 2004-01-08 | 2005-07-21 | Olympus Corp | 画像処理方法 |
| WO2006087981A1 (ja) * | 2005-02-15 | 2006-08-24 | Olympus Corporation | 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム |
| JP2006223377A (ja) * | 2005-02-15 | 2006-08-31 | Olympus Corp | 管腔画像処理装置、管腔画像処理方法及びそのためのプログラム |
| JP2006223376A (ja) * | 2005-02-15 | 2006-08-31 | Olympus Corp | 医用画像処理装置 |
| WO2008136098A1 (ja) * | 2007-04-24 | 2008-11-13 | Olympus Medical Systems Corp. | 医療用画像処理装置及び医療用画像処理方法 |
| EP1704815A3 (en) * | 2001-10-22 | 2009-02-11 | Olympus Corporation | Information processing apparatus |
| US7538761B2 (en) | 2002-12-12 | 2009-05-26 | Olympus Corporation | Information processor |
| US7599533B2 (en) | 2002-12-05 | 2009-10-06 | Olympus Corporation | Image processing system and image processing method |
| EP1997076A4 (en) * | 2006-03-13 | 2010-01-20 | Given Imaging Ltd | CASCADE ANALYSIS FOR DARM CONTRACTION DETECTION |
| JP2010535579A (ja) * | 2007-08-03 | 2010-11-25 | エスティーアイ・メディカル・システムズ・エルエルシー | 酢酸加工された子宮頸部上皮内腫瘍に関するコンピュータ画像解析 |
| US7995823B2 (en) | 1999-08-09 | 2011-08-09 | Wake Forest University Health Sciences | Image reporting method and system |
| US8335362B2 (en) | 2006-06-12 | 2012-12-18 | Given Imaging Ltd. | Device, system and method for measurement and analysis of contractile activity |
| US8396327B2 (en) | 2006-03-13 | 2013-03-12 | Given Imaging Ltd. | Device, system and method for automatic detection of contractile activity in an image frame |
| JP2014232470A (ja) * | 2013-05-30 | 2014-12-11 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
| WO2015115274A1 (ja) * | 2014-01-31 | 2015-08-06 | オムロン株式会社 | 物体判別装置、画像センサ、物体判別方法 |
| CN106466188A (zh) * | 2015-08-20 | 2017-03-01 | 通用电气公司 | 用于发射断层显像定量的系统和方法 |
| US10653295B2 (en) | 2015-09-29 | 2020-05-19 | Fujifilm Corporation | Image processing apparatus, endoscope system, and image processing method |
| JPWO2019078204A1 (ja) * | 2017-10-17 | 2020-10-22 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
-
1996
- 1996-06-18 JP JP15708096A patent/JP3895400B2/ja not_active Expired - Fee Related
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000237122A (ja) * | 1999-02-24 | 2000-09-05 | Asahi Optical Co Ltd | 内視鏡装置の表示切り替え装置 |
| JP2003506797A (ja) * | 1999-08-09 | 2003-02-18 | ウェイク フォレスト ユニバーシティ | レポートを作成する方法とシステム |
| US7995823B2 (en) | 1999-08-09 | 2011-08-09 | Wake Forest University Health Sciences | Image reporting method and system |
| US8320651B2 (en) | 1999-08-09 | 2012-11-27 | Wake Forest University Health Sciences | Image reporting method and system |
| JP2001202523A (ja) * | 1999-12-03 | 2001-07-27 | Canon Inc | 画像処理方法及びその装置 |
| EP1704815A3 (en) * | 2001-10-22 | 2009-02-11 | Olympus Corporation | Information processing apparatus |
| US7599533B2 (en) | 2002-12-05 | 2009-10-06 | Olympus Corporation | Image processing system and image processing method |
| WO2004052188A1 (ja) | 2002-12-12 | 2004-06-24 | Olympus Corporation | 情報処理装置 |
| EP1570777A4 (en) * | 2002-12-12 | 2008-05-21 | Olympus Corp | INFORMATION PROCESSING DEVICE |
| US7538761B2 (en) | 2002-12-12 | 2009-05-26 | Olympus Corporation | Information processor |
| JP2005192880A (ja) * | 2004-01-08 | 2005-07-21 | Olympus Corp | 画像処理方法 |
| JP2006223376A (ja) * | 2005-02-15 | 2006-08-31 | Olympus Corp | 医用画像処理装置 |
| JP2006223377A (ja) * | 2005-02-15 | 2006-08-31 | Olympus Corp | 管腔画像処理装置、管腔画像処理方法及びそのためのプログラム |
| WO2006087981A1 (ja) * | 2005-02-15 | 2006-08-24 | Olympus Corporation | 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム |
| US8055033B2 (en) | 2005-02-15 | 2011-11-08 | Olympus Corporation | Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same |
| US8441530B2 (en) | 2006-03-13 | 2013-05-14 | Given Imaging Ltd. | Cascade analysis for intestinal contraction detection |
| EP1997076A4 (en) * | 2006-03-13 | 2010-01-20 | Given Imaging Ltd | CASCADE ANALYSIS FOR DARM CONTRACTION DETECTION |
| US8396327B2 (en) | 2006-03-13 | 2013-03-12 | Given Imaging Ltd. | Device, system and method for automatic detection of contractile activity in an image frame |
| US8335362B2 (en) | 2006-06-12 | 2012-12-18 | Given Imaging Ltd. | Device, system and method for measurement and analysis of contractile activity |
| CN101594817B (zh) | 2007-04-24 | 2011-08-24 | 奥林巴斯医疗株式会社 | 医疗用图像处理装置以及医疗用图像处理方法 |
| WO2008136098A1 (ja) * | 2007-04-24 | 2008-11-13 | Olympus Medical Systems Corp. | 医療用画像処理装置及び医療用画像処理方法 |
| JP2010535579A (ja) * | 2007-08-03 | 2010-11-25 | エスティーアイ・メディカル・システムズ・エルエルシー | 酢酸加工された子宮頸部上皮内腫瘍に関するコンピュータ画像解析 |
| JP2014232470A (ja) * | 2013-05-30 | 2014-12-11 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
| WO2015115274A1 (ja) * | 2014-01-31 | 2015-08-06 | オムロン株式会社 | 物体判別装置、画像センサ、物体判別方法 |
| CN106466188A (zh) * | 2015-08-20 | 2017-03-01 | 通用电气公司 | 用于发射断层显像定量的系统和方法 |
| US10653295B2 (en) | 2015-09-29 | 2020-05-19 | Fujifilm Corporation | Image processing apparatus, endoscope system, and image processing method |
| JPWO2019078204A1 (ja) * | 2017-10-17 | 2020-10-22 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
| JP2022060540A (ja) * | 2017-10-17 | 2022-04-14 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
| US11574401B2 (en) | 2017-10-17 | 2023-02-07 | Fujifilm Corporation | Medical image processing apparatus and endoscope apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3895400B2 (ja) | 2007-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3895400B2 (ja) | 診断支援装置 | |
| JP4450973B2 (ja) | 診断支援装置 | |
| US12154680B2 (en) | Endoscopic image display method, apparatus, computer device, and storage medium | |
| EP3839885A1 (en) | Real-time pathological microscopic image collection and analysis system, method and device and medium | |
| US7027627B2 (en) | Medical decision support system and method | |
| JP2000155840A (ja) | 画像処理方法 | |
| CN112086197B (zh) | 基于超声医学的乳腺结节检测方法及系统 | |
| US7324673B1 (en) | Image processing apparatus, image processing method, and image processing program storage medium | |
| US7133546B2 (en) | Digital medical image analysis | |
| US7606779B2 (en) | Methods and system for data aggregation of physical samples | |
| JP4451460B2 (ja) | 内視鏡診断支援装置 | |
| CN111214255A (zh) | 一种医学超声图像计算机辅助诊断方法 | |
| JP5442542B2 (ja) | 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 | |
| JPH07284090A (ja) | 画像分類装置 | |
| CN101247760A (zh) | 根据舌图像诊断疾病的方法 | |
| Zhang et al. | Evaluation of a new dataset for visual detection of cervical precancerous lesions | |
| US20100150413A1 (en) | Abnormal shadow candidate detecting method and abnormal shadow candidate detecting device | |
| JPH08293025A (ja) | 画像分類装置 | |
| CN111242921A (zh) | 一种医学超声图像辅助诊断系统自动更新的方法及系统 | |
| JP5702943B2 (ja) | 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 | |
| CN119790427A (zh) | 图像处理装置、图像处理装置的工作方法、及图像处理装置的工作程序 | |
| JP2007236956A (ja) | 内視鏡診断支援装置及び内視鏡画像処理方法 | |
| CN120259277B (zh) | 基于图像识别的消化道病变分析方法及系统 | |
| CN116012324A (zh) | 一种医学影像质量控制方法、装置和电子装置 | |
| US5719784A (en) | Order-based analyses of cell and tissue structure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050524 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060814 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061214 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |