JPH1014864A - 診断支援装置 - Google Patents

診断支援装置

Info

Publication number
JPH1014864A
JPH1014864A JP15708096A JP15708096A JPH1014864A JP H1014864 A JPH1014864 A JP H1014864A JP 15708096 A JP15708096 A JP 15708096A JP 15708096 A JP15708096 A JP 15708096A JP H1014864 A JPH1014864 A JP H1014864A
Authority
JP
Japan
Prior art keywords
image
roi
data
feature
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP15708096A
Other languages
English (en)
Other versions
JP3895400B2 (ja
Inventor
Hiroichi Nishimura
博一 西村
Kenji Yamazaki
健二 山▲崎▼
Kazuhiro Atono
和弘 後野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP15708096A priority Critical patent/JP3895400B2/ja
Publication of JPH1014864A publication Critical patent/JPH1014864A/ja
Application granted granted Critical
Publication of JP3895400B2 publication Critical patent/JP3895400B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G06F19/00

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 撮像条件の違いによる影響の少ない特徴量等
を算出し、この特徴量を用いることにより、安定した自
動診断結果を得る。 【解決手段】 診断支援装置における診断支援処理実行
プログラム70の特徴量算出ブロック74は、1枚の内
視鏡画像中に設定したROIにおける2個以上の組み合
わせによりROI間相互特徴量を算出することで、異な
る病変間の正常粘膜に対する相対的な差異を評価する。
すなわち、同一画像中における複数のROIから算出さ
れる特徴量の相対的な値を求めることにより、撮像条件
のばらつきに影響されない判別分類を可能とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は診断支援装置、更に
詳しくは内視鏡装置による画像データを基に病変の種類
を自動的に判別分類する部分に特徴のある診断支援装置
に関する。
【0002】
【従来の技術】近年、細長の挿入部を体腔内に挿入し、
固体撮像素子等を撮像手段に用いて体腔内臓器等をモニ
タ画面により観察し、検査あるいは診断することのでき
る内視鏡装置が広く用いられている。
【0003】また、前記体腔内臓器へ超音波を照射し、
この超音波の反射あるいは透過度等により該体腔内臓器
の状況をモニタ画面により観察し、検査あるいは診断す
ることのできる超音波内視鏡装置も広く用いられてい
る。
【0004】一方、このような内視鏡装置、超音波診断
装置等により得られた多数の画像データを管理する医療
用画像データベースを用いた画像表示装置が提案されて
いる。
【0005】これら内視鏡装置及び超音波内視鏡装置等
で撮像した内視鏡画像を光磁気ディスク等の記録媒体に
記録し、後の診断に有効利用できるように画像ファイル
装置を接続してシステムとして使用される状況にある。
【0006】また、医療画像分野においては、例えば特
開平7−37056号公報に示されるように、画像ファ
イル装置に記録された画像に対しコンピュータを用い、
自動診断を行うことができる診断支援装置が提案されて
いる。
【0007】診断支援装置は、画像内における関心領域
(ROI)から算出された何らかの特徴量を用い、閾値
処理あるいは統計的・非統計的判別器を用いて診断対象
とする画像がどのような病変に分類されるかを医師に提
示することにより、診断の支援を行うものである。
【0008】
【発明が解決しようとする課題】しかしながら、従来の
診断支援装置においては、内視鏡画像を対象として単純
に多数の画像において設定したROIから個別に算出し
た特徴量を用いて診断支援を行う場合、必ずしも病変の
特徴に即した特徴量の算出が行われているとはいえなか
った。その理由は以下の通りである。
【0009】内視鏡画像においては、医師は粘膜表面に
おける色調、模様の構造パターン(テクスチャ)の規則
性・粗密度等、多くの特徴に基づき病変の発見及び診断
を行っている。
【0010】ところが、内視鏡画像においては、画像の
撮像条件のばらつきが大きい。例えば同一の病変を撮像
した場合においても、観察角度、距離等により観察光の
照射条件が画像ごとに変化するため、撮像画像における
色調が変化する場合がある。また、粘膜色の個人差等の
影響も考えられる。さらに、テクスチャにおいても観察
距離に応じて特徴が大きく変化するものである。したが
って、異なる内視鏡画像からそれぞれ算出された正常部
位及び病変部位における特徴量の値が接近し、診断支援
の妨げとなる。
【0011】一方、病変の発見及び診断は、主として正
常粘膜と病変粘膜との前記特徴の違いに基づいている場
合が多いと考えられる。例えば1枚の内視鏡画像におけ
る正常部位と病変部位との間の何らかの特徴の相対的な
相違(例えば周辺粘膜と色調が異なる等)から病変の発
見が、該相違の種類(例えば周辺粘膜より色調が赤い
等)から診断が行われる。
【0012】従来の診断支援装置においてはこの点が考
慮されておらず、複数のROIにおける相対的な特徴量
を算出することができなかった。
【0013】また、内視鏡画像においては、各画素の画
像上の位置に依存する局所的な情報を有効に利用する特
徴量に対する考慮もなされていなかった。
【0014】さらに、内視鏡画像から特徴量を算出する
ためには、特徴量算出手法適用の前段にあたってノイズ
除去等の前処理が行われている。しかしながら、これら
の前処理手法は公知の基本的な手法を適用しているのみ
であり、内視鏡画像からの特徴量抽出のために特化した
複数の手法、さらには、必要に応じてそれらの各手法を
適切な順序及び組み合わせて使用するといった配慮がな
されていなかった。
【0015】本発明は、上記事情に鑑みてなされたもの
であり、撮像条件の違いによる影響の少ない特徴量の算
出、画素の画像上における位置に依存する情報を保存し
た特徴量の算出、さらには、内視鏡画像から診断に有用
な特徴量を算出するための前処理手法を提供することに
より、安定した自動診断結果を得ることのできる診断支
援装置を提供することを目的としている。
【0016】
【課題を解決するための手段】本発明の診断支援装置
は、少なくとも1つの信号からなる画像データを入力す
る画像入力手段と、入力された前記画像データを記憶す
る記憶手段と、前記記憶手段により記録された前記画像
データに対して少なくとも1つの関心領域を設定する関
心領域設定手段と、前記関心領域設定手段により設定さ
れた前記関心領域から特徴量を算出する特徴量算出手段
と、前記特徴量算出手段により算出された特徴量を用い
た病変の判別分類を行う判別分類手段とを備えて構成さ
れる。
【0017】本発明の診断支援装置では、前記特徴量算
出手段が前記関心領域設定手段により設定された前記関
心領域から特徴量を算出し、前記判別分類手段が前記特
徴量算出手段により算出された特徴量を用いた病変の判
別分類を行うことで、撮像条件の違いによる影響の少な
い特徴量等を算出し、この特徴量を用いることにより、
安定した自動診断結果を得ることを可能とする。
【0018】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態について述べる。
【0019】図1ないし図40は本発明の第1の実施の
形態に係わり、図1は診断支援装置の構成を示す構成
図、図2は図1の診断支援装置における診断支援処理実
行プログラムの構成を示す機能ブロック図、図3は図1
の診断支援装置におけるマルチウインドウの画面の概念
構成を示す構成図、図4は図3の画面でのアイコン操作
によって展開されるマルチウインドウ画面の構成を示す
構成図、図5は図4のマルチウインドウ画面上のウイン
ドウの構成を説明する第1の説明図、図6は図4のマル
チウインドウ画面上のウインドウの構成を説明する第2
の説明図、図7は図1の診断支援装置におけるマルチウ
インドウの画面の具体的な構成を示す構成図、図8は図
1のハードディスクに記録された内視鏡画像ファイルを
管理するファイル管理データを説明する説明図、図9は
図1のハードディスクに記録された内視鏡画像ファイル
の各内視鏡画像の内視鏡検査ごとに付与される管理デー
タを説明する説明図、図10は図7の画像表示アイコン
のクリック操作により展開される画像管理データウイン
ドウの構成を示す構成図、図11は図10の呼び出しボ
タンのクリック操作により展開される検索ウインドウの
構成を示す構成図、図12は図11の条件検索開始ボタ
ンのクリック操作により展開される検索結果表示ウイン
ドウの構成を示す構成図、図13は図12の画像一覧ボ
タンのクリック操作により展開される画像一覧表示ウィ
ンドウの構成を示す構成図、図14は図13の表示ボタ
ンのクリック操作により展開される画像表示ウインドウ
の構成を示す構成図、図15は図7の画像処理アイコン
のクリック操作により展開される画像処理ウインドウの
構成を示す構成図、図16は図15の実行ボタンのクリ
ック操作により展開される処理結果画像表示ウィンドウ
の構成を示す構成図、図17は図2のデータベース管理
ブロックが管理するデータベースの構成を示す構成図、
図18は図7のROI設定アイコンのクリック操作によ
り展開されるROI設定ウインドウの構成を示す構成
図、図19は図18の特徴量選択ボタンのクリック操作
により展開される算出特徴量メニューウインドウの構成
を示す構成図、図20は図19の一括選択ボタンのクリ
ック操作により展開される一括選択メニューウインドウ
の構成を示す構成図、図21は図18の部位設定ボタン
のクリック操作により展開される部位指定メニューウイ
ンドウの構成を示す構成図、図22は図18の特徴量算
出実行ボタンのクリック操作により展開される特徴量算
出結果表示ウインドウの構成を示す構成図、図23は図
7のROI設定アイコンによる原画像及び処理結果画像
に対するROIの設定方法を説明する説明図、図24は
図19の相互特徴量算出ボタンによる特徴量算出処理の
流れを示すフローチャート、図25は図24の特徴量算
出処理におけるG画像データから取り出すサンプリング
画素を説明する説明図、図26は図19の相互特徴量算
出ボタンのクリック操作により展開されるROI間相互
特徴量メニューウィンドウの構成を示す構成図、図27
は図26のROI間相互特徴量メニューウィンドウで算
出されるROI間相互特徴量を説明する説明図、図28
は図26のROI間相互特徴量メニューウィンドウでの
ROI間相互特徴量算出における自動組み合わせの動作
を説明するためのフローチャート、図29は図7の特徴
量算出アイコンのクリック操作により展開される特徴量
算出ウインドウの構成を示す構成図、図30は図29の
ROI指定ボタンのクリック操作により展開されるRO
I指定ウインドウの構成を示す構成図、図31は図7の
判別分類アイコンのクリック操作により展開される判別
分類ウインドウの構成を示す構成図、図32は図31の
データセット作成ボタンのクリック操作により展開され
るデータセット作成ウインドウの構成を示す構成図、図
33は図31のクラス別ROI選択ボタンのクリック操
作により展開されるクラス別ROI一覧ウインドウの構
成を示す構成図、図34は図32の既存データセット呼
び出しボタンのクリック操作により展開されるデータセ
ット一覧ウインドウの構成を示す構成図、図35は図3
1の判別分類実行ボタンのクリック操作により展開され
る判別分類実行ウインドウの構成を示す構成図、図36
は図35の実行ボタンのクリック操作により展開される
判別分類結果表示ウインドウの構成を示す構成図、図3
7は図7のレポート作成アイコンのクリック操作により
展開されるレポート作成ウインドウの構成を示す構成
図、図38は図37の選択ボタンのクリック操作により
展開される特徴量レポート作成ウインドウの構成を示す
構成図、図39は図38の表示ボタンのクリック操作に
より展開される特徴量レポート表示ウインドウの構成を
示す構成図、図40は図38のグラフ作成ボタンのクリ
ック操作により展開されるグラフ表示ウインドウの構成
を示す構成図である。
【0020】図1に示すように、本実施の形態の診断支
援装置1は、例えば図示しない電子内視鏡から撮像信号
を得て映像信号に変換するビデオプロセッサ2と、この
ビデオプロセッサ2からの映像信号を映し出す観察モニ
タ3と、ビデオプロセッサ2からの映像信号を画像デー
タに変換して信号処理する入力ユニット4と、入力ユニ
ット4により信号処理した画像データ及びこの画像デー
タを可逆あるいは非可逆圧縮た圧縮画像データを記憶す
るサーバユニット5と、サーバユニット5に記憶された
画像データあるいは圧縮画像データを検索して表示する
と共に、関心領域(ROI)設定処理、特徴量算出処
理、判別分類処理等の一連の診断支援処理を行うカンフ
ァレンスユニット6とを備えて構成されている。
【0021】入力ユニット4は、ビデオプロセッサ2か
らの映像信号であるアナログRGBビデオ信号をデジタ
ル信号である画像データへ変換するA/Dコンバータ1
1と、画像データを記憶するメモリを備えビデオプロセ
ッサ2からの管理情報を付加した画像ファイルを生成す
る画像処理部12と、画像処理部12により生成された
画像ファイルをLAN(Local Area Network)ケーブル4
aを介してサーバユニット5に送出するLANコントロ
ーラ13と、ビデオプロセッサ2と画像データの管理情
報等を通信すると共に画像処理部12及びLANコント
ローラ13を制御するコントローラ14とを備えて構成
される。
【0022】ビデオプロセッサ2は、映像信号出力端、
アナログRGBビデオ信号出力端及び通信信号出力端を
備えており、映像信号出力端は観察モニタ3に接続さ
れ、アナログRGBビデオ信号出力端はA/Dコンバー
タ11の入力端に接続され、通信信号出力端はコントロ
ーラ14に接続されている。
【0023】また、A/Dコンバータ11の出力端は、
画像処理部12のデータ信号端に接続されている。
【0024】コントローラ14の制御信号端及びデータ
信号端は、バスライン14aにより画像処理部12及び
LANコントローラ13との制御信号端に接続されてい
る。そしてコントローラ14による画像処理部12及び
LANコントローラ13の制御は、バスライン14aを
介した信号により行われるようになっている。
【0025】ビデオプロセッサ2により映像信号に変換
された、例えば図示しない電子内視鏡による観察像は、
観察モニタ3に観察画像として映し出されるようになっ
ている。また、ビデオプロセッサ2の操作者が、前述し
た観察画像を記録する必要があると判断した場合、前述
した映像信号は、アナログRGBビデオ信号としてA/
Dコンバータ11へ出力され、このA/Dコンバータ1
1は、アナログRGBビデオ信号を所定の量子化処理を
行い、デジタルRGBビデオ信号に変換し、画像処理部
12へ観察画像データとして出力するようになってい
る。
【0026】画像処理部12は、コントローラ14の制
御により、A/Dコンバータ11から入力された観察画
像データを記憶するようになっている。
【0027】コントローラ14は、画像処理部12に記
憶された観察画像データに対して縮小処理等の各種デー
タ処理を施し、さらには管理情報を付加して画像ファイ
ルとし、画像処理部12へ一旦記憶させ或いはLANコ
ントローラ13へ出力するようになっている。また、コ
ントローラ14は、前述したように各種データ処理を施
された画像ファイルを画像処理部12へ一旦記憶した場
合、該画像ファイルを所定のタイミングにより画像処理
部12からLANコントローラ13へ出力するようにな
っている。
【0028】サーバユニット5は、入力ユニット4のL
ANコントローラ13より送出される画像ファイルを受
け取るLANコントローラ21と、LANコントローラ
21が受け取った画像ファイルを一時的に記憶するメモ
リ22と、LANコントローラ21が受け取った画像フ
ァイルを大容量記憶媒体である例えばハードディスク2
3に記録するハードディスクドライバ24と、LANコ
ントローラ21が受け取った画像ファイルを可逆あるい
は非可逆で圧縮して圧縮画像データをハードディスクド
ライバ24に送出する圧縮装置25と、LANコントロ
ーラ21、メモリ22、ハードディスクドライバ24及
び圧縮装置25を制御するコントローラ26とを備えて
構成され、ハードディスクドライバ24は、画像ファイ
ル及び圧縮画像データをハードディスク23に記録する
と共に、LANコントローラ21は、LANケーブル5
aを介してハードディスク23に記録された画像ファイ
ルまたは圧縮画像データをカンファレンスユニット6に
送信できるようになっている。
【0029】入力ユニット4のLANコントローラ13
のLANケーブル4a端はサーバーユニット5のLAN
コントローラー21に接続されている。このLANケー
ブル4aは、いわゆる10baseTといわれるケーブ
ルであり、ツイストペア線を用い10Mbit/sec の双方
向のデータ通信を長さ100m以内の範囲で可能であ
り、複数の装置間の制御及びデータの送受をすることが
できるものである。
【0030】サーバーユニット4のコントローラ26の
制御信号端及びデータ信号端は、バスライン26aによ
りメモリ22と、LANコントローラ21と、ハードデ
ィスクドライブ24との制御信号端に接続されている。
【0031】サーバユニット5では、入力ユニット4の
LANコントローラ13からの画像ファイルをLANケ
ーブル4aを介してLANコントローラ21で入力し、
コントローラ26が、LANコントローラ21を介して
入力された画像ファイルを一旦メモリ22に記憶する。
ハードディスクドライブ24は、この画像ファイルを例
えばハードディスク23へ記憶するようになっている。
【0032】カンファレンスユニット6は、サーバーユ
ニット5のLANコントローラ21からの画像ファイル
または圧縮画像データをLANケーブル5aを介して受
け取るLANコントローラ31と、LANコントローラ
31が受け取った画像ファイルまたは圧縮画像データを
記憶する画像処理部32と、画像処理部32が記憶した
圧縮画像データを伸張する伸張装置33と、画像処理部
32が記憶した画像ファイル中のデジタル信号である画
像データ及び伸張装置33で伸張された画像データを逆
量子化処理し、アナログRGBビデオ信号へ変換するD
/Aコンバータ34と、D/Aコンバータ34により変
換されたアナログRGBビデオ信号を映し出す観察モニ
タ35と、画像処理部32を制御するコントローラ36
とを備えている。
【0033】画像処理部32のデータ信号端は、D/A
コンバータ34の入力端に接続され、このD/Aコンバ
ータ34の出力端は、観察モニタ35に接続されてい
る。コントローラ36の制御信号端及びデータ信号端
は、バスライン36aにより前記画像処理部32とLA
Nコントローラ31との制御信号端に接続されている。
コントローラー36の制御信号端及びデータ信号端は、
バスライン36bにより後述のCPU41との制御信号
端に接続されている。
【0034】また、カンファレンスユニット6は、コン
トローラ36を制御するCPU41と、例えばサーバー
ユニット5への画像ファイルの検索等の要求を入力する
と共に、この画像ファイルに併せて各種の情報を入力す
るキーボード42と、このキーボード42の信号とCP
U41の信号との整合をとるキーボードインターフェー
ス(以下、キーボードI/Fと称する)43と、キーボ
ード42により入力された情報を表示する検索モニタ4
4と、検索モニタ44の画面上のカーソル座標を任意の
位置に移動させる指示を与えるマウス45と、このマウ
ス45の信号とCPU41の信号との整合をとるマウス
インターフェース(以下、マウスI/Fと称する)46
と、CPU41の実行プログラム及び検索モニタ44の
メニュー画面の画像データ等の各種データを記録したハ
ードディスク47と、このハードディスク47の信号と
CPU41との信号の整合をとるハードディスクインタ
ーフェース(以下、ハードディスクI/Fと称する)4
8と、CPU41の各種処理作業領域として用いられる
作業メモリ49と、検索モニタ44に表示するデジタル
RGBビデオ信号を記憶するメモリを含む画像処理部5
0と、CPU41からの情報を印刷するプリンタ51
と、プリンタ51とCPU41との整合をとるプリンタ
インターフェース(以下、プリンタI/Fと称する)5
2とを備えている。
【0035】さらに、カンファレンスユニット6は、C
PU41によりキーボード42から入力された情報のう
ちパスワードを記憶するパスワード記憶部61と、パス
ワード記憶部61が記憶したパスワードのレベルを判定
するパスワード監視部62と、パスワード監視部62の
判定結果に基づいてCPU41の制御を制限する制御制
限部63とを備えている。
【0036】CPU41の制御信号端及びデータ信号端
は、バスライン41aによりハードディスクI/F4
8、マウスI/F46、キーボードI/F43、作業メ
モリ49,画像処理部50及びパスワード監視部61の
制御信号端及びデータ信号端に接続されている。そし
て、CPU41は、バスライン41aにより、ハードデ
ィスクI/F48、マウスI/F46、キーボードI/
F43、プリンタI/F52及び作業メモリ49を制御
するようになっている。
【0037】マウスI/F46は、マウス45の物理的
相対移動量に応じた信号を検出し、作業メモリ49へ出
力し、作業メモリ49は、前述した移動量を記憶するよ
うになっている。
【0038】キーボードI/F43は、キーボード42
から入力された文字情報の信号を作業メモリ49へ出力
し、作業メモリ49は、前述した文字情報等を記憶する
ようになっている。
【0039】ハードディスクI/F48は、ハードディ
スク47からCPU41が実行するプログラム及びメニ
ュー画面等の検索モニタ44用の画像データを読み出
し、作業メモリ49へ出力し、作業メモリ49は前述し
たプログラム及び検索モニタ44用の画像データ等を記
憶するようになっている。
【0040】プリンタI/F52は、プリンタ51に対
してCPU41から送信される情報を伝送し印刷を行
う。
【0041】CPU41は、前述したようにハードディ
スク47に記憶されたプログラムを電源投入時に、作業
メモリ44にロードし該プログラムによって動作する。
【0042】前述したようにサーバーユニット5のハー
ドディスク23に記憶された画像ファイルは、コントロ
ーラー26の制御により、ハードディスクドライバ14
に出力されメモリ22に一旦記憶されるか或いは直接L
ANコントローラ21へ出力される。LANコントロー
ラ21からLANケーブル5aを介し、カンファレンス
ユニット6のLANコントローラ31へ画像ファイルが
入力される。
【0043】そして、カンファレンスユニット6では、
コントローラ36の制御によりLANコントローラ31
は、画像処理部32に画像ファイルを出力する。画像処
理部32に記憶された、サーバーユニット5のハードデ
ィスク23からの画像ファイルは、コントローラ36の
制御によりデジタルの観察画像データと管理情報に分離
され、デジタル観察画像データは画像処理部32に記憶
され、管理情報はバスライン36bによりCPU41に
送られる。
【0044】画像処理部32は、前述した観察画像デー
タを記憶するようになっている。前述したように画像処
理部32へ記憶されたデジタル信号である観察画像デー
タは、D/Aコンバータ34の逆量子化により、アナロ
グRGBビデオ信号へ変換され、観察モニタ35へ出力
されるようになっている。観察モニタ35は、前述した
ように入力されたアナログRGBビデオ信号を映し出す
ようになっている。尚、観察画像データが圧縮画像デー
タの場合は、伸張装置33で伸張された後にD/Aコン
バータ34に出力される。
【0045】CPU41は、マウス45によるカーソ
ル、キーボード42による文字情報、ハードディスク4
7からのメニュー画面等の検索モニタ44用の画像デー
タと管理情報を合成或いは単独で表示するように演算処
理し、画像データとして画像処理部50へ記憶させるよ
うになっている。
【0046】ハードディスク23に記録されている画像
ファイルの観察画像データは、例えばカラーである観察
画像を横640ドット、縦480ドットで分割し、この
各ドットに対応じてRGB各色信号レベルを、例えば8
ビットとなるように量子化した所定のバイト数で構成さ
れるようになっている。
【0047】次に、本実施の形態における診断支援処理
の詳細について説明する。診断支援処理は、ハードディ
スク47に記録された診断支援処理実行プログラムを用
い、CPU41により実行される。また、診断支援処理
は、検索モニタ44に表示されるマルチウインドウ環境
上において、キーボード42及びマウス45を用いての
入力により操作される。
【0048】図2に示すように、診断支援処理実行プロ
グラム70は、画像管理ブロック71、データベース管
理ブロック72、ROI設定ブロック73、特徴量算出
ブロック74、判別分類ブロック75、レポート作成ブ
ロック76及び画像処理ブロック77からなっている。
【0049】続いて、診断支援処理実行プログラム70
を構成する各ブロックの概要を説明する。
【0050】画像管理ブロック71は、診断支援処理に
おいて使用する内視鏡画像の管理及び検索等を行う。
【0051】データベース管理ブロック72は、診断支
援処理において使用する画像、設定されるROI、算出
される特徴量等を記憶及び管理するためのデータベース
を管理する。
【0052】ROI設定ブロック73は、内視鏡画像上
において、特徴量の算出及び判別分類の対象とするため
のROIを設定する。
【0053】特徴量算出ブロック74は、ROI設定ブ
ロック73により設定されたROIに対して、特徴量算
出手法を適用することにより特徴量を算出する。
【0054】判別分類ブロック75は、特徴量算出ブロ
ック74において算出された特徴量を用いた判別分類処
理を行う。
【0055】レポート作成ブロック76は、特徴量算出
ブロック74及び/または判別分類ブロック75により
得られた各処理結果の一覧表示及びグラフ上へのプロッ
ト等によるレポートを作成する。
【0056】また、画像処理ブロック77は、診断支援
処理に使用する原画像である内視鏡画像に対し、たとえ
ばノイズ除去処理、構造成分強調処理等の画像処理を適
用する。
【0057】そして、画像処理ブロック77による処理
結果画像は、原画像と同様にサーバユニット5における
ハードディスク23に記録されるとともに、診断支援類
処理の対象データとすることができる。
【0058】ここで、カンファレンスユニット6におい
ては、各ブロックはマルチウインドウ上でのマルチプロ
セッシングにより、並行して動作することが可能となっ
ている。
【0059】図3はマルチウインドウの例を説明するた
めの説明図である。当初、検索モニタ44のモニタ画面
80上には各種機能を実行するためのウインドウを開く
ためのアイコン81、82及び83が表示されている.
操作者は目的とする機能のウインドウを開くために,マ
ウス45に連動して移動するマウスポインタ84による
クリックを行う。クリックとは、マウスポインタ84を
アイコン等に重ね、マウス45のボタンを押下する動作
を示す。
【0060】マウスポインタ84によりクリックされた
アイコンは、各々に対応する機能を実行するための1つ
以上のウインドウを開く。図4は開かれたウインドウの
例を説明するための説明図であって、図3におけるアイ
コン81、82及び83は、クリックにより、図4に示
すようなウインドウ85、86及び87を検索モニタ4
4のモニタ画面80上にそれぞれ開く。
【0061】以後、モニタ画面80においては,マウス
ポインタ84が重ねられたウインドウ上(以下,このよ
うなウインドウをアクティブウインドウと称し、図4に
おいてはウインドウ86がアクティブウインドウであ
る)で入力等の作業が行われる。また、マウスポインタ
84の移動により任意のウインドウをアクティブウイン
ドウとして選択することが可能である。
【0062】また、図5及び図6は上記のウインドウの
構成例を説明するための説明図であって、図5において
は、ウインドウ90は、機能の動作指定等を行うための
ボタン91、ウインドウ90に関する機能におけるシス
テム側からの出力を表示する出力表示領域92、機能に
基づく事項を選択するためのメニューバー93、メニュ
ーバー93をスクロールさせるためのスクロールバー9
4、キーボード42からの入力を表示するための入力表
示領域95及び作業を終了によりウインドウ90を閉じ
るための終了ボタン96からなっている。
【0063】ボタン91上にマウスポインタ84を重ね
てクリックすることにより、対応する機能を動作させる
ことができる。なお、例えばボタン91を選択した場合
に新たな別のウインドウ(図示せず)が開くように制御
することも可能である。
【0064】出力表示領域92においては、例えばテキ
スト、数値データ等のメッセージをシステム側から表示
する。
【0065】キーボード42から何らかの入力が行われ
る場合には、入力情報を入力表示領域95に表示するこ
とができる。
【0066】すべての作業が終了した場合には、終了ボ
タン96にマウスポインタ84を重ねてクリックするこ
とにより、ウインドウ90を閉じることができる。
【0067】メニューバー93においては、各事項を指
すバー(図5において1、2、3、…の番号付けされた
部分)にマウスポインタ84を重ねてクリックすること
により、希望するものを選択することができる。その
際,クリックされたバーは反転表示等の動作が適用さ
れ、いずれが指定されたものかを操作者に知らせること
ができるようになっている。
【0068】また、メニューバー93の表示範囲に対し
て、選択できる事項の数が大である場合(図5の例にお
いては,例えば事項が10ある場合等)においては、ス
クロールバー94を使用することができる。すなわち、
マウスポインタ84をスクロールバー94の上方スクロ
ールボタン94aに重ねマウス45のボタンを押下する
とメニューバー93が上方へ、スクロールバー94の下
方スクロールボタン94bに重ねて押下した場合には下
方へとスクロールする。図5の例においては、下方スク
ロールボタン94bを使用することにより、事項6以降
を表示・選択することが可能となる。
【0069】スクロールポインタ94cは、全事項中に
おいてスクロールバー94のおよそどの部分をメニュー
バー93に表示しているかを知るための目安を示してい
る。
【0070】また、図6に示すように、メニューバーの
項目を2次元的に配置し、水平方向へのスクロールを行
うスクロールバーを備えることも可能である。すなわ
ち、図6において、ウインドウ100は項目が2次元に
配置されたメニューバー101と、垂直方向へのスクロ
ールを行うスクロールバー102及び水平方向へのスク
ロールを行うスクロールバー103からなっている。
【0071】操作者は、図5のスクロールバー94に対
する操作と同様にして、水平及び垂直方向にメニューウ
インドウ100をスクロールさせることにより、任意の
項目を選択することが可能となる。
【0072】本実施の形態におけるウインドウは、以上
に説明したように動作するボタン、メニューバー、スク
ロールバー、出力表示領域及び入力表示領域を任意の大
きさ及び個数で構成している。なお、以下の説明におい
て、特に断りのない場合は、終了ボタンをクリックする
と、該当するウインドウを閉じるよう動作するものとす
る。
【0073】図7は本実施の形態における診断支援処理
の各機能の呼び出し動作を説明するための説明図であ
る。
【0074】初めに、検索モニタ44上において、診断
支援処理のメインメニューとなるアイコンが配置された
メイン画面110が表示される。このメイン画面110
は、画像表示機能を呼び出す画像表示アイコン111、
データベースカスタマイズ機能を呼び出すデータベース
アイコン112、ROI設定機能を呼び出すROI設定
アイコン113、特徴量算出機能を呼び出す特徴量算出
アイコン114、判別分類機能を呼び出す判別分類アイ
コン115、レポート作成機能を呼び出すレポート作成
アイコン116及び画像処理機能を呼び出す画像処理ア
イコン117からなっている.上記のアイコン111〜
117により実行される各機能は、診断支援処理実行プ
ログラムにおいては、図2に示したように、画像表示機
能は画像管理ブロック71が、データベースカスタマイ
ズ機能はデータベース管理ブロック72が、ROI設定
機能はROI設定ブロック73が、特徴量算出機能は特
徴量算出ブロック74が、判別分類機能は判別分類ブロ
ック75が、レポート作成機能はレポート作成ブロック
76が、画像処理機能は画像処理ブロック77がそれぞ
れ動作する。
【0075】なお、各機能はマルチプロセッシングによ
り並行して動作可能である。また、各機能においては動
作内容ごとのサブルーチン化がなされており、必要に応
じて異なる機能から任意のサブルーチンを呼び出すこと
が可能となっている。
【0076】次に、診断支援処理実行プログラムにおけ
る各ブロックの動作の詳細について説明する。
【0077】(画像管理ブロック)画像管理ブロック7
1は、前述の通り、主として診断支援処理において使用
する内視鏡画像の管理及び検索を行うものである。サー
バユニット5のハードディスク23に記録された内視鏡
画像ファイルは、対象となる患者の内視鏡検査ごとに管
理される。
【0078】図8に示すように、ハードディスク23に
記録された内視鏡画像ファイルは、ファイル管理データ
により患者ID及び検査年月日(及び患者名)ごとに管
理されることとなり、各内視鏡検査単位に番号付けがな
されている。検査No.は検査ごとに、また患者IDは
各患者ごとに設定されるため、重複が生ずることはな
い。
【0079】また、図9は内視鏡画像ファイルの各内視
鏡画像の内視鏡検査ごとに付与される管理データを説明
するための説明図であって、この例においては、検査N
o.1として管理される内視鏡画像データは7枚である
ものとする。管理データとしては、前述の患者ID、患
者名及び検査年月日の他に、例えば検査部位、診断名、
メモ及び担当医等のデータを含むことができる。これら
のデータは、ハードディスク23に記録され、後述する
画像検索処理におけるキーとして使用される。
【0080】画像表示アイコン111をマウスポインタ
84で選択する(図7参照)ことで、画像管理ブロック
71は、図10に示すような画像管理データウインドウ
120を開く。画像管理ウィンドウ120は各種データ
を入力するための入力表示領域121と、すでに与えら
れている管理データを再編集する場合に使用する呼び出
しボタン122及び終了ボタン123からなっている。
【0081】操作者はマウスポインタ84を希望する管
理データの入力欄に重ね、キーボード42より必要な情
報を入力する。また、検査No.のみを入力し、呼び出
しボタン122をクリックした場合には、対応する内視
鏡検査の管理データを入力表示領域121に各々表示す
る。管理データ呼び出し後は、操作者が所望の管理デー
タを編集することができる。
【0082】図10において、呼び出しボタン122を
マウス45でクリックすると、検索処理が実行される。
この検索処理においては、図11に示すように、まず検
索ウインドウ130を開く。検索ウインドウ130は検
索キーを入力するための入力表示領域131と、入力し
た検索キーを用いた条件検索の開始を指定する条件検索
開始ボタン132と、全内視鏡検査データを表示する全
検索の開始を指定する全検索開始ボタン133及び終了
ボタン134から構成されている.なお、この例におい
ては、検索キーとして患者ID、患者名、検査部位及び
診断名が使用可能であるものとする。
【0083】検索処理において全検索を行う場合、操作
者は全検索ボタン133をマウス45でクリックする。
また、条件検索を行う場合、操作者は入力表示領域13
1に所望のキーをキーボード42を用いて入力し、条件
検索開始ボタン132をマウス45でクリックする。
【0084】これらの操作により検索が実行されるが、
検索結果として得られた内視鏡検査データが存在する場
合には、図12に示すような新たに検索結果表示ウイン
ドウ140を開き、検索結果を表示する。
【0085】検索結果表示ウインドウ140は、検索結
果である内視鏡検査データの管理データ(この例では検
査No.、患者ID、患者名及び検査年月日)を表示す
るメニューバー141と、スクロールバー142と、所
望の内視鏡検査において記録した内視鏡画像の一覧表示
を指定するための画像一覧ボタン143と、後述する各
処理において内視鏡検査を選択する際に使用する確定ボ
タン144及び終了ボタン145からなっている.操作
者がメニューバー141のクリックにより所望の内視鏡
検査を指定後、さらに画像一覧ボタン143をクリック
すると、該当する内視鏡検査において記録された内視鏡
画像が一覧表示される図13に示すような画像一覧表示
ウィンドウ150が開かれる。
【0086】なお、検索結果ウィンドウ140において
表示された内視鏡検査に基づいて記録されている内視鏡
画像に対しては、後述する内視鏡画像の表示、画像処
理、ROIの設定及び特徴量算出、判別分類等の各処理
が適用されることとなる。
【0087】画像一覧表示ウィンドウ150は、図13
に示すように、内視鏡検査データにおける管理データ及
び記録された内視鏡画像の枚数等を表示するためのデー
タ表示領域151と、記録された内視鏡画像ごとに付与
された画像No.等を表示することにより所望の内視鏡
画像を指定することができるメニューバー152と、ス
クロールバー153と、メニューバー152上でクリッ
クにより選択した内視鏡画像の表示を開始するための表
示開始ボタン154及び終了ボタン155からなってい
る。
【0088】操作者がメニューバー152の任意の項目
(ここでは内視鏡画像)をクリックにより選択した後、
表示ボタン154をクリックすることにより、選択され
た内視鏡画像を表示する図14に示すような画像表示ウ
インドウ160が開かれる。
【0089】画像表示ウィンドウ160は、図14に示
すように、画像表示領域161と、管理データ等を表示
するためのデータ表示領域162と、後述するROI設
定処理等において画像選択等に使用される確定ボタン1
63及び終了ボタン164からなっている。
【0090】操作者は、画像表示ウィンドウ160上に
表示された内視鏡画像を見ることにより、最終的な検索
結果が所望する内視鏡画像であるか否かを確認すること
ができる。
【0091】そして、図10の画像管理データウインド
ウ120上でのすべての作業が終了した場合には、終了
ボタン123をマウス45でクリックすることにより画
像管理データウインドウ120が閉じられる。
【0092】なお、図13において表示ボタン154が
クリックされた場合には、画像表示ウインドウ160が
開かれるとともに,選択された内視鏡画像が観察モニタ
35上に表示されるように制御してもよい。
【0093】また、上記の検索処理は、図2において示
した各ブロックより、内視鏡画像の検索が必要とされる
任意の時点で実行可能となっている。すなわち、各ブロ
ックにおける機能を実行するウィンドウ(図示せず)上
に、図11の検索ウィンドウ130を開くことを指示す
るための検索指示ボタンを設定しておくことができる。
【0094】(画像処理ブロック)次に、画像処理ブロ
ック77の動作について説明する。画像処理アイコン1
17をマウスポインタ84で選択する(図7参照)こと
で、画像処理ブロック77は、図15に示すような画像
処理ウインドウ170を開く。画像処理ブロック77は
前述のように、ハードディスク23に記録された内視鏡
画像に対し、所望の画像処理を適用する。
【0095】画像処理ブロック77の動作は、画像処理
ウインドウ170上において指定される。画像処理ウィ
ンドウ170は、実行する画像処理の一覧表示からなる
メニューバー171と、スクロールバー172と、前述
した検索処理の実行を指定するための検索ボタン173
と、メニューバー171において指定した1つ以上の画
像処理の実行開始を指定する実行ボタン174及び終了
ボタン175からなっている。
【0096】操作者は、メニューバー171上におい
て、所望する画像処理名をクリックにより指定する。画
像処理として、例えばノイズ除去処理、構造成分強調処
理、2値化処理がある。
【0097】また、検索ボタン173をクリックするこ
とにより,前述の検索ウインドウ130が開かれる(図
11参照)。前述した一連の検索処理を経て、操作者は
検索結果表示ウィンドウ140において、メニューバー
141及び確定ボタン144のクリックにより、選択し
た画像処理を適用する内視鏡画像を選択し終了ボタン1
34をクリックすることで、画像処理ウインドウ170
に戻る(図12参照)。
【0098】適用する画像処理名及び内視鏡画像の選択
を終了後、図15において、実行ボタン174をクリッ
クすることにより処理が実行される。メニューバー17
1上に表示される各画像処理は、サブルーチンプログラ
ムとしてハードディスク47に記憶されている。実行結
果である処理結果画像は、新たに開かれる処理結果画像
表示ウインドウ上に表示される.処理結果画像を表示す
る処理結果画像表示ウィンドウ180は、図16に示す
ように、処理結果画像表示領域181と、画像管理デー
タ表示領域182と、処理結果画像のハードディスク2
3への記録開始を指示するための記録開始ボタン183
及び終了ボタン184からなっている。
【0099】画像管理データ表示領域182には、前述
の管理データ及び適用した画像処理の処理名等を表示す
る。また、記録開始ボタン183をクリックすることに
より、処理結果画像がハードディスク23に管理データ
とともに記録される。
【0100】なお、ハードディスク23への記録を行わ
ない場合には、終了ボタン184をクリックすることに
より処理結果画像表示ウィンドウ180を閉じればよ
い。この場合、処理結果画像は棄却される。
【0101】(データベース管理ブロック)次に、デー
タベース管理ブロック72について説明する。データベ
ース管理ブロック72は、診断支援装置1における内視
鏡検査、内視鏡画像、設定したROI及び各機能におけ
る処理結果等をデータベース化し管理するものである。
【0102】データベース管理ブロック72が管理する
データベースは、図17に示すように、検査データ19
0、患者管理データ191、処理結果画像管理データ1
92、画像処理手法データ193、画像管理データ19
4、ROI管理データ195、部位データ196、所見
データ197、分類データ198、特徴量算出手法デー
タ199、ROI間相互特徴量データ200、ROI特
徴量データ201及び判別分類手法データ202、デー
タセット名データ203、使用特徴量データ204、分
類クラスデータ205、クラス別サンプルデータ20
6、判別分類係数データ207、判別分類結果データ2
08、判別境界値データ209により構成されており、
各データはそれぞれファイルとしてハードディスク23
に記憶されている。
【0103】検査データ190は、内視鏡画像の管理単
位である前述の内視鏡検査ごとに付与されるデータを管
理するデータベースである。
【0104】患者管理データ191は、患者名、生年月
日及び患者ID等の患者ごとに付与されるデータを与え
る参照用データベースである。
【0105】画像管理データ194は、各内視鏡検査の
下に管理される内視鏡画像ごとに付与されるデータを管
理するデータベースである。
【0106】処理結果画像管理データ192は、前述の
画像処理が適用された処理結果画像に付与されるデータ
を管理するデータベースである。
【0107】画像処理手法データ193は、画像処理の
手法の種類を与える参照用データベースである。
【0108】ROI管理データ195は、内視鏡画像あ
るいは処理結果画像に対し、後述する一連の処理により
設定されたROIの個々に対して付与されるデータを管
理するデータベースである。
【0109】部位データ196は、ROI管理データに
対し、診断部位を与えるための参照用データベースであ
る。
【0110】所見データ197は、ROI管理データに
対し、所見属性を与えるための参照用データベースであ
る。
【0111】分類データ198は、ROI管理データに
対し、診断分類を与えるための参照用データベースであ
る。
【0112】特徴量算出手法データ199は、設定され
たROIに対して適用する特徴量算出処理の名称を与え
る参照用データベースである。
【0113】ROI間相互特徴量データ200は、後述
する一連の処理により算出されるROI間相互特徴量を
管理するためのデータベースである。
【0114】ROI特徴量データ201は、後述する一
連の処理により算出されるROI特徴量を管理するため
のデータベースである。
【0115】判別分類手法データは202は、算出され
た特徴量を用いた判別分類処理手法の名称を与える参照
用データベースである。
【0116】データセット名データ203は、判別分類
手法に基づく後述する判別分類系を管理するためのデー
タベースである。
【0117】使用特徴量データ204は、判別分類系の
生成において使用した特徴量の名称を管理するためのデ
ータベースである。
【0118】分類クラスデータ205は、生成した判別
分類系のデータセットが分類の対象とするクラス(本実
施の形態においては診断分類)を管理するためのデータ
ベースである。
【0119】クラス別サンプルデータ206は、判別分
類系の生成においてデータセットが教師データとして使
用したROIを管理するデータベースである。
【0120】判別分類係数データ207は、生成された
判別分類系における各係数値を管理するためのデータベ
ースである。
【0121】判別分類結果データ208は、設定された
ROIに対して生成された判別分類系を適用して得られ
た結果を管理するためのデータベースである。
【0122】判別境界値データ209は、生成された判
別分類系の判別分類基準となる値を管理するためのデー
タベースである。
【0123】ここで、参照用データベースとは、診断部
位(食道、胃、大腸等)、所見(発赤、褪色、隆起
等)、診断分類(正常、潰瘍、早期癌等)の名称を項目
として含むデータベースである。参照用データベース
は,操作者により、任意の時点で項目の追加、変更及び
削除等のカスタマイズが可能なデータベースである。
【0124】一方、参照用データベース以外のデータベ
ースは、各々が管理対象とするデータが発生した時点で
項目が生成される。例えば、新たな内視鏡検査により内
視鏡画像が記録された場合には検査データ190及び画
像管理データ194に新たな項目が追加生成される。ま
た、データが更新、削除された場合に連動し、対応する
項目が更新、削除される。
【0125】各データは、その関連する内容に基づき、
各々のキーとなるプライマリナンバを参照することによ
り結合がなされている。プライマリナンバは各データベ
ースにおける項目ごとに1対1に付与された番号であ
る。これにより、検査、患者、画像、ROI等の種々の
データが関連づけられる。
【0126】データベース管理ブロック72は、データ
ベース化すべきデータの出現、データの内容変更等が生
じた場合に、各データのオープン、読みだし、書換、格
納、クローズ等の一連の作業を制御する。
【0127】また、図7のデータベースアイコン112
をクリックすることにより、患者管理データ191、部
位データ196、所見データ197及び分類データ19
8における項目の追加、変更及び削除等のカスタマイズ
が可能となる。その場合、データベースカスタマイズウ
インドウ(図示せず)が開き、操作者は該ウインドウ上
においてカスタマイズするデータ、追加、変更及び削除
等の操作を行い、確定ボタン及び終了ボタンのクリック
により作業を終了する。データベース管理ブロック72
は、確定ボタンのクリックにより該当するデータの書き
換えを行う。
【0128】(ROI設定ブロック)次に、ROI設定
ブロック73の動作について説明する。図7のROI設
定アイコン113のクリックによりROI設定処理の実
行を選択すると、図10に示した画像管理データウイン
ドウ120が開く。以下、前述の手順にしたがいROI
の設定を行う内視鏡画像を、図12に示したように、検
索結果表示ウィンドウ140上のメニューバー141に
おいて選択する。続いて、確定ボタン144をクリック
することにより、新たなROI設定ウインドウが開かれ
る。
【0129】図18に示すように、ROI設定ウインド
ウ220は、画像表示及びROI描画作業を行うための
ROI表示領域221、設定するROIの番号を指定す
るROI番号選択ボタン222、算出する特徴量を指定
するための特徴量選択ボタン223、設定したROIに
対し、部位、所見及び分類をそれぞれ設定するための部
位設定ボタン224、所見設定ボタン225及び分類設
定ボタン226、特徴量の算出を実行するための特徴量
算出実行ボタン227、ROIの設定をやり直す場合等
に使用するROI削除ボタン228、設定したROIの
データベースへの登録を指示する確定ボタン229、終
了ボタン230,画像表示領域においてROIの描画線
の表示または非表示を指定するためのROI表示指定ボ
タン231及びROI非表示指定ボタン232から構成
される。
【0130】操作者はマウス45を用いてROI設定ウ
インドウ220上の各機能ボタンをクリックすることに
より作業を進める。なお、本実施の形態においては1枚
の内視鏡画像上に最大5個のROIが設定可能であるも
のとする。
【0131】始めに、ROI設定対象とする内視鏡画像
を、ROI設定ウインドウ220における画像表示領域
221に表示する。操作者は、表示された内視鏡画像を
確認後、マウスポインタによりROI番号選択ボタン2
22をクリックする。ROI番号選択ボタン222は数
字1ないし5を示しており、それぞれが設定されるRO
Iの番号(1)ないし(5)に対応している。
【0132】続いて、画像表示領域221上において、
マウス45の操作によりROIの描画を行う。ROIの
描画は、例えばマウス45のボタンを押下したままでマ
ウスポインタ84を移動させ、その軌跡を表示するよう
に制御すればよい。描画されたROIに対して、対応す
るROIの番号(1)ないし(5)のいずれかを画像表
示領域221上に重畳表示する。
【0133】また、ROIの設定においては、任意形状
の描画に限らず、正方形あるいは長方形のような矩形に
より設定してもよい。矩形の水平及び垂直方向の大きさ
(サイズ)は、操作者による指定または、例えば5画素
ずつ大きくした初斯設定値群から選択する等の可変にし
ておく。その場合は、図18に示したROI設定ウィン
ドウ上において、「矩形/任意描画選択ボタン」及び
「矩形サイズ指定ボタン」(ともに図示せず)を備える
ものとする。操作者は,マウスポインタ84を移動し、
画像表示領域221に表示された画像上の所望の位置に
矩形のROIを設定することが可能となる。画像表示領
域221上において、マウスポインタ84と同時に矩形
を表示し、マウスポインタ84の移動にともない矩形も
移動するように制御する。
【0134】また、ROIの形状は,矩形に限らず、
円、その他の多角形等の任意の定形ROIを任意の大き
さで設定できるようにしてもよい。
【0135】次に、設定したROIにおいて算出する特
徴量を指定する。この操作は特徴量選択ボタン223を
クリックすることにより行う。特徴量選択ボタン223
をクリックすると、図19に示す算出特徴量メニューウ
インドウ240が開く。
【0136】算出特徴量メニューウインドウ240は、
各種処理手法名及び各々から算出される特徴量の名称を
表示するメニューバー241と、スクロールバー242
と、後述するROI間相互特徴量を指定するための相互
特徴量算出ボタン243と、やはり後述する特徴量の一
括選択を指定する一括選択ボタン244と、算出する特
徴量の指定を確定し算出特徴量メニューウインドウ24
0を閉じるための確定ボタン245から構成される。
【0137】メニューバー241には、診断支援装置1
において実行可能である処理手法群と、各処理手法の適
用により得られる特徴量の名称からなる項目が表示され
ている。処理手法としては、例えば設定したROIに内
包された各画素におけるR、G及びB画像データに基づ
き色調を評価する手法、濃度共起行列等を用いたテクス
チャを解折する手法等、種々のものが考えられる。算出
の指定はマウス45を用いてメニューバー241上の該
当する項目をクリックすることにより行われる。
【0138】このように、算出可能である特徴量の中か
ら、任意の特徴量を指定可能とすることにより、不要な
特徴量の算出にともなう計算時間及び算出結果の記憶領
域の節減を図ることが可能となる。
【0139】また,本実施の形態の診断支援処理におい
ては,算出する特徴量の指定をメニューバー241の各
項目を逐一クリックすることによるのみでなく、一括選
択ボタン244を使用することによりさらに簡便に行う
ことができる。
【0140】一括選択ボタン244をクリックした場
合、新たな一括選択メニューウインドウが開かれる。
【0141】図20に示すように、一括選択メニューウ
インドウ250は、算出する特徴量の組み合わせを選択
するための組み合わせ番号ボタン251と、組み合わせ
番号ボタン251により指定される算出される特徴量の
項目を表示する特徴量表示領域252と、すべての特徴
量の算出を指定するための全選択ボタン253と、確定
ボタン254と、一括選択メニューウインドウ250上
での操作を終了するための終了ボタン255から構成さ
れている。
【0142】一括選択メニューウインドウ250では、
後の判別分類処理において使用する特徴量の数通り(本
実施の形態においては3組とする)の組み合わせを、あ
らかじめ設定しておく。すなわち、組み合わせ番号ボタ
ン251の1ないし3に番号付けされたボタン及び確定
ボタン254をクリックすることにより、常に必要最小
限の特徴量を算出することが可能となる。したがって、
使用しない特徴量算出に要する計算時間及び算出された
値を記憶するための記憶領域の大幅な節約が実現でき
る。
【0143】また,全選択ボタン253をクリックした
場合においては、メニューバー251における特徴量す
べてが選択される。これにより、すべての特徴量が必要
な場合において、算出する特徴量示す項目を逐一クリッ
クする労力が省かれることとなる。
【0144】なお、上述した算出する特徴量の指定は、
後述する特徴量算出処理及び判別分類処理の実行時にお
いて行うことも可能であるため、ROIの設定時におい
ては省略(指定なし)してもかまわない。
【0145】続いて、設定するROIの部位の指定を行
う。ROIの設定における部位の指定は、例えば内視鏡
検査における部位が胃であれば、噴門、胃角、胃体部、
幽門等の詳細部位が与えられる。図18のROI設定ウ
インドウ220において、部位設定ボタン224をクリ
ックすることにより、新たな部位指定メニューウインド
ウが開かれる。
【0146】図21に示すように、部位指定メニューウ
インドウ260は、図17の部位データ196における
項目を表示するメニューバー261と、スクロールバー
262と、部位の設定を確定する確定ボタン263から
なっている。また、確定ボタン263は終了ボタンの機
能も兼ねており、クリックされた時点で部位指定メニュ
ーウインドウ260を閉じる。操作者は、所望する部位
の名称をメニューバー261をクリックすることにより
選択し、確定ボタン263をクリックすることにより確
定する。
【0147】また、図18のROI設定ウインドウ22
0の所見設定ボタン225及び分類設定ボタン226を
クリックすることにより、部位の指定と同様にして設定
するROIの所見及び分類を指定する。所見及び分類の
指定においては、所見指定メニューウインドウ及び分類
指定メニューウインドウ(ともに図示せず)を開く。そ
の際,各々のメニューウインドウが部位指定メニューウ
インドウ260の内容と異なる点は,メニューバー26
1上がそれぞれ所見データ197及び分類データ198
における項目となることである(図17参照)。
【0148】なお、部位、所見及び分類の指定において
は、それぞれ初期値として「未設定」を与えておく。こ
れにより、各項目の指定を省略してROIの描画のみを
行う等の作業が可能となる。
【0149】以上の一連の作業により1個のROIの設
定が終了すると、確定ボタン229をクリックを機にR
OI管理データ195(図17参照)に新たなデータが
追加される。
【0150】なお、以上においては簡単のため各ボタン
等の操作を順序立てて説明したが、ROIの設定におい
てはROI番号選択ボタン222及び確定ボタン229
がそれぞれROI設定開始時及び設定終了時にクリック
されればよく、その間の作業はどのような順序で行って
もよい。
【0151】ROIの設定が完了すると、特徴量の算出
が可能となる。特徴量の算出は、後述する特徴量算出ブ
ロック74が動作することにより行われ、特徴量算出実
行ボタン227のクリックのみでなく、特徴量算出アイ
コン114のクリック及び判別分類ブロック75からの
呼び出し(ともに後述する)からも実行可能である。
【0152】図18のROI設定ウインドウ220にお
いて、特徴量算出実行ボタン227がクリックされる
と、算出する特徴量の選択がなされている場合には、図
22に示す特徴量算出結果表示ウインドウ270が開
く。算出する特徴量が未選択であれば、「算出する特徴
量を選択して下さい」等のメッセージを表示する。
【0153】図22に示すように、特徴量算出結果表示
ウインドウ270は、各ROIごとに算出された特徴量
の値等を表示するための表示領域271と、スクロール
バー272及び終了ボタン273とからなっている。表
示領域271においては,検査NO.、患者ID、患者
名、画像No.、ROIの番号等、ROIに関する情報
が表示されるとともに、算出が終了したROIから逐次
算出結果である値が表示される。また、ROI設定ウイ
ンドウ220を複数開き、異なる複数の内視鏡画像に対
し、並行してROIの設定を行う場合等、多数のROI
から特徴量を算出する場合には、スクロールバー272
を使用することができる。操作者は、算出結果を確認
後、終了ボタン273をクリックすることにより、特徴
量算出結果ウインドウ270を閉じる。特徴量の算出結
果は、ROI特徴量データ201に追加される(図17
参照)。
【0154】なお、図22の例においては算出される特
徴量を1つの特徴量算出結果表示ウインドウ270上に
表示したが、各特徴量ごとに異なる特徴量算出結果表示
ウインドウを開くように制御してもよい。
【0155】また、図18のROI設定ウインドウ22
0においては、ROI表示指定ボタン231及びROI
非表示指定ボタン232のそれぞれがクリックされるこ
とにより、画像表示領域221におけるROIの描画線
を表示及び消去するように制御する。これにより、操作
者は任意の時点でROIの描画線のない内視鏡画像を確
認することができる。
【0156】なお、特徴量の算出を画像処理ブロック7
7による処理結果画像とすることも可能である。この場
合、設定されるROIの描画位置、部位、所見及び分類
等は、画像処理の適用されていない原画像と同一であ
る。したがって、原画像である内視鏡画像においてRO
Iの設定あるいは変更がなされた場合には、同一のデー
タを処理結果画像に対しても付与するように制御する。
また、処理結果画像においてROIの設定あるいは変更
がなされた場合には、やはり原画像に対して同一のデー
タを付与するように制御すればよい。
【0157】従来、原画像及び処理結果画像においてR
OIを設定する場合、あるいは比較のため同一部位を切
り出してひとつの画面上に表示する場合等では、座標位
置、ROIサイズ等の情報を各々の画像に対し操作者が
別個に指定する必要があった。
【0158】図23は、本実施の形態における原画像及
び処理結果画像に対するROIの設定方法を説明するた
めの説明図である。図23において、(a)は原画像、
(b)は処理結果画像をそれぞれ示している。
【0159】図23(a)の原画像において、ROI1
aが定められたとき、図23(b)の処理結果画像に対
しても、自動的にROI1bが設定されたこととする。
ROI1a及びROI1bは、それぞれ画像上における
ROIの位置、大きさ及び形状が同一であるものとす
る。
【0160】また、逆に図23(b)の処理結果画像に
おけるROI1bが先に設定されれば、対応する図23
(a)の原画像に対しても同様にRO1aを設定する。
【0161】すなわち、原画像及びそれに対する1つ以
上のの処理結果画像のいずれか1つにおいてROIが設
定された場合には、関連する各画像上においても同一の
ROIが設定されたものとみなし、必要なROI管理デ
ータ等を付加するように制御する。
【0162】(特徴量算出ブロック)次に、特徴量算出
ブロック74における特徴量算出手法について説明す
る。本実施の形態としては、特徴量算出手法として、G
abor(ガボール)特徴に基づくテクスチャ解折手法
を適用する。
【0163】はじめに、Gabor特徴について説明す
る。Gabor特徴は、人間の視覚系のモデル化に基づ
く特徴量であり、画像における位置(座標)に依存する
局所的な情報を保存した周波数成分の解折手法である。
なお、より詳しい説明は文献「Gabor特徴による指
紋認識;浜本他:1995年第26回画像工学コンファ
レンス発表予報集 P.91〜P.94」に記述されて
いるため、ここでは概要を示すものとする。
【0164】Gabor特徴は、Gaborフィルタと
原画像とのたたみ込み演算により得られた値から算出さ
れる特徴量である。Gaborフィルタは、2次元ガウ
ス曲面と2次元平面上を一方向に伝わる平面波とをかけ
合わせたものであり、ガウス曲面における標準偏差σx
とσy、平面波の進行方向θk及び平面波の波長λmによ
り決定される。標準偏差σxとσyは波長λmと密接に関
係しており、波長λmの関数とすることができ、それぞ
れσx(λm)及びσy(λm)と表される。Gaborフ
ィルタは、実部Re(f)及び虚部Im(f)からなる
2次元フィルタであり、それぞれ、
【数1】
【数2】 で定義される。なお、Gaborフィルタは、式(1)
及び(2)におけるσx(λm)、σy(λm)、λm及び
θkを変更することにより、種々の特性を実現すること
が可能である。
【0165】ここで、波長λmはGaborフィルタが
画像から抽出する周波数成分の帯域を、方向θkはその
方向を規定する。
【0166】Gabor特徴は、Gaborフィルタと
画像とのたたみ込みから得られる。画像を大きさN×N
の多値画像I(i,j)(0≦i≦N-1,0≦j≦N-
1)とし、画像上のサンプリング画素を(X,Y)とす
る。ある特定のθk、λmに対するGaborフィルタと
画像とのたたみ込みは、
【数3】 で与えられる。そして、式(3)のgを用いて、Gab
or特徴の値h(X,Y,θk,λm)は、
【数4】 h(X,Y,θk,λm)=|g(X,Y,θk,λm)| (4) ただし、|z|は複素数α+iβの絶対値(α2+β2
1/2を表す。
【0167】以上において説明したGabor特徴量h
(X,Y,θk,λm)を、複数のθk及びλmの各々の組
み合わせ数(Lとする)分作成し、M個のサンプリング
画素に対して算出する。得られた特徴の値を用いて特徴
次元数M×Lの特徴量(特徴ベクトル)とする。
【0168】方向θkは、フイルタの設計をn方向につ
いて行うのであれば、
【数5】 θk=π(k−1)/n (k=1,…,n)(radian) (5) とする。例えば4方向とすれば0,π/4,π/2,3
π/4(radian)とすればよい。また、波長λmは、2
1/2,2×21/2,4×21/2,8×21/2のように適宜定
める。さらにσx(λ)及びσy(λ)については、例え
ばσx(λm)=σy(λm)=0.5×λmのように定め
ればよい。σx(λm)≠σy(λm)とすることも可能で
ある。
【0169】図24は本実施の形態におけるGabor
特徴に基づく特徴量算出手法を説明するためのフローチ
ャートである。ステップS101において、内視鏡画像
上に設定されたROIにおけるG画像データIgを取得
する。ここでは、簡単のためROIの形状は大きさN×
Nの矩形であるものとする。ステップS102におい
て、取得したG画像データIgに対し、ノイズ除去、逆
γ補正、シェーディング補正等の各前処理を適用するか
否かを判断し、適用する場合はステップS103へ、適
用しない場合はステップS104に進む。
【0170】ステップS103においてはメディアンフ
ィルタリング等によるノイズ除去、逆γ補正、シェーデ
ィング補正等の前処理をG画像データIgに対し適用す
る。なお、前処理の各々を選択的に適用してもよい。
【0171】ステップS104においては、G画像デー
タIgに対し、前述したGaborフィルタによるGa
bor特徴を算出する。本実施の形態においては、上述
したGabor特徴を、 θk=(0,π/4,π/2,3π/4) (a) λm=(3×21/2,6×21/2) (b) σx(λm)=σy(λm)=0.5×λm (c) について設計したL=8個のGaborフィルタによ
り、G画像データIgからM個のサンプリング画素につ
いて算出するものとする。
【0172】図25は、本実施の形態におけるM個のサ
ンプリング画素の取り方を説明するための説明図であ
る。ここでは、図25に示すように、大きさN×NのG
画像Igに対し、間隔Dで5×5の計25画素のサンプ
リング画素を設定し、L個のGaborフィルタによる
Gabor特徴を算出する。
【0173】図24に戻り、続くステップS105にお
いては、ステップS104において算出したM×L(=
120)個のGabor特徴hij(i=1,2,…,
M;j=1,2,…,L)を特徴量とし、各値を特徴量
算出結果ウィンドウ(図22参照)に表示し、ROI特
徴量データ201に記億する。
【0174】以上に説明したように、内視鏡画像に対す
るGaborフィルタの適用によるGabor特徴の利
用により、画像上の位置に依存する局所的な情報を保存
した特徴量の算出が可能となる。得られた特徴量を用い
て内視鏡画像における粘膜表面の構造パターンを示すテ
クスチャの解折及び判別分類が良好に行える。
【0175】なおGaborフィルタを設計するための
方向θk、波長λm及び標準偏差σxとσyの各々の与え方
は、本実施の形態の例に限定されるものではなく、適用
対象とする画像に合わせる等適宜決定してよい。また、
方向θkを非等間隔に設定してもよい。
【0176】また、使用するGaborフィルタの特性
を正規化して使用することももちろん可能である。その
場合は、例えば周波数領域における直流成分に対する周
波数応答を0に、通過帯域における周波数応答の絶対値
の最大値をα(αは任意の定数)となるように各Gab
orフィルタを変更すればよい。さらに、このような正
規化を、算出されたGabor特徴に対して適用しても
よい。
【0177】また,本実施の形態においては、特徴量算
出の対象として、ROIにおけるG画像を用いたが、R
及びB画像から同様の特徴量を算出してもよい。また、
例えば輝度画像等のR、G及びB画像データに対する演
算の適用により得られた画像に対して適用することも可
能である。
【0178】さらに、Gabor特徴の算出は、M個の
サンプリング画素に関し適用するのみでなく、ROIに
内包される全画素から得るようにしてもよい。
【0179】また、ROIの形状は矩形に限定されるも
のではなく、任意の描画形伏でのROIから同様の特徴
量を求めることも可能である。
【0180】次に、特徴量算出ブロック74におけるR
OI間相互特徴量について説明する。ROI間相互特徴
量とは、1枚の内視鏡画像中に設定したROIにおける
2個以上の組み合わせにより算出された特徴量を指し示
す。
【0181】例えば,ROI(1)と(2)、相互特徴
量としてlog(G/R)の平均値間の差分演算を想定
した場合、ROI間相互特徴量は各々のROIより算出
したlog(G/R)の平均値v1及びv2との差分で
ある v=v1−v2 となる。また、差分演算以外にも除算による比v1/v
2の算出等、種々のものが考えられ(例えば、(v1−
1)×v2のような数式でもよい)、3個以上のROI
における特徴量の任意の演算を用いてもよい。
【0182】ROI間相互特徴量を導入することによ
り、異なる病変間の正常粘膜に対する相対的な差異を評
価することが可能となる。例えば、ある病変1と病変2
との判別において、それぞれの色調を正常粘膜と比較し
た際に前者は白色調,後者は赤色調として観察者により
判断される場合がある。これは、1枚の内視鏡画像中に
おける病変部位とその周辺における正常粘膜との相対的
な評価に基づいている。
【0183】一方、内視鏡画像の撮像条件である光源に
よる観察光の照射条件は、内視鏡画像1枚ごとに異な
る。したがって、同じ白色調あるいは赤色調の病変を撮
像した場合においてもそれらを構成するR,G及びB画
像データの組成は異なることとなる。そこで、1枚の内
視鏡画像の視野内においては比較的撮像条件が均一と考
えられることから、同一画像中における複数のROIか
ら算出される特徴量の相対的な値を求めることにより、
撮像条件のばらつきに影響されない判別分類が可能とな
る。
【0184】本実施の形態では、図19の算出特徴量メ
ニューウインドウ240で、相互特徴量算出ボタン24
3がクリックされた場合、図26に示すROI間相互特
徴量メニューウインドウ280が開く。
【0185】ROI間相互特徴量メニューウィンドウ2
80は、算出する特徴量の種類を指定するためのメニュ
ーバー281と、スクロールバー282と、ROI間の
演算の種類を指定するためのニューバー283と、スク
ロールバー284と、後述する基準分類を指定するため
のメニューバー285と、スクロールバー286と、相
互特徴量の一括選択を行うための一括選択ボタン287
と、算出するROI間相互特徴量を確定しROI間相互
特徴量メニューウィンドウ280を閉じるための確定ボ
タン288から構成される。
【0186】メニューバー281は、図19のメニュー
バー241と同様に、算出可能である特徴量が一覧表示
され、操作者のクリックにより算出する特徴量の種類が
設定される。その際、図19のメニューバー241にお
いて設定された特徴量があれば、メニューバー281に
おいても同じ特徴量が自動的に選択されるように制御し
てもよい。
【0187】スクロールバー282は、必要に応じてメ
ニューバー281をスクロールさせることができる。
【0188】メニューバー283は、前述のROI間相
互演算の種類を設定するためのもので、複数の演算を選
択可能である。
【0189】スクロールバー284は、必要に応じてメ
ニューバー283をスクロールさせることができる。
【0190】メニューバー285は、ROI間相互特徴
量の算出において、基準とするROIの分類である基準
分類を設定する。前述した例において、病変1と病変2
のそれぞれの正常粘膜に対するROI間相互特徴量を算
出する場合には、基準分類を正常とする。複数の基準分
類を選択可能としてもよい。
【0191】スクロールバー286は、必要に応じてメ
ニューバー285をスクロールさせることができる。
【0192】一括選択ボタン287は、前述した図19
の一括選択ボタン244の動作と同様に、算出するRO
I間相互特徴量の一括選択を指定する。
【0193】操作者は、ROI間相互特徴量メニューウ
インドウ280における一連の作業を終了後、確定ボタ
ン288のクリックにより算出するROI間相互特徴量
を確定の上、ROI間相互特徴量メニューウインドウ2
80を閉じ、図18のROI設定ウインドウ220に戻
る。
【0194】ROI間相互特徴量の算出が設定された場
合には、図18において特徴量算出実行ボタン227の
クリックによりROI間相互特徴量が算出される。
【0195】図27はROI間相互特徴量の算出を説明
するための説明図であって、内視鏡画像290におい
て、ROIが5個設定されそれぞれに分類ボタン226
(図18参照)を用いての分類がなされているものとす
る。また、図27に示す例においては、基準分類は正
常、相互演算は差分演算が設定されているものとする。
また,各ROI(1)ないし(5)における特徴量をv
1ないしv5とする。
【0196】ROI間相互特徴量は、前述の通り、基準
分類と同一の分類がなされたROIから算出される特徴
量と、その他の分類がなされたROIから算出される特
徴量との演算を行うものである。したがって、この場
合、ROI間相互特徴量は、以下の通り求められる。た
だし、ともに基準分類が与えられたROI間においては
ROI間相互特徴量の算出は行わないものとする。
【0197】v1−v2 v1−v4 v1−v5 v3−v2 v3−v4 v3−v5 これらの組み合わせは、各ROIに付された分類をキー
として自動的に決定することが可能である。図28は、
ROI間相互特徴量算出における自動組み合わせの動作
を説明するためのフローチャートである。
【0198】ステップS1において、基準分類と同一の
分類(この例では正常)がなされたROIの番号をカウ
ントするための変数iを1に初期化し、ステップS2へ
進む。
【0199】続くステップS2において、i番目のRO
Iの分類が正常であるかどうかを判定する。判定結果が
真であればステップS3へ、偽であればステップS9へ
進む。
【0200】ステップS3においては、ステップS2で
の判定により基準分類であるとされたi番目のROIと
の特徴量間の差分算出対象とするROIの番号をカウン
トする変数jを1に初期化し、ステップS4へ進む。
【0201】ステップS4においては、i=jであるか
どうかを判定し、判定結果が真であればステップS7
へ、偽であればステップS5へ進む。
【0202】ステップS5においては、j番目のROI
の分類が正常であるかどうかを判定する。判定結果が真
であればステップS7へ、偽であればステップS6へ進
む。
【0203】ステップS6においては、i番目及びj番
目のROIにおけるROI間相互特徴量の算出を行い、
ステップS7へ進む。
【0204】ステップS7においては、jをj+1と
し、ステップS8へ進む。
【0205】ステップS8においては、j>5であるか
否か、すなわち、すべてのROI(この例では5個)に
対する処理が終了したかどうかを判定する。判定結果が
真であればステップS9へ、偽であればステップS4進
む。
【0206】ステップS9においては、iをi+1と
し、ステップS10へ進む。
【0207】ステップS10においては、i>5である
か否か、すなわち、すべてのROI(この例では5個)
に対する処理が終了したかどうかを判定する。判定結果
が真であれば処理を終了し、偽であればステップS2へ
進む。
【0208】また,特徴量算出実行ボタン227がクリ
ックされると、算出するROI間相互特徴量の選択がな
されている場合にはROI間特徴量算出結果表示ウイン
ドウ(図示せず)が開く。ROI間特徴量算出結果ウイ
ンドウの構成は、前述の特徴量算出結果表示ウィンドウ
(図22)とほぼ同一であり、例えば(1)−(2)
等、どのROIが組み合わされたかがわかるように表示
される点のみが異なる。
【0209】ROI間相互特徴量の算出結果は、ROI
間相互特徴量データ200に追加される(図17参
照)。
【0210】一方、特徴量算出アイコン114(図7)
をクリックすると、新たな特徴量算出ウインドウが開
く。
【0211】図29に示すように、特徴量算出ウインド
ウ300は、特徴量を算出するROIを選択するための
ROI指定ボタン301と、特徴量の算出を実行するた
めの特徴量算出実行ボタン302及び終了ボタン303
からなっている。
【0212】操作者が、ROI指定ボタン301をクリ
ックすることにより、図30に示すROI指定ウインド
ウ310が開く。
【0213】図30に示すように、ROI指定ウィンド
ウ310は、すでに設定済みであるROIの一覧を表示
及び選択することが可能であるメニューバー311と、
スクロールバー312と、すべての設定済みのROIを
特徴量算出の対象として指定する為の全ROI指定ボタ
ン313と、設定されているROIを確認するためのR
OI画像表示ボタン314と、算出する特徴量の種類を
選択する特徴量選択ボタン315と、部位,所見あるい
は分類によりメニューバー311上に表示するROIを
限定するためのROI限定ボタン316及びROI指定
を確定しROI指定ウィンドウ310を閉じるための確
定ボタン317からなっている。
【0214】メニューバー311上には、検査No.、
患者ID、患者名、画像No.あるいはROIの番号
等、ROIを特定するためのデータが表示され、任意の
事項をクリックすることによりROIを指定する。
【0215】ROI画像表示ボタン314がクリックさ
れた場合には、メニューバー311上で指定されている
ROIを含む内視鏡画像を表示する、ROI設定ウィン
ドウ220における画像表示領域221(図18参照)
に準じた新たなウインドウ(図示せず)が開かれる。そ
の際、内視鏡画像と同時に、部位、所見及び分類等のデ
ータを併せて表示してもよい。
【0216】特徴量選択ボタン315がクリックされた
場合には、前述のROI設定ウィンドウ220における
特徴量選択ボタン223がクリックされた場合と同様の
処理が行われる。
【0217】ROI限定ボタン316がクリックされた
場合には、操作者によるメニューバー311への表示項
目の限定が行われる。すなわち、部位、所見あるいは分
類をキーとし、指定されたデータが付されたROIのみ
を表示するようにする。
【0218】一連の作業が終了すると,操作者が確定ボ
タン317クリックすることにより、特徴量を算出する
ROIの指定が確定し、ROI指定ウィンドウ290を
閉じる。
【0219】図29の特徴量算出実行ボタン303がク
リックされた場合においては、指定されたROIに対す
る特徴量の算出が行われる。この後の動作は、前述した
ROI設定ウインドウ220における特徴量算出実行ボ
タン227がクリックされた場合と同様である。
【0220】また,終了ボタン303をクリックするこ
とにより特徴量算出ウインドウ300を閉じる。
【0221】(判別分類ブロック)次に、判別分類ブロ
ック75の動作について説明する。
【0222】判別分類手法としては、統計的手法あるい
は非統計的な手法として、種々のものが知られている。
前者は線形判別関数、ECM 規則等が挙げられ、後者はニ
ューラルネットワークによる判別器等が挙げられる。本
実施の形態においては公知技術として広く用いられてい
るFisherの線形判別関数(2クラス分類)を扱うことと
する。
【0223】判別分類処理は、異なる複数のクラス(本
実施の形態においては、設定したROIに対して付され
た分類をクラスとする)における1つ以上の特徴量か
ら、判別分類器(本実施の形態においては線形判別関
数)を作成し、判別分類対象とするデータがいずれのク
ラスに該当するかを判定するものである。判別分類器の
作成にあたっては、あらかじめ正しいクラスが与えられ
たサンプルデータ(教師データと呼ばれる)における1
つ以上の特徴量の値の組み合わせ(特徴ベクトルと呼ば
れる)を複数使用する。
【0224】本実施の形態においては、例えば胃におけ
るI型早期癌及び腺腫をクラスとする。また、特徴ベク
トルを構成する特徴量を、ROI間相互特徴量とし、各
ROIにおける正常粘膜とのlog(G/R)及びlo
g(B/R)の平均値の差分を使用するものとする。
【0225】また、本実施の形態においては、判別分類
対象とするクラス、特徴ベクトルとして使用する特徴量
の種類、教師データとして使用したROIの組み合わせ
及び判別分類器における各係数をデータセットと呼称す
る。
【0226】操作者は、判別分類アイコン75(図7)
をクリックすることにより、新たな判別分類ウィンドウ
を開く。
【0227】図31に示すように、判別分類ウインドウ
320は、適用する判別分類手法の種類を表示及び選択
するためのメニューバー321と、スクロールバー32
2と、後述するデータセット作成処理を動作させるため
のデータセット作成ボタン323と、判別分類を実行す
るための判別分類実行ボタン324及び終了ボタン32
5からなっている。
【0228】メニューバー321においては、実行可能
である判別分類手法が一覧表示され、操作者はクリック
により実行する判別分類手法を選択する。
【0229】データセット作成ボタン323をクリック
すると、新たなデータセット作成ウインドウが開く。
【0230】図32に示すように、データセット作成ウ
ィンドウ330は、判別分類対象とするクラスを設定す
るためにクラス(ここでは分類)を表示及び選択するた
めのメニューバー331と、スクロールバー332と、
特徴ベクトルとして使用する特徴量を選択するためのメ
ニューバー333と、メニューバー333を垂直及び水
平方向にそれぞれスクロールさせることができるスクロ
ールバー334a及び334bと、教師データを指定す
るためのクラス別ROI選択ボタン335と、作成する
データセットに対して名称を付すためのデータセット名
入力領域336と、データセットの作成を実行する作成
実行ボタン337と、すでに作成済みのデータセットを
呼び出すことができる既存データセット呼び出しボタン
338及び終了ボタン339からなっている。
【0231】操作者は、メニューバー331上において
判別分類対象とするクラスを、メニューバー333上に
おいて、特徴ベクトルとして使用する特徴量を選択す
る。
【0232】クラス別ROI選択ボタン335をクリッ
クすることにより、新たなクラス別ROI一覧ウインド
ウが開く。このクラス別ROI一覧ウインドウは、判別
分類対象とするクラス数と同じ数だけ開くものとする。
【0233】図33に示すように、クラス別ROI一覧
ウインドウ340は、設定されたROIの一覧を表示及
び選択するためのメニューバー341と、スクロールバ
ー342と、対応するクラスの名称を表示するための出
力表示領域343と、メニューバー341上に表示され
たすべてのROIを一括選択するための全選択ボタン3
44及び確定ボタン345からなっている。
【0234】メニューバー341上には、設定されたR
OIにおいて対応するクラスの分類が付されたものが一
覧表示され、クリックにより教師データとして使用する
ことが指定される。また、全選択ボタン344をクリッ
クすることにより、メニューバー341上に表示された
すべてのROIを教師データとして一括指定することも
可能である。
【0235】教師データとして使用するROIの指定終
了後、確定ボタン345をクリックすることによりクラ
ス別ROI一覧ウィンドウを閉じる。
【0236】以上の一連の処理を、判別対象とするクラ
ス数回行うことにより、教師データの指定を完了する。
【0237】また、キーボード42からの入力により作
成するデータセットに対する名称を付与することができ
る。データセット名は図32の出力表示領域336上に
表示される。
【0238】以上において説明したデータセット作成ウ
インドウ330上での作業は、任意の順序で行うことが
可能である。
【0239】続いて、作成実行ボタン337をクリック
することにより、データセットの作成が行われる。Fish
er の線形判別関数においては、特徴ベクトルを構成す
る特徴量の個数と同数の係数と、判別分類の境界値が算
出される。
【0240】また,既存データセット呼び出しボタン3
38をクリックすると、新たなデータセット一覧ウイン
ドウが開かれる。
【0241】図34に示すように、データセット一覧ウ
インドウ350は、作成済みであるデータセット名の一
覧表示し、選択するためのメニューバー351と、スク
ロールバー352と、確定ボタン353及び終了ボタン
354からなっている。
【0242】操作者はメニューバー351上のデータセ
ット名を1個選択し、確定ボタン353をクリックする
ことにより、データセット作成ウインドウ330におけ
るメニューバー331、メニューバー333、出力表示
領域336の設定内容を選択したデータセットと同じも
のとすることができる。また、クラス別ROI一覧ウイ
ンドウ340における各表示項目も同様である。
【0243】以後、再現された各設定条件を適宜変更す
ることにより、新たなデータセットを作成することが可
能となる。これにより、判別分類への寄与度が低い特徴
量の使用をやめる、教師データとするROIの組み合わ
せを若干変更するといった調整が可能となる。
【0244】一連の処理を終了後、終了ボタン339を
クリックすることによりデータセット作成ウィンドウ3
30を閉じる。
【0245】また、図31の判別分類実行ボタン324
をクリックすることにより、作成したデータセットを用
いた判別分類が実行される。判別分類実行ボタン324
をクリックすると、新たな判別分類実行ウインドウが開
く。
【0246】図35に示すように、判別分類実行ウイン
ドウ360は、既に作成済みのデータセット名の一覧を
表示及び選択することができるメニューバー361と、
スクロールバー361と、設定されたすべてのROIを
表示及び選択することができるメニューバー363と、
スクロールバー364と、スクロールバー363上に表
示するROIを、教師データと同じクラスとなる分類が
与えられたROIに限定するための対応クラス選択ボタ
ン365と、判別分類の実行を開始するための実行ボタ
ン366及び終了ボタン367からなっている。
【0247】操作者は、メニューバー361上に表示さ
れた任意のデータセットを判別分類器として選択する。
また、メニューバー363上に表示された任意のROI
を判別分類対象として選択する。
【0248】また、対応クラス選択ボタン365がクリ
ックされた場合には、教師データと同じクラスとなる分
類が付与されたROIのみを表示する。これにより、作
成したデータセットによる判別分類の正答率等を確認す
ることが容易になる。
【0249】実行ボタン366がクリックされた場合に
は、選択されたデータセット及びROIを用いた判別分
類処理が実行され、新たな判別分類結果表示ウインドウ
が開く。
【0250】図36に示すように、判別分類結果表示ウ
インドウ370は、使用したデータセット名を表示する
出力表示領域371と、判別分類の境界値を表示するた
めの出力表示領域372と、判別分類の対象としたクラ
スの名称を表示するための出力表示領域373と、判別
分類対象としたROIの情報及び判別結果を表示するた
めの出力表示領域374と、スクロールバー375及び
終了ボタン376からなっている。
【0251】判別分類の境界値は Fisher の線形判別関
数において2クラスを分離する境界を与える係数であ
る。判別分類対象としたROIの特徴ベクトルから算出
された結果の値がこの境界値に対して大または小である
ことにより、2クラスに分類する。算出結果と境界値と
が等しい場合にはいずれのクラスに分類するかをあらか
じめ決定しておけばよい。
【0252】出力表示領域374においては、判別分類
結果が得られたROIに関する検査No.、患者ID、
画像No.、ROIの番号等のデータ及び判別分類結果
を逐次表示する。
【0253】操作者は判別分類結果を確認後,終了ボタ
ン376をクリックすることにより判別分類結果表示ウ
インドウ370を閉じる。
【0254】なお、判別分類結果表示ウインドウは,選
択されたデータセットの個数分開かれ、各データセット
ごとの判別分類結果が表示される.以上説明した一連の
作業における所望の処理を実施後、図31の判別分類ウ
インドウ320における終了ボタン325をクリックす
ることにより判別分類ウインドウを閉じる。
【0255】なお、本実施の形態における診断支援処理
おいては、教師データあるいは判別分類対象データとし
て指定されたROIにおいて、特徴ベクトルとして使用
する特徴量が未算出である場合には自動的に特徴量算出
ブロック74を呼び出すよう制御する。これにより、あ
らかじめ多数のROIを設定しておき、判別分類におい
て必要とする最小限の特徴量をまとめて算出することが
可能となる。
【0256】(レポート作成ブロック)続いて、レポー
ト作成ブロック76の動作について説明する。レポート
作成アイコン116(図7)をクリックすることによ
り、レポート作成ウインドウが開く。本実施の形態にお
けるレポートは、特徴量算出及び判別分類における各処
理結果を基に作成されたデータ群からなるものとする。
その内容は、設定したROIから算出した特徴量の値、
データセットによる判別分類結果等に基づく。
【0257】図37に示すように、レポート作成ウイン
ドウ380は、作成するレポートの内容を選択するため
の選択ボタン381と、終了ボタン382からなってい
る。選択ボタン381は特徴量算出または判別分類にお
ける各処理結果において所望するものをクリックする。
双方のレポートを同時に並行して作成することも可能で
ある。
【0258】選択ボタン381において、特徴量算出結
果に対するレポート作成がなされた場合には、新たな特
徴量レポート作成ウインドウが開かれる。
【0259】図38に示すように、特徴量レポート作成
ウインドウ390は、レポート作成の対象とするクラス
すなわち分類の一覧を表示及び選択するためのメニュー
バー391と、スクロールバー392と、使用する特徴
量の一覧を表示及び選択するためのメニューバー393
と、スクロールバー394a及び394bと、レポート
の表示開始を指示するための表示ボタン395と、後述
するグラフの表示開始を指示するためのグラフ作成ボタ
ン396及び終了ボタン397からなっている。
【0260】操作者はメニューバー391及び393上
において、レポート作成に使用するクラス及び使用特徴
量を選択する。
【0261】続いて、表示ボタン395をクリックする
ことにより、新たな特徴量レポート表示ウインドウを開
く。図39に示すように、特徴量レポート表示ウインド
ウ400は、メニューバー391において選択したクラ
ス数と同数開かれ、クラス名を表示する出力表示領域4
01と、検査No.、患者ID、画像No.、ROIの
番号等のデータ及び各ROIにおけるメニューバー39
3上で選択した特徴量の算出結果が一覧表示されるとと
もに選択可能であるメニューバー402と、スクロール
バー403a及び403bと、レポートの印刷開始を指
示するための印刷開始ボタン404と、終了ボタン40
5からなっている。
【0262】操作者がメニューバー402上で所望の項
目を選択し、印刷開始ボタン404をクリックすること
でその内容をプリンタ51に出力することができる。
【0263】また、メニューバー402におけるすべて
の項目を選択するための一括選択ボタンを設けてもよ
い。
【0264】終了ボタン405をクリックすることによ
り特徴量レポート表示ウインドウ400を閉じる。
【0265】また、図38においてグラフ作成ボタン3
96をクリックすることにより、新たなグラフ表示ウイ
ンドウが開く。この場合、メニューバー393において
特徴量の個数は2個となる。
【0266】図40に示すように、グラフ表示ウインド
ウ410は、グラフ上にプロットされる各データのクラ
スの凡例を示すための出力表示領域411と、縦軸及び
横軸にそれぞれ選択された特徴量を与えたグラフを表示
するためのグラフ表示領域412と、出力表示領域41
1及びグラフ表示領域412における表示内容の印刷を
指示するための印刷開始ボタン413及び終了ボタン4
14からなっている。
【0267】グラフ表示領域412においては、各クラ
スの選択された特徴量を2次元座標上にプロットする。
表示におけるスケールは、各特徴量の算出結果の最小値
及び最大値を基に自動的に設定される。また、プロット
されたデータ属するクラスの認識を容易にするために、
プロット色はクラスごとに異なるものとする。この例に
おいてはクラス数を3としており、それぞれ赤、青及び
緑の点によりプロットし,その対応を凡例として出力表
示領域401に表示する。
【0268】また、各クラスにおける各特徴量の算出結
果の平均値あるいは分散等を併せて表示してもよい。
【0269】印刷開始ボタン413がクリックされた場
合においては、出力表示領域411及びグラフ表示領域
412における内容を、プリンタ51に出力する。
【0270】終了ボタン414をクリックすることによ
りグラフ表示ウインドウ410を閉じる。
【0271】なお、特徴量レポート表示ウインドウ40
0及びグラフ表示ウインドウ410を同時に開いている
場合には、メニューバー402における項目と、グラフ
表示領域412におけるプロットとの対応がわかるよう
に制御する。例えば、メニューバー402における項目
をクリックした場合に、対応するプロットを強調表示す
ればよい。
【0272】また、図37の選択ボタン381におい
て、判別分類結果に対するレポート作成がなされた場合
には、判別分類結果レポート作成ウインドウ(図示せ
ず)が開かれ、選択したデータセット、判別分類結果等
を適宜選択の上、プリンタ51に出力すればよい。
【0273】このように本実施の形態の診断支援装置1
では、診断支援処理実行プログラム70の特徴量算出ブ
ロック74により、1枚の内視鏡画像中に設定したRO
Iにおける2個以上の組み合わせによりROI間相互特
徴量を算出することで、異なる病変間の正常粘膜に対す
る相対的な差異を評価し、同一画像中における複数のR
OIから算出される特徴量の相対的な値を求めることに
より、撮像条件のばらつきに影響されない判別分類がで
きる。
【0274】なお、上記第1の実施の形態において説明
したGabor特徴に基づく特徴量算出手法は、ROI
に内包される例えばG画像データIgにおけるM個のサ
ンプリング画素に対し、L個のGaborフィルタを適
用することにより得られたM×L個の特徴量をテクスチ
ャ解折及び判別分類に使用するものとしたが、これに限
らず、Gabor特徴のさらなる利用方法として、得ら
れたGabor特徴からより診断に有効なあらたな特徴
量を算出するようにしてもよい。
【0275】すなわち、上記第1の実施の形態の第1の
変形例としては、図23におけるステップS101ない
しS104に示した一連の処理により、M×L個のGa
bor特徴hij(i=1,2,…,M;j=1,2,
…,L)を算出する点は、上記第1の実施に形態と同様
である。
【0276】この第1の変形例においては、得られたG
abor特徴を、M個のサンプリング画素毎に、 h(1)=(h11,h12,…,h1L) h(2)=(h21,h22,…,h2L) : : : : h(M)=(hM1,hM2,…,hML) と置き直す。h(i)(i=1,2,…,M)はそれぞ
れL個の要素を持つベクトルと考えることができる。そ
こで、各ベクトルの要素の生起する確率分布を仮定し、
それを規定するパラメータを算出し、得られた値をあら
たな特徴量とすることを考える。
【0277】上記第1の実施の形態の第1の変形例にお
いては、ベクトルh(i)の各要素の生起する確率分布
をL次元の正規分布と仮定し、多次元正規分布を規定す
るパラメータである平均ベクトルμ及び共分散行列Σを
求める。
【0278】平均ベクトルμ=(μ1,μ2,…,μ L)
の各要素は、
【数6】 により求められる。これは、M個のサンプリング画素に
おける、i番目のGaborフィルタにより算出される
Gabor特徴の平均値(期待値)を示す。また、共分
散行列Σは、
【数7】 により定義される。式(7)において、σpqは、
【数8】 により定義される分散・共分散である。なお、共分散行
列Σにおいては,σpq=σqpの性質から、L個の分散
(対角成分)と((L×(L−1))/2)個の共分散
を特徴量として使用すればよい。
【0279】以上により得られた平均ベクトルμ及び分
散・共分散σpqにより、次元数(L+L+(L×(L−
1))/2)個の値を特徴量とし、特徴量算出結果ウィ
ンドウ(図22参照)に表示し、ROI特徴量データ2
01に記億する。
【0280】したがって、上記第1の実施の形態の第1
の変形例では、以上説明したように、ROIにおける各
画素から算出された特徴量の値の生起する確率分布を仮
定し、その分布を規定するパラメータを算出し、あらた
な特徴量とすることにより、より診断に有効な特徴量が
算出可能となる。さらに、特徴次元数の削減という効果
をも得ることができる。
【0281】また、上記第1の実施の形態の第1の変形
例においては、Gabor特徴に基づく特徴量の生起す
る確率分布について説明した、確率分布を仮定する特徴
は、これに限られるものではない。すなわち、例えば各
サンプリング画素から得られたlog(G/R)、lo
g(B/R)の値についてもその生起する確率分布の型
を仮定し、それを規定するパラメータを算出し、あらた
な特徴量とすればよい。また、特徴量が生起する確率分
布の形態は正規分布に限るものではなく、二項分布,χ
2分布等、種々のものが考えられる。
【0282】上記第1の実施の形態の第2の変形例とし
ては、特徴量算出手法として、設定されたROIにおけ
るR、G及びB画像データに基づく統計量を算出する手
法を使用する。
【0283】複数の色信号からなる内視鏡画像において
は、各色信号により構成される各画素の色調や分布が診
断における有用な情報となっている。上記第1の実施の
形態の第2の変形例においては、この点に着目し、判別
分類等への使用に良好な特徴量の算出手法について説明
する。
【0284】上記第1の実施の形態の第2の変形例にお
いては、内視鏡画像における各画素は各々0ないし25
5の値をとるR、G及びB画像データからなるものとす
る。このような内視鏡画像上に設定されたROIにおけ
る統計量としては、例えば以下(1)〜(10)のもの
が考えられる。なお、各統計量を算出するための画素数
を、ここではN個とする。また、ri、gi及びbiは、
それぞれi番目(i=1,2,…,N)の画素のR、G
及びBデータの値を示すものとする。
【0285】(1)RGB各データの平均値:μr,μ
g,μb その算出式は、それぞれ、
【数9】 となる。
【0286】(2)RGB各データの分散:σ2 r
σ2 g,σ2 b その算出式は、それぞれ、
【数10】 となる。
【0287】(3)RGB各データの標準偏差:σr
σg,σb σr,σg,σbは、それぞれの分散σ2 r,σ2 g,σ2 b
正の平方根で与えられる。
【0288】(4)RGB各データの共分散:σ2 rg
σ2 rb,σ2 gb その算出式は、それぞれ、
【数11】 となる。
【0289】(5)RGB各データの相関係数 σ2 rg/(σrσg),σ2 rb/(σrσb),σ2 gb/(σg
σb)で与えられる。
【0290】(6)RGB各データ各々の平均値/標準
偏差 μr/σr,μg/σg,μb/σbで与えられる。
【0291】(7)log(G/R)及びlog(B/
R)の平均値:μ(log(G/R)),μ(log(B/R) その算出式は、それぞれ、
【数12】 となる。
【0292】(8)log(G/R)及びlog(B/
R)の分散:σ2 log(G/R),σ2 log(B/ R) その算出式は、それぞれ、
【数13】 となる。
【0293】(9)log(G/R)及びlog(B/
R)の標準偏差:σlog(G/R),σlog( B/R) σlog(G/R),σlog(B/R)は、それぞれの分散σ2
log(G/R),σ2 log(B/R)の正の平方根で与えられる。
【0294】(10)log(G/R)及びlog(B
/R)の共分散:σ2 log(G/R)log(B/R ) その算出式は、
【数14】 となる。
【0295】また、A=ri+gi+bi(ri、gi及び
biはそれぞれi番目の画素のR、G及びBデータの
値)として、R/A,G/A及びB/Aを算出すること
により、各画素の色調をRGB色空問におけるベクトル
で表現することができ。それらの統計量を特徴量とする
ことも可能である。すなわち、以下の(11)〜(1
6)の統計量を特徴量とすることができる。
【0296】(11)R/A,G/A,B/Aの平均
値:μr/a,μg/a,μb/a その算出式は、それぞれ、
【数15】 となる。
【0297】(12)R/A,G/A,B/Aの分散:
σ2 r/a,σ2 g/a,σ2 b/a その算出式は、それぞれ、
【数16】 となる。
【0298】(13)R/A,G/A,B/Aの標準偏
差:σr/a,σg/a,σb/a σr/a,σg/a,σb/aは、それぞれの分散σ2 r/a,σ2
g/a,σ2 b/aの正の平方根で与えられる。
【0299】(14)R/A,G/A,B/Aの共分
散:σ2 r/a,g/a,σ2 r/a,b/a,σ2 g/a,b /a その算出式は、それぞれ、
【数17】 となる。
【0300】(15)R/A,G/A,B/Aの相関係
数 σ2 r/a,g/a/(σr/aσg/a)、σ2 r/a,b/a/(σr/aσ
b/a)、σ2 g/a,b/a/(σg/aσb/a)で与えられる。
【0301】(16)R/A,G/A,B/Aの平均値
/標準偏差 μr/a/σr/a,μg/a/σg/a,μb/a/σb/aで与えられ
る。
【0302】このように上記第1の実施の形態の第2の
変形例では、以上に示した統計量をROIより算出する
ことにより、診断に有効な特徴量を得ることが可能とな
る。
【0303】図41ないし図43は本発明の第2の実施
の形態に係わり、図41は画像のテクスチャの構造パタ
ーンを示すパターン図、図42は図41のテクスチャの
構造パターンの補正を説明する説明図、図43は図41
のテクスチャの構造パターンの変形例を示すパターン図
である。
【0304】第2の実施の形態は、第1の実施の形態と
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号をつけ説明は省略する。
【0305】本発明の第2の実施の形態は、第1の実施
の形態の構成と同じであり、Gabor特徴のように画
像中の位置に依存する局所的な情報を抽出する特徴量の
補正方法に関する。
【0306】Gabor特徴は,前述したように方向θ
k、波長λm及びσx(λm)とσy(λm)により設定され
るGaborフィルタにより算出される値である。一
方、内視鏡での撮像のように、撮像条件を定めることが
難しい条件の下で得られた画像は、回転移動が生じるた
め、上下左右等の方向を規定することが困難である場合
が多い。したがって、算出された、方向θkの変化に依
存する特徴量の値が意味をなさなくなる場合も考えられ
る。
【0307】本実施の形態においては、回転移動が生じ
ている画像及び方向を規定することが困難である画像に
おいても、診断に良好に寄与する特徴量を得ることがで
きる補正について説明する。
【0308】本実施の形態においては、特徴量算出手法
として第1の実施に形態において説明したGabor特
徴に基づく特徴量を算出するものとする。
【0309】本実施の形態においては、Gabor特徴
を算出するためのGaborフィルタを第1の実施の形
態において説明した数値群(a)、(b)及び(c)か
ら得られるものとする。すなわち、方向θkは4通り、
波長λmは2通りとなり、Gaborフィルタは8種と
なっている。
【0310】図41及び図42は、本実施例における補
正を説明するための説明図である。ここで、ある画素に
おいて、波長λmに対し方向θkを変化させたGabor
フィルタにより算出されたGabor特徴の値をそれぞ
れ(hm1,hm2,hm3,hm4)とする。
【0311】判別分類において同一のクラスに分類され
るべきパターンにおいては、同一の波長λmにおける異
なる方向の各Gabor特徴の値の分布は類似したもの
となることが予測される。例えば、図41に示すような
テクスチャから、Gabor特徴を求める場合について
考える。図42(a)は、図41において示したテクス
チャの構造パターンの要素を示したものである。
【0312】図42(a)に示すテクスチャ構造パター
ンにおける画素P(x,y)に対し、同一のλmにおけ
る4方向のθkによるGabor特徴は、図42(b)
に示すθ1の場合、すなわちhm1が最大となる。一方、
図42(c)に示すような回転移動が生じた場合、回転
移動後の画素P(x,y)に対応する画素P’(x,
y)におけるGabor特徴は図42(b)におけるθ
2の場合が最大となる。
【0313】この例は、テクスチャ解折対象とする構造
パターンにより、同一の波長λmにおけるGaborフ
ィルタにおいて、Gabor特徴が最大となる方向θk
を定めることにより、算出された特徴量の値への回転移
動の影響に対する補正が可能であることを示している。
【0314】すなわち、図42(a)及び(c)のよう
に、テクスチャ構造パターンの回転移動による変化が発
生した場合においても、得られたGabor特徴の値が
最大となる方向θkをあらたにθ1とし、図42(d)に
示すような並べ替えを行えばよい。この例においては、
画素P(x,y)において得られたGabor特徴(h
m1,hm2,hm3,hm4)を、(hm2,hm3,hm4,hm
1)の順序に並び替えればよい。また、単純に最大値を
与える方向を基準とするのみでなく、hm1ないしhm4の
値の大小に見られる傾向から回転量を決定してもよい。
【0315】以上に説明した方向θkに関するGabo
r特徴の並べ替えを、ROIにおけるサンプリング画素
すべてにおいて適用する。これは、ある特定の波長λ
m、異なる方向θk(この例では4方向)により規定され
るGaborフィルタにより算出されたGabor特徴
の平均値を求め、その最大値を与えるθkについての並
び替えを行うようにする。また、回転移動の補正に対す
るより高い精度を望むのであれば方向θkをより多く
(例えば6方向)について定めればよい。
【0316】また,波長λmは複数(この例では2通
り)定められるが、その中の特定の波長(基準波長)に
おいて並び替えの順序を決定し、他の波長によるGab
or特徴に対しても同様の順序での並び替えを適用す
る。基準波長は任意のλmを選択可能であるが、例えば
対象とするテクスチャ構造パターンをよく反映する波長
に定めてもよい。
【0317】以上に説明した補正を適用することによ
り、回転移動のあるパターン(テクスチャ)に対して
も、位置に依存した局所的な情報を保存した特徴量算出
手法の適用が可能となる。
【0318】また、内視鏡画像においては、テクスチャ
構造の不規則性等の理由により、方向性の保存が重要な
意味をなさない場合がある。例えば、図43に示すテク
スチャの例のように、テクスチャ全体における方向性に
おいてはあまり規則性がなく、むしろテクスチャを構成
する構造パターン自体に見られる特徴が重要である場合
がある。このようなテクスチャに対しては、前述したR
OI全体の回転移動に対する補正を適用するのではな
く、むしろサンプリング画素毎に独立に、算出されたG
abor特徴の並び替えを適用した方が望ましい特徴量
を得られることとなる。この場合は、図42を用いて説
明したGabor特徴の並べ替えを、算出した25画素
の各々における最大値に基づき実施すればよい。この補
正の適用により、Gabor特徴から、周波数成分の伝
搬方向によらないあらたな特徴量を算出することが可能
となる。なお、基準波長の設定の有無は適宜選択すれば
よい。
【0319】また、テクスチャ構造における不規則性に
より、方向性の保存がまったく重要でないような場合も
ありうる。このような場合には、各サンプリング点にお
いて方向θkに規定された順序で得られるGabor特
徴hm1ないしhmn(nは方向θkの個数)を値の大小に
したがい再整列して使用してもよい。
【0320】図44ないし図46は本発明の第3の実施
の形態に係わり、図44は前処理ブロックの処理構成を
示すブロック図、図45は図44の前処理ブロックの作
用を説明する第1の説明図、図46は図44の前処理ブ
ロックの作用を説明する第2の説明図である。
【0321】第3の実施の形態は、第1の実施の形態と
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号をつけ説明は省略する。
【0322】本発明の第3の実施の形態は、第1の実施
の形態の構成は同じであり、特徴量算出手法による特徴
量の値を良好に得るための前処理手法に特徴がある。
【0323】図44において,前処理手法ブロック50
0は、内視鏡画像におけるノイズを除去するためのノイ
ズ除去ブロック501と、逆γ補正を適用するための逆
γ補正ブロック502と、面順次方式の内視鏡により撮
像された画像に対する色ずれ補正ブロック503と、シ
ェーディングによる大域的な明るさの変化を補正するた
めのシェーディング補正ブロック504とからなってい
る。各ブロックは、それぞれ独立かつ選択的に適用で
き、任意の組み合わせ及び順序で使用することが可能と
なている。
【0324】次に、各ブロックの動作について説明す
る。ノイズ除去ブロック501は、R、G及びB画像デ
ータの各々におけるノイズを除去するものである。具体
的には、例えばR,G及びB画像データのすべてまたは
いずれかに対し、マスクサイズ3×3のメディアンフィ
ルタあるいは一様重みづけフィルタによるフィルタリン
グを適用すればよい。処理対象としては、R、G及びB
画像データのみではなく、輝度画像データ等、後段につ
づく特徴量算出手法が使用する画像データのすべてに適
用可能である(他のブロックにおける前処理においても
同様である)。
【0325】逆γ補正ブロック502は、R、G及びB
画像データ各々に対して適用されているγ補正を除去す
るための前処理を適用する。
【0326】色ずれ捕正ブロック503は、面順次方式
の内視鏡で撮像された画像において発生した色ずれを補
正するものである。具体的には、以下に示す一連の処理
により実現可能である。
【0327】色ずれ補正は、処理対象であるROIにお
いて、G画像を基準とした場合のR画像及びB画像が、
水平及び垂直の各方向に何画素分ずれているかを推定
し、各々のずれを補正するようにする。G画像に対する
R画像のずれの補正は以下のように行う。
【0328】図45及び図46は、それぞれ各画像のず
れが何画素分であるかを推定するための処理及び推定し
たずれに対する補正に関する説明図である。
【0329】図45において、G画像の大きさはx1×
y1、R画像の大きさはx2×y2であり、x2=x1+2
×dx,y2=y1+2×dyであるものとする。ここ
で、dx及びdyは、それぞれ水平及び垂直方向におけ
るずれの発生した範囲を考慮して定めた値である。
【0330】これにより、R画像データ及びG画像デー
タは同一部位から得ているが、その大きさはR画像デー
タの方が若干大きく切り出されていることになる。
【0331】まず、図45におけるR画像データの始点
Srを座標(0,0)とする。これに対して、G画像デ
ータの始点Sgを(x,y)とし、座標(0,0)から
水平方向に2dx、垂直方向に2dyの範囲で1画素ず
つ移動させる。すなわち、Sg(x,y)(0≦x≦2
dx,0≦y≦2dy)となる。水平または垂直方向の
いずれか1画素分移動させるごとに、R画像データ及び
G画像データとの間の相互相関を算出し、その値の最大
値を与えるSg(xmax,ymax)を求める。
【0332】例えば、dx=dy=5,xmax=2,ym
ax=7であった場合には,xmax−dx=−3、ymax−
dy=2となることから、G画像データに対するR画像
データのずれは、水平方向に−3画素(画像に向かって
左方向に3画素)、垂直方向に2画素(画像下方向に2
画素)であることがわかる。
【0333】したがって、図46に示すように、R画像
データを水平方向に3画素、垂直方向に2画素移動させ
れば、色ずれに対する補正が完了したこととなる。
【0334】B画像データについても同様の処理を適用
することにより、R、G及びB画像データのすべてが色
ずれのない状態に補正される。
【0335】次に、シェーディング補正ブロック504
の内容について説明する。シェーディングとは、照明光
の照射角度、撮像対象の形状等の理由により撮像画像上
に表れる、大域的な明暗の変化を示す。本実施の形態に
おいては、ROIにおけるR、G及びB画像データの各
々における大域的な明暗の変化を二次曲面近似(以下、
この曲面をシェーディング面とする)し、これを用いた
シェーディング補正を適用する。
【0336】まず、シェーディング面の算出方法につい
て説明する。二次曲面S(x,y)は、
【数18】 S(x,y)=ax2+bxy+cy2+dx+ey+f (18) と表される。ここで、a,b,c,d,e及びfは、二
次曲面を規定するための定数、x及びyは三次元空間上
でのx及びy座標を、S(x,y)は点(x,y)にお
ける二次曲面の値をそれぞれ示す。また、画像において
は、x及びyは画素の画像上における位置を、S(x,
y)はその画素の値がそれぞれ対応する。
【0337】例として、大きさN×NのR画像データに
対する二次曲面近似について説明する。R画像データ
(Irとする)における各画素は、それぞれ値r(x,
y)を持つものとする。ここで、0≦x<N及び0≦y
<Nである。シェーディング面上での値S(x,y)
と、R画像データIr上の各画素の値r(x,y)との
2乗誤差Dは、
【数19】 D(x,y)=(S(x,y)−r(x,y))2 (19) で表される。この差に着目し、0≦x<N及び0≦y<
Nにおいて式(19)における2乗誤差D(x,y)の
総和Dsumを
【数20】 とし、その最小値を与える定数a,b,c,d,e及び
fを求めることを考える。式(20)に式(18)を代
入すると、
【数21】 となる。Dsum最小値を与える定数a,b,c,d,e
及びfの値の組み合わせは、式(21)を各々について
偏微分した上で、”=0”とおいた(すなわち、極値を
求める)6個の連立方程式から算出することができる。
これにより得られた連立方程式を行列形式で表すと、
【数22】 となる。ここで、式(22)におけるΣは、
【数23】 を示すものとする。
【0338】Dsumの最小値を与える定数a,b,c,
d,e及びfは、式(22)における左辺のx及びyに
関する6×6行列の逆行列を求め、右辺に左から乗ずる
ことにより得ることができ、これを式(18)に代入す
ることによりシェーディング面とする。
【0339】次に、算出したシェーディング面を用いた
シェーディング補正の方法について説明する。
【0340】まず、直流成分の値を保存するため、R画
像データIrにおける画素r(x,y)の平均値rmean
を求めておく。また、画素r(x,y)の各々に対し、
【数24】 rs(x,y)=r(x,y)/(ax2+bxy+cy2+dx+ey+f) (24) を算出し、得られたrs(x,y)の平均値rsmean
求め、さらに、
【数25】 rsn(x,y)=rs(x,y)/rsmean (25) を得る。最終的に、
【数26】 rr(x,y)=rsn(x,y)×rsmean (26) を算出し、これをシェーディング補正後のR画像データ
とする。なお、式(25)は、rsn(x,y)の値の総
和を1に正規化するものであり、一連の処理において省
略してもよい。その場合は、rs(X,y)に対してr
meanを乗ずることによりrr(x,y)を得ることが
できる。
【0341】また、以上に説明した一連の処理を、G画
像データ及びB画像データについても同様に適用するこ
とにより、各々に対するシェーディング補正後の画像デ
ータを得ることができる。また、R、G及びB画像デー
タのいずれか1つからシェーディング面を求め、得られ
た定数a,b,c,d,e及びfを用いて他の画像のシ
ェーディング面として使用してもよい。
【0342】また、シェーディング補正ブロック504
において適用されるシェーディング補正の処理内容は以
上の説明によるものに限らず、例えば低域通過フィルタ
リングにより得られた画像データをシェーディング曲面
に代用してもよい。
【0343】以上に説明したように、各々の前処理を任
意の組み合わせ及び順序で適用した画像データに対し特
徴量算出手法を適用することにより、より診断に有効な
特徴量の算出が可能となる。各前処理の適用の組み合わ
せ及び順序は、特徴量算出手法に合わせて適宜決定すれ
ばよい。また、ユーザによる指定が可能であってもよ
い。さらに、各前処理を繰り返して適用してもよい。例
えば、色ずれ補正ブロック503においては,シェーデ
ィング補正適用後のR、G及びB画像に対し色ずれ補正
適用後,再度シェーディング補正を適用することも可能
である。この場合は、より精度の高い色ずれ補正を行う
ことができる。
【0344】さらに、前処理手法ブロック500におい
ては、他の前処理手法を適宜追加してもよい。例えば画
像データに対する閾値処理、エッジ強調処理、二値化処
理、ラベリング処理等が挙げられる。
【0345】[付記] (付記項1)少なくとも1つの信号からなる画像データ
を入力する画像入力手段と、入力された前記画像データ
を記憶する記憶手段と、前記記憶手段により記録された
前記画像データに対して少なくとも1つの関心領域を設
定する関心領域設定手段と、前記関心領域設定手段によ
り設定された前記関心領域から特徴量を算出する特徴量
算出手段と、前記特徴量算出手段により算出された特徴
量を用いた病変の判別分類を行う判別分類手段とを備え
たことを特徴とする診断支援装置。
【0346】(付記項2)前記特徴量算出手段が1つの
関心領域から算出された第1の特徴量に基づく新たな第
2の特徴量を算出することを特徴とする付記項1に記載
の診断支援装置。
【0347】(付記項3)前記特徴量算出手段が複数の
関心領域から算出された第1の特徴量に基づく新たな第
2の特徴量を算出することを特徴とする付記項1または
2に記載の診断支援装置。
【0348】(付記項4)第1の特徴量が色調に基づく
特徴量であることを特徴とする付記項1、2または3の
いずれか1つに記載の診断支援装置。
【0349】(付記項5)第1の特徴量がテクスチャに
基づく特徴量であることを特徴とする付記項1、2また
は3のいずれか1つに記載の診断支援装置。
【0350】(付記項6)第2の特徴量が複数の関心領
域から算出された第1の特徴量における差分演算により
得られた値であることを特徴とする付記項3、4または
5のいずれか1つに記載の診断支援装置。
【0351】(付記項7)第2の特徴量が複数の関心領
域から算出された第1の特徴量における比に基づく値で
あることを特徴とする付記項3、4または5のいずれか
1つに記載の診断支援装置。
【0352】(付記項8)前記特徴量算出手段が前記関
心領域における前記画像データの信号に基づく統計量を
算出することを特徴とする付記項1、2、3、4、5、
6、7または8のいずれか1つに記載の診断支援装置。
【0353】(付記項9)前記特徴量算出手段が局所的
な周波数成分の分布に基づく特徴量を算出することを特
徴とする付記項5に記載の診断支援装置。
【0354】(付記項10)前記第2の特徴量が、前記
第1の特徴量の値が生起する確率分布に基づくことを特
徴とする付記項2、3、4、5、6、7、8または9の
いずれか1つに記載の診断支援装置。
【0355】(付記項11)前記第2の特徴量が、前記
関心領域における前記第1の特徴量の平均値及び/また
は分散及び/または共分散及び/または標準偏差及び/
または相関係数であることを特徴とする付記項10に記
載の診断支援装置。
【0356】(付記項12)前記特徴量算出手段が算出
する前記特徴量が正規化された値であることを特徴とす
る付記項1、2、3、4、5、6、7、8、9、10ま
たは11のいずれか1つに記載の診断支援装置。
【0357】(付記項13)前記特徴量算出手段が算出
する前記特徴量が補正された値であることを特徴とする
付記項1、2、3、4、5、6、7、8、9、10、1
1または12のいずれか1つに記載の診断支援装置。
【0358】(付記項14)前記特徴量に対する補正が
方向に関する補正であることを特徴とする付記項13に
記載の診断支援装置。
【0359】(付記項15)前記特徴量に対する補正が
画像の回転移動に関する補正であることを特徴とする付
記項13に記載の診断支援装置。
【0360】(付記項16)前記特徴量算出手段がGa
bor特徴に基づく特徴量を算出することを特徴とする
付記項1、2、3、4、5、6、7、8、9、10、1
1、12、13、14または15のいずれか1つに記載
の診断支援装置。
【0361】(付記項17)前記特徴量算出手段により
算出される特徴量が、前記画像データを構成する信号に
基づく平均値及び/または標準偏差及び/または分散及
び/または共分散及び/または相関係数及び/または標
準偏差を平均値で除した値であることを特徴とする付記
項8に記載の診断支援装置。
【0362】(付記項18)前記特徴量算出手段よりも
前段に前記画像データに対する画像処理を適用するため
の画像処理手段を設けたことを特徴とする付記項1、
2、3、4、5、6、7、8、9、10、11、12、
13、14、15、16または17のいずれか1つに記
載の診断支援装置。
【0363】(付記項19)前記画像処理手段が、ノイ
ズ除去処理及び/またはγ捕正除去処理及び/または色
ずれ補正処理及び/またはシェーディング補正処理の少
なくともいずれか1つの画像処理を適用することを特徴
とする付記項18に記載の診断支援装置。
【0364】(付記項20)前記画像処理手段に対し前
記画像処理の適用の有無及び/または適用の順序を前記
特徴量算出手段が算出する前記特徴量の種別に応じて異
ならしめることを特徴とする付記項19に記載の診断支
援装置。
【0365】(付記項21)前記関心領域設定手段が設
定する前記関心領域の形状が任意の描画線であることを
特徴とする付記項1、2、3、4、5、6、7、8、
9、10、11、12、13、14、15、16、1
7、18、19または20のいずれか1つに記載の診断
支援装置。
【0366】(付記項22)前記関心領域設定手段が設
定する前記関心領域があらかじめ定められた形状である
とともに、その大きさが可変であることを特徴とする付
記項1、2、3、4、5、6、7、8、9、10、1
1、12、13、14、15、16、17、18、19
または20のいずれか1つに記載の診断支援装置。
【0367】(付記項23)前記関心領域設定手段が設
定する前記関心領域の形状が多角形または円であること
を特徴とする付記項22に記載の診断支援装置。
【0368】(付記項24)前記関心領域設定手段が設
定する前記関心領域の形状が任意の描画線によるもの、
またはあらかじめ定められた形状であることを選択可能
とする関心領域形状選択手段を備えたことを特徴とする
付記項1、2、3、4、5、6、7、8、9、10、1
1、12、13、14、15、16、17、18、1
9、20、21、22または23のいずれか1つに記載
の診断支援装置。
【0369】(付記項25)前記画像データが複数の色
信号からなる内視鏡画像及び/または超音波画像である
ことを特徴とする付記項1、2、3、4、5、6、7、
8、9、10、11、12、13、14、15、16、
17、18、19、20、21、22、23または24
のいずれか1つに記載の診断支援装置。
【0370】(付記項26)前記内視鏡画像がRGBデ
ータからなることを特徴とする付記項25に記載の診断
支援装置。
【0371】(付記項27)画像データに対し、パター
ンの方向性に関する特徴量を抽出することを特徴とする
画像処理方法。
【0372】(付記項28)画像データに対し、パター
ンの方向性に関する特徴量を抽出する第1のステップ
と、前記抽出された特徴量を要素とする第1の特徴ベク
トルを生成する第2のステップと、前記第1の特徴ベク
トルから第2の特徴ベクトルを生成する第3のステップ
とを備えたことを特徴とする付記項27に記載の画像処
理方法。
【0373】(付記項29)前記第2の特徴ベクトル
が、前記第1の特徴ベクトルにおける各要素の生起する
確率分布を規定するパラメータであることを特徴とする
付記項28に記載の画像処理方法。
【0374】(付記項30)前記抽出された特徴量に対
し、値の正規化及び/または方向に関する補正の少なく
ともいずれか1つを適用することを特徴とする付記項2
7、28または29のいずれか1つに記載の画像処理方
法。
【0375】(付記項31)前記方向に関する補正が、
画像の回転移動に関するものであることを特徴とする付
記項30に記載の画像処理方法。
【0376】(付記項32)前記抽出された特徴量がG
abor特徴に基づくものであることを特徴とする付記
項27、28、29、30または31のいずれか1つに
記載の画像処理方法。
【0377】(付記項33)画像データに対し、大域的
な明暗変化を近似する多次元曲面を生成する第1のステ
ップと、前記多次元曲面を用いて前記画像データを補正
する第2のステップとからなることを特徴とする画像処
理方法。
【0378】(付記項34)前記補正がシェーディング
補正であることを特徴とする付記項33に記載の画像処
理方法。
【0379】(付記項35)前記画像データが内視鏡画
像であることを特徴とする付記項27、28、29、3
0、31、32、33または34のいずれか1つに記載
の画像処理方法。
【0380】(付記項36)少なくとも1つの信号から
なる原画像データを入力する画像入力手段と、前記画像
入力手段により入力された前記原画像データに対して画
像処理を適用する画像処理手段と、前記画像入力手段に
より入力された前記原画像データ及び前記画像処理手段
による処理結果画像データを記億する記憶手段と、前記
記億手段により記録された前記原画像データ及び/また
は処理結果画像データに対して、少なくとも1つの関心
領域を設定する関心領域設定手段と、前記原画像データ
及び処理結果画像データに対して設定される関心領域の
情報を管理するための管理手段とを設けたことを特徴と
する診断支援装置。
【0381】(付記項37)前記管理手段が前記原画像
及び前記原画像に対する処理結果画像を1つの画像群と
して管理し、前記関心領域設定手段により前記画像群の
少なくとも1つの原画像及び/または処理結果画像に対
して設定された関心領域と同じ形状、位置及び大きさの
関心領域を前記画像群における他の画像に付与すること
を特徴とする付記項36に記載の画像処理方法。
【0382】
【発明の効果】以上説明したように本発明の診断支援装
置によれば、特徴量算出手段が関心領域設定手段により
設定された関心領域から特徴量を算出し、判別分類手段
が特徴量算出手段により算出された特徴量を用いた病変
の判別分類を行うので、撮像条件の違いによる影響の少
ない特徴量等を算出し、この特徴量を用いることで、安
定した自動診断結果を得ることができるという効果があ
る。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る診断支援装置
の構成を示す構成図
【図2】図1の診断支援装置における診断支援処理実行
プログラムの構成を示す機能ブロック図
【図3】図1の診断支援装置におけるマルチウインドウ
の画面の概念構成を示す構成図
【図4】図3の画面でのアイコン操作によって展開され
るマルチウインドウ画面の構成を示す構成図
【図5】図4のマルチウインドウ画面上のウインドウの
構成を説明する第1の説明図
【図6】図4のマルチウインドウ画面上のウインドウの
構成を説明する第2の説明図
【図7】図1の診断支援装置におけるマルチウインドウ
の画面の具体的な構成を示す構成図
【図8】図1のハードディスクに記録された内視鏡画像
ファイルを管理するファイル管理データを説明する説明
【図9】図1のハードディスクに記録された内視鏡画像
ファイルの各内視鏡画像の内視鏡検査ごとに付与される
管理データを説明する説明図
【図10】図7の画像表示アイコンのクリック操作によ
り展開される画像管理データウインドウの構成を示す構
成図
【図11】図10の呼び出しボタンのクリック操作によ
り展開される検索ウインドウの構成を示す構成図
【図12】図11の条件検索開始ボタンのクリック操作
により展開される検索結果表示ウインドウの構成を示す
構成図
【図13】図12の画像一覧ボタンのクリック操作によ
り展開される画像一覧表示ウィンドウの構成を示す構成
【図14】図13の表示ボタンのクリック操作により展
開される画像表示ウインドウの構成を示す構成図
【図15】図7の画像処理アイコンのクリック操作によ
り展開される画像処理ウインドウの構成を示す構成図
【図16】図15の実行ボタンのクリック操作により展
開される処理結果画像表示ウィンドウの構成を示す構成
【図17】図2のデータベース管理ブロックが管理する
データベースの構成を示す構成図
【図18】図7のROI設定アイコンのクリック操作に
より展開されるROI設定ウインドウの構成を示す構成
【図19】図18の特徴量選択ボタンのクリック操作に
より展開される算出特徴量メニューウインドウの構成を
示す構成図
【図20】図19の一括選択ボタンのクリック操作によ
り展開される一括選択メニューウインドウの構成を示す
構成図
【図21】図18の部位設定ボタンのクリック操作によ
り展開される部位指定メニューウインドウの構成を示す
構成図
【図22】図18の特徴量算出実行ボタンのクリック操
作により展開される特徴量算出結果表示ウインドウの構
成を示す構成図
【図23】図7のROI設定アイコンによる原画像及び
処理結果画像に対するROIの設定方法を説明する説明
【図24】図19の相互特徴量算出ボタンによる特徴量
算出処理の流れを示すフローチャート
【図25】図24の特徴量算出処理におけるG画像デー
タから取り出すサンプリング画素を説明する説明図
【図26】図19の相互特徴量算出ボタンのクリック操
作により展開されるROI間相互特徴量メニューウィン
ドウの構成を示す構成図
【図27】図26のROI間相互特徴量メニューウィン
ドウで算出されるROI間相互特徴量を説明する説明図
【図28】図26のROI間相互特徴量メニューウィン
ドウでのROI間相互特徴量算出における自動組み合わ
せの動作を説明するためのフローチャート
【図29】図7の特徴量算出アイコンのクリック操作に
より展開される特徴量算出ウインドウの構成を示す構成
【図30】図29のROI指定ボタンのクリック操作に
より展開されるROI指定ウインドウの構成を示す構成
【図31】図7の判別分類アイコンのクリック操作によ
り展開される判別分類ウインドウの構成を示す構成図
【図32】図31のデータセット作成ボタンのクリック
操作により展開されるデータセット作成ウインドウの構
成を示す構成図
【図33】図31のクラス別ROI選択ボタンのクリッ
ク操作により展開されるクラス別ROI一覧ウインドウ
の構成を示す構成図
【図34】図32の既存データセット呼び出しボタンの
クリック操作により展開されるデータセット一覧ウイン
ドウの構成を示す構成図
【図35】図31の判別分類実行ボタンのクリック操作
により展開される判別分類実行ウインドウの構成を示す
構成図
【図36】図35の実行ボタンのクリック操作により展
開される判別分類結果表示ウインドウの構成を示す構成
【図37】図7のレポート作成アイコンのクリック操作
により展開されるレポート作成ウインドウの構成を示す
構成図
【図38】図37の選択ボタンのクリック操作により展
開される特徴量レポート作成ウインドウの構成を示す構
成図
【図39】図38の表示ボタンのクリック操作により展
開される特徴量レポート表示ウインドウの構成を示す構
成図
【図40】図38のグラフ作成ボタンのクリック操作に
より展開されるグラフ表示ウインドウの構成を示す構成
【図41】本発明の第2の実施の形態に係る画像のテク
スチャの構造パターンを示すパターン図
【図42】図41のテクスチャの構造パターンの補正を
説明する説明図
【図43】図41のテクスチャの構造パターンの変形例
を示すパターン図
【図44】本発明の第3の実施の形態に係る前処理ブロ
ックの処理構成を示すブロック図
【図45】図44の前処理ブロックの作用を説明する第
1の説明図
【図46】図44の前処理ブロックの作用を説明する第
2の説明図
【符号の説明】 1…診断支援装置 2…ビデオプロセッサ 3、35…観察モニタ 4…入力ユニット 5…サーバユニット 6…カンファレンスユニット 11…A/Dコンバータ 12、32、50…画像処理部 13、21、31L…LANコントローラ 14、26、36…コントローラ 22…メモリ 23、47…ハードディスク 24…ハードディスクドライバ 25…圧縮装置 33…伸張装置 34…D/Aコンバータ 41…CPU 42…キーボード 43…キーボードI/F 44…検索モニタ 45…マウス 46…マウスI/F 48…ハードディスクI/F 49…作業メモリ 50…画像処理部 51…プリンタ 52…プリンタI/F 61…パスワード記憶部 62…パスワード監視部 63…制御制限部 70…診断支援処理実行プログラム 71…画像管理ブロック 72…データベース管理ブロック 73…ROI設定ブロック 74…特徴量算出ブロック 75…判別分類ブロック 76…レポート作成ブロック 77…画像処理ブロック

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも1つの信号からなる画像デー
    タを入力する画像入力手段と、 入力された前記画像データを記憶する記憶手段と、 前記記憶手段により記録された前記画像データに対して
    少なくとも1つの関心領域を設定する関心領域設定手段
    と、 前記関心領域設定手段により設定された前記関心領域か
    ら特徴量を算出する特徴量算出手段と、 前記特徴量算出手段により算出された特徴量を用いた病
    変の判別分類を行う判別分類手段とを備えたことを特徴
    とする診断支援装置。
JP15708096A 1996-04-30 1996-06-18 診断支援装置 Expired - Fee Related JP3895400B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15708096A JP3895400B2 (ja) 1996-04-30 1996-06-18 診断支援装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10958896 1996-04-30
JP8-109588 1996-04-30
JP15708096A JP3895400B2 (ja) 1996-04-30 1996-06-18 診断支援装置

Publications (2)

Publication Number Publication Date
JPH1014864A true JPH1014864A (ja) 1998-01-20
JP3895400B2 JP3895400B2 (ja) 2007-03-22

Family

ID=26449319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15708096A Expired - Fee Related JP3895400B2 (ja) 1996-04-30 1996-06-18 診断支援装置

Country Status (1)

Country Link
JP (1) JP3895400B2 (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000237122A (ja) * 1999-02-24 2000-09-05 Asahi Optical Co Ltd 内視鏡装置の表示切り替え装置
JP2001202523A (ja) * 1999-12-03 2001-07-27 Canon Inc 画像処理方法及びその装置
JP2003506797A (ja) * 1999-08-09 2003-02-18 ウェイク フォレスト ユニバーシティ レポートを作成する方法とシステム
WO2004052188A1 (ja) 2002-12-12 2004-06-24 Olympus Corporation 情報処理装置
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
WO2006087981A1 (ja) * 2005-02-15 2006-08-24 Olympus Corporation 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
JP2006223377A (ja) * 2005-02-15 2006-08-31 Olympus Corp 管腔画像処理装置、管腔画像処理方法及びそのためのプログラム
JP2006223376A (ja) * 2005-02-15 2006-08-31 Olympus Corp 医用画像処理装置
WO2008136098A1 (ja) * 2007-04-24 2008-11-13 Olympus Medical Systems Corp. 医療用画像処理装置及び医療用画像処理方法
EP1704815A3 (en) * 2001-10-22 2009-02-11 Olympus Corporation Information processing apparatus
US7538761B2 (en) 2002-12-12 2009-05-26 Olympus Corporation Information processor
US7599533B2 (en) 2002-12-05 2009-10-06 Olympus Corporation Image processing system and image processing method
EP1997076A4 (en) * 2006-03-13 2010-01-20 Given Imaging Ltd CASCADE ANALYSIS FOR DARM CONTRACTION DETECTION
JP2010535579A (ja) * 2007-08-03 2010-11-25 エスティーアイ・メディカル・システムズ・エルエルシー 酢酸加工された子宮頸部上皮内腫瘍に関するコンピュータ画像解析
US7995823B2 (en) 1999-08-09 2011-08-09 Wake Forest University Health Sciences Image reporting method and system
US8335362B2 (en) 2006-06-12 2012-12-18 Given Imaging Ltd. Device, system and method for measurement and analysis of contractile activity
US8396327B2 (en) 2006-03-13 2013-03-12 Given Imaging Ltd. Device, system and method for automatic detection of contractile activity in an image frame
JP2014232470A (ja) * 2013-05-30 2014-12-11 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
WO2015115274A1 (ja) * 2014-01-31 2015-08-06 オムロン株式会社 物体判別装置、画像センサ、物体判別方法
CN106466188A (zh) * 2015-08-20 2017-03-01 通用电气公司 用于发射断层显像定量的系统和方法
US10653295B2 (en) 2015-09-29 2020-05-19 Fujifilm Corporation Image processing apparatus, endoscope system, and image processing method
JPWO2019078204A1 (ja) * 2017-10-17 2020-10-22 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000237122A (ja) * 1999-02-24 2000-09-05 Asahi Optical Co Ltd 内視鏡装置の表示切り替え装置
JP2003506797A (ja) * 1999-08-09 2003-02-18 ウェイク フォレスト ユニバーシティ レポートを作成する方法とシステム
US7995823B2 (en) 1999-08-09 2011-08-09 Wake Forest University Health Sciences Image reporting method and system
US8320651B2 (en) 1999-08-09 2012-11-27 Wake Forest University Health Sciences Image reporting method and system
JP2001202523A (ja) * 1999-12-03 2001-07-27 Canon Inc 画像処理方法及びその装置
EP1704815A3 (en) * 2001-10-22 2009-02-11 Olympus Corporation Information processing apparatus
US7599533B2 (en) 2002-12-05 2009-10-06 Olympus Corporation Image processing system and image processing method
WO2004052188A1 (ja) 2002-12-12 2004-06-24 Olympus Corporation 情報処理装置
EP1570777A4 (en) * 2002-12-12 2008-05-21 Olympus Corp INFORMATION PROCESSING DEVICE
US7538761B2 (en) 2002-12-12 2009-05-26 Olympus Corporation Information processor
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006223376A (ja) * 2005-02-15 2006-08-31 Olympus Corp 医用画像処理装置
JP2006223377A (ja) * 2005-02-15 2006-08-31 Olympus Corp 管腔画像処理装置、管腔画像処理方法及びそのためのプログラム
WO2006087981A1 (ja) * 2005-02-15 2006-08-24 Olympus Corporation 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
US8055033B2 (en) 2005-02-15 2011-11-08 Olympus Corporation Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
US8441530B2 (en) 2006-03-13 2013-05-14 Given Imaging Ltd. Cascade analysis for intestinal contraction detection
EP1997076A4 (en) * 2006-03-13 2010-01-20 Given Imaging Ltd CASCADE ANALYSIS FOR DARM CONTRACTION DETECTION
US8396327B2 (en) 2006-03-13 2013-03-12 Given Imaging Ltd. Device, system and method for automatic detection of contractile activity in an image frame
US8335362B2 (en) 2006-06-12 2012-12-18 Given Imaging Ltd. Device, system and method for measurement and analysis of contractile activity
CN101594817B (zh) 2007-04-24 2011-08-24 奥林巴斯医疗株式会社 医疗用图像处理装置以及医疗用图像处理方法
WO2008136098A1 (ja) * 2007-04-24 2008-11-13 Olympus Medical Systems Corp. 医療用画像処理装置及び医療用画像処理方法
JP2010535579A (ja) * 2007-08-03 2010-11-25 エスティーアイ・メディカル・システムズ・エルエルシー 酢酸加工された子宮頸部上皮内腫瘍に関するコンピュータ画像解析
JP2014232470A (ja) * 2013-05-30 2014-12-11 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
WO2015115274A1 (ja) * 2014-01-31 2015-08-06 オムロン株式会社 物体判別装置、画像センサ、物体判別方法
CN106466188A (zh) * 2015-08-20 2017-03-01 通用电气公司 用于发射断层显像定量的系统和方法
US10653295B2 (en) 2015-09-29 2020-05-19 Fujifilm Corporation Image processing apparatus, endoscope system, and image processing method
JPWO2019078204A1 (ja) * 2017-10-17 2020-10-22 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
JP2022060540A (ja) * 2017-10-17 2022-04-14 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
US11574401B2 (en) 2017-10-17 2023-02-07 Fujifilm Corporation Medical image processing apparatus and endoscope apparatus

Also Published As

Publication number Publication date
JP3895400B2 (ja) 2007-03-22

Similar Documents

Publication Publication Date Title
JP3895400B2 (ja) 診断支援装置
JP4450973B2 (ja) 診断支援装置
US12154680B2 (en) Endoscopic image display method, apparatus, computer device, and storage medium
EP3839885A1 (en) Real-time pathological microscopic image collection and analysis system, method and device and medium
US7027627B2 (en) Medical decision support system and method
JP2000155840A (ja) 画像処理方法
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及系统
US7324673B1 (en) Image processing apparatus, image processing method, and image processing program storage medium
US7133546B2 (en) Digital medical image analysis
US7606779B2 (en) Methods and system for data aggregation of physical samples
JP4451460B2 (ja) 内視鏡診断支援装置
CN111214255A (zh) 一种医学超声图像计算机辅助诊断方法
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JPH07284090A (ja) 画像分類装置
CN101247760A (zh) 根据舌图像诊断疾病的方法
Zhang et al. Evaluation of a new dataset for visual detection of cervical precancerous lesions
US20100150413A1 (en) Abnormal shadow candidate detecting method and abnormal shadow candidate detecting device
JPH08293025A (ja) 画像分類装置
CN111242921A (zh) 一种医学超声图像辅助诊断系统自动更新的方法及系统
JP5702943B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
CN119790427A (zh) 图像处理装置、图像处理装置的工作方法、及图像处理装置的工作程序
JP2007236956A (ja) 内視鏡診断支援装置及び内視鏡画像処理方法
CN120259277B (zh) 基于图像识别的消化道病变分析方法及系统
CN116012324A (zh) 一种医学影像质量控制方法、装置和电子装置
US5719784A (en) Order-based analyses of cell and tissue structure

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061214

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees