JP2014018333A - 画像処理装置及び内視鏡装置 - Google Patents

Abstract

【課題】正確かつ客観性のある診断を支援する画像処理装置及び内視鏡装置を提供する。
【解決手段】カラー内視鏡画像データを取得する画像取得手段と、カラー内視鏡画像データの色空間を、色相、彩度及び輝度を基底とするＨＳＩ色空間、又は、色相、彩度及び明度を基底とするＨＳＶ色空間に変換する色空間変換手段と、カラー内視鏡画像を構成する各画素について、色相と彩度に基づいて病変部の画素であるか否かを判定する病変画素判定手段と、病変部の画素と判定された画素の数である病変画素数を計数する病変画素計数手段と、病変画素数に基づいて病変指数を計算する病変指数計算手段と、病変指数を表示する病変指数表示手段と、を備える。
【選択図】図１３

Description

本発明は、内視鏡診断用の画像処理装置及び該画像処理装置を備えた医療用の内視鏡装置に関連し、特にカラー内視鏡画像の色情報に基づいて病変部に関する情報を取得して表示する機能を備えた装置に関する。

病変部は、一般に正常な粘膜組織とは異なる色を呈する。カラー内視鏡装置の性能向上により、正常組織とわずかに色の異なる病変部の識別も可能になってきている。しかしながら、術者が内視鏡画像上のわずかな色の相違により正常組織から病変部を正確に識別できるようになるには、熟練者の指導下で長期間のトレーニングを受ける必要があった。また、熟練した術者であっても、わずかな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求された。そこで、血管や病変部の識別を容易にするために、白色光を使用して撮像した内視鏡画像データに対して、色の違いを強調する色変換処理を行う機能を備えた電子内視鏡装置が提案されている（特許文献１）。

特開２００９−１０６４２４号公報

特許文献１の電子内視鏡装置が生成する画像は、通常の内視鏡画像に比べれば病変部等を識別し易いものの、正常な粘膜組織と病変部等との境界における色の変化は連続的であり、また疾患の種類によっては正常な粘膜組織との色の違いが僅かであるため、やはり経験の浅い術者には病変部等の識別が難しい場合もあった。また、特許文献１の電子内視鏡装置を使用した場合でも、病変部かどうかの判断は、最終的には術者の経験や知識に依存する読像技能に委ねられており、客観的かつ再現性のある（術者のスキルに依存しない）検査結果を得ることができなかった。

本発明の実施形態によれば、カラー内視鏡画像データを取得する画像取得手段と、カラー内視鏡画像データの色空間を、色相、彩度及び輝度を基底とするＨＳＩ色空間、又は、色相、彩度及び明度を基底とするＨＳＶ色空間に変換する色空間変換手段と、カラー内視鏡画像を構成する各画素について、色相と彩度に基づいて病変部の画素であるか否かを判定する病変画素判定手段と、病変部の画素と判定された画素の数である病変画素数を計数する病変画素計数手段と、病変画素数に基づいて病変指数を計算する病変指数計算手段と、病変指数を表示する病変指数表示手段と、を備えた画像処理装置が提供される。

この構成によれば、病変部と正常部の相違が明瞭に現れるＨＳＶ色空間において病変部の判定が行われるため、病変部と正常部との正確な判別が可能になる。また、病変指数の表示により、内視鏡画像に写された病変部に関する客観的かつ定量的な情報（例えば、炎症性腸疾患等の非局在型の疾患の重症度や、ポリープ等の局在型の疾患の病変部に近づいているかどうか）を得ることができ、より正確かつ再現性の高い診断が可能になる。

上記の画像処理装置において、カラー内視鏡画像を構成する各画素について、画素値が所定の範囲内にあるか否かにより、画素が有効か否かを判定する有効画素判定手段と、有効画素判定手段により有効と判定された画素の数である有効画素数を計数する有効画素計数手段と、を更に備え、病変画素判定手段が、有効と判定された画素について、病変部の画素であるか否かを判定し、病変指数表示手段が、有効画素数に対する病変画素数の比率として病変指数を計算する構成としてもよい。

この構成によれば、有効でない画素（例えば、画素値が極度に高い場合や、極端に低い場合など、画素値の精度が低い画素）を判定の対象から外すことにより、より正確な病変部の識別が可能になる。

上記の画像処理装置において、病変画素判定手段が、カラー内視鏡画像を構成する各画素が病変部の画素であるか否かを、複数種類の病変についてそれぞれ判定し、病変画素計数手段が、複数種類の病変のそれぞれについて病変画素数を計数し、病変指数計算手段が、複数種類の病変のそれぞれについて病変指数を計算し、病変指数表示手段が、複数種類の病変の少なくとも一つの病変指数を表示する構成としてもよい。

この構成によれば、病変の種類毎の病変指数が表示されるため、術者は疾患の状態に関する詳細な情報が得られ、より正確な診断が可能になる。

上記の画像処理装置において、複数種類の病変の病変指数の合計である総病変指数を計算する総病変指数計算手段を更に備え、病変指数表示手段が総病変指数を表示する構成としてもよい。

この構成によれば、診断が難しい多様な病変を呈する疾患について、術者は客観的かつ総合的な情報を得ることができるため、的確な診断を容易に行うことが可能になる。

上記の画像処理装置において、病変画素計数手段が、複数種類の病変のいずれかの病変部の画素であると判定された画素の数を病変画素数として計数する構成としてもよい。

この構成によれば、画像解析による識別の難しい複数種類の病変を伴う疾患についても、疾患の状態に関する正確な情報を術者に提供することが可能になる。

上記の画像処理装置において、画素が病変部と判定される画素値の領域の境界近傍のダイナミックレンジが広がるように、非線形な利得を画素値に与えるトーン強調処理を行うトーン強調手段を更に備え、病変画素判定手段が、トーン強調処理後の画素値に基づいて判定を行う構成としてもよい。

この構成によれば、病変部の判定の境界（閾値）近傍におけるダイナミックレンジが広げられるため、より精密な判定が病変部の判定が可能になる。

上記の画像処理装置において、カラー内視鏡画像データが、ＲＧＢ色空間においてトーン強調処理を受けた後、ＨＳＩ色空間又はＨＳＶ色空間に変換される構成としてもよい。

上記の画像処理装置において、トーン強調手段が、各原色の輝度値Ｒ、Ｇ、Ｂに対して異なる利得曲線を適用してトーン強調処理を行う構成としてもよい。

この構成によれば、自由度の高いトーン強調処理により、より正確な病変部の判定が可能になる。

上記の画像処理装置において、病変画素判定手段が病変部と判定した画素の色を変更するオーバーレイ処理を行うオーバーレイ手段と、カラー内視鏡画像にオーバーレイ処理を施したオーバーレイ画像を表示するオーバーレイ画像表示手段と、を更に備える構成としてもよい。

この構成によれば、オーバーレイ画像上で病変部と判定された部位が明示されるため、病変部の見落としを防止し、より正確な診断を可能にする。

上記の画像処理装置において、オーバーレイ画像表示手段が、カラー内視鏡画像とオーバーレイ画像とを同時に表示する構成としてもよい。

この構成によれば、オーバーレイ画像と対比することにより、カラー内視鏡画像に写された病変部の識別が容易になる。

上記の画像処理装置において、オーバーレイ手段が、病変部の画素と判定された画素の画素値に、病変の種類に応じた所定値を加算する構成としてもよい。

この構成によれば、種類の異なる病変部が色別表示され、より詳細な疾患の状態に関する情報を、直感的かつ正確に把握することが可能になる。

上記の画像処理装置において、カラー内視鏡画像を撮像した位置の情報を取得する撮像位置取得手段と、カラー内視鏡画像を撮像した複数の位置と、位置において撮像したカラー内視鏡画像の病変指数との関係を、表、グラフ及び模式図の少なくとも一つを用いて表示するレポート表示手段と、を更に備える構成としてもよい。

この構成によれば、疾患の正確な全体像を容易に把握することが可能になる。

上記の画像処理装置において、レポート表示手段が印刷表示を行う構成としてもよい。

上記の画像処理装置において、病変が、炎症性腸疾患における炎症及び潰瘍を含む構成としてもよい。

この構成によれば、病変指数が炎症性腸疾患の重症度の良好な指標となるため、炎症性腸疾患の重症度のより適確な診断を可能にする。

また、本発明の実施形態によれば、上記の画像処理装置と、カラー内視鏡画像データを生成して、画像処理装置に出力する内視鏡と、を備えた内視鏡装置が提供される。

以上のように、本発明の実施形態の構成によれば、病変部と正常部との正確な判別を容易に行うことが可能になる。

本発明の実施形態に係る電子内視鏡装置の概略構成を示すブロック図である。 本発明の実施形態に係る画像処理ユニットの概略構成を示すブロック図である。 画像メモリ２２４の記憶領域の概略構成を示す図である。 メモリ２２６の記憶領域の概略構成を示す図である。 画像処理ユニットが行う処理の手順を示すフローチャートである。 ＴＥ処理に使用されるゲイン曲線の一例である。 有効画素判定処理の手順を示すフローチャートである。 病変判定処理の手順を示すフローチャートである。 生体組織像の画素値をＨＳ座標にプロットした散布図である。 オーバーレイ処理の手順を示すフローチャートである。 病変指数計算処理の手順を示すフローチャートである。 画面表示処理によって生成される表示画面の一例である。 レポート出力処理において印刷されるレポート画面である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

図１は、本発明の実施形態に係る電子内視鏡装置１の概略構成を示すブロック図である。図１に示すように、本実施形態の電子内視鏡装置１は、電子スコープ１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。

電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡装置１の全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）からの指示に応じて、電子内視鏡装置１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡装置１内の各種回路に出力する。

また、電子内視鏡用プロセッサ２００は、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２に白色光束である照明光を供給する光源装置２３０を備えている。光源装置２３０は、ランプ２３２、ランプ電源２３４、集光レンズ２３６及び調光装置２４０を備えている。ランプ２３２は、ランプ電源２３４から駆動電力の供給を受けて照明光を放射する高輝度ランプであり、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプが使用される。ランプ２３２が放射した照明光は、集光レンズ２３６により集光された後、調光装置２４０を介してＬＣＢ１０２に導入される。

調光装置２４０は、システムコントローラ２０２の制御に基づいてＬＣＢ１０２に導入する照明光の光量を調整する装置であり、絞り２４２、モータ２４３及びドライバ２４４を備えている。ドライバ２４４は、モータ２４３を駆動するための駆動電流を生成して、モータ２４３に供給する。絞り２４２は、モータ２４３によって駆動され、照明光が通過する開口を変化させて、開口を通過する照明光の光量を調整する。

入射端からＬＣＢ１０２に導入された照明光は、ＬＣＢ１０２内を伝播し、電子スコープ１００の先端に配置されたＬＣＢ１０２の出射端から出射して、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じた３原色Ｒ、Ｇ、Ｂ各色の撮像信号を生成する。生成された撮像信号は、電子スコープ１００の接続部内に設けられたドライバ信号処理回路１１２において、増幅、された後、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒからなる画像信号に変換され、更にデジタル信号に変換された後、電子内視鏡用プロセッサ２００の画像処理ユニット２２０に送られる。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、動作可能なフレームレート等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４から読み出した固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成した制御信号を用いて、電子内視鏡用プロセッサ２００に接続された電子スコープ１００に適した処理がなされるように、電子内視鏡用プロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２及び画像処理ユニット２２０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、固体撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

電子内視鏡用プロセッサ２００の画像処理ユニット２２０は、システムコントローラ２０２による制御の下、電子スコープ１００のドライバ信号処理回路１１２から送られてくる画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。術者は、モニタ３００に表示された内視鏡画像を確認しながら例えば消化管内の観察や治療を行う。また、画像処理ユニット２２０は、画像信号に基づいて後述するレポート画面を印刷出力するためのレポート出力信号（印刷信号）を生成して、プリンタ４００に出力する。

電子内視鏡用プロセッサ２００は、ネットワークインタフェース２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００から取得してモニタ３００や操作パネル２０８に表示し、内視鏡検査結果（内視鏡画像データ、検査条件、後述の画像解析結果、術者所見等）をサーバ６００に送信して、蓄積する。

また、電子内視鏡装置１は、複数の内視鏡画像の静止画を撮像箇所（すなわち、撮像時の電子スコープ１００の先端部の位置（挿入長））の情報と関連付けて記録する機能を備えている。電子スコープ１００の挿入部１３０の外周には、複数の光センサ１３２が長さ方向に等間隔（例えば５ｃｍ間隔）で設けられている。光センサ１３２は、フォトダイオード等の受光素子であり、外光（内視鏡検査が行われる部屋の室内照明）を検出する。挿入部１３０の消化管内に挿入され部分に設けられた光センサ１３２は外光を検出せず、消化管内に挿入されていない部分に設けられた光センサ１３２は外光を検出する。そのため、光を検出していない光センサの分布長を消化管内に挿入された挿入部１３０の長さと判定することで、電子スコープ１００先端部の位置（挿入長）の情報を取得することができる。光センサ１３２は、ドライバ信号処理回路１１２に接続されており、検出した光量を示すセンサ信号をドライバ信号処理回路１１２に送信する。ドライバ信号処理回路１１２は、光センサ１３２からのセンサ信号に基づいて、電子スコープ１００の先端部の位置（挿入長）Ｐｏｓを計算する。

また、電子スコープ１００の操作部１２０に対して静止画取得を指示するユーザ操作が行われると、操作部１２０からドライバ信号処理回路１１２に操作信号が送信される。システムコントローラ２０２は、操作部１２０から静止画取得の操作信号を取得すると、現在の電子スコープ１００先端部の位置情報（挿入長）Ｐｏｓと共に静止画取得の指令を画像処理ユニット２２０に送信する。これにより、画像処理ユニット２２０において、撮像時の電子スコープ１００の位置情報Ｐｏｓと関連付けられて内視鏡観察画像の静止画が記録される。画像処理ユニット２２０が静止画を記録する処理の詳細は後述する。

図２は、画像処理ユニット２２０の概略構成を示すブロック図である。画像処理ユニット２２０は、第１画像処理回路２２２、画像メモリ２２４、メモリ２２６及び第２画像処理回路２２８を備えている。第１画像処理回路２２２は、ドライバ信号処理回路１１２からの画像信号に対して種々の画像処理を施して、画像メモリ２２４に出力する。

図２に示すように、第１画像処理回路２２２は、ＲＧＢ変換部２２２ａ、ＴＥ処理部２２２ｂ、有効画素判定部２２２ｃ、色空間変換部２２２ｄ、病変判定部（閾値処理部）２２２ｅ及びオーバーレイ処理部２２２ｆを備えている。また、第２画像処理回路２２８は、病変指数計算部２２８ａ、表示画面生成部２２８ｂ及びレポート生成部２２８ｃを備えている。第１画像処理回路２２２及び第２画像処理回路２２８の各部が行う具体的な処理については後述する。

図３は、画像メモリ２２４が備える記憶領域の概略構成を示す図である。本実施形態の画像メモリ２２４には、７つの記憶領域群Ｐｋ（ｋ＝０〜６）が設けられている。各憶領域群Ｐｋは、通常観察画像データＮの３原色信号Ｒ，Ｇ，Ｂをそれぞれ記憶する通常画像メモリ領域ｋｎＲ，ｋｎＧ，ｋｎＢ（ｋ＝０〜６）と、後述するＴＥ処理Ｓ３により生成されるトーン強調画像データＥの原色信号Ｒ’，Ｇ’，Ｂ’をそれぞれ記憶するトーン強調画像メモリ領域ｋｅＲ，ｋｅＧ，ｋｅＢ（ｋ＝０〜６）と、後述するオーバーレイ処理Ｓ７により生成されるオーバーレイ画像データＳの３原色信号Ｒ”，Ｇ”，Ｂ”をそれぞれ記憶するオーバーレイ画像メモリ領域ｋｓＲ，ｋｓＧ，ｋｓＢ（ｋ＝０〜６）を備えている。すなわち、画像メモリ２２４は、通常観察画像データＮとトーン強調画像データＥとオーバーレイ画像データＳのデータセットを最大７セット記憶することができる。画像メモリ２２４は、第１画像処理回路２２２から出力された画像データ（通常観察画像データＮ、トーン強調画像データＥ又はオーバーレイ画像データＳ）を、システムコントローラ２０２の制御に従い、記憶領域群Ｐ０〜Ｐ６のいずれかに記憶させるように構成されている。なお、記憶領域Ｐ０には、第１画像処理回路２２２から順次出力される画像データが上書きされ、常にリアルタイムの動画を構成する画像データが保持される。一方、記憶領域群Ｐ１〜Ｐ６には、システムコントローラ２０２から指令があった時にのみ、第１画像処理回路２２２から出力された画像データが書き込まれる。すなわち、画像メモリ２２４には最大６枚の静止画を記録することができる。

図４は、メモリ２２６が備える記憶領域の概略構成を示す図である。メモリ２２６は、ＲＧＢマトリクス記憶領域２２６ａ、フラグ記憶領域２２６ｂ、設定情報記憶領域２２６ｃ及び病変指数記憶領域群２２６ｄを備えている。ＲＧＢマトリクス記憶領域２２６ａには後述するＲＧＢ変換処理Ｓ１において使用されるＲＧＢ変換マトリクス係数Ｍが格納され、フラグ記憶領域２２６ｂには第１画像処理回路２２２での処理に使用されるフラグテーブルＦが格納される。なお、フラグテーブルＦは、画像データを構成する各画素（ｘ，ｙ）に関する解析結果を示すフラグｆ（ｘ，ｙ）から構成された数値テーブルである。設定記憶領域２２６ｃには、画像処理ユニット２２０での処理に使用される各種設定値が記録されている。また、病変指数記憶領域群２２６ｄには、画像メモリ２２４の記憶領域群Ｐｋ（ｋ＝０〜６）に対応する７つの記憶領域群Ｑｋ（ｋ＝０〜６）が設けられている。各記憶領域群Ｑｋには、対応する記憶領域群Ｐｋに記憶された画像の解析結果である病変指数ＩｄｘＲ、ＩｄｘＷ、ＩｄｘＴが記録される。

なお、記憶領域群Ｐｋ及びＱｋ（ｋ＝１〜６）は、それぞれ電子スコープの先端部の位置情報（挿入長）Ｐｏｓの値と関連付けられている。具体的には、記憶領域群Ｐ１及びＱ１は検査範囲の最奥部（例えば横行結腸の右結腸曲付近）に相当する挿入長Ｐｏｓの範囲に対応し、ｋ値が大きくなるほど対応する挿入長Ｐｏｓが短くなり、記憶領域群Ｐ６及びＱ６が直腸付近に相当する挿入長Ｐｏｓの範囲に対応する。すなわち、検査範囲の最奥部から電子スコープ１００の挿入部１３０を引き抜きながら静止画を取得していくと、取得した順にｋ＝１〜６の記憶領域に静止画が記録される。位置情報Ｐｏｓと記憶領域群Ｐｋ、Ｑｋ（ｋ＝１〜６）との対応関係を規定する設定情報は、設定情報記憶領域２２６ｃに記録されている。画像データが記録される記憶領域群Ｐｋ、Ｑｋは、画像データの位置情報Ｐｏｓ（撮像時の電子スコープ１００先端部の位置）に応じて決定される。

第２画像処理回路２２８は、画像メモリ２２４に記憶された画像信号を使用してモニタ表示用のビデオ信号を生成し、モニタ３００に出力する。また、第２画像処理回路２２８は、画像メモリ２２４に記憶された画像信号やメモリ２２６に記憶される病変指数（後述）を使用して、後述するレポート出力信号（印刷信号）を生成してプリンタ４００に出力する。

次に、画像処理ユニット２２０が行う処理の詳細を説明する。図５は、画像処理ユニット２２０が行う処理の手順を示すフローチャートである。画像処理ユニット２２０の処理が開始すると、先ず、第１画像処理回路２２２のＲＧＢ変換部２２２ａによりＲＧＢ変換処理Ｓ１が行われる。ＲＧＢ変換処理Ｓ１では、ＲＧＢ変換部２２２ａが、ドライバ信号処理回路１１２から送られてくる輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをそれぞれ増幅した後、３原色信号Ｒ，Ｇ，Ｂに変換する。ＲＧＢ変換処理Ｓ１は、メモリ２２６のＲＧＢマトリクス記憶領域２２６ａに格納されたＲＧＢ変換マトリクス係数Ｍを使用して行われる。ＲＧＢ変換マトリクス係数Ｍは、撮像に用いる照明光のスペクトル特性に応じて予め設定されており、Ｙ，Ｃｂ，Ｃｒ信号からＲ，Ｇ，Ｂ信号への信号形式の変換と同時に、照明光のスペクトル特性の補正が行われる。また、ＲＧＢ変換処理Ｓ１が完了すると、生成された通常観察画像データＮの３原色信号Ｒ，Ｇ，Ｂは画像メモリ２２４に出力され、それぞれ通常画像メモリ領域０ｎＲ，０ｎＧ，０ｎＢに記憶される。

次に、画像解析モードに設定されているか否かが判断される（Ｓ２）。本発明の実施形態に係る画像解析モードは、画像データの各画素について色情報（特に色相及び彩度）を解析し、色情報の解析結果から所定の判定基準に基づいて病変部の画素であるか否かを判定し、病変部の画素を識別表示する動作モードである。判定する病変の種類は、検査内容に応じて選択することができる。以下に説明する例は、炎症性腸疾患（IBD）の病変である潰瘍（白苔や膿様粘液を含む白色病変）及び炎症（浮腫や易出血性を含む赤変病変）の観察像にそれぞれ特有の色域にある画素を抽出して、識別表示するものである。

なお、本実施形態の電子内視鏡装置１は、画像解析モードと通常観察モードの２つの動作モードで動作するように構成されている。動作モードは、電子スコープ１００の操作部１２０や電子内視鏡用プロセッサ２００の操作パネル２０８に対するユーザ操作によって切り換えられる。通常観察モードに設定されている場合は（Ｓ２：Ｎｏ）、処理はＳ９に進む。

画像解析モードが選択されている場合は（Ｓ２：Ｙｅｓ）、次にトーン強調（ＴＥ）処理部２２２ｂによるＴＥ処理Ｓ３が行われる。ＴＥ処理Ｓ３は、病変の判定精度を上げるために、各原色信号Ｒ，Ｇ，Ｂに対して非線形なゲイン（利得）を与えるゲイン調整を行い、判定する病変に特有の色域（特に境界部）付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める処理である。具体的には、ＴＥ処理Ｓ３では、各原色信号Ｒ，Ｇ，Ｂに対して、図６に示すような単調増加の非線形のゲインを与えて原色信号Ｒ’，Ｇ’，Ｂ’（トーン強調画像データＥ）を取得する処理が行われる。例えば、潰瘍に特有な色域の境界のＲ空間への写像を境界領域Ｒ_Ａとし、炎症に特有な色域の境界のＲ空間への写像を境界領域Ｒ_Ｂとすると、境界領域Ｒ_Ａ及びＲ_Ｂの付近においてゲイン曲線の傾きが最も急峻になっている。このようなゲイン曲線に従ってゲインを与えることにより、境界領域Ｒ_Ａ及びＲ_Ｂの付近における原色信号Ｒ’（原色信号Ｒに対してＴＥ処理Ｓ３を施した信号）の実質的なダイナミックレンジを広げることができ、より精密な閾値判定が可能になる。

ここで、各原色信号Ｒ，Ｇ，Ｂに対してそれぞれ異なるゲイン調整を行ってもよい。さらにまた、各原色信号Ｇ，Ｂは同じ非線形のゲインを与え、原色信号Ｒにはこれらとは異なる非線形のゲインを与える処理であってもよい。また、ＴＥ処理Ｓ３により生成された３原色信号Ｒ’，Ｇ’，Ｂ’（トーン強調画像データＥ）は、画像メモリ２２４に出力され、それぞれトーン強調画像メモリ領域０ｅＲ，０ｅＧ，０ｅＢに記憶される。

なお、ＴＥ処理Ｓ３により、炎症部が赤く、潰瘍部が白く、正常部が緑色に色味が変化する。そのため、ＴＥ処理Ｓ３により生成されたトーン強調画像データＥをモニタ３００に表示した場合、ＴＥ処理Ｓ３前の通常観察画像データＮよりも病変部（炎症部や潰瘍部）を容易に視認することができる。

ＴＥ処理Ｓ３が完了すると、次にトーン強調画像データＥに対して有効画素判定部２２２ｃによる有効画素判定処理Ｓ４が行われる。図７は、有効画素判定処理Ｓ４の手順を示すフローチャートである。図７に示す有効画素判定処理Ｓ４は、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。有効画素判定処理Ｓ４では、まず各画素（ｘ，ｙ）について、原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）から、下記の数式１により補正輝度ｉｎｔ（ｘ，ｙ）が計算される（Ｓ４１）。

なお、計算した補正輝度ｉｎｔ（ｘ，ｙ）の値は、後述する適正露出判定Ｓ４２に使用される。また、数式１から分かるように、補正輝度ｉｎｔ（ｘ，ｙ）は、原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）の単純平均ではなく、ヒト（術者）の比視感度特性に基づいた加重平均として求められる。

次に、各画素について、処理Ｓ４１において計算したトーン強調画像データＥの補正輝度ｉｎｔ（ｘ，ｙ）及び原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）に基づいて、露出の適否（画像解析に必要な露出レベルか否か）を判定する（Ｓ４２）。適正露出判定Ｓ４２では、次の２つの条件（数式２、数式３）の少なくとも一方（或いは両方）を満たす場合に、適正露出（Ｓ４２：Ｙｅｓ）と判定する。なお、数式２により補正輝度ｉｎｔ（ｘ，ｙ）（全体の光量）の上限値が規定されており、数式３により各原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）の下限値が規定されている。

画素（ｘ，ｙ）について、数式２又は数式３を満たし、適正露出と判定されると（Ｓ４２：Ｙｅｓ）、有効画素判定部２２２ｃは、メモリ２２６のフラグ記憶領域２２６ｂに格納されているフラグテーブルＦの画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）の値を「１」に書き換える（Ｓ４３）。なお、フラグｆ（ｘ，ｙ）は、０〜３のいずれかのフラグ値をとる。各フラグ値の定義は以下の通りである。
０：画素データ無効
１：病変無し（正常）又は病変未判定（画素データ有効）
２：病変Ａ（炎症）
３：病変Ｂ（潰瘍）

また、適正露出判定Ｓ４２において、数式２、数式３のいずれの条件も満たさず、露出不適正と判定されると（Ｓ４２：Ｎｏ）、有効画素判定部２２２ｃは、フラグテーブルＦのフラグｆ（ｘ，ｙ）の値を「０」に書き換える（Ｓ４４）。

次に、処理Ｓ４５では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ４１〜Ｓ４５が繰り返される。

有効画素判定処理Ｓ４が完了すると、次に色空間変換部２２２ｄにより色空間変換処理Ｓ５が行われる。色空間変換処理Ｓ５は、ＲＧＢ３原色で定義されるＲＧＢ空間のトーン強調された画素データを、色相（Hew）・彩度（Saturation）・輝度（Intensity）の３要素で定義されるＨＳＩ（Heu-Saturation-Intensity）空間の画素データに変換する処理である。具体的には、色空間変換処理Ｓ５において、トーン強調画像データＥの各画素（ｘ，ｙ）の原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）が、色相Ｈ（ｘ，ｙ），彩度Ｓ（ｘ，ｙ），輝度Ｉ（ｘ，ｙ）に変換される。なお、本実施形態では、以降の処理において輝度Ｉ（ｘ，ｙ）が使用されないため、輝度Ｉ（ｘ，ｙ）の計算は行わず、色相Ｈ（ｘ，ｙ）及び彩度Ｓ（ｘ，ｙ）のみを計算して処理効率を高めている。

また、露出が不足又は過剰な画素のデータは精度が低く、解析結果の信頼度を下げてしまう。そのため、色空間変換処理Ｓ５は、フラグｆ（ｘ，ｙ）の値が「１」に設定された（すなわち、上述の有効画素判定処理Ｓ４において適正露出と判定された）画素（ｘ，ｙ）についてのみ行われる。

色空間変換処理Ｓ５が完了すると、次に病変判定部２２２ｅにより病変判定処理Ｓ６が行われる。本発明の実施形態に係る病変判定処理Ｓ６は、内視鏡画像の各画素（ｘ，ｙ）について、後述する図９の領域Ｉ〜IIIのいずれにプロットされるかによって、その画素に対応する部位に推測される状態（正常、炎症、潰瘍）を判定する処理である。

図８は、病変判定処理Ｓ６の手順を示すフローチャートである。図８に示す病変判定処理Ｓ６は、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。病変判定処理Ｓ６では、まず、フラグテーブルＦを参照して、各画素（ｘ，ｙ）のデータが有効か否かを判断する（Ｓ６１）。フラグｆ（ｘ，ｙ）の値が「１」（画素データ有効）であれば、次に炎症判定処理Ｓ６２を行う。また、フラグｆ（ｘ，ｙ）の値が「０」（画素データ無効）であれば、炎症判定処理Ｓ６２を行わずに、処理Ｓ６６へ進む。

ここで、炎症判定処理Ｓ６２及び後述する潰瘍判定処理Ｓ６４について説明する。図９は、複数の炎症性腸疾患患者の内視鏡画像データから抽出した生体組織像の画素データ（色相Ｈ（ｘ，ｙ）と彩度Ｓ（ｘ，ｙ）からなるデータ対）をプロットした散布図である。図９の散布図は、左側の破線で囲まれた領域III、右側下方の一点鎖線で囲まれた領域II、及びそれ以外の領域Ｉに区分される。本発明者の研究により、炎症性腸疾患の内視鏡診断に熟練した医師によって潰瘍と判断された部位の画素の大半が図９の領域IIIにプロットされ、炎症と判断された部位の画素の大半が図９の領域IIにプロットされ、正常と判断された部位の画素の大半が領域Ｉにプロットされることが判明した。このことは、生体組織を撮像した内視鏡観察像の色相（色合い）と彩度（鮮やかさ）の２つの情報により、生体組織の状態（潰瘍や炎症）を高い精度で判別できることを意味している。

炎症判定処理Ｓ６２においては、各画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が、図９の領域IIにプロットされるか否かが判定される。具体的には、画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が、以下の数式４及び数式５を満たす場合に、領域IIにプロットされる（すなわち炎症部の画素である）と判定される。なお、δ_Ｈ１、δ_Ｓ１及びδ_Ｓ２は、術者によって設定可能な補正値であり、これらの補正値の設定によって判定の厳しさ（感度）等を適宜調整することができる。

画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が領域IIにプロットされる場合は（Ｓ６２：Ｙｅｓ）、画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）の値が「２」（炎症）に書き換えられ（Ｓ６３）、処理Ｓ６６に進む。また、画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が領域IIにプロットされない場合は（Ｓ６２：Ｎｏ）、続いて潰瘍判定処理Ｓ６４が行われる。

潰瘍判定処理Ｓ６４では、各画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が、図９の領域IIIにプロットされるか否かが判定される。具体的には、Ｈ（ｘ，ｙ）、Ｓ（ｘ，ｙ）が、以下の数式６を満たすか、若しくは、数式７及び数式８を満たす場合に、画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が領域IIIにプロットされる（すなわち潰瘍部の画素である）と判定される。なお、δ_Ｓ３、δ_Ｓ４、δ_Ｈ２及びδ_Ｈ３は術者によって設定可能な補正値であり、これらの補正値の設定によって判定の厳しさ（感度）等を適宜調整することができる。

画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が領域IIIにプロットされる場合は（Ｓ６４：Ｙｅｓ）、画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）の値が「３」（潰瘍）に書き換えられ（Ｓ６５）、処理Ｓ６６に進む。また、画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が領域IIIにプロットされない場合は（Ｓ６４：Ｎｏ）、正常組織と判定され、フラグｆ（ｘ，ｙ）の値「１」（正常）は書き換えられず、そのまま処理Ｓ６６に進む。

処理Ｓ６６では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ６１〜Ｓ６６が繰り返される。

病変判定処理Ｓ６が完了すると、次にオーバーレイ処理部２２２ｆにより本発明の実施形態に係るオーバーレイ処理Ｓ７が行われる。オーバーレイ処理Ｓ７は、病変判定処理Ｓ６により炎症や潰瘍といった病変部と判定された画素について、正常（病変を有しない）と判定された画素と容易に識別できるように、その病変（フラグ値）と関連付けられた色調に色を変更する処理である。本実施形態では、炎症と判定された画素に対して赤みを強め（具体的には、Ｒ成分を増加させ）、潰瘍と判定された画素に対して黄みを強める（具体的には、Ｇ、Ｂ成分を増加させる）処理が行われる。

図１０は、オーバーレイ処理Ｓ７の手順を示すフローチャートである。図１０に示すオーバーレイ処理Ｓ７は、通常観察画像データＮを構成する全ての画素（ｘ，ｙ）について順次行われる。オーバーレイ処理Ｓ７では、まずフラグテーブルＦを参照して、各画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）の値を判断する（Ｓ７１、Ｓ７２、Ｓ７４）。フラグｆ（ｘ，ｙ）の値が「０」（画素データ無効）の場合は（Ｓ７１：Ｙｅｓ）、直接処理Ｓ７７へ進む。フラグｆ（ｘ，ｙ）の値が「１」（正常）の場合は（Ｓ７１：Ｎｏ、Ｓ７２：Ｙｅｓ）、通常観察画像データＮの原色信号Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）をそのまま変更せずにオーバーレイ画像データＳの原色信号Ｒ”（ｘ，ｙ），Ｇ”（ｘ，ｙ），Ｂ”（ｘ，ｙ）の値として（Ｓ７３）、処理Ｓ７７へ進む。フラグｆ（ｘ，ｙ）の値が「２」（炎症）の場合は（Ｓ７１：Ｎｏ、Ｓ７２：Ｎｏ、Ｓ７４：Ｙｅｓ）、通常観察画像データＮの原色信号Ｒ（ｘ，ｙ）の値に１００を加えたものをオーバーレイ画像データＳの原色信号Ｒ”（ｘ，ｙ）の値とし、通常観察画像データＮの原色信号Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）の値をそのまま変更せずにオーバーレイ画像データＳの原色信号Ｇ”（ｘ，ｙ）及びＢ”（ｘ，ｙ）の値として（Ｓ７５）、処理Ｓ７７へ進む。また、フラグｆ（ｘ，ｙ）の値が「３」（潰瘍）の場合は（Ｓ７１：Ｎｏ、Ｓ７２：Ｎｏ、Ｓ７４：Ｎｏ）、通常観察画像データＮの原色信号Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）の値にそれぞれ１００を加えたものをオーバーレイ画像データＳの原色信号Ｇ”（ｘ，ｙ）及びＢ”（ｘ，ｙ）の値とし、通常観察画像データＮの原色信号Ｒ（ｘ，ｙ）の値をそのまま変更せずにオーバーレイ画像データＳの原色信号Ｒ”（ｘ，ｙ）の値として（Ｓ７６）、処理Ｓ７７へ進む。ここで、本実施形態のオーバーレイ処理Ｓ７には通常観察画像データＮの３原色信号Ｒ，Ｇ，Ｂを用いているが、別の実施形態では、トーン強調画像データＥの原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ）およびＢ’（ｘ，ｙ）を用いてもよい。

処理Ｓ７７では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ７１〜Ｓ７７が繰り返される。

オーバーレイ処理Ｓ７が完了すると、オーバーレイ処理Ｓ７により生成されたオーバーレイ画像データＳが、画像メモリ２２４に出力され、それぞれオーバーレイ画像メモリ領域０ｓＲ，０ｓＧ，０ｓＢ（ｋ＝０〜６）に記憶される。

次に、第２画像処理回路２２８の病変指数計算部２２８ａにより本発明の実施形態に係る病変指数計算処理Ｓ８が行われる。病変指数計算処理Ｓ８は、内視鏡画像の有効画素数（有効画素判定処理Ｓ４において適正露出と判定された画素数）のうち、病変判定処理Ｓ６において病変を有すると判定された画素数の占める割合（病変指数）を計算する処理である。

図１１は、病変指数計算処理Ｓ８の手順を示すフローチャートである。病変指数計算処理Ｓ８では、まず各パラメータをリセットする（Ｓ８１）。なお、ＮｕｍＯ、ＮｕｍＲ及びＮｕｍＷは、それぞれ有効画素、炎症と判定された画素及び潰瘍と判定された画素を計数するカウンタである。

次に、フラグテーブルＦを参照して、各画素（ｘ，ｙ）が有効画素であるか否かが判断される（Ｓ８２）。有効画素ではない場合は（Ｓ８２：０）、各カウンタを変更せずに処理をＳ８７に進める。有効画素である場合は（Ｓ８２：１−３）、有効画素カウンタＮｕｍＯをインクリメントする（Ｓ８３）。次に、フラグｆ（ｘ，ｙ）の値から、各画素（ｘ，ｙ）が正常、炎症、潰瘍のいずれに判定されているかが判断される（Ｓ８４）。正常と判定されていれば（Ｓ８４：１）、そのまま処理をＳ８７に進める。また、炎症と判定されていれば（Ｓ８４：２）、炎症カウンタＮｕｍＲをインクリメントし（Ｓ８５）、潰瘍と判定されていれば（Ｓ８４：３）、潰瘍カウンタＮｕｍＷをインクリメントした後（Ｓ８６）、処理をＳ８７に進める。

次に、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される（Ｓ８７）。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ８１〜Ｓ８７が繰り返される。

全ての画素（ｘ，ｙ）についてカウントが完了すると、次に、炎症の病変指数ＩｄｘＲが計算される（Ｓ８８）。炎症の病変指数ＩｄｘＲは、全有効画素数に占める炎症と判定された画素数の割合であり、ＩｄｘＲ＝ＮｕｍＲ／ＮｕｍＯにより計算される。

次に、潰瘍の病変指数ＩｄｘＷが計算される（Ｓ８９）。潰瘍の病変指数ＩｄｘＷは、全有効画素数に占める潰瘍と判定された画素数の割合であり、ＩｄｘＷ＝ＮｕｍＷ／ＮｕｍＯにより計算される。

次に、総病変指数ＩｄｘＴが計算される（Ｓ９０）。総病変指数ＩｄｘＴは、全有効画素数に占める、病変（炎症又は潰瘍）と判定された画素数の割合であり、ＩｄｘＴ＝ＩｄｘＲ＋ＩｄｘＷにより計算される。本発明者の研究により、炎症性腸疾患の内視鏡画像の総病変指数ＩｄｘＴと炎症性腸疾患の重症度を示すＭａｙｏスコアとの間に強い相関があり、総病変指数ＩｄｘＴが炎症性腸疾患の重症度を簡易的に判定するための良い指標となることが明らかにされている。

次に、メモリ２２６に各病変指数ＩｄｘＲ、ＩｄｘＷ、ＩｄｘＴを記録して、病変指数計算処理Ｓ８が終了する。

次に、静止画保存の指令が出されているか否かの判定Ｓ９（図５）が行われる。画像処理ユニット２２０は、ドライバ信号処理回路１１２から静止画保存の指令と共に電子スコープ１００先端部の位置情報Ｐｏｓを受け取ると（Ｓ９：Ｙｅｓ）、画像メモリ２２４の記憶領域群Ｐ０に記憶された通常観察画像データＮ、トーン強調画像データＥ及びオーバーレイ画像データＳの複製を、位置情報Ｐｏｓに対応する記憶領域群Ｐ１〜６のいずれかに記憶させ（Ｓ１０）、次いで画面表示処理Ｓ１１が行われる。ドライバ信号処理回路１１２から静止画保存の指令が無ければ（Ｓ９：Ｎｏ）、処理Ｓ１０を行わずに画面表示処理Ｓ１１に進む。

次の画面表示処理Ｓ１１は、モニタ３００に表示するための表示画面データを生成し、ビデオ信号に変換して出力する処理であり、第２画像処理回路２２８の表示画面生成部２２８ｂによって行われる。表示画面生成部２２８ｂは、システムコントローラ２０２の制御に応じて、複数種類の表示画面データを生成することができる。

図１２は、画面表示処理Ｓ１１によって生成される表示画面の一例であり、画像解析モードでの内視鏡観察中に表示される解析モード観察画面３２０である。解析モード観察画面３２０は、撮像日時が表示される日時表示領域３２１と、検査に関連する基本的な情報（例えば、カルテ番号、患者名、術者名）を表示する基本情報表示領域３２２と、病変指数計算処理Ｓ８において計算された病変指数ＩｄｘＲ、ＩｄｘＷ、ＩｄｘＴを表示する病変指数表示領域３２３と、通常観察画像データＮ（又はトーン強調画像データＥ）を表示する通常画像表示領域３２４と、オーバーレイ画像データＳ（オーバーレイ処理Ｓ７後の観察画像）を表示する解析画像表示領域３２５を備えている。

画面表示処理Ｓ１１において、表示画面生成部２２８ｂは、メモリ２２６の記憶領域群Ｑ０からリアルタイムの病変指数ＩｄｘＲ、ＩｄｘＷ、ＩｄｘＴを読み取り、病変指数表示領域３２３に表示する。図１２中の「赤：２５．８％」、「白：１９．８％」及び「検出面積：４５．６％」は、それぞれ炎症の病変指数ＩｄｘＲ、潰瘍の病変指数ＩｄｘＷ及び総病変指数ＩｄｘＴの表示である。また、表示画面生成部２２８ｂは、画像メモリ２２４の記憶領域群Ｐ０からリアルタイムの通常観察画像データＮ（又はトーン強調画像データＥ）及びオーバーレイ画像データＳを読み取り、それぞれ通常画像表示領域３２４及び解析画像表示領域３２５に表示する。また、日時表示領域３２１及び基本情報表示領域３２２には、システムコントローラ２０２から提供された情報が表示される。

術者は、解析モード観察画面３２０を見ながら内視鏡観察を行う。具体的には、解析画像表示領域３２５に表示されるオーバーレイ画像データＳを参照しつつ、通常画像表示領域３２４に表示される通常観察画像データＮ（又はトーン強調画像データＥ）を見ながら内視鏡観察を行う。オーバーレイ画像データＳにおいて色付けされた部位について特に慎重に観察を行うことで、病変部を見落とすことなく、正確な診察を行うことができる。また、病変指数表示領域３２３に表示される病変指数ＩｄｘＲ、ＩｄｘＷ、ＩｄｘＴの客観的かつ具体的な数値を参照しながら観察することにより、通常観察画像データＮやオーバーレイ画像データＳから受ける主観的な印象に囚われず、より客観的かつ緻密な診断を行うことが可能になる。

次に、システムコントローラ２０２から本発明の実施形態に係るレポート出力の実行指令を受けたか否かが判断される（Ｓ１２）。電子スコープ１００の操作部１２０や電子内視鏡用プロセッサ２００の操作パネル２０８に対するユーザ操作によりレポート出力の実行が指示されると、システムコントローラ２０２は後述するレポート出力処理Ｓ１３の実行指令を画像処理ユニット２２０に送る。システムコントローラ２０２からレポート出力処理Ｓ１３の実行指令が出されていれば（Ｓ１２：Ｙｅｓ）、続いてレポート出力処理Ｓ１３が行われる。また、実行指令が出されていなければ（Ｓ１２：Ｎｏ）、レポート出力処理Ｓ１３を行わずに処理がＳ１４へ進む。

レポート出力処理Ｓ１３は、内視鏡検査結果を整理したレポート画面４２０を生成し、これをレポート出力信号（印刷信号）に変換してプリンタ４００に出力して、レポート画面４２０を印刷する処理である。図１３に示すレポート画面４２０は、大腸モデル図４２１、病変指数リスト４２２、病変指数分布図４２３、統計値リスト４２４及びサムネイル画像リスト４２５を備えている。

大腸モデル図４２１は、静止画を取得した位置（観察ポイント）を図示したものであり、大腸の模式図４２１ａ上に観察ポイント１〜６を示す複数の丸印４２１ｂが配置されている。観察ポイント１〜６は、上述した画像メモリ２２４の記憶領域群Ｐ１〜Ｐ６及びメモリ２２６の記憶領域群Ｑ１〜６にそれぞれ対応する。病変指数リスト４２２は各観察ポイント１〜６（４２２ｂ）における総病変指数ＩｄｘＴ（４２２ｃ）を一覧表示したものである。また、病変指数分布図４２３は病変指数リスト４２２をグラフ表示したものである。統計値リスト４２４は、総病変指数ＩｄｘＴの統計値（平均値、分散、標準偏差）を一覧表示したものである。また、サムネイル画像リスト４２５は、各観察ポイント１〜６（４２５ａ）において取得した通常観察画像データＮ（又はトーン強調画像データＥ）の静止画サムネイル画像４２５ｂ、オーバーレイ画像データＳの静止画サムネイル画像４２５ｃ及び各通常観察画像データＮに対して割り当てられたカルテ番号４２５ｄを一覧表示したものである。

レポート画面４２０を使用することにより、腸管の長さ方向における内視鏡画像及び病変指数の変化の様子を一見して把握することができ、診断のみならず、患者へ検査結果の説明も適確かつ容易に行うことが可能になる。

次に、内視鏡観察を継続するか否かが判断される（Ｓ１４）。電子内視鏡用プロセッサ２００の操作パネル２０８に対して、内視鏡観察終了又は電子内視鏡装置１の運転停止を指示するユーザ操作が行われる（Ｓ１４：Ｎｏ）まで、上記の処理Ｓ１〜Ｓ１４が繰り返される。

以上が、本実施形態の説明であるが、本発明は、本実施形態の構成に限定されるものではなく、特許請求の範囲の記載によって表現された技術的思想の範囲内で様々な変形が可能である。

上記の実施形態では、ＨＳＩ空間において病変の判定が行われるが、ＨＳＩ空間の代わりに色相（hue）、彩度（saturation）及び明度（value（又はbrightness））を基底とするＨＳＶ（ＨＳＢ）空間において病変の判定を行う構成としてもよい。

また、上記の実施形態では、ＴＥ処理Ｓ３がＲＧＢ空間上で行われているが、色空間変換処理Ｓ５の後にＨＳＩ空間上でＴＥ処理Ｓ３を行う構成としてもよい。

また、上記の実施形態では、光センサ１３２を使用して電子スコープ１００先端部の位置（撮像位置）の情報を取得する構成が採用されているが、本発明はこの構成に限定されず、他の手段によって撮像位置の情報を取得する構成としてもよい。例えば、光センサ１３２に替えて、光源と受光素子を備えた光学式近接センサを電子スコープ１００の挿入部１３０に設けた構成としてもよい。この場合、光学式近接センサが消化管内に挿入されたときに、消化管の内壁で反射したセンサ光が受光素子で検出され、近接を検出する。そのため、上記の実施形態とは逆に、受光素子が光を検出している光学式近接センサの分布長を消化管内に挿入された挿入部１３０の長さと判断することで、電子スコープ１００先端部の位置の情報を取得することができる。

また、光センサ１３２に替えて、光学式マウスと同じ原理により移動量（移動の距離及び方向）を検出する移動量センサを電子スコープ１００の挿入部１３０に設けた構成としてもよい。この場合には、移動量センサは挿入部１３０の先端付近に一つだけ設ければよい。

なお、光学式近接センサや移動量センサの光源には、近赤外線から可視光域の範囲の任意の波長の光源（例えばＬＤやＬＥＤ）を使用することができるが、ヘモグロビンによる吸収が少なく、生体組織表面での反射率の高い赤色領域の光源を使用することで、高い検出精度を得ることができる。

また、内視鏡検査中に被検者の体外から磁気共鳴画像、Ｘ線画像又は超音波画像を取得して、これらの画像から内視鏡先端部の位置を決定することもできる。また、内視鏡画像の画像解析により、内視鏡先端部の消化管内での移動量を計算することで、内視鏡先端部の位置を決定することもできる。

また、上記の実施形態は炎症性腸疾患の内視鏡検査に本発明を適用した例であるが、当然ながら他の疾患の内視鏡検査にも本発明を適用することができる。なお、炎症性腸疾患では、病変部（炎症部、潰瘍部）が広範囲に及び、重症になるほど病変部の割合が高くなるため、総病変指数ＩｄｘＴが重症度の良い指標となる。他方、病変部が局在する疾患（例えばポリープ）では、電子スコープの先端部が病変部に接近するほど、病変部の画角が大きくなるため、総病変指数ＩｄｘＴが増大する。そのため、総病変指数ＩｄｘＴは、病変部に接近しているかどうかの良い指標となり、総病変指数ＩｄｘＴが増え始めたときに注意深く観察することにより、病変部の見落としを防ぐことができる。

また、上記の実施形態では、図９に示すように、炎症（領域II）と潰瘍（領域III）の判定条件が重複していないため、総病変指数を炎症の病変指数と潰瘍の病変指数の和として計算している。しかしながら、各病変の判定条件が重複する場合には、いずれかの病変を有すると判定された画素の数を有効画素数で割った値を総病変指数としてもよい。

また、上記の実施形態は、術者の手動操作によって静止画が記録される構成であるが、電子スコープ１００の挿入部１３０が検査範囲の最奥部から引き抜かれる際に、挿入部１３０の先端が予め設定された静止画取得位置（観察ポイント）に達した時に、ドライバ信号処理回路１１２が自動的に静止画保存の指令を出して、自動的に静止画を保存する構成としてもよい。

また、上記の実施形態では、固体撮像素子１０８としてＣＣＤイメージセンサが用いられているが、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の別の構成の固体撮像素子を用いた構成としてもよい。

また、上記の実施形態では、Ｒ、Ｇ、Ｂのベイヤ配列カラーフィルタ１０８ｂを有する固体撮像素子１０８が使用されているが、補色系のＣｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）、Ｇ（グリーン）のフィルタを有する固体撮像素子を用いた構成としてもよい。

１ 電子内視鏡装置
１００ 電子スコープ
１３２ 移動量センサ
２００ 電子内視鏡用プロセッサ
２０２ システムコントローラ
２２０ 画像処理ユニット
２２２ 第１画像処理回路
２２２ａ ＲＧＢ変換部
２２２ｂ ＴＥ処理部
２２２ｃ 有効画素判定部
２２２ｄ 色空間変換部
２２２ｅ 病変判定部（閾値処理部）
２２２ｆ オーバーレイ処理部
２２４ 画像メモリ
２２６ メモリ
２２８ 第２画像処理回路
２２８ａ 病変指数計算部
２２８ｂ 表示画面生成部
２２８ｃ レポート生成部
３００ モニタ
４００ プリンタ
６００ サーバ

Claims (15)

1. カラー内視鏡画像データを取得する画像取得手段と、
   前記カラー内視鏡画像データの色空間を、色相、彩度及び輝度を基底とするＨＳＩ色空間、又は、色相、彩度及び明度を基底とするＨＳＶ色空間に変換する色空間変換手段と、
   前記カラー内視鏡画像を構成する各画素について、色相と彩度に基づいて病変部の画素であるか否かを判定する病変画素判定手段と、
   病変部の画素と判定された画素の数である病変画素数を計数する病変画素計数手段と、
   前記病変画素数に基づいて病変指数を計算する病変指数計算手段と、
   前記病変指数を表示する病変指数表示手段と、
   を備えた画像処理装置。
2. 前記カラー内視鏡画像を構成する各画素について、画素値が所定の範囲内にあるか否かにより、該画素が有効か否かを判定する有効画素判定手段と、
   前記有効画素判定手段により有効と判定された画素の数である有効画素数を計数する有効画素計数手段と、
   を更に備え、
   前記病変画素判定手段が、前記有効と判定された画素について、病変部の画素であるか否かを判定し、
   前記病変指数表示手段が、前記有効画素数に対する前記病変画素数の比率として前記病変指数を計算する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記病変画素判定手段が、前記カラー内視鏡画像を構成する各画素が病変部の画素であるか否かを、複数種類の病変についてそれぞれ判定し、
   前記病変画素計数手段が、前記複数種類の病変のそれぞれについて前記病変画素数を計数し、
   前記病変指数計算手段が、前記複数種類の病変のそれぞれについて前記病変指数を計算し、
   前記病変指数表示手段が、前記複数種類の病変の少なくとも一つの病変指数を表示する、
   ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記複数種類の病変の病変指数の合計である総病変指数を計算する総病変指数計算手段を更に備え、
   前記病変指数表示手段が前記総病変指数を表示する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記病変画素計数手段が、前記複数種類の病変のいずれかの病変部の画素であると判定された画素の数を前記病変画素数として計数する、
   ことを特徴とする請求項３又は請求項４に記載の画像処理装置。
6. 前記画素が病変部と判定される前記画素値の領域の境界近傍のダイナミックレンジが広がるように、非線形な利得を前記画素値に与えるトーン強調処理を行うトーン強調手段を更に備え、
   前記病変画素判定手段が、前記トーン強調処理後の画素値に基づいて判定を行う、
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
7. 前記カラー内視鏡画像データが、ＲＧＢ色空間において前記トーン強調処理を受けた後、前記ＨＳＩ色空間又は前記ＨＳＶ色空間に変換される、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記トーン強調手段が、各原色の輝度値Ｒ、Ｇ、Ｂに対して異なる利得曲線を適用して前記トーン強調処理を行う、
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記病変画素判定手段が病変部と判定した画素の色を変更するオーバーレイ処理を行うオーバーレイ手段と、
   前記カラー内視鏡画像に前記オーバーレイ処理を施したオーバーレイ画像を表示するオーバーレイ画像表示手段と、
   を更に備える、
   ことを特徴とする請求項１から請求項８のいずれか一項に記載の画像処理装置。
10. 前記オーバーレイ画像表示手段が、前記カラー内視鏡画像と前記オーバーレイ画像とを同時に表示する、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記オーバーレイ手段が、前記病変部の画素と判定された画素の画素値に、該病変の種類に応じた所定値を加算する、ことを特徴とする請求項９又は請求項１０に記載の画像処理装置。
12. 前記カラー内視鏡画像を撮像した位置の情報を取得する撮像位置取得手段と、
    前記カラー内視鏡画像を撮像した複数の位置と、該位置において撮像した前記カラー内視鏡画像の病変指数との関係を、表、グラフ及び模式図の少なくとも一つを用いて表示するレポート表示手段と、を更に備える、
    ことを特徴とする請求項１から請求項１１のいずれか一項に記載の画像処理装置。
13. 前記レポート表示手段が印刷表示を行う、ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記病変が、炎症性腸疾患における炎症及び潰瘍を含む、
    ことを特徴とする請求項１から請求項１３のいずれか一項に記載の画像処理装置。
15. 請求項１から請求項１４のいずれか一項に記載の画像処理装置と、
    前記カラー内視鏡画像データを生成して、前記画像処理装置に出力する内視鏡と、
    を備えた内視鏡装置。