JP2011104016A

JP2011104016A - 画像処理装置、電子機器、内視鏡システム及びプログラム

Info

Publication number: JP2011104016A
Application number: JP2009260388A
Authority: JP
Inventors: Yoshihito Morita; 恵仁森田; Koichiro Yoshino; 浩一郎吉野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2009-11-13
Filing date: 2009-11-13
Publication date: 2011-06-02
Anticipated expiration: 2029-11-13
Also published as: EP2499956A4; CN102665526A; US20120220840A1; EP2499956B1; US9503692B2; JP5658873B2; WO2011058973A1; EP2499956A1; CN102665526B

Abstract

【課題】白色光の波長領域に対応する第１の画像と特定の波長領域に対応する第２の画像を取得して、出力画像の適切な表示態様を設定できる画像処理装置等の提供。
【解決手段】画像処理装置は、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得する第１画像取得部（３２０）と、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する第２画像取得部（３３０）と、第２の画像内の画素の特徴量に基づいて、注目すべき領域の候補である注目候補領域を検出する注目候補領域検出部３４１と、検出された注目候補領域が注目領域であることの確からしさを示す信頼度を算出する信頼度算出部３４２と、算出された信頼度に応じて、出力画像の表示態様を設定する処理を行う表示態様設定部３４３を含む。
【選択図】図９

Description

本発明は、画像処理装置、電子機器、内視鏡システム及びプログラム等に関する。

従来、体腔内の組織に対して回転フィルタを用いてＲ１、Ｇ１、Ｂ１の３色の光を順次照射し、それらの反射光画像から作成した画像（通常光画像）を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の３色の光とは特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射し、それらの反射光画像から作成した狭帯域画像を用いて診断を行う内視鏡システムが提案されている（例えば、特許文献１）。また、体腔内の組織に対して狭帯域の励起光を照射し、励起光により組織から発生する自家蛍光もしくは薬剤蛍光を取得して作成した蛍光画像を用いて診断を行う内視鏡システムが提案されている（例えば特許文献２）。

特開２００６−６８１１３号公報特開２００７−２２９０５３号公報特開２０００―１１５５５３号公報

上述の特許文献１のような狭帯域画像を取得する内視鏡システムを用いて診断を行うことで、例えば通常光観察による視認が困難な扁平上皮癌等の病変部が、正常部とは異なる褐色の領域として描出されるため、その発見が容易になることが知られている。

また、上述の特許文献２のような蛍光画像を取得する内視鏡システムを用いて診断を行う場合は、腫瘍等の病変部に特異的に集積する性質を持つ蛍光薬剤を使用することで、腫瘍等の病変部だけが蛍光を発生することでその発見が容易になる。

しかしこれらの狭帯域画像や蛍光画像（これらを合わせて特殊光画像と呼ぶ）は、一般的に通常光画像と比較してかなり異なる色味を有しており、さらに照明光が不足するため非常に暗い画像となるため、特殊光画像のみを用いて診断を行うことは難しい。

このような理由から、ドクターの診断精度を向上するために、例えば通常光画像と特殊光画像を同時に取得して表示することが考えられる。しかしながら、これらの画像を並べて同時に表示すると、ドクターが常時複数の画像に注目しながら診断を行うこととなり、ドクターの負荷が高くなる。また、一時的に１つの画像のみに注目してしまうことで病変部を見逃すことも考えられる。

本発明の幾つかの態様によれば、白色光の波長領域に対応する第１の画像と特定の波長領域に対応する第２の画像を取得して、出力画像の適切な表示態様を設定できる画像処理装置、内視鏡システム及びプログラム等を提供できる。また本発明の幾つかの態様によれば、第１の画像と第２の画像を用いた診断を行う際のドクターの負荷等を低減しながら病変部の見逃し等を抑止する画像処理装置、内視鏡システム及びプログラム等を提供できる。

本発明の一態様は、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得する第１画像取得部と、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する第２画像取得部と、前記第２の画像内の画素の特徴量に基づいて、注目すべき領域の候補である注目候補領域を検出する注目候補領域検出部と、検出された前記注目候補領域が注目領域であることの確からしさを示す信頼度を算出する信頼度算出部と、算出された前記信頼度に応じて、出力画像の表示態様を設定する処理を行う表示態様設定部と、を含む画像処理装置に関係する。

本発明の一態様では、白色光の波長帯域に対応する第１の画像と、特定の波長帯域に対応する第２の画像が取得され、第２の画像の特徴量に基づいて注目候補領域が検出される。そして信頼度算出部により信頼度を加味した上で表示態様が設定されるため、信頼度がない場合に比べより適切な表示態様を設定できる。

本発明の他の態様は、生体内の被写体に対し白色光を照射する第１の光源と、生体内の被写体に対し、特定の波長帯域の光を照射する第２の光源と、前記第１の光源の照射によって、白色光の波長帯域における情報を有した被写体像を含む画像を第１の生体内画像として取得する第１画像取得部と、前記第２の光源の照射によって、特定の波長帯域における情報を有した被写体像を含む画像を第２の生体内画像として取得する第２画像取得部と、前記第２の生体内画像内の画素の特徴量に基づいて、注目領域の候補である注目候補領域を検出する注目候補領域検出部と、前記検出された注目候補領域が前記注目領域であることの確からしさを示す信頼度を算出する信頼度算出部と、前記算出された信頼度に応じて、出力画像の表示態様を設定する処理を行う表示態様設定部と、前記設定された表示態様にしたがって前記出力画像を表示する表示部と、を含む内視鏡システムに関係する。

本発明の他の態様によれば、第１の生体内画像と第２の生体内画像を取得し、第２の画像の特徴量に基づいて注目候補領域を検出する。そして信頼度算出部により信頼度を加味した上で表示態様を設定するため、信頼度がない場合に比べより適切な表示態様を設定することができ、設定された表示態様に従い表示部に表示を行う内視鏡システムを実現できる。

本発明の他の態様は、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得する第１画像取得部と、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する第２画像取得部と、前記第２の画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記注目領域に対応する出力画像の対応注目領域に、前記注目領域の検出の結果に関する情報を発するアラート領域を表示する処理を行う表示態様設定部と、を含む画像処理装置に関係する。

本発明の他の態様によれば、第１の画像と第２の画像を取得し、第２の画像の特徴量に基づいて注目領域を検出する。そして対応注目領域にアラート領域を表示することで、対応注目領域が際だった出力画像を表示態様として設定することが可能となる。

図１（Ａ）、図１（Ｂ）は従来の手法の説明図。本実施形態の手法の説明図。本実施形態のシステム構成例。色フィルタＲ，Ｇ，Ｂの分光特性。色フィルタｇ２，ｂ２の分光特性。色フィルタｇ２，ｂ２の説明図。通常光画像取得部の構成例。特殊光画像取得部の構成例。出力画像生成部の構成例。注目候補領域検出部の構成例。表示態様設定部の構成例。加工部の構成例。局所領域の分割手法の説明図。図１４（Ａ）、図１４（Ｂ）、図１４（Ｃ）、図１４（Ｄ）は、隣接する注目候補領域を統合する手法の説明図。図１５（Ａ）、図１５（Ｂ）は注目候補領域の設定手法の説明図。図１６（Ａ）、図１６（Ｂ）は注目すべき度合い（Ａｔ）と合成比（ａｌｐｈａ）の関係の例を示す図。ソフトウェア処理で用いられるコンピューターの構成例。ソフトウェア処理で用いられるコンピューターの構成例。本実施形態の処理を説明するためのフローチャート。注目候補領域検出処理を説明するためのフローチャート。表示態様設定処理を説明するためのフローチャート。加工処理を説明するためのフローチャート。注目候補領域検出部の他の構成例。加工部の他の構成例。加工部の他の構成例。図２６（Ａ）は通常光画像の例、図２６（Ｂ）は特殊光画像の例、図２６（Ｃ）、図２６（Ｄ）、図２６（Ｅ）、図２６（Ｆ）は出力画像の例。注目候補領域検出処理を説明するための他のフローチャート。加工処理を説明するための他のフローチャート。加工処理を説明するための他のフローチャート。加工部の他の構成例。図３１（Ａ）は通常光画像と注目候補領域情報の例、図３１（Ｂ）は２つの対応注目領域に異なるターゲット色で色変換加工を施した例。本実施形態の他のシステム構成例。特殊光画像取得部の他の構成例。本実施形態の他のシステム構成例。回転フィルタの例。フィルタＦ１，Ｆ２と蛍光の特性例。バリアフィルタの特性例。出力画像生成部の他のシステム構成例。通常光画像と特殊光画像の取得タイミングの例。各タイミングにおけるフィルタと得られる画像の組み合わせの例。動きベクトルを用いた通常光画像と特殊光画像の対応付け手法の説明図。動きベクトルを用いた通常光画像と特殊光画像の対応付け手法の説明図。回転フィルタの他の例。本実施形態の処理を説明するための他のフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
本実施形態の手法について、図１（Ａ）、図１（Ｂ）及び図２を参照して説明する。

図１（Ａ）及び図１（Ｂ）は従来の手法を示している。図１（Ａ）は通常光による観察の様子を示したものである。全体に明るく、見やすい画像が得られるが、扁平上皮癌等の一部の病変については視認性が困難である。また図１（Ｂ）は特殊光（例えば狭帯域光或いは蛍光）による観察の様子を示したものである。例えば扁平上皮癌等の病変が褐色で表示されるなど、一部の病変の視認性を通常光観察に比べて高めることが可能になるが、全体に暗く、見づらい画像になってしまう。

このような問題を解決するために、通常光画像と特殊光画像を機器のスイッチ等を操作することで切り替えながら表示し、診断や治療を行う手法も考えられる。しかしこの手法では、内視鏡の挿入部を動かすと同時に機器の操作を行い、さらに画面を参照する必要があり、ドクターに負荷がかかってしまう。さらに表示される通常光画像も特殊光画像も欠点を有しているため、状況に応じて適切に表示画像を選択する必要があり、そのためには熟練を要する可能性が高い。

また、通常光画像と特殊光画像を並べて表示する手法も考えられるが、その場合は２つの画面を同時に参照しなくてはならず、病変部を見落とすおそれがあるなど、やはりドクターの負荷が大きい。

そこで本出願人は図２のようなシステムを提案している。本実施形態では、特殊光画像から例えば扁平上皮癌等の病変部の位置を特定し、特定された位置情報を元に通常光画像を加工し、病変部の視認性を高めている。具体的には図２に示すようにターゲット色との重畳処理を行う方法や、周縁部をターゲット色で囲う方法、病変部の通常光画像と特殊光画像を合成する方法などが考えられる。

これにより、通常光画像の利点である明るく見やすい画像の上に、特殊光画像の利点である病変部の視認性の高さが加わるため、病変部の見落としを抑止し、ドクターの負荷を軽減することで、スムーズな診断・治療を行うことが可能になる。

なお、本実施形態においても、機器のスイッチ等を操作することで、特殊光画像を表示することが可能なのは言うまでもない。これにより、例えば、病変部のサーチには加工した通常光画像、病変部の詳細の確認には特殊光画像といったように、画像を適宜使い分けることも可能である。

２．第１の実施形態
本発明の第１の実施形態に係る内視鏡システムについて、図３を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、挿入部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。

光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。

挿入部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光した反射光を２つに分離するハーフミラー２４０と、分離された反射光を検出するための第１撮像素子２５０と第２撮像素子２６０を備えている。

第１撮像素子２５０は通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第１撮像素子２５０の色フィルタＲ，Ｇ，Ｂは例えば図４に示すような分光特性を持っている。第２撮像素子２６０は狭帯域画像を撮影するための撮像素子であり、例えば図６に示すように２種類の狭帯域光Ｇ２とＢ２をそれぞれ透過する２種類の色フィルタｇ２とｂ２を市松状に並べたような色フィルタを持つ撮像素子である。第２撮像素子２６０の色フィルタｇ２、ｂ２は例えば図５に示すように、ｂ２が３９０〜４４５ｎｍ、ｇ２が５３０〜５５０ｎｍの波長帯域の光を透過させる透過率特性を有している。

画像処理部３００（画像処理装置）はＡＤ変換部３１０ａ、３１０ｂと通常光画像取得部３２０と特殊光画像取得部３３０と出力画像生成部３４０と制御部３５０を備えている。制御部３５０は通常光画像取得部３２０、特殊光画像取得部３３０、出力画像生成部３４０と双方向に接続されていて、これらを制御するようになっている。

外部Ｉ／Ｆ部５００は、この内視鏡システム（撮像装置）に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を、制御部３５０へ出力するようになっている。

ＡＤ変換部３１０ａは、第１撮像素子２５０から出力されるアナログ信号をデジタル信号に変換して出力する。ＡＤ変換部３１０ｂは第２撮像素子２６０から出力されるアナログ信号をデジタル信号に変換して出力する。

通常光画像取得部３２０（広義には第１画像取得部）は、例えばＡＤ変換部３１０ａから出力されるデジタル信号から通常光画像（広義には第１の画像）を取得する。特殊光画像取得部３３０（広義には第２画像取得部）は、例えばＡＤ変換部３１０ｂから出力されるデジタル信号から特殊光画像（広義には第２の画像）を取得する。通常光画像取得部３２０及び特殊光画像取得部３３０の詳細については後述する。

通常光画像取得部３２０で取得された通常光画像と、特殊光画像取得部３３０で取得された特殊光画像は出力画像生成部３４０に出力される。出力画像生成部３４０はこれら２枚の画像から１枚の出力画像を生成して画像表示部４００に出力する。出力画像生成部３４０の詳細については後述する。

次に通常光画像取得部３２０について図７を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を備えている。通常光画像生成部３２１はＡＤ変換部３１０ａで変換されて入力されるデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部３２２は通常光画像生成部３２１から出力された通常光画像を記憶する。

次に特殊光画像取得部３３０について図８を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を備えている。特殊光画像生成部３３１はＡＤ変換部３１０ｂで変換されて入力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施形態では特殊光画像は狭帯域光画像となる。

ここで、特殊光画像生成部３３１で狭帯域光画像を生成する方法について説明する。特殊光画像生成部に入力されるデジタル画像信号は、前述したように図６で示す２種類の色フィルタｇ２とｂ２を市松状に並べたような画像信号である。このような画像信号に対してまず補間処理を行い、全画素でｇ２フィルタの信号値を持つＧ２画像と、全画素でｂ２フィルタの信号値を持つＢ２画像を生成する。補間処理で算出される画素値は例えば周辺４画素の平均値とすればよく、例えば図６のｇ２（１，１）の位置でのｂ２の画素値ｂ２（１，１）、及びｂ２（１，２）位置でのｇ２の画素値ｇ２（１，２）は、下式（１）、（２）のように算出される。

b2(1,1)=[b2(0,1)+b2(1,0)+b2(1,2)+b2(2,1)]/4 ・・・・・（１）
g2(1,2)=[g2(0,2)+g2(1,1)+g2(1,3)+g2(2,2)]/4 ・・・・・（２）

次に全画素に対して補間されたＧ２画像及びＢ２画像からＲ，Ｇ，Ｂの３チャンネルを持つカラー画像を生成する。ここでは例えばカラー画像のＲチャンネルにＧ２画像を入力し、ＧチャンネルとＢチャンネルにＢ２画像を入力することでカラー画像が生成される。特殊光画像生成部３３１は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像として出力する。特殊光画像記憶部３３２は特殊光画像生成部３３１から出力された特殊光画像を記憶する。

次に、出力画像生成部３４０の具体的な構成について説明する。図９は、第１の実施形態における出力画像生成部３４０の構成の一例を説明するブロック図である。出力画像生成部３４０は、注目候補領域検出部３４１と、信頼度算出部３４２と、表示態様設定部３４３とを備えている。

ここで、通常光画像取得部３２０からの画像信号は、表示態様設定部３４３に出力される。また、特殊光画像取得部３３０からの画像信号は、注目候補領域検出部３４１と、表示態様設定部３４３に出力される。注目候補領域検出部３４１は、信頼度算出部３４２と、表示態様設定部３４３とに接続されている。注目候補領域検出部３４１の詳細については後述する。信頼度算出部３４２は、表示態様設定部３４３に接続されている。表示態様設定部３４３は、表示部４００に接続されている。また、制御部３５０は、注目候補領域検出部３４１と、信頼度算出部３４２と、表示態様設定部３４３に双方向に接続されていて、これらを制御するようになっている。

注目候補領域検出部３４１は、制御部３５０の制御に基づき、特殊光画像から注目すべき領域の候補である注目候補領域を検出する。注目候補領域検出部３４１の具体的な構成について説明する。図１０は、第１の実施形態における注目候補領域検出部３４１の構成の一例を説明するブロック図である。図１０に示すように、注目候補領域検出部３４１は、局所領域設定部３４１１と、特徴量算出部３４１２と、分類部３４１３と、領域設定部３４１４とを含んでいる。

ここで、特殊光画像取得部３３０は、局所領域設定部３４１１に接続されている。局所領域設定部３４１１は、特徴量算出部３４１２に接続されている。特徴量算出部３４１２は、分類部３４１３に接続されている。分類部３４１３は、領域設定部３４１４に接続されている。領域設定部３４１４は、信頼度算出部３４２と、表示態様設定部３４３とに接続されている。また、制御部３５０は、局所領域設定部３４１１と、特徴量算出部３４１２と、分類部３４１３と、領域設定部３４１４とに双方向に接続されていて、これらを制御するようになっている。

局所領域設定部３４１１は、特殊光画像取得部３３０から出力された特殊光画像に対して、複数の局所領域（狭義にはブロック）を設定する。ここでは例えば特殊光画像を矩形領域に分割し、分割した各領域を局所領域として設定する。この矩形領域のサイズは適宜設定できるが、ここでは例えば、図１３に示すように、１６×１６画素を1つの局所領域とする。ここで特殊光画像はＭ×Ｎ個の局所領域で構成されていることとし、各局所領域の座標を（ｍ，ｎ）で示すこととする。また、座標（ｍ，ｎ）の局所領域はａ（ｍ，ｎ）として示すこととする。ここでは画像の左上に位置する局所領域の座標を（０，０）とし、右方向をｍの正方向、下方向をｎの正方向として表している。局所領域は必ずしも矩形である必要はなく、特殊光画像を任意の多角形に分割し、分割されたそれぞれの領域を局所領域に設定できることは言うまでもない。その他の例として、テクスチャ解析に代表される公知の領域分割アルゴリズムを適用してもよい。また、局所領域をユーザーの指示に応じて任意に設定できるようにしてもよい。また、ここでは後の計算量を削減するため、及びノイズを除去するために、複数の隣接する画素群からなる領域を１つの局所領域としているが、１画素を１つの局所領域とすることも可能である。この場合も後の処理は全く同様である。分割された局所領域は、特徴量算出部３４１２に出力される。

特徴量算出部３４１２はすべての局所領域に対して特徴量を算出する。ここでは特徴量の一例として色情報を利用する場合について説明する。本実施形態で特殊光画像として使用している狭帯域光画像においては、扁平上皮癌等の病変部が褐色の領域として描出されるため、特徴量として色相Ｈを使用することで病変部を検出することができる。Ｒ，Ｇ，Ｂチャンネルの信号値をｒ，ｇ，ｂと表記し、各信号値は８ビット（０〜２５５）であるとする。

次にこの信号値ｒ，ｇ，ｂから例えば下式（３）〜（８）を用いて色相Ｈを算出する。

max=MAX(r,g,b) ・・・・・（３）

ここで、ＭＡＸ関数は複数の引数の中で最大のものを出力する関数とする。

ＭＡＸが０の場合、
H=0 ・・・・・（４）
ＭＡＸが０以外の場合、
d=MAX(r,g,b)-MIN(r,g,b) ・・・・・（５）

ここで、ＭＩＮ関数は複数の引数の中で最小のものを出力する関数とする。

さらに、
ｒ、ｇ、ｂのうちｒが最大の場合、
H=60*(g-b)/d ・・・・・・・（６）
ｒ、ｇ、ｂのうちｇが最大の場合、
H=60*{2+(b-r)}/d ・・・・・（７）
ｒ、ｇ、ｂのうちｂが最大の場合、
H=60*{4+(r-g)}/d ・・・・・（８）
なお、Ｈが＜０になった場合には、Ｈに３６０を加える。また、Ｈ＝３６０の場合、Ｈ＝０とする。

ここで、座標（ｍ，ｎ）の局所領域に含まれる、褐色を示す画素数をＣｈａ（ｍ，ｎ）と表記し、これを特徴量とする。また、病変らしさを示す特徴量は、上記に限定されるものではなく、色の特徴量、空間周波数の特徴量、形の特徴量、および面積の特徴量等を各々求め、それぞれに重み係数を付与して線形結合し、各局所領域の病変らしさを示す特徴量としてもよい。特徴量Ｃｈａ（ｍ，ｎ）は、分類部３４１３に出力される。

分類部３４１３は、制御部３５０の制御に基づき、算出された局所領域の特徴量Ｃｈａ（ｍ，ｎ）と所定の閾値とを局所領域毎に比較し、その比較結果に応じて、各局所領域を複数のグループに分類する。この場合、予め設定された複数の閾値ＧｒＴｈｉ（ｉ＝０，１…，Ｌ）を用い、Ｃｈａ（ｍ，ｎ）がＧｒＴｈｉ以上かつＧｒＴｈｉ＋１未満の場合、座標（ｍ，ｎ）の局所領域をグループｉの局所領域と分類する。本実施形態では、ＧｒＴｈ０＝２００、ＧｒＴｈＬ＝２５７とし、ＧｒＴｈｉはＧｒＴｈｉ＋１より小さいものする。各局所領域は、グループ０からグループＬのグループに分類される。座標（ｍ，ｎ）の局所領域に設定されたグループを、ｉ（ｍ，ｎ）と表記する。また、閾値ＧｒＴｈｉの設定方法は上記に限定されるものではなく、制御部３５０により自動的に設定されてもよい。また、閾値ＧｒＴｈｉは特殊光画像内の位置によって適応的に設定されてもよい。分類されたグループｉ（ｍ，ｎ）は、領域設定部３４１４に出力される。

領域設定部３４１４は、制御部３５０の制御に基づき、複数のグループのうち少なくとも１つのグループに分類された各局所領域と、その局所領域に隣接する局所領域群を含む領域を注目候補領域として検出する。注目候補領域の設定方法の一例を図１４（Ａ）、図１４（Ｂ）、図１４（Ｃ）及び図１４（Ｄ）に示す。局所領域中の数値は、各局所領域が分類されたグループを示している。まず、図１４（Ａ）に示すように、太枠で囲まれた局所領域の８近傍でグループに分類された局所領域を探索する。太枠内にグループに分類された局所領域が存在する場合、図１４（Ｂ）の内側の太枠で示すように、その局所領域を含む矩形領域を新たな局所領域として設定する。次に、新たな局所領域の周辺（外側の太枠で囲まれた範囲）でグループが分類された局所領域を再度探索する。この処理を、図１４（Ｃ）が示すように、局所領域の周辺からグループに分類された局所領域が存在しなくなるまで繰り返す。探索処理が終了すると、図１４（Ｄ）が示すように、新たに設定された局所領域を１つに統合し、前述した分類部３４１３と同様の手順で、局所領域のグループを再設定する。ここでは、統合された局所領域内の、赤褐色を示す画素数が、ＧｒＴｈ７以上かつＧｒＴｈ８未満だったとし、グループ７に分類された場合を図示している。ここで、再設定された局所領域は、注目候補領域として設定される。また、局所領域の統合方法は、上記に限定されるものではなく、例えば、公知のクラスタリングアルゴリズムを適用してもよい。その場合、統合された局所領域は、矩形領域には限らず、任意の形状をとってもよい。検出された注目候補領域は、画像信号と、各画素の座標と、グループとを信頼度算出部３４２と、表示態様設定部３４３とに出力する。

上記の実施形態に係る注目候補領域検出部は、第２の画像内の画素の特徴量を用いて、第２の画像から、注目すべき領域の候補である注目候補領域を検出したが、変形例として、第２の画像内の画素の特徴量を用いて、第１の画像から、注目すべき領域の候補である注目候補領域を検出してもよい。

具体的には、局所領域設定部３４１１は、第２の画像上において、複数の局所領域を設定する。特徴量算出部３４１２は、その設定された各局所領域に対する特徴量を算出する。その際、特徴量算出部３４１２は、各局所領域に含まれる第２の画像上の画素に対応する第１の画像上の画素（たとえば、第１の画像と第２の画像上の間で、同一の画素位置にある画素）の特徴量を用いて、上述の閾値処理を行う。領域設定部３４１４は、閾値処理によって抽出された第１の画像上の局所領域をもとに、第１の画像上に注目候補領域を設定する。なお、注目候補領域の設定の際、必要に応じて、上述の局所領域の統合処理を行ってもよい。

また、局所領域設定部３４１１は１６×１６画素の領域としたが、局所領域を設定しなくてもよく、前述したように１画素を局所領域としてもよい。この場合、特徴量算出部３４１２は画素ごとの特徴量を算出する。領域設定部３４１４は特徴量に基づいて、注目すべき画素である注目画素を検出することになる。そして注目画素を含む領域を注目候補領域として検出する。

このように注目画素から注目候補領域を検出する場合にも、出力される注目領域情報が多角形や円形などの任意の形状を示すように注目候補領域情報を設定しなおすことも可能である。具体的には注目画素と選択非注目画素から注目候補領域を構成すればよい。ここで非注目画素とは第２の画像に含まれる画素のうち注目画素として検出されなかった画素のことであり、選択非注目画素とは非注目画素の中から選択された（具体的には例えば、注目候補領域が所定の形状になるように選択された）画素のことである。

また、ここでは色相Ｈの替わりに公知の手法で局所領域の平均の輝度や彩度を算出し、これらの値を特徴量として注目候補領域を検出してもよい。さらにこれらの輝度、色相、彩度の情報を任意に組み合わせることで１つの特徴量を算出し、注目候補領域を検出することも可能であることは言うまでもない。

信頼度算出部３４２は、注目候補領域にタグ情報を付加することで複数の異なる注目候補領域同士を識別する。例えば、図１５（Ａ）に示すように２つの注目候補領域が存在する場合、信頼度算出部３４２は注目候補領域１に属する局所領域に対してはタグの値を１とし、注目候補領域２に属する局所領域に対してはタグの値を２とする。

さらに信頼度算出部３４２は各局所領域に付けられたタグの情報から、各注目候補領域に属する局所領域の数を算出することで注目候補領域の面積を算出し、面積に対して閾値処理を行うことで信頼度を算出する。例えば図１５（Ａ）の注目候補領域１及び注目候補領域２の面積ｄ１及びｄ２は、１つの局所領域の面積を１とすると、ｄ１＝９となりｄ２＝２となる。この時、例えば面積が５以上の注目候補領域の信頼度を１とし、面積が５未満の注目候補領域の信頼度を０とする。次に信頼度算出部３４２は表示態様設定部３４３に信頼度を出力する。

なお、本実施形態では注目候補領域に属する局所領域の数から面積を算出し、信頼度を算出したが、注目領域候補の平均の色相や彩度、輝度を算出し、これを用いて信頼度を算出してもよい。さらに、注目候補領域の面積と色相や彩度、輝度を組み合わせて信頼度を算出することも可能なことは言うまでもない。

表示態様設定部３４３は注目候補領域情報と信頼度から注目領域を設定する。そして通常光画像の対応注目領域に対して加工処理を行う。その後表示部４００に表示する画像を選択し出力する。場合によっては優先度の高い注目領域からアラート領域を設定してもよい。

次に、表示態様設定部３４３の具体的な構成について説明する。図１１は、本実施形態における表示態様設定部３４３の構成の一例を説明するブロック図である。表示態様設定部３４３は、加工部３４３１と選択部３４３２とを備えている。

ここで、注目候補領域検出部３４１は、加工部３４３１に注目候補領域情報を出力する。また、注目候補領域検出部３４１は注目候補領域が検出されたかどうかの制御信号を選択部３４３２に出力する。通常光画像取得部３２０から出力される画像信号は、加工部３４３１と選択部３４３２に入力される。また、特殊光画像取得部３３０から出力される画像信号は、加工部３４３１と選択部３４３２に入力される。加工部３４３１は、制御部３５０の制御に基づき、注目候補領域検出部３４１から出力される注目候補領域情報と、信頼度算出部３４２から入力される信頼度を用いて、通常光画像を加工する。加工部３４３１はさらに、加工した通常光画像を選択部３４３２に出力する。また、制御部３５０は、加工部３４３１と、選択部３４３２と双方向に接続されていて、これらを制御するようになっている。

加工部３４３１は、注目領域の検出結果に基づいて、検出された特殊光画像の注目領域に対応する通常光画像内の対応注目領域を加工する。加工部の詳細については後述する。

選択部３４３２は注目候補領域検出部３４１からの制御信号を用いて、表示部４００に出力する表示画像を選択する。例えば、特殊光画像から注目候補領域が検出されない場合は、通常光画像取得部３２０から出力された通常光画像を表示画像として選択し、特殊光画像から注目候補領域が検出された場合は、加工部３４３１から出力された、加工した通常光画像を表示画像として選択する。また、例えば特殊光画像から注目候補領域が検出されない場合は、通常光画像取得部３２０から出力された通常光画像を表示画像として選択し、特殊光画像から注目候補領域が検出された場合は、特殊光画像取得部３３０から出力された特殊光画像を表示画像として選択してもよい。注目候補領域が検出された場合と検出されない場合にどのような画像を選択するかについては、例えば予めユーザーが決定し、制御部３５０から選択部３４３２に入力される制御信号に基づいて制御するようにすればよい。

次に、加工部３４３１の具体的な構成について説明する。図１２は、第１の実施形態における加工部３４３１の構成の一例を説明するブロック図である。図１２に示すように、加工部３４３１は、注目情報設定部３４３１１と、合成比設定部３４３１２と、領域選出部３４３１３と、領域加工部３４３１４と、輝度変換部３４３１５とを備えている。

注目候補領域検出部３４１は、注目情報設定部３４３１１と、領域選出部３４３１３と、領域加工部３４３１４とに接続されている。信頼度算出部３４２は、領域選出部３４３１３に接続されている。注目情報設定部３４３１１は、合成比設定部３４３１２に接続されている。合成比設定部３４３１２は、領域加工部３４３１４に設定されている。通常光画像取得部３２０は、領域選出部３４３１３に接続されている。領域選出部３４３１３は、領域加工部３４３１４と、輝度変換部３４３１５と、に接続されている。領域加工部３４３１４は、輝度変換部３４３１５に接続されている。輝度変換部３４３１５は、選択部３４３２に接続されている。制御部３５０は注目情報設定部３４３１１と、合成比設定部３４３１２と、領域選出部３４３１３と、領域加工部３４３１４と、輝度変換部３４３１５と、に双方向に接続されていて、これらを制御するようになっている。

注目情報設定部３４３１１は、制御部３５０の制御に基づき、検出された注目候補領域に対して、注目すべき度合いを示す注目情報を設定する。具体的には、注目候補領域検出部３４１から出力された注目候補領域のグループをもとに、各注目候補領域に注目すべき度合いＡｔを設定する。ここでは、各グループに対応する注目すべき度合いＡｔは、ルックアップテーブルＡｔＬｕｔ（ｉ）として予め設定されているものとする。ＡｔＬｕｔ（ｉ）は、グループｉの場合の注目すべき度合いを示し、Ａｔ＝ＡｔＬｕｔ（ｉ）とする。また、各グループに対応する注目すべき度合いＡｔは、外部Ｉ／Ｆ部５００を通して、ユーザーにより設定されてもよい。算出されたＡｔは注目候補領域の注目情報として、合成比設定部３４３１２に出力される。

合成比設定部３４３１２は、制御部３５０の制御に基づき、設定された注目情報が示す注目度合いに応じて、注目候補領域内の画素の画素値と、対応注目領域内の画素の画素値との合成比を設定する。具体的には、注目情報設定部３４３１１から入力された注目情報Ａｔをもとに、以下の式（９）を用いて、合成比ａｌｐｈａを算出する。ａｌｐｈａは、０〜１の範囲の値とする。

alpha=alLut(At) ・・・・・（９）

ここで、ａｌＬｕｔ（ｘ）は、例えば図１６（Ａ）に示すような、予め設定された合成比算出ルックアップテーブルとする。また、合成比算出方法は、上記に限定されるものではなく、ｎ次関数を用いてもよい。式（１０）に、合成比ａｌｐｈａを算出する１次関数の例を示す。

alpha=a*At+b ・・・・・（１０）

ａ，ｂは定数項である。ここで、図１６（Ｂ）に示すように、ａｌｐｈａが0以下の場合はａｌｐｈａ=0、ａｌｐｈａが1以上の場合はａｌｐｈａ=1とする。
設定された合成比ａｌｐｈａは領域加工部３４３１４に出力される。

領域選出部３４３１３は、制御部３５０の制御に基づき、検出された注目候補領域に対応する通常光画像内の対応注目領域を選出する。対応注目領域選出方法は、まず、予めキャリブレーション画像を撮影し、公知のマッチングアルゴリズムを適用することで、通常光画像と特殊光画像の各画素の位置を一対一で対応付けたルックアップテーブルｃａｌＬｕｔ（ｘ，ｙ）を作成する。ここで、ｃａｌＬｕｔ（ｘ，ｙ）は、特殊光画像の各画素の座標（ｘ，ｙ）を入力すると、通常光画像の対応する位置（ｘ’，ｙ’）が出力されるものとする。そして、注目候補領域検出部３４１から入力された注目候補領域から、信頼度算出部３４２から入力された信頼度に基づき、注目領域を抽出する。具体的には、注目候補領域の中から、予め設定された閾値以上の信頼度を有するものを抽出し、注目領域とする。そして、ｃａｌＬｕｔ（ｘ，ｙ）と、注目領域に含まれる画素の座標を用い、対応注目領域の座標を算出する。また、ここでは注目領域に対応する画素位置を一対一としたが、注目領域に対応する画素位置が複数あってもよい。また、注目領域に対応する画素位置が、画素と画素の間である場合は、線形補間に代表される公知の補間アルゴリズムを適用してもよい。対応注目領域の座標は、領域加工部３４３１４に出力される。

領域加工部３４３１４は、制御部３５０の制御に基づき、通常光画像の対応注目領域を加工する。具体的には、領域選出部３４３１３から出力された対応注目領域情報により特定された画素について、式（１１）を用いて合成処理を行う。ここで、特殊光画像の信号値はｓｐｅＩｍｇ（ｘ，ｙ）、通常光画像の信号値はｗｈｉＩｍｇ（ｘ，ｙ）、合成画像の信号値はｂｌｅＩｍｇ（ｘ，ｙ）と表記する。

bleImg(x’,y’)=alpha*speImg(x,y)+(1-alpha)*whiImg(x’,y’) ・・・・（１１）

対応注目領域以外の画素については、式（１２）を用いて、通常光画像を合成画像として設定する。

bleImg(x’,y’)=whiImg(x’,y’) ・・・・・（１２）

合成処理を行った合成画像ｂｌｅＩｍｇは、輝度変換部３４３１５に出力される。

輝度変換部３４３１５は、制御部３５０の制御に基づき、対応注目領域以外の領域に含まれる画素の輝度を低減する。具体的には、領域選出部３４３１３から出力された対応注目領域画素以外について、式（１３）を用いて輝度低減を行う。ここで輝度低減後の加工画像の信号値はｐｒｏｃＩｍｇ（ｘ，ｙ）と表記する。

procImg(x’,y’)=c*bleImg(x’,y’) ・・・・・（１３）

ｃは０〜１の範囲の定数項である。輝度変換処理を行った加工画像ｐｒｏｇＩｍｇは、選択部３４３２に出力される。

また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

撮像部を別体とし、画像処理部３００の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピューターシステムを画像処理装置として用いることができる。そして、画像処理部３００の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピューターシステムのＣＰＵが実行することによって実現できる。

図１７は、本変形例におけるコンピューターシステム６００の構成を示すシステム構成図であり、図１８は、このコンピューターシステム６００における本体部６１０の構成を示すブロック図である。図１７に示すように、コンピューターシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピューターシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。

また、このコンピューターシステム６００における本体部６１０は、図１８に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ1に接続するためのＬＡＮインターフェース６１８を備える。

さらに、このコンピューターシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。

そして、このコンピューターシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図１９〜図２２を参照して後述する処理手順を実現するための画像処理プログラム）を読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。

すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム６００によって実行されることに限定されるものではなく、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図９の出力画像生成部３４０の処理をソフトウェアで実現する場合の処理手順を、図１９のフローチャートを用いて説明する。

この処理を開始すると、まず、時系列の通常光画像と、特殊光画像に対して、撮影モードや照明光の同期信号などのヘッダ情報を入力する（Ｓ１１）。次に、特殊光画像と通常光画像を予め確保しておいた画像バッファに入力する（Ｓ１２）。そして、後で図２０を参照して詳細に説明するように、特殊光画像から注目すべき領域の候補である注目候補領域を検出する（Ｓ１３）。

次に、各注目候補領域の信頼度として、各注目領域候補の面積を算出する（Ｓ１４）。その後、後で図２１を参照して詳細に説明するように、注目候補領域の検出結果をもとに、特殊光画像（第２の画像）内で注目領域を選出し、注目領域に対応する通常光画像（第１の画像）内の対応注目領域の視認性を高める表示態様設定処理を行う（Ｓ１５）。次に、表示態様が決定された画像信号を出力する（Ｓ１６）。そして、時系列で最終画像の処理が終了したか否かを判定して（Ｓ１７）、終了していないと判定した場合にはＳ１２へ戻って次の画像信号について上述したような処理を繰り返して行う。一方、全画像信号の処理が終了していると判定した場合には、この処理を終了する。

次に、図２０を参照して、図１９のＳ１３における注目候補領域検出処理の詳細について説明する。

この処理を開始すると、まず、特殊光画像を領域分割する（Ｓ４１）。この場合、特殊光画像を矩形領域に分割する。この矩形領域のサイズは適宜設定できるが、ここでは例えば、１６×１６画素単位とする。続いて、分割した局所領域を順次抽出し、式（３）〜式（８）で上述した通り、病変らしさを示す特徴量を算出する（Ｓ４２）。次に、算出された局所領域の特徴量と所定の閾値とを局所領域毎に比較し、その比較結果に応じて、各局所領域を複数のグループに分類する（Ｓ４３）。そして、複数のグループのうち少なくとも１つのグループに分類された各局所領域と、その局所領域に隣接する局所領域群を含む領域を注目候補領域として検出する（Ｓ４４）。その後、注目候補領域が検出されたか否かを表すフラグ情報を出力する（Ｓ４５）。

次に、図２１を参照して、図１９のＳ１５における表示態様設定処理の詳細について説明する。

この処理を開始すると、まず、後で図２２を参照して詳細に説明するように、注目候補領域の検出結果と信頼度をもとに、特殊光画像（第２の画像）内で注目領域を選出し、選出された注目領域に対応する通常光画像（第１の画像）内の対応注目領域の視認性を高める加工処理を行う（Ｓ３１）。続いて、出力画像の表示態様を選択する（Ｓ３２）。具体的には、特殊光画像から注目領域が検出された場合の出力画像を選択する。注目領域が検出された場合の出力画像は、特殊光画像または、Ｓ３１により加工された通常光画像のどちらかから、予めユーザーが選択するものとする。

次に、図２２を参照して、図２１のＳ３１における加工処理の詳細について説明する。
この処理を開始すると、まず、検出された注目候補領域に対して、注目すべき度合いを示す注目情報を設定する（Ｓ５１）。ここでは、Ｓ１３で算出された注目候補領域のグループをもとに、各注目候補領域に注目情報Ａｔを設定する。ここでは、各グループに対応する注目すべき度合いＡｔは、ルックアップテーブルＡｔＬｕｔ（ｉ）として予め設定されているものとする。

続いて、設定された注目情報に応じて、特殊光画像の注目領域内の画素値と、通常光画像の対応注目領域内の画素値との合成比を設定する（Ｓ５２）。ここでは、Ｓ５１から入力された注目情報Ａｔをもとに、式（９）で上述した通り、合成比ａｌｐｈａを算出する。ａｌｐｈａは、０〜１の範囲の値とする。

次に、検出された注目候補領域を含む特殊光画像と、信頼度とから注目領域を抽出し、通常光画像から注目領域に対応する対応注目領域を選出する（Ｓ５３）。ここでは、予め通常光画像と特殊光画像の各画素の位置を一対一で対応付けたルックアップテーブルｃａｌＬｕｔ（ｘ，ｙ）を作成しておき、特殊光画像の注目領域の各画素の座標（ｘ，ｙ）に対応する、通常光画像の位置（ｘ’，ｙ’）を算出する。そして、注目候補領域の中から、予め設定された閾値以上の信頼度を有するものを抽出し注目領域とする。また、ここでは注目領域に対応する画素位置を一対一としたが、注目領域に対応する画素位置が複数あってもよい。また、注目領域に対応する画素位置が、画素と画素の間である場合は、線形補間に代表される公知の補間アルゴリズムを適用してもよい。

その後、注目領域の検出結果をもとに、検出された通常光画像内の対応注目領域を加工する（Ｓ５４）。ここでは、式（１１）、式（１２）で上述した通り、特殊光画像と通常光画像から合成画像を作成する。

そして、式（１３）で上述した通り、対応注目領域以外の領域に含まれる画素の輝度を低減する（Ｓ５５）。

このような処理を行うことで、通常光画像と特殊光画像を単一の画像で表示することが可能となるため、ドクターの負荷を低減しながら病変部の見逃しを抑止する内視鏡システムを提供することが可能となる。

以上の本実施形態では、第１画像取得部（狭義には通常光画像取得部３２０）は白色光の波長帯域に対応する第１の画像（狭義には白色光画像）を取得し、第２画像取得部（狭義には特殊光画像取得部３３０）は特定の波長帯域（狭義には狭帯域光や蛍光等の波長帯域）に対応する第２の画像（狭義には狭帯域画像や蛍光画像等の特殊光画像）を取得する。そして注目候補領域検出部３４１は第２の画像の特徴量に基づいて注目候補領域を設定する。信頼度算出部３４２は信頼度を算出し、算出された信頼度に基づいて、表示態様設定部３４３は注目領域における出力画像の表示態様を設定する処理を行う。

ここで注目領域とは、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザーが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザーが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。注目候補領域とは注目領域の候補となる領域のことである。信頼度とは注目候補領域が注目領域であることの確からしさを示す尺度であり、例えば注目候補領域の面積等が用いられる。

これにより、通常光画像（白色光画像）と特殊光画像（狭帯域画像や蛍光画像等）を取得した上で、特殊光画像において注目候補領域を設定することが可能になる。そして、信頼度に基づいて注目候補領域から注目領域を設定し、注目領域における表示態様を設定する（例えばターゲット色に近づける等）ことで、信頼度がない場合に比べて、注目領域の精度（例えば病変部を注目領域として的確に捉える精度等）を高くした上で、注目領域の視認性を高めることができる。これにより、例えば内視鏡で生体内を通常光及び特殊光を用いて観察する場合には、通常光では視認が難しい病変部を特殊光観察で的確に捉えたうえで、本実施形態の方法を用いない場合に比べて視認性の高い態様で当該病変部を含む領域を表示することが可能になり、ドクターの負荷を軽減し、病変部の見落としを抑止することができる。

また、表示態様設定部３４３は、第２の画像の注目領域に対応する、第１の画像内の対応注目領域を設定し、設定された対応注目領域の視認性を高める表示態様設定処理を行う。ここで対応注目領域とは、第１の画像内の領域であり、第２の画像内の注目領域に位置的に対応する領域のことである。例えば撮像素子の違いにより、第１の画像と第２の画像において、画像位置がずれている場合には適切なキャリブレーション処理が行われた上で対応注目領域が設定されることになる。

これにより、第２の画像で設定された注目領域に対応する、第１の画像内の対応注目領域を設定することができる。具体的には、例えば特殊光画像で検出された病変部に対応する第１の画像内における位置を適切に把握することが可能になる。そして対応注目領域の視認性を、加工していない第１の画像に比べて高めることで、対応注目領域の見落とし（具体的には病変部の見落とし）を抑止することができる。

また、表示態様設定部３４３は、信頼度と第２の画像から得られた注目候補領域情報に基づいて、第１の画像を加工する加工部３４３１を含み、加工部３４３１により加工された第１の画像を出力画像の態様とする。

これにより、出力画像として例えば、通常光画像を加工した画像を選択することが可能になる。具体的には例えば、後述する図２６（Ｃ）に示すように注目領域を所与の目標色に近づけたり、後述する図２６（Ｄ）に示すように注目領域の周縁を目標色で囲ったりする加工が考えられる。このような加工により、視認性を向上させ、ドクターの負荷を軽減し、病変部の見落としを抑止することができる。

また、加工部３４３１は、信頼度が高い場合には、第１の画像内の対応注目領域の視認性を高める加工処理を行う。ここで信頼度の高低の判断は、例えば所与の閾値との比較などにより行うことが考えられる。

これにより、信頼度が高い場合（具体的には、例えば注目候補領域が病変部であることが確からしい場合）には、第１の画像内の対応注目領域の視認性を高める加工をすることになり、病変部の見落としを抑止すること等ができる。

また、加工部３４３１は、加工処理として第１の画像と第２の画像の合成処理を行う。

これにより、第１の画像内の対応注目領域の視認性を、合成処理によって高めることが可能になる。具体的には通常光画像と特殊光画像をブレンドする処理が行われる。

また、加工部３４３１は、領域選出部３４３１３を含む。領域選出部３４３１３は、注目候補領域検出部３４１により検出された注目候補領域の中から、信頼度に基づいて、注目領域を選出する。

これにより、信頼度を尺度として注目候補領域の中から注目領域を選出することが可能になる。前述したように信頼度としては領域の面積や色相、彩度、輝度等やこれらの組み合わせが考えられる。よって具体的には面積の大きさや色相、彩度、輝度の値など多様な観点から注目領域を選出することが可能になる。

また、信頼度算出部３４２は、注目候補領域の面積に基づいて信頼度を算出してもよい。

これにより、面積の大きいものを注目領域として検出し、小さいものは注目領域として検出しなくなるため、ノイズの影響を軽減することが可能になる。

また、信頼度算出部３４２は、注目候補領域内の画素の特徴量に基づいて信頼度を算出してもよい。

これにより、面積以外にも、色相や輝度や彩度等、様々な観点から信頼度を算出することが可能になる。

また、注目候補領域検出部３４１は、第２の画像を所定の局所領域に分割する局所領域設定部３４１１と、局所領域内の画素を用いて局所領域ごとの特徴量を算出する特徴量算出部３４１２含み、局所領域ごとの特徴量に基づいて、注目候補領域を検出する。

これにより、局所領域ごとに特徴量を算出し、注目候補領域を検出することになる。局所領域として例えば図１３に示すように１６画素×１６画素の領域を採用すれば、１画素単位で計算する場合に比べ計算量を削減することが可能になる。また１６×１６単位で領域を設定するため、局所領域に比べて小さい病変は注目候補領域として検出されにくくなり、ノイズの影響を軽減することが可能になる。

また、注目候補領域検出部３４１は、第１の画像を所定の局所領域に分割する局所領域設定部３４１１と、局所領域内の画素に対応する第２の画像の画素を用いて局所領域毎の特徴量を算出する特徴量算出部３４１２を含み、第１の画像から、注目すべき領域の候補である注目候補領域を検出してもよい。

これにより、注目候補領域を第１の画像において設定することも可能になり、処理の柔軟性を高めることができる。

また、注目候補領域検出部３４１は、局所領域の特徴量と所与の閾値とを局所領域毎に比較し、各局所領域を複数のグループに分類する、分類部３４１３を含む。そして注目候補領域検出部３４１は、少なくとも１つのグループに分類された各局所領域と、その局所領域に隣接する局所領域群を含む領域を、注目候補領域として検出する。

これにより、各局所領域をグループに分類した上で、隣接する局所領域を統合してから注目候補領域を検出することが可能になる。また、注目候補領域をグループで分類することが可能になるため、グループ毎に異なる情報を持たせたり、異なる処理をしたりすることができる。

また、注目候補領域検出部３４１は、第２の画像に含まれる画素の特徴量に基づいて、注目画素を検出し、検出した注目画素を含む領域を注目候補領域として検出してもよい。

これにより、局所領域を設定せずに、画素単位での処理が可能となる。局所領域設定部３４１１は省略する構成にしても良いし、残しておいて局所領域ごと、画素ごとのどちらの処理を行えるようにしても良い。画素ごとに処理を行う場合、局所領域設定部３４１１は１×１の局所領域を設定していると考えても良い。ここで注目画素とは注目すべき画素のことであり、注目領域の定義で前述したように、例えば病変部等を構成する画素のことである。

また、注目候補領域は、注目画素と非注目画素とを含む領域であってもよい。具体的には所定の図形（多角形、円形、楕円形、弧、台形、点対称または線対称な図形等）を形成するように非注目画素を選択しても良い。

これにより、画素単位で処理をした場合であっても、注目候補領域の形状が複雑になることを抑止し、視認性を高めることが可能になる。ここで非注目画素とは第２の画像に含まれる画素のうち、注目画素として検出されなかった画素のことである。また、選択非注目画素とは非注目画素の中から、注目候補領域を構成する画素として選択された画素のことである。

また、加工部３４３１は、信頼度が高い場合には、第１の画像内の対応注目領域の視認性を高める合成処理を行う。ここで信頼度の高低の判断は、例えば所与の閾値との比較などにより求めることが考えられる。

これにより、信頼度が高い場合（具体的には、例えば注目候補領域が病変部であることが確からしい場合）には、第１の画像内の対応注目領域の視認性を高める合成処理をすることになり、病変部の見落としを抑止すること等ができる。

また、加工部３４３１は、領域選出部３４３１３を含み、領域選出部３４３１３は、注目候補領域の中から、信頼度に基づいて注目領域を選出する。さらに注目領域に対応する、第１の画像内の対応注目領域を選出する。そして加工部３４３１は対応注目領域に対して合成処理を行う。

これにより、注目領域に対応する対応注目領域を適切に選出することが可能になる。そして対応注目領域に対して合成処理を行うことで、適切な領域（例えば病変として検出された領域）に対して合成処理を行うことができ、例えば病変の見落としを抑止すること等が可能になる。

また、加工部３４３１は、注目情報設定部３４３１１及び合成比設定部３４３１２を含む。ここで注目情報設定部３４３１１は、各注目候補領域に対して、注目すべき度合いを示す注目情報を設定する。合成比設定部３４３１２は、第１の画像と第２の画像の合成比を設定する。そして加工部３４３１は合成比設定部３４３１２で設定した合成比に基づいて、合成処理を行う。

これにより、注目すべき度合いに応じて合成比を変えることが可能になり、例えば、図１６（Ａ）、図１６（Ｂ）に示すように、より注目すべき病変部は特殊光画像の割合が大きくなり、注目度の低い病変部は通常光画像の割合が大きくなるような処理が施さる。具体的には、病変部が褐色で表示される扁平上皮癌等の場合には、注目すべき病変部では褐色の割合が大きくなることになり、どこに注目すればよいかの判断を容易にすることが可能になる。

また、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には第１の画像及び第２の画像は例えば生体内画像であり、特定の波長帯域とは、例えば血液中のヘモグロビンに吸収される波長の波長帯域である。さらに具体的には、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍの波長帯域である。

これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｒ，Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、本実施形態は、画像処理装置（画像処理部）を含む電子機器にも適用できる。

例えば本実施形態にかかる画像処理装置は、内視鏡の他、デジタルカメラ、デジタルビデオカメラ、パーソナルコンピューター等の様々なタイプの電子機器（電圧、電流等の動力源で動作する機器）に搭載することが可能である。

また、本実施形態は、第１の光源と、第２の光源と、第１画像取得部（狭義には通常光画像取得部３２０）と、第２画像取得部（狭義には特殊光画像取得部３３０）と、注目候補領域検出部３４１と、信頼度算出部３４２と、表示態様設定部３４３と、表示部４００とを含む内視鏡システムであってもよい。第１の光源は生体内の被写体に対し白色光を照射し、第２の光源は生体内の被写体に対し特定の波長帯域の光（例えば狭帯域光や、蛍光を発生させるための励起光）を照射する。第１画像取得部は第１の光源の照射によって白色光の波長帯域における情報を有した被写体像を含む画像を第１の生体内画像として取得し、第２の画像取得部は第２の光源の照射によって特定の波長帯域における情報を有した被写体像を含む画像を第２の生体内画像として取得する。注目候補領域検出部３４１は、第２の生体内画像の画素の特徴量に基づいて、注目領域の候補である注目候補領域を検出する。信頼度算出部３４２は、注目候補領域が注目領域であることの確からしさを示す信頼度を算出する。表示態様設定部３４３は、信頼度に応じて、出力画像の表示態様を設定する処理を行う。表示部４００は設定された表示態様に従って出力画像を表示する。

これにより、白色光源によるものと、特定の波長帯域の光によるものの２枚の生体内画像が得られる。そして得られた画像の内第２の生体内画像の画素の特徴量を算出し、注目領域（具体的には例えば病変部の領域）の候補である注目候補領域を検出することが可能になる。さらに信頼度算出部３４２で算出された信頼度に応じて、注目候補領域の中から注目領域を選出することで、より精度の高い（具体的には病変部であることが確からしい）領域選出ができ、その上で出力画像の表示態様を設定することができる。決定された表示態様に従って表示部４００に表示することでシステム利用者（具体的にはドクター）に対して情報を提示することが可能になる。

また、本実施形態は、第１画像取得部と、第２画像取得部と、注目領域検出部と、表示態様設定部３４３とを含む画像処理装置であってもよい。第１画像取得部は、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得するものであり、第２画像取得部は、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得するものである。注目領域検出部は、第２の画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する。表示態様設定部３４３は、注目領域に対応する出力画像の対応注目領域に、注目領域の検出の結果に関する情報を発するアラート領域を表示する処理を行う。

これにより、第１の画像と第２の画像を取得し、第２の画像内の画素の特徴量に基づいて、第２の画像から注目領域を検出することが可能になる。そして注目領域に対応する対応注目領域を出力画像から検出し、アラート領域を表示する。これにより注目領域（具体的には例えば病変部の領域）に対応する対応注目領域の視認性を、第１の画像をそのまま表示した場合に比べて高めることが可能になる。なおここでのアラート領域とは、前述したように優先度によって選出されるものであってもよいし、優先度とは関係のないものであってもよい。

また、本実施形態は、第１画像取得部と、第２画像取得部と、注目候補領域検出部３４１と、信頼度算出部３４２と、表示態様設定部３４３としてコンピューターを機能させるプログラムであってもよい。第１画像取得部は白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得し、第２画像取得部は特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する。注目候補領域検出部３４１は、第２の画像内の画素の特徴量に基づいて、第２の画像から注目領域の候補である注目候補領域を検出する。信頼度算出部３４２は、注目候補領域が注目領域であることの確からしさを示す信頼度を算出する。表示態様設定部３４３は、信頼度に応じて出力画像の表示態様を設定する処理を行う。

これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。

また、本実施形態は、第１画像取得部と、第２画像取得部と、注目領域検出部と、表示態様設定部３４３としてコンピューターを機能させるプログラムであってもよい。第１画像取得部は、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得するものであり、第２画像取得部は、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得するものである。注目領域検出部は、第２の画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する。表示態様設定部３４３は、注目領域に対応する出力画像の対応注目領域に、注目領域の検出の結果に関する情報を発するアラート領域を表示する処理を行う。

また本実施形態は、本実施形態の各部（第１画像取得部、第２画像取得部、注目候補領域検出部、信頼度算出部、表示態様設定部、加工部等）を実現するプログラムコードが記録されたコンピュータープログラムプロダクトにも適用できる。

ここでプログラムコードとは、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得する第１画像取得部と、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する第２画像取得部と、前記第２の画像内の画素の特徴量に基づいて、前記第２の画像から、注目すべき領域の候補である注目候補領域を検出する注目候補領域検出部と、算出された前記信頼度に応じて、出力画像の表示態様を設定する処理を行う表示態様設定部と、を実現する。

またコンピュータープログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピューター、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータープログラムプロダクトに記録される。

３．第２の実施形態
本発明の第２の実施形態について説明する。注目候補領域検出部３４１及び加工部３４３１以外は第１の実施形態と同様である
注目候補領域検出部３４１は、制御部３５０の制御に基づき、特殊光画像から注目すべき領域の候補である注目候補領域を検出する。注目候補領域検出部３４１の具体的な構成について説明する。図２３は、第２の実施形態における注目候補領域検出部３４１の構成の一例を説明するブロック図である。図２３に示すように、注目候補領域検出部３４１は、局所領域設定部３４１１と、特徴量算出部３４１２と、領域設定部３４１４を備えている。ここで、特殊光画像取得部３３０は、局所領域設定部３４１１に接続されている。局所領域設定部３４１１は、特徴量算出部３４１２に接続されている。特徴量算出部３４１２は、領域設定部３４１４に接続されている。領域設定部３４１４は、信頼度算出部３４２と、表示態様設定部３４３とに接続されている。また、制御部３５０は、局所領域設定部３４１１と、特徴量算出部３４１２と、領域設定部３４１４に双方向に接続されていて、これらを制御するようになっている。

局所領域設定部３４１１は、第１の実施形態と同様に、特殊光画像に対して複数の局所領域を設定する。

特徴量算出部３４１２はすべての局所領域に対して特徴量を算出する。ここでは第１の実施形態と同様に色相を利用する。

次に、領域設定部３４１４はすべての局所領域に対して算出した色相Ｈを用いて閾値処理を行い、注目候補領域を設定する。ここでは褐色の領域を注目領域として設定したいため、例えば色相Ｈが５〜３５の範囲にある局所領域を抽出すればよい。

さらに、領域設定部３４１４は、抽出された局所領域同士で、隣接するものを統合する処理を行い、処理の結果得られた各領域を注目候補領域とする（局所領域１つの場合も注目候補領域とする）。注目候補領域に含まれる局所領域ａ（ｍ，ｎ）の座標と、各局所領域が含む画素の情報から、注目候補領域に含まれるすべての画素の位置を算出し、これを注目候補領域情報として、信頼度算出部３４２と表示態様設定部３４３に出力する。

また、領域設定部３４１４は、出力される注目領域情報が多角形や円形などの任意の形状を示すように注目候補領域情報を設定しなおすことも可能である。例として図１５（Ａ）、図１５（Ｂ）を示す。図１５（Ａ）、図１５（Ｂ）は特殊光画像を表し、点線で囲まれた領域一つ一つが局所領域を表すものである。図１５（Ａ）において注目候補領域１に対応する注目候補領域の形状を四角形にしたい場合は、まず注目候補領域１に属する局所領域ａ（ｍ，ｎ）の座標と、各局所領域が含む画素の情報から、注目候補領域１に含まれるすべての画素の位置を算出する。さらにそれらの画素の集合に外接する四角形を注目候補領域として再度設定し、設定された注目候補領域に含まれるすべての画素の位置を算出し、注目候補領域１に対応する注目候補領域情報として出力すればよい。このような処理を行うことで、注目候補領域を図１５（Ｂ）に示すような視認しやすい形状に設定しなおすことができる。これにより注目候補領域が複雑な形状となることを防ぎ、視認性を向上することができる。

次に、加工部３４３１の具体的な構成について説明する。図２４は、第２の実施形態における加工部３４３１の構成の一例を説明するブロック図である。図２４に示すように、加工部３４３１は、領域選出部３４３１３と、領域加工部３４３１４と、輝度変換部３４３１５とを備えている。

領域選出部３４３１３は、注目候補領域検出部３４１から入力された注目候補領域情報と、信頼度算出部３４２から入力された信頼度に基づき、注目領域を選出する。具体的には、まず、注目候補領域の中から、予め設定された閾値以上の信頼度を有するものを抽出する。例えば信頼度が１の注目候補領域を注目領域として検出すると、図１５（Ａ）では注目候補領域１に属する局所領域だけが注目領域として検出されることになる。このような処理を行うことで、微小な面積の注目候補領域をノイズとして排除することが可能となり、信頼度の高い注目領域を選出することができる。また選出された注目領域に対応する第１の画像内の領域を対応注目領域として設定する。そして対応注目領域の画素の情報を対応注目領域情報として出力する。

領域加工部３４３１４は例えば、通常光画像の中で対応注目領域情報として入力された画素に対して、以下の式（１４）〜（１６）を用いて色変換処理を行う。ここでｒ（ｘ，ｙ），ｇ（ｘ，ｙ），ｂ（ｘ，ｙ）は色変換前の通常光画像の座標（ｘ，ｙ）におけるＲ，Ｇ，Ｂチャンネルの信号値であり、ｒ＿ｏｕｔ（ｘ，ｙ），ｇ＿ｏｕｔ（ｘ，ｙ），ｂ＿ｏｕｔ（ｘ，ｙ）は色変換後の通常光画像のＲ，Ｇ，Ｂチャンネルの信号値である。また、Ｔ＿ｒ，Ｔ＿ｇ，Ｔ＿ｂは任意のターゲット色のＲ，Ｇ，Ｂ信号値であり、ｇａｉｎは０〜１の任意の係数である。

r_out(x,y)=gain*r(x,y)+(1-gain)*T_r ・・・・・（１４）
g_out(x,y)=gain*g(x,y)+(1-gain)*T_g ・・・・・（１５）
b_out(x,y)=gain*b(x,y)+(1-gain)*T_b ・・・・・（１６）

このような処理を行うことで、図２６（Ｂ）に示す特殊光画像を観察した時に病変部と疑われる注目領域が、図２６（Ｃ）に示すように通常光画像に色の異なる領域として表示されることになり、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを抑止することが可能になる。

また、領域加工部３４３１４は例えば通常光画像のうち対応注目領域の境界を構成するすべての画素に対して、以下の式（１７）〜（１９）を用いて色変換処理を行ってもよい。

r_out(x,y)=T_r ・・・・・（１７）
g_out(x,y)=T_g ・・・・・（１８）
b_out(x,y)=T_b ・・・・・（１９）

このような処理を行うことで、図２６（Ｄ）に示すように通常光画像において対応注目領域が任意の目標色に囲まれた部分として表示されることになる。

輝度変更部３４３１５は例えば通常光画像のうち対応注目領域に含まれないすべての画素に対して、以下の式（２０）〜（２２）のような輝度変換処理を行ってもよい。

r_out(x,y)=gain*r(x,y) ・・・・・（２０）
g_out(x,y)=gain*g(x,y) ・・・・・（２１）
b_out(x,y)=gain*b(x,y) ・・・・・（２２）

このような処理を行うことで、図２６（Ｅ）に示すように通常光画像のうち対応注目領域に含まれない領域が暗くなることで、対応注目領域を相対的に明るい部分として表示することができる。

次に優先度によりアラート領域を設定する場合の加工部３４３１の具体的な構成について説明する。図２５は、アラート領域を設定する場合の加工部３４３１の構成の一例を説明するブロック図である。図２５に示すように、加工部３４３１は、領域選出部３４３１３と、領域加工部３４３１４と、輝度変換部３４３１５とを備えている。

領域選出部３４３１３は、注目候補領域検出部３４１から入力された注目候補領域情報と、信頼度算出部３４２から入力された信頼度に基づき、注目領域を選出する。そして選出された注目領域に対応する第１の画像内の領域を対応注目領域として設定する。さらに注目領域と、優先度設定部３４５（出力画像生成部３４０に含まれる。図９には図示せず）から入力された優先度に基づき、アラート領域を設定する。そしてアラート領域の画素の情報をアラート領域情報として出力する。

ここで優先度とは、優先して表示すべき度合いを示すもので、例えば信頼度や画素の特徴量、注目すべき度合いなどに基づいて設定される。なお注目すべき度合いとは第１の実施形態における注目情報設定部３４３１５で設定されるような情報である。

領域選出部３４３１３は、アラート領域の上限数に関する情報を保持している。アラート領域の数が上限数を超えると予測される場合には、上限数を超える注目領域はアラート領域として非設定にする。これによりドクターが一度に認識するには多すぎる数の領域が表示されてしまう事態を抑止することができる。

領域加工部３４３１４は、上述した式（１４）〜（１９）のような色変換処理を行う。またアラート領域の加工処理の優先度に関する情報を保持している。そしてアラート領域が複数ある場合には、優先度の高いアラート領域から順次加工処理を行っていく。

また、加工部３４３１は前述の処理に限らず任意の輝度変換や色変換の処理を用いて、通常光画像の対応注目領域を加工できることは言うまでもない。

さらに加工部３４３１は通常光画像内の対応注目領域に対して色変換や輝度変換を施すだけではなく、図２６（Ｆ）に示すように注目領域の部分の特殊光画像を通常光画像の近傍に表示してもよい。また、注目領域の部分の特殊光画像を対応注目領域の部分の通常光画像と置き換えて表示してもよい。

この場合、図１９の注目候補領域検出ステップ（Ｓ１３）及び図２１の加工ステップ（Ｓ３１）以外は第１の実施形態と同様である。

図２７を参照して、図１９のＳ１３における注目候補領域検出処理の詳細について説明する。この処理を開始すると、まず、特殊光画像（第２の画像）を局所領域に分割する（Ｓ２１）。この場合、特殊光画像を矩形領域に分割する。この矩形領域のサイズは適宜設定できるが、ここでは例えば、１６×１６画素単位とする。

続いて、分割した局所領域を順次抽出し、式（３）〜（８）で上述した通り、病変らしさを示す特徴量を算出する（Ｓ２２）。

次に、算出された局所領域の特徴量と所与の閾値とを局所領域毎に比較し閾値の条件を満たす各局所領域を抽出する。条件を満たす局所領域が隣接している場合、それらを統合して局所領域群を作成し、その局所領域群（局所領域１つの場合を含む）を含む領域を注目候補領域として検出する（Ｓ２３）。そして、注目候補領域が検出されたかどうかを表すフラグ情報を出力する（Ｓ２４）。

次に、図２８を参照して、図２１のＳ３１における加工処理の詳細について説明する。
この処理を開始すると、まず、検出された注目候補領域の中から、信頼度が所与の閾値よりも高いものを注目領域として選出し、通常光画像から注目領域に対応する対応注目領域を抽出する（Ｓ３３）。

その後、注目領域の検出結果をもとに、検出された特殊光画像内の注目領域に対応する通常光画像内の対応注目領域の視認性を高める加工をする。ここでは、式（１４）〜（１６）で上述した通り、対応注目領域全体を所与の目標色に近づける処理を行ってもよいし、式（１７）〜（１９）で上述した通り、対応注目領域の周縁を目標色で囲む処理を行ってもよい（Ｓ３４）。

そして、式（２０）〜（２２）で上述した通り、対応注目領域以外の領域に含まれる画素の輝度を低減する処理を行ってもよい。（Ｓ３５）。

このような処理を行うことで、図２６（Ｂ）に示す特殊光画像を観察した時に病変部と疑われる注目領域が、図２６（Ｃ）に示すように通常光画像に色の異なる領域として重畳して表示されることになる。またＳ３５の処理を行った場合、図２６（Ｅ）に示すようにアラート領域以外が暗く表示されることになる。これにより通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを抑止することが可能になる。

次に図２９を参照して、図２１のＳ３１の加工処理において、優先度によりアラート領域を設定する場合について説明する。この処理を開始すると、まず、検出された注目候補領域の中から信頼度が所与の閾値よりも高いものを注目領域として選出し、通常光画像から注目領域に対応する対応注目領域を抽出する（Ｓ３６）。さらに、抽出された注目領域の中から優先度の高い順に抽出を行う。抽出する注目領域の数は、予めユーザーが設定するものとする。抽出された注目領域をアラート領域とする（Ｓ３７）。Ｓ３８の色変換処理は図２８のＳ３４と、Ｓ３９の輝度変換処理は図２８のＳ３５と同様である。

以上のように本実施形態では、加工部３４３１は、加工処理として変換処理を行う。

これにより、第１の画像内の対応注目領域の視認性を、変換処理により高めることが可能になる。ここで変換処理とは色変換処理や輝度変換処理が考えられる。詳細については後述する。

また、加工部３４３１は、加工処理として注目領域の部分の画像を、第１の画像に関連づける処理を行ってもよい。

これにより、第１の画像内の対応注目領域の視認性を、関連づけによって高めることが可能になる。ここで関連づけとは、具体的には注目領域の部分画像を第１の画像の近傍に表示したり、第１の画像の対応注目領域の部分画像を、第２の画像の注目領域の部分画像で置き換えたりする処理などが考えられる。詳細については後述する。

また、領域選出部３４３１３は、注目領域の中から、優先度に基づいて、アラート領域を選出してもよい。

これにより、信頼度とは別の観点から（場合によっては同一の観点からもう一度）選出処理を行うことが可能になり、より目的にあった領域を選出することができる。

ここで優先度は、信頼度、画素の特徴量及び注目すべき度合いの少なくとも１つの情報により設定されてもよい。

これにより、領域選出の尺度として、信頼度はもちろん、画素の特徴量（例えば彩度・輝度）、注目すべき度合い（詳細は後述する注目情報設定部３４３１１に関連して説明する）を採用することが可能になり、多様な観点から領域を選出することができる。

また、領域選出部３４３１３は、アラート領域の上限数に関する情報を保持し、アラート領域が上限数を超えると予測される場合には、それ以上の数のアラート領域は非設定にしてもよい。

これにより、必要以上の数（例えばドクターが一度に把握することが困難な数）のアラート領域が表示されてしまう事態を抑止し、円滑な利用（例えば診断・治療）を実現することが可能になる。

また、加工部３４３１は領域加工部３４３１４を含む。領域加工部３４３１４はアラート領域の加工処理の優先度に関する情報を保持しており、優先度が高いアラート領域から順次加工処理を行ってもよい。

これにより、優先度が高い（具体的には病変である可能性が高かったり、深刻な病変であったりする場合が考えられる）領域から加工処理が行われることになり、効率的な診断・治療を実現することができる。

また、加工部３４３１は、信頼度が高い場合には、第１の画像内の対応注目領域の視認性を高める色変換処理を行う。ここで信頼度の高低の判断は、例えば所与の閾値との比較などにより行うことが考えられる。

これにより、信頼度が高い場合（具体的には、例えば注目候補領域が病変部であることが確からしい場合）には、第１の画像内の対応注目領域の視認性を高める色変換処理をすることになり、病変部の見落としを抑止すること等ができる。

また、加工部３４３１は、領域選出部３４３１３を含み、領域選出部３４３１３は、注目候補領域の中から、信頼度に基づいて注目領域を選出する。さらに注目領域に対応する、第１の画像内の対応注目領域を選出する。そして加工部３４３１は対応注目領域に対して色変換処理を行う。

これにより、注目領域に対応する対応注目領域を適切に選出することが可能になる。そして対応注目領域に対して色変換処理を行うことで、適切な領域（例えば病変として検出された領域）に対して色変換処理を行うことができ、病変部の見落としを抑止すること等が可能になる。

また、加工部３４３１は、対応注目領域に含まれる画素の色を、ターゲット色と重み付け加算することで、色変換による加工処理を行ってもよい。

これにより、図２６（Ｃ）に示すように、対応注目領域内の画素を半透明にすることが可能になり、視認性を高め、病変部の見落としを抑止すること等ができる。

また、加工部３４３１は、対応注目領域の周縁に位置する画素の色を、ターゲット色に変換することで、色変換による加工処理を行ってもよい。

これにより、図２６（Ｄ）に示すように、対応注目領域をターゲット色で囲むことが可能になり、視認性を高め、病変部の見落としを抑止すること等ができる。

また、加工部３４３１は、信頼度が高い場合には、第１の画像内の対応注目領域の視認性を高める輝度変換処理を行ってもよい。ここで信頼度の高低の判断は、例えば所与の閾値との比較などにより行うことが考えられる。

これにより、信頼度が高い場合（具体的には、例えば注目候補領域が病変部であることが確からしい場合）には、第１の画像内の対応注目領域の視認性を高める輝度変換処理をすることになり、病変部の見落としを抑止すること等ができる。例えば第１の実施形態で説明した合成処理後の画像に対して、第１の画像内の対応注目領域の視認性を高める輝度変換処理を行うことで、より対応注目領域を目立たせることができる。

また、加工部３４３１は、領域選出部３４３１３を含み、領域選出部３４３１３は、注目候補領域の中から、信頼度に基づいて注目領域を選出する。さらに注目領域に対応する、第１の画像内の対応注目領域を選出する。そして加工部３４３１は対応注目領域以外に対して輝度変換処理を行ってもよい。

これにより、注目領域に対応する対応注目領域を適切に選出することが可能になる。そして対応注目領域以外の領域に対して輝度変換処理を行うことで、適切な領域（例えば病変として検出された領域）を除いた領域に対して輝度変換処理を行うことができ、病変部の見落としを抑止すること等が可能になる。例えば第１の実施形態で説明した合成処理後の画像の、対応注目領域以外の領域に対して輝度変換処理を行うことで、より対応注目領域を目立たせることができる。

また、加工部３４３１は、対応注目領域以外の領域に含まれる画素の輝度を低減することで、輝度変換処理を行ってもよい。

これにより、図２６（Ｅ）に示すように対応注目領域以外の領域の輝度が低減され、暗く表示されることになる。そのため相対的に対応注目領域が明るく見えるため、対応注目領域を目立たせることが可能になり、病変部の見落としを抑止することができる。

また、加工部３４３１は、信頼度が高い場合には、第１の画像内の対応注目領域の視認性を高める処理を行う。視認性を高める処理として、第２の画像の注目候補領域の部分画像と、第１の画像を関連づける処理を行ってもよい。ここで信頼度の高低の判断は、例えば所与の閾値との比較などにより行うことが考えられる。

これにより、信頼度が高い場合（具体的には、例えば注目候補領域が病変部であることが確からしい場合）には、第１の画像内の対応注目領域の視認性を高める処理として、注目候補領域の部分画像と第１の画像を関連づける処理を行うことが可能になり、病変部の見落としを抑止すること等ができる。関連づけの詳細については後述する。

また、加工部３４３１は、領域選出部３４３１３を含み、領域選出部３４３１３は、注目候補領域の中から、信頼度に基づいて注目領域を選出する。さらに注目領域に対応する、第１の画像内の対応注目領域を選出する。そして加工部３４３１は、注目領域の部分画像と第１の画像の関連付けとして、注目領域の部分画像を第１の画像の近傍に表示してもよい。

これにより、図２６（Ｆ）に示すような態様で出力画像を表示することが可能になり、例えばドクターは第１の画像と第２の画像をそのまま並べた場合に比べて、出力画像を見る際の負荷が軽減される効果等が期待できる。また、病変部の部分画像が近傍に表示されるため、病変部の見落としを抑止することも可能になる。

また、加工部３４３１は、領域選出部３４３１３を含み、領域選出部３４３１３は、注目候補領域の中から、信頼度に基づいて注目領域を選出する。さらに注目領域に対応する、第１の画像内の対応注目領域を選出する。そして加工部３４３１は、注目領域の部分画像と第１の画像の関連付けとして、注目領域の部分画像を対応注目領域の部分画像と置き換えて表示してもよい。

これにより、第１の画像内に第２の画像の注目領域の部分画像がはめ込まれた態様で、出力画像を表示できる。従って注目領域（具体的には病変部等）の部分は第２の画像（具体的には病変部を視認しやすい特殊光画像）で観察することができるとともに、それ以外の部分は第１の画像（具体的には全体に明るく見やすい通常光画像）で観察することが可能になり、例えば病変部の見落としを抑止すること等ができる。

４．第３の実施形態
本発明の第３の実施形態にかかる内視鏡システムについて説明する。注目候補領域検出部３４１及び加工部３４３１以外は第２の実施形態と同様である。

まず、本実施の形態における注目候補領域検出部３４１の具体的な構成について説明する。前述した図１０は、本実施の形態における注目候補領域検出部３４１の構成の一例を説明するブロック図である。

局所領域設定部３４１１はまず特殊光画像に対して、第２の実施形態と同様に複数の局所領域を設定する。次に、特徴量算出部３４１２は設定したすべての局所領域に対して、第２の実施形態と同様に特徴量を算出する。ここでは特徴量として前述の色相Ｈ（ｍ，ｎ）を使用する。

分類部３４１３は、制御部３５０の制御に基づき、算出された局所領域の特徴量Ｈ（ｍ，ｎ）と所定の閾値とを局所領域毎に比較し、その比較結果に応じて、各局所領域を複数のグループに分類する。この場合、予め設定された複数の閾値Ｔｈｉ（ｉ＝０，１…，Ｌ）を用い、Ｈ（ｍ，ｎ）がＴｈｉ以上かつＴｈｉ＋１未満の場合、局所領域ａ（ｍ，ｎ）をグループｉの局所領域と分類する。このような処理を行うことで、各局所領域は、グループ０からグループ（Ｌ−１）のグループに分類される。ここで閾値Ｔｈｉの設定方法はユーザーが任意の値を設定することもできるし、制御部３５０により予め決められた値に自動的に設定されてもよい。また、閾値Ｔｈｉは特殊光画像内の位置によって適応的に設定されてもよい。各グループに分類された局所領域情報は、領域設定部３４１４に出力される。

本実施の形態においては、領域設定部３４１４は注目の度合いに応じて注目候補領域を検出する。例えば分類部３４１３でグループ０からグループ（Ｌ−１）の各グループに分類された局所領域のうち、グループａに分類された複数の局所領域を注目レベルａの注目候補領域、グループｂに分類された複数の局所領域を注目レベルｂの注目候補領域として検出する（ここでａ，ｂは０〜Ｌ−１の任意の定数でａ≠ｂ）。領域設定部３４１４は各注目レベルの注目候補領域として検出された複数の局所領域ａ（ｍ，ｎ）の座標と、各局所領域が含む画素の情報から、注目候補領域に含まれるすべての画素の位置を算出し、これを各注目レベルの注目候補領域情報として、信頼度算出部３４２と表示態様設定部３４３に出力する。さらに、領域設定部３４１４は、特殊光画像中に注目候補領域が検出されたか否かの制御信号を表示態様設定部３４３に出力する。

ここで領域設定部３４１４は注目の度合いを注目レベルａとｂの２つとして注目候補領域の設定を行ったが、注目の度合いは必要に応じて任意の数に設定できることは言うまでもない。

さらに領域設定部３４１４は各注目レベルで注目候補領域として検出された複数の局所領域に対して、注目レベル毎に第２の実施の形態と同様に新たな注目候補領域を設定する（例えば視認性を高めるために、単純な四角形にする等）ことも可能である。

次に、本実施の形態における加工部３４３１の具体的な構成について説明する。図３０は、本実施の形態における加工部３４３１の構成の一例を説明するブロック図である。図３０に示すように、加工部３４３１は、注目情報設定部３４３１１と、領域選出部３４３１３と、領域加工部３４３１４と、輝度変換部３４３１５とを備えている。

注目情報設定部３４３１１は、各注目候補領域に対して、注目すべき度合いを示す注目情報を設定する。具体的には例えば、グループａに属していれば注目度ａ、グループｂなら注目度ｂといった設定の仕方がある。さらに具体的には病変が癌であったら注目度５、通常の炎症であったら注目度１といった設定の仕方も考えられる。

図３１（Ａ）は通常光画像取得部３２０から出力された通常光画像と、注目候補領域情報を示した一例である。ここでは、点線で示したレベルａ及びレベルｂの注目候補領域に含まれるすべての画素の位置情報が注目候補領域情報として領域選出部３４３１３に入力される。

領域選出部３４３１３は、第２の実施形態と同様に、注目領域及び対応注目領域設定する。さらにアラート領域を設定してもよい。

領域加工部３４３１４は注目候補領域検出部３４１から出力された注目候補領域情報を用いて、通常光画像取得部３２０から出力された通常光画像を加工する。

領域加工部３４３１４は例えば、通常光画像のうち、領域選出部３４３１３から対応注目領域情報として入力された画素に対して、以下の式（２３）〜（２８）を用いて色変換処理を行う。ここでｒ（ｘ，ｙ），ｇ（ｘ，ｙ），ｂ（ｘ，ｙ）は色変換前の通常光画像の座標（ｘ，ｙ）におけるＲ，Ｇ，Ｂチャンネルの信号値であり、ｒ＿ｏｕｔ（ｘ，ｙ），ｇ＿ｏｕｔ（ｘ，ｙ），ｂ＿ｏｕｔ（ｘ，ｙ）は色変換後の通常光画像のＲ，Ｇ，Ｂチャンネルの信号値である。また、Ｔａ＿ｒ，Ｔａ＿ｇ，Ｔａ＿ｂはレベルａの対応注目領域に対する任意のターゲット色のＲ，Ｇ，Ｂ信号値であり、注目情報設定部３４３１１で設定された注目情報に基づいて決定される。また、Ｔｂ＿ｒ，Ｔｂ＿ｇ，Ｔｂ＿ｂはレベルｂの対応注目領域に対する任意のターゲット色のＲ，Ｇ，Ｂ信号値であり、同様に注目情報に基づいて決定される。ｇａｉｎは任意の係数である。

レベルaの対応注目領域
r_out(x,y)=gain*r(x,y)+(1-gain)*Ta_r ・・・・・（２３）
g_out(x,y)=gain*g(x,y)+(1-gain)*Ta_g ・・・・・（２４）
b_out(x,y)=gain*b(x,y)+(1-gain)*Ta_b ・・・・・（２５）
レベルbの対応注目領域
r_out(x,y)=gain*r(x,y)+(1-gain)*Tb_r ・・・・・（２６）
g_out(x,y)=gain*g(x,y)+(1-gain)*Tb_g ・・・・・（２７）
b_out(x,y)=gain*b(x,y)+(1-gain)*Tb_b ・・・・・（２８）

このような処理を行うことで、病変部と疑われる対応注目領域に、図３１（Ｂ）に示すように注目の度合いに応じて異なる色で対応注目領域が表示されることになり、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを抑止することが可能になる。

なお領域加工部３４３１４は前述の処理に限らず、第２の実施形態に示したような異なる色変換の処理を用いて、注目の度合いに応じて通常光画像の対応注目領域を加工できることは言うまでもない。

また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に、予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

この場合、図１９の注目候補領域検出ステップ（Ｓ１３）及び図２８の色変換ステップ（Ｓ３４）以外は第２の実施形態と同様である。
本実施の形態における図１９の注目領域検出ステップ(Ｓ１３)での詳細な処理手順について、前述の図２０のフローチャートを用いて説明する。

局所領域検出ステップではまず特殊光画像に対して、第２の実施形態と同様の方法で複数の局所領域を設定する(Ｓ４１)。次に、設定したすべての局所領域に対して、第２の実施形態と同様の方法で特徴量を算出する(Ｓ４２)。ここでは特徴量の一例として色相Ｈを使用する。そして、すべての局所領域で算出した色相Ｈと前述の所定の閾値Ｔｈｉとを局所領域毎に比較し、その比較結果に応じて、各局所領域を複数のグループに分類する(Ｓ４３)。次に、前述の方法で注目の度合いに応じて注目候補領域を検出する。さらに各注目レベルの注目候補領域として検出された局所領域ａ（ｍ，ｎ）の座標と、各局所領域が含む画素の情報から、注目領域に含まれるすべての画素の位置を算出し、これを各注目レベルの注目候補領域情報として出力する(Ｓ４４)。最後に、特殊光画像中に注目候補領域が検出されたか否かのフラグ情報を出力する(Ｓ４５)。

本実施の形態における図２８の色変換処理ステップでは、注目候補領域検出ステップで出力された各注目レベルの注目候補領域情報から、前述の式（２３）〜（２８）のように注目レベルに応じて異なる目標色を用いて通常光画像を加工する。

このような処理を行うことで、病変部と疑われる対応注目領域が、図３１（Ｂ）に示すように注目の度合いに応じて異なる色で表示されることになり、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを抑止することが可能になる。

以上の本実施形態では、加工部３４３１は、各注目候補領域に注目すべき度合いを示す注目情報を設定する、注目情報設定部３４３１１を含む。そして加工部３４３１は設定された注目情報が示す注目度合いに応じて、色変換処理に用いる目標色を変更する。

これにより、例えば病変が２種類以上検出された場合に、図３１（Ｂ）に示すように、それぞれを異なった色でアラート表示すること等が可能になる。具体的には例えば、癌の部位と通常の炎症の部位で表示する色を変えることなどが考えられる。

５．第４の実施形態
本発明の第４の実施形態にかかる内視鏡システムについて、図３２を参照して説明する。第１の実施形態、第２の実施形態及び第３の実施形態では２つの撮像素子を用いて通常光画像と特殊光画像を取得したが、ここでは例えばベイヤ配列の色フィルタを持つ第１撮像素子だけから、画像処理を用いて通常光画像と特殊光画像を取得してもよい。本実施形態に係る内視鏡システムは、光源部１００と、挿入部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。なお以下では第１の実施形態等と重複する部分については、適宜、その説明を省略する。

光源部１００は、白色光源１１０と集光レンズ１２０を備えている。

挿入部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光した反射光を検出するための第１撮像素子２５０を備えている。第１撮像素子２５０は例えば通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第１撮像素子２５０の色フィルタは例えば図４に示すような分光特性を持っている。

画像処理部３００はＡＤ変換部３１０と通常光画像取得部３２０と特殊光画像取得部３３０と出力画像生成部３４０と制御部３５０を備えている。

外部Ｉ／Ｆ部５００は、この内視鏡システムに対するユーザーからの入力等を行うためのインターフェースである。

ＡＤ変換部３１０は、第１撮像素子から出力されるアナログ信号をデジタル信号に変換して出力する。

通常光画像取得部３２０はＡＤ変換部３１０から出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部３３０はＡＤ変換部３１０から出力されるデジタル信号から特殊光画像を取得する。

通常光画像取得部３２０で取得された通常光画像と、特殊光画像取得部３３０で取得された特殊光画像は出力画像生成部３４０に出力される。出力画像生成部３４０はこれら２枚の画像から１枚の出力画像を生成して画像表示部に出力する。

通常光画像取得部３２０は、図７で説明したように通常光画像生成部３２１と通常光画像記憶部３２２を備えている。これらの各部の機能、動作は図７で説明したものと同様であるため、詳細な説明は省略する。

次に特殊光画像取得部３３０について図３３を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と、特殊光画像記憶部３３２と、信号抽出部３３３と、マトリクスデータ設定部３３４を備えている。特殊光画像生成部３３１はＡＤ変換部３１０で変換されて入力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施形態では特殊光画像は狭帯域光画像となる。本実施の形態において特殊光画像生成部３３１に入力されるデジタル画像信号は、通常光画像生成部３２１に入力されるデジタル画像信号と同じ信号である。

ここで、信号抽出部３３３、マトリクスデータ設定部３３４及び特殊光画像生成部３３１において狭帯域光画像を生成する方法について説明する。まず、入力されたデジタル画像信号に対して既存の補間処理を行い、Ｒ，Ｇ，Ｂの３チャンネルを持つカラー画像を生成する。この画像は白色光源下で第１撮像素子２５０を用いて被写体を撮像した場合のカラー画像である。次にこのカラー画像から公知の分光推定技術を用いて、カラー画像の各画素における被写体の分光反射率を推定する。分光推定技術の詳細は例えば特許文献３の［００５４］〜［００６５］に開示されており、この様な処理を行うことで、例えば各画素が３８０ｎｍから７８０ｎｍまで１０ｎｍ刻みに被写体の分光反射率特性Ｏ（λ）を持つような分光画像情報が取得される（ここでλは３８０〜７８０）。ここでは画像上の位置（ｘ，ｙ）における分光反射率特性をＯ（λ）ｘ，ｙと記述する。また、本実施の形態における白色光源の分光放射率をＥ（λ）、光学系の分光透過率をＬ（λ）、第１の実施形態における第２撮像素子２６０の色フィルタｇ２,ｂ２に対応する画素の分光感度をそれぞれｇ２（λ）,ｂ２（λ）とする。すると第１の実施形態におけるＧ２画像及びＢ２画像に対応する画像Ｇ２’画像及びＢ２’画像の位置（ｘ，ｙ）における信号値Ｇ２’（ｘ，ｙ）及びＢ２’（ｘ，ｙ）は以下の式（２９）、式（３０）で算出できる。

Ｇ２'(x,y)=∫E(λ)・O(λ)・L(λ)・ｇ２(λ)dλ ・・・・・（２９）
Ｂ２'(x,y)=∫E(λ)・O(λ)・L(λ)・ｂ２(λ)dλ ・・・・・（３０）

画像上のすべての位置（ｘ，ｙ）に対してこのような計算を行うことで、第１撮像素子２５０で得られる画像信号からＧ２’画像及びＢ２’画像を取得することができる。

次にこのＧ２’画像及びＢ２’画像から第１の実施形態と同様にＲ，Ｇ，Ｂの３チャンネルを持つカラー画像を生成する。ここでは例えばカラー画像のＲチャンネルにＧ２画像を入力し、ＧチャンネルとＢチャンネルにＢ２画像を入力することでカラー画像が生成される。特殊光画像生成部３３１は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像として出力する。特殊光画像記憶部３３２は特殊光画像生成部から出力された特殊光画像を記憶する。

通常光画像取得部３２０及び特殊光画像取得部３３０で画像が取得された後の処理については、第１、第２又は第３の実施形態と同様の処理を行えばよい。

以上の本実施形態では、第２画像取得部（狭義には特殊光画像取得部３３０）は第１画像に基づいて、第２画像を生成する。具体的には第２画像取得部は信号抽出部３３３及びマトリクスデータ設定部３３４を含む。信号抽出部３３３は、白色光の波長帯域における信号を抽出する。マトリクスデータ設定部３３４は、特定の波長帯域における信号を算出するためのマトリクスデータを設定する。そして第２画像取得部は、マトリクスデータを用いて信号抽出部３３３が抽出した信号から、特定の波長帯域の信号を算出し、第２の画像を生成する。

これにより、第１の画像に基づいて第２の画像を生成することができるので、図３２に示すように、撮像素子が１つのみでもシステムを実現することが可能になり、挿入部２００を小さくすることができる。また部品が少なくてすむためコストを下げる効果も期待できる。

６．第５の実施形態
本発明の第５の実施形態にかかる内視鏡システムについて、図３４を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、挿入部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。

光源部１００は、白色光を発生する白色光源１１０と、光源からの出射光をライトガイドファイバ２１０に集光するための集光レンズ１２０と、白色光から所定の波長帯域の光を抽出する回転フィルタ１３０を備えている。

回転フィルタ１３０は、図３５に示されるように、透過率特性の異なる２種類のフィルタＦ１,Ｆ２から構成されている。これらフィルタＦ１、Ｆ２は例えば図３６に示されるように、それぞれ、フィルタＦ１が４００〜６５０ｎｍ、フィルタＦ２が６００〜６５０ｎｍの波長帯域の光を透過させる透過率特性を有している。フィルタＦ１の光は白色光である。フィルタＦ２により抽出された６００〜６５０ｎｍの波長帯域の光は、Ｃｙ５のような蛍光薬剤を励起して、６６０〜７５０ｎｍの波長帯域の蛍光を発生させる特性を有している。ここで、この蛍光薬剤は腫瘍等の病変部に特異的に集積する性質を持つとする。
挿入部２００は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。

挿入部２００は、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光された反射光と蛍光とを異なる光路に分岐するダイクロイックミラー２８０と、分岐された蛍光に含まれる励起光を遮断するバリアフィルタ２７０と、分岐された反射光を検出する第１撮像素子２５０と、バリアフィルタ２７０を通過した蛍光を検出する第２撮像素子２６０を備えている。バリアフィルタ２７０は図３７に示すように、ダイクロイックミラー２８０により反射光から分岐された光のうち、蛍光に相当する波長帯域６６０〜７５０ｎｍの光のみを通過させ、その他の光を遮断する透過率特性を有している。また、第１撮像素子２５０は例えば図４に示すようなＲ，Ｇ，Ｂの分光特性をベイヤ型のカラー撮像素子であり、第２撮像素子２６０は、例えば波長帯域６６０〜７５０ｎｍにおいて比較的高い感度特性を有するモノクロ撮像素子である。

画像処理部３００はＡＤ変換部３１０と、通常光画像取得部３２０と、特殊光画像取得部３３０と、出力画像生成部３４０と、制御部３５０を備えている。制御部３５０は通常光画像取得部３２０、特殊光画像取得部３３０、出力画像生成部３４０に双方向に接続されていて、これらを制御するようになっている。

さらに、制御部３５０は前述の回転フィルタ１３０とも双方向に接続されており、回転フィルタ１３０は制御部３５０からの信号に応じてモータを回転駆動することにより、フィルタＦ１とＦ２を順次切り替えて、照明光を観察対象である体腔内組織に順次照射する。また、制御部３５０は、光路中に配置されているフィルタＦ１,Ｆ２の情報をトリガ信号として、通常光画像取得部３２０、特殊光画像取得部３３０、出力画像生成部３４０に出力するようになっている。

ＡＤ変換部３１０は、第１撮像素子２５０及び第２撮像素子２６０から出力されるアナログ信号をデジタル信号に変換して出力する。

通常光画像取得部３２０は、前述の図７に示すように、通常光画像生成部３２１と通常光画像記憶部３２２を備えている。通常光画像生成部３２１は制御部３５０から送られてくるトリガ信号により、フィルタＦ１が光路中に位置する期間を識別し、フィルタＦ１が光路中に位置する期間内に第１撮像素子から送られてくるアナログ信号から変換されたデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部３２２は、通常光画像生成部３２１から出力された通常光画像を記憶する。

特殊光画像取得部３３０は、前述の図８に示すように、特殊光画像生成部３３１と特殊光画像記憶部３３２を備えている。特殊光画像生成部３３１は制御部３５０から送られてくるトリガ信号により、フィルタＦ２が光路中に位置する期間を識別し、フィルタＦ２が光路中に位置する期間内に第２撮像素子から送られてくるアナログ信号から変換されたデジタル信号に対して画像処理を行い、特殊光画像を生成する。本実施形態では特殊光画像はモノクロの蛍光画像となる。具体的には、薬剤蛍光が集積した病変部から発生する蛍光を取得した画像信号に対して、例えばゲイン調整や階調変換等の処理を行い、モノクロの特殊光画像を生成して出力する。特殊光画像記憶部３３２は、特殊光画像生成部３３１から出力された特殊光画像を記憶する。

図４０は光路中に位置するフィルタの種類と、通常光画像記憶部３２２及び特殊光画像記憶部３３２で記憶される画像を示した図である。まずタイミング１で光路中にフィルタＦ１が挿入される。この時、照射される照明光は白色光であり、通常光画像記憶部３２２には通常光画像がカラー画像として記憶され、特殊光画像記憶部３３２には画像が記憶されない。次にタイミング２で光路中にフィルタＦ２が挿入される。この時、照射される照明光は励起光であり、特殊光画像記憶部３３２には薬剤蛍光が集積した病変部から発生する蛍光がモノクロ画像として記憶され、通常光画像記憶部３２２には画像が記憶されない。通常光画像記憶部３２２と特殊光画像記憶部３３２はそれぞれ複数枚の画像を記憶できるようになっている。

次に、本実施の形態における出力画像生成部３４０の具体的な構成について説明する。図３８は出力画像生成部３４０の構成の一例を説明するブロック図である。出力画像生成部３４０は、注目候補領域検出部３４１と、信頼度算出部３４２と、表示態様設定部３４３と対応付け部３４４を備えている。

本実施の形態に置いては、通常光画像取得部３２０と特殊光画像取得部３３０で通常光画像と特殊光画像が交互に取得されるため、対応付け部３４４はこれらの画像の対応付けを行う。

ここで本実施の形態における対応付け部３４４の処理について具体的に説明する。図３９は通常光画像記憶部３２２に記憶された画像が取得されたタイミングと、特殊光画像部３３２に記憶された画像が取得されたタイミングを示した図である。対応付け部３４４は制御部３５０からの制御信号に従って、通常光画像記憶部３２２と特殊光画像記憶部３３２から、画像が取得されたタイミングの差が最も小さくなる様に対応づけられた通常光画像と特殊光画像を１枚ずつ読み出す。ここでは最初に読み出される画像はタイミング１で取得された通常光画像とタイミング２で取得された特殊光画像であり、次に読み出される画像はタイミング２で取得された特殊光画像とタイミング３で取得された通常光画像である。対応付け部３４４はこのようにして画像の取得と同じタイミング間隔で通常光画像と特殊光画像の両方を取得することができる。

また、対応付け部３４４は既存の対応付け方法を用いて対応付けを行ってもよい。具体的な対応付け方法を図４１、図４２に示す。図４１では、タイミングＴ１で白色光が、タイミングＴ２で励起光が照射される。これによりタイミングＴ１で通常光画像が、タイミングＴ２で特殊光画像が得られる。タイミングＴ２ではさらに第１撮像素子２５０を用いることで通常光画像を取得することも可能である（図４０では不図示）。ここでタイミングＴ１での通常光画像と、タイミングＴ２での通常光画像との間の動きベクトルを算出することで、タイミングＴ１の通常光画像とタイミングＴ２の特殊光画像との対応付けをすることができる。

また、図４２に示すように、タイミングＴ１とタイミングＴ３で照射される白色光から得られた通常光画像の間で、動きベクトルを算出してもよい。このようにすればタイミングＴ２で通常光画像が得られていなくても、動きベクトルを算出することが可能になる。この場合タイミングの間隔ΔＴ１及びΔＴ２を用いることで、タイミングＴ１の通常光画像とタイミングＴ２の特殊光画像との対応付けをすることができる。

その後、対応づけられた通常光画像は表示態様設定部３４３に出力される。また、対応づけられた特殊光画像は注目候補領域検出部３４１と、表示態様設定部３４３に出力される。注目候補領域検出部３４１は、特殊光画像取得部３３０から出力された特殊光画像を用いて注目領域を検出し、注目領域情報を信頼度算出部３４２と表示態様設定部３４３に出力する。信頼度算出部３４２は表示態様設定部３４３に接続される。制御部３５０は、注目候補領域検出部３４１と、信頼度算出部３４２と、表示態様設定部３４３と、対応付け部３４４に双方向に接続されていて、これらを制御するようになっている。また、表示態様設定部３４３は、通常光画像取得部３２０から出力される通常光画像及び特殊光画像取得部３３０から出力される特殊光画像から画像を選択し、表示部４００に画像を出力する。さらに表示態様設定部３４３は、注目候補領域検出部３４１から出力される注目領域情報に基づいて、通常光画像もしくは特殊光画像を加工したうえで表示部４００に画像を出力することもできる。

注目候補領域検出部３４１、信頼度算出部３４２及び表示態様設定部３４３については第１の実施形態、第２の実施形態又は第３の実施形態と同様である。なお、本実施の形態における特殊光画像は前述のようにモノクロの蛍光画像になるため、注目候補領域検出部３４１で使用する特徴量としては、例えば蛍光画像の輝度値を使用すればよい。

本実施の形態においては、２種類の照明光を使用しているが、３種類以上の照明を使用しても問題は無く、例えば図４３に示すような回転フィルタを使用してもよい。ここでフィルタＦ１は白色光、フィルタＦ２はＣｙ５のような蛍光薬剤に対する第１励起光、フィルタＦ３はさらに異なる蛍光薬剤に対する第２励起光をそれぞれ透過するフィルタである。この場合、例えば第１励起光照明時に第２撮像素子で取得される蛍光画像と第２励起光照明時に第２撮像素子で取得される蛍光画像の２種類の蛍光画像から疑似カラー処理を行い、特殊光画像を生成することが出来る。この時、注目候補領域検出部３４１で使用する特徴量としては、例えば第１の実施形態及び第２の実施形態と同様に色相Ｈの値を使用してもよいし、それ以外の輝度・色情報を使用してもよい。なお、この場合にはバリアフィルタを、第１励起光と第２励起光遮断しつつそれぞれの励起光に対する蛍光を透過するような特性に変更する必要がある。

また、本実施の形態では蛍光薬剤を使用したが、例えば従来、ＡＦＩ(Auto Fluorescence Imaging)として知られている技術のように、生体中のコラーゲンから発生する自家蛍光を観察するような構成にしてもよい。この場合は励起光として３９０〜４７０ｎｍの波長帯域の光を使用し、バリアフィルタを４９０〜６２５ｎｍの波長帯域の光を透過するような特性に変更すればよい。さらにこれに加えて、血液中のヘモグロビンに吸収される５４０〜５６０ｎｍの波長帯域の光を照明光として使用し、その反射光画像と前述の自家蛍光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。

さらに、例えば従来、ＩＲＩ(Infra Red Imaging)として知られている技術のように、ＩＣＧを静脈注射した上で２つの赤外光（７９０〜８２０ｎｍ及び９０５〜９７０ｎｍの波長帯域の光）を照明光として使用し、それらの反射光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図３８の出力画像生成部３４０の処理をソフトウェアで実現する場合の処理手順を、図４４のフローチャートを用いて説明する。

本実施の形態では通常光画像と特殊光画像が交互に取得されているため、まずそれぞれの画像を取得したタイミング情報に基づいて前述の方法でこれらの画像の対応付けを行う(Ｓ６１)。次に特殊光画像をメモリに読み込み(Ｓ６２)、この特殊光画像と対応づけられた通常光画像をメモリに読み込む(Ｓ６３)。注目領域検出ステップ(Ｓ６４)及び表示態様決定ステップ(Ｓ６５)は、第１の実施形態、第２の実施形態もしくは第３の実施形態と同様である。そして、すべての画像に対して一連の処理が完了した場合は処理を終了し、未処理の画像が残っている場合は同様の処理を継続する(Ｓ６６)。

以上の本実施形態では、出力画像生成部３４０は、第１の画像を識別する第１の識別情報と、第２の画像を識別する第２の識別情報に基づいて、第１の画像と第２の画像の対応付けを行う対応付け部３４４を含む。

これにより、第１の画像と第２の画像の撮像のタイミングがずれてしまっているときにも、第１の画像と第２の画像の対応付けを明確に行うことが可能になる。対応付けを行う理由としては、注目領域（具体的には病変部）を検出するのは第２の画像であり、画像の加工を行うのは第１の画像であることがあげられる。つまり第１の画像の病変部に対して加工をしたいのに、第１の画像と第２の画像がずれてしまっていたら、見当違いの位置に加工をしてしまうことになりかねない。従って第１の画像と第２の画像が同時に取得できる場合には特に問題にはならないが、本実施形態のようにずれが生じる場合には対応付けを行った方がよいと言える。

また、第１画像取得部は白色光画像を取得し、第２の画像取得部は特定の波長帯域を有する光源を用いた画像を取得する。そして第１の識別情報とは、第１の画像を撮像したタイミングの情報であり、第２の識別情報とは、第２の画像を撮像したタイミングの情報である。その上で対応付け部は、第１の画像の撮像タイミングと第２の画像の撮像タイミングが時間的に近い、第１の画像と第２の画像を対応づける。

これにより、時間的に近い２枚の画像が対応づけられる。具体的には図３９では、タイミング１の通常光画像とタイミング２の特殊光画像、タイミング２の特殊光画像とタイミング３の通常光画像が対応づけられることになる。したがって位置ずれを小さく押さえることが可能になり、第１の画像上で適切な位置を加工することができる。

また、第１の画像および第２の画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、蛍光物質が発する蛍光の波長帯域であってもよい。具体的には４９０ｎｍ〜６２５ｎｍの波長帯域である。

これにより、ＡＦＩと呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという数字は、前述の励起光を照射した際、コラーゲンなどの蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。

また、第１の画像および第２の画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、赤外光の波長帯域であってもよい。具体的には７９０ｎｍ〜８２０ｎｍまたは９０５ｎｍ〜９７０ｎｍの波長帯域である。

これにより、ＩＲＩと呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

以上、本発明を適用した５つの実施の形態１〜５およびその変形例について説明したが、本発明は、各実施の形態１〜５やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜５や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜５や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第１の画像、第２の画像等）と共に記載された用語（通常光画像、特殊光画像等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００光源部、１１０白色光源、１２０集光レンズ、１３０回転フィルタ
２００挿入部、２１０ライトガイドファイバ、２２０照明レンズ、
２３０対物レンズ、２４０ハーフミラー、２５０第１撮像素子、
２６０第２撮像素子、２７０バリアフィルタ、２８０ダイクロイックミラー、
３００画像処理部、３１０ＡＤ変換部、３１０ａＡＤ変換部、
３１０ｂＡＤ変換部、３２０通常光画像取得部、３２１通常光画像生成部、
３２２通常光画像記憶部、３３０特殊光画像取得部、３３１特殊光画像生成部、
３３２特殊光画像記憶部、３３３信号抽出部、３３４マトリクスデータ設定部、
３４０出力画像生成部、３４１注目候補領域検出部、３４２信頼度算出部、
３４３表示態様設定部、３４４対応付け部、３４５優先度設定部、
３５０制御部、４００表示部、５００外部Ｉ／Ｆ部、
６００コンピューターシステム、６１０本体部、６１１ＣＰＵ、６１２ＲＡＭ、６１３ＲＯＭ、６１４ＨＤＤ、６１５ＣＤ−ＲＯＭドライブ、
６１６ＵＳＢポート、６１７Ｉ／Ｏインターフェース、
６１８ＬＡＮインターフェース、６２０ディスプレイ、６２１表示画面、
６３０キーボード、６４０マウス、６５０モデム、６６０ＣＤ−ＲＯＭ、
６７０ＵＳＢメモリ、６８１ＰＣ、６８２サーバ、６８３プリンタ、
３４１１局所領域設定部、３４１２特徴量算出部、３４１３分類部、
３４１４領域設定部、３４３１加工部、３４３２選択部、
３４３１１注目情報設定部、３４３１２合成比設定部、３４３１３領域選出部、
３４３１４領域加工部、３４３１５輝度変換部、
Ｎ１ＬＡＮ／ＷＡＮ、Ｎ３公衆回線

Claims

白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する第２画像取得部と、
前記第２の画像内の画素の特徴量に基づいて、注目すべき領域の候補である注目候補領域を検出する注目候補領域検出部と、
検出された前記注目候補領域が注目領域であることの確からしさを示す信頼度を算出する信頼度算出部と、
算出された前記信頼度に応じて、出力画像の表示態様を設定する処理を行う表示態様設定部と、
を含むことを特徴とする画像処理装置。
請求項１において、
前記表示態様設定部は、
前記第２の画像の前記注目領域に対応する前記第１の画像の対応注目領域の視認性を高める表示態様設定処理を行うことを特徴とする画像処理装置。
請求項１において、
前記表示態様設定部は、
算出された前記信頼度と前記第１の画像に基づいて、前記第１の画像の加工処理を行う加工部を含み、
前記表示態様設定部は、前記加工処理を行うことで前記出力画像の表示態様を設定することを特徴とする画像処理装置。
請求項３において、
前記加工部は、
前記信頼度が高いと判断された前記注目候補領域に対応する、前記第１の画像内の対応注目領域の視認性を高める加工処理を行うことを特徴とする画像処理装置。
請求項３において、
前記加工部は、
前記加工処理として、
前記第１の画像と前記第２の画像との合成処理を行うことを特徴とする画像処理装置。
請求項３において、
前記加工部は、
前記注目候補領域検出部により検出された前記注目候補領域の中から、前記信頼度に基づいて前記注目領域を選出する領域選出部を含むことを特徴とする画像処理装置。
請求項６において、
前記領域選出部は、
前記注目領域の中から、優先度に基づいてアラート領域を選出することを特徴とする画像処理装置。
請求項７において、
前記優先度は、
前記信頼度、画素の特徴量及び注目すべき度合いの少なくとも１つの情報により設定されることを特徴とする画像処理装置。
請求項７において、
前記領域選出部は、
前記アラート領域の上限数に関する情報を保持し、前記アラート領域が前記上限数を超えると予測される場合は、その上限数を超えた分の前記注目領域は前記アラート領域として非設定にすることを特徴とする画像処理装置。
請求項９において、
前記加工部は、
領域加工部を含み、
前記領域加工部は、
前記アラート領域の加工処理の優先度に関する情報をさらに保持し、前記加工処理の優先度が高いアラート領域から順次加工処理を行うことを特徴とする画像処理装置。
請求項１において、
前記信頼度算出部は、
検出された前記注目候補領域のサイズに基づいて、前記信頼度を算出することを特徴とする画像処理装置。
請求項１において、
前記信頼度算出部は、
検出された前記注目候補領域内の画素の特徴量に基づいて、前記信頼度を算出することを特徴とする画像処理装置。
請求項１において、
前記注目候補領域検出部は、
前記第２の画像を複数の局所領域に分割する局所領域設定部と、
前記複数の局所領域の各局所領域内の画素の情報を用いて、前記各局所領域での特徴量を算出する特徴量算出部を含み、
前記注目候補領域検出部は、
算出された前記各局所領域の特徴量に基づいて、前記注目候補領域を検出することを特徴とする画像処理装置。
請求項１において、
前記注目候補領域検出部は、
前記第１の画像を複数の局所領域に分割する局所領域設定部と、
前記複数の局所領域の各局所領域内の画素に対応する、第２の画像内の画素の情報を用いて、前記各局所領域での特徴量を算出する特徴量算出部を含み、
前記注目候補領域検出部は、
算出された前記各局所領域の特徴量に基づいて、前記注目候補領域を検出することを特徴とする画像処理装置。
請求項１３又は１４において、
前記注目候補領域検出部は、
算出された前記各局所領域の特徴量と所与の閾値とを局所領域毎に比較し、比較結果に応じて、複数の局所領域を複数のグループに分類する分類部を含み、
前記注目候補領域検出部は、前記複数のグループのうち少なくとも１つのグループに分類された局所領域と、当該局所領域に隣接する局所領域群を含む領域を前記注目候補領域として検出することを特徴とする画像処理装置。
請求項１において、
前記注目候補領域検出部は、
前記第２の画像に含まれる画素の情報を用いて、各画素の特徴量を算出する特徴量算出部を含み、
前記注目候補領域検出部は、
算出された前記各画素の特徴量に基づいて、注目すべき注目画素を検出し、検出された前記注目画素を少なくとも含む領域を注目候補領域として検出することを特徴とする画像処理装置。
請求項１６において、
前記注目候補領域は、
検出された前記注目画素と、非注目画素の中から選択された画素である選択非注目画素とを含み、
前記非注目画素は、
前記第２の画像に含まれる画素であって前記注目画素として検出されなかった画素であることを特徴とする画像処理装置。
請求項１７において、
前記注目候補領域検出部は、
前記注目画素と前記選択非注目画素により構成される前記注目候補領域が、所定の図形を形成するように、前記選択非注目画素を選択することを特徴とする画像処理装置。
請求項５において、
前記加工部は、
前記信頼度が高いと判断された前記注目候補領域に対応する、前記第１の画像内の前記対応注目領域の視認性を高める輝度変換処理を、合成処理後の画像に対して行うことを特徴とする画像処理装置。
請求項５において、
前記加工部は、
前記注目候補領域検出部により検出された前記注目候補領域の中から、前記信頼度に基づいて前記注目領域を選出し、選出された前記注目領域に対応する前記第１の画像内の対応注目領域を選出する領域選出部を含み、
前記加工部は、
合成処理後の画像の前記対応注目領域以外の領域に対して輝度変換処理を行うことを特徴とする画像処理装置。
請求項２０において、
前記加工部は、
前記対応注目領域以外の領域に含まれる画素の輝度を低減することで、前記輝度変換処理を行うことを特徴とする画像処理装置。
請求項５において、
前記加工部は、
前記信頼度が高いと判断された前記注目候補領域に対応する、前記第１の画像内の前記対応注目領域の視認性を高める合成処理を行うことを特徴とする画像処理装置。
請求項５において、
前記加工部は、
前記注目候補領域検出部により検出された前記注目候補領域の中から、前記信頼度に基づいて前記注目領域を選出し、選出された前記注目領域に対応する前記第１の画像内の対応注目領域を選出する領域選出部を含み、
前記加工部は、
前記対応注目領域において前記第１の画像と前記第２の画像の合成処理を行うことを特徴とする画像処理装置。
請求項２３において、
前記加工部は、
検出された前記注目候補領域に対して、注目すべき度合いを示す注目情報を設定する注目情報設定部と、
設定された前記注目情報が示す注目度合いに応じて、前記注目候補領域内の前記第２の画像の画素の画素値と、前記対応注目領域内の前記第１の画像の画素の画素値との合成比を設定する合成比設定部を含み、
前記加工部は、前記対応注目領域内の前記第１の画像の画素の画素値に対し、前記注目候補領域内の前記第２の画像の画素の画素値を、設定された前記合成比にしたがって合成する合成処理を行うことを特徴とする画像処理装置。
請求項１において、
前記第１の画像を識別する第１の識別情報と、前記第２の画像を識別する第２の識別情報とに基づいて、前記第１の画像と前記第２の画像とを対応付ける対応付け部を含むことを特徴とする画像処理装置。
請求項２５において、
前記第１画像取得部は、
白色光源を用いた撮像により前記第１の画像を取得し、
前記第２画像取得部は、
前記特定の波長帯域を有する光源を用いた撮像により前記第２の画像を取得し、
前記第１の識別情報は、
前記第１の画像を撮像したタイミングの情報であり、
前記第２の識別情報は、
前記第２の画像を撮像したタイミングの情報であり、
前記対応付け部は、
前記第１の画像を撮像したタイミングと前記第２の画像を撮像したタイミングとが時間的に近い前記第１の画像と前記第２の画像とを対応付けることを特徴とする画像処理装置。
請求項１において、
前記特定の波長帯域は、
前記白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
請求項２７において、
前記第１の画像および前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
請求項２８において、
前記波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
請求項１において、
前記第１の画像および前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
請求項３０において、
前記特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする画像処理装置。
請求項１において、
前記第１の画像および前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
請求項３２において、
前記波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする画像処理装置。
請求項１において、
前記第２画像取得部は、
取得された前記第１の画像に基づいて、前記第２の画像を生成することを特徴とする画像処理装置。
請求項３４において、
前記第２画像取得部は、
取得された前記第１の画像から、白色光の波長帯域における信号を抽出する信号抽出部を含み、
前記第２画像取得部は、
抽出された前記信号に基づいて、前記特定の波長帯域における信号を含む前記第２の画像を生成することを特徴とする画像処理装置。
請求項３５において、
前記第２画像取得部は、
前記白色光の波長帯域における信号から、前記特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含み、
前記第２画像取得部は、
設定された前記マトリクスデータを用いて、前記白色光の波長帯域における信号から前記特定の波長帯域における信号を算出して、前記第２の画像を生成することを特徴とする画像処理装置。
請求項１乃至３６のいずれかに記載の画像処理装置を含むことを特徴とする電子機器。
生体内の被写体に対し、白色光を照射する第１の光源と、
生体内の被写体に対し、特定の波長帯域の光を照射する第２の光源と、
前記第１の光源の照射によって、白色光の波長帯域における情報を有した被写体像を含む画像を第１の生体内画像として取得する第１画像取得部と、
前記第２の光源の照射によって、特定の波長帯域における情報を有した被写体像を含む画像を第２の生体内画像として取得する第２画像取得部と、
前記第２の生体内画像内の画素の特徴量に基づいて、注目領域の候補である注目候補領域を検出する注目候補領域検出部と、
検出された前記注目候補領域が前記注目領域であることの確からしさを示す信頼度を算出する信頼度算出部と、
算出された前記信頼度に応じて、出力画像の表示態様を設定する処理を行う表示態様設定部と、
設定された前記表示態様にしたがって前記出力画像を表示する表示部と、
を含むことを特徴とする内視鏡システム。
白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する第２画像取得部と、
前記第２の画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域に対応する出力画像の対応注目領域に、前記注目領域の検出の結果に関する情報を発するアラート領域を表示する処理を行う表示態様設定部と、
を含むことを特徴とする画像処理装置。
白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する第２画像取得部と、
前記第２の画像内の画素の特徴量に基づいて、注目すべき領域の候補である注目候補領域を検出する注目候補領域検出部と、
検出された前記注目候補領域が注目領域であることの確からしさを示す信頼度を算出する信頼度算出部と、
算出された前記信頼度に応じて、出力画像の表示態様を設定する処理を行う表示態様設定部として、
コンピューターを機能させることを特徴とするプログラム。
白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する第２画像取得部と、
前記第２の画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域に対応する出力画像の対応注目領域に、前記注目領域の検出の結果に関する情報を発するアラート領域を表示する処理を行う表示態様設定部として、
コンピューターを機能させることを特徴とするプログラム。