JP7015384B2 - 医療画像処理システム - Google Patents

Description

本発明は、短波長の狭帯域光により観察対象を照明し、カラーの撮像センサにより観察対象の撮像を行う医療画像処理システムに関する。

医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像センサで撮像して得られるＲＧＢ画像信号に基づいて、観察対象の画像をモニタ上に表示する。

また、撮像素子としては、Ｇ画素、Ｂ画素、Ｒ画素の画素数の比率が２：１：１であるベイヤー配列のＲＧＢの撮像センサの他、Ｂ画素、Ｇ画素、Ｒ画素に加えて、白色光などの広帯域光に感度を有するＷ画素が設けられたＲＧＢＷの撮像センサが用いられつつある。ＲＧＢＷの撮像センサにおいては、ベイヤー配列のＲＧＢの撮像センサと同様に、デモザイク化処理を行うことによって、各画素位置において３色のＲＧＢ画像信号を生成するようにしている（例えば、特許文献１、２）。

特許第５１４１７５７号 特開２０１１－５５０３８公報

近年の内視鏡診断においては、表層血管や赤血球など特定の構造を観察するために、中心波長が４１０ｎｍ、４５０ｎｍ前後の短波長の狭帯域光が観察対象の照明に用いられつつある。このような短波長の狭帯域光が照明された観察対象を、ＲＧＢの撮像センサやＲＧＢＷの撮像センサのようなカラーの撮像センサによって撮像する場合、短波長の狭帯域光に感度を有するＢ画素の画素数は、短波長の狭帯域光にほとんど感度を有しない他の画素の画素数と比較して少ないため、カラー撮像センサにより得られる画像は、デモザイク化処理後は、解像度が低下してしまう。そこで、白色光のような広帯域光を用いた場合に得られる画像の画質を維持しつつ、短波長の狭帯域光を用いた場合に得られる画像についても解像度を維持又は向上させることが求められていた。

本発明は、白色光のような広帯域光を用いた場合に得られる画像の画質を維持しつつ、短波長の狭帯域光を用いた場合に得られる画像についても解像度を維持又は向上させることができる医療画像処理システムを提供することを目的とする。

本発明の医療画像処理システムは、短波長の特定狭帯域光を発する光源部と、特定狭帯域光で照明された観察対象を撮像する撮像センサであって、第１画素を含む第１画素群と、第２画素と第３画素を少なくとも含む第２画素群とを備える撮像センサとを備え、第１画素は第２画素よりも特定狭帯域光への感度が高く、第２画素は、特定狭帯域光よりも長波の第１長波光と前記特定狭帯域光に対して感度を有し、第３画素は、特定狭帯域光及び第１長波光を含む広帯域の照明光に感度を有し、第２画素の感度のうち、特定狭帯域光を含む短波長の光に対する短波長側感度は、第２画素の最高感度の３５％以下、又は、第１画素の短波長側感度の３５％以下である。第２画素の感度のうち、特定狭帯域光を含む短波長の光に対する短波長側感度は、第２画素の最高感度の１０％以上、又は、第１画素の短波長側感度の１０％以上であることが好ましい。

本発明の医療画像処理システムは、短波長の特定狭帯域光を発する光源部と、特定狭帯域光で照明された観察対象を撮像する撮像センサであって、第１画素を含む第１画素群と、第２画素と第３画素を少なくとも含む第２画素群とを備える撮像センサとを備え、第１画素は第２画素よりも特定狭帯域光への感度が高く、第２画素は、特定狭帯域光よりも長波の第１長波光と前記特定狭帯域光に対して感度を有し、第３画素は、特定狭帯域光及び第１長波光を含む広帯域の照明光に感度を有し、第３画素の感度は、第１画素又は第２画素の最高感度に対して、３０％以上５０％以下である。

本発明の医療画像処理システムは、短波長の特定狭帯域光を発する光源部と、特定狭帯域光で照明された観察対象を撮像する撮像センサであって、第１画素を含む第１画素群と、第２画素と第３画素を少なくとも含む第２画素群とを備える撮像センサとを備え、第１画素は第２画素よりも特定狭帯域光への感度が高く、第２画素は、特定狭帯域光よりも長波の第１長波光と前記特定狭帯域光に対して感度を有し、第３画素は、特定狭帯域光及び第１長波光を含む広帯域の照明光に感度を有し、第２画素の画素位置における第１画素の画素値は、第３画素の画素値との相関に基づくデモザイク化処理により、算出される。デモザイク化処理は、撮像センサから出力される画像信号に対して画像ぼけ削減処理が施された画像ぼけ削減処理済みの信号を取得し、第３画素に対応する位置にフィルタ係数を有する第１平滑化フィルタを、画像信号に掛け合わせることによって、第１平滑化フィルタ済みの成分を取得し、第２画素が特定位置に位置する特定の画素領域毎に施される第２平滑化フィルタであって、特定の画素領域のうち第１画素に対応する位置にフィルタ係数を有する第２平滑化フィルタを、画像信号に掛け合わせることによって、第２平滑化フィルタ済みの成分を取得し、第２画素の画素位置における第１画素の画素値は、画像ぼけ削減処理済みの信号、第１平滑化フィルタ済みの成分、及び第２平滑化フィルタ済みの成分に基づいて算出されることが好ましい。

第２画素群は第４画素を含み、第４画素は、第１長波光よりも長波の第２長波光と前記特定狭帯域光に対して感度を有することが好ましい。第４画素の感度のうち、特定狭帯域光を含む短波長の光に対する短波長側感度は、第４画素の最高感度の１０％以上、又は、第１画素の短波長側感度の１０％以上であることが好ましい。第４画素の感度のうち、特定狭帯域光を含む短波長の光に対する短波長側感度は、第４画素の最高感度の３５％以下、又は、第１画素の短波長側感度の３５％以下であることが好ましい。

第４画素の画素位置における第１画素の画素値は、第３画素の画素値との相関に基づくデモザイク化処理により、算出されることが好ましい。デモザイク化処理は、撮像センサから出力される画像信号に対して画像ぼけ削減処理が施された画像ぼけ削減処理済みの信号を取得し、第３画素に対応する位置にフィルタ係数を有する第１平滑化フィルタを、画像信号に掛け合わせることによって、第１平滑化フィルタ済みの成分を取得し、第４画素が特定位置に位置する特定の画素領域に対して施される第３平滑化フィルタであって、特定の画素領域のうち第１画素に対応する位置にフィルタ係数を有する第３平滑化フィルタを、画像信号に掛け合わせることによって、第３平滑化フィルタ済みの成分を取得し、第４画素の画素位置における第１画素の画素値は、画像ぼけ削減処理済みの信号、第１平滑化フィルタ済みの成分、及び第３平滑化フィルタ済みの成分に基づいて算出されることが好ましい。

第２画素群の画素数は第１画素群の画素数よりも多いことが好ましい。特定狭帯域光の中心波長は４００ｎｍ以上４５０ｎｍ以下に含まれ、特定狭帯域光の半値幅は４０ｎｍ以下であることが好ましい。

本発明によれば、白色光のような広帯域光を用いた場合に得られる画像の画質を維持しつつ、短波長の狭帯域光を用いた場合に得られる画像についても解像度を維持又は向上させることができる。

内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのスペクトルを示すグラフである。 短波長の特定狭帯域光のスペクトルを示すグラフである。 撮像センサに設けられたＲ画素（Ｒ）、Ｇ画素（Ｇ）、Ｂ画素（Ｂ）、Ｗ画素（Ｗ）を示す説明図である。 本実施形態の撮像センサが有するＢフィルタ、Ｇフィルタ、Ｒフィルタの分光透過率を示すグラフである。 短波長の特定狭帯域光を食道に照明した場合のＢ画素及びＧ画素の受光強度を示す説明図である。 短波長の特定狭帯域光を食道に照明した場合のＢ画素及びＲ画素の受光強度を示す説明図である。 通常光を観察対象に照明した場合のＷ画素及びＧ画素の受光強度を示す説明図である。 通常光を食道に照明した場合のＷ画素及びＲ画素の受光強度を示す説明図である。 画像信号のうち特定位置ＳＰに位置するＧ画素を示す説明図である。 低周波成分ｍＷの算出方法を示す説明図である。 低周波成分ｍＢｘの算出方法を示す説明図である。 低周波成分ｍＢｙの算出方法を示す説明図である。 通常のＲＧＢ撮像センサが有するＢフィルタ、Ｇフィルタ、Ｒフィルタの分光透過率を示すグラフである。

図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。なお、ユーザーインターフェース１９は図示したキーボードの他、マウスなどが含まれる。

また、操作部１２ｂには、アングルノブ１２ｅの他、モード切替ＳＷ１３ａ、静止画取得指示部１３ｂが設けられている。モード切替ＳＷ１３ａは、通常観察モードと、特殊観察モードと、短波長観察モードとの切替操作に用いられる。通常観察モードは、白色光などの通常光（図９、図１０参照）により観察対象の照明を行って、通常画像をモニタ１８上に表示するモードである。特殊観察モードは、青色狭帯域光などの特殊光により観察対象の照明を行って、特定深さの血管などの構造を強調した特殊観察画像をモニタ１８上に表示するモードである。短波長観察モードは、観察対象の照明に短波長の特定狭帯域光（後述の紫色光Ｖに対応する）を用いることによって、短波長の特定狭帯域光で観察可能な構造物を表す短波長観察画像をモニタ１８上に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替ＳＷ１３ａの他に、フットスイッチを用いてもよい。

プロセッサ装置１６は、モニタ１８及びユーザーインターフェース１９と電気的に接続される。モニタ１８は、画像情報等を出力表示する。ユーザーインターフェース１９は、機能設定等の入力操作を受け付けるUI（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。

図２に示すように、光源装置１４は、光源部２０と、光源制御部２１と、光路結合部２３とを有している。光源部２０は、V-LED（Violet Light Emitting Diode）２０ａ、B-LED（Blue Light Emitting Diode）２０ｂ、G-LED（Green Light Emitting Diode）２０ｃ、R-LED（Red Light Emitting Diode）２０ｄを有している。光源制御部２１は、ＬＥＤ２０a～２０ｄの駆動を制御する。光路結合部２３は、４色のLED２０a～２０ｄから発せられる４色の光の光路を結合する。光路結合部２３で結合された光は、挿入部１２a内に挿通されたライトガイド４１及び照明レンズ４５を介して、被検体内に照射される。なお、LEDの代わりに、LD（Laser Diode）を用いてもよい。

図３に示すように、V-LED２０ａは、中心波長が４００ｎｍ以上４５０ｎｍ（例えば、４０５ｎｍ）に含まれ、且つ、半値幅が４０ｎｍ以下である紫色光Ｖを発生する。B-LED２０ｂは、中心波長が４５０ｎｍ以上５００ｎｍ以下（例えば、４６０ｎｍ）に含まれ、且つ、半値幅が４０ｎｍ以下である青色光Ｂを発生する。G-LED２０ｃは、波長範囲が４８０～６００nmに及ぶ緑色光Ｇを発生する。R-LED２０ｄは、中心波長６２０～６３０nmで、波長範囲が６００～６５０nmに及ぶ赤色光Ｒを発生する。

光源制御部２１は、通常観察モード及び特殊観察モードにおいて、V-LED２０ａ、B-LED２０ｂ、G-LED２０ｃ、及びR-LED２０ｄを点灯する制御を行う。また、光源制御部２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。また、光源制御部２１は、特殊観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。特殊光は、特定深さの血管などの構造を強調できることが好ましい。また、光源制御部２１は、図４に示すように、短波長観察モード時には、短波長の特定狭帯域光である紫色光Ｖを発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。

なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。

また、光源制御部２１は、プロセッサ装置１６の明るさ情報算出部５４から送られる明るさ情報に基づいて、各ＬＥＤ２０ａ～２０ｄから発せられる照明光の発光量を制御する。

図２に示すように、ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、光路結合部２３で結合された光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３～０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部１２ｄには、照明光学系３０aと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、この照明レンズ４５を介して、ライトガイド４１からの光が観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６及び撮像センサ４８を有している。観察対象からの反射光は、対物レンズ４６を介して、撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の反射像が結像される。

撮像センサ４８はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ４８は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ

(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像センサ４８は、Ｒ（赤）、Ｇ（緑）Ｂ（青）、及びＷ（白）の４色のＲＧＢＷ画像信号を得るためのカラーの撮像センサである。即ち、撮像センサ４８は、図５に示すように、Ｒフィルタが設けられたＲ画素（第４画素）、Ｇフィルタが設けられたＧ画素（第２画素）、Ｂフィルタが設けられたＢ画素（第１画素）、及びＷフィルタが設けられたＷ画素（第３画素）を備えている。なお、撮像センサ４８は２つの第１画素群と第２画素群に分けられ、第２画素群の画素数は第１画素群の画素数よりも多くなっている。第１画素群にはＢ画素が含まれ、第２画素群にはＧ画素、Ｒ画素、Ｗ画素が含まれる。

撮像センサ４８において、Ｗ画素は市松模様となるように配列されている。また、短波長観察モード時において撮像センサ４８で得られる信号に対しては、解像度を向上させるために、後述のデモザイク化処理に示すように、Ｇ画素にも特定狭帯域光への感度を一定以上持たせて、Ｗ画素とＧ画素の相関を用いることによって、Ｇ画素位置においても特定狭帯域光の信号が得られるようにしている。同様にして、Ｒ画素にも特定狭帯域光への感度を一定以上持たせて、Ｗ画素とＲ画素の相関を用いることによって、Ｒ画素位置においても特定狭帯域光の信号が得られるようにしている。

以上のように、短波長の特定狭帯域光の照明時に、Ｇ画素位置で特定狭帯域光の信号を得るためには、図６に示すように、Ｇ画素については、５００ｎｍ～６００ｎｍの緑色帯域の光（第１長波光）に対する感度だけでなく、短波長の特定狭帯域光を含む短波長の光（４００ｎｍ～４５０ｎｍ）に対する短波長側感度も有するように、Ｇフィルタの透過率を設定する。これにより、図７に示すように、特定狭帯域光とＧフィルタの透過率と部位別反射率（図７の場合であれば「食道」の反射率を用いる。胃、大腸の反射率は点線で表示。）を掛け合わせた場合には、Ｇ画素の受光強度として、特定狭帯域光の波長域に対応する受光強度が得られる。なお、Ｂ画素の受光強度は、特定狭帯域光とＢフィルタの透過率（４００ｎｍ～５００ｎｍの青色帯域）と部位別反射率を掛け合わせて得られ、Ｇ画素の受光強度の強度値の一定倍となっている。

なお、Ｇ画素で得られる信号値が小さいとノイズの影響が大きくなり、デモザイク化処理後の画像の画質が悪化するため、例えば、Ｇ画素の短波長側感度については、４００～４５０ｎｍにおいてＧ画素の最高感度の１０％以上とすることが好ましい。即ち、Ｇフィルタにおいて、４００～４５０ｎｍの透過率を、Ｇ画素の最高感度に対応する波長範囲（例えば、５４０～５６０ｎｍ）の透過率の１０％以上とすることが好ましい。もしくは、Ｇ画素の短波長側感度については、Ｂ画素の短波長側感度の１０％以上とすることが好ましい。即ち、Ｇフィルタにおいて、４００～４５０ｎｍの透過率を、Ｂフィルタの４００～４５０ｎｍの透過率の１０％以上とすることが好ましい。なお、Ｇ画素の最高感度とは、Ｇカラーフィルタの透過率が一定以上（例えば、７０％）である波長域の光に対する感度のことをいう。Ｒ画素の最高感度についても同様である。

一方、Ｇ画素の短波長側感度が高くなりすぎると、通常画像における色再現性が低下するため、Ｇ画素の短波長側感度については、４００～４５０ｎｍにおいてＧ画素の最高感度の３５％以下とすることが好ましい。即ち、Ｇフィルタにおいて、４００～４５０ｎｍの透過率を、Ｇ画素の最高感度に対応する波長範囲（例えば、５４０～５６０ｎｍ）の透過率の３５％以下とすることが好ましい。もしくは、Ｇ画素の短波長側感度については、Ｂ画素の短波長側感度の３５％以下とすることが好ましい。即ち、Ｇフィルタにおいて、４００～４５０ｎｍの透過率を、Ｂフィルタの４００～４５０ｎｍの透過率の３５％以下とすることが好ましい。

また、短波長の特定狭帯域光の照明時に、Ｒ画素位置で特定狭帯域光の信号を得るためには、図６に示すように、Ｒ画素については、６００ｎｍ～７００ｎｍの赤色帯域の光（第２長波光）に対する感度だけでなく、短波長の特定狭帯域光を含む短波長（波長帯域は４５０ｎｍ以下であり、例えば４００ｎｍ～４５０ｎｍ）の光に対する短波長側感度も有するように、Ｒフィルタの透過率を設定する。これにより、図８に示すように、特定狭帯域光とＲフィルタの透過率と部位別反射率（図８の場合であれば「食道」の反射率を用いる。胃、大腸の反射率は点線で表示。）を掛け合わせた場合には、Ｒ画素の受光強度として、特定狭帯域光の波長域に対応する受光強度が得られる。なお、Ｂ画素の受光強度は、上記と同様に、Ｇ画素の受光強度の一定倍となっている。

ただし、Ｒ画素で得られる信号値が小さいとノイズの影響が大きくなり、デモザイク化処理後の画像の画質が悪化するため、例えば、Ｒ画素の短波長側感度については、４００～４５０ｎｍにおいてＲ画素の最高感度の１０％以上とすることが好ましい。即ち、Ｒフィルタにおいて、４００～４５０ｎｍの透過率を、Ｒ画素の最高感度に対応する波長範囲（例えば、６４０～６６０ｎｍ）の透過率の１０％以上とすることが好ましい。もしくは、Ｒ画素の短波長側感度については、Ｂ画素の短波長側感度の１０％以上とすることが好ましい。即ち、Ｒフィルタにおいて、４００～４５０ｎｍの透過率を、Ｂフィルタの４００～４５０ｎｍの透過率の１０％以上とすることが好ましい。

一方、Ｒ画素の短波長側感度が高くなりすぎると、通常画像における色再現性が低下するため、Ｒ画素の短波長側感度については、４００～４５０ｎｍにおいてＲ画素の最高感度の３５％以下とすることが好ましい。即ち、Ｒフィルタにおいて、４００～４５０ｎｍの透過率を、Ｒ画素の最高感度に対応する波長範囲（例えば、６４０～６６０ｎｍ）の透過率の３５％以下とすることが好ましい。もしくは、Ｒ画素の短波長側感度については、Ｂ画素の短波長側感度の３５％以下とすることが好ましい。即ち、Ｒフィルタにおいて、４００～４５０ｎｍの透過率を、Ｂフィルタの４００～４５０ｎｍの透過率の３５％以下とすることが好ましい。

撮像センサ４８において、Ｗ画素については、短波長の特定狭帯域光、緑色帯域の光、赤色帯域の光を含むように、青色帯域から赤色帯域に至るまでの広帯域光の照明光に分光感度を有していることから、Ｂ画素、Ｇ画素、Ｒ画素など他の画素と比較して、画素値の飽和が速い。したがって、Ｗ画素の感度は、Ｂ画素、Ｇ画素、Ｒ画素など他の画素の感度よりも低く設定されている。具体的には、Ｗ画素の感度は、Ｂ画素の最高感度（例えば、４４０～４６０ｎｍの感度）又はＧ画素の最高感度（例えば、５４０～５６０ｎｍの感度）に対して、３０％～５０％とすることが好ましい。

例えば、Ｗ画素とＧ画素との感度に関する関係においては、図９に示すように、通常光の光源スペクトルとＷフィルタの透過率とを掛け合わせて得られるＷ画素の受光強度が、通常光の光源スペクトルとＧフィルタの透過率とを掛け合わせて得られるＧ画素の受光強度の５０％程度（例えば、４５％～５５％）となるように、Ｗフィルタの透過率を設定する。もしくは、Ｗ画素とＢ画素との感度に関する関係においては、図１０に示すように、通常光の光源スペクトルとＷフィルタの透過率とを掛け合わせて得られるＷ画素の受光強度が、通常光の光源スペクトルとＢフィルタの透過率と食道の反射率とを掛け合わせて得られるＢ画素の受光強度の５０％程度（例えば、４５％～５５％）となるように、Ｗフィルタの透過率を設定する。

なお、撮像センサ４８としては、ＲＧＢＷのカラーの撮像センサの代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換する必要がある。また、撮像センサ４８はカラーフィルタを設けていないモノクロ撮像センサであっても良い。

図２に示すように、撮像センサ４８から出力される画像信号は、ＣＤＳ・ＡＧＣ回路５０に送信される。ＣＤＳ・ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ・ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）５２により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。

プロセッサ装置１６は、画像取得部５３と、明るさ情報算出部５４と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、画像処理部６０と、パラメータ切替部６２と、表示制御部６４とを備えている。

画像取得部５３は、内視鏡１２において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡１２からのデジタルのカラー画像信号が画像取得部５３に入力される。カラー画像信号は、撮像センサ４８のＲ画素から出力されるＲ画像信号と、撮像センサ４８のＧ画素から出力されるＧ画像信号と、撮像センサ４８のＢ画素から出力されるＢ画像信号と、撮像センサ４８のＷ画素から出力されるＷ画像信号から構成されるＲＧＢＷ画像信号である。明るさ情報算出部５４は、画像取得部５３から入力されるＲＧＢＷ画像信号に基づいて、観察対象の明るさを示す明るさ情報を算出する。算出した明るさ情報は光源制御部２１に送られ、照明光の発光量の制御に用いられる。

ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、又はガンマ変換処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。

リニアマトリクス処理後の画像信号には、デモザイク化処理部５６ａにおいて、デモザイク化処理（等方化処理、同時化処理とも言う）が施される。通常観察モードと特殊観察モードにおいては、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。なお、ＲＧＢＷ画像信号を得るためのカラーの撮像センサを用いる場合のデモザイク処理については、例えば、特開２０１１－５５０３８号公報に記載の方法を用いることができる。

短波長観察モードでは、短波長の特定狭帯域光のみが観察対象に照明されるが、通常のＲＧＢの撮像センサ（Ｒ画素、Ｇ画素、Ｂ画素からなる撮像センサ）の分光感度は、図１５に示すように、Ｇフィルタ及びＲフィルタは特定狭帯域においてほとんど透過率を有さず、Ｇ画素及びＲ画素は特定狭帯域光に感度がほとんどない。このため、短波長の特定狭帯域光に基づいて得られる短波長観察画像は、特定狭帯域光に感度を有するＢ画素及びＷ画素から信号が得られるのみで、Ｇ画素とＲ画素からはほとんど信号が得られない。このためＷ画素との相関に基づくデモザイク処理を行っても、解像度の高い短波長観察画像は得られない。しかし、本実施形態に示すように、特定狭帯域光に対する感度をＧ画素とＲ画素に持たせることで、Ｇ画素とＲ画素からも特定狭帯域光に対応する一定の信号が得られるようになり、Ｗ画素との相関に基づくデモザイク処理により、解像度の高い短波長観察画像が得られる。

なお、以下において、短波長観察モードにて、Ｂ画素及びＷ画素から得られる信号と、Ｗ画素との相関に基づくデモザイク処理により、Ｇ画素とＲ画素から得られる信号については、特定狭帯域光に対応する一定の信号を有していることから、それぞれの信号を短波長観察信号という。

短波長観察モードにおけるデモザイク化処理では、Ｗ画素の画素値との相関に基づき、短波長観察信号として、Ｇ画素位置におけるＢ画素の画素値を算出し、且つ、短波長観察信号として、Ｒ画素位置におけるＢ画素の画素値を算出する。これにより、Ｇ画素位置及びＲ画素位置においても、特定狭帯域光に対応する信号値を有するようになるため、短波長観察画像の解像度を向上させることができる。

Ｗ画素の画素値との相関に基づくデモザイク化処理により、短波長観察信号として、Ｇ画素位置におけるＢ画素の画素値を算出する方法については、以下のとおりである。例えば、図１１に示すように、撮像センサ４８から出力される画像信号８０において、特定位置ＳＰにあるＧ画素位置のＢ画素の画素値Ｂｄを算出する場合には、画像信号８０に含まれる離散的なＷ画素信号に対して、近傍のＷ画素値に応じた方向判別補間によって全画素位置におけるＷ画素値を算出し、算出されたＷ画素値に対してウィナーフィルタ処理によって画像ぼけを削減する画像ぼけ削減処理を行い、画像ぼけ削減処理後のＷ画素信号（＝Ｗｄ）（画像ぼけ削減処理済みの信号）を算出する。次に、図１２に示すように、５×５の画素領域（特定の画素領域）の画素値に対して、第１平滑化フィルタ８２を掛け合わせることにより、低周波成分ｍＷ（第１平滑化フィルタ済みの成分）を得る。第１平滑化フィルタ８２は、画像信号８０のうちＷ画素がある位置に対して、フィルタ係数（「１」や「２」など）を設けている。

次に、図１３に示すように、５×５の画素領域の画素値に対して、第２平滑化フィルタ８４を掛け合わせることにより、低周波成分ｍＢｘ（第２平滑化フィルタ済みの成分）を得る。第２平滑化フィルタ８４は、Ｇ画素が特定位置ＳＰに位置する５×５の画素領域毎に施されるフィルタであって、画像信号８０のうちＢ画素がある位置に対して、フィルタ係数（「１」）を設けている。この第２平滑化フィルタ８４では、特定位置ＳＰに近い位置のＢ画素の画素値を均等に取得する設定としたフィルタ係数設定が行われている。そして、以下の式Ｘ）により、Ｇ画素位置におけるＢ画素の画素値Ｂｄを算出する。

式Ｘ）Ｂｄ＝（ｍＢｘ／ｍＷ）×Ｗｄ

Ｗ画素の画素値との相関に基づくデモザイク化処理により、短波長観察信号として、Ｒ画素位置におけるＢ画素の画素値を算出する方法については、以下のとおりである。上記の場合と同様に、ぼけ補正ホワイト（Ｗ）信号（＝Ｗｄ）と、低周波成分ｍＷを取得する。そして、図１４に示すように、５×５の画素領域の画素値に対して、第３平滑化フィルタ８６を掛け合わせることにより、低周波成分ｍＢｙ（第３平滑化処理済みの成分）を取得する。第３平滑化フィルタ８６は、Ｒ画素が特定位置ＳＰに位置する５×５の画素領域毎に施されるフィルタであって、画像信号８０のうちＢ画素がある位置に対して、フィルタ係数（「１」）を設けている。そして、以下の式Ｙ）により、Ｒ画素位置におけるＢ画素の画素値Ｂｄを算出する。

式Ｙ）Ｂｄ＝（ｍＢｙ／ｍＷ）×Ｗｄ

ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施された画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、ＲＧＢ画像信号からノイズを除去する。ノイズが除去された画像信号は、画像処理部６０に送信される。

画像処理部６０は、各観察モードに対応する画像処理を行う。画像処理の方法としては、例えば、各観察モードに対応する階調処理や彩度強調などの画像処理パラメータを用意しておき、各観察モードに応じて画像信号に掛け合わせる方法がある。通常観察モードの場合であれば、通常観察モード用パラメータをＲＧＢ画像信号に掛け合わせ、特殊観察モードの場合でれば、特殊観察モード用パラメータをＲＧＢ画像信号に掛け合わせる。また、短波長観察モードの場合であれば、短波長観察モード用パラメータをＢ画像信号に掛け合わせる。以上の通常観察モード用パラメータ、特殊観察モード用パラメータ、及び短波長観察用パラメータは、モード切替ＳＷ１３ａのモード切替に伴って、パラメータ切替部６２により切り替えられる。

表示制御部６４は、画像信号から入力された画像信号を、モニタ１８で表示可能な画像として表示するための制御を行う。通常観察モードの場合であれば、Ｒ画像信号をモニタ１８のＲチャンネルに、Ｇ画像信号をモニタ１８のＧチャンネルに、Ｂ画像信号をモニタ１８のＢチャンネルに割り当てることによって、通常画像をモニタ１８に表示する。また、特殊光観察モードの場合であれば、Ｇ画像信号をモニタ１８のＲチャンネルに、Ｂ画像信号をモニタ１８のＧチャンネル及びＢチャンネルに割り当てることによって、特殊観察画像をモニタ１８に表示する（割り当てる際には、階調処理、彩度強調を行うことが好ましい）。一方、短波長観察モードの場合であれば、短波長観察信号をモニタ１８のＲ、Ｇ、Ｂの各チャンネルに割り当てて、短波長観察画像をモニタ１８に表示する。短波長観察信号を割り当てる際には、短波長観察画像にＲ、Ｇ、Ｂの各チャンネル用のゲイン等を掛け合わせてから各チャンネルに割り当てる。これにより、短波長の特定狭帯域光で観察可能な構造物が表された短波長観察画像を、グレー画像よりも、血管などの構造の視認性が良い特定背景色を持つ画像としてモニタ１８に表示することができる。

なお、上記実施形態では、短波長観察モードにおけるデモザイク化処理は、Ｇ画素位置及びＲ画素位置におけるＢ画素の画素値（Ｂ画像信号）を算出するようにしているが、通常観察モード又は特殊観察モードと同様にして、各画素位置においてＲ画素、Ｇ画素、Ｂ画素の画素値をそれぞれ算出するようにしてもよい。

上記実施形態において、画像取得部５３、明るさ情報算出部５４、ＤＳＰ５６、ノイズ除去部５８、画像処理部６０、パラメータ切替部６２、表示制御部６４など、プロセッサ装置１６に含まれる処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）

チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。

１０ 内視鏡システム

１２ 内視鏡

１２ａ 挿入部

１２ｂ 操作部

１２ｃ 湾曲部

１２ｄ 先端部

１２ｅ アングルノブ

１３ａ モード切替ＳＷ１３ｂ 静止画取得指示部

１４ 光源装置

１６ プロセッサ装置

１８ モニタ

１９ ユーザーインターフェース

２０ 光源部

２０ａ Ｖ-ＬＥＤ（Ｖｉｏｌｅｔ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）

２０ｂ Ｂ-ＬＥＤ（Ｂｌｕｅ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）

２０ｃ Ｇ-ＬＥＤ（Ｇｒｅｅｎ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）

２０ｄ Ｒ-ＬＥＤ（Ｒｅｄ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）

２１ 光源制御部

２３ 光路結合部

３０ａ 照明光学系

３０ｂ 撮像光学系

４１ ライトガイド

４５ 照明レンズ

４６ 対物レンズ

４８ 撮像センサ

５０ ＣＤＳ・ＡＧＣ回路

５２ Ａ／Ｄ５３ 画像取得部

５４ 明るさ情報算出部

５６ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）

５６ａ デモザイク化処理部

５８ ノイズ除去部

６０ 画像処理部

６２ パラメータ切替部

６４ 表示制御部

８０ 画像信号

８２ 第１平滑化フィルタ

８４ 第２平滑化フィルタ

８６ 第３平滑化フィルタ

Claims (12)

1. 短波長の特定狭帯域光を発する光源部と、
   前記特定狭帯域光で照明された観察対象を撮像する撮像センサであって、第１画素を含む第１画素群と、第２画素と第３画素を少なくとも含む第２画素群とを備える撮像センサとを備え、
   前記第１画素は前記第２画素よりも前記特定狭帯域光への感度が高く、
   前記第２画素は、前記特定狭帯域光よりも長波の第１長波光と前記特定狭帯域光に対して感度を有し、
   前記第３画素は、前記特定狭帯域光及び第１長波光を含む広帯域の照明光に感度を有し、
   前記第２画素の感度のうち、前記特定狭帯域光を含む短波長の光に対する短波長側感度は、前記第２画素の最高感度の３５％以下、又は、前記第１画素の前記短波長側感度の３５％以下である医療画像処理システム。
2. 短波長の特定狭帯域光を発する光源部と、
   前記特定狭帯域光で照明された観察対象を撮像する撮像センサであって、第１画素を含む第１画素群と、第２画素と第３画素を少なくとも含む第２画素群とを備える撮像センサとを備え、
   前記第１画素は前記第２画素よりも前記特定狭帯域光への感度が高く、
   前記第２画素は、前記特定狭帯域光よりも長波の第１長波光と前記特定狭帯域光に対して感度を有し、
   前記第３画素は、前記特定狭帯域光及び第１長波光を含む広帯域の照明光に感度を有し、
   前記第３画素の感度は、前記第１画素又は前記第２画素の最高感度に対して、３０％以上５０％以下である医療画像処理システム。
3. 短波長の特定狭帯域光を発する光源部と、
   前記特定狭帯域光で照明された観察対象を撮像する撮像センサであって、第１画素を含む第１画素群と、第２画素と第３画素を少なくとも含む第２画素群とを備える撮像センサとを備え、
   前記第１画素は前記第２画素よりも前記特定狭帯域光への感度が高く、
   前記第２画素は、前記特定狭帯域光よりも長波の第１長波光と前記特定狭帯域光に対して感度を有し、
   前記第３画素は、前記特定狭帯域光及び第１長波光を含む広帯域の照明光に感度を有し、
   前記第２画素の画素位置における前記第１画素の画素値は、前記第３画素の画素値との相関に基づくデモザイク化処理により、算出される医療画像処理システム。
4. 前記第２画素の感度のうち、前記特定狭帯域光を含む短波長の光に対する短波長側感度は、前記第２画素の最高感度の１０％以上、又は、前記第１画素の前記短波長側感度の１０％以上である請求項１記載の医療画像処理システム。
5. 前記デモザイク化処理は、
   前記撮像センサから出力される画像信号に対して画像ぼけ削減処理が施された画像ぼけ削減処理済みの信号を取得し、
   前記第３画素に対応する位置にフィルタ係数を有する第１平滑化フィルタを、前記画像信号に掛け合わせることによって、第１平滑化フィルタ済みの成分を取得し、
   前記第２画素が特定位置に位置する特定の画素領域毎に施される第２平滑化フィルタであって、前記特定の画素領域のうち前記第１画素に対応する位置にフィルタ係数を有する第２平滑化フィルタを、前記画像信号に掛け合わせることによって、第２平滑化フィルタ済みの成分を取得し、
   前記第２画素の画素位置における前記第１画素の画素値は、前記画像ぼけ削減処理済みの信号、前記第１平滑化フィルタ済みの成分、及び前記第２平滑化フィルタ済みの成分に基づいて算出される請求項３記載の医療画像処理システム。
6. 前記第２画素群は第４画素を含み、
   前記第４画素は、前記第１長波光よりも長波の第２長波光と前記特定狭帯域光に対して感度を有する請求項１ないし５いずれか１項記載の医療画像処理システム。
7. 前記第４画素の感度のうち、前記特定狭帯域光を含む短波長の光に対する短波長側感度は、前記第４画素の最高感度の１０％以上、又は、前記第１画素の前記短波長側感度の１０％以上である請求項６記載の医療画像処理システム。
8. 前記第４画素の感度のうち、前記特定狭帯域光を含む短波長の光に対する短波長側感度は、前記第４画素の最高感度の３５％以下、又は、前記第１画素の前記短波長側感度の３５％以下である請求項６または７記載の医療画像処理システム。
9. 前記第４画素の画素位置における前記第１画素の画素値は、前記第３画素の画素値との相関に基づくデモザイク化処理により、算出される請求項６ないし８いずれか１項記載の医療画像処理システム。
10. 前記デモザイク化処理は、
    前記撮像センサから出力される画像信号に対して画像ぼけ削減処理が施された画像ぼけ削減処理済みの信号を取得し、
    前記第３画素に対応する位置にフィルタ係数を有する第１平滑化フィルタを、前記画像信号に掛け合わせることによって、第１平滑化フィルタ済みの成分を取得し、
    前記第４画素が特定位置に位置する特定の画素領域に対して施される第３平滑化フィルタであって、前記特定の画素領域のうち前記第１画素に対応する位置にフィルタ係数を有する第３平滑化フィルタを、前記画像信号に掛け合わせることによって、第３平滑化フィルタ済みの成分を取得し、
    前記第４画素の画素位置における前記第１画素の画素値は、前記画像ぼけ削減処理済みの信号、前記第１平滑化フィルタ済みの成分、及び前記第３平滑化フィルタ済みの成分に基づいて算出される請求項９記載の医療画像処理システム。
11. 前記第２画素群の画素数は前記第１画素群の画素数よりも多い請求項１ないし１０いずれか１項記載の医療画像処理システム。
12. 前記特定狭帯域光の中心波長は４００ｎｍ以上４５０ｎｍ以下に含まれ、前記特定狭帯域光の半値幅は４０ｎｍ以下である請求項１ないし１１いずれか１項記載の医療画像処理システム。

Images