JP5376206B2 - 位置特定システムおよびプログラム - Google Patents

Description

本発明は、位置特定システム、位置特定方法、およびプログラムに関する。本発明は、特に、物体の内部に存在するオブジェクトの位置を特定する位置特定システムおよび位置特定方法、ならびに位置特定システム用のプログラムに関する。

生体内の光伝播が光の波長により異なる性質を利用して、生体の代謝に伴う生体情報を詳細に計測する生体情報計測装置が知られている（例えば、特許文献１参照。）。また、異なる入・出射点の間で吸光度を計測することによって被検体の深さ方向の吸収係数分布を得る光学的測定装置が知られている（例えば、特許文献２参照。）。
特開２００６―２１８０１３号公報 特開平８―３２２８２１号公報

特許文献１および特許文献２の技術では、内部のオブジェクトの深さを簡単に算出することができない。例えば、特許文献１および特許文献２の技術では、異なる検出点で計測しなければならないので、内部の様子を簡単に観察することができない。

上記課題を解決するために、本発明の第１の形態によると、位置特定システムであって、物体の異なる位置にそれぞれ光を照射する光照射部と、異なる位置に照射された光により、物体の内部に存在するオブジェクトの画像をそれぞれ撮像する撮像部と、撮像部が撮像したそれぞれの画像の差に基づいて、オブジェクトが存在する、光照射部からの光が照射された物体の表面からの深さを特定する位置特定部とを備える。

位置特定部は、異なる位置に照射された光により撮像されたオブジェクトの画像の間におけるぼけ量の差に基づいて、深さを特定してよい。位置特定部は、異なる位置に照射された光により撮像されたオブジェクトの画像の間におけるぼけ量の差がより小さい場合に、より深い深さを特定してよい。

位置特定部は、異なる位置に照射された光により撮像されたオブジェクトの画像の間における輝度値の差に基づいて、深さを特定してもよい。位置特定部は、異なる位置に照射された光により撮像されたオブジェクトの画像の間における輝度値の差が小さい場合に、より深い深さを特定してもよい。

光照射部は、オブジェクトの内部のルミネッセンス物質を励起する励起光を照射してよい。撮像部は、励起光によりルミネッセンス物質が発した光により、オブジェクトの画像を撮像してよい。また、撮像部は、光照射部から照射されてオブジェクトが反射した光により、オブジェクトの画像を撮像してもよい。

位置特定部が特定した深さに基づいて、オブジェクトの画像を補正する画像補正部をさらに備えてよい。画像補正部は、位置特定部が特定した深さに基づいて、オブジェクトの画像の広がりを補正してよい。画像補正部は、オブジェクトから物体の表面までの間でオブジェクトからの光が散乱されることによるオブジェクトの画像の広がりを補正してよい。

位置特定部が特定した深さに対応づけて、オブジェクトの画像の広がりを補正する補正値を格納する補正テーブルをさらに備え、画像補正部は、位置特定部が特定した深さおよび補正テーブルが格納している補正値に基づいて、オブジェクトの画像の広がりを補正してよい。位置特定部が特定した深さに応じて、画像補正部により補正されたオブジェクトの画像の表示を制御する表示制御部をさらに備えてよい。表示制御部は、画像補正部により補正されたオブジェクトの画像の明るさまたは色を、位置特定部が特定した深さに応じて変化させてよい。

本発明の第２の形態によると、位置特定方法であって、物体の異なる位置にそれぞれ光を照射する光照射段階と、異なる位置に照射された光により、物体の内部に存在するオブジェクトの画像をそれぞれ撮像する撮像段階と、撮像段階において撮像されたそれぞれの画像の差に基づいて、オブジェクトが存在する、光照射段階において光が照射された物体の表面からの深さを特定する位置特定段階とを備える。

本発明の第３の形態によると、位置特定システム用のプログラムであって、位置特定システムを、物体の異なる位置にそれぞれ光を照射する光照射部、異なる位置に照射された光により、物体の内部に存在するオブジェクトの画像をそれぞれ撮像する撮像部、撮像部が撮像したそれぞれの画像の差に基づいて、オブジェクトが存在する、光照射部からの光が照射された物体の表面からの深さを特定する位置特定部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態の位置特定システム１０の一例を検体２０とともに示す。位置特定システム１０は、物体の内部に存在するオブジェクトの位置を特定する。位置特定システム１０は、内視鏡１００、画像処理部１４０、出力部１８０、光照射部１５０、制御部１０５、およびＩＣＧ注入部１９０を備える。なお、図１において、Ａ部は、内視鏡１００の先端部１０２を拡大して示す。制御部１０５は、撮像制御部１６０および発光制御部１７０を有する。

ＩＣＧ注入部１９０は、ルミネッセンス物質であるインドシアニングリーン（ＩＣＧ）を、この発明における物体の一例である検体２０に注入する。なお、本実施形態においてルミネッセンス物質としてＩＣＧを例示するが、ルミネッセンス物質として、ＩＣＧ以外の蛍光物質を用いてもよい。ＩＣＧは、例えば波長７５０ｎｍの赤外線に励起されて、８１０ｎｍを中心とするブロードなスペクトルの蛍光を発する。

検体２０が生体である場合、ＩＣＧ注入部１９０は、静脈注射によって、生体の血管内にＩＣＧを注入する。位置特定システム１０は、ＩＣＧからのルミネッセンス光により、生体内の血管を撮像する。なお、ルミネッセンス光は、蛍光および燐光を含む。また、物体からの光の一例であるルミネッセンス光は、励起光等の光による光ルミネッセンスの他に、化学ルミネッセンス、摩擦ルミネッセンス、熱ルミネッセンスによるルミネッセンス光を含む。

なお、ＩＣＧ注入部１９０は、例えば制御部１０５による制御によって、生体内のＩＣＧ濃度が略一定に維持されるよう、ＩＣＧを検体２０に注入する。なお、検体２０は、例えば人体等の生体であってよい。なお、検体２０の内部には、オブジェクトの一例である血管等が存在する。本実施形態の位置特定システム１０は、検体２０の表面（器官等の内表面を含む）より深部に存在するオブジェクトの位置（深さ）を検出する。また、位置特定システム１０は、検出した位置に応じて、オブジェクトの画像におけるボケを補正する。

内視鏡１００は、撮像部１１０、ライトガイド１２０、および鉗子口１３０を有する。内視鏡１００の先端部１０２には、撮像部１１０の一部としてのレンズ１１２を有する。また先端部１０２には、ライトガイド１２０の一部としての出射口１２４ａ−ｃ（以下、出射口１２４と総称する場合がある。）を有する。

光照射部１５０は、内視鏡１００の先端部１０２から照射される光を発生する。光照射部１５０で発生する光は、オブジェクトの内部のルミネッセンス物質を励起してルミネッセンス光を発光させる励起光の一例としての赤外線、および検体２０に照射する照射光を含む。照射光には、例えばＲ成分、Ｇ成分およびＢ成分の成分光を含む。

ライトガイド１２０は、例えば光ファイバで構成できる。ライトガイド１２０は、光照射部１５０で発生した光を内視鏡１００の先端部１０２にガイドする。光照射部１５０で発生した光は、出射口１２４から検体２０に照射される。なお、出射口１２４ａ−ｃは、内視鏡１００の先端部１０２から、検体２０の異なる位置にそれぞれ光を照射することができる。なお、本図の例では、出射口１２４ａ−ｃは互いに異なる位置に設けられているが、一の出射口から異なる位置に光が照射されてもよい。

撮像部１１０は、励起光によりルミネッセンス物質が発する光であるルミネッセンス光および照射光がオブジェクトで反射する反射光により、オブジェクトの画像を撮像する。撮像部１１０は、例えばＣＣＤ等の２次元撮像デバイスと光学系とを含んでよく、光学系にはレンズ１１２を含む。ルミネッセンス物質が発する光が赤外線である場合、撮像部１１０は、赤外線画像を撮像できる。オブジェクトへの照射光がＲＧＢの各成分を含む例えば白色光である場合、撮像部１１０は、可視光画像を撮像できる。このように、撮像部１１０は、光照射部１５０から照射されてオブジェクトが反射した光により、オブジェクトの画像を撮像することができる。

なお、オブジェクトからの光としては、オブジェクト内に存在するルミネッセンス物質が発する蛍光または燐光等のルミネッセンス光、あるいはオブジェクトに照射された光が反射した反射光またはオブジェクトを透過した透過光を例示できる。すなわち、撮像部１１０は、オブジェクトの内部のルミネッセンス物質が発した光、オブジェクトから反射した光、またはオブジェクトを透過した光により、オブジェクトの画像を撮像する。

なお、撮像部１１０は、オブジェクトからの光に限らず、種々の方法でオブジェクトを撮像することができる。例えば、撮像部１１０は、Ｘ線、γ線等の電磁放射線、或いはアルファ線等の粒子線を含む放射線を利用してオブジェクトを撮像してよい。また、撮像部１１０は、種々の波長の電磁波、電波、音波を利用してオブジェクトを撮像してよい。

鉗子口１３０には鉗子１３５が挿入され、鉗子口１３０は鉗子１３５を先端部１０２にガイドする。なお、鉗子１３５は、各種の先端形状を備えてよい。なお、鉗子口１３０には、鉗子の他に、生体を処置する種々の処置具が挿入されてよい。ノズル１３８は、水あるいは空気を送出する。

撮像部１１０は、出射口１２４ａ−ｃのそれぞれから照射された光により、オブジェクトの画像をそれぞれ撮像する。画像処理部１４０は、撮像部１１０から取得したそれぞれの画像を処理する。このとき、画像処理部１４０は、撮像部１１０から取得したそれぞれの画像のコントラストの違いに基づいて、オブジェクトの位置を算出する。そして、画像処理部１４０は、オブジェクトの位置に応じてオブジェクトの画像におけるぼけを補正して、出力部１８０に供給する。

出力部１８０は、画像処理部１４０が処理した画像データを出力する。なお、撮像制御部１６０は、撮像部１１０による撮像を制御する。発光制御部１７０は、撮像制御部１６０からの制御を受けて、光照射部１５０を制御する。例えば撮像部１１０が、赤外線および照射光を時分割で撮像する場合に、赤外線および照射光の照射タイミングと撮像部１１０の撮像タイミングとを同期させるよう制御する。

図２は、画像処理部１４０の構成例を示す。画像処理部１４０は、オブジェクト画像取得部２１０、表面画像取得部２１４、画像補正部２２０、補正テーブル２２２、動き特定部２７０、被写体画像生成部２８０、表示制御部２２６、および位置特定部２３０を有する。

オブジェクト画像取得部２１０は、検体２０の内部に存在する血管等のオブジェクトからの光の画像であるオブジェクトの画像を取得する。具体的には、オブジェクト画像取得部２１０は、オブジェクトからの光によって撮像部１１０が撮像した画像を取得する。なお、撮像部１１０は、異なる位置に照射された光により、物体の内部に存在するオブジェクトの画像をそれぞれ撮像する。そして、オブジェクト画像取得部２１０は、撮像部１１０が撮像したそれぞれの画像を取得する。

オブジェクトからの光としてルミネッセンス物質が発するルミネッセンス光を利用する場合、オブジェクト画像取得部２１０が取得するオブジェクトの画像には、物質の表面からルミネッセンス物質を励起する励起光が進入できる深さまでの範囲に存在するオブジェクトが含まれる。内視鏡１００の先端部１０２から照射されるルミネッセンス物質の励起光は、一例として７５０ｎｍの波長を有するから、検体２０の比較的深部（例えば数ｃｍ程度）にまで到達する。

よって、オブジェクト画像取得部２１０が取得するオブジェクトの画像には、検体２０の比較的深部に存在する血管画像を含む。なお、血管画像は、オブジェクトの画像の一例であってよい。なお、励起光が到達することができる深さの範囲に存在するルミネッセンス物質は、当該励起光によって励起されるから、オブジェクト画像取得部２１０が取得するオブジェクトの画像には、励起光が到達できる深さの範囲に存在する血管画像を含む。

位置特定部２３０は、撮像部１１０が撮像したそれぞれの画像におけるオブジェクトの画像の差に基づいて、オブジェクトが存在する、光照射部１５０からの光が照射された物体の表面からの深さを特定する。具体的には、位置特定部２３０は、異なる位置に照射された光により撮像されたオブジェクトの画像の間におけるぼけ量の差に基づいて、深さを特定する。例えば、位置特定部２３０は、異なる位置に照射された光により撮像されたオブジェクトの画像の間におけるぼけ量の差がより小さい場合に、より深い深さを特定することができる。

なお、位置特定部２３０は、異なる位置に照射された光により撮像されたオブジェクトの画像の間における輝度値の差に基づいて、深さを特定してもよい。例えば、位置特定部２３０は、異なる位置に照射された光により撮像されたオブジェクトの画像の間における輝度値の差が小さい場合に、より深い深さを特定することができる。

なお、オブジェクトの画像には、オブジェクトから表面までの物体による散乱によるぼけを含む。画像補正部２２０は、位置特定部２３０が特定した表面からの深さに基づいて、オブジェクトの画像のぼけを補正する。具体的には、画像補正部２２０は、位置特定部２３０が特定した深さに基づいて、オブジェクトの画像の広がりを補正する。より具体的には、画像補正部２２０は、位置特定部２３０が特定した深さに基づいて、オブジェクトの画像の広がりを補正する。さらに具体的には、画像補正部２２０は、オブジェクトから物体の表面までの間でオブジェクトからの光が散乱されることによるオブジェクトの画像の広がりを補正する。

具体的には、補正テーブル２２２は、オブジェクトまでの深さに対応づけて、オブジェクトの画像の広がりを補正する補正値を格納している。そして、画像補正部２２０は、位置特定部２３０が特定したオブジェクトまでの深さおよび補正テーブル２２２が格納している補正値に基づいて、オブジェクトを撮像した画像におけるオブジェクトの画像の広がりを補正する。

表示制御部２２６は、位置特定部２３０が特定した深さに応じて、画像補正部２２０により補正されたオブジェクトの画像の表示を制御する。例えば、表示制御部２２６は、画像補正部２２０により補正されたオブジェクトの画像のそれぞれの明るさまたは色を、位置特定部２３０が特定した深さに応じて変化させる。画像補正部２２０によって補正された画像は出力部１８０に供給されて表示される。

表面画像取得部２１４は、物体の表面の画像である表面画像を取得する。すなわち表面画像取得部２１４は、視認すると同等の画像を取得する。例えば、表面画像取得部２１４は、照射光が物体表面で反射された反射光により撮像部１１０が撮像した画像を、表面画像として取得する。表示制御部２２６は、画像補正部２２０により補正された画像と表面画像とを合成して表示してよい。

なお、撮像部１１０は、オブジェクト画像と表面画像とを、異なるタイミングで撮像してよい。例えば、撮像部１１０は、白色光を照射することにより可視光の表面画像を連続的に撮像しており、所定のタイミングにおいて白色光にかえて励起光を照射することによりオブジェクト画像を撮像してよい。この場合、動き特定部２７０は、励起光を照射したタイミングと、白色光を照射したタイミングとの間におけるオブジェクトの動きを特定する。被写体画像像生成部２８０は、白色光を照射することにより得られた表面画像、および、動き特定部２７０が特定した動きに基づき、励起光を照射したタイミングにおいて得られるべき表面画像を生成する。なお、オブジェクト画像と表面画像とを時分割で撮像する場合における制御部１０５、撮像部１１０、光照射部１５０、動き特定部２７０、および被写体画像像生成部２８０の機能および動作については、図６以降の図面に関連してより詳細に説明する。

なお、位置特定部２３０は、複数のオブジェクトのそれぞれまでの表面からの深さを特定してよい。そして、画像補正部２２０は、複数のオブジェクトのそれぞれまでの深さに基づいて、複数のオブジェクトのそれぞれの画像の広がりを補正してよい。

表示制御部２２６は、複数のオブジェクトのそれぞれまでの深さに応じて、画像補正部２２０により補正された画像の表示を制御してよい。例えば、表示制御部２２６は、画像補正部２２０により補正された画像における複数のオブジェクトのそれぞれの明るさまたは色を、複数のオブジェクトのそれぞれまでの深さに応じて変化させてよい。その他にも、表示制御部２２６は、補正された画像に対応づけて、オブジェクトまでの深さを示す文字等を表示させてもよい。

図３は、撮像部１１０により撮像されたオブジェクトの画像の一例を示す。画像３００ａは、出射口１２４ａから照射された光により撮像部１１０が撮像した画像を示す。なお、出射口１２４ａからの光は、画像上において範囲３５０ａに照射されている。

また、画像３００ｂは、出射口１２４ｂから照射された光により撮像部１１０が撮像した画像を示す。なお、出射口１２４ｂからの光は、画像上において範囲３５０ｂに照射されている。また、画像３００ｃは、出射口１２４ｃから照射された光により撮像部１１０が撮像した画像を示す。なお、出射口１２４ｃからの光は、画像上における範囲３５０ｃに照射されている。

画像３００ａは、血管画像３１０ａおよび血管画像３２０ａを含む。画像３００ｂは、血管画像３１０ｂおよび血管画像３２０ｂを含む。また、画像３００ｃは、血管画像３１０ｃおよび血管画像３２０ｃを含む。なお、血管画像３１０ａ−ｃは、同一の血管の画像を示しており、血管画像３２０ａ−ｃは、当該血管とは異なる同一の血管の画像を示す。

位置特定部２３０は、血管画像３１０ａ−ｃのそれぞれにおける複数の領域毎に、輝度値およびコントラスト値を算出する。本図に示されるように、画像３００ａの中では、範囲３５０ａ内に含まれる領域において最大の輝度値およびコントラスト値が算出される。また、画像３００ｂの中では、範囲３５０ｂ内に含まれる領域において最大の輝度値およびコントラスト値が算出される。また、画像３００ｃの中では、範囲３５０ｃ内に含まれる領域において最大の輝度値およびコントラスト値が算出される。一方、範囲３５０ａ−ｃ外の領域においては、範囲３５０ａ−ｃ内に比べて著しく低い輝度値およびコントラスト値が算出される。

また、位置特定部２３０は、血管画像３２０ａ−ｃのそれぞれにおける複数の領域毎に、輝度値およびコントラスト値を算出する。本図に示されるように、位置特定部２３０は、画像３００ａでは、範囲３５０ａ内において最大の輝度値およびコントラスト値を算出する。しかしながら、血管画像３１０ａと比べると、範囲３５０ａ外の領域における輝度値およびコントラスト値と、範囲３５０ａ内における輝度値およびコントラスト値との違いは小さい。画像３００ｂおよび画像３００ｃにおいても同様に、範囲３５０ｂ内および範囲３５０ｃ内における輝度値およびコントラスト値と、範囲３５０ｂ外および範囲３５０ｃ外における輝度値およびコントラスト値との違いは小さい。

光照射部１５０が異なる位置に照射して撮像した場合における血管画像の輝度値またはコントラスト値の違いがより小さい場合には、血管はより深い位置に存在することが予想される。したがって、本図の例では、血管画像３２０ａ−ｃとして撮像された血管は、血管画像３１０ａ−ｃとして撮像された血管より深い位置に存在することが予想される。このような違いを利用して、位置特定部２３０は、光照射部１５０が異なる位置に照射して撮像した場合における血管画像の輝度値またはコントラスト値の違に基づいて、撮像部１１０が撮像した表面から血管までの、撮像部１１０による撮像方向における深さを算出する。

一例として、位置特定部２３０は、画像３００ａにおいて、範囲３５０ａ外におけるコントラスト値（例えば、範囲３５０ａ外におけるコントラスト値の平均値）に対する、範囲３５０ａ内におけるコントラスト値（例えば、範囲３５０ａ内におけるコントラスト値の平均値）の比率を算出する。そして、位置特定部２３０は、当該比率がより大きいほど、血管画像３１０ａ−ｃが示す血管の位置として、表面からより浅い位置を算出する。

他にも、位置特定部２３０は、画像３００ａにおいて範囲３５０ｂに相等する領域におけるコントラスト値（例えば、当該領域におけるコントラスト値の平均値）に対する、画像３００ｂの範囲３５０ｂ内におけるコントラスト値（例えば、画像３００ｂの範囲３５０ｂ内におけるコントラスト値の平均値）の比率を算出する。そして、位置特定部２３０は、当該比率が大きいほど、血管画像３１０ａ−ｃが示す血管の位置として、表面からより浅い位置を算出してもよい。

なお、位置特定部２３０は、上記比率に対応づけられた深さを予め記憶していてよい。そして、位置特定部２３０は、算出した上記比率と、予め記憶している比率に対応づけて記憶している深さとに基づいて、表面から血管までの深さを算出してよい。

図４は、画像補正部２２０により補正された画像４００の一例を示す。画像補正部２２０は、オブジェクト画像取得部２１０が取得した画像が含むそれぞれの血管画像に対して、位置特定部２３０が算出した血管までの深さに応じて、それぞれの血管画像の広がりを縮小する補正を施す。

一例として、画像補正部２２０は、血管画像３１０ａ−ｃが示す血管の画像に対して広がりを縮小する画像変換を施して、血管画像４１０を得る。具体的には、画像補正部２２０は、血管までの深さをパラメータとして持つ点拡がり関数を記憶している。当該点拡がり関数は、点光源からの光が表面までの間において散乱されることによる点拡がりを示す。画像補正部２２０が、血管までの深さに応じて定まる点拡がり関数の逆フィルタによるフィルタリング処理を、血管画像３１０ａ−ｃが示す血管の画像に対して施すことによって、血管の広がりが補正された血管画像４１０が得られる。

なお、補正テーブル２２２は、補正値の一例としての当該逆フィルタを、オブジェクトまでの深さに対応づけて記憶してよい。また、血管画像３２０ａ−ｃが示す血管についても同様にして、血管画像４２０を得ることができる。

このように、本実施形態の位置特定システム１０によると、鮮明な血管画像４１０および血管画像４２０を得ることができる。なお、表示制御部２２６は、血管画像４１０および血管画像４２０を、深さに応じて濃淡を変えることによって、あるいは色を変えることによって、表面からの深さを出力部１８０に表示させる。なお、表示制御部２２６は、画像補正部２２０によって補正された画像と表面画像取得部２１４が取得した表面画像とを合成して出力部１８０に表示させてよい。具体的には、表示制御部２２６は、画像補正部２２０によって補正された画像と表面画像とを重ね合わせて出力部１８０に表示させてよい。

本実施形態の位置特定システム１０によれば、例えば医師が出力部１８０による表示内容を見つつ手術等を実施するときに、表面観察によっては視認できない内部の血管を示す血管画像４１０および４２０を鮮明に認識できる場合がある。また、医師は内部の血管画像４１０および４２０が示す血管の深さ情報を参照しつつ、手術等を実施できる利点が得られる場合がある。

図５は、先端部１０２の構成の他の一例を示す。出射口１２４ｂおよび出射口１２４ｃが内視鏡１００の側部５１０から突出している点を除いて、図１に説明した内視鏡１００と同一であってよい。なお、出射口１２４ｂおよび出射口１２４ｃは、レンズ１１２および鉗子口１３０等が設けられた内視鏡１００の先端面５００と異なる位置に位置する。

なお、出射口１２４ｂおよび出射口１２４ｃは、出射口１２４ａと同一平面内に位置すべく設けられてよい。そして、光照射部１５０は、出射口１２４ａ−ｃが物体に接した状態で出射口１２４ａ−ｃからそれぞれ光を照射してもよい。

図６は、先端部１０２の構成の更なる他の一例を示す。出射口１２４ａ−ｃは、内視鏡１００の側面６１０に設けられることを除いて、図１に説明した内視鏡１００と同一であってよい。

図７は、撮像部１１０の構成の一例を示す。撮像部１１０は、対物レンズ１１２、撮像デバイス８１０、分光フィルタ部８２０、および受光側励起光カットフィルタ部８３０を有する。撮像デバイス８１０は、第１受光素子８５１ａを含む複数の第１受光素子８５１、第２受光素子８５２ａおよび第２受光素子８５２ｂを含む複数の第２受光素子８５２、第３受光素子８５３ａを含む複数の第３受光素子８５３を含む。

以下に、撮像部１１０が有する構成要素の機能および動作を説明する。以下の説明においては、説明が複雑になることを防ぐべく、複数の第１受光素子８５１を総称して第１受光素子８５１と呼び、複数の第２受光素子８５２を総称して第２受光素子８５２と呼び、複数の第３受光素子８５３を総称して第３受光素子８５３と呼ぶ場合がある。また、複数の第１受光素子８５１、複数の第２受光素子８５２、複数の第３受光素子８５３を総称して、単に受光素子と呼ぶ場合がある。

第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、対物レンズ１１２を通じて供給された被写体からの光を受光する。具体的には、第１受光素子８５１は、特定波長領域の光および特定波長領域と異なる第１波長領域の光を受光する。特徴波長領域としては、ルミネッセンス光の波長領域など、赤外領域を例示することができる。また、第２受光素子８５２は、特定波長領域と異なる第２波長領域の光を受光する。また、第３受光素子８５３は、特定波長領域、第１波長領域、および第２波長領域と異なる、第３波長領域の光を受光する。

なお、第１波長領域、第２波長領域、および第３波長領域は互いに異なる波長領域であって、他の波長領域が含まない波長領域を含む。また、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、所定のパターンで２次元的に配列されている。

分光フィルタ部８２０は、第１波長領域の光、第２波長領域の光、および第３波長領域の光のいずれかの光を通過する複数のフィルタ要素を含む。各フィルタ要素は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３のそれぞれの受光素子に応じて２次元的に配列されている。個々の受光素子は、個々のフィルタ要素が通過した光を受光する。このように、第１受光素子８５１、第２受光素子８５２、第３受光素子８５３は、互いに異なる波長領域の光を受光する。

受光側励起光カットフィルタ部８３０は、被写体と第２受光素子８５２および第３受光素子８５３の間に少なくとも設けられ、励起光の波長領域の光をカットする。そして、第２受光素子８５２および第３受光素子８５３は、被写体からの反射光を受光側励起光カットフィルタ部８３０を通じて受光する。このため、第２受光素子８５２および第３受光素子８５３は、励起光が被写体から反射した反射光を実質的に受光することがない。

なお、受光側励起光カットフィルタ部８３０は、励起光の波長領域の光および特定波長領域の光をカットしてもよい。この場合、第２受光素子８５２および第３受光素子８５３は、一例として被写体からのルミネッセンス光を実質的に受光することがない。

なお、受光側励起光カットフィルタ部８３０は、被写体と第１受光素子８５１との間に設けられてもよい。この場合、被写体と第１受光素子８５１との間に設けられた受光側励起光カットフィルタ部８３０は、特定波長領域の光を透過する。

なお、受光側励起光カットフィルタ部８３０は、分光フィルタ部８２０と同様に、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３のそれぞれの受光素子に応じて２次元的に配列されたフィルタ要素を含んでよい。そして、第１受光素子８５１に光を供給するフィルタ要素は、第１波長領域および特定波長領域の光を少なくとも通過させる。なお、第１受光素子８５１に光を供給するフィルタ要素は、励起光の波長領域の光をカットしてもよい。一方、第２受光素子８５２に光を供給するフィルタ要素は、励起光の波長領域の光および特定波長領域の光をカットし、第２波長領域の光を少なくとも通過させる。また、第３受光素子８５３に光を供給するフィルタ要素は、励起光の波長領域の光および特定波長領域の光をカットし、第３波長領域の光を少なくとも通過させる。

画像処理部１４０は、第１受光素子８５１ａ、第２受光素子８５２ａ、第２受光素子８５２ｂ、および第３受光素子８５３ａが受光した受光量に少なくとも基づいて、１画素の画素値を決定する。すなわち、第１受光素子８５１ａ、第２受光素子８５２ａ、第２受光素子８５２ｂ、および第３受光素子８５３ａの２次元配列構造により一の画素素子が形成され、当該画素素子配列が２次元的に配列されることによって複数の画素素子が形成される。なお、受光素子は、本図に示した配列構造に限られず、多様な配列構造で配列されてよい。

図８は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度特性の一例を示す。線９３０、線９１０、および線９２０は、それぞれ第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度分布を示す。例えば、第１受光素子８５１は、他の受光素子が実質的に感度を有しない６５０ｎｍ近傍の波長の光に感度を有する。また、第２受光素子８５２は、他の受光素子が実質的に感度を有しない４５０ｎｍ近傍の波長の光に感度を有する。また、第３受光素子８５３は、他の受光素子が実質的に感度を有しない５５０ｎｍ近傍の波長の光に感度を有する。

また、第１受光素子８５１は、特定波長領域の一例である赤外領域（例えば、８１０ｎｍ）の光を受光することができる。この分光感度特性は、受光側励起光カットフィルタ部８３０および分光フィルタ部８２０の透過特性および各受光素子の分光感度による。

このように、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、それぞれＲ成分の光、Ｂ成分の光、およびＧ成分の光を受光する。また、第１受光素子８５１は、特定波長領域の一例である赤外領域の光も受光することができる。なお、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、一例としてＣＣＤ、ＣＭＯＳ等の撮像素子であってよい。そして、受光側励起光カットフィルタ部８３０の分光透過率、分光フィルタ部８２０が含むフィルタ要素の分光透過率、および撮像素子自体の分光感度の組合せによって、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３は、それぞれ線９３０、線９１０、および線９２０で示す分光感度特性を持つ。

図９は、光照射部１５０の構成の一例を示す。光照射部１５０は、発光部１０１０および光源側フィルタ部１０２０を有する。発光部１０１０は、励起光の波長領域、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を発光する。本実施形態では、発光部１０１０は、一例としてキセノンランプであってよい。

図１０は、光源側フィルタ部１０２０の構成の一例を示す。図１０は、発光部１０１０から光源側フィルタ部１０２０に光が導かれる方向に見た場合の構造を示す。光源側フィルタ部１０２０は、照射光カットフィルタ部１１２０および励起光カットフィルタ部１１１０を含む。なお、発光制御部１７０は、光源側フィルタ部１０２０の中心軸を中心として、発光部１０１０が発光した光が進む方向に略垂直な面内で、光源側フィルタ部１０２０を回転させる。

励起光カットフィルタ部１１１０は、第１波長領域の光、第２波長領域の光、および第３波長領域の光を通過して、励起光の波長領域の光を実質的にカットする。また、照射光カットフィルタ部１１２０は、励起光の波長領域の光、第２波長領域の光、および第３波長領域の光を通過する。なお、照射光カットフィルタ部１１２０は、第１波長領域の光も実質的にカットすることが望ましい。なお、発光部１０１０からの光は、光源側フィルタ部１０２０の中心軸からずれた位置に導かれる。

したがって、発光部１０１０からの光が励起光カットフィルタ部１１１０に導かれているタイミングでは、発光部１０１０からの光のうち、励起光の波長領域の光は励起光カットフィルタ部１１１０により実質的にカットされ、第１波長領域の光、第２波長領域の光、および第３波長領域の光は励起光カットフィルタ部１１１０を通過する。したがって、このタイミングでは、第１波長領域の光、第２波長領域の光、および第３波長領域の光が実質的に被写体に照射されることになる。

一方、発光部１０１０からの光が照射光カットフィルタ部１１２０に導かれているタイミングでは、発光部１０１０からの光のうち、励起光の波長領域の光、第２波長領域の光、および第３波長領域の光が照射光カットフィルタ部１１２０を通過する。したがって、このタイミングでは、励起光、第２波長領域の光、および第３波長領域の光が実質的に被写体に照射されることになる。

なお、撮像部１１０は、撮像制御部１６０の制御により、可視光である第１波長領域の光、第２波長領域の光、および第３波長領域の光が照射されているタイミングで、照射された光を検体２０が反射した反射光を受光する。そして、表面画像取得部２１４は、撮像部１１０が受光した光の受光量に基づき、表面画像の一例としての可視光による被写体画像を生成する。照射された光が実質的に白色光である場合には、表面画像は白色光画像ということができる。

また、撮像部１１０は、撮像制御部１６０の制御により、励起光、第２波長領域の光、および第３波長領域の光が照射されているタイミングで、被写体の内部のＩＣＧが発したルミネッセンス光と、検体２０による第２波長領域の光および第３波長領域の光の反射光とを受光する。そして、オブジェクト画像取得部２１０は、第１受光素子８５１の受光量に応じた信号を第１受光素子８５１から取得して、第１受光素子８５１が受光したルミネッセンス光の受光量に基づきルミネッセンス光の被写体画像を生成する。また、表面画像取得部２１４は、第２受光素子８５２および第３受光素子８５３からの信号に基づく第２波長領域の光および第３波長領域の光の受光量と、他のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光の受光量とに基づいて可視光の被写体画像を生成する。

図１１は、撮像部１１０による撮像タイミングおよび画像処理部１４０が生成した画像の一例を示す。撮像制御部１６０は、時刻ｔ１２００、ｔ１２０１、ｔ１２０２、ｔ１２０３、・・・において、オブジェクトからの光により撮像部１１０に撮像させる。また、発光制御部１７０は、撮像制御部１６０によるタイミング制御により、時刻ｔ１２００、ｔ１２０１、およびｔ１２０３を含む第１のタイミングにおいて、発光部１０１０が発光した光を励起光カットフィルタ部１１１０を通じて被写体に照射させる。このように、発光制御部１７０による制御により、光照射部１５０は第１のタイミングにおいて、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射する。

そして、撮像制御部１６０は、第１のタイミングにおいて、第１波長領域、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射して被写体から反射した反射光のうち、第１波長領域の光を第１受光素子８５１に受光させ、反射光のうち第２波長領域の光を第２受光素子８５２に受光させ、反射光のうち第３波長領域の光を第３受光素子８５３に受光させる。このように、撮像制御部１６０は、第１のタイミングにおいて、被写体からの第１波長領域の光を第１受光素子８５１に受光させ、被写体からの第２波長領域の光を第２受光素子８５２に受光させ、被写体からの第３波長領域の光を第３受光素子８５３に受光させる。

また、時刻ｔ１２０２を含む第２のタイミングにおいては、発光制御部１７０は、撮像制御部１６０によるタイミング制御により、発光部１０１０が発光した光を照射光カットフィルタ部１１２０を通じて被写体に照射させる。このように、発光制御部１７０による制御により、光照射部１５０は第２のタイミングにおいて、励起光、第２波長領域、および第３波長領域を含む波長領域の光を被写体に照射する。

そして、第２のタイミングにおいては、撮像制御部１６０は、被写体が発光した特定波長領域の光を、第１受光素子８５１に受光させる。すなわち、撮像制御部１６０は、第２のタイミングにおいて、被写体からの特定波長領域の光を第１受光素子８５１に受光させる。

このように、制御部１０５は、第２のタイミングにおいて、第１波長領域の光を被写体に照射せずに、励起光、第２波長領域の光、および第３波長領域の光を被写体に照射して、被写体が発光した特定波長領域の光を第１受光素子８５１に受光させるとともに、被写体から反射した反射光のうち第２波長領域の光を第２受光素子８５２に受光させ、反射光のうち第３波長領域の光を第３受光素子８５３に受光させる。なお、励起光の波長領域は、第１波長領域、第２波長領域、および第３波長領域のいずれとも異なる波長領域であって、第１波長領域、第２波長領域、および第３波長領域に含まれない波長領域を含む。

以上説明したように、制御部１０５は、第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３に受光させる光のスペクトルを制御する。そして、画像処理部１４０は、それぞれのタイミングにおいて受光素子が受光した受光量に基づき、各種の波長領域の光による画像を生成する。

具体的には、表面画像取得部２１４は、時刻ｔ１２００、時刻ｔ１２０１、および時刻ｔ１２０３のそれぞれにより代表されるタイミングにおいて受光素子が受光した受光量に基づいて、被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄを生成する。被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄは、実質的には、白色光を照射した場合に得られる可視光画像とみなすことができる。被写体画像１２２０ａは血管画像１２２２ａおよび血管画像１２２４ａを含み、被写体画像１２２０ｂは血管画像１２２２ｂおよび血管画像１２２４ｂを含み、被写体画像１２２０ｄは血管画像１２２２ｄおよび血管画像１２２４ｄを含む。

なお、被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄは、血管画像の他に、物質の表面の画像である表面像を含む。このように、表面画像取得部２１４は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第１のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および第１のタイミングにおいて第３受光素子８５３が受光した第３波長領域の光により、第１のタイミングにおける被写体の表面画像を生成する。

また、オブジェクト画像取得部２１０は、時刻ｔ１２０２により代表されるタイミングにおいて受光素子が受光した受光量に基づいて、血管画像１２２２ｃ、血管画像１２２４ｃ、および血管画像１２２６ｃを含む被写体画像１２２０ｃを生成する。被写体画像１２２０ｃは、被写体からのルミネッセンス光による被写体の画像とみなすことができる。なお、被写体画像１２２０ｃは、画像補正部２２０による上述のぼけ補正処理の対象の画像となる。

また、被写体画像像生成部２８０は、時刻ｔ１２０１に代表されるタイミングにおいて第１受光素子８５１が受光した受光量、時刻ｔ１２０２に代表されるタイミングにおいて第２受光素子８５２および第３受光素子８５３が受光した受光量に基づいて、血管画像１２３２ｃおよび血管画像１２３４ｃを含む被写体画像１２３０ｃを生成する。被写体画像１２３０ｃは、時刻ｔ１２０２に代表されるタイミングにおいて取得されるべき、可視光による被写体画像とみなすことができる。

このように、画像処理部１４０は、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光により、第２のタイミングにおける可視光による被写体画像を生成する。したがって、画像処理部１４０は、ルミネッセンス光画像を撮像しているタイミングにおいても、可視光による画像を生成することができる。出力部１８０は、被写体画像１２２０ａ、被写体画像１２２０ｂ、被写体画像１２３０ｃ、被写体画像１２２０ｄ、・・・を連続的に表示することによって、コマ落ちのない映像を提供することができる。

検体２０が人体のような赤い血液を含む生体である場合、可視光画像におけるＲ成分の空間周波数成分は、Ｇ成分およびＢ成分の空間周波数成分より小さい場合が多い。このため、Ｒ成分がコマ落ちしたことによる映像の劣化度は、Ｇ成分およびＢ成分がコマ落ちする場合に比べると小さい場合が多い。このため、Ｇ成分およびＢ成分がコマ落ちする場合よりも、映像における見た目のギクシャク感を低減することができる。したがって、位置特定システム１０によると、映像内容として実質的にコマ落ちのない可視光映像を提供することができる場合がある。

上記のように、位置特定システム１０によると、赤外領域の励起光により検体２０から生じた赤外領域のルミネッセンス光により、被写体画像１２２０ｃを撮像することができる。可視光より波長が長い励起光は、可視光に比べて物質によって吸収されにくいので、可視光に比べて物質の深く（たとえば１ｃｍ程度）まで侵入して、検体２０にルミネッセンス光を生じさせる。また、ルミネッセンス光は、励起光よりさらに波長が長いので、物質表面まで達し易い。このため、位置特定システム１０によると、可視光によって得られた被写体画像１２２０ａ、被写体画像１２２０ｂ、および被写体画像１２２０ｄには含まれない、深層の血管画像１２２６ｄを含む被写体画像１２２０ｃを得ることができる。

なお、出力部１８０は、被写体画像１２２０ｃと、被写体画像１２２０ｃが撮像されたタイミングの近傍のタイミングで撮像された被写体画像１２２０ｂまたは被写体画像１２２０ｄとを合成した合成画像を生成して外部に出力してよい。例えば、出力部１８０は当該合成画像を表示してよい。また、出力部１８０は、被写体画像１２２０ｃを、被写体画像１２２０ｂまたは被写体画像１２２０ｄに対応づけて記録してもよい。

また、制御部１０５は、可視光画像を撮像するタイミングでは、発光部１０１０からの光のうち、励起光の波長領域およびルミネッセンス光の波長領域の光をカットして被写体に照射する。このため、位置特定システム１０によると、可視光画像に物質内部の血管画像を含まない、物質表面の観察に適した物質表面の画像を提供することができる。

図１２は、動きが補正された表面画像の生成を説明する図である。図１１の説明においては、説明を簡単にするために、内視鏡１００の先端部１０２の動き、検体２０の動きなど、画像の大きな時間変化をもたらす要因がないものとして、時刻ｔ１２０１のタイミングで第１受光素子８５１の受光量に応じたＲ信号と、時刻ｔ１２０２のタイミングで第２受光素子８５２および第３受光素子８５３の受光量にそれぞれ応じたＢ信号およびＧ信号を多重化して、被写体画像１２３０ｃを生成する処理の一例を説明した。この処理では、内視鏡１００の先端部１０２の動き、検体２０の動きなどに起因して、可視光画像においてＲ信号と他の色の信号との間にずれが生じる場合がある。

図１２および図１３に関連して、上記の動きなどによる可視光画像への影響を補正するための画像処理部１４０の動作および機能、特に動き特定部２７０および被写体画像像生成部２８０の動作を中心に説明する。

動き特定部２７０は、複数のタイミングにおけるＢ信号による画像に基づいて、当該画像におけるオブジェクトの動きを特定する。ここで、オブジェクトの動きは、検体２０自身の動き、内視鏡１００の先端部１０２の動き、撮像部１１０のズーム値の時間変化など、画像の時間変化をもたらす動きを含む。また、内視鏡１００の先端部１０２の動きは、撮像部１１０の撮像位置の時間変化をもたらす先端部１０２の位置の時間変化、撮像部１１０の撮像方向の時間変化をもたらす先端部１０２の向きの時間変化を含む。

ここで、動き特定部２７０は、時刻ｔ１２０１および時刻ｔ１２０２におけるＢ信号の画像に基づいて、オブジェクトの動きを特定する。例えば、動き特定部２７０は、複数の画像からそれぞれ抽出されたオブジェクトをマッチングすることにより、オブジェクトの動きを特定してよい。

被写体画像生成部２８０は、当該動きに基づいて時刻ｔ１２０１のタイミングでのＲ信号を補正して、時刻ｔ１２０２のタイミングで得られるべきＲ信号を生成する。そして、被写体画像生成部２８０は、補正により生成されたＲ信号、時刻ｔ１２０２のタイミングでのＢ信号、時刻ｔ１２０２のタイミングでのＧ信号を多重化して、時刻ｔ１２０２での表面画像を生成する。

画像１３２１ｂは、時刻ｔ１２０１における第１受光素子８５１からのＲ信号の画像とする。画像１３２２ｂおよび画像１３２２ｃは、それぞれ時刻ｔ１２０１および時刻ｔ１２０２における第２受光素子８５２からのＢ信号の画像とする。画像１３２３ｂおよび画像１３２３ｃは、それぞれ時刻ｔ１２０１および時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像とする。

ここでは、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃの画像内容に基づいて動きを特定する。具体的には、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃから、同じ被写体を示すオブジェクトを抽出する。本図の例では、動き特定部２７０は、画像１３２２ｂおよび画像１３２２ｃから、それぞれオブジェクト１３５２ｂおよびオブジェクト１３５２ｃを抽出する。

動き特定部２７０は、オブジェクト１３５２ｂおよびオブジェクト１３５２ｃのそれぞれの位置の差を算出する。本図の例では、説明を簡単にすべく、当該位置の差が画像上のｙ方向に生じているとして、動き特定部２７０は、オブジェクト１３５２ｂの位置とオブジェクト１３５２ｃの位置との位置差Δｙ１を算出する。

被写体画像生成部２８０は、算出した位置差Δｙ１に応じた量だけ画像１３２１ｂをｙ方向にずらすことによって、画像１３２１ｃを生成する。被写体画像生成部２８０は、画像１３２１ｃ、画像１３２２ｃ、画像１３２３ｃを合成することにより、表面画像１３３０ｃを生成する。なお、ここでいう合成は、画像１３２１ｃを示すＲ信号、画像１３２２ｃを示すＢ信号、画像１３２３ｃを示すＧ信号を、所定の重みづけで多重化する処理を含む。

なお、上記の説明では、Ｂ信号の画像１３２２を用いて動きを特定する場合について説明したが、同様にして、Ｇ信号の画像１３２３を用いて動きを特定することもできる。動き特定部２７０が動きを特定するためにいずれの波長領域の画像を用いるかは、撮像された画像のコントラストに基づいて決定してよい。例えば、動き特定部２７０は、コントラストがより大きい画像をより優先して用いて、動きを特定してよい。表面の微細構造の像が明瞭であるなど、微細構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｂ信号の画像を用いて動きをより正確に特定することができる場合がある。また、表面のより大きな凹凸構造の像が明瞭であるなど、凹凸構造の像を動き特定用のオブジェクトとして用いることができる場合には、Ｇ信号の画像を用いて動きをより正確に特定することができる場合がある。

また、被写体画像生成部２８０は、Ｒ信号の画像に対する動きの補正量を、画像領域毎に異ならせてよい。例えば、撮像部１１０の撮像方向が被写体表面に垂直であり、内視鏡１００の先端部１０２が被写体表面に水平に移動しているとすると、オブジェクトの移動量はどの画像領域でも等しいとみなすことができる。一方、例えば撮像部１１０の撮像方向が被写体表面に垂直でない場合には、先端部１０２から遠方の領域が撮像された画像領域における動き量は、先端部１０２に近い領域が撮像された画像領域より動き量が小さくなる場合がある。

被写体画像生成部２８０が、Ｒ信号の画像に対する動きの補正量を画像領域毎に算出するためには、被写体表面と撮像部１１０との間の位置関係が既知または推定できれば、当該位置関係および画像領域の位置に基づいて、動きの補正量を算出することができる。なお、被写体画像生成部２８０は、先端部１０２の位置・向きを制御する制御値、撮像部１１０のズーム値を制御する制御値など、画像の時間変化をもたらす内視鏡１００を操作する制御値を取得して、当該制御値に基づき、Ｒ信号の画像に対する動きの補正量を算出してもよい。

他にも、動き特定部２７０はオブジェクトの動きを画像領域毎に算出してもよい。被写体画像生成部２８０は、画像領域毎のオブジェクトの動きに基づき、各画像領域の画像に対する動きの補正量を算出してもよい。

なお、動き特定部２７０は、画像領域毎に動きを特定する場合には、いずれの波長領域の光による画像を用いて動きを特定するかを、画像領域毎に決定してよい。例えば、動き特定部２７０は、画像領域毎に各画像のコントラストを算出する。そして、動き特定部２７０は、各画像領域について、より大きいコントラストが算出された波長領域の光による複数の画像を他の波長の画像より優先して選択して、選択した複数の画像を用いてオブジェクトの動きを特定してよい。

以上図１１および図１２に関連して説明したように、動き特定部２７０は、第１のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光による画像、および、第２のタイミングにおいて複数の第２受光素子８５２が受光した第２波長領域の光による画像に基づいて、第１のタイミングおよび第２のタイミングの間における画像上のオブジェクトの動きを特定する。そして、被写体画像生成部２８０は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および動きに基づいて、第２のタイミングにおける表面画像を生成する。

図１３は、動きが補正された表面画像の生成の他の例を説明する図である。本図で説明する例では、動き特定部２７０は、時刻ｔ１２００のタイミングで得られたＲ信号の画像１４２１ａおよび時刻ｔ１２０１のタイミングで得られたＲ信号の画像１４２１ｂを用いて、オブジェクトの動きを特定する。図１２に関連して説明した方法と同様に、動き特定部２７０は、画像１４２１ａおよび画像１４２１ｂから、同じ被写体を示すオブジェクトを抽出する。本図の例では、動き特定部２７０は、画像１４２１ａおよび画像１４２１ｂから、それぞれオブジェクト１４５１ａおよびオブジェクト１４５１ｂを抽出する。

そして、動き特定部２７０は、オブジェクト１４５１ａおよびオブジェクト１４５１ｂのそれぞれの位置の差を算出する。本図の例でも、説明を簡単にすべく当該位置差が画像上のｙ方向に生じているとして、動き特定部２７０は、オブジェクト１４５１ａの位置とオブジェクト１４５１ｂの位置との位置差Δｙ２を算出する。そして、図１２に関連して説明した方法と同様に、被写体画像生成部２８０は、算出した位置差Δｙ２に応じた量だけ画像１４２１ｂをｙ方向にずらすことによって、画像１４２１ｃを生成する。被写体画像像生成部２８０は、画像１４２１ｃ、時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像である画像１４２２ｃ、および、時刻ｔ１２０２における第３受光素子８５３からのＧ信号の画像である画像１４２３ｃを合成することにより、表面画像１４３０ｃを生成する。

なお、上記においては画像１４２１ａおよび画像１４２１ｂを用いて動きを特定したが、動き特定部２７０は、画像１４２１ｂと、時刻ｔ１２０３で得られたＲ信号の画像を用いて、動きを特定してもよい。このように、動き特定部２７０は、動きが補正されたＲ信号の画像を生成する対象時刻である時刻ｔ１２０１の前後の時刻のタイミングを含む複数のタイミングで得られた画像から、動きを特定してよい。可視光画像の表示をある程度遅延させることが許容できる場合には、後のタイミングの画像も用いることで、動きの特定精度をより高めることができる場合がある。

以上図１３に関連して説明したように、動き特定部２７０は、第１のタイミングを含む第２のタイミング以外の複数のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光による複数の画像に基づいて、複数のタイミングの間における画像上のオブジェクトの動きを特定する。そして、被写体画像生成部２８０は、第１のタイミングにおいて第１受光素子８５１が受光した第１波長領域の光、第２のタイミングにおいて第２受光素子８５２が受光した第２波長領域の光、および動きに基づいて、第２のタイミングにおける表面画像を生成する。

なお、図１２および図１３に関連して、動きの特定処理の一例として、動き特定部２７０が２のタイミングで撮像された画像を用いて動きを特定する処理を説明したが、動き特定部２７０は、３以上のタイミングで撮像された画像を用いて動きを特定してもよい。また、動き特定部２７０は、Ｂ信号の画像およびＧ信号の画像に加えて、さらにＲ信号の画像の中から、動きを特定するために用いる波長領域の画像を、画像領域毎に選択することができる。

なお、オブジェクト画像補正部２２０は、被写体画像１２２０ｃに対して上述のぼけ補正処理を施す場合に、動き特定部２７０が特定した動きに基づき、被写体画像１２２０ｃに含まれる血管画像１２２２ｃおよび血管画像１２２４ｃが、他の被写体画像１２２０に含まれる血管画像１２２２および血管画像１２２４のいずれに対応しているかを特定することができる。

また、第２受光素子８５２および第３受光素子８５３は、当該ルミネッセンス光の波長領域の光に感度を有しており、時刻ｔ１２０２に代表されるタイミングにおいて、被写体からのルミネッセンス光を受光してよい。この場合、分光フィルタ部８２０、および受光側励起光カットフィルタ部８３０は、ルミネッセンス光の波長領域の光を透過してよい。

この場合、オブジェクト画像取得部２１０は、第１受光素子８５１、第２受光素子８５２、第３受光素子８５３のうち、近傍の複数の受光素子からの画像信号を加算する画素加算処理をすることにより、オブジェクト画像を生成してよい。なお、受光素子からの画像信号とは、各受光素子の受光量に応じた電荷量を示す信号であってよい。当該電荷量を示す信号は、各受光素子の受光量に応じたアナログ信号であってよく、アナログ信号をＡ／Ｄ変換して得られたデジタル信号であってもよい。いずれの画素加算処理によっても、信号成分を増加することができる。一方、画素加算処理によるランダムなノイズ成分の増加量は、画素加算処理による信号成分の増加量に比べて小さい。このため、画素加算しない場合に比べて、Ｓ／Ｎ比を向上することができる。

また、動き特定部２７０は、図１２および図１３に関連して説明した方法と同様にして、時刻ｔ１２０２に代表されるタイミング以外の複数のタイミングで得られたＲ信号、Ｇ信号、またはＢ信号のいずれかを用いて動きを特定することができる。そして、被写体画像像生成部２８０は、当該動きに基づき、時刻ｔ１２０２に代表されるタイミング以外のタイミングで得られた可視光の被写体画像を補正することにより、時刻ｔ１２０２に代表されるタイミングにおいて得られるべき可視光の被写体画像を生成することができる。

なお、上記の説明において、光照射部１５０の構成として、可視光の波長領域および励起光の波長領域を含む光を発光することができる一の光源および回転フィルタを用いた構成を例示した。その他にも、光照射部１５０は、異なる波長領域の光を発光する複数の発光素子の発光を制御することにより、励起光を含む光および可視光を時分割で発光することもできる。例えば、可視光領域の光を発光する発光素子としてはＬＥＤなどの半導体素子を例示することができる。また、励起光を発光する発光素子としては、半導体レーザなどの半導体素子を例示することができる。また、励起されて蛍光などのルミネッセンス光を発光する蛍光体を、発光素子として用いることもできる。

なお、発光制御部１７０は、複数の発光素子のそれぞれの発光強度を各タイミングで制御することにより、励起光を含む光および可視光を時分割で発光することもできる。「複数の発光素子のそれぞれの発光強度を各タイミングで制御する」とは、発光させる発光素子の組み合わせを各タイミングで異ならせる制御を含む。

また、発光素子は、内視鏡１００の先端部１０２に設けられてもよい。なお、発光素子は、電気励起により発光する発光素子であってよく、光励起により発光する発光素子であってもよい。発光素子が光励起により発光する発光素子である場合、光照射部１５０は、当該発光素子を励起する励起用の光を発光する励起部と、当該発光素子とを含んでよい。ここで当該発光素子は、励起用の光の波長に応じて異なるスペクトルの光を発光してよい。この場合、発光制御部１７０は、当該励起部が発光する励起用の光の波長を各タイミングで制御することにより、照射光のスペクトルを制御することができる。また、同一の励起用の光により各発光素子が発光する光のスペクトルが、複数の発光素子の間で異なってもよい。また、励起用の光のうち、当該発光素子を透過した光が、照射光として被写体に照射されてもよい。

なお、上記の説明においては、撮像部１１０において受光側に分光フィルタ部８２０を有する構成を例に挙げて説明した。その他の構成としては、撮像部１１０は分光フィルタ部８２０を有してなくてよい。この場合、光照射部１５０は、Ｒの波長領域の光、Ｇの波長領域の光、Ｂの波長領域の光、励起光の波長領域の光を時分割で照射してよい。可視光が照射されているタイミングにおける複数の受光素子からの信号を多重化することにより、表面画像取得部２１４は可視光の被写体画像を生成することができる。また、オブジェクト画像取得部２１０は、励起光が照射されているタイミングにおける受光素子からの信号によりルミネッセンス光の被写体画像を生成することができる。

なお、Ｒの波長領域の光、Ｇの波長領域の光、Ｂの波長領域の光、励起光の波長領域の光を時分割で照射するための光照射部１５０の構成としては、上述したような可視光および励起光の波長領域を含む波長領域の光を発光することができる一以上の光源と、各波長領域の光を主として選択的に透過する複数のフィルタ部を有する回転フィルタを用いた構成を用いることができる。その他にも、上述したような異なる波長領域の光を発光する複数の発光素子の発光を制御する構成を用いることもできる。

また、各波長領域の光を時分割で照射する構成においても、動き特定部２７０は、図１２および図１３に関連して説明した方法と同様にして、複数のタイミングにおけるいずれかの色成分の画像信号を用いて動きを特定することができる。そして、被写体画像像生成部２８０は、例えばＲの波長領域の光が照射されているタイミングにおけるＲ信号の画像および当該動きに基づき、Ｒの波長領域の光が照射されていない他のタイミングにおいて得られるべきＲ信号の画像を生成することができる。Ｇの波長領域の光が照射されていないタイミングにおけるＧ信号の画像、Ｂの波長領域の光が照射されていないタイミングにおけるＢ信号の画像についても同様にして生成することで、被写体画像像生成部２８０は、各タイミングにおいて得られるべき可視光の表面画像を生成することができる。

図１４は、本実施形態に係る位置特定システム１０のハードウェア構成の一例を示す。本実施形態に係る位置特定システム１０は、ＣＰＵ周辺部、入出力部、およびレガシー入出力部を備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、位置特定システム１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、位置特定システム１０が起動時に実行するブート・プログラム、位置特定システム１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される通信プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。通信プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して位置特定システム１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。位置特定システム１０にインストールされて実行される通信プログラムは、ＣＰＵ１５０５等に働きかけて、位置特定システム１０を、図１から図１３にかけて説明した位置特定システム１０が備える各構成要素として機能させる。例えば、当該プログラムは、位置特定システム１０を、図１から図１３にかけて説明した撮像部１１０、画像処理部１４０、出力部１８０、光照射部１５０、制御部１０５、および画像処理部１４０等として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本実施形態の位置特定システム１０の一例を検体２０とともに示す図である。 画像処理部１４０の構成例を示す図である。 撮像部１１０により撮像されたオブジェクトの画像の一例を示す図である。 画像補正部２２０により補正された画像４００の一例を示す図である。 内視鏡１００の先端部１０２における他の構成例を示す図である。 内視鏡１００の先端部１０２における更なる他の構成例を示す図である。 撮像部１１０の構成の一例を示す図である。 第１受光素子８５１、第２受光素子８５２、および第３受光素子８５３の分光感度特性の一例を示す図である。 光照射部１５０の構成の一例を示す図である。 光源側フィルタ部１０２０の構成の一例を示す図である。 撮像部１１０による撮像タイミングおよび画像処理部１４０が生成した画像の一例を示す図である。 動きが補正された表面画像の生成を説明する図である。 動きが補正された表面画像の生成の他の例を説明する図である。 本実施形態に係る位置特定システム１０のハードウェア構成の一例を示す。

符号の説明

１０ 位置特定システム
２０ 検体
１００ 内視鏡
１０２ 先端部
１０５ 制御部
１１０ 撮像部
１１２ レンズ
１２０ ライトガイド
１２４ 出射口
１３０ 鉗子口
１３５ 鉗子
１３８ ノズル
１４０ 画像処理部
１５０ 光照射部
１６０ 撮像制御部
１７０ 発光制御部
１８０ 出力部
１９０ ＩＣＧ注入部
２１０ オブジェクト画像取得部
２１４ 表面画像取得部
２２０ 画像補正部
２２２ 補正テーブル
２２６ 表示制御部
２３０ 位置特定部
３００ 画像
３１０、３２０ 血管画像
３５０ 範囲
４００ 画像
４１０、４２０ 血管画像
８２０ 分光フィルタ部
８３０ 受光側励起光カットフィルタ部
８５１ 第１受光素子
８５２ 第２受光素子
８５３ 第３受光素子
９３０、９１０、９２０ 線
１０１０ 発光部
１０２０ 光源側フィルタ部
１１１０ 励起光カットフィルタ部
１１２０ 照射光カットフィルタ部
１１１０ 励起光カットフィルタ部
１０２０ 光源側フィルタ部
１２２０、１２３０ 被写体画像
１２２２、１２２４、１２２６、１２３２、１２３４ 血管画像
１３２１、１３２１、１３２２、１３２３ 画像
１３３０ 表面画像
１３５２ オブジェクト
１４２１、１４２２、１４２３ 画像
１４３０ 表面画像
１４５１ オブジェクト
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (14)

1. 物体の異なる位置にそれぞれ光を照射する光照射部と、
   前記異なる位置に照射された光により、前記物体の内部に存在するオブジェクトの画像をそれぞれ撮像する撮像部と、
   前記異なる位置に照射された光により前記撮像部が撮像した前記オブジェクトの画像の間におけるぼけ量の差に基づいて、前記オブジェクトが存在する、前記光照射部からの光が照射された前記物体の表面からの深さを特定する位置特定部と
   を備える位置特定システム。
2. 前記位置特定部は、前記異なる位置に照射された光により撮像された前記オブジェクトの画像の間におけるぼけ量の差がより小さい場合に、より深い前記深さを特定する
   請求項１に記載の位置特定システム。
3. 物体の異なる位置にそれぞれ光を照射する光照射部と、
   前記異なる位置に照射された光により、前記物体の内部に存在するオブジェクトの画像をそれぞれ撮像する撮像部と、
   前記異なる位置に照射された光により前記撮像部が撮像した前記オブジェクトの画像の間における輝度値の差に基づいて、前記オブジェクトが存在する、前記光照射部からの光が照射された前記物体の表面からの深さを特定する位置特定部と
   を備える位置特定システム。
4. 前記位置特定部は、前記異なる位置に照射された光により撮像された前記オブジェクトの画像の間における輝度値の差が小さい場合に、より深い前記深さを特定する
   請求項３に記載の位置特定システム。
5. 物体の異なる位置にそれぞれ光を照射する光照射部と、
   前記異なる位置に照射された光により、前記物体の内部に存在するオブジェクトの画像をそれぞれ撮像する撮像部と、
   前記異なる位置に照射された光により前記撮像部が撮像した画像の間における、前記オブジェクトが撮像されている領域の像の差に基づいて、前記オブジェクトが存在する、前記光照射部からの光が照射された前記物体の表面からの深さを特定する位置特定部と
   を備える位置特定システム。
6. 前記光照射部は、前記オブジェクトの内部のルミネッセンス物質を励起する励起光を照射し、
   前記撮像部は、前記励起光により前記ルミネッセンス物質が発した光により、前記オブジェクトの画像を撮像する
   請求項１から５のいずれか一項に記載の位置特定システム。
7. 前記撮像部は、前記光照射部から照射されて前記オブジェクトが反射した光により、前記オブジェクトの画像を撮像する
   請求項１から５のいずれか一項に記載の位置特定システム。
8. 前記位置特定部が特定した前記深さに基づいて、前記オブジェクトの画像を補正する画像補正部
   をさらに備える請求項１から７のいずれか一項に記載の位置特定システム。
9. 前記画像補正部は、前記位置特定部が特定した前記深さに基づいて、前記オブジェクトの画像の広がりを補正する
   請求項８に記載の位置特定システム。
10. 前記画像補正部は、前記オブジェクトから前記物体の表面までの間で前記オブジェクトからの光が散乱されることによる前記オブジェクトの画像の広がりを補正する
    請求項９に記載の位置特定システム。
11. 前記位置特定部が特定した前記深さに対応づけて、前記オブジェクトの画像の広がりを補正する補正値を格納する補正テーブル
    をさらに備え、
    前記画像補正部は、前記位置特定部が特定した前記深さおよび前記補正テーブルが格納している補正値に基づいて、前記オブジェクトの画像の広がりを補正する
    請求項９または１０に記載の位置特定システム。
12. 前記位置特定部が特定した前記深さに応じて、前記画像補正部により補正されたオブジェクトの画像の表示を制御する表示制御部
    をさらに備える請求項８から１１のいずれか一項に記載の位置特定システム。
13. 前記表示制御部は、前記画像補正部により補正されたオブジェクトの画像の明るさまたは色を、前記位置特定部が特定した前記深さに応じて変化させる
    請求項１２に記載の位置特定システム。
14. コンピュータを、請求項１から１３のいずれか一項に記載の位置特定システムとして機能させるためのプログラム。

Images