WO2016104368A1 - 内視鏡システム及び画像処理方法 - Google Patents

Abstract

　内視鏡システム１は、挿入部４と、前方視野画像FVを取得する前方観察窓１２と、側方視野画像SVを取得する側方観察窓１３と、撮像素子４０と、ビデオプロセッサ３２を有する。ビデオプロセッサ３２の位置ずれ補正部６５は、撮像素子４０において前方視野画像FVが結像される部分FVaと、側方視野画像SVが結像される部分SVaとの位置関係を検出してずれ量データを生成し、境界補正部６６は、ずれ量データに基づき、部分FVaに設けた画像中心点CFと部分SVaに設けた画像中心点CSと合わせて前方視野画像FV及び側方視野画像SVとを配置した画像信号を生成する。

Description

内視鏡システム及び画像処理方法

　本発明は、内視鏡システム及び画像処理方法に関し、特に、前方視野及び側方視野を独立してかつ同時に観察することが可能な内視鏡システム及び画像処理方法に関するものである。

　被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成する画像処理装置等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。

　また、内視鏡システムには、病変部の見落とし防止等のために、広い視野で被検体を観察可能なものもある。例えば、日本特開２０１３－６６６４８号公報には、前方視野画像と側方視野画像と同時に取得し、表示部に表示可能な内視鏡が開示されている。

　しかし、例えば、上述した日本特開２０１３－６６６４８号公報に開示の内視鏡においては、撮像ユニットを組み立てる際に、対物光学系のレンズあるいは撮像素子を固定する枠の加工精度または組み立て時のばらつき等により、前方視野画像と側方視野画像の光学系間でずれが生じ、円形の前方視野画像の中心と円環状の側方視野画像の中心がずれてしまう場合がある。

　前方視野画像と側方視野画像の中心がずれると、モニタに表示された前方視野画像と側方視野画像は、内視鏡画像を見る者に違和感を生じさせるという問題がある。

　そこで、本発明は、前方視野画像と側方視野画像の光学系間でずれがあっても、表示部に同時に表示された前方視野画像と側方視野画像にユーザが違和感を感じさせない内視鏡システム及び画像処理方法を提供することを目的とする。

　本発明の一態様の内視鏡システムは、被写体の内部に挿入される挿入部と、前記挿入部に設けられ、前記被写体の第１の領域から第１の被写体像を取得する第１の被写体像取得部と、前記挿入部に設けられ、前記第１の領域とは異なる前記被写体の第２の領域から第２の被写体像を取得する第２の被写体像取得部と、前記第１の被写体像及び前記第２の被写体像を撮像する撮像部と、前記撮像部において前記第１の被写体像が結像される第１の部分と、前記第２の被写体像が結像される第２の部分との位置関係を検出して位置関係検出情報を生成する被写体像位置検出部と、前記位置関係検出情報に基づき、前記第１の部分に設けた第１の基準位置と前記第２の部分に設けた第２の基準位置と合わせて前記第１の被写体像及び前記第２の被写体像とを配置した画像信号を生成する画像信号生成部と、を備えた。

　本発明の画像処理方法は、被写体の第１の領域から第１の被写体像を取得する手順と、前記被写体の前記第１の領域とは異なる第２の領域から第２の被写体像を取得する手順と、前記第１の被写体像及び前記第２の被写体像を撮像部で撮像する手順と、前記撮像部において前記第１の被写体像が結像される第１の部分と、前記第２の被写体像が結像される第２の部分との位置関係を検出して位置関係検出情報を生成する手順と、前記第１の部分に第１の基準位置を設け、前記第２の部分に第１の基準位置を設ける手順と、前記第１の基準位置と前記第２の基準位置と合わせて前記第１の被写体像及び前記第２の被写体像とを配置した画像信号を生成する手順と、を含む。

本発明の第１の実施の形態に係る内視鏡システムの構成を示す図である。 本発明の第１の実施の形態に係る、内視鏡の挿入部の先端部の構成を示す斜視図である。 本発明の第１の実施の形態に係る、内視鏡の挿入部の先端部の構成を示す正面図である。 本発明の第１の実施の形態の内視鏡システムにおける挿入部先端部の構成を示す要部断面図である。 本発明の第１の実施の形態に係る、内視鏡システムのビデオプロセッサによる画像処理により、モニタに表示される観察画像の一例を示す図である。 本発明の第１の実施の形態に係るビデオプロセッサ３２の構成を示すブロック図である。 本発明の第１の実施の形態に係る、位置ずれ補正部６５と境界補正部６６の構成を示すブロック図である。 本発明の第１の実施の形態に係る、中心座標推定部７１における、撮像素子４０の撮像面４０ａ上に投影された前方視野画像部分FVaの中心CFと側方視野画像部分SVaの中心CSの位置ずれを説明するための図である。 本発明の第１の実施の形態に係る、切り出し部７３、拡大部７４及び合成部６７における処理を説明するための図である。 本発明の第２の実施の形態に係る内視鏡２Aの先端部６の簡略化した模式的斜視図である。 本発明の第２の実施の形態に係る先端部６の内部構成を示す模式的構成図である。 本発明の第２の実施の形態に係るビデオプロセッサ３２Aの構成を示すブロック図である。 本発明の第２の実施の形態に係る、内視鏡システム１Aのビデオプロセッサ３２Aによる画像処理により、モニタ３５に表示される観察画像の一例を示す図である。 本発明の第２の実施の形態に係るキャップ９１の構成を示す斜視図である。 本発明の第２の実施の形態に係る、各撮像素子４０A、４０B、４０Cの撮像面に形成された被写体像のずれを説明するための図である。 本発明の第２の実施の形態による位置ずれ補正を行った場合の例を説明するための図である。 本発明の第２の実施の形態の変形例に関わる、側方観察用のユニットが取り付けられた挿入部４の先端部６ａの斜視図である。

　以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
（システム構成）
　まず、図１から図４を用いて第１の実施の形態の内視鏡システムの構成について説明する。図１は、第１の実施の形態に係る内視鏡システムの構成を示す図である。図２は、内視鏡の挿入部の先端部の構成を示す斜視図である。図３は、内視鏡の挿入部の先端部の構成を示す正面図である。図４は、第１の実施の形態の内視鏡システムにおける挿入部先端部の構成を示す要部断面図である。図５は、内視鏡システムのビデオプロセッサによる画像処理により、モニタに表示される観察画像の一例を示す図である。

　図１に示すように、内視鏡システム１は、観察対象物（被写体）を撮像して撮像信号を出力する内視鏡２と、観察対象物を照明するための照明光を供給する光源装置３１と、撮像信号に応じた映像信号を生成及び出力する画像処理装置であるビデオプロセッサ３２と、映像信号に応じた内視鏡画像である観察画像を表示するモニタ３５と、を有している。

　内視鏡２は、術者が把持して操作を行う操作部３と、操作部３の先端側に形成され、被写体である体腔内等に挿入される細長の挿入部４と、操作部３の側部から延出するように一方の端部が設けられたユニバーサルコード５と、を有して構成されている。

　本実施形態の内視鏡２は、複数の視野画像を表示させることで１８０度以上の視野を観察可能な広角内視鏡であり、体腔内、特に大腸内において、襞の裏や臓器の境界等、前方の観察だけでは見難い場所の病変を見落とすことを防ぐことを実現する。大腸内に内視鏡２の挿入部４を挿入するにあたっては、通常の大腸内視鏡と同様、挿入部４に捻り、往復運動、腸壁のフックを行うことによる仮固定等の動作が発生する。

　被写体の内部に挿入される挿入部４は、最も先端側に設けられた硬質の先端部６と、先端部６の後端に設けられた湾曲自在の湾曲部７と、湾曲部７の後端に設けられた長尺かつ可撓性を有する可撓管部８と、を有して構成されている。また、湾曲部７は、操作部３に設けられた湾曲操作レバー９の操作に応じた湾曲動作を行う。　
　一方、図２に示すように、挿入部４の先端部６には、先端部６の先端面の中央から上方寄りに偏心した位置から突出して設けられた、円柱形状の円筒部１０が形成されている。

　円筒部１０の先端部には、前方視野及び側方視野の両方の観察のための図示しない対物光学系が設けられている。また、円筒部１０の先端部は、前記図示しない対物光学系の前方に相当する箇所に配置された前方観察窓１２と、前記図示しない対物光学系の側視方向に相当する箇所に配置された側方観察窓１３と、を有して構成されている。さらに、円筒部１０の基端付近には、側方を照明するための光を出射する側方照明窓１４が形成されている。側方観察窓１３は、前方観察窓１２よりも、挿入部４の基端側に配置されている。

　側方観察窓１３は、円柱形状の円筒部１０における周りから入射される観察対象物からの戻り光、すなわち反射光、を側方視野内に捉えることにより側方視野画像を取得可能とするための、側視用ミラーレンズ１５を備えている。

　なお、前記図示しない対物光学系の結像位置には、前方観察窓１２の視野内の観察対象物の画像が円形の前方視野画像として中心部に形成され、かつ、側方観察窓１３の視野内の観察対象物の画像が円環形状の側方視野画像として前方視野画像の外周部に形成されるように、撮像素子４０の撮像面が配置されている。

　すなわち、前方観察窓１２は、挿入部４に設けられ、第１の方向である前方を含む第１の領域から第１の被写体像の画像を取得する第１の被写体像取得部を構成し、側方観察窓１３は、挿入部４に設けられ、前方とは異なる第２の方向である側方を含む第２の領域から第２の被写体像を取得する第２の被写体像取得部を構成する。言い換えれば、前方観察窓１２は、挿入部前方を含む領域の被写体像を取得する前方画像取得部であり、側方観察窓１３は、挿入部側方を含む領域の被写体像を取得する側方画像取得部である。

　前方観察窓１２は、挿入部４の長手方向における先端部６に、挿入部４が挿入される方向である前方からの被写体像を取得するように、配置され、側方観察窓１３は、側方からの被写体像を取得するように、挿入部４の外径方向に沿って配置されている。言い換えれば、第１の被写体像は、挿入部４の長手方向に略平行な挿入部前方を含む、第１の方向の被写体像であり、第２の被写体像は、挿入部４の長手方向に例えば直角等の角度で交わる挿入部側方を含む、第２の方向の被写体像である。

　そして、撮像部である撮像素子４０は、前方視野画像と側方視野画像を１つの撮像面において光電変換し、前方視野画像の画像信号と側方視野画像の画像信号は、撮像素子４０において得られた画像から切り出して生成される。すなわち、撮像素子４０は、第１の被写体像及び第２の被写体像を撮像する撮像部を構成し、ビデオプロセッサ３２と電気的に接続されている。

　先端部６の先端面には、円筒部１０に隣接する位置に配置され、前方観察窓１２の前方視野の範囲に照明光を出射する前方照明窓１６と、挿入部４内に配設されたチューブ等により形成された図示しない処置具チャンネルに連通するとともに、処置具チャンネルに挿通された処置具の先端部を突出させることが可能な先端開口部１７と、が設けられている。

　また、挿入部４の先端部６は、先端部６の先端面から突出するように設けられた支持部１８を有し、この支持部１８は円筒部１０の下部側に隣接して位置する。　
　支持部１８は、先端部６の先端面から突出させるように配置された各突出部材を支持または保持可能に構成されている。具体的には、支持部１８は、前述の各突出部材としての、前方観察窓１２を洗浄するための気体または液体を射出する前方観察窓用ノズル部１９と、前方方向を照明するための光を出射するもう一つの前方照明窓２１と、側方観察窓１３を洗浄するための気体または液体を射出する側方観察窓用ノズル部２２と、をそれぞれ支持または保持可能に構成されている。

　一方、支持部１８は、本来の観察対象物とは異なる物体である前述の各突出部材が側方視野内に現れることにより、各突出部材のいずれかを含むような側方視野画像を取得してしまわないようにするための、光学的な遮蔽部材である遮蔽部１８ａを有して形成されている。すなわち、遮蔽部１８ａを支持部１８に設けることにより、前方観察窓用ノズル部１９、前方照明窓２１、及び、側方観察窓用ノズル部２２がいずれも含まれないような側視視野画像を得ることができる。　
　側方観察窓用ノズル部２２は、図２及び図３に示すように、支持部１８の２箇所に設けられているとともに、支持部１８の側面から先端が突出するように配置されている。

　操作部３には、図１に示すように、前方観察窓１２を洗浄するための気体または液体を前方観察窓用ノズル部１９から射出させる操作指示が可能な送気送液操作ボタン２４ａと、側方観察窓１３を洗浄するための気体または液体を側方観察窓用ノズル部２２から射出させる操作指示が可能な送気送液操作ボタン２４ｂと、が設けられ、この送気送液操作ボタン２４ａ及び２４ｂの押下により送気と送液とが切り替え可能である。また、本実施形態では、それぞれのノズル部に対応するように複数の送気送液操作ボタンを設けているが、例えば１つの送気送液操作ボタンの操作により前方観察窓用ノズル部１９と側方観察窓用ノズル部２２の両方から気体または液体が射出されるようにしてもよい。

　スコープスイッチ２５は、操作部３の頂部に複数設けられており、内視鏡２において使用可能な種々の記載のオンまたはオフ等に対応した信号を出力させるように、スイッチ毎の機能を割り付けることが可能な構成を有している。具体的には、スコープスイッチ２５には、例えば、前方送水の開始及び停止、静止画撮影のためのフリーズの実行及び解除、及び、処置具の使用状態の告知等に対応した信号を出力させる機能を、スイッチ毎の機能として割り付けることができる。

　なお、本実施形態においては、送気送液操作ボタン２４ａ及び２４ｂのうちの少なくともいずれか一方の機能を、スコープスイッチ２５のうちのいずれかに割り付けるようにしてもよい。

　また、操作部３には、体腔内の粘液等を先端開口部１７より吸引して回収するための指示を図示しない吸引ユニット等に対して行うことが可能な吸引操作ボタン２６が配設されている。

　そして、図示しない吸引ユニット等の動作に応じて吸引された体腔内の粘液等は、先端開口部１７と、挿入部４内の図示しない処置具チャンネルと、操作部３の前端付近に設けられた処置具挿入口２７とを経た後、図示しない吸引ユニットの吸引ボトル等に回収される。

　処置具挿入口２７は、挿入部４内の図示しない処置具チャンネルに連通しているとともに、図示しない処置具を挿入可能な開口として形成されている。すなわち、術者は、処置具挿入口２７から処置具を挿入し、処置具の先端側を先端開口部１７から突出させることにより、処置具を用いた処置を行うことができる。　
　一方、図１に示すように、ユニバーサルコード５の他方の端部には、光源装置３１に接続可能なコネクタ２９が設けられている。

　コネクタ２９の先端部には、流体管路の接続端部となる口金（図示せず）と、照明光の供給端部となるライトガイド口金（図示せず）とが設けられている。また、コネクタ２９の側面には、接続ケーブル３３の一方の端部を接続可能な電気接点部（図示せず）が設けられている。さらに、接続ケーブル３３の他方の端部には、内視鏡２とビデオプロセッサ３２と電気的に接続するためのコネクタが設けられている。

　ユニバーサルコード５には、種々の電気信号を伝送するための複数の信号線、及び、光源装置３１から供給される照明光を伝送するためのライトガイドが束ねられた状態として内蔵されている。

　挿入部４からユニバーサルコード５にかけて内蔵された前記ライトガイドは、光出射側の端部が挿入部４付近において少なくとも２方向に分岐されるとともに、一方の側の光出射端面が前方照明窓１６及び２１に配置され、かつ、他方の側の光出射端面が側方照明窓１４に配置されるような構成を有している。また、前記ライトガイドは、光入射側の端部がコネクタ２９のライトガイド口金に配置されるような構成を有している。

　画像処理装置及び画像信号生成装置であるビデオプロセッサ３２は、内視鏡２の先端部６に設けられた撮像素子４０を駆動するための駆動信号を出力する。そして、ビデオプロセッサ３２は、後述するように、内視鏡２の使用状態に応じて、前記撮像素子４０から出力される撮像信号に対して信号処理（所定の領域を切り出す）を施すことにより、映像信号を生成してモニタ３５へ出力する。

　光源装置３１、ビデオプロセッサ３２及びモニタ３５等の周辺装置は、患者情報の入力等を行うキーボード３４とともに、架台３６に配置されている。　
　光源装置３１は、ランプを内蔵する。ランプから出射された光は、ライトガイドを介して、ユニバーサルコード５のコネクタ２９が接続されるコネクタ部へ導光されており、光源装置３１は、ユニバーサルコード５内のライトガイドへ照明光を供給する。

　図４は、第１の実施の形態の内視鏡システムにおける挿入部４の先端部６の構成を示す要部断面図であり、前方及び側方を兼ねる対物光学系１１及び側方照明窓１４周辺部の構成を示す。

　先端部６から突出する円筒部１０の中心軸に沿った撮像中心Oと一致する光軸上に、それぞれ回転対称形状をした前レンズ４１、ミラーレンズ１５及び後レンズ群４３を配置して撮像素子４０に結像する対物光学系１１が形成されている。なお、撮像素子４０の前面にはカバーガラス４２が設けられている。前レンズ４１、ミラーレンズ１５、および後レンズ群４３は円筒部１０内のレンズ枠に固定されている。

　対物光学系１１を構成し、円形の前方観察窓１２に設けられた前レンズ４１は、挿入部４の挿入方向に沿ったその先端側を観察視野とする広角の前方視野を形成する。

　この前レンズ４１の直後に配置された反射光学系としてのミラーレンズ１５は、図４に示すように側面方向から入射される光を接合面と前面とで２回反射して、後レンズ群４３側に導光する２つのレンズを接合したもので構成されている。　
　なお、このミラーレンズ１５における前レンズ４１に対向するレンズ部分は、前レンズ４１からの光を屈折して、後レンズ群４３側に導光する機能も兼ねる。

　そして、側方観察窓１３に設けられたミラーレンズ１５により、この側方観察窓１３は、挿入部長軸方向に対して側方方向の光軸を略中心とした所定の視野角度を有しつつ、挿入部周方向における全周をカバーする略円環状の観察視野を形成する。

　なお、図４では、前方観察窓１２を形成する前レンズ４１に、その視野内の被写体側から入射される光線と、側方観察窓１３を形成するミラーレンズ１５に、その視野内の被写体側から入射される光線の概略の経路を示している。

　そして、撮像素子４０の撮像面には、その中央側に前方観察窓１２の前レンズ４１による挿入方向に向いて設けられた前方視野内の被写体の像が円形に結像され、前方視野画像として取得される。また、この撮像面には、前方視野画像の外周側に側方観察窓１３に臨むミラーレンズ１５により側方視野内の被写体の像が円環形状に結像され、側方視野画像として取得されることになる。

　但し、本実施の形態においては、円環形状の側方視野内に入射される被写体側からの光をメカニカルに遮蔽する遮蔽部１８ａが支持部１８により形成される。また、本実施形態においては、側方照明窓１４側から側面方向に出射される側方照明光を、支持部１８側に出射しない構成にしている。

　尚、前方視野画像と側方視野画像を１つの撮像素子に結像させる方法として、本実施の形態では２回反射光学系を用いて側方視野画像を取得しているが、１回反射光学系を用いて側方視野画像を取得してもよい。１回反射光学系を用いる場合、必要に応じて画像処理等で側方視野画像の画像の向きを揃えてもよい。

　円筒部１０における側方観察窓１３に隣接する基端付近の外周面における複数箇所に側方照明窓１４が設けられている。本実施形態においては、周方向における左右両側の２箇所に側方照明窓１４が設けられており、支持部１８が設けられた下部側を除く周方向の全域に側方照明光を出射する。

　図４に示すように先端部６の長手方向に沿って配置された光出射部材としてのライトガイド４４の先端側は、先端部６の先端面から突出している円筒部１０を構成する円筒部材１０ａの基端付近まで延出される。

　そして、円筒部１０の基端付近（後レンズ群４３の外周側）で、その側面近くにライトガイド４４の先端面が配置され、このライトガイド４４の先端面が導光した光を出射する出射端面となり、先端方向に光を出射する。本実施例においてはこの出射端面は円形であるが、円形に限らず、楕円形や多角形を含む異形形状であってもよい。

　この出射端面が臨む位置には、その位置を中心として円筒部１０の円筒形状の側面外周に沿って帯状に長く延び、光を導光する溝部としての導光溝４５を形成する凹部が設けられている。凹部内に、出射端面に対面するように形成される照明反射部としての反射部材４６を配置して、この反射部材４６の内面に、光を反射する反射部４６ａを設けた導光溝４５が形成される。

　反射部材４６により形成される導光溝４５の内面の反射部４６ａは、図４に示す縦断面においては略半球形状の凹面となっている。また、この反射部４６ａは、その半球形状の凹面が円筒部１０の円周方向に沿って、ライトガイド４４の出射端面よりも長く形成されている。

　そして、この反射部４６ａは、出射端面から先端部６の先端側に向けて出射される光を、この反射部４６ａにより反射して側面方向に光の進行方向を変えると共に、円周方向に沿った広範囲の側面方向に導光して側方照明窓１４から出射し、側方観察窓１３の観察視野側（観察対象側）を照明する。従って、この導光溝４５から側面方向に出射される光が側方照明光となる。　
　なお、反射部４６ａは、アルミニウム、クロム、ニッケルクロム、銀、金などの高い反射率を有する金属薄膜を反射部材４６の内面に設けて形成することができる。

　このように本実施の形態においては、円筒部１０の側面外周に沿って反射部４６ａが設けられた導光溝４５が長く形成されるように、導光溝４５の凹部内に反射部材４６を配置している。また、反射部材４６又は導光溝４５における周方向の中央位置付近に光出射部材としてのライトガイド４４の出射端面が位置するように配置している。

　ライトガイド４４の出射端面から出射された光を、該出射端面の周囲に反射面を形成するように配置された反射部４６ａで反射して、導光溝４５が設けられた側方照明窓１４から側方に照明光を広範囲に出射する。

　図５は、モニタ３５に表示される内視鏡画像の例を示す。モニタ３５の表示画面３５ａ上に表示される内視鏡画像である観察画像５０は、略矩形の画像であり、２つの部分５２と５３を有する。中央部の円形の部分５２は、前方視野画像を表示する部分であり、中央部の部分５２の周囲のＣ字状の部分５３は、側方視野画像を表示する部分である。

　なお、モニタ３５に表示される内視鏡画像の部分５２に表示される画像と部分５３に表示される画像は、それぞれ、前方視野内の被写体の像と側方視野内の被写体の像と同一は限らない。

　すなわち、前方視野画像は、略円形状になるようにモニタ３５の表示画面３５ａ上に表示され、側方視野画像は、前方視野画像の周囲の少なくとも一部を囲む略円環状になるように表示画面３５ａ上に表示される。よって、モニタ３５には、広角の内視鏡画像が表示される。

　図５に示す内視鏡画像は、撮像素子４０（図２）により取得された取得画像から生成される。観察画像５０は、先端部６内に設けられた対物光学系により、撮像素子４０の撮像面に投影された被写体像を光電変換して、黒く塗りつぶされたマスク領域５４を除く、部分５２に対応する中央の前方視野の画像の部分と、部分５３に対応する側方視野の画像の部分とを合成して生成される。

（ビデオプロセッサの構成）
　図６は、ビデオプロセッサ３２の構成を示すブロック図である。図６では、以下に説明する本実施の形態の機能に関わる構成のみが示されており、画像の記録などの他の機能に関わる構成要素については省略されている。

　ビデオプロセッサ３２は、制御部６０と、アナログデジタル変換部（以下、A/D変換部という）６１、前処理部６２と、調光部６３と、拡大縮小部６４と、位置ずれ補正部６５と、境界補正部６６と、合成部６７と、画像出力部６８と、レジスタ６９と、を有している。ビデオプロセッサ３２は、後述するように、画像処理を行った画像を生成する機能を有する。

　また、内視鏡２は、フラッシュメモリ等の不揮発性のメモリ７０を有している。メモリ７０には、後述するずれ量データがビデオプロセッサ３２により書き込まれて記憶され、ビデオプロセッサ３２により読み出し可能となる。

　制御部６０は、中央処理装置（CPU）、ROM、RAM等を含み、図示しない操作パネルなどからのユーザのコマンド入力等の指示に応じて所定のソフトウエアプログラムを実行し、各種制御信号やデータ信号を生成してあるいは読み出して、ビデオプロセッサ３２内の必要な各回路及び各部を制御する。

　A/D変換部６１は、A/D変換回路を含み、内視鏡２の撮像素子４０からの撮像信号をアナログ信号からデジタル信号へ変換する回路である。

　前処理部６２は、内視鏡２の撮像素子４０からの撮像信号に対して、色フィルタ変換などの処理を行って、映像信号を出力する回路である。　
　調光部６３は、映像信号に基づき画像の明るさを判定し、光源装置３１の調光状態に基づいて、光源装置３１へ調光制御信号を出力する回路である。

　拡大縮小部６４は、前処理部６２から出力された映像信号の画像を、モニタ３５のサイズ及びフォーマットに合わせて拡大あるいは縮小して、拡大あるいは縮小した画像の映像信号を位置ずれ補正部６５へ出力する。

　位置ずれ補正部６５は、前方視野画像FVと側方視野画像SVの２つの中心座標を推定し、推定された２つの中心座標のズレ量を算出する処理を実行する。位置ずれ補正部６５は、算出したズレ量を、内視鏡２のメモリ７０に格納すると共に、レジスタ６９にも格納する。

　位置ずれ補正部６５は、入力された前方視野画像FVと側方視野画像SVを含む映像信号を境界補正部６６に出力する。　
　境界補正部６６は、レジスタ６９に格納されたずれ量データを用いて、入力された映像信号から前方視野画像FVと側方視野画像SV を切り出し、所定の拡大処理を実行する。

　図７は、位置ずれ補正部６５と境界補正部６６の構成を示すブロック図である。

　位置ずれ補正部６５は、中心座標推定部７１とずれ量算出部７２を含む。
　中心座標推定部７１は、撮像素子４０の撮像面４０ａ上における、前方視野画像部分FVaの中心CFと側方視野画像部分SVaの中心CSの位置のズレ量を算出して推定する回路である。

　図４に示す光学系により撮像面４０ａ上に形成される、前方視野画像部分FVaが円形で、側方視野画像部分SVaが円環形状であるので、中心座標推定部７１は、円形の前方視野画像部分FVaの中心CFと、円環形状の側方視野画像部分SVaの中心CSを算出することができる。

　制御部６０は、内視鏡２のメモリ７０からデータを読み出して、ずれ量データの有無を判定し、ずれ量データがメモリ７０に記憶されていないとき、中心座標推定部７１とずれ量算出部７２を動作させるように位置ずれ補正部６５を制御する。

　図７に示すように、境界補正部６６は、切り出し部７３と拡大部７４を含む。　
　切り出し部７３は、レジスタ６９から読み出したずれ量データに基づいて、入力された映像信号から、前方視野画像部分FVaの前方視野画像FVと側方視野画像部分Svaの側方視野画像SVとを切り出し、拡大部７４へ出力する回路である。　
　拡大部７４は、切り出された前方視野画像FVに対して、所定の倍率で拡大処理を行って、合成部６７へ出力する。

　図６に戻り、合成部６７は、入力された前方視野画像FVと側方視野画像SVの各中心CF,CVが撮像面４０ａの中心Cと一致するように、前方視野画像FVと側方視野画像SVを合成して、合成した画像を画像出力部６８へ出力する。　
　なお、合成部６７は、マスク処理も実行する。

　画像出力部６８は、合成部６７からの前方視野画像FVと側方視野画像SVを含む画像信号を画像処理により生成して、画像信号を表示信号に変換してモニタ３５に出力する画像生成部としての回路である。すなわち、画像出力部６８は、合成部６７から画像信号を入力し、前方視野画像FVと側方視野画像SVに基づく画像信号を表示部であるモニタ３５に表示させるための表示信号を生成する。　
（作用）
　次に、ビデオプロセッサ３２における前方視野画像と側方視野画像間の位置ずれの補正処理方法に関する手順の例について説明する。

　はじめに、前方視野画像と側方視野画像の位置ずれについて説明する。　
　図８は、中心座標推定部７１における、撮像素子４０の撮像面４０ａ上に投影された前方視野画像部分FVaの中心CFと側方視野画像部分SVaの中心CSの位置ずれを説明するための図である。

　撮像素子４０の撮像面４０ａ上には、前方観察窓１２の前レンズ４１を含む前方視野光学系による円形の前方視野画像FVに対応する前方視野画像部分FVaと、側方観察窓１３に臨むミラーレンズ１５を含む側方視野光学系による円環形状の側方視野画像SVに対応する側方視野画像部分SVaとが形成される。

　上述したように、対物光学系の各レンズあるいは撮像素子４０を固定する枠の加工精度または組み立て時のばらつき等により、図８に示すように、円形の前方視野画像部分FVa（点線で示す）の中心CFと円環状の側方視野画像部分SVa（一点鎖線で示す）の中心CSが相対的にずれてしまう場合がある。

　さらに、前方視野画像部分FVaの中心CFと側方視野画像部分SVaの中心CSが、撮像素子４０の撮像面４０ａの中心Cに対してもずれてしまう場合もある。図８では、前方視野画像部分FVaの中心CFと、側方視野画像部分SVaの中心CSは、撮像面４０ａの中心Cに対してもずれている。

　ビデオプロセッサ３２の位置ずれ補正部６５は、そこで、前方視野画像部分FVaの中心CFと側方視野画像部分SVaの中心CSとの相対的なずれ量、あるいは撮像面４０ａの中心Cに対する前方視野画像部分FVaの中心CFと側方視野画像部分SVaの中心CSのそれぞれのずれ量を算出する。ここでは、位置ずれ補正部６５では、撮像面４０ａの中心Cに対する前方視野画像部分FVaの中心CFと側方視野画像部分SVaの中心CSのそれぞれのずれ量が算出される。

　例えば、内視鏡２の製造時に、挿入部４の先端部６により適当な被写体像を撮像することにより、撮像面４０ａ上に、前方視野の被写体像と側方視野の被写体像を投影させて、位置ずれ補正部６５を動作させる。前方視野画像部分FVaと側方視野画像部分SVaの両方を含む画像の映像信号が、中心座標推定部７１に入力される。　
　なお、中心座標推定部７１は、ユーザの指示により動作するようにしてもよいし、あるいはメモリ７０にずれ量データが格納されていないと判定されたときに自動的に動作するようにしてもよい。

　中心座標推定部７１は、入力された映像信号の画素の輝度値に基づき、前方視野画像部分FVaと側方視野画像部分SVaとを画像処理により抽出し、抽出された各部分の中心を求める。

　例えば、中心座標推定部７１は、各画素の輝度値の差から、円形の前方視野画像部分FVaに対応する撮像面４０ａ上の画素領域と、円環状の側方視野画像部分SVaに対応する撮像面４０ａ上の画素領域とを抽出することができる。

　図８において、撮像面４０ａ上における前方視野画像部分FVaの中心CFの座標は、円形の前方視野画像部分FVaを通る適当な２本の直線L1aとL1b（二点鎖線で示す）を仮定し、直線L1aとL1bのそれぞれの円の内側の線分についての垂直二等分線L1avとL1bv（二点鎖線で示す）の交点を算出することにより、求めることができる。

　同様に、撮像面４０ａ上における側方視野画像部分SVaの中心CSの座標は、円環状の側方視野画像部分SVaを通る適当な２本の直線L2aとL2b（二点鎖線で示す）を仮定し、直線L2aとL2bのそれぞれの側方視野画像部分SVaの外側円の内側の線分についての垂直二等分線L2avとL2bvの交点を算出することにより、得ることができる。

　撮像面４０ａの中心Cの座標を（x0,y0）とし、得られた前方視野画像部分FVaの中心CFの座標を（xf1,yf1）とし、得られた側方視野画像部分SVaの中心CSの座標を（xs1,ys1）とする。

　ずれ量算出部７２は、中心座標推定部７１において求めた前方視野画像部分FVaの中心CFと側方視野画像部分SVaの中心CSから、ずれ量を算出する。　
　撮像面４０ａの中心Cに対する中心CFのx軸方向のずれ量dfxは、式（１）で表わされる。

　　　Dfx＝（xf1－x0）　　　　　　　　　　　　　・・・（１）
　また、撮像面４０ａの中心Cに対する中心CFのy軸方向のずれ量dfyは、式（２）で表わされる。

　　　Dfy＝（yf1－x0）　　　　　　　　　　　　　・・・（２）
　同様に、撮像面４０ａの中心Cに対する中心CSのx軸方向のずれ量dsxは、式（３）で表わされる。

　　　Dsx＝（xs1－x0）　　　　　　　　　　　　　・・・（３）
　また、撮像面４０ａの中心Cに対する中心CSのy軸方向のずれ量dsyは、式（４）で表わされる。

　　　Dsy＝（ys1－x0）　　　　　　　　　　　　　・・・（４）
　以上のように、中心座標推定部７１は、前方視野画像部分FVaの中心CFと側方視野画像部分SVaの中心CSを求め、ずれ量算出部７２は、中心座標推定部７１において求めた前方視野画像部分FVaの中心CFと側方視野画像部分SVaの中心CSの座標から、ずれ量を算出することができる。

　制御部６０は、算出されたズレ量データを、メモリ７０に書込、かつレジスタ６９に書き込む。　
　その結果、制御部６０は、内視鏡２を製造後あるいは最初の使用時、内視鏡システム１の電源がオンになって中心座標推定部７１が動作したことがあるときは、ビデオプロセッサ３２は、メモリ７０からずれ量データを読み出すことができるので、読み出したずれ量データをレジスタ６９に書き込む。すなわち、境界補正部６６は、位置関係検出信号が更新されるまで、前方視野画像FVと側方視野画像の配置を、メモリ７０に記憶された位置関係検出情報に基づいて変化させた画像信号を生成する。

　また、内視鏡２を製造後、内視鏡システム１の電源がオンになって中心座標推定部７１が動作したことがないときは、制御部６０は、内視鏡システム１の電源がオンになったときに、メモリ７０からずれ量データを読み出すことができない。そのようなときは、制御部６０は、中心座標推定部７１とずれ量算出部７２を動作させて、上述した式（１）～（４）の演算を行ってずれ量データDfx,Dfy,Dsx,Dsyを算出し、メモリ７０に記憶すると共に、レジスタ６９に書き込む。

　以上のように、ずれ量データDfx,Dfy,Dsx,Dsyは、前方視野画像部分FVaと側方視野画像部分SVaの位置関係を示す情報である。メモリ７０は、位置関係検出情報を記憶する記憶部である。

　よって、位置ずれ補正部６５は、前方の被写体像及び側方の被写体像を撮像する撮像素子４０において、前方の被写体像が結像される第１の部分である前方視野画像部分Fvaと、側方の被写体像が結像される第２の部分である側方視野画像部分SVaとの位置関係を検出して位置関係検出情報を生成する被写体像位置検出部を構成する。

　ここでは、位置関係は、撮像素子４０が取得する画像についての所定位置である撮像面４０ａの中心Cに対する部分FVaのずれ量と、撮像面４０ａの中心Cに対する部分SVaのずれ量とにより示される。よって、位置関係検出情報は、これら２つのずれ量を含む。

　ずれ量算出部７２は、上述したずれ量の算出処理を実行すると共に、映像信号を切り出し部７３へ出力する。　
　図９は、切り出し部７３、拡大部７４及び合成部６７における処理を説明するための図である。

　切り出し部７３は、入力された映像信号から、ずれ量データDfx,Dfy,Dsx,Dsyに基づいて、前方視野画像FVと側方視野画像SVを切り出し、さらに、図９に示すように、その前方視野画像FVから所定の半径rpの中央部画像FVcを切り出す。この結果、前方視野画像FVの周辺部分の画像は、観察画像には用いられない。

　拡大部７４は、中央部画像FVcを所定の倍率mrで拡大して、拡大中央部画像FVeを生成する。倍率mrは、拡大された拡大中央部画像FVeの半径が、切り出し部７３で切り出された前方視野画像FVの直径よりも大きくなるような値である。

　合成部６７は、拡大中央部画像FVeと側方視野画像SVとを合成して、必要なマスク処理を行って、画像出力部６８へ出力する。　
　その結果、合成されて得られた観察画像５０は、側方視野画像SVの内側周縁部が、拡大中央部画像FVeにより覆い隠された画像となり、合成された観察画像５０において、前方視野画像FVと側方視野画像SVの境界領域がスムーズな画像領域となる。

　従って、境界補正部６６は、位置関係検出情報に基づき、画像処理により、前方視野画像部分FVaに設けた基準位置である中心CFと、側方視野画像部分SVaに設けた基準位置である中心CSと合わせて、前方視野画像FV及び側方視野画像SVとを配置した画像信号を生成する画像信号生成部を構成する。

　なお、ここでは、境界補正部６６は、前方視野画像部分FVaの被写体像の中心位置と側方視野画像部分SVaの被写体像の中心位置が共に、撮像面４０ａの中心Cに一致するように、前方視野画像FVと側方視野画像SVの位置を変化させているが、境界補正部６６は、前方視野画像部分FVaの被写体像の中心位置の座標と、側方視野画像部分SVaの被写体像の中心位置の座標のずれを補正するように、前方視野画像FV及び側方視野画像SVの少なくとも一方の位置を変化させる処理を行うようにしてもよい。その場合は、境界補正部６６は、前方視野画像部分FＶaと側方視野画像部分SVaとの位置関係を示す位置関係検出情報に基づき、前方視野画像部分FVaと側方視野画像部分SVaの一方の配置を、前方視野画像部分FVaと側方視野画像部分SVaの他方の位置に合わせて変化させる。

　さらになお、被写体像の中心位置の座標は、前方視野画像FV及び側方視野画像SVが表示される表示部であるモニタ３５上の画素の座標で、ずれの量は、座標上における画素数で換算されて表すようにしてもよい。

　なお、内視鏡２毎に前方視野画像FV及び側方視野画像SVのサイズなどが異なるので、所定の半径rpと所定の倍率mrの情報は、内視鏡２のメモリ７０に予め格納されていてもよく、内視鏡２がビデオプロセッサ３２に接続されて電源がオンになったときに、制御部６０がメモリ７０から読み出して、レジスタ６９に格納するようにしてもよい。境界補正部６６は、レジスタ６９から所定の半径rpと所定の倍率mrの情報を読み出して、中央部画像FVcの切り出し及び拡大を行う。その結果、モニタ３５に表示される観察画像５０において、前方視野画像FVと側方視野画像SVの境界は、目立たなくなる。　
　なお、合成された前方視野画像FVと側方視野画像SVの境界領域に対して、一般的なスムージング処理を施してもよい。

　上述したように、内視鏡２がビデオプロセッサ３２に接続されて、位置ずれ補正部６５の処理が一回実行されると、メモリ７０にずれ量データが格納されるので、その後の内視鏡２とビデオプロセッサ３２とが接続されて電源がオンになったときは、位置ずれ補正部６５の処理は実行されず、制御部６０がメモリ７０からずれ量データを読み出して、その読み出してレジスタ６９に格納されたずれ量データに基づいて、境界補正部６６が境界補正を行う。

　位置ずれ補正部６５の処理は、内視鏡２の製造時に実行するようにしてもよいし、製造時に実行されなくても、内視鏡２がはじめてビデオプロセッサ３２に接続されたときに実行される。　
　さらに、位置ずれ補正部６５の処理は、内視鏡２の修理時にも実行するようにしてもよい。

　以上のように、上述した実施の形態によれば、対物光学系のレンズあるいは撮像素子を固定する枠の加工精度または組み立て時のばらつき等により、前方視野画像FVと側方視野画像SVの光学系間でずれがあっても、モニタ３５に同時に表示された前方視野画像FVと側方視野画像SVにユーザが違和感を感じさせない内視鏡システムを提供することができる。

　さらに、前方視野画像FVと側方視野画像SVの中心が一致するので、境界補正処理を、精度よく行うことができる。

（第２の実施の形態）
　第１の実施の形態の内視鏡システム１は、前方視野画像と、前方視野画像を囲むように配置された側方視野画像とを１つの撮像素子で得る内視鏡２を有しているが、第２の実施の形態の内視鏡システム１Aは、前方視野画像と側方視野画像を、別々の撮像素子で得る内視鏡２Aを有している。

　なお、第２の実施の形態の内視鏡システム１Aの構成は、図１に示す第１の実施の形態で説明した内視鏡システム１と略同じであり、同じ構成要素については、同じ符号を付し、説明は省略する。

（システム構成）
　図１０は、本実施の形態の内視鏡２Aの先端部６の簡略化した模式的斜視図である。図１１は、先端部６の内部構成を示す模式的構成図である。図１０と図１１では、処置具開口、洗浄ノズル等の要素は省略されている。

　図１１に示すように、内視鏡２Aの円柱状の先端部６の先端面には、前方視野用の撮像ユニット５１Aが設けられている。内視鏡２Aの先端部６の側面には、側方視野用の２つの撮像ユニット５１B，５１Cが設けられている。３つの撮像ユニット５１A、５１B、５１Cは、それぞれ、撮像素子４０A、４０B、４０Cを有し、各撮像ユニットには、図示しない対物光学系が設けられている。

　各撮像ユニット５１A、５１B、５１Cは、それぞれ前方観察窓１２A、側方観察窓１３A、１３Bの背面側に配置されている。撮像ユニット５１A、５１B、５１Cは、それぞれ２つの照明窓５５A、５６A、５６Bから出射された照明光により照明された被写体からの反射光を受光して撮像信号を出力する。

　３つの撮像素子４０A、４０B、４０Cからの３つの撮像信号は、後述するA/D変換部６１A（図１２）に入力される。　
　前方観察窓１２Aは、挿入部４の先端部６に、挿入部４が挿入される方向に向けて配置されている。側方観察窓１３Aと１３Bは、挿入部４の側面部に挿入部４の外径方向に向けて、先端部６の周方向に略均等な角度で配置されており、側方観察窓１３Aと１３Bは、先端部６において互いに反対方向を向くように配置されている。

　撮像ユニット５１A、５１B、５１Cの撮像素子４０A、４０B、４０Cは、ビデオプロセッサ３２A（図１２）と電気的に接続され、ビデオプロセッサ３２Aにより制御されて、撮像信号をビデオプロセッサ３２Aへ出力する。各撮像ユニット５１A、５１B、５１Cは、被写体像を光電変換する撮像部である。

　すなわち、前方観察窓１２Aは、挿入部４に設けられ、第１の方向である前方から第１の被写体像の画像を取得する第１の画像取得部を構成し、側方観察窓１３Aと１３Bの各々は、挿入部４に設けられ、前方とは異なる第２の方向である側方から第２の被写体像を取得する第２の画像取得部を構成する。言い換えれば、第１の被写体像は、挿入部４の長手方向に略平行な挿入部前方を含む、第１の方向の被写体像であり、第２の被写体像は、挿入部４の長手方向に略直交する挿入部側方を含む、第２の方向の被写体像である。さらに、前方観察窓１２Aは、挿入部前方を含む方向の被写体像を取得する前方画像取得部であり、側方観察窓１３Aと１３Bは、挿入部側方を含む方向の被写体像を取得する側方画像取得部である。

　撮像ユニット５１Aは、前方観察窓１２Aからの画像を光電変換する撮像部であり、撮像ユニット５１Bと５１Cは、それぞれ側方観察窓１３Aと１３Bからの２つの画像を光電変換する撮像部である。すなわち、撮像ユニット５１Aは、前方視野画像を取得するための被写体像を撮像する撮像部であり、撮像ユニット５１Bと５１Cは、それぞれ側方視野画像を取得するための被写体像を撮像する撮像部であり、前方視野画像の画像信号は、撮像ユニット５１Aにおいて得られた画像から生成され、２つの側方視野画像の画像信号は、撮像ユニット５１Bと５１Cにおいて得られた画像から生成される。

　各照明窓５５A、５６A、５６Bの後ろ側には、図示しないライトガイドの先端部又は発光ダイオード（LED）等の発光体が先端部６内に配設されている。

（ビデオプロセッサの構成）
　図１２は、本実施の形態に係るビデオプロセッサ３２Aの構成を示すブロック図である。なお、図１２では、以下に説明する本実施の形態の機能に関わる構成のみが示されており、画像の記録などの他の機能に関わる構成要素については省略されている。また、図１２のビデオプロセッサ３２Aの構成において、第１の実施の形態のビデオプロセッサ３２と同じ構成要素については、同じ符号を付して説明は省略する。

　図１２に示すように、ビデオプロセッサ３２Aは、制御部６０と、A/D変換部６１Aと、位置ずれ補正部６５Aと、境界補正部６６Aと、合成部６７Aと、前処理部６２と、調光部６３Aと、拡大縮小部６４Aと、画像出力部６８と、レジスタ６９と、を有している。

　A/D変換部６１Aは、３つのA/D変換回路を含む。各A/D変換回路は、内視鏡２Aの各撮像素子４０A、４０B、４０Cからの撮像信号をアナログ信号からデジタル信号へ変換する回路である。

　位置ずれ補正部６５Aは、図７に示す中心座標推定部７１とずれ量算出部７２を有し、３つの撮像素子４０A、４０B、４０Cにより得られた３つの画像のそれぞれについて、各画像のズレ量を算出する処理を実行する。位置ずれ補正部６５Aは、３つの撮像素子４０A、４０B、４０Cについての算出した３つのずれ量データを、内視鏡２のメモリ７０に格納すると共に、レジスタ６９にも格納する。

　位置ずれ補正部６５Aは、入力された３つの画像の映像信号を境界補正部６６Aに出力する。　
　境界補正部６６Aは、図７に示す切り出し部７３と拡大部７４を有し、レジスタ６９に格納された３つのずれ量データを用いて、入力された各映像信号に対して、画像の切り出し処理と所定の拡大処理を実行する。

　合成部６７Aは、３つの内視鏡画像を、モニタ３５の画面上に並べて表示するために合成して、合成した画像を前処理部６２へ出力する。　
　なお、本実施の形態では、モニタ３５は１つであるが、前方視野画像と２つの側方視野画像をそれぞれ別々のモニタに表示するようにしてもよく、そのような場合には、合成部６７Aは不要である。

　調光部６３Aは、前処理部６２から受信した映像信号中の各画像の明るさを判定し、光源装置３１の調光状態に基づいて、光源装置３１へ調光制御信号を出力する回路である。

　拡大縮小部６４Aは、前処理部６２からの映像信号の画像を、モニタ３５のサイズ及びフォーマットに合わせて拡大あるいは縮小して、拡大あるいは縮小した画像の映像信号を画像出力部６８へ出力する。

　図１３は、内視鏡システム１Aのビデオプロセッサ３２Aによる画像処理により、モニタ３５に表示される観察画像の一例を示す図である。　
　図１３に示すように、モニタ３５の表示画面３５ａ上に表示される内視鏡画像である観察画像５０Aは、３つの画像表示部分８１、８２、８３を含む。各画像表示部分８１、８２、８３は、略矩形の画像であり、中央に前方視野画像FVが表示され、右側には、右側の側方視野画像SV1が表示され、左側には、左側の側方視野画像SV2が表示される。すなわち、画像出力部６８は、前方視野画像FVに隣り合うように２つの側方視野画像SV1、SV2を表示部であるモニタ３５に表示させる。

　そして、側方視野画像は、複数存在すると共に、ここでは、前方視野画像FVの少なくとも両隣に複数の、ここでは２つの、側方視野画像SV1、SV2が配置されている。

　前方視野画像FVは、撮像ユニット５１Aの撮像素子４０A（図１１）により取得された画像から生成される。画像表示部分８２の画像は、撮像ユニット５１Bの撮像素子４０B（図１１）により取得された画像から生成される。画像表示部分８３の画像は、撮像ユニット５１Cの撮像素子４０C（図１１）により取得された画像から生成される。

（作用）
　次に、ビデオプロセッサ３２Aにおける前方視野画像FVと２つの側方視野画像SV1、SV2間の位置ずれの補正処理方法に関する手順の例について説明する。

　本実施の形態の場合、撮像ユニット５１Aが先端部６の前方を撮像するように、２つの撮像ユニット５１Bと５１Cが互いに逆方向で先端部６の側方を撮像するように、先端部６に配置されている。よって、各撮像ユニット５１A、５１B、５１Cの対物光学系の各レンズあるいは撮像素子４０A、４０B、４０Cを固定する枠の加工精度または組み立て時のばらつき等により、３つの撮像素子４０A、４０B、４０Cの各中心軸が、水平及び垂直方向において、所定の光軸に対してずれてしまう場合がある。

　そこで、本実施の形態では、位置ずれ補正処理を実行する位置ずれ補正部６５Aが、画像処理により、３つの画像について所定の位置からのずれ量を算出する。　
　本実施の形態においても、第１の実施の形態と同様に、内視鏡２Aの製造時、あるいは内視鏡２Aの最初の使用時に、内視鏡２Aをビデオプロセッサ３２Aに接続して電源をオンにしたときに動作するように、位置ずれ補正部６５Aは、制御部６０により制御される。

　そのとき、所定のキャップ９１を先端部６に被せた状態で、位置ずれ補正処理を実行させる。　
　図１４は、キャップ９１の構成を示す斜視図である。

　キャップ９１は、先端部が閉じた円筒形状を有する部材である。キャップ９１は、キャップ９１の基端側から挿入部４の先端部６を挿入可能な開口部９１ａを有している。　
　キャップ９１の先端側の内壁面９２及び、内周面９３上には、所定の参照図形が印刷などにより設けられている。

　ここでは、キャップ９１の先端側の内壁面９２に設けられる参照画像は、上下方向と左右方向にそれぞれ伸びる十字線９４である。キャップ９１の内周面９３に設けられる参照画像は、上下方向と左右方向にそれぞれ伸びる格子線９５である。　
　ユーザは、二点鎖線の矢印Ａで示すように、開口部９１ａから先端部６をキャップ９１内に挿入し、先端部６にキャップ９１を被せてから、位置ずれ補正部６５Aを動作させる。

　なお、各撮像素子４０A、４０B、４０Cがそれぞれキャップ９１内の十字線９４と格子線９５を、先端部６の軸周りに所定の角度で撮像するように、位置合わせのための基準位置マーク（図示せず）等が、キャップ９１と先端部６には設けられている。

　すなわち、キャップ９１と先端部６における基準位置マーク（図示せず）等同士を一致させて先端部６にキャップ９１を被せた状態では、撮像素子４０Aがキャップ９１内の十字線９４を撮像したときに得られる画像において、撮像素子４０Aの縦方向と、十字線９４の縦線の方向と一致し、撮像素子４０Aの横方向と、十字線９４の横線の方向とが一致する。

　キャップ９１と先端部６における基準位置マーク（図示せず）等同士を一致させて先端部６にキャップ９１を被せた状態では、撮像素子４０Aがキャップ９１内の十字線９４を撮像したときに得られる画像において、撮像素子４０Bと４０Cの各縦方向と、格子線９５の縦線の方向とが一致する。

　図１５は、各撮像素子４０A、４０B、４０Cの撮像面に形成された被写体像のずれを説明するための図である。図１５において、領域４０AI、４０BI、４０CIは、それぞれ撮像素子４０A、４０B、４０Cの撮像面において得られる画像の範囲を示す。

　各撮像素子により得られる画像は、各撮像素子の撮像信号中の所定の大きさの領域が切り出される。切り出しの基準点は、各画像の中心点（以下、画像中心点という）である。

撮像素子４０Aにより得られる領域４０AIから、画像中心点CCを基準として所定の領域が切り出され、撮像素子４０Bにより得られる領域４０BIから、画像中心点CRを基準として所定の領域が切り出され、撮像素子４０Cにより得られる領域４０CIから、画像中心点CLを基準として所定の領域が切り出される。

　位置ずれ補正処理時、撮像素子４０Aにより得られる領域４０AI中には、キャップ９１の先端側の内壁面９２に設けられた十字線９４の像が含まれる。撮像素子４０Bと４０Cにより得られる領域４０BIと４０CI中には、キャップ９１の内周面９３に設けられた格子線９５の像が含まれる。

　各撮像ユニットの対物光学系の各レンズあるいは撮像素子を固定する枠の加工精度が完全でかつ組み立て時のばらつき等がなければ、領域４０AIにおいて、画像中心点CCは、十字線９４の中心点としての交点CPと一致する。さらに、撮像素子４０Bと４０Cにおける画像中心点CRとCLは、それぞれ格子線９５の中心点GRとGLと一致する。

　しかし、図１５に示すように、撮像素子４０Aによる得られる領域４０AIでは、十字線９４の縦線は、Y方向に平行に、十字線９４の横線は、X方向に平行になるが、各撮像ユニットの対物光学系の各レンズあるいは撮像素子を固定する枠の加工精度または組み立て時のばらつき等があると、撮像素子４０Aの中心軸を通る画像中心点CCと十字線９４の中心点としての交点CPが一致していない。

　撮像素子４０Bによる得られる領域４０BIにおいても、同様の理由で、格子線９５の縦線は、Y方向に平行に、格子線９５の横線は、X方向に平行になるが、撮像素子４０Bの中心軸を通る画像中心点CRと格子線９５の中心点GRが一致していない。撮像素子４０Cによる得られる画像においても、同様の理由で、格子線９５の縦線は、Y方向に平行に、格子線９５の横線は、X方向に平行になるが、撮像素子４０Cの中心軸を通る画像中心点CLと格子線９５の中心点GLが一致していない。

　ここでは、ずれ量を求めるために、十字線９４の交点CP、格子線９５の２本の縦線間における横線の中央の点GR.GLと、各画像中心点CC,CR,CLとを用いているが、他の位置の点を用いてもよい。

　位置ずれ補正部６５Aの中心座標推定部７１は、各画像における参照図形（十字線９４、格子線９５）の中心点（以下、参照図形中心点という）を算出して推定する。具体的には、中心座標推定部７１は、画像処理により、領域４０AIにおいては、十字線９４の交点CPの撮像面４０ａ上の位置を、領域４０BIと画像CIにおいては、それぞれ格子線９５の中心点GRとGLの撮像面４０ａ上の位置を求める。

　ずれ量算出部７２は、各画像の画像中心点に対する参照図形中心点のずれ量を算出する。制御部６０は、算出されたずれ量データを、内視鏡２Aのメモリ７０に記憶すると共に、レジスタ６９に格納する。

　各画像の画像中心点に対する参照図形中心点のずれ量データは、領域４０AI、４０BI、４０CIの位置関係を示す情報である。具体的には、位置ずれ補正部６５Aは、領域４０AIについて、撮像素子４０Aの撮像面４０ａ上における、画像中心点CCと十字線９４の参照図形中心点CPとの、X軸方向におけるずれ量D1xと、Y軸方向におけるずれ量D1yと算出する。

　同様に、位置ずれ補正部６５Aは、領域４０BIについて、撮像素子４０Bの撮像面４０ａ上における、画像中心点CRと格子線９５の参照図形中心点GRとの、X軸方向におけるずれ量D2xと、Y軸方向におけるずれ量D2yと算出する。

　同様に、位置ずれ補正部６５Aは、領域４０CIについて、撮像素子４０Cの撮像面４０ａ上における、画像中心点CLと格子線９５の参照図形中心点GLとの、X軸方向におけるずれ量D3xと、Y軸方向におけるずれ量D3yと算出する。

　よって、位置ずれ補正部６５は、前方の被写体像及び２つの側方の被写体像を撮像する撮像素子４０A、４０B、４０Cにおいて、前方の被写体像が結像される領域４０AIと、第１の側方の被写体像が結像される領域４０BIと、第２の側方の被写体像が結像される領域４０CIとの位置関係を検出して位置関係検出情報を生成する被写体像位置検出部を構成する。

　境界補正部６６Aは、レジスタ６９に格納されている３つのずれ量データに基づいて、各画像から、３つの参照図形中心点CP、GR、GLが一致するように、画像を切り出し、各画像が同じ大きさになるように拡大処理を実行する。

　境界補正部６６Aの切り出し部７３は、例えば、領域４０AIについては、参照図形中心点CPを画像切り出しの中心として、領域４０BIについては、参照図形中心点CRを画像切り出しの中心として、領域４０CIについては、参照図形中心点CLを画像切り出しの中心として、各画像を切り出す。　
　その結果、図１５においては、領域４０AI、BI、CIから、それぞれ、二点鎖線で示す領域が、切り出される。

　境界補正部６６Aの拡大部７４は、切り出し部７３において切り出された３つの画像のサイズが異なる場合もあることから、３つの画像のサイズが同じになるように、各画像に対して、拡大処理あるいは縮小処理を実行して、合成部６７Aに出力する。

　すなわち、境界補正部６６Aは、位置関係検出情報に基づき、領域４０AIに設けた基準位置である参照図形中心点CPと、領域４０BI、４０CIに設けた第２の基準位置である参照図形中心点GR、GLと合わせて前方視野画像FVと２つの側方視野画像SV1,SV2とを配置した画像信号を生成する画像信号生成部を構成する。

　言い換えれば、境界補正部６６Aは、領域４０AIに設けた基準位置である参照図形中心点CPの座標と、少なくとも２つの領域４０BI、４０CIにそれぞれ設けた参照図形中心点GR、GLの座標とをそれぞれ合わせるように、前方視野画像FVと２つの側方視野画像SV1,SV2の配置を変化させた画像信号を生成する。

　なお、ここでは、境界補正部６６Aは、各領域４０AI、４０BI、４０CIの参照図形中心点CP、GR、GLが一致するように、前方視野画像FVと側方視野画像SV1,SV2の切り出し位置を変化させているが、境界補正部６６Aは、各領域４０AI、４０BI、４０CI内において、前方視野画像部分FVa中の参照図形の所定の位置の座標から垂直又は水平方向に延出した直線と、側方視野画像部分SVa中の参照図形の所定の位置の座標から垂直又は水平方向に延出した直線とのずれを補正するように、前方視野画像FV及び側方視野画像SVの少なくとも一方の位置を変化させる処理を行うようにしてもよい。その場合は、境界補正部６６Aは、各領域４０AI、４０BI、４０CIの位置関係を示す位置関係検出情報に基づき、３つの領域のうちの２つの配置を、他の１つの領域の位置に合わせて変化させる。

　さらになお、各参照画像の座標は、前方視野画像FV及び側方視野画像SV1,SV2が表示される表示部であるモニタ３５上の画素の座標で、ずれの量は、座標上における画素数で換算されて表すようにしてもよい。

　図１６は、本実施の形態による位置ずれ補正を行った場合の例を説明するための図である。　
　図１６において、上段は、３つの各領域４０AI、４０BI、４０CIを示し、各領域４０AI、４０BI、４０CIにおける画像中心点が、加工精度または組み立て時のばらつき等が無い場合の所定の位置に対してずれている。

　しかし、上述したような位置ずれ補正処理を行うことにより、切り出し領域が変更されて、下段のように、３つの内視鏡画像がモニタ３５上に表示され、ユーザは違和感のない３つの内視鏡画像を見ることができる。

　なお、上述した例では、横方向の位置ずれの調整は、各領域４０AI、４０BI、４０CI内において、画像中心点に対する参照図形中心点のずれ量に基づいて、行われているが、横方向の位置ずれの調整は、表示画面３５ａ上における、画像表示部分８１中の参照図形中心点CPから画像表示部分８２中の参照図形中心点CRまでの距離と、画像表示部分８１中の参照図形中心点CPから画像表示部分８３中の参照図形中心点CLまでの距離が等しくなるように、行われるようにしてもよい。

　本実施の形態においても、制御部６０は、内視鏡２のメモリ７０からデータを読み出して、ずれ量データの有無を判定し、ずれ量データがメモリ７０に記憶されていないとき、中心座標推定部７１とずれ量算出部７２を動作させて位置ずれ補正処理を実行するように制御する。　
　なお、本実施の形態においても、位置ずれ補正部６５の処理は、内視鏡２の修理時にも実行するようにしてもよい。

　さらになお、上述した第２の実施の形態において、側方を照明及び観察する機能を実現する機構は、前方を照明及び観察する機能を実現する機構と共に、挿入部４に内蔵されているが、側方を照明及び観察する機能を実現する機構は、挿入部４に対して着脱可能な別体にしてもよい。

　図１７は、第２の実施の形態の変形例に関わる、側方観察用のユニットが取り付けられた挿入部４の先端部６ａの斜視図である。挿入部４の先端部６ａは、前方視野用ユニット６００を有している。側方視野用ユニット５００は、前方視野用ユニット６００に対してクリップ部５０１により着脱自在な構成を有している。

　前方視野用ユニット６００は、前方視野画像FVを取得するための前方観察窓１２Aと、前方を照明するための照明窓６０１を有している。側方視野用ユニット５００は、左右方向の画像を取得するための２つの側方観察窓１３A、１３Bと、左右方向を照明するための２つの照明窓５０２を有している。　
　ビデオプロセッサ３２A等は、側方視野用ユニット５００の各照明窓５０２の点灯と消灯を、前方視野のフレームレートに合わせて行うようにして、上述した実施の形態に示したような観察画像の取得と表示を行うことができる。　
　以上のように、上述した実施の形態によれば、対物光学系のレンズあるいは撮像素子を固定する枠の加工精度または組み立て時のばらつき等により、前方視野画像FVと側方視野画像SVの光学系間でずれがあっても、モニタ３５に同時に表示された前方視野画像FVと２つの側方視野画像SV1,SV2にユーザが違和感を感じさせない内視鏡システム及び画像処理方法を提供することができる。

　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

　本出願は、２０１４年１２月２２日に日本国に出願された特願２０１４－２５８９２０号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (18)

1. 　被写体の内部に挿入される挿入部と、
   　前記挿入部に設けられ、前記被写体の第１の領域から第１の被写体像を取得する第１の被写体像取得部と、
   　前記挿入部に設けられ、前記第１の領域とは異なる前記被写体の第２の領域から第２の被写体像を取得する第２の被写体像取得部と、
   　前記第１の被写体像及び前記第２の被写体像を撮像する撮像部と、
   　前記撮像部において前記第１の被写体像が結像される第１の部分と、前記第２の被写体像が結像される第２の部分との位置関係を検出して位置関係検出情報を生成する被写体像位置検出部と、
   　前記位置関係検出情報に基づき、前記第１の部分に設けた第１の基準位置と前記第２の部分に設けた第２の基準位置と合わせて前記第１の被写体像及び前記第２の被写体像とを配置した画像信号を生成する画像信号生成部と、
   を備えたことを特徴とする内視鏡システム。
2. 　前記画像信号生成部は、前記第１の被写体像の中心位置の座標と、前記第２の被写体像の中心位置の座標のずれを補正するように、前記第１の被写体像又は前記第２の被写体像の少なくとも一方の位置を変化させる処理を行うことを特徴とする請求項１に記載の内視鏡システム。
3. 　前記座標は、前記第１の被写体像及び前記第２の被写体像が表示される表示部上の画素の座標であり、
   　前記ずれの量は、前記座標上の画素数で表されることを特徴とする請求項２に記載の内視鏡システム。
4. 　前記画像信号生成部は、前記第１の被写体像の所定の座標から垂直又は水平方向に延出した直線と、前記第２の被写体像の所定の座標から垂直又は水平方向に延出した直線とのずれを補正するように、前記第１の被写体像又は前記第２の被写体像の少なくとも一方の位置を変化させる処理を行うことを特徴とする請求項１に記載の内視鏡システム。
5. 　前記座標は、前記第１の被写体像及び前記第２の被写体像が表示される表示部上の画素の座標であり、
   　前記ずれの量は、前記座標の画素数で表されることを特徴とする請求項４に記載の内視鏡システム。
6. 　前記画像信号生成部は、前記位置関係検出情報に基づき、前記第１の被写体像の配置を、前記撮像部における前記第２の部分の位置に合わせて変化させることを特徴とする請求項１に記載の内視鏡システム。
7. 　前記位置関係は、前記撮像部が取得する被写体像についての所定位置に対する前記撮像部の前記第１の部分の第１のずれ量と、前記所定位置に対する前記撮像部の前記第２の部分の第２のずれ量とにより示され、
   　前記位置関係検出情報は、前記第１のずれ量と前記第２のずれ量を含むことを特徴とする請求項１に記載の内視鏡システム。
8. 　前記第１の被写体像は、前記挿入部の長手方向に略平行な挿入部前方を含む、前記第１の領域の被写体像であり、
   　前記第２の被写体像は、前記挿入部の長手方向に略直交する挿入部側方を含む、前記第２の領域の被写体像であり、
   　前記第１の被写体像取得部は、前記挿入部前方を含む領域の被写体像を取得する前方画像取得部であり、
   　前記第２の被写体像取得部は、前記挿入部側方を含む領域の被写体像を取得する側方画像取得部であることを特徴とする請求項１に記載の内視鏡システム。
9. 　前記第１の被写体像取得部は、前記挿入部の長手方向の先端部に、前記挿入部が挿入される方向に向けて配置され、
   　前記第２の被写体像取得部は、前記挿入部の側面に、前記挿入部の径方向に向けて配置されることを特徴とする請求項１に記載の内視鏡システム。
10. 　前記撮像部は、前記第１の被写体像取得部が取得する前記第１の被写体像を光電変換する第１の撮像素子と、前記第２の被写体像取得部が取得する前記第２の被写体像を光電変換する前記第１の撮像素子とは別個の第２の撮像素子とを含み、
    　前記第１の撮像素子と前記第２の撮像素子とが、前記画像信号生成部にそれぞれ電気的に接続されていることを特徴とする請求項１に記載の内視鏡システム。
11. 　前記画像信号生成部から前記画像信号を入力し、前記第１の被写体像と前記第２の被写体像に基づく画像信号を表示部に表示させるための表示信号を生成する画像出力部を備えることを特徴とする請求項１に記載の内視鏡システム。
12. 　前記画像出力部は、前記第１の被写体像に隣り合うように前記第２の被写体像を前記表示部に表示させることを特徴とする請求項１０に記載の内視鏡システム。
13. 　前記第２の被写体像は、複数存在すると共に、前記第１の被写体像の少なくとも両隣に複数の前記第２の被写体像が配置され、
    　前記画像信号生成部は、前記撮像部における前記第１の部分に設けた第１の基準位置の座標と、少なくとも２つの前記撮像部における前記第２の部分にそれぞれ設けた第２の基準位置の座標とをそれぞれ合わせるように、前記第１の被写体像と前記第２の被写体像の配置を変化させた画像信号を生成することを特徴とする請求項１２に記載の内視鏡システム。
14. 　前記撮像部は、前記第１の被写体像取得部が取得する前記第１の被写体像と、前記第２の被写体像取得部が取得する前記第２の被写体像とを、共に１つの撮像面において光電変換する撮像素子を含むことを特徴とする請求項１に記載の内視鏡システム。
15. 　前記画像信号生成部から前記画像信号を入力し、前記第１の被写体像と前記第２の被写体像に基づく画像信号を表示部に表示させるための表示信号を生成する画像出力部を備え、
    　前記第１の被写体像は、略円形状になるように前記表示部に表示されると共に、前記第２の被写体像は、前記第１の被写体像の周囲を囲む略円環状になるように前記表示部に表示されることを特徴とする請求項１４に記載の内視鏡システム。
16. 　前記位置関係検出情報を記憶する記憶部と備え、
    　前記画像信号生成部は、前記位置関係検出信号が更新されるまで、前記第１の被写体像と前記第２の被写体像の配置を、前記記憶部に記憶された前記位置関係検出情報に基づいて変化させた画像信号を生成することを特徴とする請求項１に記載の内視鏡システム。
17. 　前記記憶部は、前記挿入部を有する内視鏡に設けられていることを特徴とする請求項１６に記載の内視鏡システム。
18. 　被写体の第１の領域から第１の被写体像を取得する手順と、
    　前記被写体の前記第１の領域とは異なる第２の領域から第２の被写体像を取得する手順と、
    　前記第１の被写体像及び前記第２の被写体像を撮像部で撮像する手順と、
    　前記撮像部において前記第１の被写体像が結像される第１の部分と、前記第２の被写体像が結像される第２の部分との位置関係を検出して位置関係検出情報を生成する手順と、
    　前記第１の部分に第１の基準位置を設け、前記第２の部分に第１の基準位置を設ける手順と、
    　前記第１の基準位置と前記第２の基準位置と合わせて前記第１の被写体像及び前記第２の被写体像とを配置した画像信号を生成する手順と、
    を含む画像処理方法。

Images