JP7854499B2 - 内視鏡システム、内視鏡システムの作動方法および手技支援プログラム - Google Patents

Description

本発明は、内視鏡システム、手技支援方法および手技支援プログラムに関する。

従来、術者による手技操作の手間を軽減するための技術が知られている（例えば、特許文献１，２参照。）。特許文献１に記載の技術は、ホルダの関節の角度情報を記録しておき、その角度情報に基づいてホルダの関節の角度を時系列的に逆再生することにより、内視鏡を元の位置および姿勢に復帰させる。特許文献２に記載の技術は、外科的処置の手順状態および手順タイプ等を含む手術用具画像データまたは解剖学的構造の画像を用いることによって訓練された機械学習モデルに基づいて、外科的処置中にエネルギー処置具等の機能を制御する。

特許第６１６１６８７号公報 特開２０２１－１３７２２号公報

しかしながら、特許文献１に記載の技術のようにホルダの関節の角度情報を利用するだけでは、異なる場所を手技する場合等、処置の工程に応じて内視鏡の位置および姿勢が変化する場合の対応が困難という問題がある。また、特許文献２に記載の技術のように、外科的な手順を制御したり、手順状態に応じてエネルギー処置具等の機能のＯＮ／ＯＦＦまたは強弱を制御したりする手法では、内視鏡の位置および姿勢を変化させることによって術者が見たい方向から覗き込む等の複雑な制御は困難である。

本発明は、上述した事情に鑑みてなされたものであって、処置の工程および観察対象に応じた観察視野を術者に提供することにより、術者の手間を低減しかつ処置をスムーズにすることができる内視鏡システム、手技支援方法および手技支援プログラムを提供することを目的としている。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第１態様は、観察対象を撮影する撮像光学系を備える内視鏡と、該内視鏡を支持した状態で前記内視鏡の位置および姿勢を変化させる電動アームと、前記内視鏡の視野方向を変更可能な視野方向変更部と、手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータを記憶する記憶装置と、少なくとも１つのプロセッサとを備え、前記ライブラリデータが、前記撮像光学系と前記観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含み、前記内視鏡が、先端部に前記撮像光学系が配置された長尺部を備え、前記視野方向変更部が、前記内視鏡における前記撮像光学系の角度を変更可能な湾曲部であり、前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含み、前記プロセッサが、任意の前記手技シーンに関連付けられている前記ライブラリデータを前記記憶装置から呼び出した後、呼び出した前記ライブラリデータに基づいて前記視野方向変更部および前記電動アームの少なくとも一方を制御する内視鏡システムである。

本態様によれば、プロセッサの作動により、任意の手技シーンに関連付けられた内視鏡視野を実現するためのライブラリデータが記憶装置から呼び出される。そして、呼び出されたライブラリデータに基づいて視野方向変更部および電動アームが制御される。この場合において、各ライブラリデータが内視鏡の撮像光学系と観察対象との相対的な位置および姿勢に関する相対パラメータを含むので、手技シーンおよび観察対象の両方に応じた内視鏡視野を術者に提供することができる。よって、術者の手間を低減しかつ処置をスムーズにすることができる。

上記態様に係る内視鏡システムは、前記プロセッサが、前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定した後、特定した前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出すこととしてもよい。

この構成によって、プロセッサによる画像処理によって特定された手技シーンに基づいて、視野方向変更部および電動アームが制御される。したがって、術者が画像情報から手技シーンを特定する必要がなく、術者の手間をより低減することができる。

上記態様に係る内視鏡システムは、前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させることとしてもよい。

この構成によって、手技シーンおよび観察対象の両方に応じて、観察対象に対して内視鏡の撮像光学系が予め設定された距離に配置される。これにより、観察対象を所望の距離感の見せ方にすることができる。

上記態様に係る内視鏡システムは、前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させることとしてもよい。

この構成によって、手技シーンおよび観察対象の両方に応じて、観察対象に対して内視鏡の撮像光学系が予め設定された向きに配置される。臓器または他の観察組織の姿勢に応じて撮像光学系の姿勢が決まるため、個体差にばらつきがあったとしても、予め設定された内視鏡視野をより簡易かつ精度よく再現することができる。また、助手の鉗子操作等によって観察組織の姿勢または向きが変化したとしても、予め設定された内視鏡視野を簡易に得ることができる。

上記態様に係る内視鏡システムは、前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させることとしてもよい。

この構成によって、手技シーンおよび観察対象の両方に応じて、内視鏡視野に対して腸や血管等が延びる方向を予め設定された向きに配置することができる。これにより、患者の個体差に、より対応した内視鏡視野を簡易に得ることができる。

上記態様に係る内視鏡システムは、前記視野方向変更部が、前記内視鏡における前記撮像光学系の角度を変更可能な湾曲部であってもよい。その場合、前記内視鏡が、先端部に前記撮像光学系が配置された長尺部を備え、前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含むこととしてもよい。

この構成によって、ベース座標から見た撮像光学系の向きを一致させることができる。これにより、個体差に応じて観察組織の位置が変わったり内視鏡の長尺部の傾きが変わったりしても撮像光学系の向きは変わらないため、予め設定された内視鏡視野を簡易かつ精度よく再現することができる。

上記態様に係る内視鏡システムは、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸に対して前記撮像光学系の光軸が傾斜した状態で配置されている斜視鏡であり、前記視野方向変更部が、前記鏡筒部の前記中心軸回りの角度を変更することとしてもよい。
鏡筒部の中心軸回りの角度を変更すると、鏡筒部の中心軸に対して一定の角度を有する斜視鏡の視野方向が鏡筒部の中心軸回りに変化することによって、斜視鏡の視野方向を斜め上方または斜め下方等に切り替えることができる。これにより、鏡筒部を中心軸回りに回転させるだけで、斜視鏡の視野方向を所望の観察対象に向けることができる。したがって、内視鏡として斜視鏡を採用した場合であっても、術者が指定した観察対象を内視鏡視野に容易に入れることができる。

上記態様に係る内視鏡システムは、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸と前記撮像光学系の光軸とが一致した状態で配置されている直視鏡であり、前記視野方向変更部が、前記撮像光学系によって取得される画像情報を表示する表示画面上の前記観察対象を捉える位置の変更に応じて、前記鏡筒部の前記中心軸に直交する回転軸回りの角度を変更することとしてもよい。
視野方向変更部により、表示画面上の観察対象を捉える位置の変更に応じて、鏡筒部の中心軸に直交する回転軸回りの角度が変更されることによって、直視鏡の視野方向が、表示画面上の変更後の位置で観察対象を捉える向きに変更される。これにより、例えば、観察対象を捉える位置を表示画面の端に変更した場合は、直視鏡の視野方向が、観察対象を画角の端で捉える向きに変更されることによって、観察対象を覗き込む角度の内視鏡視野を作成することができる。したがって、内視鏡として直視鏡を採用した場合であっても、術者が指定した観察対象を内視鏡視野に容易に入れることができる。

上記態様に係る内視鏡システムは、前記プロセッサが、前記撮像光学系によって取得される画像情報を処理することにより、前記観察対象を認識することとしてもよい。
この構成によって、術者が画像情報から観察対象を特定する必要がなく、術者の手間をより低減することができる。

上記態様に係る内視鏡システムは、前記撮像光学系によって取得される画像情報に基づいてユーザに前記観察対象を指定させる入力部を備えることとしてもよい。
この構成によって、術者が所望の観察対象を選択することができる。

本発明の第２態様は、プロセッサが、手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータの内、任意の手技シーンに関連付けられた前記ライブラリデータを記憶装置から呼び出す工程と、呼び出された前記ライブラリデータに基づいて、観察対象を撮影する内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させる工程とを含み、各前記ライブラリデータが、前記内視鏡の撮像光学系と前記観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含み、前記内視鏡が、先端部に前記撮像光学系が配置された長尺部と、前記撮像光学系の角度を変更可能な湾曲部とを備え、該湾曲部により前記撮像光学系の角度を変更することによって、前記内視鏡の視野方向が変更され、前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含む内視鏡システムの作動方法である。

上記態様に係る内視鏡システムの作動方法は、前記プロセッサが、前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定した後、特定された前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出すこととしてもよい。

上記態様に係る内視鏡システムの作動方法は、前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、前記プロセッサが、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させることとしてもよい。

上記態様に係る内視鏡システムの作動方法は、前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、前記プロセッサが、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させることとしてもよい。

上記態様に係る内視鏡システムの作動方法は、前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、前記プロセッサが、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させることとしてもよい。

上記態様に係る内視鏡システムの作動方法は、前記内視鏡が、前記撮像光学系の角度を変更可能な湾曲部を備え、該湾曲部により前記撮像光学系の角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。その場合、前記内視鏡が、先端部に前記撮像光学系が配置された長尺部を備え、前記ライブラリデータが、ベース座標上の前記内視鏡の長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含むこととしてもよい。

上記態様に係る内視鏡システムの作動方法は、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸に対して前記撮像光学系の光軸が傾斜した状態で配置されている斜視鏡であり、前記鏡筒部の前記中心軸回りの角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。

上記態様に係る内視鏡システムの作動方法は、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸と前記撮像光学系の光軸とが一致した状態で配置されている直視鏡であり、前記撮像光学系によって取得される画像情報を表示する表示画面上の前記観察対象を捉える位置の変更に応じて、前記鏡筒部の前記中心軸に直交する回転軸回りの角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。

上記態様に係る内視鏡システムの作動方法は、前記撮像光学系によって取得される画像情報が前記プロセッサによって処理されることにより、前記観察対象が認識されることとしてもよい。
上記態様に係る内視鏡システムの作動方法は、前記撮像光学系によって取得される画像情報に基づいて、ユーザによって前記観察対象が指定されることとしてもよい。

本発明の第３態様は、手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータの内、任意の手技シーンに関連付けられた前記ライブラリデータを記憶装置から呼び出す工程と、呼び出された前記ライブラリデータに基づいて、観察対象を撮影する内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させる工程とをコンピュータに実行させ、各前記ライブラリデータが、前記内視鏡の撮像光学系と観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含み、前記内視鏡が、先端部に前記撮像光学系が配置された長尺部と、前記撮像光学系の角度を変更可能な湾曲部とを備え、該湾曲部により前記撮像光学系の角度を変更することによって、前記内視鏡の視野方向が変更され、前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含む手技支援プログラムである。

上記態様に係る手技支援プログラムは、前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定する工程と、特定された前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出す工程とをコンピュータに実行させることとしてもよい。

上記態様に係る手技支援プログラムは、前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させることとしてもよい。

上記態様に係る手技支援プログラムは、前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させることとしてもよい。

上記態様に係る手技支援プログラムは、前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させることとしてもよい。

上記態様に係る手技支援プログラムは、前記内視鏡が、前記撮像光学系の角度を変更可能な湾曲部を備え、該湾曲部により前記撮像光学系の角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。その場合、前記内視鏡が、先端部に前記撮像光学系が配置された長尺部を備え、前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含むこととしてもよい。

上記態様に係る手技支援プログラムは、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸に対して前記撮像光学系の光軸が傾斜した状態で配置されている斜視鏡であり、前記鏡筒部の前記中心軸回りの角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。

上記態様に係る手技支援プログラムは、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸と前記撮像光学系の光軸とが一致した状態で配置されている直視鏡であり、前記撮像光学系によって取得される画像情報を表示する表示画面上の前記観察対象を捉える位置の変更に応じて、前記鏡筒部の前記中心軸に直交する回転軸回りの角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。

上記態様に係る手技支援プログラムは、前記撮像光学系によって取得される画像情報を処理することにより、前記観察対象を認識する工程をコンピュータに実行させることとしてもよい。
上記態様に係る手技支援プログラムは、前記撮像光学系によって取得される画像情報に基づいて、ユーザによって前記観察対象が指定されることとしてもよい。

本発明によれば、処置の工程および観察対象に応じた観察視野を術者に提供することにより、術者の手間を低減しかつ処置をスムーズにすることができるという効果を奏する。

本発明の第１実施形態に係る内視鏡システムの概略構成図である。 電動スコープの概略構成と相対パラメータの一例を説明する図である。 制御装置による制御方法を説明する図ある。 本発明の第１実施形態に係る手技支援方法および手技支援プログラムを説明するフローチャートである。 電動スコープの傾きとカメラの向きとの関係を説明する図である。 ベース座標から見た撮像光学系の向きを説明する図である。 観察対象の姿勢とカメラの向きとの関係を説明する図である。 観察対象に対する撮像光学系の向きを説明する図である。 長尺状の観察対象が走行する方向とカメラの光軸回りの傾きとの関係を説明する図である。 長尺状の観察対象が走行する方向がモニタの画面に対して横方向を向いた状態の内視鏡視野の一例を示す図である。 長尺状の観察対象が走行する方向に合わせて電動スコープのロール角を調整する方法を説明する図である。 患者または手術台の姿勢に合わせて電動スコープのロール角を調整する方法を説明する図である。 通常時の手術台または患者の座標とベース座標との関係を示す図である。 傾いた手術台または患者の座標と、キャリブレーションしてないベース座標との関係を示す図である。 傾いた手術台または患者の座標と、キャリブレーションしたベース座標との関係を示す図である。 通常時の手術台または患者の座標とベース座標との関係を示す図である。 傾いた手術台または患者の座標と、ライブラリデータをキャリブレーションしてない場合の電動スコープの向きとの関係を示す図である。 傾いた手術台または患者の座標と、ライブラリデータをキャリブレーションした場合の電動スコープの向きとの関係を示す図である。 ＡＩによる手技シーンの判定に応じてメインコントローラがライブラリデータを切り替えることを説明する図である。 術者による手技シーンの特定に応じてメインコントローラがライブラリデータを切り替えることを説明する図である。 術者の指示に応じてメインコントローラがライブラリデータを切り替えることを説明する図である。 患者における処置位置に応じてメインコントローラがライブラリデータを切り替えることを説明する図である。 患者における刺入点を原点とした処置位置を説明する図である。 患者における刺入点を原点とした他の処置位置を説明する図である。 ライブラリデータとして視軸回りのロール角度を採用する場合の内視鏡システムの制御方法を説明する図ある。 俯瞰した内視鏡視野を作成する場合の内視鏡システムの制御方法を説明する図ある。 本発明の第２実施形態に係る内視鏡システムの斜視鏡の概略構成図である。 制御装置による制御方法を説明する図ある。 斜視鏡の視野方向が鏡筒部の長手軸回りに変化することを説明する図である。 斜視鏡の見上げの視野を説明する図である。 電動スコープの湾曲部をＵＰ方向に３０ｄｅｇ程度曲げたときの視野を説明する図である。 斜視鏡の見下げの視野を説明する図である。 電動スコープの湾曲部をＤＯＷＮ方向に３０ｄｅｇ程度曲げたときの視野を説明する図である。 カメラの視軸が軸線回りに回転することを説明する図である。 本発明の第３実施形態に係る内視鏡システムの直視鏡の概略構成図である。 制御装置による制御方法を説明する図ある。 カメラの視軸が軸線回りに回転することを説明する図である。 観察対象を内視鏡視野の中央において捉えた様子を示す図である。 観察対象が画面の中央に位置する様子を示す図である。 観察対象を画角の端で捉えた様子を示す図である。 観察対象を覗き込む角度の内視鏡視野によって、隠れて見えなかった箇所が見える様子を示す図である。

〔第１実施形態〕
本発明の第１実施形態に係る内視鏡システム、手技支援方法および手技支援プログラムについて図面を参照して以下に説明する。
本実施形態に係る内視鏡システム１は、図１に示されるように、患者の体腔内の画像を取得する電動スコープ（内視鏡）３と、電動スコープ３を支持するロボットアーム（電動アーム）５と、電動スコープ３およびロボットアーム５を制御する制御装置７等を備えている。図１において、符号９はビデオシステムセンタを示し、符号１１はモニタを示している。ビデオシステムセンタ９は、電動スコープ３と制御装置７とに接続されている。モニタ１１は、制御装置７に接続されている。

電動スコープ３は、図２に示されるように、患者の体腔内に挿入される長尺の挿入部（長尺部）１３と、挿入部１３の先端部に備えられたカメラ（撮像光学系）１５と、挿入部１３の長手軸に対するカメラ１５の内視鏡視野の傾斜角度を変化させる湾曲部（視野方向変更部）１７と、湾曲部１７を駆動する湾曲モータおよび挿入部１３を長手軸回りにロール回転させるロールモータ（いずれも図示略）とを備えている。

カメラ１５は、例えば、少なくとも一つのレンズと、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージャとによって構成されている。カメラ１５は、単眼カメラであってもよいし、ステレオカメラであってもよい。
また、電動スコープ３は、カメラ１５の視野内に捉えた観察対象までの距離を測定する測距機能を有している。測距機能を実現する機構としては、公知の機構を採用することができる。

ロボットアーム５は、例えば、電動スコープ３を任意の位置に移動可能に保持する汎用の６軸多関節型ロボットの電動ホルダである。ロボットアーム５には、各関節を動作させるモータ（図示略）が関節ごとに備えられている。

制御装置７は、例えば、専用または汎用のコンピュータによって実現される。すなわち、制御装置７は、図１および図３に示されるように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のメインコントローラ（プロセッサ）２１、視野コントローラ（プロセッサ）２３および位置姿勢コントローラ（プロセッサ）２５と、これらの各コントローラ２１，２３，２５の作業領域として使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置（図示略）と、補助記憶装置（記憶装置）２７とを備えている。

補助記憶装置２７は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）またはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等のコンピュータ読み取り可能な非一時的な記録媒体である。補助記憶装置２７には、各コントローラ２１，２３，２５に処理を実行させる手技支援プログラムと、手技シーンごとに関連付けられた電動スコープ３の内視鏡視野を実現するための複数のライブラリデータとが記憶されている。主記憶装置および補助記憶装置２７は、ネットワークを経由して制御装置７に接続されていることとしてもよい。

手技支援プログラムは、例えば、図４に示されるように、電動スコープ３によって取得される画像情報を処理することにより、カメラ１５によって撮影される観察対象Ｓを認識する工程および手技シーンを特定する工程（ステップＳ２，Ｓ６）と、特定した手技シーンに関連付けられているライブラリデータを補助記憶装置２７から呼び出す工程（ステップＳ３，Ｓ４）と、呼び出されたライブラリデータに基づいて、カメラ１５の角度、電動スコープ３の位置および姿勢の少なくともいずれか一つを変化させる工程（ステップＳ４，Ｓ８）とを制御装置７の各コントローラ２１，２３，２５によって実行させる。

メインコントローラ２１は、ビデオシステムセンタ９から内視鏡画像を取り込むキャプチャボード２９と、内視鏡画像と状態の信号を出力するグラフィックボード３１とを備えている。メインコントローラ２１は、内視鏡画像を処理することにより、内視鏡画像上の観察対象Ｓを認識するとともに、その内視鏡画像における手技シーンを特定する。そして、メインコントローラ２１は、特定した手技シーンに対応付けられているライブラリデータを補助記憶装置２７から呼び出す。

視野コントローラ２３は、電動スコープ３に接続されており、電動スコープ３に湾曲動作指令を送る一方、電動スコープ３から湾曲角度情報を受け取る。
位置姿勢コントローラ２５は、電動スコープ３およびロボットアーム５と、音声認識ユニット３３とに接続されている。位置姿勢コントローラ２５は、電動スコープ３に内視鏡動作指令を送る一方、電動スコープ３から挿入部１３の長手軸回りの回転量が入力される。また、位置姿勢コントローラ２５は、ロボットアーム５に内視鏡動作指令を送る一方、ロボットアーム５からロボットアーム５の位置および状態（姿勢）の信号を受け取る。

また、制御装置７には、各種ユーザインタフェース（ＵＩ）として、ヘッドセット（入力部）３５、手元スイッチ（入力部）３７およびフットスイッチ（入力部）３９等が接続されている。ヘッドセット３５により、術者は音声によって内視鏡動作指令および動作切替指令等を入力することができる。ヘッドセット３５から入力される内視鏡動作指令および動作切替指令等は、音声認識ユニット３３を経由することによって位置姿勢コントローラ２５に送られる。

手元スイッチ３７は、例えば処置具に取り付けられており、術者は手元の操作によって内視鏡動作指令を入力することができる。手元スイッチ３７から入力される内視鏡動作指令は、音声認識ユニット３３を経由することによって、位置姿勢コントローラ２５に送られる。フットスイッチ３９により、術者は足元の操作によって内視鏡動作指令および動作切替指令を入力することができる。フットスイッチ３９から入力される内視鏡動作指令および動作切替指令は、メインコントローラ２１に送られる。

補助記憶装置２７に記憶される複数のライブラリデータは、電動スコープ３のカメラ１５とカメラ１５によって撮影される観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含んでいる。相対パラメータとしては、例えば、スコープ軸ロール角度情報、カメラ１５と観察対象Ｓとの距離情報、および、電動スコープ３の湾曲部１７の湾曲量情報等が挙げられる。

スコープ軸ロール角度情報は、図２に示されるように、電動スコープ３の挿入部１３の長手軸回りの初期状態からのロール角度である。カメラ１５と観察対象Ｓとの距離情報は、カメラ１５の視軸に沿う方向のカメラ１５と観察対象Ｓとの距離である。湾曲部１７の湾曲量情報は、電動スコープ３のスコープ軸に対するカメラ１５の向きである。以下、これらの情報をロール角度情報、距離情報および湾曲量情報という。つまり、補助記憶装置２７には、各手技シーンに適した内視鏡視野がそれぞれ手技シーンごとに予め設定されており、それらの各内視鏡視野を実現するためのロール角度情報、距離情報および湾曲量情報の少なくともいずれか一つが、各手技シーンに対応付けられて記憶されている。

制御装置７は、任意の手技シーンに関連付けられているロール角度情報、距離情報および／または湾曲量情報を補助記憶装置２７から呼び出した後、呼び出したこれらの各情報に基づいて電動スコープ３の湾曲部１７およびロボットアーム５の少なくとも一方を制御する。

例えば、制御装置７は、補助記憶装置２７から距離情報を呼び出した場合は、電動スコープ３の湾曲部１７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５と観察対象Ｓとの実際の距離を、呼び出した距離情報に一致させる。

具体的には、メインコントローラ２１は、図３に示されるように、観察対象Ｓとの現在の距離測定値と補助記憶装置２７から呼び出した距離情報とを比較することにより、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるための軌道を計算する。観察対象Ｓとの現在の距離測定値は、電動スコープ３の測距機能によって測定される。そして、メインコントローラ２１は、ロボットアーム５の関節制御指令と電動スコープ３の湾曲角度指令とに振り分けた後、位置姿勢コントローラ２５に関節制御指令を入力するとともに、視野コントローラ２３に湾曲角度指令を入力する。

位置姿勢コントローラ２５は、関節制御指令に従い、ロボットアーム５の逆運動学を用いることによって、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な各関節の駆動量を決定する。決定された各関節の駆動量は、各関節の角度指令（内視鏡動作指令）としてロボットアーム５の各モータに入力される。

一方、視野コントローラ２３は、湾曲角度指令に従い、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な湾曲部１７の湾曲角度を決定する。決定された湾曲部１７の湾曲角度は、モータ角度指令（湾曲動作指令）として電動スコープ３のモータに入力される。

ロボットアーム５の各関節がそれぞれの角度指令に従って動作するとともに、電動スコープ３の湾曲部１７がモータ角度指令に従って湾曲することにより、カメラ１５と観察対象Ｓとの距離が距離情報に一致した内視鏡視野が得られる。

また、例えば、制御装置７は、補助記憶装置２７から湾曲量情報を呼び出した場合は、電動スコープ３の湾曲部１７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出される観察対象Ｓに対するカメラ１５の向きを、呼び出した湾曲量情報に一致させる。

具体的には、メインコントローラ２１は、湾曲部１７の現在の湾曲量と補助記憶装置２７から呼び出した湾曲量情報とを比較することにより、湾曲部１７の湾曲量を湾曲量情報に一致させるための軌道を計算する。そして、メインコントローラ２１は、ロボットアーム５の関節制御指令と電動スコープ３の湾曲角度指令とに振り分けた後、位置姿勢コントローラ２５に関節制御指令を入力するとともに、視野コントローラ２３に湾曲角度指令を入力する。

位置姿勢コントローラ２５は、関節制御指令に従い、ロボットアーム５の逆運動学を用いることによって、湾曲部１７の湾曲量を湾曲量情報に一致させるために必要な各関節の駆動量を決定する。決定された各関節の駆動量は、各関節の角度指令（内視鏡動作指令）としてロボットアーム５の各モータに入力される。

一方、視野コントローラ２３は、湾曲角度指令に従い、湾曲部１７の湾曲量を湾曲量情報に一致させるために必要な湾曲部１７の湾曲角度を決定する。決定された湾曲部１７の湾曲角度は、モータ角度指令（湾曲動作指令）として電動スコープ３のモータに入力される。

ロボットアーム５の各関節がそれぞれの角度指令に従って動作するとともに、電動スコープ３の湾曲部１７がモータ角度指令に従って湾曲することにより、観察対象Ｓに対するカメラ１５の向きが湾曲量情報に一致した内視鏡視野が得られる。

また、例えば、制御装置７は、補助記憶装置２７からロール角度情報を呼び出した場合は、ロボットアーム５を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５の光軸回りの観察対象Ｓの傾きを、呼び出したロール角度情報に一致させる。

具体的には、メインコントローラ２１は、スコープ軸の現在のロール角度とロール角度情報とを比較することにより、スコープ軸のロール角度をロール角度情報に一致させるために必要なピボット点回りの位置および姿勢の変化量を決定する。決定されたピボット点回りの位置および姿勢の変化量は、位置姿勢指令として位置姿勢コントローラ２５に入力される。位置姿勢指令は、例えば、電動スコープ３のロール角、ピッチ角、ヨー角および進退量を含んでいる。

位置姿勢コントローラ２５は、位置姿勢指令に従い、ロボットアーム５の逆運動学を用いることによって、スコープ軸のロール角度をロール角度情報に一致させるために必要な各関節の駆動量を決定する。決定された各関節の駆動量は、各関節の角度指令（内視鏡動作指令）としてロボットアーム５の各モータに入力される。ロボットアーム５の各関節がそれぞれの角度指令に従って動作することにより、カメラ１５の光軸回りの観察対象Ｓの傾きがロール角度情報に一致した内視鏡視野が得られる。

位置姿勢コントローラ２５は、ロボットアーム５を制御すると、ロボットアーム５の順運動学を用いることによって、各関節の角度に基づいてオイラー角（ロール、ピッチ、ヨー）を計算する。これにより、スコープ軸の現在のロール角度が算出される。算出されたスコープ軸の現在のロール角度はメインコントローラ２１に記憶される。

視野コントローラ２３は、電動スコープ３の湾曲部１７を制御すると、湾曲部１７のモータ角度を湾曲量に換算することにより、湾曲部１７の現在の湾曲量を算出する。算出された現在の湾曲量は、メインコントローラ２１に記憶される。

次に、上記構成の内視鏡システム１、手技支援方法および手技支援プログラムの作用について、図４のフローチャートを参照して説明する。
本実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムによって、術者による手技を支援するには、まず、電動スコープ３が患者の体内に挿入される（ステップＳ１）。そして、電動スコープ３のカメラ１５によって観察対象Ｓが撮影されることにより、画像情報が取得される。取得された画像情報は、ビデオシステムセンタ９を経由することによって、制御装置７のメインコントローラ２１に入力される。

次いで、メインコントローラ２１により、入力された画像情報が処理されることによって、観察対象Ｓが認識されるとともに手技シーンが特定される（ステップＳ２）。そして、メインコントローラ２１により、特定された手技シーンに関連付けられているライブラリデータが補助記憶装置２７から呼び出された後（ステップＳ３）、展開用の内視鏡視野が作成される（ステップＳ４）。展開とは、例えば、組織を切開したり視認したりし易くするために、助手の鉗子等によって周辺組織を牽引することにより周辺組織にテンションを加える操作をいう。

例えば、補助記憶装置２７から呼び出されたライブラリデータが距離情報である場合は、メインコントローラ２１により、カメラ１５と観察対象Ｓとの現在の距離測定値と距離情報とに基づいて、カメラ１５と観察対象Ｓとの距離を距離情報と一致させるための関節制御指令および湾曲角度指令が決定される。

次いで、位置姿勢コントローラ２５により、関節制御指令に基づいて、ロボットアーム５の各関節の駆動量が決定される。同様に、視野コントローラ２３により、湾曲角度指令に基づいて、湾曲部１７の湾曲角度が決定される。そして、ロボットアーム５の各関節および電動スコープ３の湾曲部１７がそれぞれの指令に従って動作することにより、カメラ１５と観察対象Ｓとの距離が距離情報に一致する内視鏡視野が作成される。

また、例えば、補助記憶装置２７から呼び出されたライブラリデータが湾曲量情報である場合は、メインコントローラ２１により、湾曲部１７の現在の湾曲量と湾曲量情報とに基づいて、湾曲部１７の湾曲量を湾曲量情報と一致させるための関節制御指令および湾曲角度指令が決定される。

次いで、位置姿勢コントローラ２５により、関節制御指令に基づいて、ロボットアーム５の各関節の駆動量が決定される。同様に、視野コントローラ２３により、湾曲角度指令に従い、湾曲部１７の湾曲角度が決定される。そして、ロボットアーム５の各関節および電動スコープ３の湾曲部１７がそれぞれの指令に従って動作することにより、観察対象Ｓに対するカメラ１５の向きが湾曲量情報に一致する内視鏡視野が作成される。

また、例えば、補助記憶装置２７から呼び出されたライブラリデータがロール角度情報である場合は、メインコントローラ２１により、スコープ軸の現在のロール角度とロール角度情報とに基づいて、スコープ軸のロール角度をロール角度情報に一致させるためのピボット点回りの位置姿勢指令が決定される。

次いで、位置姿勢コントローラ２５により、位置姿勢指令に基づいて、各関節の駆動量が決定される。そして、ロボットアーム５の各関節がそれぞれの角度指令に従って動作することにより、カメラ１５の光軸回りの観察対象Ｓの傾きがロール角度情報に一致する内視鏡視野が作成される。
次いで、作成された内視鏡視野において、助手の鉗子操作および展開の操作等が行われる（ステップＳ５）。

続いて、術者による実際の処置に移ると、メインコントローラ２１により、カメラ１５によって新たに取得された画像情報が処理されることによって、観察対象Ｓが認識されるとともに手技シーンが特定される（ステップＳ６）。そして、メインコントローラ２１により、特定した手技シーンに関連付けられているライブラリデータが補助記憶装置２７から呼び出された後（ステップＳ７）、呼び出されたライブラリデータに基づいて電動スコープ３およびロボットアームが制御されることによって、処置用の内視鏡視野が作成される（ステップＳ８）。処置の内使用視野の作成方法は、展開用の内視鏡視野方法と同様であるので、説明を省略する。
処置用の内視鏡視野が作成されると、作成された内視鏡視野において、術者による処置具の追従が開始される（ステップＳ９）。

以上説明したように、本実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムによれば、制御装置７の作動により、任意の手技シーンに関連付けられたライブラリデータが補助記憶装置２７から呼び出された後、そのライブラリデータに基づいてロボットアーム５および電動スコープ３の湾曲部１７の少なくとも一方が制御される。この場合において、各ライブラリデータが電動スコープ３のカメラ１５と観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを含むので、手技シーンおよび観察対象Ｓの両方に応じた内視鏡視野を術者に提供することができる。したがって、術者の手間を低減しかつ処置をスムーズにすることができる。

本実施形態においては、補助記憶装置２７からライブラリデータとして、距離情報、湾曲量情報およびロール角度情報のいずれか一つが呼び出される場合を例示して説明した。これに代えて、複数のライブラリデータが同時に呼び出されることとしてもよい。

例えば、補助記憶装置２７からライブラリデータとして距離情報、湾曲量情報およびロール角度情報の３つが呼び出されると、位置姿勢コントローラ２５により、関節制御指令および位置姿勢指令に基づいて、カメラ１５と観察対象Ｓとの距離、湾曲部１７の湾曲量およびスコープ軸のロール角度を、それぞれ距離情報、湾曲量情報およびロール角度情報に一致させるために必要な各関節の駆動量が決定される。

また、視野コントローラ２３により、湾曲角度指令に基づいて、カメラ１５と観察対象Ｓとの距離および湾曲部１７の湾曲量を、それぞれ距離情報および湾曲量情報に一致させるために必要な湾曲部１７の湾曲角度が決定される。

次いで、ロボットアーム５の各関節が各角度指令に従って動作するとともに、電動スコープ３の湾曲部１７がモータ角度指令に従って湾曲することにより、カメラ１５と観察対象Ｓとの距離、観察対象Ｓに対するカメラ１５の向きおよびカメラ１５の光軸回りの観察対象Ｓの傾きが、それぞれ距離情報、湾曲量情報およびロール角度情報に一致した内視鏡視野が作成される。

カメラ１５と観察対象Ｓとの距離、電動スコープ３の湾曲量およびスコープ軸のロール角度の３つが決まると、観察対象Ｓを基準として電動スコープ３の位置および姿勢が一意に決まる。したがって、事前に患者ごとにデータ登録する必要が無く、異なる患者であっても同じ物理量で内視鏡視野を作成することができる。

本実施形態は以下のように変形することができる。
本実施形態においては、メインコントローラ２１が、内視鏡画像を処理することによって観察対象Ｓを認識することとしたが、これに代えて、例えば、術者がヘッドセット３５、手元スイッチ３７およびフットスイッチ３９等のユーザインタフェース（ＵＩ）によって、観察対象を指定することとしてもよい。同様に、メインコントローラ２１が手技シーンを特定することに代えて、術者が手技シーンを特定することとしてもよい。

また、本実施形態においては、ライブラリデータとして、電動スコープ３の湾曲部１７の湾曲量を例示して説明した。この場合、例えば、図５に示されるように、湾曲部１７の湾曲量は同じでも、電動スコープ３の傾きによっては、観察対象Ｓに対するカメラ１５の見上げ具合または見下ろし具合が変化する。

そこで、湾曲量情報に代えて、例えば、図６に示されるように、ロボットアーム５のベースの中心を原点とするベース座標から見たカメラ１５の向き、すなわちベース座標を基準とした視軸の向きを示す情報をライブラリデータとして採用することとしてもよい。以下、この情報をベース座標から見た向き情報という。

ベース座標から見たカメラ１５の向きは、ベース座標に対する電動スコープ３の傾きと湾曲部１７の湾曲量との和で決まる。ある手技シーンにおいて、ベース座標から見たカメラ１５の向きを、その手技シーンに関連付けられているベース座標から見た向き情報に一致させることにより、個体差等によって生体組織の位置の変化に応じて電動スコープ３の傾きが変わったとしても、カメラ１５の向きが変わるのを防ぐことができる。したがって、設定登録時の内視鏡視野をより簡単に精度よく再現することができる。

また、ライブラリデータとして、湾曲部１７の湾曲量情報および視軸の向き情報を採用した場合は、例えば、図７に示されるように、助手の鉗子の操作等によって観察対象Ｓの姿勢が変化すると、観察対象Ｓに対するカメラ１５の覗き込む角度が相対的に変化することがある。

そこで、ライブラリデータとして、例えば、図８に示されるように、観察対象Ｓに対するカメラ１５の向き、すなわち観察対象Ｓの座標から見た視軸の向きを示す情報を採用することとしてもよい。以下、この情報を対象から見た向き情報という。ある手技シーンにおいて、観察対象Ｓから見たカメラ１５の向きを、その手技シーンに関連付けられている対象から見た向き情報に一致させることにより、臓器や生体組織の姿勢に応じてカメラ１５の向きが決まる。したがって、助手の鉗子操作等によって生体組織側の姿勢または向きが変わったとしても、設定登録時と同じ内視鏡視野、すなわち覗き込み角度にすることができる。

また、ライブラリデータとして、スコープ軸ロール角度情報を採用する場合は、例えば図９に示されるように、腸または血管等の長尺状の観察対象Ｓが走行する方向のカメラ１５の光軸回りの傾きを認識することとしてもよい。そして、ロール角度情報として、腸または血管等が走行する方向をモニタ１１の画面の横方向または縦方向に向けるパラメータを設定してもよい。

実際の手技では、例えば、図１０に示されるように、腸または血管が走行する方向、すなわち剥離ラインが延びる方向を、モニタ１１の画面に対して横方向または縦方向に向ける視野の調整が行われる。ライブラリデータに基づく制御によって、腸または血管等が走行する方向をモニタ１１の画面の横方向または縦方向に向けることにより、患者の個体差に、より対応した内視鏡視野を得ることができる。図１０において、符号Ａは腸を示し、符号Ｂは神経束を示し、符号ＣはＩＭＡ（Ｉｎｆｅｒｉｏｒ Ｍｅｓｅｎｔｅｒｉｃ Ａｒｔｅｒｙ）を示し、符号Ｄは剥離ラインを示している。

この場合、例えば、図１１に示されるように、腸または血管等の長尺状の観察対象Ｓが走行する方向を曲線によって近似した後、複数点の傾きを算出することによって、それらの傾きの平均角度を算出する。そして、電動スコープ３のロール角と、湾曲部１７のＵＤ（ＵＰ ＤＯＷＮ）方向およびＬＲ（ＬＥＦＴ ＲＩＧＨＴ）方向の湾曲角度とをそれぞれ調整することによって、平均角度と一致させることとしてもよい。

また、患者または手術台の座標を予め入力または検出することによって、例えば、図１２に示されるように、患者または手術台の座標に対して電動スコープ３のロール角をＺ軸方向（通常は鉛直上向き）に合わせることとしてもよい。

また、本実施形態においては、患者自身の傾きまたは患者が横たわる手術台の傾きに応じて、ライブラリデータまたはベース座標をキャリブレーションすることとしてもよい。例えば、図１３Ａ－１３Ｃに示されるように、患者または手術台の傾きを検出した後、検出した傾きをベース座標に加えることによって、ベース座標を補正することとしてもよい。また、例えば、図１４Ａ－図１４Ｃに示されるように、患者または手術台の傾きを検出した後、検出した傾きをライブラリデータに加えることによって、ライブラリデータを補正することとしてもよい。図１３Ａ－１３Ｃおよび図１４Ａ－図１４Ｃにおいて、符号Ｅは手術台または患者を示している。

また、本実施形態においては、手技の流れを予めプログラムしておき、処置の工程すなわち手技シーンに応じて、各手技シーンに関連付けられているライブラリデータに切り替えられることとしてもい。この場合、例えば、図１５に示されるように、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）によって処置の工程を判定することにより、メインコントローラ２１がライブラリデータを切り替えることとしてもよい。

処置の工程とは、例えば、処置している解剖学的な場所または切開等の術者の操作である。ＡＩにより、解剖学的な場所と切開等の術者の操作に基づいて、処置の工程が推定されることとしてもい。術者の操作としては、特定の血管の切離、出血に対する止血操作、脈管のクリップ、臓器の圧排操作および蛍光観察等が想定できる。

また、処置の工程は術者が認識することとしてもよい。例えば、術者が音声またはボタン操作等のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を使用することによって、処置の工程を特定することとしてもよい。この場合、例えば、図１６に示されるように、術者がＵＩによって処置の工程を特定することにより、メインコントローラ２１がライブラリデータを切り替えることとしてもよい。

また、例えば、図１７に示されるように、「次の処置の工程に移る」、「１つ前の処置の工程に戻る」または「ＩＭＡの切離の工程に移る」等の術者の指示に基づいて、メインコントローラ２１が、指定された手技シーンに関連付けられているライブラリデータに切り替えることとしてもよい。

また、処置が進むにつれて患者に対するカメラ１５の位置が変化するため、例えば、患者に対するカメラ１５の位置および姿勢に基づいて、ライブラリデータが切り替えられることとしてもよい。図１８および図１９に示されるように、例えば、刺入点を原点、患者の頭側をゼロｄｅｇ、尾側を１８０ｄｅｇと定義した場合において、カメラ１５の向きが図１９の三角の枠内の処置を示す閾値Ａ未満のとき（例えば、カメラ１５の向きが２１０～１５０ｄｅｇ）は、メインコントローラ２１が、「直腸後腔に入るシーン」に関連付けられているライブラリデータを設定することとしてもよい。図１９において、符号Ｆは患者を示している。図２０も同様である。

また、図１８および図２０に示されるように、カメラ１５の向きが図２０の三角の枠内の処置を示す閾値Ａ以上かつ閾値Ｂ未満のとき（例えば、カメラ１５の向きが１５０～１２０ｄｅｇ）は、メインコントローラ２１が、「内側アプローチ前半」に関連付けられているライブラリデータに切り替えることとしてもよい。

メインコントローラ２１は、ＡＩを用いた組織認識によって認識した生体組織を観察対象Ｓとしてもよい。血管または臓器等の組織を予め機械学習等によって学習しておくことにより、学習済みの組織が画像内に映りこんだ際に、メインコントローラ２１によって自動的に観察対象Ｓとして設定することができる。

また、メインコントローラ２１は、術者がＵＩを使用することによって指定した生体組織を観察対象Ｓとして認識してもよい。この場合、術者がタッチパネル等のＵＩを使用することによって、観察対象Ｓとする制裁組織を指定してもよいし、鉗子等の先端によって指し示した生体組織上の点を記憶することによって、記憶した生体組織を観察対象Ｓとしてもよい。このようにすることで、予め学習しておく必要が無い分、様々な生体組織を観察対象Ｓとして簡単に設定することができる。

また、本実施形態においては、ライブラリデータとして、スコープ軸ロール角度を例示して説明したが、これに代えて、例えば、湾曲部１７よりも先端側のカメラ１５の光軸回り、すなわち視軸回りのロール角度を採用することとしてもよい。この場合、例えば、図２１に示されるように、位置姿勢コントローラ２５は、ロボットアーム５の順運動学に加えて電動スコープ３の手先の順運動学を用いることによって、ロボットアーム５の各関節の角度に基づいてオイラー角（ロール、ピッチ、ヨー）を計算することとすればよい。

また、本実施形態は、患者の刺入点付近、例えばトロッカ付近まで電動スコープ３を後退させることによって俯瞰した内視鏡視野を作成した状態で、展開操作する際にも適用することができる。この場合、ライブラリデータとしては、例えば、図２２に示されるように、湾曲部１７の湾曲量がゼロの湾曲量情報、電動スコープ３の進退量がゼロのスコープ軸進退量情報、および、ロール角度が所望の値のスコープ軸ロール角度情報とを採用することとしてもよい。湾曲部１７の湾曲量がゼロの状態は、湾曲部１７が挿入部１３の長手軸方向を向いた状態である。電動スコープ３の進退量がゼロの状態は、電動スコープ３が患者の刺入点付近に位置する状態である。

このようなライブラリデータに基づく制御により、湾曲部１７の湾曲量がゼロに戻された後、電動スコープ３の進退量がゼロ、すなわち抜去リミットまで後退されるとともに、電動スコープ３のロール角度が調整される。湾曲部１７が挿入部１３の長手軸に沿って真っすぐに延びた状態で電動スコープ３がトロッカ付近まで後退されることにより、完全に俯瞰した内視鏡視野を作成することができる。この場合、位置姿勢コントローラ２５は、ロボットアーム５の順運動学を用いることによって、ロボットアーム５の各関節の角度に基づいて電動スコープ３の現在の進退量を計算することとしてもよい。算出された電動スコープ３の現在の進退量はメインコントローラ２１に記憶される。

〔第２実施形態〕
次に、本発明の第２実施形態に係る内視鏡システム、手技支援方法および手技支援プログラムについて説明する。
本実施形態に係る内視鏡システム１は、電動スコープ３に代えて、図２３に示されるように、湾曲部１７を備えない斜視鏡（内視鏡）４１を備える点で第１実施形態と異なる。
以下、第１実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムと構成を共通する箇所には、同一符号を付して説明を省略する。

斜視鏡４１は、患者の体腔内に挿入される長尺の鏡筒部４３と、鏡筒部４３の先端部に備えられたカメラ（撮像光学系）１５とを備えている。斜視鏡４１は、鏡筒部４３の長手軸（中心軸）に対してカメラ１５の光軸が傾斜した状態で配置されている。鏡筒部４３は、鏡筒部４３の長手軸に対して傾斜しかつカメラ１５の光軸に直交する先端面４３ａを有している。符号４５は、ロボットアーム５によって支持される取付部である。また、斜視鏡４１は測距機能を有している。

斜視鏡４１には、図２４に示されるように、電動のアタッチメント（視野方向変更部）４７が内蔵されている。電動のアタッチメント４７は、鏡筒部４３を長手軸回りに回転させる鏡筒部用モータ、および、カメラ１５の視軸を軸線回りに回転させる図示しないイメージローテータを回転駆動する視軸用モータ等（いずれも図示略）によって構成されている。

鏡筒部用モータの駆動により、鏡筒部４３が長手軸回りに回転することによって、図２５に示されるように、鏡筒部４３の長手軸に対して一定の角度を有する先端面４３ａが向く方向およびカメラ１５の光軸方向、すなわち斜視鏡４１の視野方向を鏡筒部４３の長手軸回りに変化させることができる。

斜視鏡４１の鏡筒部４３を長手軸回りに回転させることは、電動スコープ３において、湾曲量を一定として、湾曲部１７の湾曲方向におけるＵＰ、ＤＯＷＮ、ＬＥＦＴおよびＲＩＧＨＴの配分を変えることと同等である。例えば図２６に示されるように、斜視鏡４１の先端面４３ａおよびカメラ１５を斜め上方に向けたときの見上げの視野は、図２７に示されるように、電動スコープ３の湾曲部１７をＵＰ方向に３０ｄｅｇ程度曲げたときの視野と同等である。また、例えば図２８に示されるように、斜視鏡４１の先端面４３ａおよびカメラ１５を斜め下方に向けたときの見下ろしの視野は、図２９に示されるように、電動スコープ３の湾曲部１７をＤＯＷＮ方向に３０ｄｅｇ程度曲げたときの視野と同等である。

また、視軸用モータの駆動により、例えば図３０に示されるように、カメラ１５の視軸を軸線回りに回転させることによって、カメラ１５によって取得される内視鏡画像の天地方向を視軸回りに回転させることができる。

補助記憶装置２７に記憶される複数のライブラリデータは、斜視鏡４１のカメラ１５とカメラ１５によって撮影される観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含んでいる。相対パラメータとしては、例えば、カメラ１５と観察対象Ｓとの距離情報、鏡筒部４３の長手軸回りの回転角度情報、および、視軸回りのロール角度情報等が挙げられる。視軸回りのロール角度情報は、カメラ１５の視軸の軸線回りの角度である。以下、これらの情報を距離情報、鏡筒部角度情報および視軸回りのロール角度情報という。補助記憶装置２７には、手技シーンごとに予め設定された各内視鏡視野を実現するための距離情報、鏡筒部角度情報および視軸回りのロール角度情報の少なくともいずれか一つが、各手技シーンに対応付けられて記憶されている。

手技支援方法は、カメラ１５の角度、電動スコープ３の位置および姿勢の少なくともいずれか一つを変化させる工程（第１実施形態のステップＳ４，Ｓ８）に代えて、呼び出されたライブラリデータに基づいて、鏡筒部４３の長手軸回りの角度、斜視鏡４１の位置および姿勢の少なくともいずれか一つを変化させる工程を含む。手技支援プログラムは、その工程を制御装置７の各コントローラ２１，２３，２５によって実行させる。

制御装置７は、例えば、補助記憶装置２７から距離情報を呼び出した場合は、電動のアタッチメント４７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５と観察対象Ｓとの実際の距離を、呼び出した距離情報に一致させる。具体的には、メインコントローラ２１は、図２４に示されるように、観察対象Ｓとの現在の距離測定値と呼び出した距離情報とを比較することにより、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるための軌道を計算する。そして、メインコントローラ２１は、ピボット点回りの位置および姿勢の変化量を示す位置姿勢指令と、視軸回りの角度指令と、鏡筒部角度指令とに振り分けた後、位置姿勢コントローラ２５に位置姿勢指令を入力するとともに、視野コントローラ２３に視軸回りの角度指令および鏡筒部角度指令を入力する。

位置姿勢コントローラ２５は、位置姿勢指令に従い、ロボットアーム５の逆運動学を用いることによって、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な各関節の駆動量を決定する。決定された各関節の駆動量は、各関節の角度指令（内視鏡動作指令）としてロボットアーム５の各モータに入力される。

一方、視野コントローラ２３は、視軸回りの角度指令および鏡筒部角度指令に従い、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な視軸回りの回転角度および鏡筒部４３の回転角度を決定する。決定された視軸回りの回転角度および鏡筒部４３の回転角度は、それぞれモータ角度指令として電動のアタッチメント４７の視軸用モータおよび鏡筒部用モータに入力される。

ロボットアーム５の各関節がそれぞれの角度指令に従って動作するとともに、電動のアタッチメント４７の各モータが各モータ角度指令に従って駆動することにより、カメラ１５と観察対象Ｓとの距離が距離情報に一致した内視鏡視野が得られる。

また、制御装置７は、補助記憶装置２７から鏡筒部角度情報を呼び出した場合は、まず、メインコントローラ２１によって、鏡筒部４３の長手軸回りの現在の角度と呼び出した鏡筒部角度情報とを比較することにより、鏡筒部４３の回転角度を鏡筒部角度情報に一致させるための軌道を計算する。そして、位置姿勢コントローラ２５および視野コントローラ２３によって、電動のアタッチメント４７およびロボットアーム５の少なくとも一方を制御する。これにより、観察対象Ｓの画像情報から算出される鏡筒部４３の長手軸回りの角度を、呼び出した鏡筒部角度情報に一致させる。位置姿勢コントローラ２５および視野コントローラ２３による制御は、距離情報の場合と同様であるので説明を省略する。

また、制御装置７は、補助記憶装置２７から視軸回りのロール角度情報を呼び出した場合は、メインコントローラ２１によって、カメラ１５の視軸の軸線回りの現在の角度と呼び出した視軸回りのロール角度情報とを比較することにより、視軸の軸線回りの角度を視軸回りのロール角度情報に一致させるための軌道を計算する。そして、位置姿勢コントローラ２５および視野コントローラ２３によって、電動のアタッチメント４７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５の視軸の軸線回りの角度を、呼び出した視軸回りのロール角度情報に一致させる。位置姿勢コントローラ２５および視野コントローラ２３による制御は、距離情報の場合と同様であるので説明を省略する。

視野コントローラ２３は、電動のアタッチメント４７の鏡筒部用モータを駆動すると、鏡筒部用モータのモータ角度を鏡筒部４３の長手軸回りの角度量に換算することにより、鏡筒部４３の現在の角度量を算出する。また、視野コントローラ２３は、電動のアタッチメント４７の視軸用モータを駆動すると、視軸用モータのモータ角度を視軸の軸線回りの角度量に換算することにより、視軸の軸線回りの現在の角度量を算出する。算出された鏡筒部４３の現在の角度量および視軸の軸線回りの現在の角度量は、それぞれメインコントローラ２１に記憶される。

本実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムによれば、各ライブラリデータが斜視鏡４１のカメラ１５と観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを含むので、手技シーンおよび観察対象Ｓの両方に応じた内視鏡視野を術者に提供することができる。この場合において、例えば、鏡筒部角度情報に基づいて、鏡筒部４３の長手軸回りの角度が変更されると、鏡筒部４３の長手軸に対して一定の角度を有する斜視鏡４１の視野方向が鏡筒部４３の長手軸回りに変化することによって、斜視鏡４１の視野方向が斜め上方または斜め下方等に切り替えられる。これにより、鏡筒部４３を長手軸回りに回転させるだけで、斜視鏡４１の視野方向を所望の観察対象に向けることができる。したがって、内視鏡として斜視鏡４１を採用した場合であっても、術者が指定した観察対象を内視鏡視野に容易に入れることができる。

〔第３実施形態〕
次に、本発明の第３実施形態に係る内視鏡システム、手技支援方法および手技支援プログラムについて説明する。
本実施形態に係る内視鏡システム１は、電動スコープ３および斜視鏡４１に代えて、例えば、図３１に示されるように、湾曲部１７を備えない直視鏡（内視鏡）５１を備える点で第１，第２実施形態と異なる。
以下、第１，第２実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムと構成を共通する箇所には、同一符号を付して説明を省略する。

直視鏡５１は、患者の体腔内に挿入される長尺の鏡筒部５３と、鏡筒部５３の先端部に備えられたカメラ（撮像光学系）１５とを備えている。直視鏡５１は、鏡筒部５３の長手軸（中心軸）とカメラ１５の光軸とが一致した状態で配置されている。鏡筒部５３は、鏡筒部５３の長手軸およびカメラ１５の光軸に直交する先端面５３ａを有している。符号５５は、ロボットアーム５によって支持される取付部である。また、直視鏡５１は測距機能を有している。

直視鏡５１には、図３２に示されるように、電動のアタッチメント５７が内蔵されている。電動のアタッチメント５７は、カメラ１５の視軸を軸線回り、すなわち鏡筒部５３の長手軸回りに回転させる視軸用モータ等によって構成されている。直視鏡５１は、図３３に示されるように、カメラ１５の視軸を軸線回りに回転させることによって、カメラ１５によって取得される内視鏡画像の天地方向を視軸回りに回転させることができる。

ロボットアーム５は、モニタ１１の画面上の観察対象を捉える位置の変更に応じて、鏡筒部５３の長手軸に直交するピボット軸（回転軸）回りの角度を変更する視野方向変更部として機能する。例えば、生体組織等における観察対象がモニタ１１の画面中央で捉えられている状態から、観察対象を捉える位置を画面上方の端に変更すると、図３４および図３６に示されるように、直視鏡５１の取付部５５をピボット点Ｐとして、ピボット点Ｐ回りの角度が変更される。これにより、直視鏡５１の視野方向が、画面上方の端で観察対象を捉える向きに変更される結果、例えば図３５および図３７に示されるように、モニタ１１の画面上の観察対象の位置がカメラ１５の光軸に交差する方向にオフセットされる。

図３４および図３５に示されるように、観察対象を内視鏡視野の中央において捉えた場合は、観察対象が画面の中央に位置するものの、隠れて見え難い箇所がある。これに対し、図３６および図３７に示されるように、観察対象を画角の端で捉えた場合は、観察対象が画面の端に位置し、隠れて見えなかった箇所が見える状態になる。つまり、直視鏡５１の視野方向を、観察対象を画角の端で捉える向きに変更することにより、観察対象を覗き込む角度の内視鏡視野を得ることができる。図３４，３６において、符号５９は処置具を示し、符号Ｓは観察対象を示している。

補助記憶装置２７に記憶される複数のライブラリデータは、直視鏡５１のカメラ１５とカメラ１５によって撮影される観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含んでいる。相対パラメータとしては、例えば、カメラ１５と観察対象Ｓとの距離情報、画面上の観察対象を捉える位置情報、および、視軸回りのロール角度情報等が挙げられる。以下、これらの情報を距離情報、対象位置情報および視軸回りのロール角度情報という。補助記憶装置２７には、手技シーンごとに予め設定された各内視鏡視野を実現するための距離情報、対象位置情報および視軸回りのロール角度情報の少なくともいずれか一つが、各手技シーンに対応付けられて記憶されている。例えば、ヘッドセット３５による音声操作または手元スイッチ３７によるボタン操作等によって、モニタ１１の画面上の観察対象を捉えたい所望の位置を対象位置情報として設定することとしてもよい。

手技支援方法は、カメラ１５の角度、電動スコープ３の位置および姿勢の少なくともいずれか一つを変化させる工程（第１実施形態のステップＳ４，Ｓ８）に代えて、呼び出されたライブラリデータに基づいて、直視鏡５１のピボット点Ｐ回りの角度、直視鏡５１の位置および姿勢の少なくともいずれか一つを変化させる工程を含み、手技支援プログラムは、その工程を制御装置７の各コントローラ２１，２３，２５によって実行させる。

制御装置７は、例えば、補助記憶装置２７から距離情報を呼び出した場合は、電動のアタッチメント５７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５と観察対象Ｓとの実際の距離を、呼び出した距離情報に一致させる。具体的には、メインコントローラ２１は、図３２に示されるように、観察対象Ｓとの現在の距離測定値と呼び出した距離情報とを比較することにより、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるための軌道を計算する。そして、メインコントローラ２１は、ピボット点回りの位置および姿勢の変化量を示す位置姿勢指令と視軸回りの角度指令とに振り分けた後、位置姿勢コントローラ２５に位置姿勢指令を入力するとともに、視野コントローラ２３に視軸回りの角度指令を入力する。

位置姿勢コントローラ２５は、位置姿勢指令に従い、ロボットアーム５の逆運動学を用いることによって、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な各関節の駆動量を決定する。決定された各関節の駆動量は、各関節の角度指令（内視鏡動作指令）としてロボットアーム５の各モータに入力される。

一方、視野コントローラ２３は、視軸回りの角度指令に従い、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な視軸回りの回転角度を決定する。決定された視軸回りの回転角度は、モータ角度指令として電動のアタッチメント５７の視軸用モータに入力される。

ロボットアーム５の各関節がそれぞれの角度指令に従って動作するとともに、電動のアタッチメント５７の視軸用モータがモータ角度指令に従って回転することにより、カメラ１５と観察対象Ｓとの距離が距離情報に一致した内視鏡視野が得られる。

また、制御装置７は、補助記憶装置２７から対象位置情報を呼び出した場合は、メインコントローラ２１によって、モニタ１１の画面上の観察対象の現在の位置と呼び出した対象位置情報とを比較することにより、モニタ１１の画面上の観察対象の位置を対象位置情報に一致させるための軌道を計算する。そして、位置姿勢コントローラ２５および視野コントローラ２３によって、電動のアタッチメント５７およびロボットアーム５の少なくとも一方を制御する。これにより、観察対象Ｓの画像情報から算出される画面上の観察対象の位置を、呼び出した対象位置情報に一致させる。位置姿勢コントローラ２５および視野コントローラ２３による制御は、距離情報の場合と同様であるので説明を省略する。

また、制御装置７は、補助記憶装置２７から視軸回りのロール角度情報を呼び出した場合は、メインコントローラ２１によって、カメラ１５の視軸の軸線回りの現在の角度と呼び出した視軸回りのロール角度情報とを比較することにより、視軸の軸線回りの角度を視軸回りのロール角度情報に一致させるための軌道を計算する。そして、位置姿勢コントローラ２５および視野コントローラ２３によって、電動のアタッチメント５７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５の視軸の軸線回りの角度を、呼び出した視軸回りのロール角度情報に一致させる。位置姿勢コントローラ２５および視野コントローラ２３による制御は、距離情報の場合と同様であるので説明を省略する。

視野コントローラ２３は、電動のアタッチメント５７の視軸用モータを駆動すると、視軸用モータのモータ角度を視軸の軸線回りの角度量に換算することにより、視軸の軸線回りの現在の角度量を算出する。算出された現在の角度量は、メインコントローラ２１に記憶される。

本実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムによれば、各ライブラリデータが直視鏡５１のカメラ１５と観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを含むので、手技シーンおよび観察対象Ｓの両方に応じた内視鏡視野を術者に提供することができる。この場合において、例えば、対象位置情報に基づいて、モニタ１１の画面上の観察対象を捉える位置が画面の端に変更されると、直視鏡５１のピボット軸Ｐ回りの角度が変更されることによって、直視鏡５１の視野方向が、観察対象を画角の端で捉える向きに変更される。これにより、観察対象を覗き込む角度の内視鏡視野を作成することができる。したがって、内視鏡として直視鏡５１を採用した場合であっても、術者が指定した観察対象を内視鏡視野に容易に入れることができる。

以上、本発明の各実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および各変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。

また、例えば、補助記憶装置２７が、ライブラリデータごとに、各ライブラリデータを特定可能なメタデータとともに記憶しておくこととしてもよい。この場合、メインコントローラ２１は、術者が手技シーンに応じて入力するメタデータを取得することとしてもよいし、あるいは、画像情報を処理することによって特定される手技シーンに対応するメタデータを取得することとしてもよい。そして、メインコントローラ２１は、取得したメタデータに対応するライブラリデータを補助記憶装置２７から呼び出すこととしてもよい。

また、例えば、本実施形態においては、電動アームとして６軸多関節型ロボットのロボットアーム５を例示して説明したが、電動アームは６自由度である必要はなく、それよりも少ない自由度のロボットアームであってもよい。例えば、ロール軸と２個のピッチ軸からなり、先端が３自由度動作可能な３つの関節を持つロボットアームを採用することとしてもよい。この場合、例えば、ロボットアームが電動スコープ３を回転させる電動アタッチメントを有していてもよい。また、先端にロール関節を有する４自由度構成のロボットアームを採用することとしてもよい。

１ 内視鏡システム
３ 電動スコープ（内視鏡）
５ ロボットアーム（電動アーム、視野方向変更部）
１３ 挿入部（長尺部）
１７ 湾曲部
２１ メインコントローラ（プロセッサ）
２３ 湾曲コントローラ（プロセッサ）
２５ 位置姿勢コントローラ（プロセッサ）
２７ 補助記憶装置（記憶装置）
３５ ヘッドセット（入力部）
３７ 手元スイッチ（入力部）
３９ フットスイッチ（入力部）
４１ 斜視鏡（内視鏡）
４３ 鏡筒部
４７ 電動のアタッチメント（視野方向変更部）
５１ 直視鏡（内視鏡）
５３ 鏡筒部
Ｓ 観察対象

Claims (30)

1. 観察対象を撮影する撮像光学系を備える内視鏡と、
   該内視鏡を支持した状態で前記内視鏡の位置および姿勢を変化させる電動アームと、
   前記内視鏡の視野方向を変更可能な視野方向変更部と、
   手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータを記憶する記憶装置と、
   少なくとも１つのプロセッサとを備え、
   前記ライブラリデータが、前記撮像光学系と前記観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含み、
   前記内視鏡が、先端部に前記撮像光学系が配置された長尺部を備え、
   前記視野方向変更部が、前記内視鏡における前記撮像光学系の角度を変更可能な湾曲部であり、
   前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含み、
   前記プロセッサが、任意の前記手技シーンに関連付けられている前記ライブラリデータを前記記憶装置から呼び出した後、呼び出した前記ライブラリデータに基づいて前記視野方向変更部および前記電動アームの少なくとも一方を制御する内視鏡システム。
2. 前記プロセッサが、前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定した後、特定した前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出す請求項１に記載の内視鏡システム。
3. 前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、
   前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させる請求項１に記載の内視鏡システム。
4. 前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、
   前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させる請求項２に記載の内視鏡システム。
5. 前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、
   前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させる請求項１に記載の内視鏡システム。
6. 前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、
   前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させる請求項２に記載の内視鏡システム。
7. 前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、
   前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させる請求項１に記載の内視鏡システム。
8. 前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、
   前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させる請求項２に記載の内視鏡システム。
9. 前記プロセッサが、前記撮像光学系によって取得される画像情報を処理することにより、前記観察対象を認識する請求項１から請求項８のいずれかに記載の内視鏡システム。
10. 前記撮像光学系によって取得される画像情報に基づいてユーザに前記観察対象を指定させる入力部を備える請求項１から請求項８のいずれかに記載の内視鏡システム。
11. プロセッサが、
    手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータの内、任意の手技シーンに関連付けられた前記ライブラリデータを記憶装置から呼び出す工程と、
    呼び出された前記ライブラリデータに基づいて、観察対象を撮影する内視鏡の視野方向変更部の視野方向、位置および姿勢の少なくともいずれか一つを変化させる工程とを含み、
    各前記ライブラリデータが、前記内視鏡の撮像光学系と前記観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含み、
    前記内視鏡が、先端部に前記撮像光学系が配置された長尺部と、前記撮像光学系の角度を変更可能な湾曲部とを備え、
    該湾曲部により前記撮像光学系の角度を変更することによって、前記内視鏡の視野方向が変更され、
    前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含む内視鏡システムの作動方法。
12. 前記プロセッサが、前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定した後、特定された前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出す請求項１１に記載の内視鏡システムの作動方法。
13. 前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、
    前記プロセッサが、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させる請求項１１に記載の内視鏡システムの作動方法。
14. 前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、
    前記プロセッサが、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させる請求項１２に記載の内視鏡システムの作動方法。
15. 前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、
    前記プロセッサが、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させる請求項１１に記載の内視鏡システムの作動方法。
16. 前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、
    前記プロセッサが、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させる請求項１２に記載の内視鏡システムの作動方法。
17. 前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、
    前記プロセッサが、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させる請求項１１に記載の内視鏡システムの作動方法。
18. 前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、
    前記プロセッサが、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させる請求項１２に記載の内視鏡システムの作動方法。
19. 前記撮像光学系によって取得される画像情報が前記プロセッサによって処理されることにより、前記観察対象が認識される請求項１１から請求項１８のいずれかに記載の内視鏡システムの作動方法。
20. 前記撮像光学系によって取得される画像情報に基づいて、ユーザによって前記観察対象が指定される請求項１１から請求項１８のいずれかに記載の内視鏡システムの作動方法。
21. 手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータの内、任意の手技シーンに関連付けられた前記ライブラリデータを記憶装置から呼び出す工程と、
    呼び出された前記ライブラリデータに基づいて、観察対象を撮影する内視鏡の視野方向変更部の視野方向、位置および姿勢の少なくともいずれか一つを変化させる工程とをコンピュータに実行させ、
    各前記ライブラリデータが、前記内視鏡の撮像光学系と観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含み、
    前記内視鏡が、先端部に前記撮像光学系が配置された長尺部と、前記撮像光学系の角度を変更可能な湾曲部とを備え、
    該湾曲部により前記撮像光学系の角度を変更することによって、前記内視鏡の視野方向が変更され、
    前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含む手技支援プログラム。
22. 前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定する工程と、
    特定された前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出す工程とをコンピュータに実行させる請求項２１に記載の手技支援プログラム。
23. 前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、
    前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させる請求項２１に記載の手技支援プログラム。
24. 前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、
    前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させる請求項２２に記載の手技支援プログラム。
25. 前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、
    前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させる請求項２１に記載の手技支援プログラム。
26. 前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、
    前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させる請求項２２に記載の手技支援プログラム。
27. 前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、
    前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させる請求項２１に記載の手技支援プログラム。
28. 前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、
    前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させる請求項２２に記載の手技支援プログラム。
29. 前記撮像光学系によって取得される画像情報を処理することにより、前記観察対象を認識する工程をコンピュータに実行させる請求項２１から請求項２８のいずれかに記載の手技支援プログラム。
30. 前記撮像光学系によって取得される画像情報に基づいて、ユーザによって前記観察対象が指定される請求項２１から請求項２８のいずれかに記載の手技支援プログラム。