JPH10504763A

JPH10504763A - 臨場感を伴った遠隔操作の方法

Info

Publication number: JPH10504763A
Application number: JP7529142A
Authority: JP
Inventors: グリーン，フイリツプ・エス
Original assignee: エス・アール・アイ・インターナシヨナル
Priority date: 1994-05-05
Filing date: 1995-05-03
Publication date: 1998-05-12
Anticipated expiration: 2023-10-29
Also published as: CA2189775C; US6259806B1; US8526737B2; US7333642B2; CA2189775A1; ES2287934T3; EP0758469A4; US20090082905A1; JP4172816B2; ATE365953T1; EP1849566A3; EP1849566A2; JP4156606B2; US20070196004A9; EP1840818A3; US5631973A; US5696837A; EP0758469A1; DE69535523D1; DE69535523T2

Abstract

(57)【要約】遠隔手術システムのような、遠隔作業サイトの作業スペースに置かれた対象物をオペレーター(14)が操作する遠隔操作システム(12)において、遠隔サイトには、作業スペースの対象物を操作するためのエンドエフェクター(39)を備えたマニピュレーター、マニピュレーターを遠隔制御するためのハンドコントロール(22)をオペレーターステーションに備えたコントローラー、イメージ取得装置(19)、及び可視リアルタイムイメージを再生するためのイメージ出力装置(20)が設けられ、改良として、イメージ取得装置(19)に接続された位置センサーがエンドエフェクター(39)に関する位置を感知し、プロセッサー(23)が可視リアルタイムイメージを透視イメージに変換し、このイメージに対してハンドコントロール(22)によりエンドエフェクター(39)を操作する。その結果、オペレーターはあたかも本当の臨場感を伴って作業スペースを見ているように、エンドエフェクターやマニピュレーターを操作できる。本発明によるイメージ変換は、平行移動、回転(25)及び透視補正(29)を含む。

Description

【発明の詳細な説明】臨場感を伴った遠隔操作の方法本発明の背景本発明は、臨場感を伴った遠隔操作に関し、特に腹腔鏡手術への遠隔操作の適用に係る。遠隔操作システムにより、オペレーターは作業スペースに置かれた対象物をオペレーターステーションから遠隔制御で操作できる。例えば、腹腔鏡による腹部手術においては、患者の腹部にガスが吹き込まれ、カニューレが小さな切開部を通されて腹腔鏡手術器具の入口ポートが作られる。腹腔鏡手術器具には、手術野を見るためのイメージ取得手段や鉗子又は鋏のような作業器具が含まれる。各器具の作業端部が延長チューブによりそのハンドルから離れていることを除けば、作業器具は切開手術で用いられるものと類似している。外科医は、腹部内部の表示されたイメージを見ながらカニューレに器具をスライドさせて腹部内でそれらを操作することにより手術する。即ち、遠隔場所から手術器具を遠隔制御して臨場感ある手術をするのはそれからである。外科医は臨場感により理想的に手術をすることができる。この臨場感は遠隔操作についての他の技術とは異なったものであり、外科医は表示されたイメージを見て器具を遠隔操作しているだけなのだが、自分は直接道具を制御しているという感じを外科医に与える。臨場感の効果は、遠隔マニピュレーターが遠隔オペレーターステーションに置かれたハンドコントロール装置から現れるようにシステムオペレーターが知覚するという幻想から大いに得られる。目と手の擬人的関係とは大いに異なってマニピュレーターに対してカメラや腹腔鏡のようなイメージ取得手段が配置されるならば、マニピュレーターはオペレーターの手による制御の及ばないところに離して置かれるであろう。このことにより、マニピュレーターは観察位置に対してぎこちなく動き、オペレーターがマニピュレーターを器用に素早く制御できなくなる。しかしながら、腹腔鏡手術のような用途では、腹部空洞の可能な最上のイメージを得るために腹腔鏡を動かすことが避けられない。従って、実質的には離して置かれたイメージ装置が存在するだけであるが、遠隔マニピュレーターを直に手で制御している感じをオペレーターに与える技術が必要とされ、これによりオペレーターは、まるで自分は本当の臨場感で作業スペースを見ているように感じるのである。本発明の概略本発明により、遠隔手術システムのような、遠隔作業サイトの作業スペースに置かれた対象物をオペレーターステーションのオペレーターにより操作するための遠隔操作システムにおいて、遠隔作業サイトには、作業スペースにある身体空胴のような対象物を操作するためのエンドエフェクターを各々が備えた一つのマニピュレーター又は一対のマニピュレーターがあり、コントローラーとしては、制御オペレーターステーションに設けられたマニピュレーターを遠隔制御するハンドコントロールがあり、さらに、リアルタイムで作業スペースのイメージを取得するためのカメラのようなイメージ取得手段、及び制御オペレーターが作業スペースの対象物をリアルタイム制御できるように十分なフィードバックを伴って可視イメージを再生するためのイメージ再生手段が設けられ、改良として、エンドエフェクターに対するイメージ取得手段の位置を感知するための手段が設けられ、可視リアルタイムイメージを透視イメージに変換するための手段が設けられ、このイメージに対してハンドコントロールによりエンドエフェクターが操作され、その結果、オペレーターはまるで実質的には本当の臨場感で作業スペースを見ているようにエンドエフェクターとマニピュレーターを操作できる。本当の臨場感とは、イメージ表現がオペレーターの視点をシミュレートする真の透視イメージであることを意味する。本発明によるイメージ変換には、回転、平行移動及び透視補正が含まれる。添付図面に関する以下の詳細な説明を参照することにより、本発明はよりよく理解されるであろう。図面の簡単な説明図１Ａは、本発明による遠隔操作システムにおける遠隔オペレーターステーション及び作業サイトステーションの側面図である。図１Ｂは、本発明による遠隔操作システムにおける遠隔オペレーターステーション及び立体視に適した作業サイトステーションの斜視図である。図２は、本発明の特定の実施例の概略斜視図であり、イメージ取得手段が、マニピュレーターを使用しているオペレーターの視点に対して標準的中心に位置している。図３は、本発明の特定の実施例の概略斜視図であり、イメージ取得手段が、マニピュレーターを使用しているオペレーターの視点に対して横方向に離して置かれている。図４は、本発明の特定の実施例の概略斜視図であり、イメージ取得手段が、マニピュレーターを使用しているオペレーターの視点に対して下方に位置している。図５Ａは、立体イメージ取得手段のレンズの正面図であり、レンズが、マニピュレーターを使用するオペレーターの視点に対して標準の位置にある。図５Ｂは、立体イメージ取得手段のレンズの正面図であり、レンズが、マニピュレーターを使用するオペレーターの視点に対して回転している。図６Ａは、遠隔操作システムにおける遠隔マニピュレーターのイメージの平面図であり、較正前のスーパーインポーズド立体４点座標要素を示す。図６Ｂは、遠隔操作システムにおける遠隔マニピュレーターのイメージの平面図であり、較正後のスーパーインポーズド立体４点座標要素を示す。図７Ａは、遠隔操作システムにおける遠隔マニピュレーターのイメージの平面図であり、マニピュレーターに対するイメージ取得手段の水平での変位角度を示す。図７Ｂは、図４Ａの一部を拡大した図であり、横方向へのシフト後のマニピュレーターのエンドエフェクターの位置への合成効果を示す。図８は、ハンドコントロールの投影としてマニピュレーターイメージを幾何学的に描写している。図９は、図８に描かれたイメージに対する実際のマニピュレーターを幾何学的に描写している。特定実施例の説明図１Ａは、本発明による遠隔操作システム１０を示し、遠隔オペレーターステーション１２を備え、オペレーター１４（例えば、外科医）が作業サイトステーション１６の対象物に対し遠隔操作できる。遠隔ステーション１２は、オペレーターに作業サイトを見せるためのビデオディスプレイ２０と見掛けの作業スペース２２を含む。この作業スペース２２において、オペレーター１４は手術器具ハンドルのようなハンドコントロール手段２４、２６を掴むことにより実際の操作を行う。ハンドコントロール手段２４、２６は、位置センサー５１、５５に接続されている。作業サイトステーション１６は、イメージ取得手段１９を含み、カメラ又は内視鏡のカメラレンズ２８を備えたセンサー手段２１を含み、イメージ取得手段１９にそのレンズが取り付けられて、作業スペース３０に置かれた対象物のイメージを取得する。（内視鏡は身体の空洞内にある。）マニピュレーター３２、３４は、エンドエフェクター手段３９、４１を使用することにより表示イメージと相関している作業スペース３０にある対象物の操作を可能にする。作業サイト１６で取得されたイメージは、作業スペース３０の対象物のリアルタイムイメージをオペレーター１４に与える幾つかのステージを介して伝送される。特に、光学イメージ取得手段１９を含んだセンサー手段２１は、カメラレンズ２８を通してマニピュレーター３２、３４の映像を与え、そのイメージ情報を経路１３を介してイメージプロセッサー２３に送る。加えて、イメージセンサー位置情報（カメラ位置）が、経路６３を通って座標変換器４３に送られる。（固定カメラの場合には、カメラ位置情報はプリセットできる。）さらに、機械的位置感知手段５９、６１が、マニピュレーター３２、３４の位置を機械的に感知して、その位置情報を経路１５７を介して座標変換器４３に送る。イメージプロセッサー２３は、回転及び平行移動手段２５、透視補正手段２９並びに較正手段２７を含む。回転器（手段）は、イメージを回転させ、平行移動器（手段）は、回転したイメージをシフトさせる。透視補正器（手段）２９は、主にイメージを拡大し、幾らかの傾斜補正をすることもできる。較正器（手段）２７は、イメージ入力のタイプに依存して、様々な機能を有する。特に、それは、既知の基準座標系にイメージを較正するのに使用され、オペレーターがハンドコントロールとマニピュレーターの動きを調和できるようにする。１又は１より多いこれらの機能ブロックによりイメージが変換された後、この実施例ではモノスコープ装置であるビデオディスプレイ２０を駆動するイメージャー３１に対してピクセルデータが経路１５を介して送られ、イメージについてのデータが座標変換器４３に送られる。このことにより、マニピュレーターの制御に潜在的に影響するどんな処理イメージデータ（例えば、拡大、回転、平行移動）も、マニピュレーターの制御に利用可能となる。影響されうる処理の詳細は、特に較正に関して以下に説明される。座標変換器４３は、位置情報の主要なプロセッサーである。カメラ位置情報、マニピュレーター位置情報及びハンドコントロール位置情報が受け取られて、そのなかで処理される。特に、ハンドコントロール２４、２６の位置が位置センサー５１、５５により感知され、経路４７を介して座標変換器４３に送られる。座標変換器４３における変換及び処理の後、制御情報が位置追従サーボ４５に与えられ、エンドエフェクター３９、４１を備えたマニピュレーター３２、３４を駆動し制御する。これらのブロックの各々の動作は、さらに詳細に記載される。動作中、イメージ取得手段１９上のカメラレンズ２８は、実際の作業スペース３０において特定の方向を向いている対象物のイメージを取得する。対象物を操作するときオペレーター１４が対象物を見ることができるように、ビデオディスプレイ２０が取得したイメージを表示する。オペレーター１４は、見掛けの作業スペース２２に配置されたハンドコントロール手段２４、２６を掴んで所望の操作を行える。位置追従サーボ４５の命令下において遠隔ステーション１２のハンドコントロール手段２４、２６は、作業サイトステーション１６のマニピュレーター３２、３４を制御し、作業スペース３０にある対象物を実際に操作する。実際の作業スペース３０は、遠隔オペレーターに対して効果的に投影され、自分はそこに手が届いて直接見ており作業スペース３０に置かれた対象物を制御しているという幻想を作り出す。たとえオペレーターが他の部屋か別の非常に離れた地にいるとしても、適正に投影されるならば、オペレーター１４による制御動作は自然で随意なものとなる。本発明により提起された問題点は、「見掛けの」作業スペース２２においてハンドコントロール手段２４、２６に対する投影イメージを見ている制御オペレーターの目の位置と、本当の作業スペース３０においてマニピュレーター３２、３４に対するカメラレンズ２８の位置が同じでないという状況から生じる。その解決策は本発明により与えられる。本発明による遠隔操作システムは、立体的に見ることにも適応できる。図１Ｂには、図１Ａの要素が全て含まれており、加えて第２のカメラレンズ３６とイメージ取得手段３５が示されている。２つのカメラレンズ２８と３６は約１０°離すことができ、これは、４０ｃｍ離れた視野を見るときに経験する両眼間の見え方の相違と同じである。立体イメージが、（例えば、電気的に切り換えられるスクリーン上の偏光器３７を用いることにより）ステレオビデオディスプレイモニター３８に表示され、クロス偏光した立体レンズ４０を通して見られることで遠隔オペレーター１４に自然なイメージを提供する。その結果、オペレーターは実際の作業スペース３０に直接手を伸ばして見ながらその中に置かれた対象物を直接操作するときの正しい視覚フィードバックを経験する。システムの詳細は後に説明される。図２は、遠隔操作システムの作業スペース３０内の作業サイトステーション１６の要素の概略的な斜視図であり、制御ループを構成している図１の特徴部分を示す。このシステムでは、遠隔ステーションにいるオペレーターが、作業スペース３０の中心点５０に置かれた対象物を操作する。モノスコープシステムでは、カメラレンズ２８とイメージ取得手段１９を備えたセンサー手段２１が、対象物のリアルタイムイメージを取得する。オペレーター１４は、２つのハンドコントロール手段２４及び２６を使用し、夫々左のマニピュレーター３２及び右のマニピュレーター３４を制御することで、作業スペース３０の対象物を遠隔操作する。この実施例では、ハンドコントロール手段２４、２６とマニピュレーター３２、３４には固定した旋回点があり、旋回点のまわりに双方向の角度運動ができ、加えて、マニピュレーターとハンドコントロールの各々は伸縮自在に伸長できる。ハンドコントロール手段２４、２６とマニピュレーター３２、３４間の相互関係はカメラレンズ２８により取得されたイメージにより結合され、オペレーターに見掛けの像を示すという十分なフィードバックを与えて、作業スペースの対象物をリアルタイム制御する（さらなる改良として、触覚フィードバックも可能）。この例では、左のマニピュレーター３２と右のマニピュレーター３４の両方とも、作業スペース３０の中心線軸５２を含む任意の配向面に対して３０°起きており、本当のローカル作業スペース３０の対象物の一般的な位置関係をシミュレートしている。動作中、カメラレンズ２８は、中心線軸５２に対して横方向に０°の位置にあり、従って、カメラレンズ２８は、左のマニピュレーター３２と右のマニピュレーター３４の間にある。カメラレンズ２８の面は、中心線軸５２と基準線５３を含む平面に対して例えば４５°傾いている。このカメラの位置と向きは、マニピュレーター３２と３４に対する実際の目の位置に近い近似であり、基本又は基準位置を表している。カメラレンズ２８により取得されたイメージは、オペレーターがまるでマニピュレーター３２と３４の上方に位置して４５°の角度で作業スペースを見ているような感じである。左のマニピュレーター３２と右のマニピュレーター３４の両方とも、表示イメージの底に現れ（オペレーターのハンドコントロールに近い）、強力な感覚の臨場感を引き出し、即ち、オペレーターはマニピュレーター３２と３４を直接制御していると感じ、器用に素早く制御することができる。マニピュレーター３２、３４からハンドコントロール手段２４、２６への触覚フィードバックがある場合には特に効果的である。障害物により要素の配置が困難な用途での遠隔操作においては、カメラレンズ２８を異なる位置に動かして中心点５０にある対象物を違った方向から見ることがしばしば必要になる。図３を参照すると、モノスコープ遠隔操作システムの作業サイトステーション１６の作業スペース３０における要素の概略斜視図が示され、カメラレンズ２８の位置は、水平面において中心線軸５２から横方向に角度 Θ５８だけ回転している。カメラレンズ２８の回転後も、左マニピュレーター３２と右マニピュレーター３４は依然として中心線軸５２と基準線５３を含む平面に対して３０°の角度で下向きに傾斜しており、カメラレンズ２８は依然として中心線軸５２と基準線５３により形成される平面上に４５°の角度で配置されている。カメラレンズ２８がマニピュレーター３２と３４の上に直接配置されている場合（図２）と類似の臨場感をオペレーターに与えるために、本発明により、カメラレンズ２８により投影された取得イメージが、カメラレンズ２８の中心を通る視覚軸５４のまわりを回転させられる。このことは、「垂直」軸Ｕのまわりの回転を補償し、見掛けのマニピュレーター位置を静的に再配向させる。カメラレンズ２８とイメージ取得手段１９は垂直軸Ｕのまわり全範囲にわたり回転できること、また、基準面などに対するマニピュレーター及びカメラの角度は動作環境により拘束され決められることを理解すべきである。加えて、カメラレンズ２８は、中心線軸５２と基準線５３により形成される平面に対して異なる角度で配置することができる。例えば、図４は、中心線軸５２と基準線５３から形成される（任意の）基準面上で１５°持ち上げられて配置されたカメラレンズ２８を示す。この配置では、カメラレンズ２８はマニピュレーター３２、３４の下にくる。イメージが図１Ａに描かれたように単なるモノスコープならば、システムは、回転手段２５によりデジタルイメージを回転させることにより、一点（特定的には、中心点５０）を通る軸５４のまわりにマニピュレーター３２と３４の静的再配向を行うことができる。図３は、回転の関連角度を示す。角度Φ５３は、垂直軸Ｕに対するカメラレンズ２８の視覚軸５４の傾斜角を示す。角度Θ５８は、（線５２、５３により形成された）水平面における中心点５０に関する中心線軸５３からのカメラレンズ２８位置の回転を示す。回転手段２５は、既知の方法に従ってリアルタイムイメージをピクセル毎に− Θにほぼ等しい角度だけ回転させることにより、マニピュレーターの静的再調整を行う。この操作が完了した後に、左マニピュレーター３２と右マニピュレーター３４は表示イメージの底（投影スクリーンの下半分）に現れる。カメラレンズ２８は静止したままであり、表示イメージがイメージ操作により回転されるのである。もしオペレーターステーションのハンドコントロール手段２４、２６が制御オペレーターの視点の上に配置されるならば、表示イメージの回転により、マニピュレーターが表示イメージの上部（投影スクリーンの上半分）に現れるように表示イメージが補正されるということに留意すべきである。いずれの場合にも、表示イメージの変換により、オペレーターはまるでオペレーターのハンドコントロールから現れているようにマニピュレーターを見ることができる。イメージの再マッピングは、実際の制御が行えるようになる前に為される。デジタルイメージ変換による静的再調整を行うことに加えて、変換手段２５は、ビデオイメージデータに以下の座標変換を行うことにより、見掛けのマニピュレーター先端位置をハンドコントロール位置と動的に同期させることができる。作業スペースでのマニピュレーター先端の実際の位置は、マニピュレーターがオペレーターのハンドコントロールと堅固に連接して動く感じになるように、表示イメージ内の見掛けの位置に変換される。マニピュレーターの見掛けの位置を変えることにより、オペレーターは作業スペース３０の対象物を器用に扱えるようになる。マニピュレーターのエンドエフェクターの端点は分かっているので、点（ａ，ｂ，ｃ）は、マニピュレーターの角度位置と長さに関係付けられ、点（ｐ，ｑ，ｒ）は、ベクトルとそれらの終点間のよく知られた三角関数による下記の関係式を用いて、ハンドコントロールに関する同じパラメーターに関係付けられる。上記式による変換に関し、イメージは、オペレーターにより選択された角度Θ’ だけ回転し、マニピュレーターの見掛けの位置をハンドコントロールと実質的に一致させる。観察では、角度Θ’≒−Θである。この変換は、（ａ，ｂ，ｃ）にあるエンドエフェクターにより表される点の位置と、ビデオディスプレイ２０上の表示イメージ内の見掛けの作業スペースでのマニピュレーターの対応する先端の位置（ｐ，ｑ，ｒ）の間の関係を記載している。マニピュレーター位置を静的再配向する別の方法は、イメージ取得手段をその視覚軸のまわりに回転することである。図１Ａと図３に描かれたモノスコープシステムを再度参照すると、カメラレンズ２８は、それ自身の視覚軸５４（カメラレンズ２８の平面に直角な軸）のまわりに、左マニピュレーター３２と右マニピュレーター３４が表示イメージの底部（投影スクリーンの下半分）に現れる点まで回転される。オペレーターステーションのハンドコントロール手段が制御オペレーターの視点の上に配置されるならば、カメラレンズ２８とイメージ取得手段１９の回転により、マニピュレーターが表示イメージの上部（投影スクリーンの上半分）に現れるような点まで表示イメージを補正することに再度留意すべきである。図１Ｂに描かれた立体イメージ化の場合において立体効果を維持するには、回転は各カメラレンズを通る別々の軸のまわりで為されるのではなく、（図５Ａ及び図５Ｂを参照して）両方のレンズから外れた一つの軸のまわりに連携して為されなけらばならない。特に、回転は、立体カメラレンズ２８と３６間の中心軸５７上の任意の点及び中心点５０を通る中心軸５７に垂直に行われる（図５Ａ及び図５Ｂ）。この軸は、図２に関して記載された視覚軸５４と類似のものである。図５Ａを参照すると、立体装置のレンズが初期位置で示されている。中心軸５７は、カメラ対の各レンズの固定した関係を示し、基準軸５９に平行であり、この基準軸５９は、中心点５０で交差するマニピュレーター３２、３４により形成される平面内の軸に平行である。この場合、該軸は、マニピュレーターを２等分し中心点５０を通るラインに垂直である。イメージ取得手段の回転により表示イメージを再配向するために、中心軸５７が中心点５０を通る基準面５９に対して傾斜される。この基準面は、図５Ｂに示されるように、基準軸５９を含む。立体イメージ取得手段１９、３５の視覚的に許容できる回転量、及びマニピュレーター３２、３４の平面に対するイメージ取得手段１９、３５の高さには制限がある。この高さは、２つのマニピュレーターの各々のお互いに対する相対的なビュー角度を変えるのができないくらいに大きくはできない。明らかに、角度Φ が９０°ならば（視覚軸５４はライン５２、５３により形成される基準面内に存在）、相対的なビュー角度の有効な変化はイメージを回転することによっては達成されないであろう。他の高度角では、制限はマニピュレーション３２、３４の分離角に依存し、次に立体レンズ２８、３６の分離に依存する。カメラレンズ２８の回転によるマニピュレーター位置の静的再配向を行うことに加えて、本システムは、平行移動手段２５による座標変換を行うことで動的再調整を行うことができる。作業スペース３０のマニピュレーター先端の実際の位置は、マニピュレーターがまるでオペレーターのハンドコントロールに堅固に連接して動いているように、表示イメージ内の見掛け位置に変換できる。マニピュレーター先端の見掛け位置を変えることにより、オペレーターは作業スペース３０の対象物を器用に扱えるようになる。図８と図９は、ハンドコントロール２４に対するマニピュレーター（３２）及び実際のマニピュレーター３２のイメージ１３２を夫々示す。この例は、図２と対比して、マニピュレーター及びハンドコントロールにより表された対応するコントローラーが一つの旋回点１５１、１６１を用いるタイプのものである。この旋回点１５１、１６１は、この点及びマニピュレーター３２の軸に沿った延長のまわりに２次元的旋回を行う位置センサー５１、６１に接続される。マニピュレーターのその軸のまわりの長手方向回転のような、これらの作動と調和した他の動きは、本発明により予想されるものである。図８と図９に関し、ハンドコントロール２４の動きにより、マニピュレーター先端７２が作業スペース３０の新しい点（ａ，ｂ，ｃ）に動き、マニピュレーター先端１７２のイメージ１３２が見掛けの作業スペース２２内の新しい点（ｐ，ｑ，ｒ）に動き、この点はオペレーターにはハンドコントロール２４の延長された端部にあるように見える。ハンドコントロールに関するサーボコマンド及び対応するマニピュレーターを極座標系（Ω，Ψ，Ｌ）及び（Ω’，Ψ’，Ｌ’）で表すのが好ましい。これらの極座標とデカルト座標系でのそれらの夫々の点は、よく知られた極−デカルト変換により関係付けられる。再び図３を参照すると、座標変換を計算するのに用いられる回転の特定の角度が示されている。角度Φ５６は、カメラレンズ２８の視覚軸５４の垂直軸Ｕに対する傾斜角度を示す。角度Θ５８は、作業スペース３０における中心点５０に対する中心線軸５２からの水平面内でのカメラレンズ２８の回転を示す。角度Γ６０は、カメラレンズの視覚軸５４のまわりのカメラレンズ２８の回転を示す。モノスコープ遠隔操作システムの動作中は、カメラレンズ２８とイメージ取得手段１９は、上述のように視覚軸５４のまわりに回転させられる。３次元作業スペース３０の基準直交デカルト座標系での座標(a,b,c)は、例えば左マニピュレーター３２のようなマニピュレーターの先端の実際の位置を定める。次のマトリックス等式は、ビデオディスプレイ２０による表示イメージ内のマニピュレーター先端の所望の見掛け位置（直交デカルト空間でｐ，ｑ，ｒ）を作業スペース３０のマニピュレーター先端の実際の位置（ａ，ｂ，ｃ）に関係付ける。マニピュレーター先端がビデオディスプレイ２０による表示イメージ内の位置（ｐ，ｑ，ｒ）に表示されるとき、オペレーターにはマニピュレーターがオペレーターの堅固なハンドコントロール装置の端部に実際にあるように感じるであろう。座標変換により、オペレーターは遠隔操作システムを用いて作業スペースの対象物を容易に扱えるようになる。立体イメージ化の場合は、立体イメージ取得手段１９、３５が、基準軸５９に対して回転される。この基準軸５９は、中心点５０で交差するマニピュレーター３２、３４により形成される平面内の軸に平行である。この平面内の軸は、図５Ｂに示されるように、マニピュレーターを２等分し中心点５０を通るラインに垂直である。角度Γ６０は、立体レンズ２８、３６の回転量を示し、その値は式２で用いることができ、立体的に見るための適切な座標変換が計算される。全ての角度と位置について完全に知らなくても、作業スペース３０のマニピュレーター３２、３４の動きがオペレーターの見掛けの作業スペース２２のハンドコントロール２４、２６の動きを適切に追跡するために、位置追従サーボに接続されたマニピュレーターがビデオディスプレイ２０による表示イメージ中に見られるとき、オペレーターはマニピュレーター３２、３４のための較正基準を設けることができる。図６Ａを参照すると、ビデオディスプレイ２０に表示されたイメージが示されており、３次元で見た例えば四面体又は立方体構造をした４点座標グラフィック要素６２が、立体イメージディスプレイ上の３次元空間にスーパーインポーズされ、３次元イメージ空間に座標基準を与えている。一つのマニピュレーターの位置をその対応するハンドコントロールに対して較正するために、本システムは制御ループを「開き」、オペレーターはハンドコントロール２４を動かし、例えばマニピュレーター３２の先端の動きを観測しながら、図６Ｂに示されるようにその先端がスーパーインポーズされたグラフィック要素６２の第１基準点６４に接触しているように見えるまで先端を操縦する。（ハンドコントロールとマニピュレーターの先端の動きはまだ調和していないので、第１基準点に先端を整列するには、非常に慎重な努力が要求される。）次に、オペレーター１４は、マニピュレーターと基準点が重なったことをシステムに知らせる（例えば、「セット」信号がシステムに送られる。）次に、システムはマニピュレーター３２をその位置でロックし、それとハンドコントロール２４の結合を断つことにより制御ループを開き、オペレーター１４にハンドコントロール２４を放すように命じる。システムは、ハンドコントロールの延長Ｌ（図８及び図９）を調整して、差σ₃＝Ｌ−Ｌ’を挿入することによりマニピュレーターの延長Ｌ’と一致させ、その結果、制御ループが閉じているときは、どちらかの装置による反発動作は生じない。即ち、ハンドコントロール２４とマニピュレーター３２の見掛けの延長位置は、制御ループにおいて比較するときは、同一でなければならない。それから、システムは、制御ループを閉じ、マニピュレーター３２のロックを解除し、オペレーター１４に制御を戻す。次に、オペレーターは、ハンドコントロールをその旋回点のまわりに角度配向（Ψ，Ω）まで動かす。この角度位置において、オペレーターは、マニピュレーターのイメージがオペレーターのハンドコントロールから現れるているように感じる。上述の処理と同様に、システムは、制御ループが閉じているときに、マスター又はスレーブのどちらかによる反発動作が起こらないような変換を計算する。システムは、制御ループを閉じる前に、角度差σ₁＝Ψ−Ψ’及びσ₂＝Ω−Ω ’を計算し、マスター又はスレーブの見掛けの位置を変換する。ここで、システムは、３次元空間におけるハンドコントロールマスターの位置（Ψ₁，Ω₁，Ｌ₁ ）とマニピュレータースレーブの位置（Ψ’₁，Ω’₁，Ｌ’₁）を記録する。オペレーターは、スーパーインポーズされたグラフィック要素６２の残りの基準点を用いてこの処理要素を繰り返す。それから、システムは、位置を関係付ける等式の係数を決めるためのデータセットを用いて、ハンドコントロールマスター２４、２６の位置の増分をマニピュレータースレーブ３２、３４の位置の増分に関係付ける次の線形式を導出し組み込む。 ΔΩ’＝ｋ₁₁ΔΩ＋ｋ₁₂ΔΨ＋ｋ₁₃ΔＬ ΔΨ’＝ｋ₂₁ΔΩ＋ｋ₂₂ΔΨ＋ｋ₂₃ΔＬ ΔＬ’＝ｋ₃₁ΔΩ＋ｋ₃₂ΔΨ＋ｋ₃₃ΔＬ上記線形方程式の解は次の通りである。システムは、適当な差σ₁、σ₂及びσ₃を用いて、サーボ４５を制御する座標変換器４３にこれらの係数値を組み込む。それにより、ループが閉じているときには反発動作は起こらない。別の実施例では、マニピュレーターの較正は、システムの助けにより仮想動作を通じて行われる。図６Ｂを参照すると、オペレーターがマニピュレーター先端３２を導くのではなく、システムがマニピュレーター先端３２を３次元作業スペース３０内に定められた４点のうちの１つ（例えば、オペレーターに見られる基準点６４）に動かす。次に、オペレーターはハンドコントロール２４を用いて、重ねられたグラフィックドットをそれがマニピュレーター先端３２上にスーパーインポーズするまで操縦することにより、マニピュレーター３２の位置を動的に較正する。次に、オペレーター１４は、マニピュレーター先端３２と基準点６４が重なったことをシステムに知らせ、マニピュレーター３２とハンドコントロール２４の座標が記録される。この処理は残りの基準点に対しても繰り返され、その後、システムは、上記実施例で記載したように、座標変換式を導出して座標変換器４３に組み込む。実際には、もし本発明が腹腔鏡手術で用いられるならば、システムよりもむしろ外科医が較正処理を開始するほうが好ましい。用手分娩に用いられる余地は少ないが、手術の間、較正処理が患者の腹部内で行われる。よって、マニピュレーターの自動的な運動は少ないにしても、オペレーターにより制御される運動よりも望ましくないと考えられる。遠隔操作システムで臨場感を引き出すための別の方法は、特定の座標変換を使用し、横方向シフトやスケール変化のような表示イメージの他の変化を補償する。カメラは横方向や角度方向に変位させられ、表示イメージをシフトさせる。加えて、カメラは作業スペースの対象物を拡大でき、このことにより、スケール変化やマニピュレーターの見掛けの旋回点の変位が生じる。図７Ａと図７Ｂは、イメージの横方向シフトとイメージの拡大により引き起こされたスケール変化の結合効果を示す。図７Ａは、２次元野における表示イメージの一部を示し、マニピュレーター３２を含む。イメージの中心は、座標（０，０）である。もしイメージ野内の座標（ｕ，ｖ）にあるマニピュレーター先端７２がまるでオペレーターの手にあるコントロール装置に堅固に取り付けられているように動くならば、オペレーターは最上の臨場感を経験するであろう。図において、コントロール装置は、点（ｍ，ｎ）で旋回する。マニピュレーターは、ｙ軸に対して角度α７４の位置にあり、旋回点（ｍ，ｎ）からマニピュレーター先端（ｕ，ｖ）までの距離は、長さＬ７６である。図７Ｂは、イメージがファクターＭで拡大されたとき、オペレーターが見るものである。イメージの中心は、距離Δｘ及びΔｙだけ横方向にシフトされ、マニピュレーター先端７２の見掛けの座標は、（ｕ’，ｖ’）である。臨場感の所望の水準を保証するために、角度α７４と長さＬ７６が、透視補正手段２９により表示イメージ内で再マッピングされ、マニピュレーター先端７２が依然としてハンドコントロール装置に堅固にくっ付いているという印象をオペレーターに与える。次の一対の式は、角度α７４の角度α’７８への再マッピング及び長さＬ７６の長さＬ’８０への再マッピングを表す。 α’＝arctan［（ｕ’−ｍ）／（ｖ’−ｎ）］Ｌ’＝［（ｕ’−ｍ）²＋（ｖ’−ｎ）²］^1/2 ここで、ｕ’＝Ｍ（ｕ−Δｘ）ｖ’＝Ｍ（ｖ−Δｙ）であり、ｕ＝Ｌ（sin α）＋ｍｖ＝Ｌ（cos α）＋ｎである。上記式に従いαとＬが再マッピングされると、マニピュレーター先端７２は、まるでオペレーターのハンドコントロール装置に堅固に連接しているように、表示イメージ中を動く感じである。上記関係式は３次元での変換を含むように拡張でき、図３に関して記載された実施例のように、カメラレンズ２８がそれ自身の視覚軸５４のまわりに回転させられるときにマニピュレーターの変位を補正できる。いずれにしても、２つのマニピュレーターを含む知覚された平面が、２つのハンドコントロールの平面と同一場所にあることを維持するという望ましい目的が達成される。ここまで、本発明は特定の実施例に関して説明されてきた。他の実施例も、この記載を参照すれば当業者には明白となるであろう。例えば、本発明は、回転及び平行移動の複数の点を有する連結式マニピュレーターや、マニピュレーターに物理的に付けられてない場所に旋回点を有する連結式マニピュレーターに拡張できる。従って、本発明は、添付請求の範囲に示されるときを除き、制限されるものでない。

【手続補正書】特許法第１８４条の８【提出日】１９９６年６月３日【補正内容】補正請求の範囲１．制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムであって、作業スペースの対象物を操作するためのエンドエフェクターを備えた、作業サイトのマニピュレーター、制御オペレーションステーションにマニピュレーターの制御オペレーターによる遠隔制御のためのハンドコントロールを含んだコントローラー、作業スペースのリアルタイムイメージを得るためのイメージ取得装置、及び制御オペレーターが見るモニター上に表示するためのイメージ再生器を含み、前記コントローラーがさらに、前記イメージ取得装置に接続され且つリアルタイムイメージを処理して処理イメージを作り制御オペレーターに表示するための手段を含み、前記イメージ取得装置は、制御オペレーターの目とハンドコントロールの相対的な位置関係とは異ったエンドエフェクターに対する角度及び位置にあり、前記イメージ処理手段と前記イメージ再生器は共働して前記エンドエフェクターのイメージを作り、該イメージは実質的に前記ハンドコントロールの位置に配置される、前記遠隔操作システム。２．前記イメージ処理手段がさらに、作業スペースのエンドエフェクターの実際の位置を、可視リアルタイムイメージ中のエンドエフェクターの知覚位置に変換するための手段を含み、イメージ取得装置はモノスコープであり、基準面上に角度Θの位置にあり、前記イメージ取得装置は、基準スペース内の基準面上方にあり、制御オペレーターの目は、前記基準面上の基準線に対して角度０°の位置にあり、前記目は、前記基準スペース内の前記基準面の上方にあり、可視リアルタイムイメージは、ほぼ−Θに等しい角度Θ’だけピクセル毎に回転される、請求の範囲第１項に記載の遠隔操作システム。３．エンドエフェクターの前記知覚位置の座標が、次の関係式［（ｐ，ｑ，ｒ）は、前記知覚位置の座標であり、（ａ，ｂ，ｃ）は、前記実際の位置の座標であり、角度Θは、水平面における垂直軸のまわりのイメージ取得手段の回転であり、角度Θ’は、実質的に−Θに等しく、そして角度Φは、前記垂直軸に対するイメージ取得手段の表面に直角な軸の傾斜角度である］によりエンドエフェクターの前記実際の位置の座標と動的に関係付けられる請求の範囲第２項に記載の遠隔操作システム。４．前記イメージ処理手段がさらに、マニピュレーターが制御オペレーターに示されるときに可視リアルタイムイメージ内にマニピュレーターが現れる位置まで、イメージ取得装置の表面に直角な軸のまわりにイメージ取得装置を回転させることにより行われるマニピュレーターの静的再調整手段を含み、この場合、ハンドコントロールは制御オペレーターの視点の下方にある、請求の範囲第１項に記載の遠隔操作システム。５．前記イメージ処理手段がさらに、マニピュレーターが制御オペレーターに示されるときに可視リアルタイムイメージ内にマニピュレーターが現れる位置まで、イメージ取得装置の表面に直角な軸のまわりにイメージ取得装置を回転させることにより行われるマニピュレーターの静的再調整手段を含み、この場合、ハンドコントロールは制御オペレーターの視点の上方にある、請求の範囲第１項に記載の遠隔操作システム。６．イメージ取得装置が、モノスコープカメラを含み、イメージ取得手段が、前記モノスコープカメラのレンズの中心を通る前記モノスコープカメラの視覚軸のまわりに回転される、請求の範囲第４項に記載の遠隔操作システム。７．イメージ取得装置が、前記立体カメラの各アパーチャー間のラインを２等分する垂直軸を有する立体双アパーチャーカメラを含み、イメージ取得装置が、前記直角軸の中心を通る前記立体カメラの視覚軸のまわりに回転される、請求の範囲第４項に記載の遠隔操作システム。８．前記イメージ処理手段がさらに、エンドエフェクターの動きがハンドコントロールに堅固に連接して見えるように、作業スペースのエンドエフェクターの実際の位置を、可視リアルタイムイメージ内のエンドエフェクターの知覚位置に平行移動するための手段を含む、請求の範囲第４項に記載の遠隔操作システム。９．前記実際の位置の前記知覚位置への平行移動が次の関係式［（ｐ，ｑ，ｒ）は、前記知覚位置の座標であり、（ａ，ｂ，ｃ）は、前記実際の位置の座標であり、角度Γは、イメージ取得手段の表面に直角な軸のまわりのイメージ取得手段の回転であり、角度Φは、垂直軸に対する前記直角軸の傾斜角度であり、そして角度Θは、水平面における前記垂直軸のまわりのイメージ取得手段の回転である］に従う、請求の範囲第８項に記載の遠隔操作システム。１０．作業スペースの対象物を操作するためのエンドエフェクター手段を備えた作業サイトのマニピュレーター手段、制御オペレーターステーションにおいてマニピュレーター手段の制御オペレーターにより遠隔制御するためのハンドコントロール手段を含んだコントローラー手段、作業スペースのリアルタイムイメージを得るためのイメージ取得手段、及び制御オペレーターが見るモニター上の可視リアルタイムイメージを再生するためのイメージ再生手段を含む、制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムの使用に際し、制御ループを用いて実際の動きによりマニピュレーター手段の動的較正を行う方法であって、マニピュレーター手段の動きが、直接ハンドコントロール手段の動きに追従し、以下のステップ(a)〜(j)、即ち、（ａ）４点座標グラフィック要素の３次元スペース表示を、可視リアルタイムイメージ上にスーパーインポーズし、（ｂ）エンドエフェクター手段の動きを制御するように、ハンドコントロール手段が動くようにし、（ｃ）エンドエフェクター手段が可視リアルタイムイメージ内の前記グラフィック要素の第１基準点に接触するように見えるよう、エンドエフェクター手段を位置決めし、（ｄ）エンドエフェクター手段と前記第１基準点が重なったことをシステムに知らせ、（ｅ）関係式σ₃＝Ｌ’−Ｌによる差を求め、マニピュレーター手段の延長Ｌ’ と調和するようにハンドコントロール手段の延長Ｌを調整し、（ｆ）可視リアルタイムイメージ内のマニピュレーター手段がハンドコントロール手段から現れるように見える角度配向（Ψ，Ω）まで、ハンドコントロール手段をその旋回軸のまわりに動かし、（ｇ）関係式σ₁＝Ψ−Ψ’及びσ₂＝Ω−Ω’による差を求め、マニピュレーター手段の角度配向（Ψ’，Ω’）と調和するようにハンドコントロール手段の角度配向（Ψ，Ω）を調整し、（ｈ）前記ハンドコントロール手段の３次元スペースでの制御位置（Ψ，Ω，Ｌ）を記録し、（ｉ）制御位置に対応する前記マニピュレーター手段の３次元スペースでの制御位置（Ψ’，Ω’，Ｌ’）を記録し、そして（ｊ）残りの各基準点に対してステップ（ａ）から（ｉ）を繰り返し、較正を行うステップを含む前記マニピュレーター手段の動的較正を行う方法。１１．次の式の組 ΔΩ’≒ｋ₁₁ΔΩ＋ｋ₁₂ΔΨ＋ｋ₁₃ΔＬ ΔΨ’≒ｋ₂₁ΔΩ＋ｋ₂₂ΔΨ＋ｋ₂₃ΔＬ ΔＬ’≒ｋ₃₁ΔΩ＋ｋ₃₂ΔΨ＋ｋ₃₃ΔＬ［この解は次の通りである］により、ハンドコントロール手段の位置の増分をマニピュレーター手段の位置の増分に同期させるステップをさらに含む請求の範囲第１０項に記載の方法。１２．作業スペースの対象物を操作するためのエンドエフェクター手段を備えた作業サイトのマニピュレーター手段、制御オペレーターステーションにおいてマニピュレーター手段の制御オペレーターにより遠隔制御するためのハンドコントロール手段を含んだコントローラー手段、作業スペースのリアルタイムイメージを得るためのイメージ取得手段、及び制御オペレーターが見るモニター上の可視リアルタイムイメージを再生するためのイメージ再生手段を含む、制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムの使用に際し、制御ループを用いて仮想の動きによりマニピュレーター手段の動的較正を行う方法であって、マニピュレーター手段の動きが、直接ハンドコントロール手段の動きに追従し、以下のステップ(a)〜(i)、即ち、（ａ）可視リアルタイムイメージ上の３次元スペースに分布した４点のうち選択された第１基準点にエンドエフェクター手段を動かし、（ｂ）重ねられたグラフィックドットがエンドエフェクター手段と前記第１基準点の可視イメージ上でスーパーインポーズしているように見えるよう、ハンドコントロール手段をマニュアルで動かし、（ｃ）エンドエフェクター手段と前記第１基準点が重なったことをシステムに知らせ、（ｄ）関係式σ₃＝Ｌ’−Ｌによる差を求め、マニピュレーター手段の延長Ｌ’ と調和するようにハンドコントロール手段の延長Ｌを調整し、（ｅ）可視リアルタイムイメージ内のマニピュレーター手段がハンドコントロール手段から現れるように見える角度配向（Ψ，Ω）まで、ハンドコントロール手段をその旋回軸のまわりに動かし、（ｆ）関係式σ₁＝Ψ−Ψ’及びσ₂＝Ω−Ω’による差を求め、マニピュレーター手段の角度配向（Ψ’，Ω’）と調和するようにハンドコントロール手段の角度配向（Ψ，Ω）を調整し、（ｇ）前記ハンドコントロール手段の３次元スペースでの位置（Ψ，Ω，Ｌ）を記録し、（ｈ）前記マニピュレーター手段の３次元スペースでの位置（Ψ’，Ω’，Ｌ’ ）を記録し、そして（ｉ）残りの各基準点に対してステップ（ａ）から（ｈ）を繰り返し、較正を行うステップを含む前記マニピュレーター手段の動的較正を行う方法。１３．次の式の組 ΔΩ’≒ｋ₁₁ΔΩ＋ｋ₁₂ΔΨ＋ｋ₁₃ΔＬ ΔΨ’≒ｋ₂₁ΔΩ＋ｋ₂₂ΔΨ＋ｋ₂₃ΔＬ ΔＬ’≒ｋ₃₁ΔΩ＋ｋ₃₂ΔΨ＋ｋ₃₃ΔＬ［この解は次の通りである］により、ハンドコントロール手段の位置の増分をマニピュレーター手段の位置の増分に関係付けるステップをさらに含む請求の範囲第１２項に記載の方法。１４．制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムであって、作業スペースの対象物を操作するためのエンドエフェクターを備えた、作業サイトのマニピュレーター、制御オペレーションステーションにマニピュレーターの制御オペレーターによる遠隔制御のためのハンドコントロール手を含んだコントローラー、作業スペースのリアルタイムイメージを得るためのイメージ取得装置、及び制御オペレーターが見るモニター上に表示するためのイメージ再生器を含み、コントローラーは、前記イメージ取得装置に接続され且つリアルタイムイメージを処理して処理イメージを作り制御オペレーターに表示するための手段を含み、前記イメージ取得装置は、制御オペレーターの目とハンドコントロールの相対的な位置関係とは異ったエンドエフェクターに対する角度及び位置にあり、且つ、さらにスケール及び横方向位置が異なり、前記イメージ処理手段は、前記エンドエフェクターの操作を前記ハンドコントロールと相関させ、前記イメージ処理手段と前記イメージ再生器は共にさらに、イメージ取得装置の横方向シフトとスケール変化に追従し可視リアルタイムイメージ内で透視補正を行うための手段、及び前記エンドエフェクターのイメージを与えるための手段であってそのイメージが実質的に前記ハンドコントロールの位置と配向に配置される該手段を含む、前記遠隔操作システム。１５．前記透視補正手段が、次の関係式 α’＝arctan［（ｘ’−ｍ）／（ｙ’−ｎ）］Ｌ’＝［（ｘ’−ｍ）²＋（ｙ’−ｎ）²］^1/2 ｘ’＝Ｍ（ｘ−Δｘ）ｙ’＝Ｍ（ｙ−Δｙ）ｘ＝Ｌ（sin α）＋ｍｙ＝Ｌ（cos α）＋ｎ［座標（ｍ，ｎ）は、前記横方向シフト及び前記スケール変化がなされる前のマニピュレーター手段の旋回点の位置を示し、座標（ｍ’，ｎ’）は、前記横方向シフト及び前記スケール変化がなされた後のマニピュレーター手段の旋回点の位置を示し、座標（ｘ，ｙ）は、前記横方向シフト及び前記スケール変化がなされる前のエンドエフェクター手段の位置を示し、座標（ｘ’，ｙ’）は、前記横方向シフト及び前記スケール変化がなされた後のエンドエフェクター手段の位置を示し、座標（Δｘ，Δｙ）は、前記横方向シフトにより生じたエンドエフェクター手段の位置の変化を示し、ファクターＭは、前記スケール変化の拡大ファクターを示し、角度αは、前記横方向シフト及び前記スケール変化がなされる前の垂直軸のまわりのマニピュレーター手段の回転であり、角度α’は、前記横方向シフト及び前記スケール変化がなされた後の前記垂直軸のまわりのマニピュレーター手段の回転であり、長さＬは、前記横方向シフト及び前記スケール変化がなされる前の、前記旋回点とエンドエフェクター手段の間の距離であり、そして長さＬ’は、前記横方向シフト及び前記スケール変化がなされた後の、前記旋回点とエンドエフェクター手段の間の距離である］により変換を行うための手段を含む請求の範囲第１４項に記載の遠隔操作システム。１６．作業スペースの対象物を操作するためのエンドエフェクター手段を備えた作業サイトのマニピュレーター手段、制御オペレーターステーションにおいてマニピュレーター手段の制御オペレーターにより遠隔制御するためのハンドコントロール手段を含むコントローラー手段、作業スペースのリアルタイムイメージを得るためのイメージ取得手段、及び制御オペレーターが見るモニター上の可視リアルタイムイメージを再生するためのイメージ再生手段を含む、制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムの使用に際し、制御ループを用いて実際の動きによりマニピュレーター手段の動的較正を行う方法であって、マニピュレーター手段の動きが、直接ハンドコントロール手段の動きに追従し、以下のステップ、即ち、リアルタイムイメージ上に３次元スペースの４点座標グラフィック要素の表示をスーパーインポーズし、ハンドコントロース手段をその上で動かし、エンドエフェクター手段がリアルタイムイメージ内で前記グラフィック要素の基準点に接触して見えるように、ハンドコントロール手段の制御下でエンドエフェクター手段を位置決めし、そしてハンドコントロール手段とエンドエフェクター手段の間の関係を追跡し、そのことにより較正を行うステップを含む前記マニピュレーター手段の動的較正を行う方法。１７．作業スペースの対象物を操作するためのエンドエフェクター手段を備えた作業サイトのマニピュレーター手段、制御オペレーターステーションにおいてマニピュレーター手段の制御オペレーターにより遠隔制御するためのハンドコントロール手段を含むコントローラー手段、作業スペースのリアルタイムイメージを得るためのイメージ取得手段、及び制御オペレーターが見るモニター上の可視リアルタイムイメージを再生するためのイメージ再生手段を含む、制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムの使用に際し、制御ループを用いて仮想の動きによりマニピュレーター手段の動的較正を行う方法であって、マニピュレーター手段の動きが、直接ハンドコントロール手段の動きに追従し、以下のステップ、即ち、可視リアルタイムイメージ上で３次元スペースに分布した予め選択された一連の基準点を通るようにエンドエフェクター手段を自動的に動かし、重なったグラフィックドットが前記各基準点でエンドエフェクター手段の可視イメージ上にスーパーインポーズされるように、ハンドコントロール手段をマニュアルで動かし、各基準点の位置にハンドコントロール手段の位置を一致させ、そしてハンドコントロール手段とエンドエフェクター手段の間の関係を追跡し、それにより較正を行うステップを含む前記マニピュレーター手段の動的較正を行う方法。１８．制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムであって、作業スペースの対象物を操作するためのエンドエフェクターを備えた、作業サイトのマニピュレーター、マニピュレーターの制御オペレーターによる遠隔制御のためのコントローラー、作業スペースのリアルタイムイメージを得るためのイメージ取得装置、及び制御オペレーターに表示するためのイメージ再生器を含み、イメージ取得装置は、制御オペレーターの目とコントローラーの相対的な位置関係とは異ったエンドエフェクターに対する角度及び位置にあり、該システムは、さらに、イメージ再生器とイメージ取得装置に接続されたイメージ処理装置を含み、イメージ処理装置は、リアルタイムイメージを処理して処理イメージを作り制御オペレーターに表示し、処理イメージは、制御オペレーターの目とコントローラーの相対的な角度及び位置関係と実質的に等しいエンドエフェクターに対する角度及び位置に配置されたイメージ取得装置により得られたイメージと実質的に同じである、前記遠隔操作システム。１９．イメージ処理装置がさらに、処理イメージがオペレーターに対しコントローラーはエンドエフェクターと実質的に一体となっていると感じさせるよう、イメージ取得装置の座標をエンドエフェクターに近接した座標に変換するための手段を含む請求の範囲第１８項に記載の遠隔操作システム。２０．前記マニピュレーターの位置を制御するためのサーボコントロール、前記作業スペースの前記マニピュレーターの位置を感知するよう設けられた第１位置センサー、オペレーターステーションの前記ハンドコントロールの位置を感知するよう設けられた第２位置センサー、及び前記イメージ処理手段、前記第１位置センサー及び第２位置センサーに接続され、マニピュレーター位置、ハンドコントロール位置及び処理イメージ位置に関する情報を、前記サーボコントロールに与える制御信号に変換するための座標変換装置を含む請求の範囲第１８項に記載の遠隔操作システム。２１．イメージ取得装置の位置を感知するよう設けられた第３位置センサーをさらに含み、座標変換装置は第３位置センサーに接続され、イメージ取得装置に関する位置情報を制御信号に変換する、請求の範囲第２０項に記載の遠隔操作システム。

Claims

【特許請求の範囲】１．制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムであって、作業スペースの対象物を操作するためのエンドエフェクター手段を備えた、作業サイトのマニピュレーター手段、制御オペレーションステーションにマニピュレーター手段の制御オペレーターによる遠隔制御のためのハンドコントロール手段を含んだコントローラー手段、作業スペースのリアルタイムイメージを得るためのイメージ取得手段、及び制御オペレーターが見るモニター上に表示するためのイメージ再生手段を含み、前記コントローラー手段がさらに、前記イメージ取得手段に接続され且つリアルタイムイメージを処理して処理イメージを作り制御オペレーターに表示するための手段を含み、前記イメージ取得手段は、制御オペレーターの目とハンドコントロール手段の相対的な位置関係とは異ったエンドエフェクター手段に対する角度及び位置にあり、前記イメージ処理手段は、前記エンドエフェクター手段のイメージを前記ハンドコントロール手段と相関させる前記遠隔操作システム。２．前記イメージ処理手段がさらに、作業スペースのエンドエフェクター手段の実際の位置を、可視リアルタイムイメージ中のエンドエフェクター手段の知覚位置に変換するための手段を含み、イメージ取得手段はモノスコープであり、基準面上に角度Θの位置にあり、前記イメージ取得手段は、基準スペース内の基準面上方にあり、制御オペレーターの目は、前記基準面上の基準線に対して角度０°の位置にあり、前記目は、前記基準スペース内の前記基準面の上方にあり、可視リアルタイムイメージは、ほぼ−Θに等しい角度Θ’だけピクセル毎に回転される、請求の範囲第１項に記載の遠隔操作システム。３．エンドエフェクター手段の前記知覚位置の座標が、次の関係式［（ｐ，ｑ，ｒ）は、前記知覚位置の座標であり、（ａ，ｂ，ｃ）は、前記実際の位置の座標であり、角度Θは、水平面における垂直軸のまわりのイメージ取得手段の回転であり、角度Θ’は、実質的に−Θに等しく、そして角度Φは、前記垂直軸に対するイメージ取得手段の表面に直角な軸の傾斜角度である］によりエンドエフェクター手段の前記実際の位置の座標と動的に関係付けられる請求の範囲第２項に記載の遠隔操作システム。４．前記イメージ処理手段がさらに、各マニピュレーター手段が制御オペレーターに示されるときに可視リアルタイムイメージ内に各マニピュレーターが現れる位置まで、イメージ取得手段の表面に直角な軸のまわりにイメージ取得手段を回転させることにより行われるマニピュレーター手段の静的再調整手段を含み、この場合、ハンドコントロールは制御オペレーターの視点の下方にある、請求の範囲第１項に記載の遠隔操作システム。５．前記イメージ処理手段がさらに、マニピュレーター手段が制御オペレーターに示されるときに可視リアルタイムイメージ内にマニピュレーター手段が現れる位置まで、イメージ取得手段の表面に直角な軸のまわりにイメージ取得手段を回転させることにより行われるマニピュレーター手段の静的再調整手段を含み、この場合、ハンドコントロールは制御オペレーターの視点の上方にある、請求の範囲第１項に記載の遠隔操作システム。６．イメージ取得手段が、モノスコープカメラを含み、イメージ取得手段が、前記モノスコープカメラのレンズの中心を通る前記モノスコープカメラの視覚軸のまわりに回転される、請求の範囲第４項に記載の遠隔操作システム。７．イメージ取得手段が、前記立体カメラの各アパーチャー間のラインを２等分する垂直軸を有する立体双アパーチャーカメラを含み、イメージ取得手段が、前記直角軸の中心を通る前記立体カメラの視覚軸のまわりに回転される、請求の範囲第４項に記載の遠隔操作システム。８．前記イメージ処理手段がさらに、エンドエフェクター手段の動きがハンドコントロール手段に堅固に連接して見えるように、作業スペースのエンドエフェクター手段の実際の位置を、可視リアルタイムイメージ内のエンドエフェクター手段の知覚位置に平行移動するための手段を含む、請求の範囲第４項に記載の遠隔操作システム。９．前記実際の位置の前記知覚位置への平行移動が次の関係式［（ｐ，ｑ，ｒ）は、前記知覚位置の座標であり、（ａ，ｂ，ｃ）は、前記実際の位置の座標であり、角度Γは、イメージ取得手段の表面に直角な軸のまわりのイメージ取得手段の回転であり、角度Φは、垂直軸に対する前記直角軸の傾斜角度であり、そして角度Θは、水平面における前記垂直軸のまわりのイメージ取得手段の回転である］に従う、請求の範囲第８項に記載の遠隔操作システム。１０．作業スペースの対象物を操作するためのエンドエフェクター手段を備えた作業サイトのマニピュレーター手段、制御オペレーターステーションにおいてマニピュレーター手段の制御オペレーターにより遠隔制御するためのハンドコントロール手段を含むコントローラー手段、作業スペースのリアルタイムイメージを得るためのイメージ取得手段、及び制御オペレーターが見るモニター上の可視リアルタイムイメージを再生するためのイメージ再生手段を含む、制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムの使用に際し、制御ループを用いて実際の動きによりマニピュレーター手段の動的較正を行う方法であって、マニピュレーター手段の動きが、直接ハンドコントロール手段の動きに追従し、以下のステップ(a)〜(j)、即ち、（ａ）４点座標グラフィック要素の３次元スペース表示を、可視リアルタイムイメージ上にスーパーインポーズし、（ｂ）エンドエフェクター手段の動きを制御するように、ハンドコントロール手段が動くようにし、（ｃ）エンドエフェクター手段が可視リアルタイムイメージ内の前記グラフィック要素の第１基準点に接触するように見えるよう、エンドエフェクター手段を位置決めし、（ｄ）エンドエフェクター手段と前記第１基準点が重なったことをシステムに知らせ、（ｅ）関係式σ₃＝Ｌ’−Ｌによる差を求め、マニピュレーター手段の延長Ｌ’ と調和するようにハンドコントロール手段の延長Ｌを調整し、（ｆ）可視リアルタイムイメージ内のマニピュレーター手段がハンドコントロール手段から現れるように見える角度配向（Ψ，Ω）まで、ハンドコントロール手段をその旋回軸のまわりに動かし、（ｇ）関係式σ₁＝Ψ−Ψ’及びσ₂＝Ω−Ω’による差を求め、マニピュレーター手段の角度配向（Ψ’，Ω’）と調和するようにハンドコントロール手段の角度配向（Ψ，Ω）を調整し、（ｈ）前記ハンドコントロール手段の３次元スペースでの制御位置（Ψ，Ω，Ｌ）を記録し、（ｉ）制御位置に対応する前記マニピュレーター手段の３次元スペースでの制御位置（Ψ’，Ω’，Ｌ’）を記録し、そして（ｊ）残りの各基準点に対してステップ（ａ）から（ｉ）を繰り返し、較正を行うステップを含む前記マニピュレーター手段の動的較正を行う方法。１１．次の式の組 ΔΩ’≒ｋ₁₁ΔΩ＋ｋ₁₂ΔΨ＋ｋ₁₃ΔＬ ΔΨ’≒ｋ₂₁ΔΩ＋ｋ₂₂ΔΨ＋ｋ₂₃ΔＬ ΔＬ’≒ｋ₃₁ΔΩ＋ｋ₃₂ΔΨ＋ｋ₃₃ΔＬ［この解は次の通りである］により、ハンドコントロール手段の位置の増分をマニピュレーター手段の位置の増分に同期させるステップをさらに含む請求の範囲第１０項に記載の方法。１２．作業スペースの対象物を操作するためのエンドエフェクター手段を備えた作業サイトのマニピュレーター手段、制御オペレーターステーションにおいてマニピュレーター手段の制御オペレーターにより遠隔制御するためのハンドコントロール手段を含むコントローラー手段、作業スペースのリアルタイムイメージを得るためのイメージ取得手段、及び制御オペレーターが見るモニター上の可視リアルタイムイメージを再生するためのイメージ再生手段を含む、制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムの使用に際し、制御ループを用いて仮想の動きによりマニピュレーター手段の動的較正を行う方法であって、マニピュレーター手段の動きが、直接ハンドコントロール手段の動きに追従し、以下のステップ(a)〜(i)、即ち、（ａ）可視リアルタイムイメージ上の３次元スペースに分布した４点のうち選択された第１基準点にエンドエフェクター手段を動かし、（ｂ）重ねられたグラフィックドットがエンドエフェクター手段と前記第１基準点の可視イメージ上でスーパーインポーズしているように見えるよう、ハンドコントロール手段をマニュアルで動かし、（ｃ）エンドエフェクター手段と前記第１基準点が重なったことをシステムに知らせ、（ｄ）関係式σ₃＝Ｌ’−Ｌによる差を求め、マニピュレーター手段の延長Ｌ’ と調和するようにハンドコントロール手段の延長Ｌを調整し、（ｅ）可視リアルタイムイメージ内のマニピュレーター手段がハンドコントロール手段から現れるように見える角度配向（Ψ，Ω）まで、ハンドコントロール手段をその旋回軸のまわりに動かし、（ｆ）関係式σ₁＝Ψ−Ψ’及びσ₂＝Ω−Ω’による差を求め、マニピュレーター手段の角度配向（Ψ’，Ω’）と調和するようにハンドコントロール手段の角度配向（Ψ，Ω）を調整し、（ｇ）前記ハンドコントロール手段の３次元スペースでの位置（Ψ，Ω，Ｌ）を記録し、（ｈ）前記マニピュレーター手段の３次元スペースでの位置（Ψ’，Ω’，Ｌ’ ）を記録し、そして（ｉ）残りの各基準点に対してステップ（ａ）から（ｈ）を繰り返し、較正を行うステップを含む前記マニピュレーター手段の動的較正を行う方法。１３．次の式の組 ΔΩ’≒ｋ₁₁ΔΩ＋ｋ₁₂ΔΨ＋ｋ₁₃ΔＬ ΔΨ’≒ｋ₂₁ΔΩ＋ｋ₂₂ΔΨ＋ｋ₂₃ΔＬ ΔＬ’≒ｋ₃₁ΔΩ＋ｋ₂₂ΔΨ＋ｋ₃₃ΔＬ［この解は次の通りである］により、ハンドコントロール手段の位置の増分をマニピュレーター手段の位置の増分に関係付けるステップをさらに含む請求の範囲第１２項に記載の方法。１４．制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムであって、作業スペースの対象物を操作するためのエンドエフェクター手段を備えた、作業サイトのマニピュレーター手段、制御オペレーションステーションにマニピュレーター手段の制御オペレーターによる遠隔制御のためのハンドコントロール手段を含んだコントローラー手段、作業スペースのリアルタイムイメージを得るためのイメージ取得手段、及び制御オペレーターが見るモニター上に表示するためのイメージ再生手段を含み、コントローラー手段は、前記イメージ取得手段に接続され且つリアルタイムイメージを処理して処理イメージを作り制御オペレーターに表示するための手段を含み、前記イメージ取得手段は、制御オペレーターの目とハンドコントロール手段の相対的な位置関係とは異ったエンドエフェクター手段に対する角度及び位置にあり、且つ、さらにスケール及び横方向位置が異なり、前記イメージ処理手段は、前記エンドエフェクター手段の操作を前記ハンドコントロール手段と相関させ、前記イメージ処理手段は、さらにイメージ取得手段の横方向シフトとスケール変化に追従し可視リアルタイムイメージ内で透視補正を行うための手段を含む、前記遠隔操作システム。１５．前記透視補正手段が、次の関係式 α’＝arctan［（ｘ’−ｍ）／（ｙ’−ｎ）］Ｌ’＝［（ｘ’−ｍ）²＋（ｙ’−ｎ）²］^1/2 ｘ’＝Ｍ（ｘ−Δｘ）ｙ’＝Ｍ（ｙ−Δｙ）ｘ＝Ｌ（sin α）＋ｍｙ＝Ｌ（cos α）＋ｎ［座標（ｍ，ｎ）は、前記横方向シフト及び前記スケール変化がなされる前のマニピュレーター手段の旋回点の位置を示し、座標（ｍ’，ｎ’）は、前記横方向シフト及び前記スケール変化がなされた後のマニピュレーター手段の旋回点の位置を示し、座標（ｘ，ｙ）は、前記横方向シフト及び前記スケール変化がなされる前のエンドエフェクター手段の位置を示し、座標（ｘ’，ｙ’）は、前記横方向シフト及び前記スケール変化がなされた後のエンドエフェクター手段の位置を示し、座標（Δｘ，Δｙ）は、前記横方向シフトにより生じたエンドエフェクター手段の位置の変化を示し、ファクターＭは、前記スケール変化の拡大ファクターを示し、角度αは、前記横方向シフト及び前記スケール変化がなされる前の垂直軸のまわりのマニピュレーター手段の回転であり、角度α’は、前記横方向シフト及び前記スケール変化がなされた後の前記垂直軸のまわりのマニピュレーター手段の回転であり、長さＬは、前記横方向シフト及び前記スケール変化がなされる前の、前記旋回点とエンドエフェクター手段の間の距離であり、そして長さＬ’は、前記横方向シフト及び前記スケール変化がなされた後の、前記旋回点とエンドエフェクター手段の間の距離である］により変換を行うための手段を含む請求の範囲第１４項に記載の遠隔操作システム。１６．制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムであって、作業スペースの対象物を操作するためのエンドエフェクター手段を備えた、作業サイトのマニピュレーター手段、制御オペレーションステーションにマニピュレーター手段の制御オペレーターによる遠隔制御のためのハンドコントロール手段を含んだコントローラー手段、作業スペースのリアルタイムイメージを得るためのイメージ取得手段、及び制御オペレーターが見るモニター上に表示するためのイメージ再生手段を含み、前記コントローラー手段はさらに、前記イメージ取得手段に接続され且つリアルタイムイメージを処理して処理イメージを作り制御オペレーターに表示するための手段であって、前記イメージ取得手段は、制御オペレーターの目とハンドコントロール手段の相対的な位置関係とは異ったエンドエフェクター手段に対する角度及び位置にあり、前記イメージ処理手段は、前記エンドエフェクター手段のイメージを前記ハンドコントロール手段と相関させる、前記リアルタイムイメージ処理手段、前記マニピュレーター手段の位置を制御するためのサーボ制御手段、前記作業スペースの前記マニピュレーター手段の位置を感知するように接続された第１位置感知手段、オペレーターステーションの前記ハンドコントロール手段の位置を感知するように結合された第２位置感知手段、及び前記イメージ処理手段、前記第１位置感知手段及び前記第２位置感知手段に接続され、マニピュレーター位置、ハンドコントロール位置及び処理イメージ位置についての情報を前記サーボ制御手段に与える制御信号に変換するための座標変換手段を含む、前記遠隔操作システム。１７．前記イメージ取得手段に接続されて作業サイトの前記イメージ取得手段の位置を感知するための第３位置感知手段をさらに含み、前記座標変換手段が前記第３位置感知手段に接続され、前記イメージ取得手段についての情報を前記制御信号に変換する、請求の範囲第１６項に記載の遠隔操作システム。１８．作業スペースの対象物を操作するためのエンドエフェクター手段を備えた作業サイトのマニピュレーター手段、制御オペレーターステーションにおいてマニピュレーター手段の制御オペレーターにより遠隔制御するためのハンドコントロール手段を含むコントローラー手段、作業スペースのリアルタイムイメージを得るためのイメージ取得手段、及び制御オペレーターが見るモニター上の可視リアルタイムイメージを再生するためのイメージ再生手段を含む、制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムの使用に際し、制御ループを用いて実際の動きによりマニピュレーター手段の動的較正を行う方法であって、マニピュレーター手段の動きが、直接ハンドコントロール手段の動きに追従し、以下のステップ、即ち、リアルタイムイメージ上に３次元スペースの４点座標グラフィック要素の表示をスーパーインポーズし、ハンドコントロース手段をその上で動かし、エンドエフェクター手段がリアルタイムイメージ内で前記グラフィック要素の基準点に接触して見えるように、ハンドコントロール手段の制御下でエンドエフェクター手段を位置決めし、そしてハンドコントロール手段とエンドエフェクター手段の間の関係を追跡し、そのことにより較正を行うステップを含む前記マニピュレーター手段の動的較正を行う方法。１９．作業スペースの対象物を操作するためのエンドエフェクター手段を備えた作業サイトのマニピュレーター手段、制御オペレーターステーションにおいてマニピュレーター手段の制御オペレーターにより遠隔制御するためのハンドコントロール手段を含むコントローラー手段、作業スペースのリアルタイムイメージを得るためのイメージ取得手段、及び制御オペレーターが見るモニター上の可視リアルタイムイメージを再生するためのイメージ再生手段を含む、制御オペレーターステーションから制御オペレーターにより遠隔作業サイトの作業スペースに置かれた対象物を操作するための遠隔操作システムの使用に際し、制御ループを用いて仮想の動きによりマニピュレーター手段の動的較正を行う方法であって、マニピュレーター手段の動きが、直接ハンドコントロール手段の動きに追従し、以下のステップ、即ち、可視リアルタイムイメージ上で３次元スペースに分布した予め選択された一連の基準点を通るようにエンドエフェクター手段を自動的に動かし、重なったグラフィックドットが前記各基準点でエンドエフェクター手段の可視イメージ上にスーパーインポーズされるように、ハンドコントロール手段をマニュアルで動かし、各基準点の位置にハンドコントロール手段の位置を一致させ、そしてハンドコントロール手段とエンドエフェクター手段の間の関係を追跡し、それにより較正を行うステップを含む前記マニピュレーター手段の動的較正を行う方法。