JP2004178603A - 画像操作装置によって送信されたコマンド情報を処理し、観察し、組み込むための方法及び組立体 - Google Patents

Abstract

【課題】 ３Ｄモデル画像を操作するための周辺装置を介して送信されるコマンド情報を、処理し、観察し、組み込む方法及び組立体を提供する。
【解決手段】 周辺装置（１）は、ユーザが操作するグリップ要素の力及び／又は変位を検出するセンサを有し、検出された力及び／又は変位に応じたコマンド情報（２）を発生させ、３Ｄモデルの空間的表示に与えられることになる移動において、一部が並進又は拡大成分に対応し、他が回転成分に対応する。第１動作モードで、回転運動だけを伝えるコマンド情報のセットを処理し、第２動作モードで、並進又は拡大効果の移動だけを伝えるコマンド情報のセットを処理する。
【選択図】 図３

Description

本発明及びその実施形態は、画像、さらに詳細には、３Ｄモデル画像を操作する装置を介して処理手段に送信されたコマンド情報を処理するための方法及び組立体に関する。本発明及びその実施形態はまた、該方法を実施する手術室又は検査室で医療用画像を観察するための設備に関する。本発明及びその実施形態は、一般的にはインターベンショナルラジオロジーや医療分野において、具体的には、リアルタイム環境において有益とすることができる。

３Ｄモデル画像操作の周辺入力装置はすでに公知である。このタイプの周辺装置は、ユーザが把持することが意図されたグリップ要素（３Ｄマウスの場合のマウスヘッド、又はジョイスティックタイプの制御レバー）と、力及び／又は変位センサ形成手段とを備え、該センサは、グリップ要素すなわちヘッドにユーザが加える変位及び／又は力に対応するコマンド情報を生成する。コマンド情報は処理手段へ送信され、該処理手段は、画面上に表示される３Ｄモデル表示を処理し、コマンド情報を空間内で表示に対して与えられる動きに変換する。
米国特許第４，７８５，１８０号

放射線科医や外科医などの医師が、手術又は検査中に３Ｄモデル画像を直接操作することができることへの要求が高まっている。現在のところ知られている３Ｄモデル画像を操作するための周辺装置は、これを最適な方法で行うことはできない。具体的には、このような装置は、画像を例えば手術中に観察する場合、望ましいと考えられる操作を柔軟に行うことはできない。具体的には、手術室及び検査室では、放射線科医又は外科医は落ち着かない位置で立った状態のままであり、情報周辺装置の操作に慣れておらず、周辺装置上での幾つかの不本意な動きを行ってしまう。同様に、滅菌シートが周辺装置を覆っている場合、周辺装置上でのこのシートからの摩擦が、寄生（パラサイト）や、ノイズや望ましくない動きを生じる恐れがある。

さらに、３自由度よりも多い、特に６自由度を有する周辺装置の場合、このような動きは一般に、周辺装置上で比較的近接した動きや力に対応していることから、外科医又は放射線科医が並進又は回転移動を完全に制御して実行することは、特に困難であることが分かる。

開示され請求される本発明の実施形態は、３Ｄモデル画像を操作する周辺装置を介して送信されるコマンド情報を処理するための方法に関し、該周辺装置は、ユーザが操作する手段とセンサ形成手段とを備え、該センサ形成手段は、グリップ手段の力及び／又は変位を検出し、移動が検出された結果としてコマンド情報を発生させ、３Ｄモデルの空間的表示に対して与えられることになる移動において、力及び／又は変位の一部が並進又は拡大成分に対応し、他の力及び／又は変位が回転成分に対応する。第１動作モードにおいて、空間での回転運動だけを伝えることにより表示された画像を変更するようコマンド情報のセットを処理し、第２動作モードにおいて、並進又は拡大効果の移動だけを伝えることにより表示された画像を変更するようコマンド情報のセットを処理する。

開示され請求される本発明の実施形態はまた、周辺装置を備える組立体に関し、該組立体は、３Ｄモデル画像を操作する手段と、画像を表示する少なくとも一つの画面と、画面上の表示を制御する処理手段と、周辺装置がコマンド情報を処理手段に送信することを可能にする接続手段と、を備え、周辺装置がユーザが操作するグリップ要素と、グリップ要素の力及び／又は変位を検出し、検出された該力及び／又は変位に関して、コマンド情報を発生させ、３Ｄモデルの空間的表示に与えられることになる移動において、力及び／又は変位の一部が並進又は拡大成分に対応し、他の力及び／又は変位が回転成分に対応するセンサ形成手段と、から構成され、処理手段が上記方法を使用するのに好適な手段を有する。

開示され請求される本発明の実施形態はまた、本明細書で上述したタイプの組立体を備える、医療用画像を観察するための設備に関し、周辺装置は手術室及び／又は検査室に設置される。

本発明の他の特徴及び利点は以下の説明から明らかになるであろうが、該説明は純粋に例示であって制限するものではなく、添付の図面を参照して読まれる必要がある。

図１は３Ｄモデル画像を操作する周辺装置１のような操作手段と、該周辺装置が（ケーブルやＲＦ接続などで）接続される処理手段２とが示されている。

この周辺装置１は、６自由度で支持体上に連接されたヘッド（本明細書には図示せず）と、グリップヘッドの移動をこの６自由度に対応する６つの成分によって検出することを可能にし、及びこの６つの成分に対応するコマンド情報をコマンド情報供給手段に送信することを可能にするセンサ形成手段と、を備える３Ｄマウスとすることができる。

コマンド情報は処理手段２によって書き換えられ、該コマンド情報によって画面表示が制御される３Ｄ画像に対応する動きを生じさせる。このタイプの３Ｄマウスの実施例は米国特許第４，７８５，１８０号に開示されている。３Ｄマウスのセンサは光電子センサであり、該センサは、６つの成分、すなわち３つの垂直な軸に対応する３方向の３つの並進成分とこれら３つの軸の周りの回転に対応する３つの回転成分とを検出することができる。周辺装置の別の実施例は、２００２年１１月２８日に出願されたフランス特許出願第０２ １４９９２号に対して３５ＵＳＣ１１９（ａ）−（ｄ）に基づいて優先権を主張する、「Ｄｅｖｉｃｅ ｆｏｒ Ｍａｎｉｐｕｌａｔｉｎｇ Ｉｍａｇｅｓ， Ａｓｓｅｍｂｌｙ Ｃｏｍｐｒｉｓｉｎｇ Ｓｕｃｈ ａ Ｄｅｖｉｃｅ ａｎｄ Ｉｎｓｔａｌｌａｔｉｏｎ ｆｏｒ Ｖｉｅｗｉｎｇ Ｉｍａｇｅｓ」（ＧＥ整理番号１３０６００）と題されＳａｌａｚａｒ−Ｆｅｒｒｅｒ他の名前で同日出願された同時係属特許出願で開示されている。

以下の説明では、コマンド情報は並進の３つのパラメータ「ｘ」、「ｙ」、「ｚ」と、回転の３つのパラメータ「Ａ」、「Ｂ」、「Ｃ」で示されている。３つの並進パラメータ「ｘ」、「ｙ」、「ｚ」は、３つの垂直な軸に沿った移動成分の振幅に対応する。３つの回転パラメータ「Ａ」、「Ｂ」、「Ｃ」は、同じ３つの軸の周りの回転の移動成分の振幅に対応する。６つのパラメータは、図２に示めされるステップを用いる処理手段に送信される。

図２を参照すると、第１ステップ（ステップＩ）では、処理手段はこのコマンド情報に関する微小移動のフィルタリング処理を行う。このフィルタリング処理は、例えば、並進及び回転のパラメータの単なる閾値処理である。このようにして、オペレータがその上に置いてある滅菌シートを移動させたことにより、或いはオペレータが実際には操作するつもりが無くマウスに触れたことによる、例えばマウス、又はより一般的には周辺装置の微小移動が回避される。

第２ステップ（ステップＩＩ）では、並進と回転の情報を併合する。例えば、並進「ｘ」に対応するパラメータと回転「Ｂ」に対応するパラメータの一次結合が求められ、同様に並進「ｙ」に対応するパラメータと回転「Ａ」に対応するパラメータの一次結合が求められる。一例として、パラメータ「ｘ」と「Ｂ」は合計され、パラメータ「ｙ」と「Ａ」も同様である。回転「Ｃ」と並進「ｚ」は、併合されない。処理手段２は、ユーザに「回転」動作モードと「並進」動作モードのいずれかを選択させる。併合ステップの結果として得られたパラメータは、その後、「回転」動作モードで生じる回転移動のコマンドパラメータとして、又は「並進」動作モードで生じる並進移動のコマンドパラメータとして使用される。

図２は、以下のパラメータが「回転」動作モードのコマンドパラメータとして使用される場合を示す。

Ａ’＝Ａ＋ｙ
Ｂ’＝Ｂ＋ｘ
Ｃ’＝Ｃ
「並進」動作モードにおいては、例えば、以下の新たな並進パラメータが使用される。

ｘ’＝Ｂ＋ｘ
ｙ’＝Ａ＋ｙ
ｚ’＝ｚ

操作される３Ｄ画像上にユーザが加える回転移動又は並進移動は、より迅速で有効な、すなわち３Ｄモデル画像に加わる単独回転移動又は単独並進移動を直接考慮に入れるものであり、操作される周辺装置にユーザが物理的に加える並進と回転の効果の合計を３Ｄモデル画像に加えることになる。

第３ステップ（ステップＩＩＩ）では、こうして得られたパラメータ又は数値をフィルタリング処理して、小さな並進／回転成分を除去する。例えば、パラメータＡ’がＢ’／２と、又は同様にＣ’／２と比較される。パラメータＡ’がＢ’／２又はＣ’／２よりも小さい場合には、パラメータＡ’はゼロ値に置換される。このようにして、他の成分に対して無視し得るか又は小さい回転又は並進成分が削除される。同様の比較テストが他のパラメータ（Ｂ’、Ｃ’、ｘ’、ｙ’）に対しても行われる。

小さな成分をフィルタリング処理することで、ユーザは選択した軸の周りの明確な回転を達成することがより容易に可能となる。さらにフィルタリング処理は、２つ又は３つの回転成分（それぞれ所定の軸に沿った）を同時に取り扱う複雑な回転（それぞれの並進）を妨げるものではない。他の成分に対して小さい回転成分が無い場合には、全ての回転成分が最終回転成分として考慮される。

ステップＩからＩＩＩは、回転及び／又は並進が操作手段の手段と共に実行される他の動作に拡大することができる状況で説明されている。例えば、再フォーマットされた断面に沿ったナビゲーション（操作手段の場合）を用いて、現在の断面の角度と位置の両方を選択することができる。

このステップＩＩＩにおいて説明したもの以外のフィルタリング処理テスト又は比較テストも可能である。

第４ステップ（ステップＩＶ）では、周辺装置が「並進」動作モードで使用される場合には、軸「ｚ」に沿った移動は処理手段によって拡大コマンドとして解釈される。この拡大移動が、寄生（パラサイト）すなわち望まない並進移動と混同されることを防ぐため、フィルタリング処理が行われて成分「ｚ」がゼロと等しくないすなわち異なることが検出されると直ちに、成分「ｘ」及び「ｙ」はゼロ値に置換される。このようにして混同のない、十分に明白なズーム移動がもたらされる。

周辺装置は具体的には、医療用画像を手術室及び／又は検査室で観察可能にする設備での使用に適合される。こうした設備を用いると、周辺装置１を手術室及び／又は検査室に配置することができる。

このことは図３に示され、該図面には手術室及び／又は検査室１１と、画像処理手段２を形成する計算装置が設置された補助制御室１２とが示されている。

処理手段２は、検査室１１に配置された医療用画像収集装置（図示せず）（例えばＣ型アームタイプのフルオロスコピー収集装置）から受信したデータに対応する３Ｄ画像表示を処理する。より正確には、手段２は外科医又は放射線科医が操作する周辺装置１から制御情報を受信するが、この周辺装置は、手術室及び／又は検査室１１の中で、患者が横たわることになるテーブル１９の側部に配置される。手段２は表示モニター１４及び１５の３Ｄ画像表示を制御し、一方（モニター１４）が検査室１１に設置され、他方（モニター１５）が補助制御室（１２）に設置される。手段２は周辺装置１及びモニター１４、１５とケーブルにより接続されている。明白なことであるが、他の手段を備えることもできる（例えばＲＦ送信）。

手術室及び／又は検査室１１はまた、１つ以上のモニター、例えば少なくとも他の２つの相補的な画像用モニター１６及び１７を備え、この画像は、周辺装置１を通じて外科医や放射線科医が送る制御命令に応じて手段２を使用するモニター１５の画像と接続することができる。検査室１１のモニター１４はフラット画面モニターとすることができ、そのサイズを最小限にしている。該モニターは、検査室１１の壁、あるいは患者との衝突の危険性が無いか又は少ない、検査室の区域に設置することができる。例えば、モニター１４は手術台に面して、周辺装置の反対側に設置することができる。例えば、モニター１６、１７の例えば左側に隣接させることができ、この設置が望ましくなく、患者と衝突する危険性がある場合には、モニターの右側に隣接させることができる。

上記組立体を備える画像を観察し又は表示する設備において、少なくとも１つの表示手段は、手術室及び／又は検査室（１１）以外の部屋又は施設（１２）に設置することができる。上記組立体を備える画像を観察又は表示する設備において、処理手段（２）は、手術室及び／又は検査室（１１）以外の部屋（１２）又は施設に設置することができる。

本方法の実施形態及びその同等物は、次のような様々な特徴を単独で又は組み合わせにおいて有し、すなわち、
微小移動に対応する回転及び／又は並進成分のフィルタリング処理がコマンド情報に関して行われる；
少なくとも１つの回転成分と少なくとも１つの並進成分とが組み合わされ、こうして得られた組み合わせ成分が、第１動作モードでは回転成分として、第２動作モードでは並進成分として使用される；
使用される１つの組み合わせが一次結合である；
組み合わされた成分に関して小さな成分を示すことを意図して比較が行われ、この比較の結果に基づいて、こうして示された成分はゼロ成分に置換され、すなわち前記成分が他の少なくとも１つの成分の所定の割合よりも小さい場合に、組み合わせ成分はゼロ成分に置換され、前記成分が他の少なくとも１つの成分の半分より小さい場合、組み合わせ成分はゼロ成分に置換される。；
第２動作モードでは、微小移動のフィルタリング処理後、拡大成分がゼロか否かが検出され、ゼロでない場合、他の成分がゼロ成分に置換される。

方法及び／又は機能及び／又は結果の様々な変更形態は、開示された実施形態及びその同等物に対して本発明の範囲及び限度を逸脱することなく当業者により提案され行われることができる。

画像を操作する周辺装置とこれに連結された処理手段の図。 本発明の実施形態に従って処理を実行する様々な段階を示す図。 ３Ｄ画像操作周辺装置を含む手術室及び／又は検査室の図表。

符号の説明

１ 周辺装置
２ 処理手段
１４、１５、１６、１７ 表示モニター

Claims (13)

1. ユーザが画像を操作するための手段（１）と、力及び／又は変位を検出するセンサ形成手段とを介して送信されたコマンド情報を処理する方法であって、
   前記センサ形成手段は、前記力及び／又は変位が検出された結果として前記コマンド情報を発生させ、前記画像の空間的表示に対して与えられることになる移動において、前記コマンド情報の一部は前記力及び／又は変位が並進又は拡大成分に対応することができ、他は前記力及び／又は変位が回転成分に対応することができ、
   前記方法が、
   第１動作モードにおいて空間での回転移動だけを伝えることにより、前記画像を変更するための前記コマンド情報を処理し、
   第２動作モードにおいて並進又は拡大効果の移動だけを伝えることにより、前記画像を変更するための前記コマンド情報を処理する、
   ことを含む方法。
2. 微小移動に対応する前記回転及び／又は並進成分の前記コマンド情報をフィルタリング処理することを含む請求項１に記載の方法。
3. 少なくとも１つの回転成分と、少なくとも１つの並進成分とを組み合わせて、こうして得られた組み合わせ成分を、前記第１動作モードでは回転成分として使用し、前記第２動作モードでは並進成分として使用することを特徴とする請求項１又は２のいずれか１項に記載の方法。
4. 使用される１つの組み合わせが一次結合であることを特徴とする請求項３に記載の方法。
5. 前記組み合わせ成分に関して比較を行い、他の成分に対して無視できるか又は小さいものである成分を識別し、前記比較の結果として、このように識別された成分をゼロ成分に置換することを特徴とする請求項３又は４のいずれか１項に記載の方法。
6. 組み合わせ成分が他の少なくとも１つの成分の所定の割合よりも小さい場合、該組み合わせ成分をゼロ成分に置換することを特徴とする請求項５に記載の方法。
7. 組み合わせ成分が他の少なくとも１つの成分の半分よりも小さい場合、該組み合わせ成分をゼロ成分に置換することを特徴とする請求項６に記載の方法。
8. 前記第２動作モードで微小移動のフィルタリング処理後、拡大成分がゼロか否かを検出し、前記拡大成分がゼロでない場合、他の成分をゼロ成分に置換することを特徴とする、単独か又は請求項３から７のいずれか１項と組み合わされる請求項２に記載の方法。
9. 画像を操作する手段（１）と、
   前記画像を表示する少なくとも１つの手段（１４、１５、１６、１７）と、
   前記表示手段上の表示を制御する処理手段（２）と、
   前記操作手段（１）がコマンド情報（Ａ、Ｂ、Ｃ、ｘ、ｙ、ｚ）を前記処理手段（２）に送信することを可能にする接続手段と、
   を備える組立体であって、
   前記操作手段（１）が、
   ユーザが操作するグリップ要素と、
   前記グリップ要素の力及び／又は変位を検出し、検出された該力及び／又は変位に関して、コマンド情報を発生させ、前記画像の空間的表示に与えられることになる移動において、一部が並進又は拡大成分に対応し、他が回転成分に対応するものであるセンサ形成手段と、
   から構成され、
   前記処理手段（２）が、前記請求項のいずれか１項に記載の前記方法を使用するのに好適な手段を有することを特徴とする組立体。
10. 前記操作手段（１）が手術室及び／又は検査室（１１）に設置されている請求項９に記載の組立体を備える、画像を観察又は表示するための設備。
11. 少なくとも１つの表示手段が、手術室及び／又は検査室（１１）に設置されていることを特徴とする、請求項９又は１０に記載の組立体を備える画像を観察又は表示するための設備。
12. 少なくとも１つの表示手段が、手術室及び／又は検査室（１１）ではない部屋又は施設（１２）に設置されていることを特徴とする、請求項９から１１に記載の組立体を備える画像を観察又は表示するための設備。
13. 前記処理手段が、手術室及び／又は検査室（１１）ではない部屋又は施設（１２）に設置されていることを特徴とする請求項９から１２に記載の組立体を備える、画像を観察又は表示するための設備。

Images