JP6147464B2 - 画像処理システム、端末装置及び方法 - Google Patents

Description

本発明の実施形態は、画像処理システム、端末装置及び方法に関する。

従来、２つの視点から撮影された２つの画像をモニタに表示することで、立体視用メガネ等の専用機器を用いた利用者にとって立体視可能な画像を表示する技術が知られている。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された画像（例えば、９つの画像）をモニタに表示することで、裸眼の利用者にとっても立体視可能な画像を表示する技術が知られている。なお、立体視可能なモニタにて表示される複数の画像は、１視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。

一方、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置等の医用画像診断装置では、３次元の医用画像データ（以下、ボリュームデータ）を生成可能な装置が実用化されている。かかる医用画像診断装置は、ボリュームデータに対して種々の画像処理を実行することで表示用の平面画像を生成し、汎用モニタ上に表示する。例えば、医用画像診断装置は、ボリュームデータに対してボリュームレンダリング処理を実行することで、被検体についての３次元の情報が反映された２次元のレンダリング画像を生成し、生成したレンダリング画像を汎用モニタ上に表示する。

特開２００５−８６４１４号公報

本発明が解決しようとする課題は、利用者が所望する立体画像を表示することができる画像処理システム、端末装置及び方法を提供することである。

実施形態の画像処理システムは、被検体の３次元の医用画像データであるボリュームデータを生成する医用画像診断装置と、視差画像群を用いて立体視可能な立体画像を表示する表示部を含む端末装置と、を有する画像処理システムであって、記憶部と、取得部と、レンダリング処理部と、表示制御部とを有する。記憶部は、前記医用画像診断装置によって生成されたボリュームデータを記憶する。取得部は、前記被検体に対する前記端末装置と、前記端末装置と前記被検体との間の距離とを取得する。レンダリング処理部は、前記記憶部が記憶するボリュームデータに対して、前記端末装置に対向する被検体の医用画像の部位に対応する視差画像群を生成するようにレンダリング処理を行う。表示制御部は、前記レンダリング処理部によって生成される視差画像群を前記表示部に表示させる。さらに、レンダリング処理部は、前記取得部によって取得された前記位置及び前記距離に基づいて、レンダリング処理時の視点位置と視線方向とを決定し、決定した視点位置と視線方向とを用いて前記ボリュームデータに対してレンダリング処理を行う。前記取得部は、所定の基準位置からの前記端末装置の位置変動を示す移動ベクトルを取得する。前記レンダリング処理部は、前記取得部によって取得された前記端末装置の移動ベクトルに基づいて、前記視点位置及び前記視線方向を決定し、決定した視点位置及び視線方向により前記ボリュームデータに対してレンダリング処理を行うことで、移動後の端末装置に対向する被検体の部位を示す視差画像群を生成する。前記表示制御部は、移動後の端末装置に対向する被検体の部位を示す視差画像群を前記表示部に表示させ、前記取得部によって、同一位置において前記端末装置が回転されたことを示す移動ベクトルが取得された場合に、前記端末装置が回転される前の視差画像群を前記表示部に表示させる。

図１は、第１の実施形態に係る画像処理システムの構成例を説明するための図である。 図２は、２視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。 図３は、９視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。 図４は、第１の実施形態に係るワークステーションの構成例を説明するための図である。 図５は、図４に示すレンダリング処理部の構成例を説明するための図である。 図６は、第１の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。 図７は、第１の実施形態における端末装置によって表示される立体画像の一例を示す図である。 図８は、第１の実施形態における端末装置の構成例を説明するための図である。 図９は、第１の実施形態における端末装置による処理の一例を説明するための図である。 図１０は、第１の実施形態における端末装置による処理の一例を説明するための図である。 図１１は、第１の実施形態における端末装置による処理の一例を説明するための図である。 図１２は、第１の実施形態における端末装置による処理の一例を説明するための図である。 図１３は、第１の実施形態における画像処理システムによる処理の流れの一例を示すシーケンス図である。 図１４は、第１の実施形態における画像処理システムによる処理の流れの一例を示すシーケンス図である。 図１５は、第１の実施形態の変形例を説明するための図である。 図１６は、第１の実施形態の変形例を説明するための図である。 図１７は、第１の実施形態の変形例を説明するための図である。 図１８は、第１の実施形態の変形例を説明するための図である。 図１９は、立体画像と観察位置との関係を説明するための図である。 図２０は、第２の実施形態における端末装置の外観を示す図である。 図２１は、第２の実施形態における端末装置の構成例を説明するための図である。 図２２は、第２の実施形態における端末装置による処理の一例を説明するための図である。 図２３は、第２の実施形態における画像処理システムによる処理の流れの一例を示すシーケンス図である。 図２４は、第２の実施形態の変形例を説明するための図である。

以下、添付図面を参照して、画像処理システム、端末装置及び方法の実施形態を詳細に説明する。ここで、以下の実施形態で用いる用語について説明すると、「視差画像群」とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてボリュームレンダリング処理を行うことで生成された画像群のことである。すなわち、「視差画像群」は、「視点位置」が異なる複数の「視差画像」から構成される。また、「視差角」とは、「視差画像群」を生成するために設定された各視点位置のうち隣接する視点位置とボリュームデータによって表される空間内の所定位置（例えば、空間の中心）とにより定まる角度のことである。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、以下で記載する「９視差画像」とは、９つの「視差画像」から構成される「視差画像群」のことである。また、以下で記載する「２視差画像」とは、２つの「視差画像」から構成される「視差画像群」のことである。

（第１の実施形態）
まず、第１の実施形態に係る画像処理システムの構成例について説明する。図１は、第１の実施形態に係る画像処理システムの構成例を説明するための図である。

図１に示すように、第１の実施形態に係る画像処理システム１は、医用画像診断装置１１０と、画像保管装置１２０と、ワークステーション１３０と、端末装置１４０とを有する。図１に例示する各装置は、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）２により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像処理システム１にＰＡＣＳ（Picture Archiving and Communication System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、医用画像等を相互に送受信する。

かかる画像処理システム１は、医用画像診断装置１１０により生成された３次元の医用画像データであるボリュームデータから視差画像群を生成し、この視差画像群を立体視可能なモニタに表示することで、病院内に勤務する医師や検査技師等の観察者に対して、かかる観察者が立体的に視認可能な画像である立体画像を提供する。具体的には、第１の実施形態において、ワークステーション１３０は、ボリュームデータに対して種々の画像処理を行い、視差画像群を生成する。また、ワークステーション１３０及び端末装置１４０は、立体視可能なモニタを有し、ワークステーション１３０にて生成された視差画像群をモニタに表示することで立体画像を利用者に表示する。また、画像保管装置１２０は、医用画像診断装置１１０にて生成されたボリュームデータや、ワークステーション１３０にて生成された視差画像群を保管する。例えば、ワークステーション１３０や端末装置１４０は、画像保管装置１２０からボリュームデータや視差画像群を取得し、取得したボリュームデータや視差画像群に対して任意の画像処理を実行したり、視差画像群をモニタに表示したりする。以下、各装置を順に説明する。

医用画像診断装置１１０は、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、又はこれらの装置群等である。また、第１の実施形態に係る医用画像診断装置１１０は、３次元の医用画像データ（ボリュームデータ）を生成可能である。

具体的には、第１の実施形態に係る医用画像診断装置１１０は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置１１０は、被検体を撮影することにより投影データやＭＲ信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数のアキシャル面の医用画像データを再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置１１０は、５００枚のアキシャル面の医用画像データを再構成する場合、この５００枚のアキシャル面の医用画像データ群が、ボリュームデータとなる。なお、医用画像診断装置１１０により撮影された被検体の投影データやＭＲ信号等自体をボリュームデータとしても良い。

また、第１の実施形態に係る医用画像診断装置１１０は、生成したボリュームデータを画像保管装置１２０に送信する。なお、医用画像診断装置１１０は、ボリュームデータを画像保管装置１２０に送信する際に、付帯情報として、例えば、患者を識別する患者ＩＤ、検査を識別する検査ＩＤ、医用画像診断装置１１０を識別する装置ＩＤ、医用画像診断装置１１０による１回の撮影を識別するシリーズＩＤ等を送信する。

画像保管装置１２０は、医用画像を保管するデータベースである。具体的には、第１の実施形態に係る画像保管装置１２０は、医用画像診断装置１１０からボリュームデータを受信し、受信したボリュームデータを所定の記憶部に保管する。また、第１の実施形態においては、ワークステーション１３０が、ボリュームデータから視差画像群を生成し、生成した視差画像群を画像保管装置１２０に送信する。このため、画像保管装置１２０は、ワークステーション１３０から送信された視差画像群を所定の記憶部に保管する。なお、本実施形態は、大容量の画像を保管可能なワークステーション１３０を用いることで、図１に例示するワークステーション１３０と画像保管装置１２０とが統合される場合であってもよい。すなわち、本実施形態は、ワークステーション１３０そのものにボリュームデータもしくは視差画像群を記憶させる場合であってもよい。

なお、第１の実施形態において、画像保管装置１２０に保管されたボリュームデータや視差画像群は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等と対応付けて保管される。このため、ワークステーション１３０や端末装置１４０は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等を用いた検索を行うことで、必要なボリュームデータや視差画像群を画像保管装置１２０から取得する。

ワークステーション１３０は、医用画像に対して画像処理を行う画像処理装置である。具体的には、第１の実施形態に係るワークステーション１３０は、画像保管装置１２０から取得したボリュームデータに対して種々のレンダリング処理を行うことで、視差画像群を生成する。

また、第１の実施形態に係るワークステーション１３０は、表示部として、立体画像を表示可能なモニタ（立体表示モニタ、立体画像表示装置とも称する）を有する。ワークステーション１３０は、視差画像群を生成し、生成した視差画像群を立体表示モニタに表示する。この結果、ワークステーション１３０の操作者は、立体表示モニタに表示された立体視可能な立体画像を確認しながら、視差画像群を生成するための操作を行うことができる。

また、ワークステーション１３０は、生成した視差画像群を画像保管装置１２０や端末装置１４０に送信する。なお、ワークステーション１３０は、画像保管装置１２０や端末装置１４０に視差画像群を送信する際に、付帯情報として、例えば、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等を送信する。視差画像群を画像保管装置１２０に送信する際に送信される付帯情報としては、視差画像群に関する付帯情報も挙げられる。視差画像群に関する付帯情報としては、視差画像の枚数（例えば、「９」）や、視差画像の解像度（例えば、「４６６×３５０画素」）等がある。

端末装置１４０は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置である。例えば、端末装置１４０は、病院内に勤務する医師や検査技師により操作されるＰＣ（Personal Computer）やタブレット式ＰＣ、ＰＤＡ（Personal Digital Assistant）、携帯電話等である。具体的には、第１の実施形態に係る端末装置１４０は、表示部として立体表示モニタを有する。また、端末装置１４０は、画像保管装置１２０やワークステーション１３０から視差画像群を取得し、取得した視差画像群を立体表示モニタに表示する。この結果、観察者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。なお、端末装置１４０は、外部装置としての立体表示モニタと接続された任意の情報処理端末であってもよい。

ここで、ワークステーション１３０や端末装置１４０が有する立体表示モニタについて説明する。現在最も普及している一般的な汎用モニタは、２次元画像を２次元で表示するものであり、２次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な２視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。

一方、立体表示モニタとしては、立体視用メガネ等の専用機器を用いることで、２視差画像（両眼視差画像とも称する）を立体視可能とするものがある。

図２は、２視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図２に示す一例は、シャッター方式により立体表示を行う立体表示モニタであり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示モニタは、モニタにて２視差画像を交互に出射する。例えば、図２の（Ａ）に示すモニタは、左目用の画像と右目用の画像を、１２０Ｈｚにて交互に出射する。ここで、モニタには、図２の（Ａ）に示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。

また、赤外線出射部から出射された赤外線は、図２の（Ａ）に示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。

各シャッターは、図２の（Ｂ）に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図２の（Ｂ）に示すように、互いに直交している。ここで、図２の（Ｂ）に示すように、電圧が印加されていない「ＯＦＦ」の状態では、入射側の偏光板を通った光は、液晶層の作用により９０度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。

一方、図２の（Ｂ）に示すように、電圧が印加された「ＯＮ」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。

そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図２の（Ａ）に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図２に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。なお、２視差画像を立体視可能な立体表示モニタとしては、上記のシャッター方式以外にも、偏光メガネ方式を採用したモニタも知られている。

更に、近年実用化された立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、９視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる立体表示モニタは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。

図３は、９視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図３に示す立体表示モニタには、液晶パネル等の平面状の表示面２００の前面に、光線制御子が配置される。例えば、図３に示す立体表示モニタには、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート２０１が表示面２００の前面に貼り付けられている。なお、図３に示す一例では、垂直レンチキュラーシート２０１の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート２０１の凸部が表示面２００に対向するように貼り付けられる場合であってもよい。

表示面２００には、図３に示すように、縦横比が３：１であり、縦方向にサブ画素である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つが配置された画素２０２がマトリクス状に配置される。図３に示す立体表示モニタは、９つの画像により構成される９視差画像を、所定フォーマット（例えば格子状）に配置した中間画像に変換したうえで、表示面２００に出力する。すなわち、図３に示す立体表示モニタは、９視差画像にて同一位置にある９つの画素それぞれを、９列の画素２０２に割り振って出力させる。９列の画素２０２は、視点位置の異なる９つの画像を同時に表示する単位画素群２０３となる。

表示面２００において単位画素群２０３として同時に出力された９視差画像は、例えば、ＬＥＤ（Light Emitting Diode）バックライトにより平行光として放射され、更に、垂直レンチキュラーシート２０１により、多方向に放射される。９視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置（視点の位置）に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図３に示す９つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図３に示す「５」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図３に示す「５」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図３に示す立体表示モニタは、あくまでも一例である。９視差画像を表示する立体表示モニタは、図３に示すように、「ＲＲＲ・・・、ＧＧＧ・・・、ＢＢＢ・・・」の横ストライプ液晶である場合であってもよいし、「ＲＧＢＲＧＢ・・・」の縦ストライプ液晶である場合であってもよい。また、図３に示す立体表示モニタは、図３に示すように、レンチキュラーシートが垂直となる縦レンズ方式である場合であってもよいし、レンチキュラーシートが斜めとなる斜めレンズ方式である場合であってもよい。

ここまで、第１の実施形態に係る画像処理システム１の構成例について簡単に説明した。なお、上述した画像処理システム１は、ＰＡＣＳが導入されている場合にその適用が限られるものではない。例えば、画像処理システム１は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用される。この場合、画像保管装置１２０は、電子カルテを保管するデータベースである。また、例えば、画像処理システム１は、ＨＩＳ（Hospital Information System）、ＲＩＳ（Radiology Information System）が導入されている場合にも、同様に適用される。また、画像処理システム１は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更されてよい。

次に、第１の実施形態に係るワークステーションの構成例について図４を用いて説明する。図４は、第１の実施形態に係るワークステーションの構成例を説明するための図である。なお、以下において、「視差画像群」とは、ボリュームデータに対してボリュームレンダリング処理を行うことで生成された立体視用の画像群のことである。また、「視差画像」とは、「視差画像群」を構成する個々の画像のことである。すなわち、「視差画像群」は、視点位置が異なる複数の「視差画像」から構成される。

第１の実施形態に係るワークステーション１３０は、画像処理等に適した高性能なコンピュータであり、図４に示すように、入力部１３１と、表示部１３２と、通信部１３３と、記憶部１３４と、制御部１３５と、レンダリング処理部１３６とを有する。なお、以下では、ワークステーション１３０が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であってよい。例えば、任意のパーソナルコンピュータであってもよい。

入力部１３１は、マウス、キーボード、トラックボール等であり、ワークステーション１３０に対する各種操作の入力を操作者から受け付ける。具体的には、第１の実施形態に係る入力部１３１は、レンダリング処理の対象となるボリュームデータを画像保管装置１２０から取得するための情報の入力を受け付ける。例えば、入力部１３１は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等の入力を受け付ける。また、第１の実施形態に係る入力部１３１は、レンダリング処理に関する条件（以下、レンダリング条件）の入力を受け付ける。

表示部１３２は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第１の実施形態に係る表示部１３２は、操作者から各種操作を受け付けるためのＧＵＩ（Graphical User Interface）や、視差画像群等を表示する。通信部１３３は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。

記憶部１３４は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第１の実施形態に係る記憶部１３４は、通信部１３３を介して画像保管装置１２０から取得したボリュームデータを記憶する。また、第１の実施形態に係る記憶部１３４は、レンダリング処理中のボリュームデータや、レンダリング処理により生成された視差画像群等を記憶する。

制御部１３５は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）やＧＰＵ（Graphics Processing Unit）等の電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路であり、ワークステーション１３０の全体制御を行う。

例えば、第１の実施形態に係る制御部１３５は、表示部１３２に対するＧＵＩの表示や視差画像群の表示を制御する。また、例えば、制御部１３５は、画像保管装置１２０との間で通信部１３３を介して行われるボリュームデータや視差画像群の送受信を制御する。また、例えば、制御部１３５は、レンダリング処理部１３６によるレンダリング処理を制御する。また、例えば、制御部１３５は、ボリュームデータの記憶部１３４からの読み込みや、視差画像群の記憶部１３４への格納を制御する。

レンダリング処理部１３６は、制御部１３５による制御の下、画像保管装置１２０から取得したボリュームデータに対して種々のレンダリング処理を行い、視差画像群を生成する。具体的には、第１の実施形態に係るレンダリング処理部１３６は、記憶部１３４からボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行う。次に、レンダリング処理部１３６は、前処理後のボリュームデータに対してボリュームレンダリング処理を行い、視差画像群を生成する。続いて、レンダリング処理部１３６は、各種情報（目盛り、患者名、検査項目等）が描出された２次元画像を生成し、これを視差画像群それぞれに対して重畳することで、出力用の２次元画像を生成する。そして、レンダリング処理部１３６は、生成した視差画像群や出力用の２次元画像を記憶部１３４に格納する。なお、第１の実施形態において、レンダリング処理とは、ボリュームデータに対して行う画像処理全体のことであり、ボリュームレンダリング処理とは、レンダリング処理の内、３次元の情報を反映した２次元画像を生成する処理のことである。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。

図５は、図４に示すレンダリング処理部の構成例を説明するための図である。図５に示すように、レンダリング処理部１３６は、前処理部１３６１と、３次元画像処理部１３６２と、２次元画像処理部１３６３とを有する。前処理部１３６１が、ボリュームデータに対する前処理を行い、３次元画像処理部１３６２が、前処理後のボリュームデータから視差画像群を生成し、２次元画像処理部１３６３が、視差画像群に各種情報が重畳された出力用の２次元画像を生成する。以下、各部を順に説明する。

前処理部１３６１は、ボリュームデータに対してレンダリング処理を行う際に、種々の前処理を行う処理部であり、画像補正処理部１３６１ａと、３次元物体フュージョン部１３６１ｅと、３次元物体表示領域設定部１３６１ｆとを有する。

画像補正処理部１３６１ａは、２種類のボリュームデータを１つのボリュームデータとして処理する際に画像補正処理を行う処理部であり、図５に示すように、歪み補正処理部１３６１ｂ、体動補正処理部１３６１ｃ及び画像間位置合わせ処理部１３６１ｄを有する。例えば、画像補正処理部１３６１ａは、ＰＥＴ−ＣＴ装置により生成されたＰＥＴ画像のボリュームデータとＸ線ＣＴ画像のボリュームデータとを１つのボリュームデータとして処理する際に画像補正処理を行う。或いは、画像補正処理部１３６１ａは、ＭＲＩ装置により生成されたＴ１強調画像のボリュームデータとＴ２強調画像のボリュームデータとを１つのボリュームデータとして処理する際に画像補正処理を行う。

また、歪み補正処理部１３６１ｂは、個々のボリュームデータにおいて、医用画像診断装置１１０によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部１３６１ｃは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部１３６１ｄは、歪み補正処理部１３６１ｂ及び体動補正処理部１３６１ｃによる補正処理が行われた２つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ（Registration）を行う。

３次元物体フュージョン部１３６１ｅは、画像間位置合わせ処理部１３６１ｄにより位置合わせが行われた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部１３６１ａ及び３次元物体フュージョン部１３６１ｅの処理は、単一のボリュームデータに対してレンダリング処理を行う場合、省略される。

３次元物体表示領域設定部１３６１ｆは、操作者により指定された表示対象臓器に対応する表示領域を設定する処理部であり、セグメンテーション処理部１３６１ｇを有する。セグメンテーション処理部１３６１ｇは、操作者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値（ボクセル値）に基づく領域拡張法により抽出する処理部である。

なお、セグメンテーション処理部１３６１ｇは、操作者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行わない。また、セグメンテーション処理部１３６１ｇは、操作者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部１３６１ｇの処理は、レンダリング画像を参照した操作者の微調整要求により再度実行される場合もある。

３次元画像処理部１３６２は、前処理部１３６１が処理を行った前処理後のボリュームデータに対してボリュームレンダリング処理を行う。ボリュームレンダリング処理を行う処理部として、３次元画像処理部１３６２は、投影方法設定部１３６２ａと、３次元幾何変換処理部１３６２ｂと、３次元物体アピアランス処理部１３６２ｆと、３次元仮想空間レンダリング部１３６２ｋとを有する。

投影方法設定部１３６２ａは、視差画像群を生成するための投影方法を決定する。例えば、投影方法設定部１３６２ａは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。

３次元幾何変換処理部１３６２ｂは、ボリュームレンダリング処理が実行されるボリュームデータを３次元幾何学的に変換するための情報を決定する処理部であり、平行移動処理部１３６２ｃ、回転処理部１３６２ｄ及び拡大縮小処理部１３６２ｅを有する。平行移動処理部１３６２ｃは、ボリュームレンダリング処理を行う際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する処理部であり、回転処理部１３６２ｄは、ボリュームレンダリング処理を行う際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する処理部である。また、拡大縮小処理部１３６２ｅは、視差画像群の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する処理部である。

３次元物体アピアランス処理部１３６２ｆは、３次元物体色彩処理部１３６２ｇ、３次元物体不透明度処理部１３６２ｈ、３次元物体材質処理部１３６２ｉ及び３次元仮想空間光源処理部１３６２ｊを有する。３次元物体アピアランス処理部１３６２ｆは、これらの処理部により、例えば、操作者の要求に応じて、表示される視差画像群の表示状態を決定する処理を行う。

３次元物体色彩処理部１３６２ｇは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する処理部である。３次元物体不透明度処理部１３６２ｈは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度（Opacity）を決定する処理部である。なお、ボリュームデータにおいて不透過度が「１００％」とされた領域の後方の領域は、視差画像群において描出されないこととなる。また、ボリュームデータにおいて不透過度が「０％」とされた領域は、視差画像群において描出されないこととなる。

３次元物体材質処理部１３６２ｉは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する処理部である。３次元仮想空間光源処理部１３６２ｊは、ボリュームデータに対してボリュームレンダリング処理を行う際に、３次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する処理部である。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。

３次元仮想空間レンダリング部１３６２ｋは、ボリュームデータに対してボリュームレンダリング処理を行い、視差画像群を生成する。また、３次元仮想空間レンダリング部１３６２ｋは、ボリュームレンダリング処理を行う際、必要に応じて、投影方法設定部１３６２ａ、３次元幾何変換処理部１３６２ｂ、３次元物体アピアランス処理部１３６２ｆにより決定された各種情報を用いる。

ここで、３次元仮想空間レンダリング部１３６２ｋによるボリュームレンダリング処理は、レンダリング条件に従って行われることになる。例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置、視差角及び視差数」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「視差画像群の拡大」、「視差画像群の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。このようなレンダリング条件は、入力部１３１を介して操作者から受け付ける場合や、初期設定される場合が考えられる。いずれの場合も、３次元仮想空間レンダリング部１３６２ｋは、制御部１３５からレンダリング条件を受け付け、このレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行う。また、このとき、上述した投影方法設定部１３６２ａ、３次元幾何変換処理部１３６２ｂ、３次元物体アピアランス処理部１３６２ｆが、このレンダリング条件に従って必要な各種情報を決定するので、３次元仮想空間レンダリング部１３６２ｋは、決定されたこれらの各種情報を用いて視差画像群を生成する。

図６は、第１の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。例えば、３次元仮想空間レンダリング部１３６２ｋが、図６の「９視差画像生成方式（１）」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置（５）と視差角「１度」とを受け付けたとする。かかる場合、３次元仮想空間レンダリング部１３６２ｋは、視差角が「１度」おきとなるように、視点の位置を（１）〜（９）に平行移動して、平行投影法により視差角（視線方向間の角度）が１度ずつ異なる９つの視差画像を生成する。なお、平行投影法を行う場合、３次元仮想空間レンダリング部１３６２ｋは、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。

或いは、３次元仮想空間レンダリング部１３６２ｋが、図６の「９視差画像生成方式（２）」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置（５）と視差角「１度」とを受け付けたとする。かかる場合、３次元仮想空間レンダリング部１３６２ｋは、ボリュームデータの中心（重心）を中心に視差角が「１度」おきとなるように、視点の位置を（１）〜（９）に回転移動して、透視投影法により視差角が１度ずつ異なる９つの視差画像を生成する。なお、透視投影法を行う場合、３次元仮想空間レンダリング部１３６２ｋは、視線方向を中心に光を３次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行う場合、レンダリング条件によっては、視点（１）〜（９）は、平行移動される場合であってもよい。

なお、３次元仮想空間レンダリング部１３６２ｋは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を２次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行ってもよい。

このようにして生成された９つの視差画像が、視差画像群である。第１の実施形態において、９つの視差画像は、例えば制御部１３５により所定フォーマット（例えば格子状）に配置した中間画像に変換され、立体表示モニタとしての表示部１３２に出力される。すると、ワークステーション１３０の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行うことができる。

なお、図６の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、３次元仮想空間レンダリング部１３６２ｋは、それぞれのレンダリング条件を反映しつつ、視差画像群を生成する。

また、３次元仮想空間レンダリング部１３６２ｋは、ボリュームレンダリングだけでなく、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行ってボリュームデータからＭＰＲ画像を再構成する機能も有する。なお、３次元仮想空間レンダリング部１３６２ｋは、「Curved MPR」を行う機能や、「Intensity Projection」を行う機能も有する。

続いて、３次元画像処理部１３６２がボリュームデータから生成した視差画像群は、アンダーレイ（Underlay）とされる。そして、各種情報（目盛り、患者名、検査項目等）が描出されたオーバーレイ（Overlay）がアンダーレイに対して重畳されることで、出力用の２次元画像とされる。２次元画像処理部１３６３は、オーバーレイ及びアンダーレイに対して画像処理を行うことで、出力用の２次元画像を生成する処理部であり、図５に示すように、２次元物体描画部１３６３ａ、２次元幾何変換処理部１３６３ｂ及び輝度調整部１３６３ｃを有する。例えば、２次元画像処理部１３６３は、出力用の２次元画像の生成処理に要する負荷を軽減するために、９枚の視差画像（アンダーレイ）のそれぞれに対して１枚のオーバーレイを重畳することで、出力用の２次元画像を９枚、生成する。なお、以下では、オーバーレイが重畳されたアンダーレイを単に「視差画像」と表記する場合もある。

２次元物体描画部１３６３ａは、オーバーレイに描出される各種情報を描画する処理部であり、２次元幾何変換処理部１３６３ｂは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする処理部である。

また、輝度調整部１３６３ｃは、輝度変換処理を行う処理部であり、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅（ＷＷ：Window Width）、ウィンドウレベル（ＷＬ：Window Level）等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する処理部である。

制御部１３５は、例えば、このようにして生成された出力用の２次元画像を、一旦記憶部１３４に格納し、その後、通信部１３３を介して画像保管装置１２０に送信する。そして、端末装置１４０は、例えば、画像保管装置１２０からこの出力用の２次元画像を取得し、所定フォーマット（例えば格子状）に配置した中間画像に変換した上で立体表示モニタに表示する。また、例えば、制御部１３５は、出力用の２次元画像を、一旦記憶部１３４に格納し、その後、通信部１３３を介して画像保管装置１２０に送信するとともに、端末装置１４０に送信する。そして、端末装置１４０は、ワークステーション１３０から受信した出力用の２次元画像を所定フォーマット（例えば格子状）に配置した中間画像に変換した上で立体表示モニタに表示する。これにより、端末装置１４０を利用する医師や検査技師は、各種情報（目盛り、患者名、検査項目等）が描出された状態で、立体視可能な医用画像を閲覧することができる。

ところで、第１の実施形態における端末装置１４０は、タブレット式ＰＣ、ＰＤＡ又は携帯電話等の持ち運び可能な端末であり、被検体にかざされた場合に、かざされた位置に対応する部位（臓器等）の視差画像群を表示することで、かかる臓器等の立体画像を利用者に提供する。この点について、図７を用いて簡単に説明する。図７は、第１の実施形態における端末装置１４０によって表示される立体画像の一例を示す図である。

図７では、端末装置１４０は、利用者によって被検体Ｐの胸部にかざされた例を示している。かかる場合に、端末装置１４０は、被検体Ｐの胸部に位置する臓器として心臓の立体画像を立体表示モニタに表示する。これにより、利用者は、端末装置１４０を被検体Ｐにかざさすだけで、かざした位置に対応する部位の立体画像を観察することができる。以下に、このような第１の実施形態における端末装置１４０について詳細に説明する。

図８は、第１の実施形態における端末装置１４０の構成例を説明するための図である。図８に示した端末装置１４０は、タブレット式ＰＣ等の持ち運び可能な端末であり、利用者によって所定の操作が行われた場合に、かかる操作に応じた立体画像を表示する。図８に例示するように、第１の実施形態における端末装置１４０は、入力部１４１と、立体表示モニタ１４２と、通信部１４３と、記憶部１４４と、位置センサ１４５と、制御部１４６とを有する。

入力部１４１は、端末装置１４０に設けられた所定のキー等であり、端末装置１４０に対する各種操作の入力を操作者から受け付ける。例えば、入力部１４１は、立体視要求として、操作者が立体視を要望するボリュームデータを指定するための患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等の入力を受け付ける。

立体表示モニタ１４２は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第１の実施形態に係る立体表示モニタ１４２は、操作者から各種操作を受け付けるためのＧＵＩ（Graphical User Interface）や、視差画像群等を表示する。例えば、立体表示モニタ１４２は、図２を用いて説明した立体表示モニタ（以下、２視差モニタと記載する）や、図６を用いて説明した立体表示モニタ（以下、９視差モニタと記載する）である。以下では、立体表示モニタ１４２が９視差モニタである場合について説明する。

なお、第１の実施形態における端末装置１４０は、タブレット式ＰＣ等の持ち運び可能な端末であるので、入力部１４１と立体表示モニタ１４２とが一体化されたタッチパネル式の表示部を有してもよい。

通信部１４３は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。具体的には、第１の実施形態に係る通信部１４３は、入力部１４１が受け付けた立体視要求をワークステーション１３０に送信する。また、第１の実施形態に係る通信部１４３は、立体視要求に応じてワークステーション１３０が送信した視差画像群を受信する。

記憶部１４４は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、記憶部１４４は、通信部１４３を介してワークステーション１３０から取得した視差画像群を記憶する。また、記憶部１４４は、通信部１４３を介してワークステーション１３０から取得した視差画像群の付帯情報（視差数、解像度等）も記憶する。

また、第１の実施形態における記憶部１４４は、医用画像診断装置１１０によって撮影された被検体ＰのＸ線ＣＴ画像やレントゲン画像等を記憶する。かかるＸ線ＣＴ画像やレントゲン画像は、被検体Ｐが広範囲に撮影されることで生成された２次元画像であり、例えば、後述する図９中の画像Ａ１０に該当する。以下では、このようなＸ線ＣＴ画像やレントゲン画像を「スキャノ像」と表記する場合がある。

位置センサ１４５は、被検体Ｐに対する端末装置１４０の位置を検出する。なお、第１の実施形態では、被検体Ｐにも位置センサの発信部が取り付けられ、端末装置１４０が有する位置センサ１４５は、位置センサの受信部であるものとする。すなわち、位置センサ１４５は、被検体Ｐに取り付けられた位置センサから信号を受信することで、かかる被検体Ｐに対する端末装置１４０の位置を検出する。これらの位置センサについては、後述する。

制御部１４６は、ＣＰＵ、ＭＰＵやＧＰＵ等の電子回路、ＡＳＩＣやＦＰＧＡ等の集積回路であり、端末装置１４０の全体制御を行う。例えば、制御部１４６は、ワークステーション１３０との間で通信部１４３を介して行われる立体視要求や視差画像群の送受信を制御する。また、例えば、制御部１４６は、視差画像群の記憶部１４４への格納や、視差画像群の記憶部１４４からの読み込みを制御する。

このような制御部１４６は、図８に例示するように、初期設定部１４６１と、取得部１４６２と、表示制御部１４６３とを有し、これらの処理部による処理によって、端末装置１４０が被検体Ｐにかざされた場合に、かざされた位置に対応する部位（臓器等）の視差画像群を表示することで、かかる臓器等の立体画像を利用者に提供することを可能にする。

初期設定部１４６１は、被検体Ｐに対する端末装置１４０の基準位置を設定する。取得部１４６２は、被検体Ｐに対する端末装置１４０の位置を取得する。第１の実施形態における取得部１４６２は、初期設定部１４６１によって設定された基準位置に対する端末装置１４０の位置変動を取得する。具体的には、取得部１４６２は、位置センサ１４５によって検出される位置に基づいて被検体Ｐに対する端末装置１４０の相対的な位置変動を取得する。表示制御部１４６３は、視差画像群を立体表示モニタ１４２に表示させる。具体的には、第１の実施形態における表示制御部１４６３は、取得部１４６２によって取得された位置変動に応じた表示方式により所定の視差画像群を立体表示モニタ１４２に表示させる。

ここで、図９及び図１０を用いて、第１の実施形態における初期設定部１４６１、取得部１４６２及び表示制御部１４６３による処理の一例について説明する。図９及び図１０は、第１の実施形態における端末装置１４０による処理の一例を説明するための図である。なお、以下では、横方向（ｘ方向）が地表に水平な方向であって端末装置１４０の横方向に対応し、縦方向（ｙ方向）が地表に垂直な方向であって端末装置１４０の縦方向に対応し、奥行き方向（ｚ方向）がｘｙ平面に垂直な方向であって端末装置１４０の表示面に垂直な方向に対応するものとする。

図９及び図１０に示した例の前提として、ワークステーション１３０は、医用画像診断装置１１０によって被検体Ｐが撮影されることで生成されたボリュームデータＶＤ１０を保持するものとする。または、ワークステーション１３０は、かかるボリュームデータＶＤ１０を画像保管装置１２０から取得可能な状態であるものとする。また、図９に例示したスキャノ像Ａ１０は、医用画像診断装置１１０によって被検体Ｐの胸部周辺が広範囲に撮影されることで生成されたものとする。かかるスキャノ像Ａ１０は、端末装置１４０の記憶部１４４に記憶されるとともに、ワークステーション１３０の記憶部１３４にも記憶される。また、ワークステーション１３０は、ボリュームデータＶＤ１０とスキャノ像Ａ１０との位置関係に関する情報を保持するものとする。つまり、ワークステーション１３０は、スキャノ像Ａ１０の所定の位置がボリュームデータＶＤ１０のどの位置に対応するかを示す情報を保持する。

このような前提の下、図９に示した例では、被検体Ｐの首（頸部）近傍に位置センサ１５１が取り付けられ、端末装置１４０の上側面に位置センサ１４５ａ及び１４５ｂが設けられる。なお、位置センサ１４５ａ及び１４５ｂは、図８に示した位置センサ１４５に対応する。以下、位置センサ１４５ａと位置センサ１４５ｂとを区別する必要がない場合には、双方を総称して「位置センサ１４５」と表記する場合がある。このような位置センサ１４５は、位置センサ１５１から信号を受信することで、被検体Ｐに対する端末装置１４０の位置を検出する。

ここで、第１の実施形態における端末装置１４０の初期設定部１４６１は、利用者から入力部１４１を介して、スキャノ像Ａ１０の一部分を表示させる操作を受け付ける。図９に示した例では、初期設定部１４６１は、スキャノ像Ａ１０のうち心臓近傍の画像Ａ１１を表示させる操作を受け付けたものとする。かかる場合に、表示制御部１４６３は、図９（Ａ）に示すように、画像Ａ１１を立体表示モニタ１４２に表示する。なお、かかる画像Ａ１１は、２次元画像である。

続いて、画像Ａ１１を表示している端末装置１４０は、図９（Ａ）に示すように、利用者によって、画像Ａ１１が示す被検体Ｐの位置にかざされる。図９（Ａ）に示した例では、立体表示モニタ１４２には心臓近傍の画像Ａ１１が表示されているので、端末装置１４０は、被検体Ｐの胸部近傍にかざされる。なお、このとき、端末装置１４０の初期設定部１４６１は、画像Ａ１１が示す位置に端末装置１４０をかざす旨の案内メッセージを立体表示モニタ１４２に表示してもよい。

そして、端末装置１４０の初期設定部１４６１は、被検体Ｐにかざされた状態で、利用者から入力部１４１を介して基準位置を設定する旨の操作を受け付ける。かかる場合に、初期設定部１４６１は、画像Ａ１１が示す部位に対応する位置に端末装置１４０が対向していると判定する。このとき、初期設定部１４６１は、画像Ａ１１内の所定の位置を基準位置にすることを決定する。図９（Ａ）に示した例では、初期設定部１４６１は、画像Ａ１１の重心を基準位置ＳＴ１０とする。

そして、初期設定部１４６１は、このようにして決定した基準位置ＳＴ１０をワークステーション１３０に送信する。例えば、初期設定部１４６１は、２次元画像であるスキャノ画像Ａ１０が２次元座標系で表される場合に、スキャノ画像Ａ１０における基準位置ＳＴ１０の座標をワークステーション１３０に送信する。なお、スキャノ画像Ａ１０が表される２次元座標系は、端末装置１４０及びワークステーション１３０において共有されているものとする。

基準値ＳＴ１０を受信したワークステーション１３０は、かかる基準値ＳＴ１０に対応するボリュームデータＶＤ１０の位置を特定する。この点について図１０を用いて説明する。図１０に示したボリュームデータＶＤ１０は、医用画像診断装置１１０によって被検体Ｐが撮影されることで生成されたものであって、横方向（ｘ方向）、縦方向（ｙ方向）及び奥行き方向（ｚ方向）の３次元座標系によって表される３次元仮想空間（以下、「ボリュームデータ空間」と表記する場合がある）に配置された状態である。また、図１０に示したスキャノ像Ａ１０は、横方向（ｘ方向）及び縦方向（ｙ方向）に垂直な方向（ｘｙ平面に垂直な方向）からボリュームデータＶＤ１０を見た像に対応するものとする。

ここで、ワークステーション１３０は、上記の通り、スキャノ像Ａ１０とボリュームデータＶＤ１０との位置関係を対応付ける情報を保持する。例えば、ワークステーション１３０は、スキャノ像Ａ１０の２次元座標系（ｘｙ座標系）が（ｘ１、ｙ１）であり、ボリュームデータ空間（ｘｙｚ座標系）が（ｘ２、ｙ２、ｚ２）である場合に、「ｘ２＝Ｆ１（ｘ１）」、「ｙ２＝Ｆ２（ｘ２）」により表される関数「Ｆ１」や「Ｆ２」を保持する。なお、関数「Ｆ１」や「Ｆ２」は、スキャノ画像Ａ１０やボリュームデータＶＤ１０のサイズ、スキャノ画像Ａ１０の撮影方向等によって決定されるものである。したがって、関数「Ｆ１」や「Ｆ２」は、システムで予め設定されていてもよいが、制御部１３５によって動的に算出されてもよい。

ワークステーション１３０の制御部１３５は、端末装置１４０から基準位置ＳＴ１０を受信した場合に、このような関数「Ｆ１」や「Ｆ２」を用いて、基準位置ＳＴ１０に対応するボリュームデータＶＤ１０の基準位置ＳＴ１１を特定する。

続いて、端末装置１４０の初期設定部１４６１は、画像Ａ１１が示す部位に対応する視差画像群をワークステーション１３０から取得する。具体的には、初期設定部１４６１は、スキャノ画像Ａ１０における画像Ａ１１の位置情報を含む取得要求をワークステーション１３０に送信することで、画像Ａ１１に対応する視差画像群をワークステーション１３０から取得する。例えば、初期設定部１４６１は、画像Ａ１１の位置情報として、スキャノ画像Ａ１０における画像Ａ１１の四隅の座標をワークステーション１３０に送信する。

端末装置１４０から取得要求を受信したワークステーション１３０の制御部１３５は、画像Ａ１１の位置情報に対応するボリュームデータを抽出するようにレンダリング処理部１３６を制御する。さらに、制御部１３５は、抽出したボリュームデータに対してレンダリング処理を行うようにレンダリング処理部１３６を制御する。これにより、レンダリング処理部１３６は、ボリュームデータを抽出し、抽出したボリュームデータから視差画像群を生成する。

図１０に示した例を用いて説明すると、制御部１３５は、ボリュームデータＶＤ１０のうち、画像Ａ１１の位置情報に対応するボリュームデータＶＤ１１に対してレンダリング処理を行うようにレンダリング処理部１３６を制御する。例えば、制御部１３５は、上記の関数「Ｆ１」や「Ｆ２」を用いて、スキャノ画像Ａ１０における画像Ａ１１のｘｙ座標からボリュームデータ空間におけるｘｙ座標を算出し、算出したｘｙ座標を含むボリュームデータ空間における領域（ｚは任意）を、ボリュームデータＶＤ１１の位置として特定する。そして、制御部１３５は、ボリュームデータＶＤ１１に対してレンダリング処理を行うようにレンダリング処理部１３６を制御する。

これにより、第１の実施形態におけるレンダリング処理部１３６（例えば、セグメンテーション処理部１３６１ｇや３次元幾何変換処理部１３６２ｂ）は、レンダリング対象がボリュームデータＶＤ１１となるように視点位置及び視線方向を決定する。そして、レンダリング処理部１３６は、ボリュームデータＶＤ１１に対してボリュームレンダリング処理を行うことにより視差画像群を生成する。ワークステーション１３０は、このようにしてレンダリング処理部１３６によって生成された視差画像群を端末装置１４０に送信する。

端末装置１４０の表示制御部１４６３は、ワークステーション１３０から受信した視差画像群を立体表示モニタ１４２に表示することで、図９（Ｂ）に例示するように、画像Ａ１１が示す部位に対応する立体画像を利用者に提供する。このように、第１の実施形態において、利用者は、画像Ａ１１を表示させた状態で端末装置１４０を被検体Ｐにかざした後に、基準位置を設定する旨の操作を行った場合に、かざした位置に対応する被検体Ｐの臓器等を立体画像として観察することができる。ここまでが、初期設定部１４６１による初期設定処理となる。

この後に、端末装置１４０は、図９（Ｃ）に示した例のように、図９（Ｂ）に示した状態から移動させられて被検体Ｐの異なる位置にかざされた場合には、移動後の位置に対応する被検体Ｐの部位（臓器等）の視差画像群を表示する。

具体的には、端末装置１４０が図９（Ｂ）に示した状態から図９（Ｃ）に示した状態に移動させられた場合には、端末装置１４０の位置センサ１４５によって検出される被検体Ｐに対する端末装置１４０の位置情報も変動する。そこで、端末装置１４０の取得部１４６２は、このような位置センサ１４５によって検出される位置情報に基づいて、被検体Ｐに対する端末装置１４０の相対的な位置変動を取得する。具体的には、取得部１４６２は、基準位置における被検体Ｐに対する端末装置１４０の位置と、移動後における被検体Ｐに対する端末装置１４０の位置との差異を算出することにより、端末装置１４０の移動ベクトルを取得する。

例えば、取得部１４６２は、図９（Ａ）に示した例のように、基準位置を設定する旨の操作が行われた際に、このときの被検体Ｐに対する端末装置１４０の位置情報を記憶部１４４等に格納する。そして、取得部１４６２は、図９（Ｃ）に示した例のように、位置センサ１４５によって検出される位置情報が変動した場合に、変動した位置情報と記憶部１４４等に格納した位置情報とに基づいて、被検体Ｐに対する端末装置１４０の相対的な位置変動として、端末装置１４０の移動量及び移動方向を示す移動ベクトルＭ１０を取得する。そして、取得部１４６２は、端末装置１４０の移動ベクトルＭ１０をワークステーション１３０に送信することで、移動後の位置に対応する視差画像群をワークステーション１３０から取得する。なお、図９（Ｃ）に示した例では、端末装置１４０の移動ベクトルＭ１０の方向は、ｙ方向と平行な方向であるものとする。すなわち、図９（Ｃ）に示した例では、端末装置１４０は、利用者によって真下に移動されたものとする。

端末装置１４０の移動ベクトルＭ１０を受信したワークステーション１３０の制御部１３５は、端末装置１４０が実在する実空間における移動ベクトルＭ１０をボリュームデータ空間における移動ベクトル（「移動ベクトルＭ１１」とする）に変換する。なお、実空間とボリュームデータ空間とは縮尺が異なるだけであるので、制御部１３５は、端末装置１４０から受信した移動ベクトルＭ１０の大きさに所定の値を乗算することで、実空間における移動ベクトルＭ１０をボリュームデータ空間に対応する移動ベクトルＭ１１に変換することができる。

そして、制御部１３５は、移動ベクトルＭ１１に基づいて、移動後の端末装置１４０に対向する被検体Ｐの部位に対応するボリュームデータを特定する。具体的には、制御部１３５は、図１０に示すように、前述において特定した基準位置ＳＴ１１から移動ベクトルＭ１１だけ移動させた位置を中心とする所定の領域を、移動後の端末装置１４０がかざしている被検体Ｐの位置に対応するボリュームデータＶＤ１２として特定する。なお、ボリュームデータＶＤ１２の横方向（ｘ方向）及び縦方向（ｙ方向）の大きさは、画像Ａ１１の大きさにより決定され、前述したボリュームデータＶＤ１１の大きさと同様である。そして、制御部１３５は、かかるボリュームデータＶＤ１２に対してレンダリング処理を行うようにレンダリング処理部１３６を制御する。ワークステーション１３０は、レンダリング処理部１３６によって生成された視差画像群を端末装置１４０に送信する。

端末装置１４０の表示制御部１４６３は、ワークステーション１３０から受信した視差画像群を立体表示モニタ１４２に表示することで、図９（Ｃ）に例示するように、移動後の端末装置１４０がかざす被検体Ｐの位置に対応する立体画像を利用者に提供する。このように、第１の実施形態において、利用者は、被検体Ｐにかざしている端末装置１４０の位置を移動させた場合に、移動後の位置に対応する被検体Ｐの臓器等を立体画像として観察することができる。

ところで、図９（Ｂ）及び（Ｃ）では、説明を簡単にするために、端末装置１４０が垂直方向のみ（ｙ方向）に移動させられる場合を例に挙げて説明した。しかし、第１の実施形態における端末装置１４０は、被検体Ｐの側面や背面に移動させられた場合であっても、かざされた位置に対応する立体画像を表示することができる。

この点について、図１１及び図１２を用いて具体的に説明する。図１１及び図１２は、第１の実施形態における端末装置１４０による処理の一例を説明するための図である。図１１は、被検体Ｐを上方（ｙ方向）から見た図であり、図１２は、ボリュームデータＶＤ１０をボリュームデータ空間の上（ｙ方向）から見た図である。また、図１１（Ａ）は、基準位置が設定された際の端末装置１４０の位置を示す。また、図１２（Ａ）は、端末装置１４０が図１１（Ａ）に示した状態である場合にレンダリング処理部１３６によって行われるレンダリング処理時の視線方向Ｌ１等を示し、図１２（Ｂ）は、端末装置１４０が図１１（Ｂ）に示した状態である場合にレンダリング処理部１３６によって行われるレンダリング処理時の視線方向Ｌ１等を示す。なお、ここで、透視投影法によりレンダリング処理を行うものとする。

図１１に示すように、端末装置１４０が、被検体Ｐを中心とする円弧状に回転移動させられたものとする。具体的には、端末装置１４０は、図１１（Ａ）に示す状態から、図１１（Ｂ）に示す状態に移動させられたものとする。このとき、端末装置１４０の取得部１４６２は、基準位置における位置センサ１４５ａの位置を始点とする位置センサ１４５ａの移動ベクトルと、基準位置における位置センサ１４５ｂの位置を始点とする位置センサ１４５ｂの移動ベクトルとに基づいて、端末装置１４０の移動ベクトルと、基準位置における端末装置１４０に対する移動後の端末装置１４０の傾きθ１１を取得する。

具体的には、取得部１４６２は、位置センサ１４５ａ及び位置センサ１４５ｂの配置位置に基づいて、端末装置１４０の移動ベクトルを取得する。例えば、図１１に示した例のように、位置センサ１４５ａ及び位置センサ１４５ｂが端末装置１４０の重心に対して左右対称に配置されている場合には、取得部１４６２は、双方の移動ベクトルに基づいて、端末装置１４０の移動ベクトルを取得することができる。また、取得部１４６２は、基準位置における位置センサ１４５ａ及び位置センサ１４５ｂの双方の位置を結ぶ直線と、移動後における双方の位置を結ぶ直線とのなす角度を算出することで、上記の傾きθ１１を取得することができる。

取得部１４６２は、このようにして取得した移動ベクトル及び端末装置１４０の傾きθ１１をワークステーション１３０に送信する。このように、端末装置１４０は、横方向の異なる位置に２個の位置センサを有することで、端末装置１４０の横方向（ｘ方向）に対する傾きθ１１を取得することができる。

端末装置１４０の移動ベクトル等を受信したワークステーション１３０の制御部１３５は、図１０に示した例と同様に、移動ベクトルに基づいて、移動後の端末装置１４０がかざしている被検体Ｐの位置に対応するボリュームデータを特定する。さらに、制御部１３５は、図１２に示すように、端末装置１４０の傾きθ１１に基づいて、レンダリング処理時におけるボリュームデータＶＤ１０に対する視線方向を変更する。具体的には、制御部１３５は、図１２（Ｂ）に示すように、レンダリング処理時の視点位置を移動後の端末装置１４０の位置とし、かかる視点位置からの視線方向Ｌ１等を傾きθ１１だけ傾ける。制御部１３５は、このようなレンダリング条件によりレンダリング処理を行うようにレンダリング処理部１３６を制御する。そして、ワークステーション１３０は、レンダリング処理部１３６が生成した視差画像群を端末装置１４０に送信する。これにより、端末装置１４０は、ワークステーション１３０から受信した視差画像群を立体表示モニタ１４２に表示することで、被検体Ｐの側面や背面に移動させられた場合であっても、かざされた位置に対応する立体画像を表示することができる。

次に、図１３及び図１４を用いて、第１の実施形態におけるワークステーション１３０及び端末装置１４０による処理の流れの一例を示す。図１３及び図１４は、第１の実施形態における画像処理システムによる処理の流れの一例を示すシーケンス図である。なお、図１３では、初期設定処理の流れについて説明し、図１４では、端末装置１４０の移動時における表示処理の流れについて説明する。

図１３に示すように、端末装置１４０の初期設定部１４６１は、スキャノ像Ａ１０の一部分を表示させる操作を受け付けたか否かを判定する（ステップＳ１０１）。ここで、かかる操作を受け付けない場合には（ステップＳ１０１否定）、端末装置１４０は、待機する。一方、初期設定部１４６１によってかかる操作を受け付けた場合に（ステップＳ１０１肯定）、表示制御部１４６３は、スキャノ画像Ａ１０内の一部の画像を立体表示モニタ１４２に表示する（ステップＳ１０２）。

続いて、初期設定部１４６１は、基準位置を設定する旨の操作を受け付けたか否かを判定する（ステップＳ１０３）。ここで、基準位置を設定する操作を受け付けない場合には（ステップＳ１０３否定）、端末装置１４０は、待機する。一方、初期設定部１４６１は、基準位置を設定する操作を受け付けた場合に（ステップＳ１０３肯定）、表示画像内の所定の位置を基準位置にすることを決定し、決定した基準位置をワークステーション１３０に送信する（ステップＳ１０４）。ワークステーション１３０の制御部１３５は、端末装置１４０から受信した基準位置に基づいて、ボリュームデータの基準位置を特定する（ステップＳ１０５）。

続いて、端末装置１４０の初期設定部１４６１は、スキャノ画像Ａ１０における表示画像の位置情報をワークステーション１３０に送信する（ステップＳ１０６）。ワークステーション１３０の制御部１３５は、表示画像の位置情報に対応するボリュームデータを特定し、特定したボリュームデータに対してレンダリング処理を行うようにレンダリング処理部１３６を制御する。これにより、レンダリング処理部１３６は、制御部１３５によって特定されたボリュームデータから視差画像群を生成する（ステップＳ１０７）。ワークステーション１３０は、生成した視差画像群を端末装置１４０に送信する（ステップＳ１０８）。

そして、端末装置１４０の表示制御部１４６３は、ワークステーション１３０から受信した視差画像群を立体表示モニタ１４２に表示する（ステップＳ１０９）。これにより、端末装置１４０は、表示画像（スキャノ画像Ａ１０の一部分の画像）に対応する立体画像を利用者に提供することができる。

次に、図１４を用いて、端末装置１４０が移動された場合について説明する。図１４に示すように、端末装置１４０の取得部１４６２は、位置センサ１４５によって検出される位置情報に基づいて、端末装置１４０が移動されたか否かを判定する（ステップＳ２０１）。ここで、端末装置１４０が移動されない場合には（ステップＳ２０１否定）、端末装置１４０は、待機する。

一方、端末装置１４０が移動された場合に（ステップＳ２０１肯定）、取得部１４６２は、位置センサ１４５によって検出される位置情報に基づいて、端末装置１４０の移動ベクトル及び傾きを取得する（ステップＳ２０２）。そして、取得部１４６２は、取得した移動ベクトル及び傾きをワークステーション１３０に送信する（ステップＳ２０３）。

ワークステーション１３０の制御部１３５は、端末装置１４０から取得した実空間における移動ベクトルをボリュームデータ空間における移動ベクトルに変換し、変換後の移動ベクトルに基づいて、移動後の端末装置１４０に対向する被検体Ｐの部位に対応するボリュームデータを特定する（ステップＳ２０４）。また、制御部１３５は、端末装置１４０の傾きに基づいて、レンダリング処理時の視線方向を決定する（ステップＳ２０５）。

そして、制御部１３５は、ステップＳ２０４において特定したボリュームデータに対して、ステップＳ２０５において決定した視線方向によりレンダリング処理を行うようにレンダリング処理部１３６を制御する。これにより、レンダリング処理部１３６は、視差画像群を生成する（ステップＳ２０６）。ワークステーション１３０は、生成した視差画像群を端末装置１４０に送信する（ステップＳ２０７）。

そして、端末装置１４０の表示制御部１４６３は、ワークステーション１３０から受信した視差画像群を立体表示モニタ１４２に表示する（ステップＳ２０８）。これにより、端末装置１４０は、端末装置１４０が対向する被検体Ｐの位置に対応する部位（臓器等）の立体画像を利用者に提供することができる。

上述してきたように、第１の実施形態によれば、端末装置１４０が対向する被検体の部位を示す立体画像を表示することができるので、利用者が所望する立体画像を表示することができる。

なお、第１の実施形態は、上記の実施形態に限られず、以下に示すいくつかの変形例を含む態様の実施形態であってもよい。以下に、図１５〜図１８を用いて、第１の実施形態の変形例について説明する。

［端末装置の傾き検出］
まず、上記第１の実施形態では、端末装置１４０が２個の位置センサ１４５を有することで、端末装置１４０の傾きを検出する例を示した。具体的には、図１１及び図１２に例示したように、上記例では、横方向（ｘ方向）に対する端末装置１４０の傾きを検出した。しかし、第１の実施形態における端末装置１４０は、縦方向（ｙ方向）と水平な状態を保って被検体Ｐにかざされるとは限らず、すなわち、縦方向（ｙ方向）に対して傾けた状態で被検体Ｐにかざされる場合もある。第１の実施形態における端末装置１４０は、縦方向（ｙ方向）に対して傾けた状態で被検体Ｐにかざされる場合であっても、かざしている位置に対応する被検体Ｐの立体画像を表示することができる。

この点について、図１５を用いて具体的に説明する。図１５に示した例において、端末装置１４０は、図９等に示した例と同様に、上側面に位置センサ１４５ａ及び１４５ｂを有する。さらに、本変形例に係る端末装置１４０は、下側面に位置センサ１４５ｃを有する。図１５に示した例において、端末装置１４０の取得部１４６２は、位置センサ１４５ａ、１４５ｂ及び１４５ｃによって検出される位置情報に基づいて、被検体Ｐに対する端末装置１４０の相対的な位置変動を取得するとともに、横方向（ｘ方向）に対する端末装置１４０の傾きθ１１（図１１及び図１２参照）と、縦方向（ｙ方向）に対する端末装置１４０の傾きθ１２（図１５参照）とを取得する。そして、取得部１４６２は、取得した移動ベクトル及び端末装置１４０の傾きθ１１及びθ１２をワークステーション１３０に送信する。なお、図１５に示した例では、傾きθ１１が「０」であるものとする。

これらの各種情報を受信したワークステーション１３０の制御部１３５は、図１５に示すように、ボリュームデータＶＤ１０からレンダリング対象とするボリュームデータＶＤ１３を特定する。具体的には、制御部１３５は、ボリュームデータ空間におけるｘｚ平面に対して角度θ１２だけ傾けたボリュームデータＶＤ１３を特定する。そして、制御部１３５は、特定したボリュームデータＶＤ１３に対してレンダリング処理を行うようにレンダリング処理部１３６を制御する。これにより、レンダリング処理部１３６（例えば、セグメンテーション処理部１３６１ｇや３次元幾何変換処理部１３６２ｂ）は、レンダリング対象がボリュームデータＶＤ１３となるように視点位置及び視線方向を決定する。そして、レンダリング処理部１３６は、ボリュームデータＶＤ１３に対してボリュームレンダリング処理を行うことにより視差画像群を生成する。端末装置１４０は、レンダリング処理部１３６によって生成された視差画像群を立体表示モニタ１４２に表示することで、縦方向（ｙ方向）に対して傾けられた場合であっても、かざされた位置に対応する被検体Ｐの立体画像を表示することができる。

なお、端末装置１４０に設けられる位置センサ１４５の数は、何個であってもよい。例えば、端末装置１４０が縦方向（ｙ方向）に対して水平、かつ、被検体Ｐを中心とする円弧状のみで移動されることが予め決められている場合には、端末装置１４０は、１個の位置センサ１４５を有するだけでもよい。これは、端末装置１４０の移動態様が予め決められている場合には、ワークステーション１３０は、かかる移動態様に基づいて、１個の位置センサ１４５によって検出される端末装置１４０の位置に基づいて、端末装置１４０の向きを取得することができるからである。

また、例えば、端末装置１４０は、４個以上の位置センサ１４５を有してもよい。端末装置１４０に設けられる位置センサ１４５の数が多いほど、ワークステーション１３０は、かかる複数の位置センサ１４５によって検出される位置情報に基づいて、端末装置１４０の位置や向きを詳細に取得することが可能になる。

［立体画像の縮小／拡大］
また、上記第１の実施形態における端末装置１４０は、被検体Ｐとの距離に応じて、立体表示モニタ１４２に表示する立体画像の表示形式を変更してもよい。例えば、端末装置１４０は、被検体Ｐとの距離に応じて、立体画像の縮尺を変化させてもよい。

この点について、図１６を用いて具体的に説明する。図１６（Ａ１）は、端末装置１４０の基準位置が設定された状態であるものとする。また、図１６（Ａ２）は、基準位置に位置する端末装置１４０の立体表示モニタ１４２に表示される立体画像を示す。このような場合に、図１６（Ｂ１）に示すように、端末装置１４０が被検体Ｐから遠ざかる方向に移動されたものとする。かかる場合に、端末装置１４０は、図１６（Ｂ２）に示すように、基準位置において表示する立体画像（図１６（Ａ２）参照）よりも縮小した立体画像を表示する。また、ここでは、図示することを省略するが、端末装置１４０は、被検体Ｐに近づける方向に移動された場合には、基準位置において表示する立体画像（図１６（Ａ２）参照）よりも拡大した立体画像を表示する。

このような縮小／拡大表示を実現するために、ワークステーション１３０の制御部１３５は、端末装置１４０と被検体Ｐとの距離に応じて、縮小又は拡大された視差画像群を生成させる。例えば、制御部１３５は、端末装置１４０と被検体Ｐとの距離が離れているほど、レンダリング対象のボリュームデータを縮小し、縮小後のボリュームデータに対してレンダリング処理を行うようにレンダリング処理部１３６を制御する。また、例えば、制御部１３５は、端末装置１４０と被検体Ｐとの距離が近いほど、レンダリング対象のボリュームデータを拡大し、拡大後のボリュームデータに対してレンダリング処理を行うようにレンダリング処理部１３６を制御する。

また、上記第１の実施形態における端末装置１４０は、被検体Ｐとの距離に応じて、視差画像群の視差角を変化させることで、立体画像の立体感を変化させてもよい。具体的には、立体表示モニタ１４２によって表示される立体画像は、視差画像群を構成する視差画像間の視差角が大きいほど、奥行き方向（ｚ方向）成分が大きくなり立体感が大きくなる。一方で、立体画像は、視差画像間の視差角が小さいほど、奥行き方向（ｚ方向）成分が小さくなり立体感が小さくなる。

そこで、ワークステーション１３０の制御部１３５は、端末装置１４０と被検体Ｐとの距離に応じて、視差画像群の視差角を変化させる。例えば、制御部１３５は、端末装置１４０と被検体Ｐとの距離が離れているほど、小さい視差角によりレンダリング処理を行うようにレンダリング処理部１３６を制御する。一方で、制御部１３５は、端末装置１４０と被検体Ｐとの距離が近いほど、大きい視差角によりレンダリング処理を行うようにレンダリング処理部１３６を制御する。この例の場合には、端末装置１４０は、被検体Ｐに遠ざける方向に移動されるほど立体感の小さい立体画像を表示し、被検体Ｐに近づける方向に移動されるほど立体感の大きい立体画像を表示することができる。

また、上記第１の実施形態における端末装置１４０は、被検体Ｐとの距離に応じて、立体画像のフォーカス位置を変化させてもよい。具体的には、ワークステーション１３０のレンダリング処理部１３６は、図６を用いて説明したように、複数の視点位置からレンダリング処理を行うが、かかる複数の視点位置からの視線方向は、ボリュームデータの所定の位置で交わる。このような各視線方向の交点は、かかる各視線方向からボリュームレンダリングが行われることで生成された視差画像群のフォーカスとなる。言い換えれば、視線方向を変更することで、視差画像群のフォーカス位置を変化させることができる。

そこで、ワークステーション１３０の制御部１３５は、端末装置１４０と被検体Ｐとの距離に応じて、フォーカス（各視線方向の交点）を変化させる。例えば、制御部１３５は、端末装置１４０と被検体Ｐとの距離が離れているほど、利用者（観察者）から遠ざかる方向にフォーカスを移動させてレンダリング処理を行うようにレンダリング処理部１３６を制御する。一方で、制御部１３５は、端末装置１４０と被検体Ｐとの距離が近いほど、利用者（観察者）に近づく方向にフォーカスを移動させてレンダリング処理を行うようにレンダリング処理部１３６を制御する。この例の場合には、端末装置１４０は、被検体Ｐに遠ざける方向に移動されるほど、利用者（観察者）から遠ざかる方向にフォーカスが位置する立体画像を表示し、被検体Ｐに近づける方向に移動されるほど、利用者（観察者）から近づく方向にフォーカスが位置する立体画像を表示することができる。

［立体画像の回転］
また、上記第１の実施形態における端末装置１４０は、立体表示モニタ１４２に立体画像を表示している状態において、端末装置１４０自体が揺動された場合に、立体画像を回転表示してもよい。この点について、図１７を用いて具体的に説明する。端末装置１４０は、図１７の上図に示すように揺動された場合に、図１７の下図に示すように立体表示モニタ１４２に表示している立体画像を回転させてもよい。

このような回転表示を実現するために、画像保管装置１２０は、ボリュームデータＶＤ１０を中心とする円弧状に所定の角度（例えば、１度）ずつ配置された複数の視点位置からレンダリングされた全周囲の視差画像群を有する。そして、端末装置１４０は、揺動操作に応じて、表示対象の視差画像群を画像保管装置１２０から取得し、立体表示モニタ１４２に表示する。または、端末装置１４０は、全周囲の視差画像群を有し、揺動操作に応じて全周囲の視差画像群から表示対象の視差画像を選択し、選択した視差画像群を立体表示モニタ１４２に表示してもよい。

なお、上記例において、端末装置１４０は、加速度センサを有してもよい。そして、端末装置１４０は、かかる加速度センサによって揺動方向及び揺動速度を検出し、検出した揺動方向に応じて立体画像の回転方向を決定し、揺動速度に応じて立体画像の回転量を決定してもよい。

［表示変動の抑止］
また、上記第１の実施形態における端末装置１４０は、移動されずに回転のみされた場合には、立体表示モニタ１４２に表示する立体画像を変化させなくてもよい。この点について、図１８を用いて具体的に説明する。図１８（Ａ１）は、端末装置１４０の基準位置が設定された状態であるものとする。また、図１８（Ａ２）は、基準位置に位置する端末装置１４０の立体表示モニタ１４２に表示される立体画像を示す。

このような場合に、端末装置１４０は、図１８（Ｂ１）に示すように移動された場合には、図１１及び図１２を用いて説明したように、かざされた位置に対応する被検体Ｐの立体画像を表示する（図１８（Ｂ２）参照）。ここで、端末装置１４０は、図１８（Ｃ１）に示すように、端末装置１４０の重心位置が変動せず、かかる重心を中心に回転動作のみされた場合には、図１８（Ｃ２）に示すように、立体表示モニタ１４２に表示する立体画像を変化させずに、図１８（Ｂ２）に示した立体画像を表示したままとしてもよい。これにより、利用者は、利用者自身が移動することなく、被検体Ｐの側面の立体画像を観察することができる。

［パターンマッチング］
また、上記第１の実施形態において、端末装置１４０は、基準位置を設定する旨の操作を受け付け、位置センサ１４５によって検出される位置情報に基づいて端末装置１４０の移動ベクトルを取得した。そして、ワークステーション１３０は、ボリュームデータＶＤ１０に基準位置を設定し、端末装置１４０の移動ベクトルに基づいて、端末装置１４０がかざしている位置に対応する被検体Ｐの視差画像群を生成した。しかし、端末装置１４０と被検体Ｐとの位置関係を取得する処理は、この例に限られない。例えば、第１の実施形態における端末装置１４０は、基準位置を設定する旨の操作を受け付けず、また、位置センサ１４５を有しなくてもよい。

具体的には、端末装置１４０は、被検体Ｐを撮影可能なカメラを有し、被検体Ｐにかざされた状態で所定の操作が行われた場合に、カメラに被検体Ｐを撮影させる。そして、端末装置１４０の取得部１４６２は、領域拡張（region growing）法や形状テンプレートを用いたパターンマッチング法などを用いて、スキャノ画像Ａ１０のうちカメラによって撮影された画像が示す位置を特定する。すなわち、端末装置１４０は、パターンマッチング法などを用いて、スキャノ画像Ａ１０と撮影画像との輪郭をマッチングさせることにより、端末装置１４０がかざされている被検体Ｐの位置を特定する。そして、端末装置１４０は、特定した被検体Ｐの位置をワークステーション１３０に送信することにより、かかる位置に対応する被検体Ｐの視差画像群をワークステーション１３０から取得する。これにより、端末装置１４０は、かざされている位置に対応する被検体Ｐの立体画像を立体表示モニタ１４２に表示することができる。なお、パターンマッチング法を用いて端末装置１４０がかざされている被検体Ｐの位置を特定する場合には、端末装置１４０は、上記の初期設定部１４６１を有しなくてもよい。

［２次元画像］
また、上記第１の実施形態における端末装置１４０は、被検体Ｐにかざされた場合に、かざされた位置に対応する部位（臓器等）の視差画像群を表示することで、かかる臓器等の立体画像を利用者に提供した。しかし、端末装置１４０は、視差画像群を表示せずに、２次元画像（例えば、ＣＴ画像やＭＰＲ画像等）を表示してもよい。すなわち、上記第１の実施形態における端末装置１４０は、ワークステーション１３０によってボリュームデータから生成された視差画像群を表示したが、ワークステーション１３０によってボリュームデータから生成される２次元画像を表示してもよい。かかる場合には、ワークステーション１３０は、端末装置１４０の移動ベクトルを受信した場合に、ボリュームデータから生成される２次元画像を生成し、生成した２次元画像を端末装置１４０に送信する。

このように、端末装置１４０は、かざされた位置に対応する被検体Ｐの２次元画像を表示する場合であっても、被検体Ｐとの距離に応じて立体表示モニタ１４２に表示する立体画像の表示形式を変更してもよい。例えば、端末装置１４０は、図１６に示した例と同様に、被検体Ｐとの距離に応じて２次元画像の縮尺を変化させてもよい。

また、例えば、端末装置１４０は、２次元画像を表示する場合には、被検体Ｐとの距離に応じて表示対象の２次元の断面画像を変化させてもよい。具体的には、端末装置１４０は、端末装置１４０の移動ベクトルをワークステーション１３０に送信する。ワークステーション１３０の制御部１３５は、端末装置１４０の移動ベクトルに基づいて、端末装置１４０と被検体Ｐとの距離が遠いほど、被検体Ｐ内部のうち端末装置１４０に近い部位の断面画像を生成し、端末装置１４０と被検体Ｐとの距離が近いほど、被検体Ｐ内部のうち端末装置１４０から離れている部位の断面画像を生成する。そして、ワークステーション１３０は、生成した断面画像を端末装置１４０に送信する。

これにより、端末装置１４０は、被検体Ｐとの距離に応じた２次元の断面画像を表示することができる。具体的には、端末装置１４０は、被検体Ｐから遠ざかる方向に移動された場合に、被検体Ｐ内部のうち端末装置１４０に近い部位の断面画像を表示し、被検体Ｐに近づける方向に移動された場合に、被検体Ｐ内部のうち端末装置１４０から遠い部位の断面画像を表示することができる。この点について、図１６に示した例を用いて説明する。例えば、端末装置１４０は、図１６（Ａ１）に示した状態である場合に、被検体Ｐの心臓の断面画像を表示するものとする。このとき、端末装置１４０は、図１６（Ｂ１）に示すように被検体Ｐから遠ざかる方向に移動された場合に、被検体Ｐ内部のうち、図１６（Ａ１）に示した状態において表示した心臓よりも端末装置１４０に近づく方向の部位（例えば、胸骨等）の断面画像を表示する。また、端末装置１４０は、被検体Ｐに近づける方向に移動された場合に、被検体Ｐ内部のうち、図１６（Ａ１）に示した状態において表示した心臓よりも端末装置１４０から離れる方向の部位（例えば、背骨等）の断面画像を表示する。

また、上記第１の実施形態においては、端末装置１４０がタブレット式ＰＣ等の持ち運び可能な端末であるものとして説明した。しかし、端末装置１４０の実施形態はこれに限られない。例えば、第１の実施形態における端末装置１４０は、端末装置１４０を上下左右に移動可能な可動式アーム等によって固定されてもよい。

（第２の実施形態）
上記第１の実施形態では、端末装置１４０と被検体Ｐとの位置関係に応じて、端末装置１４０の立体表示モニタ１４２に表示する立体画像の表示形式を変化させる例を示した。第２の実施形態では、端末装置と利用者（観察者）との位置関係に応じて、立体表示モニタ１４２に表示する立体画像の表示形式を変化させる例について説明する。

まず、第２の実施形態における画像処理システムを説明する前に、図１９を用いて、立体表示モニタによって表示される立体画像について説明する。図１９は、立体画像と観察位置との関係を説明するための図である。図１９に示した例において、立体表示モニタは、観察者によって立体視可能な立体画像を表示する。ここで、観察者にとって立体画像を立体的に視認しやすい観察位置は、所定の領域に決定される。一般的には、観察位置が立体表示モニタの正面や斜め４５°である場合には、観察者は立体画像を立体的に視認しやすいことが多い。例えば、図１９に示した例において、観察者は、領域Ｒ１１、Ｒ１２及びＲ１３から立体表示モニタを観察する場合には、立体画像を立体的に視認しやすいが、領域Ｒ２１及びＲ２２から観察する場合には、立体画像を立体的に視認しにくいことがある。この例の場合、観察者は、領域Ｒ２１から立体画像の右側面を立体的に視認することが困難になる。

そこで、第２の実施形態における端末装置では、観察者の観察位置に応じて、立体表示モニタの向きを変化させるとともに、立体画像を回転表示する。以下に、このような第２の実施形態における端末装置２４０について詳細に説明する。

まず、図２０を用いて、第２の実施形態における端末装置２４０の外観について説明する。図２０は、第２の実施形態における端末装置２４０の外観を示す図である。図２０に例示するように、端末装置２４０は、立体表示モニタ１４２とともに回転可能な回転部２２と、利用者（観察者）の位置を取得可能な位置センサ２４５とを有する。

次に、図２０に示した第２の実施形態における端末装置２４０の構成例について説明する。図２１は、第２の実施形態における端末装置２４０の構成例を説明するための図である。図２１に示した端末装置２４０は、図１に示した端末装置１４０に対応する。なお、以下では、既に示した構成部位と同様の機能を有する部位には同一符号を付すこととして、その詳細な説明を省略する。図２０に例示するように、第２の実施形態における端末装置２４０は、位置センサ２４５と、制御部２４６とを有する。

位置センサ２４５は、図２０に例示したように、立体表示モニタ１４２に設けられる。かかる位置センサ２４５は、立体表示モニタ１４２を観察している観察者の端末装置２４０に対する相対的の位置である観察位置を取得する。

制御部２４６は、ＣＰＵ、ＭＰＵやＧＰＵ等の電子回路、ＡＳＩＣやＦＰＧＡ等の集積回路であり、端末装置２４０の全体制御を行う。かかる制御部２４６は、取得部２４６１と、回転制御部２４６２と、表示制御部２４６３とを有する。

取得部２４６１は、位置センサ２４５によって取得された観察位置に基づいて、所定の基準方向と、観察者の立体表示モニタ１４２への視線方向（端末装置２４０と観察位置とを結ぶ直線）とのなす角度を取得する。なお、第２の実施形態においては、所定の基準方向が、立体表示モニタ１４２の表示面に垂直な方向（奥行き方向、ｚ方向）であるものとする。また、以下では、基準方向と視線方向とのなす角度を「観察角度」と表記する場合がある。

また、取得部２４６１は、位置センサ２４５によって取得された観察位置から立体表示モニタ１４２への視線方向に対応する視差画像群をワークステーション１３０から取得する。具体的には、取得部２４６１は、観察角度をワークステーション１３０に送信することで、視線方向に対応する視差画像群を取得する。この点については後述する。

回転制御部２４６２は、取得部２４６１によって取得された観察角度に基づいて、立体表示モニタ１４２の表示面が観察位置に向くように、回転部２２を回転させる。具体的には、回転制御部２４６２は、観察位置から立体表示モニタ１４２への視線方向と、立体表示モニタ１４２の表示面とが垂直関係（対向関係）になるように、回転部２２を回転させる。

表示制御部２４６３は、ワークステーション１３０から受信した視差画像群を立体表示モニタ１４２に表示する。また、第２の実施形態における表示制御部２４６３は、取得部２４６１によってワークステーション１３０から視差画像群が取得された場合に、かかる視差画像群を立体表示モニタ１４２に表示する。

ここで、図２２を用いて、第２の実施形態における取得部２４６１、回転制御部２４６２及び表示制御部２４６３による処理の一例について説明する。図２２は、第２の実施形態における端末装置２４０による処理の一例を説明するための図である。

図２２に示した例において、観察者Ｕは、立体表示モニタ１４２によって表示されている立体画像Ｉ１１を観察する。かかる場合に、端末装置２４０の位置センサ２４５は、端末装置２４０に対する観察者Ｕの位置を観察位置として取得する。図２２（Ａ１）に示した例では、観察者Ｕが立体表示モニタ１４２の正面に位置するので、このような場合には、端末装置２４０の回転制御部２４６２は処理を行わない。なお、ここでは、立体表示モニタ１４２は、図２２（Ａ２）に例示した視線方向Ｌ１、・・・、Ｌ５、・・・、Ｌ９によりレンダリング処理が行われることで生成された視差画像群を表示しているものとする。

続いて、図２２（Ｂ１）に示した例のように、観察者Ｕが立体表示モニタ１４２の左斜め前方に移動したものとする。すなわち、観察者Ｕは、立体画像Ｉ１１の左側面を立体的に視認することを望んでいると考えられる。

かかる場合には、取得部２４６１は、位置センサ２４５によって取得された観察者Ｕの観察位置に基づいて、基準方向と視線方向とのなす観察角度θ２１を取得する。そして、取得部２４６１は、観察位置及び観察角度θ２１をワークステーション１３０に送信する。観察位置及び観察角度θ２１を受け付けたワークステーション１３０の制御部１３５は、図２２（Ｂ２）に示すように、レンダリング処理時の視点位置を端末装置２４０から受信した観察位置とし、かかる視点位置からの視線方向Ｌ１等を観察角度θ２１だけ傾ける。制御部１３５は、このようなレンダリング条件によりレンダリング処理を行うようにレンダリング処理部１３６を制御する。そして、ワークステーション１３０は、レンダリング処理部１３６が生成した視差画像群を端末装置２４０に送信する。

そして、端末装置２４０の回転制御部２４６２は、図２２（Ｂ１）に示すように、取得部２４６１によって取得された観察角度θ２１に基づいて、立体表示モニタ１４２の表示面が観察者Ｕと正対するように、回転部２２を観察角度θ２１だけ回転させる。

また、端末装置２４０の表示制御部２４６３は、図２２（Ｂ１）に示すように、ワークステーション１３０から受信した視差画像群を立体表示モニタ１４２に表示することで、立体画像Ｉ１２を観察者Ｕに提供する。すなわち、立体表示モニタ１４２は、正面から観察された場合に、立体画像Ｉ１１の左側面に対応する立体画像Ｉ１２を表示する。図２２（Ｂ１）に示すように、観察者Ｕは、立体表示モニタ１４２を正面から観察しているので、立体画像Ｉ１２を立体的に視認することができ、さらに、自身が移動した方向から立体画像Ｉ１１を視認しているように感じることができる。

なお、上記図２２では、回転制御部２４６２が回転部２２を観察角度θ２１だけ回転させることにより、立体表示モニタ１４２と観察者とを対向させる例を示した。しかし、回転制御部２４６２は、回転部２２を観察角度θ２１だけ回転させなくてもよい。具体的には、図１９を用いて説明したように、立体表示モニタ１４２と観察者とを対向しない場合であっても、観察者にとって立体画像を立体的に視認しやすい領域が存在する。このため、回転制御部２４６２は、かかる領域（例えば、図１９に例示した領域Ｒ１１）に観察者が位置するように回転部２２を回転させればよい。

次に、図２３を用いて、第２の実施形態におけるワークステーション１３０及び端末装置２４０による処理の流れの一例を示す。図２３は、第２の実施形態における画像処理システムによる処理の流れの一例を示すシーケンス図である。

図２３に示すように、端末装置２４０の取得部２４６１は、位置センサ２４５によって検出される位置情報に基づいて、観察者が移動したか否かを判定する（ステップＳ３０１）。ここで、観察者の移動を検出しない場合には（ステップＳ３０１否定）、端末装置２４０は、待機する。

一方、観察者の移動を検出した場合に（ステップＳ２０１肯定）、取得部２４６１は、位置センサ２４５によって取得された観察者の観察位置に基づいて、観察角度を取得する（ステップＳ３０２）。続いて、端末装置２４０の回転制御部２４６２は、立体表示モニタ１４２の表示面が観察者と正対するように、回転部２２を観察角度θ２１だけ回転させる（ステップＳ３０３）。そして、取得部２４６１は、観察位置及び観察角度をワークステーション１３０に送信する（ステップＳ３０４）。

ワークステーション１３０の制御部１３５は、端末装置２４０から受信した観察位置及び観察角度に基づいて、レンダリング処理時の視線方向を決定する（ステップＳ３０５）。そして、制御部１３５は、ステップＳ３０４において決定した視線方向によりレンダリング処理を行うようにレンダリング処理部１３６を制御する。これにより、レンダリング処理部１３６は、視差画像群を生成する（ステップＳ３０６）。ワークステーション１３０は、生成した視差画像群を端末装置２４０に送信する（ステップＳ３０７）。

そして、端末装置２４０の表示制御部２４６３は、ワークステーション１３０から受信した視差画像群を立体表示モニタ１４２に表示する（ステップＳ３０８）。

上述してきたように、第２の実施形態によれば、観察者の観察位置に応じた立体画像を表示することができるので、利用者が所望する立体画像を表示することができる。

なお、第２の実施形態は、上記の実施形態に限られず、以下に示すいくつかの変形例を含む態様の実施形態であってもよい。以下に、第２の実施形態の変形例について説明する。

［手動回転］
なお、上記第２の実施形態において、端末装置２４０は、観察者等によって手動で回転移動されてもよい。かかる場合に、端末装置２４０は、自装置の回転量に応じて、表示対象の視差画像群を変更する。この点について、図２４を用いて具体的に説明する。図２４は、第２の実施形態の変形例を説明するための図である。

図２４に示した例において、端末装置２４０は、立体表示モニタ１４２と本体部とが回転可能な回転部２２によって連結された携帯電話等であるものとする。このような携帯電話等の場合には、観察者は、利用形態によって立体表示モニタ１４２を回転させることがあるものの、回転後の立体表示モニタ１４２を正面から観察することが多い。

ここで、図２４（Ａ）及び（Ｂ）に示すように、立体画像Ｉ１１を表示している端末装置２４０の立体表示モニタ１４２が９０度回転されたものとする。かかる場合に、端末装置２４０は、立体表示モニタ１４２の回転量「９０度」をワークステーション１３０に送信する。このとき、ワークステーション１３０の制御部１３５は、図２４（Ａ）において表示されている視差画像群が生成された際の視点位置を９０度回転移動させ、かかる視点位置からレンダリング処理を行うようにレンダリング処理部１３６を制御する。

端末装置２４０は、図２４（Ｂ）に示すように、このようにしてレンダリング処理部１３６によって生成された視差画像群を立体表示モニタ１４２に表示する。これにより、端末装置２４０は、立体画像Ｉ１１の左側面に対応する立体画像Ｉ１３を観察者Ｕに提供することができる。この結果、観察者Ｕは、立体表示モニタ１４２を正面から観察しているので、立体画像Ｉ１３を立体的に視認することができ、さらに、立体表示モニタ１４２の回転量に応じて回転された立体画像Ｉ１１を視認しているように感じることができる。

［ヘッドトラッキング］
また、上記第２の実施形態では、端末装置２４０が観察者の観察位置を取得する位置センサ２４５を有する例を示した。しかし、端末装置２４０は、観察者を撮影するカメラを有し、カメラによる撮影画像をヘッドトラッキング等の技術により解析することで、観察者の観察位置を取得してもよい。

（第３の実施形態）
さて、上述した実施形態は、他の実施形態に変形することもできる。そこで、第３の実施形態では、上述した実施形態の変形例を説明する。

［処理主体］
上記実施形態においては、端末装置１４０又は２４０が、自装置の移動や観察位置の移動に対応する視差画像群をワークステーション１３０から取得する例について説明した。しかし、端末装置１４０又は２４０は、ワークステーション１３０の制御部１３５やレンダリング処理部１３６等と同様の機能を有してもよい。かかる場合には、端末装置１４０又は２４０は、画像保管装置１２０からボリュームデータを取得し、上記の制御部１３５と同様の処理を行う。

また、上記実施形態において、ワークステーション１３０がボリュームデータから視差画像群を生成するのではなく、医用画像診断装置１１０が、レンダリング処理部１３６と同等の機能を有し、ボリュームデータから視差画像群を生成してもよい。かかる場合には、端末装置１４０又は２４０は、医用画像診断装置１１０から視差画像群を取得する。

［視差画像数］
また、上記実施形態においては、主に９つの視差画像である視差画像群に対して、図形画像を重畳させて表示する例について説明したが、実施形態はこれに限られるものではない。例えば、ワークステーション１３０は、２つの視差画像である視差画像群を生成してもよい。

［システム構成］
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、ワークステーション１３０の制御部１３５をワークステーション１３０の外部装置としてネットワーク経由で接続するようにしてもよい。

［プログラム］
また、上記実施形態における端末装置１４０又は２４０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。例えば、かかるプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ブルーレイ等に記録される。また、かかるプログラムは、インターネットなどのネットワークを介して配布することもできる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 画像処理システム
１１０ 医用画像診断装置
１２０ 画像保管装置
１３０ ワークステーション
１３５ 制御部
１４０ 端末装置
１４２ 立体表示モニタ
１４５ 位置センサ
１４６１ 初期設定部
１４６２ 取得部
１４６３ 表示制御部
２４６１ 取得部
２４６２ 回転制御部
２４６３ 表示制御部

Claims (9)

1. 被検体の３次元の医用画像データであるボリュームデータを生成する医用画像診断装置と、視差画像群を用いて立体視可能な立体画像を表示する表示部を含む端末装置と、を有する画像処理システムであって、
   前記医用画像診断装置によって生成されたボリュームデータを記憶する記憶部と、
   前記被検体に対する前記端末装置の位置と、前記端末装置と前記被検体との間の距離とを取得する取得部と、
   前記記憶部が記憶するボリュームデータに対して、前記端末装置に対向する被検体の医用画像の部位に対応する視差画像群を生成するようにレンダリング処理を行うレンダリング処理部と、
   前記レンダリング処理部によって生成される視差画像群を前記表示部に表示させる表示制御部とを備え、
   前記レンダリング処理部は、前記取得部によって取得された前記位置及び前記距離に基づいて、レンダリング処理時の視点位置と視線方向とを決定し、決定した視点位置と視線方向とを用いて前記ボリュームデータに対してレンダリング処理を行い、
   前記取得部は、所定の基準位置からの前記端末装置の位置変動を示す移動ベクトルを取得し、
   前記レンダリング処理部は、前記取得部によって取得された前記端末装置の移動ベクトルに基づいて、前記視点位置及び前記視線方向を決定し、決定した視点位置及び視線方向により前記ボリュームデータに対してレンダリング処理を行うことで、移動後の端末装置に対向する被検体の部位を示す視差画像群を生成し、
   前記表示制御部は、移動後の端末装置に対向する被検体の部位を示す視差画像群を前記表示部に表示させ、前記取得部によって、同一位置において前記端末装置が回転されたことを示す移動ベクトルが取得された場合に、前記端末装置が回転される前の視差画像群を前記表示部に表示させる、画像処理システム。
2. 被検体の３次元の医用画像データであるボリュームデータを生成する医用画像診断装置と、視差画像群を用いて立体視可能な立体画像を表示する表示部を含む端末装置と、を有する画像処理システムであって、
   前記医用画像診断装置によって生成されたボリュームデータを記憶する記憶部と、
   前記被検体に対する前記端末装置の位置と、前記端末装置と前記被検体との間の距離とを取得する取得部と、
   立体画像を表示する場合には、前記記憶部が記憶するボリュームデータに対して、前記端末装置に対向する被検体の医用画像の部位に対応する視差画像群を生成するようにレンダリング処理を行い、２次元画像を表示する場合には、前記ボリュームデータに対してレンダリング処理を行うことで被検体の断面画像を生成するレンダリング処理部と、
   立体画像を表示する場合には、前記レンダリング処理部によって生成される視差画像群を前記表示部に表示させ、２次元画像を表示する場合には、前記レンダリング処理部によって生成された断面画像を前記表示部に表示させる表示制御部とを備え、
   前記レンダリング処理部は、立体画像を表示する場合には、前記取得部によって取得された前記位置及び前記距離に基づいて、レンダリング処理時の視点位置と視線方向とを決定し、決定した視点位置と視線方向とを用いて前記ボリュームデータに対してレンダリング処理を行い、２次元画像を表示する場合には、前記取得部によって取得された前記被検体に対する端末装置の位置に基づいて、前記端末装置と前記被検体との距離が遠いほど、前記被検体内部のうち前記端末装置に近い部位の断面画像を生成し、前記端末装置と前記被検体との距離が近いほど、前記被検体内部のうち前記端末装置から離れている部位の断面画像を生成する、画像処理システム。
3. 前記被検体を撮影する撮影部をさらに備え、
   前記取得部は、前記撮影部によって撮影された撮影画像と、該撮影画像よりも広範囲に撮影された前記被検体の被検体画像とを比較することにより、前記撮影部によって撮影された被検体の位置を取得する、請求項１又は２に記載の画像処理システム。
4. 前記レンダリング処理部は、
   前記取得部によって取得された前記端末装置と前記被検体との距離に応じて、縮小又は拡大した視差画像群を生成する、請求項１〜３のいずれか一つに記載の画像処理システム。
5. 前記レンダリング処理部は、
   前記取得部によって取得された前記端末装置と前記被検体との距離に応じて、視差画像群を構成する視差画像間の視差角を決定し、決定した視差角により前記ボリュームデータに対してレンダリング処理を行うことで前記被検体の視差画像群を生成する、請求項１〜４のいずれか一つに記載の画像処理システム。
6. 被検体の３次元の医用画像データであるボリュームデータを生成する医用画像診断装置であって、前記ボリュームデータを記憶する記憶部に接続された医用画像診断装置によって生成された医用画像を表示する端末装置であって、
   視差画像群を用いて立体視可能な立体画像を表示する表示部と、
   被検体に対する前記端末装置の位置と、前記端末装置と前記被検体との間の距離とを取得する取得部と、
   前記記憶部が記憶するボリュームデータに対して、前記端末装置に対向する被検体の医用画像の部位に対応する視差画像群を生成するようにレンダリング処理を行うレンダリング処理部と、
   前記レンダリング処理部によって生成される視差画像群を表示させる表示制御部と、
   を備え、
   前記レンダリング処理部は、前記取得部によって取得された前記位置及び前記距離に基づいて、レンダリング処理時の視点位置と視線方向とを決定し、決定した視点位置と視線方向とを用いて前記ボリュームデータに対してレンダリング処理を行い、
   前記取得部は、所定の基準位置からの前記端末装置の位置変動を示す移動ベクトルを取得し、
   前記レンダリング処理部は、前記取得部によって取得された前記端末装置の移動ベクトルに基づいて、前記視点位置及び前記視線方向を決定し、決定した視点位置及び視線方向により前記ボリュームデータに対してレンダリング処理を行うことで、移動後の端末装置に対向する被検体の部位を示す視差画像群を生成し、
   前記表示制御部は、移動後の端末装置に対向する被検体の部位を示す視差画像群を前記表示部に表示させ、前記取得部によって、同一位置において前記端末装置が回転されたことを示す移動ベクトルが取得された場合に、前記端末装置が回転される前の視差画像群を前記表示部に表示させる、端末装置。
7. 被検体の３次元の医用画像データであるボリュームデータを生成する医用画像診断装置であって、前記ボリュームデータを記憶する記憶部に接続された医用画像診断装置によって生成された医用画像を表示する端末装置であって、
   視差画像群を用いて立体視可能な立体画像を表示する表示部と、
   被検体に対する前記端末装置の位置と、前記端末装置と前記被検体との間の距離とを取得する取得部と、
   立体画像を表示する場合には、前記記憶部が記憶するボリュームデータに対して、前記端末装置に対向する被検体の医用画像の部位に対応する視差画像群を生成するようにレンダリング処理を行い、２次元画像を表示する場合には、前記ボリュームデータに対してレンダリング処理を行うことで被検体の断面画像を生成するレンダリング処理部と、
   立体画像を表示する場合には、前記レンダリング処理部によって生成される視差画像群を前記表示部に表示させ、２次元画像を表示する場合には、前記レンダリング処理部によって生成された断面画像を前記表示部に表示させる表示制御部とを備え、
   前記レンダリング処理部は、立体画像を表示する場合には、前記取得部によって取得された前記位置及び前記距離に基づいて、レンダリング処理時の視点位置と視線方向とを決定し、決定した視点位置と視線方向とを用いて前記ボリュームデータに対してレンダリング処理を行い、２次元画像を表示する場合には、前記取得部によって取得された前記被検体に対する端末装置の位置に基づいて、前記端末装置と前記被検体との距離が遠いほど、前記被検体内部のうち前記端末装置に近い部位の断面画像を生成し、前記端末装置と前記被検体との距離が近いほど、前記被検体内部のうち前記端末装置から離れている部位の断面画像を生成する、端末装置。
8. 被検体の３次元の医用画像データであるボリュームデータを生成する医用画像診断装置と、視差画像群を用いて立体視可能な立体画像を表示する表示部を含む端末装置と、を有する画像処理システムによる画像処理方法であって、
   前記医用画像診断装置によって生成されたボリュームデータを記憶部に記憶し、
   前記被検体に対する前記端末装置の位置と、前記端末装置と前記被検体との間の距離とを取得し、
   前記記憶部が記憶するボリュームデータに対して、前記端末装置に対向する被検体の医用画像の部位に対応する視差画像群を生成ようにレンダリング処理を行い、
   生成される視差画像群を前記表示部に表示させる、
   ことを含み、
   取得した前記位置及び前記距離に基づいて、レンダリング処理時の視点位置と視線方向とを決定し、決定した視点位置と視線方向とを用いて前記ボリュームデータに対してレンダリング処理を行い、
   所定の基準位置からの前記端末装置の位置変動を示す移動ベクトルを取得し、
   取得した前記端末装置の移動ベクトルに基づいて、前記視点位置及び前記視線方向を決定し、決定した視点位置及び視線方向により前記ボリュームデータに対してレンダリング処理を行うことで、移動後の端末装置に対向する被検体の部位を示す視差画像群を生成し、
   移動後の端末装置に対向する被検体の部位を示す視差画像群を前記表示部に表示させ、同一位置において前記端末装置が回転されたことを示す移動ベクトルが取得された場合に、前記端末装置が回転される前の視差画像群を前記表示部に表示させる、画像処理方法。
9. 被検体の３次元の医用画像データであるボリュームデータを生成する医用画像診断装置と、視差画像群を用いて立体視可能な立体画像を表示する表示部を含む端末装置と、を有する画像処理システムによる画像処理方法であって、
   前記医用画像診断装置によって生成されたボリュームデータを記憶部に記憶し、
   前記被検体に対する前記端末装置の位置と、前記端末装置と前記被検体との間の距離とを取得し、
   立体画像を表示する場合には、前記記憶部が記憶するボリュームデータに対して、前記端末装置に対向する被検体の医用画像の部位に対応する視差画像群を生成するようにレンダリング処理を行い、２次元画像を表示する場合には、前記ボリュームデータに対してレンダリング処理を行うことで被検体の断面画像を生成し、
   立体画像を表示する場合には、生成した視差画像群を前記表示部に表示させ、２次元画像を表示する場合には、生成した断面画像を前記表示部に表示させ、
   立体画像を表示する場合には、取得した前記位置及び前記距離に基づいて、レンダリング処理時の視点位置と視線方向とを決定し、決定した視点位置と視線方向とを用いて前記ボリュームデータに対してレンダリング処理を行い、２次元画像を表示する場合には、取得した前記被検体に対する端末装置の位置に基づいて、前記端末装置と前記被検体との距離が遠いほど、前記被検体内部のうち前記端末装置に近い部位の断面画像を生成し、前記端末装置と前記被検体との距離が近いほど、前記被検体内部のうち前記端末装置から離れている部位の断面画像を生成する、画像処理方法。

Images