JP2016016072A - 画像処理装置及び立体画像表示装置 - Google Patents

Abstract

【課題】ＭＩＰ画像におけるオブジェクトの前後関係を容易に把握することができる画像処理装置及び立体画像表示装置を提供することである。
【解決手段】実施形態に係る画像処理装置は、探索部と、設定部と、生成部とを備える。探索部は、３次元の医用画像データであるボリュームデータを用いて、ＭＩＰ画像において指定された指定位置に対応する奥行き位置を設定する。設定部は、前記指定位置と前記奥行き位置とを含む３次元位置情報に基づいて、当該３次元位置情報によって示される３次元位置を含む所定の大きさの領域である表示領域を設定する。前記生成部は、前記ボリュームデータを複数の視点からレンダリングし、かつ前記表示領域に対して所定の表示方法を適用して複数の視差ＭＩＰ画像を生成する。
【選択図】図４

Description

本発明の実施形態は、画像処理装置及び立体画像表示装置に関する。

従来、医用画像診断装置の分野では、３次元の医用画像であるボリュームデータを生成可能な装置が実用化されている。生成されたボリュームデータは、所定の視点からレンダリングされて投影された画像が生成され、画像表示装置に表示される。

３次元的に構築されたボリュームデータを投影する方法の一つとして、最大値投影法（Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）がある。最大値投影法では、所定の視点方向に投影処理を行い、投影経路中のボリュームデータの最大値が表示される。ＭＩＰは、即時性と簡便性に優れているため、例えば、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置など、医療の臨床の場で広く使われる。

しかしながら、ＭＩＰ画像では、常に最大値が投影されるため、骨・血管・神経・腫瘍などといった、医療現場での観察対象となる物体（以下、オブジェクト）の前後関係を把握することが難しい場合もある。また、例えば、複数人数で３次元位置の情報を共有するためには、画像上にポインタを表示して指し示す、立体画像へのポインティングが重要となるが、立体画像に対し２次元ポインティングを行った場合、奥行き方向の位置が把握できず、ポインタが指し示す箇所を理解することは難しい。

特開平０７−３３４７０２号公報 特開２０１１−０５５９２２号公報

本発明が解決しようとする課題は、ＭＩＰ画像におけるオブジェクトの前後関係を容易に把握し、ユーザーが意図した位置にポインティングすることができる画像処理装置及び立体画像表示装置を提供することである。

実施形態に係る画像処理装置は、探索部と、設定部と、生成部とを備える。探索部は、３次元の医用画像データであるボリュームデータを用いて、ＭＩＰ画像において指定された指定位置に対応する奥行き位置を設定する。設定部は、指定位置と前記奥行き位置とを含む３次元位置情報に基づいて、当該３次元位置情報によって示される３次元位置を含む所定の大きさの領域である表示領域を設定する。生成部は、ボリュームデータを複数の視点からレンダリングし、かつ表示領域に対して所定の表示方法を適用して複数の視差ＭＩＰ画像を生成する。

実施形態の画像表示システムの構成例を示す図。 実施形態のボリュームデータの一例を説明するための図。 実施形態の立体画像表示装置の機能構成の一例を示す図。 立体画像表示装置の構成を示すブロック図。 実施形態の奥行き位置探索部の奥行きの探索方法の概念図（１）。 実施形態の奥行き位置探索部の奥行きの探索方法の概念図（２）。 実施形態の奥行き位置探索部の奥行きの探索方法の概念図（３）。 実施形態の奥行き位置探索部の奥行きの探索方法の概念図（４）。 実施形態の奥行き位置探索部の奥行きの探索方法の概念図（５）。 実施形態の表示設定部の表示領域の設定方法の概念図（１）。 実施形態の表示設定部の表示領域の設定方法の概念図（２）。 実施形態のボリュームデータをレンダリングする場合の概念図。 実施形態の処理手順を示すフローチャート図。 データ最大値のオブジェクトが手前側にある時のＭＩＰ画像の見え方の一例を示す図。 データ最大値のオブジェクトが奥側にある時のＭＩＰ画像の見え方の一例を示す図。 データ最大値のオブジェクトが分岐している時のＭＩＰ画像の見え方の一例を示す図。 図１４〜１６における表示領域への色づけの一例を示す図（１）。 図１４〜１６における表示領域への色づけの一例を示す図（２）。 図１４〜１６における表示領域への色づけの一例を示す図（３）。 図１５における複数オブジェクトへの色づけの一例を示す図。 図１５における設定されたオブジェクトへの影づけの一例を示す図。 図１５における３次元位置へのマーカー表示の一例を示す図。

以下、図面を参照して、実施形態に係る画像処理装置及び立体画像表示装置について詳細に説明する。

例えば、Ｘ線ＣＴ装置やＭＲＩ装置、超音波診断装置などの医用画像診断装置の分野では、３次元の医用画像（ボリュームデータ）を生成可能な装置が実用化されている。また、ボリュームデータを任意の視点からレンダリングする技術が実用化されており、近年、ボリュームデータを複数の視点からレンダリングして視差画像を生成し、立体画像表示装置に立体的に表示することが検討されている。

ボリュームデータを立体画像として表示することで、３次元構造を把握することが可能となる。この立体画像において、ユーザが意図する３次元位置を複数人数で同時に把握する場合に、指や指し棒などで位置を指し示しても、画像を見る位置によってずれが生じてしまい、情報共有が困難である。そのため、複数人数で３次元位置の情報を共有するためには、画像上にポインタを表示して指し示す、立体画像へのポインティングが重要となる。しかし、立体画像に対し２次元ポインティングを行った場合、奥行き方向の位置が把握できず、ポインタが指し示す箇所を理解することは難しい。そこで、立体画像に対し３次元ポインティングを適用する技術が考案されている。

また、医療の臨床の場では、Ｘ線ＣＴ装置やＭＲＩ装置で撮影して得られたボリュームデータを、即時性と簡便性に優れた最大値投影法（Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）を用いて表示される画像（以下、ＭＩＰ画像）が多用される。最大値投影法とは、３次元的に構築されたデータに対し、任意の視点方向に投影処理を行い、投影経路中の最大値を投影面に表示する方法である。しかし、２次元のＭＩＰ画像では常に最大値が投影されるため、骨・血管・神経・腫瘍などといった、医療現場での観察対象となる物体（以下、オブジェクト）の前後関係が損失することから、ポインティングには適していない。そこで、血管を抽出し、複数の血管が重なっている箇所では、最も手前に位置する血管の最大値を表示することで前後関係を把握する技術が考案されている。しかし、血管抽出において細かい血管が抽出されないおそれや、血管以外のオブジェクトについて考慮されておらず、他のオブジェクトにポインティングできないなどの問題がある。そのため、従来のＭＩＰ画像表示を利用しながら、オブジェクトの前後関係を把握する必要がある。

ただし、ＭＩＰ画像を立体画像として表示した場合（以下、視差ＭＩＰ画像）には、視差による奥行き把握が可能となり、オブジェクト間の視差量の大きい箇所では前後関係を知覚できるようになる。

しかしながら、ＭＩＰ画像では、複数オブジェクトが重なり合い、オブジェクト間の視差量が小さい箇所では、データの最大値が最も手前側にあるように見え、前後関係の把握が困難である。また、体内では組織構造が複雑に入り組んでおり、オブジェクトの位置把握が難しい。そのため、ユーザが意図したとおりにポインティングできない可能性がある。また、ＭＩＰ画像の表示方法を変更した場合には、細かいオブジェクトなどが除去されてしまうおそれがある。本実施形態に係る立体画像表示装置では、視差ＭＩＰ画像において、ＭＩＰ画像の表示方法は変えずに、知覚しにくいオブジェクトの前後関係を容易に把握し、ユーザが意図した位置にポインティングすることが可能になる。

図１は、本実施形態の画像表示システム１の構成例を示すブロック図である。図１に示すように、画像表示システム１は、医用画像診断装置１０と、画像保管装置２０と、立体画像表示装置３０とを備える。図１に例示する各装置は、通信網２を介して、直接的、又は間接的に通信可能な状態となっており、各装置は、医用画像等を相互に送受信することが可能である。通信網２の種類は任意であり、例えば各装置は、病院内に設置されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、相互に通信可能な形態であってもよい。また、例えば各装置は、インターネット等のネットワーク（クラウド）を介して、相互に通信可能な形態であってもよい。

画像表示システム１は、医用画像診断装置１０により生成された３次元の医用画像データであるボリュームデータから立体画像を生成する。そして、生成した立体画像を表示部に表示することで、病院内に勤務する医師や検査技師に立体視可能な医用画像を提供する。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。以下、各装置を順に説明する。

医用画像診断装置１０は、３次元の医用画像データ（ボリュームデータ）を生成可能な装置である。医用画像診断装置１０としては、例えば、Ｘ線診断装置、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、超音波診断装置、ＳＰＥＣＴ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、又はこれらの装置群等が挙げられる。

医用画像診断装置１０は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置１０は、被検体を撮影することにより投影データやＭＲ信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数（例えば３００〜５００枚）のスライス画像（断面画像）を再構成することで、ボリュームデータを生成する。つまり、図２に示すように、被検体の体軸方向に沿って撮影された複数のスライス画像が、ボリュームデータである。以下では、被検体の体軸方向に対応する方向を、「ボリュームデータの奥行き方向」と呼ぶ場合がある。図２の例では、被検体の「脳」のボリュームデータが生成されている。なお、医用画像診断装置１０により撮影された被検体の投影データやＭＲ信号等自体をボリュームデータとしてもよい。また、医用画像診断装置１０により生成されたボリュームデータの中には、オブジェクトの画像が含まれる。

画像保管装置２０は、医用画像を保管するデータベースである。具体的には、画像保管装置２０は、医用画像診断装置１０から送信されたボリュームデータおよび位置情報を格納し、これを保管する。

立体画像表示装置３０は、互いに視差を有する複数の視差画像を表示することにより、視聴者に立体画像を観察させることが可能な装置である。立体画像表示装置３０は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用したものであってよい。立体画像表示装置３０の例としては、例えば視聴者が裸眼で立体画像を観察可能なＴＶ、ＰＣなどが挙げられる。本実施形態の立体画像表示装置３０は、画像保管装置２０から取得したボリュームデータに対してＭＩＰ方式でのレンダリング処理を行い、視差ＭＩＰ画像群を生成して表示する。視差ＭＩＰ画像群とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてレンダリング処理を行うことで生成されるＭＩＰ画像群であり、視点位置が異なる複数の視差ＭＩＰ画像から構成される。

立体画像表示装置３０のハードウェア構成の一例は、例えば図１に表されている。実施形態に係る立体画像表示装置３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１等の制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３４や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３５等の記憶装置と、入力装置３２と、表示装置３３と、記憶装置３６と、各部を接続するバスとを備えている。

図３は、立体画像表示装置３０の構成例を示す図である。図３に示すように、立体画像表示装置３０は、画像処理部４０と表示部５０とを備える。画像処理部４０は、画像保管装置２０から取得したボリュームデータに対して画像処理を行う。この詳細な内容については後述する。表示部５０は、画像処理部４０によって生成された立体画像を表示する。

例えば、画像処理部４０は、図１に示したＣＰＵ３１、ＲＯＭ３４、ＲＡＭ３５、記憶装置３６によって実現される。また、例えば、表示部５０は、図１に示した表示装置３３によって実現される。なお、例えば、画像処理部４０と表示部５０とが、通信網（ネットワーク）を介して接続される形態であってもよい。

次に、画像処理部４０の詳細な内容を説明する。図４は、画像処理部４０の構成例を示すブロック図である。図４に示すように、画像処理部４０は、取得部４１と、入力部４２と、探索部４３と、設定部４４と、生成部４５と、出力部４６とを備える。

例えば、取得部４１、入力部４２、探索部４３、設定部４４、生成部４５、及び出力部４６は、図１に示したＲＯＭ３４等に予め記憶されたプログラムをＣＰＵ３１が読み出して実行することによって実現される。このプログラムは、取得部４１、入力部４２、探索部４３、設定部４４、生成部４５、及び出力部４６それぞれによって行われる処理の手順を規定する。また、このプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されて、ＣＰＵ３１によって読み出されてもよい。

取得部４１は、画像保管装置２０にアクセスして、医用画像診断装置１０によって生成されたボリュームデータを取得する。ボリュームデータの中には、骨・血管・神経・腫瘍などの各臓器の位置を特定するための位置情報が含まれていてもよい。位置情報の形式は任意であり、例えば、臓器の種類を識別する識別情報と、臓器を構成するボクセル群とを対応付けて管理する形式でもよいし、ボリュームデータに含まれる各ボクセルに対して、当該ボクセルが属する臓器の種類を識別する識別情報を付加する形式でもよい。また、ボリュームデータの中には、各臓器をレンダリングする際の透過度に関する情報が含まれていてもよい。

入力部４２は、ＭＩＰ画像で指定した２次元位置（ｘ、ｙ）を取得し、２次元位置情報を出力する。２次元位置（指定位置）は、あらかじめ設定された位置でもよいし、マウスなどの入力デバイスを使用してユーザがリアルタイムに指定した位置でもよい。

探索部４３は、３次元の医用画像データであるボリュームデータを用いて、ＭＩＰ画像において指定された２次元位置に対応する奥行き位置を設定する。すなわち、探索部４３は、表示された視差ＭＩＰ画像の２次元位置（ｘ、ｙ）に対して奥行きとなる方向にボリュームデータを探索し、適切な奥行き位置ｚを設定し、２次元位置情報と奥行き位置から成る３次元位置情報（ｘ、ｙ、ｚ）を出力する。

ここで、奥行き位置設定方法としては、探索部４３は、所定の視点から、指定位置に対して奥行きとなる方向に、ボリュームデータに含まれるデータのデータ値を探索し、探索したデータ値に基づいて奥行き位置を設定する。具体的な奥行き位置の設定方法として、例えば、下記の第１〜第５の奥行き位置設定手法のいずれかまたはそれらの組み合わせを用いる。また、探索部４３は、第１〜第５の奥行位置設定手法を選択的に切り替えてもよい。例えば、探索部４３は、ユーザからの要求に応じて、第１〜第５の奥行位置設定手法を切り替える。各手法の詳細については、図５〜９にて行う。図５〜９では、白丸で示すオブジェクトのデータ値が大きく、灰色の横棒はデータ値が小さいオブジェクトとし、ボリュームデータＡでは視点に近い方に、ボリュームデータＢでは視点から遠い方にデータ値が大きいオブジェクトが存在する場合の一例となっている。

（第１の奥行き位置設定手法：最前面方式）
第１の奥行き位置設定手法として、探索部４３は、探索したデータ値に基づいて、所定の視点に最も近いオブジェクトの位置を検出し、検出したデータ点に基づいて、奥行き位置を設定する。すなわち、探索部４３は、ボリュームデータにおいて、視差量０の視点から探索方向に探索を行った際に、探索する直線上の位置の中で、最も視点に近い位置にあるオブジェクトの奥行き位置を設定し、３次元位置情報を出力する。例えば、探索部４３は、データ値を探索するごとに当該データ値と所定の閾値とを比較し、最初に当該閾値を超えたデータ値を有するデータの位置を、所定の視点に最も近いオブジェクトの位置として検出する。

第１の奥行位置設定方法の詳細を図５に示す。図５（ａ）では、視点から奥行き方向に探索した場合、最も視点に近い位置にある白丸のオブジェクトの奥行き位置が設定される。図５（ｂ）では、最も視点に近い位置にある横棒のオブジェクトの奥行き位置が設定される。

（第２の奥行き位置設定手法：全探索方式）
第１の奥行位置設定手法では、探索部４３は、最前面を奥行き位置として設定した。しかしながら、ユーザが最前面以外を指し示したい場合、その他の探索方法が必要となる。第２の奥行き位置設定手法として、探索部４３は、探索したデータ値に基づいて、奥行となる方向に沿ったデータ値の分布を求め、求めた分布から得られる統計値を閾値として用いる。そのうえで、探索部４３は、データ値を探索するごとに当該データ値と所定の閾値とを比較し、最初に当該閾値を超えたデータ値を有するデータの位置を、奥行き位置として設定する。

すなわち、ボリュームデータにおいて、視差量０の視点から探索方向（表示面と垂直方向）に探索を行った際に、探索方向に対し全て探索してある（データ点の値に関する統計）分布を求め、あらかじめ設定された閾値を超える最も手前の奥行き位置を設定し、３次元位置情報を出力する。求める統計分布としては、ボリュームデータ値の確率分布または累積分布などが含まれる。また閾値は、最頻値や、平均値、平均値からのずれ値、分散としてもよい。

第２の奥行き位置設定手法の詳細を図６に示す。図６（ａ）、（ｂ）に、探索経路にあるデータ点の値に対する（統計）確率分布を（ｃ）に、累積分布（データ点の値を、探索方向に関して積分した値）を（ｄ）に示す。図６（ｃ）は、ボリュームデータ値に対する出現確率を示した確率分布である。閾値を最頻値とした場合、探索方向において最頻値となるのは、横棒のオブジェクトとなるため、図６（ａ）、（ｂ）ともに横棒のオブジェクトの奥行き位置が設定される。図６（ｄ）は、ボリュームデータ値に対する出現確率を探索方向に足し合わせていった累積値を示した分布である。あらかじめ設定された閾値を超えるボリュームデータ値のオブジェクトの奥行き位置が設定される。

（第３の奥行き位置設定手法：最大値方式）
第３の奥行き位置設定手法として、探索部４３は、探索したデータ値に基づいて、データ値が最も大きいデータを含むオブジェクトの位置を検出し、検出した位置を奥行き位置として設定する。

すなわち、ボリュームデータにおいて、視差量０の視点から探索方向に探索を行った際に、探索方向でデータ値最大となるオブジェクトの奥行き位置を設定し、３次元位置情報を出力する。これは、ＭＩＰ画像の表示方法と同様の方式となる。データ値最大となるオブジェクトが複数存在する場合には、最も手前側のオブジェクトの奥行き位置とする。

第３の奥行き位置設定手法の詳細を図７に示す。図７（ａ）、（ｂ）では、奥行き方向を探索した場合、データ値最大となるのは白丸のオブジェクトとなり、いずれの場合も白丸のオブジェクトの奥行き位置が設定される。

（第４の奥行き位置設定手法：奥行き位置指定）
第４の奥行き位置設定手法として、探索部４３は、探索したデータ値に基づいて、予め設定された位置である設定値の最も近くに存在するオブジェクトの位置を検出し、検出した位置を奥行き位置として設定する。

すなわち、ボリュームデータにおいて、視差量０の視点から探索方向に探索を行った際に、あらかじめ設定された奥行き位置の最近隣のオブジェクトの奥行き位置を設定し、３次元位置情報を出力する。設定されたオブジェクトに探索方向に厚みがある場合には、視点から探索して、視点に近い上記オブジェクトの奥行き位置を設定する。最近隣のオブジェクトが複数存在する場合には、最も視点に近いオブジェクトの奥行き位置とする。

第４の奥行き位置設定手法の詳細を図８に示す。ここでは、横棒の奥側にある点線位置を設定された奥行き位置とする。図８（ａ）では、設定された奥行き位置に近いオブジェクトである横棒が設定される。図８（ｂ）では、設定された奥行き位置に近いオブジェクトである白丸が設定される。

（第５の奥行き位置設定手法：指定オブジェクト）
第５の奥行位置設定手法として、探索部４３は、探索したデータ値に基づいて、予め指定されたオブジェクトである指定オブジェクトの位置を検出し、検出した位置を奥行き位置として設定する。

すなわち、ボリュームデータにおいて、視差量０の視点から探索方向に探索を行った際に、あらかじめオブジェクトを指定し、上記指定オブジェクトの視点に近い奥行き位置を設定し、３次元位置情報を出力する。オブジェクトの識別は、ボリュームデータに含まれているオブジェクト情報や、データ値によって判別してもよい。指定オブジェクトが探索方向に複数存在する場合には、最も視点に近いオブジェクトの奥行き位置とする。

第５の奥行位置設定手法の詳細を図９に示す。指定されたオブジェクトが白丸のオブジェクトであるため、図９（ａ）、（ｂ）共に、白丸のオブジェクトの奥行き位置が設定される。指定オブジェクトの典型的な例として、血管や腫瘍などの例が考えられる。

ここで、画像処理部４０は、入力部４２を介して、ＭＩＰ画像に含まれる複数のオブジェクトの中から少なくとも１つのオブジェクトを選択する操作を受け付けてもよい。この場合、探索部４３は、オブジェクトごとに、指定位置に対応する奥行き位置を設定し、設定部は、オブジェクトごとに設定された奥行き位置のうち操作によって選択されたオブジェクトが存在する奥行き位置と、指定位置を含む３次元位置情報に基づいて、表示領域を設定する。例えば、上記手法では１つの奥行き位置を選択しているが、複数の奥行き位置を探索して優先順位をつけ、キーボードやマウスなどのデバイスによる入力部４２からの制御信号によって、優先順位の順に選択的に切り替えてもよい。優先順位は奥行き位置、透過度、オブジェクトのいずれかによって設定される。

設定部４４は、指定位置と奥行き位置領域とを含む３次元位置情報に基づいて、３次元位置情報によって示される３次元位置を含む所定の大きさの領域である表示領域を設定する。例えば、設定部４４では、探索部４３で設定された３次元位置情報（ｘ、ｙ、ｚ）に対し、あらかじめ設定された奥行き範囲内にあるオブジェクトの領域を表示領域として設定する。表示領域は３次元で示されるものとする。設定部の表示領域設定方法の一つの例としては、例えば、ボリュームデータに基づいて、３次元位置に位置するオブジェクトの領域を表示領域として設定する。

また、もう一つの例としては、例えば、ボリュームデータに基づいて、３次元位置に位置するオブジェクトの太さを包括する領域を表示領域として設定する。より具体的には、一つの例では、奥行きの範囲は、固定値、または３次元位置（ｘ、ｙ、ｚ）上にあるオブジェクトの奥行き方向の長さで設定される。更に２次元ｘｙ面の領域の範囲は、固定値や、前記奥行きの範囲内で３次元位置（ｘ、ｙ、ｚ）上にあるオブジェクトと同じオブジェクト領域、探索部４３で設定したまたは非設定のオブジェクトの太さを包括する領域としてもよい。前記領域または奥行きの範囲の設定方法は、３次元位置やオブジェクトによって可変としてもよい。また、領域の形状は直方体、円柱、球、楕円体などを含むものとし、領域に応じて形状や大きさ、向きなどを変えてもよい。

図１０及び図１１は、上記表示領域の設定について示した図である。例えば、図１０（ａ）に示すように、設定部４４は、設定された固定値αを基に、ｚ−αからｚ＋αの範囲を奥行き範囲と設定する。また、例えば、ｚからｚ＋αの範囲を表示領域の奥行き範囲と設定してもよい。また、例えば、図１０（ｂ）に示すように、設定部４４は、奥行きと同様に固定値に合わせてｘ方向、ｙ方向それぞれの表示領域の範囲を設定する。また、例えば、図１０（ｃ）に示すように、設定部４４は、図１０（ａ）（ｂ）で設定した表示領域内のオブジェクトである図中の斜線部を表示領域として設定する。

また、例えば、図１１（ａ）に示すように、設定部４４は、３次元位置にあるオブジェクトの奥行きを表示領域の奥行き範囲と設定する。また、図１１（ｂ）に示すように、設定部４４は、高さ範囲については奥行きと同様に、３次元位置にあるオブジェクトの高さを表示領域の高さ範囲とし、幅の範囲については、３次元位置にない非設定の白い縦長のオブジェクトの太さを包括する幅を表示領域の幅範囲として設定する。このとき、３次元位置にない非設定のオブジェクトが複数存在する場合には、すべてを包括する幅を表示領域の幅範囲として設定してもよい。また、図１１（ｃ）に示すように、設定部４４は、図１１（ａ）（ｂ）で設定した表示領域内のオブジェクトである、図中の斜線部を表示領域として設定する。

ここで、図１１（ａ）において、オブジェクトの太さを検出する方法の一例として、
オブジェクトの中の所定の位置から、所定の方向に向けてデータを探索し、データ値が大きく減少する点を検出したとき、その点を表示領域の境界として指定する方法がある。具体的には、当該探索中に、データ点の値が所定の閾値を下回ったときその場所を表示領域の境界として定めてもよい。

加えて、設定部４４では表示領域の表示方法を設定する。表示方法は、設定した表示領域の色づけ表示や影の付加、点滅表示、３次元位置でのマーカー表示、光線上に存在する複数オブジェクトへの異なる色での色づけ表示などとし、いずれかまたは組み合わせを用いる。例えば、設定部４４は、ユーザからの要求に応じて、表示領域を切り替える。色づけ時の色は、ＭＩＰ画像上でも判別可能とするため、例えばモノクロ以外の色としてもよい。詳細は後に図１４〜２０にて説明を行う。

生成部４５は、ボリュームデータを複数の視点からレンダリングし、かつ表示領域に対して所定の表示方法を適用して複数の視差ＭＩＰ画像を生成する。生成部４５は、取得部４１によって取得されたボリュームデータを複数の視点からＭＩＰ方式でレンダリングすることにより、ボリュームデータの視差ＭＩＰ画像（視差ＭＩＰ画像群）を生成する。詳細は図１２にて説明を行う。視差ＭＩＰ画像の生成時には、３次元位置情報及び表示情報を基に、設定部４４で設定された領域に対し前記表示方法を加える。

ここで、生成部４５が、設定部４４で設定された領域に対して表示方法を加える一つの例として、例えば、生成部４５は、表示領域に含まれるオブジェクトを色づけ表示する表示方法を適用して視差ＭＩＰ画像を生成する。もう一つの例として、例えば、生成部４５は、所定の形状で表されるマーカーを３次元位置又は３次元位置の近傍に表示する表示方法を適用して視差ＭＩＰ画像を生成する。もう一つの例として、例えば、生成部４５は、表示領域に複数のオブジェクトが含まれる場合に、各オブジェクトに異なる色を割り当てて色づけ表示する方法を適用して視差ＭＩＰ画像を生成する。

出力部４６は、生成部４５にて生成された視差ＭＩＰ画像を表示部５０に出力する（表示させる）。例えば出力部４６は、ユーザの入力に応じて、生成部４５によって生成された各視差ＭＩＰ画像のうちの何れかを選択的に表示部５０に出力する形態であってもよい。さらに、例えば出力部４６は、生成部４５によって生成された各視差ＭＩＰ画像を別々のモニタ（表示部）に出力する形態であってもよい。

図１２は、ボリュームデータを複数の視点からレンダリングする場合の概念図を示す。図１２（ａ）は複数の視点を直線上に等間隔に並べた例である。図１２（ｂ）は複数の視点を回転して並べた例である。ＭＩＰ画像のレンダリングを行う際の投影方法は、最大値投影法を用いる。

図１３は、画像処理部４０の処理手順を示したフローチャート図である。ステップＳ１０１では、取得部４１が、画像保管装置２０にアクセスして、医用画像診断装置１０によって生成されたボリュームデータを取得する。このボリュームデータは、奥行き位置の探索や、表示領域の設定、視差ＭＩＰ画像の生成などに使用される。

ステップＳ１０２では、探索部４３が、入力部４２から指定位置（２次元位置）情報を取得する。ステップＳ１０３では、探索部４３が、表示された視差ＭＩＰ画像の２次元位置（ｘ、ｙ）に対して奥行きとなる方向にあるボリュームデータを探索し、適切な奥行き位置ｚを設定し、２次元位置情報と奥行き位置から成る３次元位置情報（ｘ、ｙ、ｚ）を出力する。

ステップＳ１０４では、設定部４４が、３次元位置情報を基に表示領域の設定を行うとともに、色づけやマーカーの配置などの表示方法についても設定を行う。ステップＳ１０５では、生成部４５が、ボリュームデータの他に、表示情報に基づいて視差のついたＭＩＰ画像の生成を行う。ステップＳ１０６では、出力部４６が、前記視差ＭＩＰ画像を表示部５０に出力する。

以上が、実施形態の処理フローとなる。しかし、処理フローはこれに限られない。

次に、図１４〜１６を用いて、２つのオブジェクトの位置関係による視差ＭＩＰ画像の違いを示す。ここでは、表示設定部にて領域が設定されていない場合の視差ＭＩＰ画像を示す。図１４は、データ値最大のオブジェクトが手前側にある時の視差ＭＩＰ画像の見え方の一例を示す。図中のＶＲはボリュームレンダリング処理で生成された画像を、ＭＩＰはＭＩＰ方式でのレンダリング処理により生成された視差ＭＩＰ画像を示す。図１４のようなボリュームデータの時、ＭＩＰ画像はＶＲ画像とオブジェクトの前後関係が同様の画像が生成される。以下、このボリュームデータをボリュームデータＡとする。

図１５は、データ値最大のオブジェクトが奥側にある時の視差ＭＩＰ画像の見え方の一例を示す。この時、図中の点線で囲われた領域において、視差ＭＩＰ画像はＶＲ画像と異なるオブジェクトの前後関係となる画像が生成され、奥側にあるデータ値最大のオブジェクトが最も手前に存在するような視差ＭＩＰ画像となる。以下、このボリュームデータをボリュームデータＢとする。

図１６は、オブジェクトが異なるデータ値で分岐している場合の視差ＭＩＰ画像の見え方の一例を示す。この時は、視差ＭＩＰ画像はＶＲ画像とオブジェクトの前後関係が同様の画像が生成される。以下、このボリュームデータをボリュームデータＣとする。

上記図１４〜１６では、２視差の視差ＭＩＰ画像を示したが、視差数はこれに限らず、９視差や１６視差、４８視差としてもよい。

図１７は、上記ボリュームデータＡに対し、設定部４４で設定した領域のみを色づけする場合の一例を示す。３次元位置情報はいずれも２つのオブジェクトが重なる最も手前のオブジェクト位置とした。図１７は、ボリュームデータＡに対し、表示領域に色づけを行った場合を示す。データ値最大のオブジェクトが最も手前となるため、このオブジェクトに対し、図中の縦長の楕円形状の表示領域内に色づけされた視差ＭＩＰ画像が生成される。横長のオブジェクトに対しては色づけが行われないため、２つのオブジェクトは別のオブジェクトであることが分かる。加えて、最も手前のオブジェクトに色づけが行われることから、縦長オブジェクトが最も手前であり、両者のオブジェクトの前後関係が理解できる。色づけは、対象オブジェクトの形状に合わせて回転や拡大・縮小を行ってもよい。更に、２つ以上のオブジェクトが重畳する領域では、表示領域でないオブジェクトの太さを超えるように色づけの形状やサイズを変更してもよい。

図１８は、ボリュームデータＢに対し、表示領域に色づけを行った場合を示す。データ値が最大でないオブジェクトが最も手前となるため、このオブジェクトに対し、図中の横長の楕円形状の表示領域内に色づけされた視差ＭＩＰ画像が生成される。図のように色づけを行うことで、損失した前後関係が補間され、データ値最大のオブジェクトよりも手前にオブジェクトがあることが理解でき、ＶＲ画像に類似した視差ＭＩＰ画像を得ることができる。

図１９は、ボリュームデータＣに対し、表示領域に色づけを行った場合を示す。１つのオブジェクトの分岐位置が３次元位置となるため、表示領域は分岐を含むオブジェクト全てとなる。このオブジェクトに対し、図中のように表示領域内に色づけされた視差ＭＩＰ画像が生成される。縦長オブジェクトと横長オブジェクトの両者が同時に色づけされることから、同じ奥行き位置にあるオブジェクトであることが理解できる。

このように色づけの向きやサイズを変更することで、オブジェクトの前後関係を把握することが可能となる。更に、オブジェクトをなぞるように３次元位置を動かすことで、色づけの向きやサイズなどの変更の有無を確認でき、オブジェクトの前後関係をより理解しやすくなる。また、オブジェクトの前後関係を理解するのを助けるため、必要に応じてボリュームデータを回転させてもよい。

図２０は、上記ボリュームデータＢに対し、設定部で設定した領域と、表示領域内に位置する複数オブジェクトへの色づけを行う場合の一例を示す。図中では、最も手前にあるデータ値小のオブジェクトに対し横長の楕円形状の色づけを、データ値大のオブジェクトに対し斜線部のような縦長の楕円形状の色づけを行う。ただし色づけが重なった場合には、最も手前に位置するオブジェクトへの色づけを優先して表示する。このように、複数オブジェクトに対し異なる色で色づけを行うことで、重なっているオブジェクトの数を把握することが可能になり、更に斜線部に暗い色づけを行うことで、影の付加するような効果が得られ、前後関係の位置把握が容易に行えるようになる。

図２１は、上記ボリュームデータＢに対し、オブジェクトの影づけについて示した図である。この場合、横長のオブジェクトの影を縦長のオブジェクトに付加することとなり、重なっている領域では最も手前にある横長のオブジェクト部分が色づけされないような表示となる。オブジェクトの影をつけることで、前後関係の位置把握が容易に行えるようになる。

図２２は、表示領域への色づけに加えて、３次元位置情報で示される３次元位置にマーカー表示を行った際の一例を示す。図中の三角形で表示されているのがマーカーを示している。マーカーは指し示す場所が容易に理解できるように、３次元ポインタであってもよい。後方に位置するオブジェクト上の位置を示す場合には、前方のオブジェクトによってマーカーが見えなくなるような表示をすることや、マーカー上に前方オブジェクトの影を落として表現する、マーカーの色を暗くするなどの表示を行う。生成部において視差ＭＩＰ画像を生成する際には、マーカー部分についても奥行き位置に見合った視差を付けて生成する。マーカーの形状としては、円錐、三角錐、四角錐、球、直方体、針やまち針形状、３次元の十字形状などとしてもよい。

上述したように、本実施形態によれば、ＭＩＰ画像において、観察対象となる物体の前後関係を容易に把握することが可能となる。例えば、観察対象物となる物体に色づけしたり所定のマーカーの表示をすることで、前後関係を視覚的に容易に把握することが可能となる。また、例えば、複数のオブジェクトが存在する場合に、対象オブジェクトの選択を行うためのＧＵＩを備えることで、ユーザの利便性を高めることができる。また、様々な奥行き設定方法や表示領域設定方法を用いることで、３次元ボリュームデータに対して、適切に３次元ポインティングを行うことができる。

なお、上記実施形態では、出力対象の画像が立体表示用の視差ＭＩＰ画像である例について説明してきたが、実施形態は、これに限られない。例えば、出力対象の画像が、２次元のＭＩＰ画像であってもよい。

これまで、ＭＩＰ画像を対象にして実施形態を説明してきたが、実施形態は、ＭＩＰ画像に限られず、その他の種類の画像を対象にしてもよい。例えば、ボリュームレンダリング（ＶＲ：Ｖｏｌｕｍｅ ｒｅｎｄｅｒｉｎｇ）によって生成された画像を対象としてもよい。具体的には、実施形態に係る画像処理装置は、探索部４３と、設定部４４と、生成部４５とを備え、探索部４３は、３次元の医用画像データであるボリュームデータを用いて、ボリュームレンダリングを行った画像において指定された２次元位置に対応する奥行き位置を設定し、設定部４４は、２次元位置と奥行き位置とからなる３次元位置を示す３次元位置情報に基づいて、３次元位置を含む所定の大きさの領域である表示領域を設定し、生成部は、ボリュームデータをレンダリングしたうえで、表示領域に対して所定の表示方法を適用してボリュームレンダリング画像を生成してもよい。例えば、予めオブジェクトに対して情報がタグ付けられているような、ボリュームレンダリングのケースにおいて、ユーザが希望する場所をハイライトして表示させるような使い方が考えられる。

また、上述した実施形態では、立体画像表示装置３０が、画像表示のための処理を実行し、画像保管装置２０が、表示される画像のデータを保管する場合について説明したが、実施形態は、これらに限られない。例えば、画像保管装置２０が、設定部４４の機能など、画像処理部４０の機能を一定程度担当してもよい。

例えば、画像保管装置２０が、探索部４３の機能を備えてもよい。すなわち、２次元位置情報（ｘ、ｙ）が入力部４２を通じて画像処理部４０に受け付けられると、画像処理部４０は、画像保管装置２０に、２次元位置（ｘ、ｙ）を送信するとともに、画像保管装置２０からボリュームデータを取得する。画像処理部４０から２次元位置情報（ｘ、ｙ）の値を受け取った、画像保管装置２０は、画像処理部４０にボリュームデータを送信するとともに、２次元位置情報（ｘ、ｙ）に対して、奥行き位置を設定し、画像処理部４０に送信する。

また、同様に、画像保管装置２０が、探索部４３の機能及び設定部４４の機能を備えてもよい。すなわち、２次元位置情報（ｘ、ｙ）が入力部４２を通じて画像処理部４０に受け付けられると、画像処理部４０は、画像保管装置２０に、２次元位置（ｘ、ｙ）を送信するとともに、画像保管装置２０からボリュームデータを取得する。画像保管装置２０は、画像処理部４０にボリュームデータを送信するとともに、２次元位置情報（ｘ、ｙ）に対して、奥行き位置及び表示領域を設定し、画像処理部４０に送信する。

以上述べた少なくとも一つの実施形態に係る画像処理装置及び立体画像表示装置によれば、ＭＩＰ画像におけるオブジェクトの前後関係を容易に把握することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

４３ 探索部
４４ 設定部
４５ 生成部

Claims (15)

1. ３次元の医用画像データであるボリュームデータを用いて、ＭＩＰ画像において指定された指定位置に対応する奥行き位置を設定する探索部と、
   前記指定位置と前記奥行き位置とを含む３次元位置情報に基づいて、当該３次元位置情報によって示される３次元位置を含む所定の大きさの表示領域を設定する設定部と、
   前記ボリュームデータを複数の視点からレンダリングし、かつ前記表示領域に対して所定の表示方法を適用して複数の視差ＭＩＰ画像を生成する生成部と
   を備える画像処理装置。
2. 前記生成部は、前記表示領域に含まれるオブジェクトを色づけ表示する表示方法を適用して前記視差ＭＩＰ画像を生成する、請求項１に記載の画像処理装置。
3. 前記設定部は、前記ボリュームデータに基づいて、前記３次元位置に位置するオブジェクトの領域を前記表示領域として設定する、請求項１又は２に記載の画像処理装置。
4. 前記生成部は、所定の形状で表されるマーカーを前記３次元位置又は前記３次元位置の近傍に表示する表示方法を適用して前記視差ＭＩＰ画像を生成する、請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記設定部は、前記ボリュームデータに基づいて、前記３次元位置に位置するオブジェクトの太さを包括する領域を前記表示領域として設定する、請求項１又は２に記載の画像処理装置。
6. 前記設定部は、前記３次元位置から、所定の方向にデータ点を探索し、前記データ点の値が所定の閾値を下回った場所を前記表示領域の境界として設定することを特徴とする、請求項５に記載の画像処理装置。
7. 前記生成部は、前記表示領域に複数のオブジェクトが含まれる場合に、各オブジェクトに異なる色を割り当てて色づけ表示する表示方法を適用して前記視差ＭＩＰ画像を生成する、請求項２又は３に記載の画像処理装置。
8. 前記視差ＭＩＰ画像に含まれる複数のオブジェクトの中から少なくとも１つのオブジェクトを選択する操作を受け付ける入力部を更に備え、
   前記探索部は、前記オブジェクトごとに、前記指定位置に対応する奥行き位置を設定し、
   前記設定部は、前記オブジェクトごとに設定された奥行き位置のうち前記操作によって選択されたオブジェクトが存在する奥行き位置と、前記指定位置とを含む３次元位置情報に基づいて、前記表示領域を設定する、請求項３に記載の画像処理装置。
9. 前記探索部は、所定の視点から、前記指定位置に対して奥行きとなる方向に、前記ボリュームデータに含まれるデータのデータ値を探索し、探索したデータ値に基づいて、前記奥行き位置を設定する、請求項１に記載の画像処理装置。
10. 前記探索部は、探索したデータ値に基づいて、所定の視点に最も近いオブジェクトの位置を検出し、検出した位置を前記奥行き位置として設定する、請求項９に記載の画像処理装置。
11. 前記探索部は、探索したデータ値に基づいて、前記奥行きとなる方向に沿ったデータ値の分布を求め、求めた分布から得られる統計値を基に奥行き位置を設定する、請求項９に記載の画像処理装置。
12. 前記探索部は、探索したデータ値に基づいて、データ値が最も大きいデータを含むオブジェクトの位置を検出し、検出した位置を前記奥行き位置として設定する、請求項９に記載の画像処理装置。
13. 前記探索部は、探索したデータ値に基づいて、予め設定された位置である設定位置の最も近くに存在するオブジェクトの位置を検出し、検出した位置を前記奥行き位置として設定する、請求項９に記載の画像処理装置。
14. 前記探索部は、探索したデータ値に基づいて、予め指定されたオブジェクトである指定オブジェクトの位置を検出し、検出した位置を前記奥行き位置として設定する、請求項９に記載の画像処理装置。
15. ３次元の医用画像データであるボリュームデータを用いて、ＭＩＰ画像において指定された指定位置に対応する奥行き位置を設定する探索部と、
    前記指定位置と前記奥行き位置とを含む３次元位置情報に基づいて、当該３次元位置情報によって示される３次元位置を含む所定の大きさの表示領域を設定する設定部と、
    前記ボリュームデータを複数の視点からレンダリングし、かつ前記表示領域に対して所定の表示方法を適用して複数の視差ＭＩＰ画像を生成する生成部と、
    前記複数の視差ＭＩＰ画像を用いて立体視可能な立体画像を表示する表示部と
    を備える立体画像表示装置。

Images