JP2016185247A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 段階的投影方法において、投影条件を変更してから、所望の投影画像の表示に要する時間を短縮する画像処理装置および画像処理方法を提供する。【解決手段】 予め設定された投影順に従って複数の解像度でボリュームデータから投影画像を生成する画像生成部１０５と、投影画像が生成される毎に投影画像を表示装置１７０に出力する画像出力部１０６とを備え、画像生成部１０５において投影画像を生成している際に投影に関する投影条件が変更された場合、画像生成部１０５は、当該変更前に生成された投影画像と変更後に生成された投影画像を合成した投影画像を生成する。【選択図】 図２

Description

本発明は、ボリュームデータを投影して投影画像を生成する画像処理装置および画像処理方法に関する。

３次元で撮影を行う画像診断装置（例えばＣＴ、ＭＲＩ）が生成したボリュームデータを表示装置で表示する場合、ボリュームデータに基づく投影画像を生成する。投影画像を生成する方法として、ボリュームレンダリングと呼ばれる方法がある。ボリュームレンダリングを比較的高速に実行する方法に、レイキャスティングと呼ばれる方法もある。

近年、ボリュームデータや表示装置の解像度は高精細化が進んでおり、一枚の投影画像を生成するのに時間がかかるようになってきた。そのため、複数の解像度で段階的に投影画像を生成する段階的投影方法を用いることがある。（例えば、特許文献１）

特開２００８−２５９６１２号公報

しかしながら、従来の段階的投影方法を用いたとしても、投影条件を変更してから高解像度の投影画像が表示されるまでの時間は高速化されない。そのため、高解像度の投影画像の生成処理に要する時間よりも短い時間で連続して操作を行うと、長時間に渡って高解像度の投影画像が表示されないことになる。
そこで、本発明は、段階的投影方法において、投影条件を変更する場合、所望の投影画像の表示に要する時間を短縮することを目的とする。

本発明の目的を達成するために、画像処理装置は、予め設定された投影順に従って複数の解像度でボリュームデータから投影画像を生成する画像生成部と、投影画像が生成される毎に投影画像を表示装置に出力する画像出力部とを備え、画像生成部において投影画像を生成している際に投影に関する投影条件が変更された場合、画像生成部は、当該変更前に生成された投影画像と変更後に生成された投影画像を合成した投影画像を生成する。

また、画像処理方法は、予め設定された投影順に従って複数の解像度でボリュームデータから投影画像を生成するステップと、投影画像が生成される毎に投影画像を表示させるステップとを有し、前記投影画像を生成している際に投影に関する投影条件が変更された場合、当該変更前に生成された投影画像と変更後に生成された投影画像を合成した投影画像を生成する。

本発明によれば、段階的投影方法において、投影条件を変更する場合、投影画像の表示に要する時間を短縮することができる。

本発明の画像処理システムの構成を示すブロック図。 本発明の実施例１における画像処理装置の構成を示すブロック図。 本発明のボリュームレンダリングを示す模式図。 本発明の段階的投影方法によって表示される画像を示す図。 本発明の段階的投影方法による投影を行う画素における処理を示す図。 本発明の実施例１における画像処理装置の処理を示すフローチャート。 本発明の実施例１における画像処理装置の処理を示すフローチャート。 本発明の実施例１における画像処理装置の処理のタイムチャート。 本発明の実施例２における画像処理装置の構成を示すブロック図。 本発明の実施例２における画像処理装置の処理を示すフローチャート。 本発明の実施例２におけるボリュームデータを移動した際の形態を示す図。 本発明の実施例２における画像処理装置の処理のタイムチャート。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

図１は本発明の画像処理システムを示すブロック図である。画像処理システムは、画像処理を行う画像処理装置１００と、画像診断装置から出力されるボリュームデータを記憶する記憶装置１５０と、操作者が操作する際に入力する入力装置１６０と、画像処理装置１００で画像処理が行われた画像を表示する表示装置１７０とを備えている。

記憶装置１５０は、ハードディスク、サーバなどの記憶媒体であり、ＣＴやＭＲＩなどの画像診断装置が生成したボリュームデータを記憶する。入力装置１６０は、マウスやキーボードなどから構成されている。表示装置１７０は、モニタ、ディスプレイなどである。

画像処理装置１００は、記憶装置１５０と、入力装置１６０と、表示装置１７０とにそれぞれ接続されている。画像処理装置１００は、記憶装置１５０に記憶されたボリュームデータを入力装置１６０の入力情報に基づいて画像処理を行い、表示装置１７０に出力する。表示装置１７０は、画像処理装置１００で画像処理が行われた画像を表示する。

また、図１は、本発明の画像処理システムの構成を示すブロック図である。画像処理装置１００は、バス２０１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０４と、入力装置Ｉ／Ｆ（インターフェース）２０５と、記憶装置Ｉ／Ｆ（インターフェース）２０６とを備えている。

バス２０１は、情報の通信路である。具体的には、バス２０１を通じて、ＣＰＵ２０２と、ＲＡＭ２０３と、ＧＰＵ２０４と、入力装置Ｉ／Ｆ２０５と、記憶装置Ｉ／Ｆ２０６が接続されている。バス２０１は、画像処理装置１００内の各構成要素間で、ボリュームデータや画像処理情報、入力装置１６０によって入力された入力情報などのデータを伝達する。つまり、バス２０１を通じて各構成要素間でデータをやり取りすることができる。

ＣＰＵ２０２は、汎用的な演算を行うものであり、予め設定されたプログラム、入力装置１６０によって入力された入力情報に基づくプログラムによって数値演算や情報処理などを行うものである。ここでは、ＣＰＵ２０２は、ボリュームデータの画像処理を行う。

ＲＡＭ２０３は、各種情報を一時的に記憶するものである。ここでは、ＲＡＭ２０３はボリュームデータ、投影に関する情報（後述する投影順、投影画像など）を記憶する。

ＧＰＵ２０４は、主に画像処理の演算を行うものである。ＧＰＵ２０４は、表示装置１７０に接続され、内包するフレームバッファの画素値を出力する。本実施例において、ＣＰＵ２０２がボリュームデータの画像処理を行うが、一部の画像処理をＧＰＵ２０４に実行させてもかまわない。

入力装置Ｉ／Ｆ２０５は、入力装置１６０に接続されている。入力装置Ｉ／Ｆ２０５は、入力装置１６０から入力情報を受信して、バス２０１を介して、各構成要素に入力情報を送信する。

記憶装置Ｉ／Ｆ２０６は、記憶装置１５０に接続されている。記憶装置Ｉ／Ｆ２０６は、記憶装置１５０からボリュームデータを受信して、バス２０１を介して、各構成要素にボリュームデータを送信する。なお、記憶装置Ｉ／Ｆ２０６は、記憶装置１５０からボリュームデータに付帯する付帯情報を受信して、バス２０１を介して、各構成要素にボリュームデータとともに付帯情報を送信することもできる。記憶装置Ｉ／Ｆ２０６は、記憶装置１５０の読み書きを行うこともできる。

図２は、本実施例の画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、図１に示すように、ハードディスク、サーバなどの記憶装置１５０、マウスやキーボードなどの入力装置１６０、ディスプレイ、モニタなどからなる表示装置１７０に接続されている。

画像処理装置１００は、記憶装置１５０からボリュームデータを取得するボリュームデータ取得部１０１と、入力装置１６０から入力情報を取得する入力情報取得部１０２とを備えている。また、画像処理装置１００は、入力情報に基づいて投影画像の投影条件を設定する投影条件設定部１０３と、投影条件設定部１０３において設定された投影条件に基づいて投影順を設定する投影順設定部１０４と、投影順設定部１０４において設定された投影順に基づいてボリュームデータから投影画像を生成する画像生成部１０５と、画像生成部１０５において生成された投影画像を表示装置１７０に出力する画像出力部１０６とを備えている。画像処理装置１００は、画像生成部１０５における投影画像の生成を中断させる中断部１１０を備えている。

ボリュームデータ取得部１０１は、ボリュームデータを記憶している記憶装置１５０からボリュームデータを読み出す。読み出されたボリュームデータは、図１に示されるＲＡＭ２０３に格納される。なお、当該読出処理と格納処理は、他の処理が実行される前に予め実行される。図２に示すように、ボリュームデータ取得部１０１で取得されたボリュームデータは、画像生成部１０５に入力される。ボリュームデータは、ＣＴやＭＲＩなどの画像診断装置が生成した画像データであり、３次元空間を格子状に区切った領域毎の濃度や密度などの情報である。つまり、ボリュームデータは、３次元空間に分布する濃度や密度などの情報である。

画像生成部１０５は、ボリュームデータ取得部１０１で取得されたボリュームデータに対してボリュームレンダリングを行い、投影画像を生成する。

図３は、投影画像を生成する際に用いられるボリュームレンダリングの模式図である。ボリュームレンダリングの一手法であるレイキャスティングにおいては、画像生成部１０５は、視点３００から仮想的なスクリーン３０１の各画素に対して伸びる直線（視線）に沿って、適当な間隔でボリュームデータ３０２のボクセル値をサンプリングして画素値に加算する。具体的には、画像生成部１０５は、各画素に対して伸びる直線（視線）に沿って各ボクセル値と不透明度との積を加算していき、不透明度における和が１となったときまでに加算された加算値を画素値として出力する。また、画像生成部１０５は、各画素に対して伸びる直線（視線）に沿って各ボクセル値と不透明度との積を加算していき、ボリュームデータ３０２を通過するまでに加算された加算値を画素値として出力する。画像生成部１０５は、投影処理をスクリーン３０１の全ての画素について行うことで、スクリーン３０１全体の投影画像を生成する。

投影画像は、操作者が被検者の患部を観察するために用いられる。よって、ボリュームデータの位置、大きさ、視点の位置、視線の向きといった投影条件を、操作者による入力情報に応じて変更可能とし、患部などの注目領域を詳細に観察可能とするのが一般的である。この場合、入力装置１６０（マウスやキーボード）を用いて、投影条件の変更がなされる。

入力情報取得部１０２は、入力装置１６０から入力情報を取得する。入力情報とは、マウスやキーボードなどから入力された入力情報である。入力情報には、投影に関する情報が含まれる。入力情報取得部１０２で取得された入力情報は、投影条件設定部１０３に入力される。

投影条件設定部１０３は、入力情報取得部１０２で取得された入力情報に基づいて、ボリュームデータの位置、大きさ、視点の位置、視線の向きといった投影条件を設定する。例えば、操作者は、入力装置１６０を用いて、図３に示す視点３００の位置を移動させることができる。操作者は、入力装置１６０を用いて、ボリュームデータ３０２の位置を移動させることができる。なお、投影条件設定部１０３は、入力情報取得部１０２が取得した入力情報が、投影条件設定部１０３で設定された投影条件が変更されるか否かを判定してもよい。投影条件の変更である場合、後段の投影順設定部１０４、中断部１１０に対して、投影条件の変更情報を出力する。投影条件設定部１０３で設定された投影条件が変更される場合、中断部１１０は、画像生成部１０５における投影画像の生成を中断させる。

投影順設定部１０４は、投影条件設定部１０３において設定された投影条件に基づいて投影順を設定する。具体的には、投影順設定部１０４は、複数の解像度で段階的に投影画像が生成されるように投影順を設定する。例えば、投影順設定部１０４は、低解像度から次第に高解像度に投影されて投影画像が生成されるように、投影順を設定することができる。初期では、投影順設定部１０４は、低解像度から次第に高解像度に投影されて投影画像が順次生成されるように、投影順が設定されている。

なお、投影順設定部１０４は、高解像度から次第に低解像度に投影されて投影画像が順次生成されるように、投影順を任意に設定することもできる。つまり、投影順設定部１０４は、複数の解像度に基づいて投影順を設定する。

画像生成部１０５は、投影順設定部１０４で設定された投影順に従って、複数の解像度で投影画像を生成する。図４は、段階的投影方法によって表示される投影画像を示す図である。図４（Ａ）〜図４（Ｃ）は解像度が異なる投影画像である。ここでは、低解像度から次第に高解像度に投影されて投影画像が生成されるようになっている。

図４（Ａ）は、高速に投影処理を行うことができる低解像度の投影画像の例である。操作者が入力装置１６０に対して入力した後に低解像度の投影画像が表示装置１７０に表示される。操作者が入力装置１０６に対して入力を止めてから時間が経つに従い、図４（Ｂ）、図４（Ｃ）と段階的に解像度の高い投影画像が表示装置１７０に表示される。画像生成部１０５は、低解像度から高解像度へと段階的に投影画像を生成することができる。

図５は、画像生成部１０５において投影を行う画素を示すイメージ図である。ここでは、低解像度（表示解像度の１／１６）、中解像度（表示解像度の４／１６）、高解像度（表示解像度の１２／１６）の３つの段階を示している。低解像度、中解像度、高解像度はそれぞれ図５（Ａ）、図５（Ｂ）、図５（Ｃ）に対応している。図５において、○となっている画素は投影を行う画素であり、×は先に生成した投影画像を流用する画素を示している。

具体的には、まず、画像生成部１０５は、図５（Ａ）に示すように、低解像度の投影画像を生成する。低解像度の投影画像が表示装置１７０に表示される。

そして、画像生成部１０５が低解像度の投影画像を生成した後に、画像生成部１０５は、図５（Ａ）の低解像度の投影画像と、図５（Ｂ）に示される中解像度の投影画像を合成して、投影画像を生成する。そして、画像生成部１０５が中解像度の投影画像を生成した後に、画像生成部１０５は、図５（Ａ）の低解像度の投影画像と、図５（Ｂ）に示される中解像度の投影画像と、図５（Ｃ）に示される高解像度の投影画像を合成して、投影画像を生成する。画像生成部１０５によって生成された投影画像は、スクリーン上の全ての画素が生成され、画像生成部１０５は最高解像度の投影画像を生成したことになる。

なお、図５において無印となっている投影処理を行わなかった画素に関しては、画像生成部１０５は、投影処理を行った○の画素から補間してもよい。図５（Ａ）の○の各画素について、画像生成部１０５は、その画素を含めた右下方向の４×４の矩形領域にその画素値をコピーして投影画像を生成してもよい。同様にして、図６（Ｂ）の投影画像であれば、画像生成部１０５は、２×２の矩形領域に対してコピーして投影画像を生成してもよい。

画像出力部１０６は、画像生成部１０５によって生成された投影画像を表示装置１７０の解像度に変換して、表示装置１７０に出力する。

図６、７は、本実施例における画像処理装置１００の処理を示すフローチャートである。以降、図６、７を用いて、詳細に説明する。

Ｓ３００は、ボリュームデータの位置、大きさ、視点の位置、視線の向きといった投影条件を初期化するステップであり、ＣＰＵ２０２で実行される。ここでは、投影条件設定部１０３における投影条件が初期化される。

Ｓ３０１は、投影画像表示の準備動作を行うステップである。表示装置１７０の最高解像度の１／１６の解像度（低解像度）、最高解像度の４／１６の解像度（中解像度）、最高解像度の１２／１６の解像度（高解像度）の各投影画像を初期化する。ＣＰＵ２０２で実行される。ここでは、画像生成部１０５において生成された投影画像が表示装置１７０に表示することができるように、ＲＡＭ２０３などのメモリ容量の確保が行われる。

Ｓ３０２は、複数の解像度に応じて投影順を設定するステップであり、ＣＰＵ２０２で実行される。投影順設定部１０４は、複数の解像度で段階的に投影画像が生成されるように投影順を設定する。例えば、投影順設定部１０４は、低解像度から次第に高解像度に投影されて投影画像が生成されるように、投影順を設定する。投影条件設定部１０３で設定された投影条件が変更される場合、投影順設定部１０４は投影順を変更する。

Ｓ３０３は、投影順に基づく解像度を取り出し（ここで取り出した解像度は投影順から削除される）、解像度に対応する投影画像を生成するステップであり、ＣＰＵ２０２で実行される。各解像度で投影が行われる画素は、図５の○となっている画素である。画像生成部１０５は画素ごとに投影処理を順次行なう。そして、画像生成部１０５は、複数の解像度の投影画像を記憶する。なお、画像生成部１０５は、先に生成した投影画像で投影を行ってある画素、すなわち図５の×となっている画素については、投影処理を省略する。

Ｓ３０４は、Ｓ３０３で生成された投影画像を表示するステップであり、ＣＰＵ２０２で実行される。画像生成部１０５は、複数の解像度の投影画像を合成し、表示装置１７０は合成された投影画像を表示する。

具体的には、まず、画像生成部１０５で生成された投影画像をＧＰＵ２０４のフレームバッファにコピーする。次に、低解像度で投影済みの画素（図５の×となっている画素）について、対応する低解像度の投影画像から同じフレームバッファにコピーする。次に、画像生成部１０５で投影処理を行わなかった画素（図５の無印の画素）について、近傍の投影済みの画素を同じフレームバッファにコピーする。そして、フレームバッファを表示装置１７０に出力する。

Ｓ３０５は、全ての解像度で投影画像を生成したか判定するステップであり、ＣＰＵ２０２で実行される。画像生成部１０５は、全ての解像度で投影画像を生成したか判定する。全ての解像度で投影画像を生成した場合、本フローを終了し、そうでなければＳ３０３に進む。具体的には、画像生成部１０５は投影順設定部１０４で設定された投影順が空かどうかで判定する。投影順が空であった場合には、本フローを終了し、そうでなければＳ３０３に進む。

なお、Ｓ３００〜Ｓ３０５の実行中に操作者が入力装置１６０に対して入力した場合には、制御はＳ３０６に移る。

図７に示すように、Ｓ３０６は、操作者が入力装置１６０に対して入力した入力情報を取得するステップであり、ＣＰＵ２０２で実行される。入力情報取得部１０２は、入力装置１６０から入力情報を受け取り、入力情報取得部１０２で取得された入力情報は、投影条件設定部１０３に入力される。

Ｓ３０７は取得した操作が、投影位置や投影条件の変更など、投影条件の変更であったか否かを判定するステップであり、ＣＰＵ２０２で実行される。投影条件設定部１０３は、入力情報取得部１０２が取得した入力情報が、投影条件設定部１０３で設定された投影条件が変更されたか否かを判定する。投影条件が変更であった場合にはＳ３０８に進み、そうでなければＳ３０６に戻る。

Ｓ３０８は、Ｓ３０３で実行していた投影処理を中断するステップであり、ＣＰＵ２０２で実行される。投影条件設定部１０３で設定された投影条件が変更された場合、中断部１１０は、画像生成部１０５における投影画像の生成を中断させる。このとき、画像生成部１０５で中断時に投影処理を行っていた解像度に対応する投影画像は未完成であるため初期化される。なお、Ｓ３０３の投影処理を実行していない場合には、特に何もせずＳ３０９に進む。

Ｓ３２０は、投影処理が中断された後に投影処理を行う投影順を設定するステップであり、ＣＰＵ２０２で実行される。投影順設定部１０４は、中断された投影処理に応じて、変更された投影条件における高解像度の投影画像が最初に生成されるように、投影順を設定する。また、投影順設定部１０４は、変更された投影条件において、中断された投影処理における投影画像の解像度と同じ解像度の投影画像が最初に生成されるように、投影順を設定することもできる。

次に図８を用いて、本発明の画像処理装置１００の処理を具体的に説明する。図８は、画像処理装置１００の処理のタイムチャートを示している。図８（ａ）に示すように、視点情報である視点１を含む投影条件が初期に設定されているとする。ここでは、投影順設定部１０４は、低解像度から次第に高解像度に投影されて投影画像が順次生成されるように、投影順が設定されている。

時刻ｔ１から画像生成部１０５による第１投影処理が開始される。投影順設定部１０４は、低解像度から投影されるため、第１投影処理は低解像度の投影処理である。

時刻ｔ２において、画像生成部１０５による第１投影処理が終了し、画像生成部１０５による第２投影処理が開始される。第２投影処理は中解像度の投影処理であり、第１投影処理よりも時間がかかる投影処理である。時刻ｔ２において、画像生成部１０５によって低解像度の投影画像が生成され、表示装置１７０は低解像度の投影画像を表示する。

時刻ｔ３において、画像生成部１０５による第２投影処理が終了し、画像生成部１０５による第３投影処理が開始される。第３投影処理は高解像度の投影処理であり、第１投影処理と第２投影処理よりも時間がかかる投影処理である。時刻ｔ３において、画像生成部１０５によって中解像度の投影画像が生成され、視点１における低解像度の投影画像と中解像度の投影画像が合成される。表示装置１７０は合成された投影画像を表示する。

時刻ｔ４において、画像生成部１０５による第３投影処理が終了する。画像生成部１０５によって高解像度の投影画像が生成され、視点１における低解像度の投影画像と中解像度の投影画像と高解像度の投影画像が合成される。表示装置１７０は合成された投影画像を表示する。

図８（ｂ）は、画像生成部１０５による投影処理が処理中であるときに、投影条件が変更された形態を示している。ここでは、視点１における第３投影処理が処理中であるときに、視点１から視点２に投影条件が変更された形態を示している。

時刻ｔ５において、視点１における第３投影処理において投影処理が処理中であるときに、視点１から視点２に投影条件が変更された場合、画像生成部１０５は視点２における第３投影処理を開始する。このとき、中断部１１０は、画像生成部１０５における投影画像の生成を中断させている。時刻ｔ５において、中断部１１０は、視点１における第３投影処理を中断させている。

時刻ｔ６において、画像生成部１０５による視点２における第３投影処理が終了し、画像生成部１０５による視点２における第１投影処理が開始される。画像生成部１０５によって視点２における高解像度の投影画像が生成され、視点１における低解像度の投影画像と中解像度の投影画像と、視点２における高解像度の投影画像が合成される。つまり、画像生成部１０５は、投影条件（視点）と解像度が異なる投影画像を合成することにより、低解像度〜高解像度のすべての解像度を含んだ投影画像を合成することができる。つまり、投影条件を変更する前に生成された投影画像と投影条件を変更した後に生成された投影画像は、互いに投影条件と解像度が異なる。表示装置１７０は合成された投影画像（合成画像）を表示する。

時刻ｔ６から開始される視点２における第１投影処理は低解像度の投影処理である。画像生成部１０５によって視点２における第１投影処理を行うのは、視点１における低解像度の投影画像を置き換える（書き換える）ためである。

時刻ｔ７において、画像生成部１０５による視点２における第１投影処理が終了し、画像生成部１０５による視点２における第２投影処理が開始される。画像生成部１０５によって視点２における低解像度の投影画像が生成され、視点１における中解像度の投影画像と、視点２における高解像度の投影画像と低解像度の投影画像が合成される。表示装置１７０は合成された投影画像を表示する。

時刻ｔ７から開始される視点２における第２投影処理は中解像度の投影処理である。画像生成部１０５によって視点２における第２投影処理を行うのは、視点１における中解像度の投影画像を置き換える（書き換える）ためである。

時刻ｔ８において、画像生成部１０５による視点２における第２投影処理が終了する。画像生成部１０５によって視点２における中解像度の投影画像が生成され、視点２における高解像度の投影画像と中解像度の投影画像と低解像度の投影画像が合成される。つまり、時刻ｔ８において、視点２における低解像度〜高解像度のすべての解像度を含んだ投影画像を合成することができる。画像生成部１０５は、変更後の同じ投影条件であり、解像度が異なる投影画像を合成することにより、投影画像を生成することができる。表示装置１７０は合成された投影画像を表示する。

ここで、時刻ｔ５において、視点１から視点２に投影条件が変更された場合、画像生成部１０５は視点２における第１投影処理〜第３投影処理を実行すると、すべての解像度を含んだ投影画像を生成すると時刻ｔ８になる。本実施例によれば、時刻ｔ６において、画像生成部１０５はすべての解像度を含んだ投影画像を合成して投影画像を生成することができる。よって、高解像度の投影画像の表示に要する時間を短縮することができる。

図８（ｃ）は、画像生成部１０５による投影処理が処理中であるときに、投影条件が変更された形態を示している。ここでは、第２投影処理が処理中であるときに、視点１から視点２に投影条件が変更された形態を示している。

時刻ｔ９において、視点１における第２投影処理において投影処理が処理中であるときに、視点１から視点２に投影条件が変更された場合、画像生成部１０５は視点２における第２投影処理を開始する。このとき、中断部１１０は、画像生成部１０５における投影画像の生成を中断させている。時刻ｔ９において、中断部１１０は、視点１における第２投影処理を中断させている。

時刻ｔ１０において、画像生成部１０５による視点２における第２投影処理が終了し、画像生成部１０５による視点２における第３投影処理が開始される。画像生成部１０５によって視点２における中解像度の投影画像が生成され、視点１における低解像度の投影画像と、視点２における中解像度の投影画像が合成される。つまり、画像生成部１０５は、投影条件（視点）と解像度が異なる投影画像を合成することにより、低解像度と中解像度を含んだ投影画像を合成することができる。表示装置１７０は合成された投影画像を表示する。

時刻ｔ１１において、画像生成部１０５による視点２における第３投影処理が終了し、画像生成部１０５による視点２における第１投影処理が開始される。画像生成部１０５によって視点２における高解像度の投影画像が生成され、視点１における低解像度の投影画像と、視点２における高解像度の投影画像と中解像度の投影画像が合成される。表示装置１７０は合成された投影画像を表示する。

時刻ｔ１１から開始される視点２における第１投影処理は低解像度の投影処理である。画像生成部１０５によって視点２における第１投影処理を行うのは、視点１における低解像度の投影画像を置き換える（書き換える）ためである。

時刻ｔ１２において、画像生成部１０５による視点２における第１投影処理が終了する。画像生成部１０５によって視点２における低解像度の投影画像が生成され、視点２における高解像度の投影画像と中解像度の投影画像と低解像度の投影画像が合成される。つまり、時刻ｔ１２において、視点２における低解像度〜高解像度のすべての解像度を含んだ投影画像を合成することができる。画像生成部１０５は、変更後の同じ投影条件であり、解像度が異なる投影画像を合成することにより、投影画像を生成することができる。表示装置１７０は合成された投影画像を表示する。

以上、本実施例によれば、予め設定された投影順に従って複数の解像度でボリュームデータから投影画像を生成する画像生成部１０５と、投影画像が生成される毎に投影画像を表示装置１７０に出力する画像出力部１０６とを備え、画像生成部１０５において投影画像を生成している際に投影に関する投影条件が変更された場合、画像生成部１０５は、当該変更前に生成された投影画像と変更後に生成された投影画像を合成した投影画像を生成する。

よって、段階的投影方法において、投影条件を変更する場合、所望の投影画像の表示に要する時間を短縮することができる。なお、所望の投影画像は、低解像度〜高解像度の投影画像が含まれた最高解像度の投影画像であってもよい。

次に実施例２について説明する。実施例１と異なる点は、画像処理装置１００は、予め設定された投影条件と投影条件設定部１０３で設定した投影条件との変更量を算出する変更量算出部１１１とを備え、投影順設定部１０４は変更量に応じて投影順を設定する点である。図９は、本実施例の画像処理装置１００の構成を示すブロック図である。ここでは、図２に示した画像処理装置１００の構成と異なる点のみ説明する。

変更量算出部１１１は、変更前後の投影条件がどの程度変更されるかを算出する。また、変更量算出部１１１は、変更前後の投影条件に基づいて、画像生成部１０５で生成される投影画像がどの程度変更されるかを算出してもよい。投影順設定部１０４は、変更量算出部１１１において算出された変更量に基づいて、投影順を設定する。

図１０は、本実施例における画像処理装置１００の処理を示すフローチャートである。実施例１で説明した図７に置き換わるフローチャートである。以降、図１０を用いて、詳細に説明する。

Ｓ３０６は、操作者が入力装置１６０に対して入力した入力情報を取得するステップであり、ＣＰＵ２０２で実行される。入力情報取得部１０２は、入力装置１６０から入力情報を受け取り、入力情報取得部１０２で取得された入力情報は、投影条件設定部１０３に入力される。

Ｓ３０７は、入力情報取得部１０２が取得した入力情報が、投影位置や投影条件の変更など、投影条件の変更であったか否かを判定するステップであり、ＣＰＵ２０２で実行される。投影条件設定部１０３は、入力情報取得部１０２が取得した入力情報が、投影条件設定部１０３で設定された投影条件の変更であるか否かを判定する。投影条件が変更であった場合にはＳ３０８に進み、そうでなければＳ３０６に戻る。

Ｓ３０８は、Ｓ３０３で実行していた投影処理を中断するステップであり、ＣＰＵ２０２で実行される。中断部１１０は、画像生成部１０５における投影画像の生成を中断させる。このとき、画像生成部１０５で中断時に投影処理を行っていた解像度に対応する投影画像は未完成であるため初期化される。なお、Ｓ３０３の投影処理を実行していない場合には、特に何もせずＳ３０９に進む。

Ｓ３０９は、Ｓ３１０からＳ３１４のステップを、低解像度から高解像度まで繰り返し行うステップであり、ＣＰＵ２０２で実行される。

Ｓ３１０は、変更前後の投影条件がどの程度変更されるかを算出するステップである。若しくは、変更前の投影条件での投影画像と変更後の投影条件での投影画像がどの程度変更されるかを算出するステップであり、ＣＰＵ２０２で実行される。変更量算出部１１１は、予め設定された投影条件と投影条件設定部１０３で設定した投影条件との変更量を算出する。変更量算出部１１１は、変更前の投影条件での投影画像と変更後の投影条件での投影画像を比較して変更量を算出する。

図１１は、ボリュームデータを移動した投影条件の変更を例示したものである。破線のボリュームデータ４００は、移動前のボリュームデータを示している。実線のボリュームデータ４０１は、移動後のボリュームデータを示している。

ボリュームデータを移動量は、移動前のボリュームデータ４００の頂点４０２と移動後のボリュームデータ４０１の頂点４０３から変更量として求めることができる。ボリュームデータの頂点の移動量が多いほど、変更量も多いことになる。よって、本実施例では、移動前のボリュームデータ４００の頂点を投影してスクリーン座標系における頂点座標を取得する。移動後のボリュームデータ４０１の頂点を投影してスクリーン座標系における頂点座標を取得する。変更量算出部１１１は、スクリーン座標系における頂点の移動量４０６を変更量として算出する。なお、変更量算出部１１１は、スクリーン座標系における頂点座標の移動量を８つの全頂点について合計したものを変更量として算出することもできる。

なお、変更量の算出方法は、本実施例に限定されることはなく、変更量に相関があれば、他の方法でもよい。

Ｓ３１１は、Ｓ３１０で求めた変更量が多いか判定するステップであり、ＣＰＵ２０２で実行される。本実施例では、頂点座標の移動量としているため、例えばＳ３１０で求めた変更量が閾値を超えればＳ３１２に進み、そうでなければＳ３１４に進む。なお、閾値は、例えば１としては設定することができる。なお、投影するボリュームデータの種類や投影画像の解像度に合わせて閾値の変更が可能である。

Ｓ３１２は、対応する解像度の投影画像を初期化するステップであり、ＣＰＵ２０２で実行される。画像生成部１０５において生成された投影画像が表示装置１７０に表示することができるように、ＲＡＭ２０３などのメモリ容量の確保が行われる。Ｓ３１２は、Ｓ３０１と同様である。

Ｓ３１３は、Ｓ３１１で変更量が少ないとされた解像度よりも先に実行されるよう、投影順に設定するステップであり、ＣＰＵ２０２で実行される。この処理の後、Ｓ３０３に戻る。投影順設定部１０４は、移動後のボリュームデータにおいて高解像度から次第に低解像度に投影されて投影画像が生成されるように、投影順を設定する。

ここで、図１２を用いて、本発明の画像処理装置１００の処理を具体的に説明する。図１２は、画像処理装置１００の処理のタイムチャートを示している。

変更量が少ないと判定された場合、図１２（ａ）に示す処理が行われる。時刻ｔ５において、移動前のボリュームデータにおける第３投影処理において投影処理が処理中であるときに、移動後のボリュームデータに投影条件が変更された場合、画像生成部１０５は移動後のボリュームデータにおける第３投影処理を開始する。このとき、中断部１１０は、画像生成部１０５における投影画像の生成を中断させている。以降の処理は、図８（ａ）の投影処理と同様であり、視線の変更とボリュームデータの移動の違いのみであるため、ここでは説明を省略する。

Ｓ３１４は、Ｓ３１１で変更量が多いとされた解像度よりも後に実行されるよう、投影順に設定するステップであり、ＣＰＵ２０２で実行される。この処理の後、Ｓ３０３に戻る。変更量が多いと判定された場合、図１２（ｂ）に示す処理が行われる。時刻ｔ５において、移動前のボリュームデータにおける第３投影処理において投影処理が処理中であるときに、移動後のボリュームデータに投影条件が変更された場合、画像生成部１０５は移動後のボリュームデータにおける第１投影処理を開始する。つまり、投影順設定部１０４は、移動後のボリュームデータにおいて低解像度から次第に高解像度に投影されて投影画像が生成されるように、投影順を設定する。このとき、中断部１１０は、画像生成部１０５における投影画像の生成を中断させている。

つまり、変更量が閾値より多いと判定された場合、画像生成部１０５は、投影条件が異なる投影画像を合成しない。例えば、視点１と視点２が所定以上離れていた場合、画像生成部１０５は、投影条件が異なる投影画像を合成しないとすることもできる。

以上に示した通り、投影条件が変更された際に、変更量が多い解像度が先に投影され、そうでなければ後に投影する投影順が生成される。一般に、投影条件が変更された場合、低解像になるほど変更量は少ない傾向にある。従って、既に生成済みの投影画像から変更の少ない低解像度の投影画像の生成が後回しとなり、より早いタイミングで、最高解像度の投影画像を出力することができる。

なお、低解像度の投影画像生成が後回しとなるのは、投影画像の変更量が少ない場合のみなので、大きく画質を損なうことはない。また、時間が経つにつれ、後回しになった解像度の投影画像も生成される。

１００ 画像処理装置
１０２ 入力情報取得部
１０３ 投影条件設定部
１０４ 投影順設定部
１０５ 画像生成部
１０６ 画像出力部
１１０ 中断部
１１１ 変更量算出部
１５０ 記憶装置
１６０ 入力装置
１７０ 表示装置

Claims (10)

1. 予め設定された投影順に従って複数の解像度でボリュームデータから投影画像を生成する画像生成部と、投影画像が生成される毎に投影画像を表示装置に出力する画像出力部とを備え、
   前記画像生成部において投影画像を生成している際に投影に関する投影条件が変更された場合、前記画像生成部は、当該変更前に生成された投影画像と変更後に生成された投影画像を合成した投影画像を生成することを特徴とする画像処理装置。
2. 投影条件を設定する投影条件設定部と、前記投影条件設定部において設定された投影条件に基づいて投影順を設定する投影順設定部とを備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記投影条件設定部で設定された投影条件が変更される場合、前記画像生成部における投影画像の生成を中断させる中断部を備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記投影順設定部は、複数の解像度で段階的に投影画像が生成されるように投影順を設定され、前記投影条件設定部で設定された投影条件が変更された場合、前記投影順設定部は前記投影順を変更することを特徴とする請求項２に記載の画像処理装置。
5. 前記投影順設定部は、前記投影条件設定部で設定された投影条件が変更された場合、該変更された投影条件における高解像度の投影画像が最初に生成されるように、投影順を設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記投影順設定部は、前記投影条件設定部で設定された投影条件が変更された場合、変更された投影条件において、中断された投影処理における投影画像の解像度と同じ解像度の投影画像が最初に生成されるように、投影順を設定することを特徴とする請求項３に記載の画像処理装置。
7. 前記投影条件を変更する前に生成された投影画像と投影条件を変更した後に生成された投影画像は、互いに投影条件と解像度が異なることを特徴とする請求項１に記載の画像処理装置。
8. 予め設定された投影条件と前記投影条件設定部で設定した投影条件との変更量を算出する変更量算出部を備え、前記投影順設定部は変更量に応じて投影順を設定することを特徴とする請求項２に記載の画像処理装置。
9. 前記変更量が閾値より多い場合、前記画像生成部は、投影条件が異なる投影画像を合成しないことを特徴とする請求項８に記載の画像処理装置。
10. 予め設定された投影順に従って複数の解像度でボリュームデータから投影画像を生成するステップと、投影画像が生成される毎に投影画像を表示させるステップとを有し、前記投影画像を生成している際に投影に関する投影条件が変更された場合、当該変更前に生成された投影画像と変更後に生成された投影画像を合成した投影画像を生成することを特徴とする画像処理方法。

Images