JP7204406B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、３次元医用画像データの画像処理技術に関するものである。

３次元医用画像データ（ボリュームデータ）を生成するモダリティ装置の一つとして、光音響イメージング装置がある。光音響イメージング装置は、被検体への光照射により発生した光音響波に基づいて、被検体の特性値に関する情報を３次元医用画像データとして取得することができる。

特許文献１には、光音響信号に基づいて生成されたボリュームデータから断面画像を生成して表示する音響画像生成装置が記載されている。特許文献１には、初期設定又は使用者による入力によって、断面画像を規定する二次元平面を設定する音響画像生成装置が記載されている。

特開２０１３－１５０７８７号公報

しかしながら、撮影ごとに所望の断面が異なる場合、初期設定で所望の断面の断面画像を生成することは困難である。また、使用者による入力によって断面画像を規定する断面を設定する方法では、撮影の都度、所望の断面を設定するために複雑な操作が要求される場合がある。

本発明は上記課題に鑑みてなされたものであり、所望の断面に対応する３次元医用画像データの断面画像データを簡便に生成することのできる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、３次元医用画像データと付帯情報とが関連付けられたデータを取得するデータ取得手段と、データから付帯情報を取得し、付帯情報に基づいて断面を表す断面情報を取得する断面情報取得手段と、３次元医用画像データ及び断面情報に基づいて、断面に対応する断面画像データを生成する断面画像生成手段と、断面画像データに基づいた画像を表示手段に表示させる表示制御手段と、を有する。

本発明に係る画像処理装置によれば、所望の断面に対応する３次元医用画像データの断面画像データを簡便に生成することができる。

第一の実施形態に係るシステムに含まれる装置及び装置間でやり取りされるデータのブロック図である 第一の実施形態に係るシステムが実行する画像処理方法のフロー図である 第一の実施形態に係るカメラ画像である 第一の実施形態に係る断面画像を規定する断面を示す図である 第一の実施形態に係る表示装置に表示される表示データを示す図である 第二の実施形態に係るシステムに含まれる装置及び装置間でやり取りされるデータのブロック図である 第二の実施形態に係る表示装置に表示される表示データを示す図である 第三の実施形態に係るシステムに含まれる装置及び装置間でやり取りされるデータのブロック図である 第三の実施形態に係るシステムが実行する画像処理方法のフロー図である

（第一の実施形態）
以下、本発明の第１の実施形態について、図面を用いて説明する。図１は、本実施形態に係るシステムに含まれる装置および装置間でやり取りされるデータのブロック図を示す。

本実施形態に係るシステムは、モダリティ装置（医用画像撮影装置）１１０、記憶装置１２０、画像処理装置１３０、及び表示装置１４０を含む。

モダリティ装置１１０は被検体を撮影し、被検体の３次元医用画像データ（以下、ボリュームデータとも呼ぶ）１０１０を生成し、記憶装置１２０に出力する。記憶装置１２０は、受信したボリュームデータ１０１０を保存する。ボリュームデータ１０１０には、付帯情報として撮影部位を表す情報（撮影部位情報）が関連付けられている。

モダリティ装置１１０は、光音響イメージング装置、超音波診断装置、ＭＲＩ装置、Ｘ線ＣＴ装置などの装置である。以下、本実施形態では、モダリティ装置として光音響イメージング装置を採用した場合を説明する。光音響イメージング装置は、光照射により発生した光音響波を受信することにより得られる受信信号を用いて、被検体内の複数位置のそれぞれに対応する特性値の情報を生成する装置である。すなわち、光音響イメージング装置は、光音響波に由来した特性値情報の３次元空間分布を、３次元医用画像データとして生成する装置である。

光音響イメージング装置によって生成される３次元医用画像データは、光エネルギーの吸収量および吸収率を反映している。光音響イメージング装置によって生成された３次元医用画像データとしては、発生した音響波の音圧（初期音圧）、光エネルギー吸収密度、光の吸収係数、組織を構成する物質の濃度に関する情報等がある。物質の濃度に関する情報とは、例えば、血液における酸素飽和度、トータルヘモグロビン濃度、オキシヘモグロビンあるいはデオキシヘモグロビン濃度などである。また、物質の濃度に関する情報は、グルコース濃度、コラーゲン濃度、メラニン濃度、脂肪や水の体積分率などであってもよい。

記憶装置１２０は、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの記憶媒体であってもよい。また、記憶装置１２０は、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）等のネットワークを介した記憶サーバーであってもよい。

画像処理装置１３０は、記憶装置１２０からボリュームデータ１０１０を読み出し、ボリュームデータ１０１０を取得する。画像処理装置１３０は、ボリュームデータ１０１０に基づいて断面画像データ１０３０を生成し、表示装置１４０に出力する。表示装置１４０は、受信した断面画像データ１０３０に基づいた画像を表示する。画像処理装置１３０は、表示装置１４０に断面画像データ１０３０に基づいた画像を表示させる表示制御手段として機能してもよい。

ここで、画像処理装置１３０は、複数の撮影部位のそれぞれと断面との関係を表す情報１０２０を取得する。画像処理装置１３０は、ボリュームデータ１０１０に関連付けられた撮影部位情報と、撮影部位と断面との関係を表す情報１０２０とに基づいて、ボリュームデータ１０１０から断面画像データ１０３０を生成する。なお、断面画像データ１０３０の生成方法の詳細については後述する。例えば、撮影部位と断面との関係を表す情報１０２０は、複数の撮影部位のそれぞれと、各撮影部位に対応する断面との関係を表すルックアップテーブルとして構成される。すなわち、撮影部位と断面との関係を表す情報１０２０は、予め撮影部位ごとに決定した断面を表現した情報である。

以上の構成により、ユーザーは、画像処理装置１３０がボリュームデータ１０１０を読み込んだときに、断面画像データ１０３０を生成するための複雑な操作を行うことなく、所望の断面に対応する画像を確認することができる。

本実施形態に係るシステムを構成する各装置は、それぞれが別々のハードウェアで構成されていてもよいし、全ての装置が１つのハードウェアで構成されていてもよい。本実施形態に係るシステムの機能は、いかなるハードウェアで構成されていてもよい。

本実施形態に係るシステムにおける演算機能を担うユニットは、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。

本実施形態に係るシステムにおける記憶機能を担うユニットは、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶機能を担うユニットは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶機能を担うユニットは、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。

本実施形態に係るシステムにおける制御機能を担うユニットは、ＣＰＵなどの演算素子で構成される。制御機能を担うユニットは、システムの各構成の動作を制御する。制御機能を担うユニットは、入力部からの測定開始などの各種操作による指示信号を受けて、システムの各構成を制御してもよい。また、制御機能を担うユニットは、記憶部に格納されたプログラムコードを読み出し、モダリティの各構成の作動を制御する。

表示装置１４０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ＦＥＤ、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。表示装置１４０は、ボリュームデータに基づいた画像や特定位置の数値等を表示する装置である。表示装置１４０は、ボリュームデータに基づいた画像や装置を操作するためのＧＵＩを表示してもよい。

なお、データの送受信は有線で行われてもよいし、無線で行われてもよい。

以下、本実施形態に係るシステムが実行する画像処理方法のフローを説明する。図２は、本実施形態に係るシステムが実行する画像処理方法のフロー図である。以下の本実施形態における光音響イメージング装置は、人や動物の血管疾患や悪性腫瘍などの診断や化学治療の経過観察などを主な目的とする。よって、被検体としては生体の一部が想定される。

（ステップＳ４０１：撮影部位情報を取得する工程）
ユーザーは、入力部を用いて、撮影する被検体の部位種別を指示する。部位情報取得手段としてのモダリティ装置１１０は、ユーザーからの指示に基づいて決定された撮影部位を表す情報（撮影部位情報）を取得する。診断の目的に応じて、乳房、腕、掌、手の甲、大腿部、脛、足首など様々な撮影部位を指示することができる。

入力部としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示装置１４０をタッチパネルで構成し、表示装置１４０を入力部として利用してもよい。また、入力方法としては、テキストを入力してもよいし、ＧＵＩ上のリストから所望のアイテムを選択するように操作することにより入力ができてもよい。入力部は、観察したい位置や深さの情報などを入力できるように構成されていてもよい。入力部は、各装置とは別に提供されてもよい。

なお、撮影部位そのものを指定する情報だけではなく、撮影部位を特定することのできる情報であれば、撮影部位情報に含めることができる。例えば、診断目的から撮影部位を特定することができる場合、診断目的を示す情報を、撮影部位を表す情報として扱ってもよい。

（ステップＳ４０２：モダリティ装置により被検体を撮影する工程）
撮影手段としてのモダリティ装置１１０は、ステップＳ４０１で取得した撮影部位情報に基づいた撮影パラメータで被検体を撮影する。例えば、光音響イメージング装置において撮影パラメータとは、照射光のパラメータ（光強度、波長等）、プローブのパラメータ（ゲイン等）等が挙げられる。この他にも、モダリティ装置１１０は、撮影部位情報に基づいて、あらゆる撮影パラメータを設定することができる。

また、典型的には、撮影部位に応じて、予め決められた被検体の撮影姿勢で被検体の撮影が行われる。撮影姿勢とはモダリティ装置１１０に対する被検体の相対位置関係であり、例えば図３に示すように装置の基準座標系に対する被検体の姿勢が定義される。例えば、モダリティ装置１１０は、撮影部位情報に基づいて、カメラで撮影した被検体のカメラ画像に撮影姿勢を輪郭線として表示装置１４０に表示させてもよい。操作者は表示装置１４０に表示された輪郭線に合わせるように被検体を設置してもよい。

カメラは可視光領域に感度を持つＣＭＯＳセンサやＣＣＤセンサ等の撮影素子を備える撮影装置を採用することができる。カメラは、静止画および動画の撮影が可能である。図３は、撮影装置に応じた姿勢ガイドが重畳表示されたカメラ画像を示す。本実施形態では指関節部の炎症に伴う疾患の診断を目的として、指を含む手の甲を撮影部位として指示した場合について説明する。カメラ画像２００には、カメラによって撮影された被検体の画像（不図示）がリアルタイムに表示される。また、カメラ画像２００には、モダリティ装置１１０の撮影領域２０１が表示される。撮影領域２０１は、モダリティ装置１１０で撮影できる範囲を示す領域であり、この領域の中に被検体の撮影部位が設置される必要がある。また、カメラ画像には、予め決められた撮影姿勢を示す輪郭線画像２０２がガイドとして重畳して表示される。輪郭線画像２０２は装置座標系に対する位置関係が保障されている。操作者は、カメラ画像２００を見ながら、被検体の画像を輪郭線画像２０２に合わせるように、被検体を設置することができる。これにより、撮影部位に対応した姿勢で被検体の撮影を行うことができる。

この他、撮影部位に応じた撮影姿勢での撮影は、被検体の保持部に姿勢を示すマークを表示するなど、いかなる手段で実現されてもよい。

被検体が指定の姿勢に設置された後、光音響イメージング装置としてのモダリティ装置１１０は、モダリティ装置１１０の光照射部から被検体に対してパルス光を照射する。パルス光は被検体内の吸収体に吸収され、吸収体から光音響波が発生する。発生した光音響波はモダリティ装置１１０の受信部で受信される。

光照射部は、光を発する光源と、光源から射出された光を被検体へ導く光学系とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。光源が発する光のパルス幅としては、１ｎｓ以上、１００ｎｓ以下のパルス幅であってもよい。また、光の波長として４００ｎｍから１６００ｎｍ程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長（４００ｎｍ以上、７００ｎｍ以下）を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織（水や脂肪など）において典型的に吸収が少ない波長（７００ｎｍ以上、１１００ｎｍ以下）の光を用いてもよい。

光源としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Ｎｄ：ＹＡＧレーザー光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（Ｏｐｔｉｃａｌ Ｐａｒａｍｅｔｒｉｃ Ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源として用いてもよい。また、光源としてフラッシュランプや発光ダイオードを用いてもよい。また、光源としてマイクロウェーブ源を用いてもよい。

光学系には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。乳房等を被検体とする場合、パルス光のビーム径を広げて照射するために、光学系の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。なお、光照射部が光学系を備えずに、光源から直接被検体に光を照射してもよい。

受信部は、音響波を受信することにより電気信号を出力するトランスデューサと、トランスデューサを支持する支持体とを含む。また、トランスデューサは、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一（共通）のトランスデューサでもよいし、別々の構成であってもよい。

トランスデューサを構成する部材としては、ＰＺＴ（チタン酸ジルコン酸鉛）に代表される圧電セラミック材料や、ＰＶＤＦ（ポリフッ化ビニリデン）に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ（ＣＭＵＴ：Ｃａｐａｃｉｔｉｖｅ Ｍｉｃｒｏ－ｍａｃｈｉｎｅｄ Ｕｌｔｒａｓｏｎｉｃ Ｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。

（ステップＳ４０３：ボリュームデータを生成する工程）
画像データ生成手段としてのモダリティ装置１１０は、受信部が受信した光音響波の受信信号を処理し、ボリュームデータ（３次元医用画像データ）１０１０を生成する。本実施形態において、モダリティ装置１１０は、ステップＳ４０１で取得した撮影部位情報を関連づけたボリュームデータ１０１０を生成し、記憶装置１２０に出力する。記憶装置１２０は、撮影部位情報を関連づけたボリュームデータ１０１０を記憶する。記憶装置１２０に出力されるデータは、医用画像と通信の標準規格であるＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ ＣＯｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）規格などに準拠したデータである。各種モダリティ装置で取得された３次元医用画像データはＤＩＣＯＭフォーマットに変換され、サーバーやストレージに保存された後、画像処理装置によって所望の画像が生成され、表示される。ＤＩＣＯＭファイルは３次元医用画像データに加えて３次元医用画像データに関するメタデータを含むことができる。データセット部に３次元医用画像データが、ファイルヘッダ部に付帯情報としてメタデータが記録される。ＤＩＣＯＭファイルは各種医用画像管理システムで管理運用される。

本実施形態においては、ＤＩＣＯＭファイルのデータセット部に３次元医用画像データが、ファイルヘッダ部に付帯情報として撮影部位情報が記録される。

受信信号データを３次元空間分布としてのボリュームデータに変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法、フーリエドメインでの逆投影法、モデルベース法（繰り返し演算法）などのあらゆる手法を採用することができる。例えば、タイムドメインでの逆投影法として、Ｕｎｉｖｅｒｓａｌ ｂａｃｋ－ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）、Ｆｉｌｔｅｒｅｄ ｂａｃｋ－ｐｒｏｊｅｃｔｉｏｎ（ＦＢＰ）、または整相加算（Ｄｅｌａｙ－ａｎｄ－Ｓｕｍ）などが挙げられる。

（ステップＳ４０４：ボリュームデータを読み出す工程）
画像データ取得手段としての画像処理装置１３０は、記憶装置１２０に格納されたボリュームデータ１０１０を読み出すことにより、ボリュームデータ１０１０を取得する。記憶装置１２０がＰＡＣＳである場合、画像処理装置１３０はネットワーク経由でサーバーからボリュームデータ１０１０を取得することとなる。ユーザーが表示装置１４０に表示されたＧＵＩを操作することにより、画像処理装置１３０により取得されるボリュームデータを指定してもよい。

なお、本実施形態では、モダリティ装置１１０が被検体を撮影し、ボリュームデータを生成する例を説明したが、本発明は画像処理装置１３０が記憶装置１２０からボリュームデータを読み出すステップから開始してもよい。すなわち、本発明に係る画像処理方法において、モダリティ装置１１０による被検体の撮影を行わなくてもよい。

（ステップＳ４０５：断面情報を取得する工程）
断面情報取得手段としての画像処理装置１３０は、ボリュームデータ１０１０の付帯情報に基づいて、断面を表す情報（断面情報）を取得する。断面情報は、ボリュームデータから断面画像データを生成するために用いられる情報である。断面情報は、表示装置１４０に表示される断面画像を規定する断面の位置、姿勢等を表す情報である。断面情報は、断面の中心位置座標、断面の方向、断面の範囲、断面画像データを生成するときのスライス厚などを表す情報である。断面情報は、断面の座標や断面を表現する関数などあらゆる方法で表現することができる。

ところで、多くの場合、被検体の撮影部位の種別に応じて、観察に望ましい断面の位置は決まっている。例えば、指関節の炎症に伴う疾患の診断が目的である場合、被検体の撮影部位としては手の甲側が選択され、断面としては各指の長手方向に沿った縦断面が設定されることが望ましい。

そこで、画像処理装置１３０は、ＤＩＣＯＭファイルのヘッダ部に記憶された付帯情報としての撮影部位情報と撮影部位と断面との関係を表す情報とに基づいて、ボリュームデータ１０１０に関連付けられた撮影部位に対応する断面を決定することができる。すなわち、画像処理装置１３０は、撮影部位情報の表す撮影部位に対応した断面を表す断面情報を取得することができる。撮影部位と断面との関係を表す情報は、複数の撮影部位と、各部位に対応する断面の位置および姿勢とが対応付けられたルックアップテーブルにより構成されてもよい。このルックアップテーブルは、記憶装置１２０に格納されていてもよいし、記憶装置１２０とは異なる記憶装置（例えば、画像処理装置１３０の記憶手段）に格納されていてもよい。画像処理装置１３０は、このルックアップテーブルを参照することにより、撮影部位に対応する断面を決定することができる。

例えば、Ｓ４０１で撮影部位として指関節部の炎症に伴う疾患の診断のために指を含む右手甲が指定された場合、画像処理装置１３０は図４に示すような指を含む右手甲に対応した断面２０４を表す断面情報２０５を取得することができる。断面情報２０５は各指に対して指の長手方向に沿い、手の平に垂直な方向の５か所の断面を生成するために必要となるパラメータ情報である。断面情報２０５は装置座標系に対して、断面中心位置座標（ｘ、ｙ）、角度θ、断面長さｌ、スライス厚さｄｔのパラメータ情報を有している。断面長さｌ、スライス厚さｄｔは指ごとに異なる値であってよく、指ごとに適切な範囲および厚さが予め決定している場合、それぞれの断面画像データに適切な値が用意されてもよい。ボリュームデータは、撮影部位に応じた姿勢で撮影されたものであるため、装置座標系と対応がとれており、断面情報２０５の座標系はボリュームデータの座標系と対応した情報である。

なお、データ生成手段としての画像処理装置１３０は、Ｓ４０５で取得した断面情報を関連付けたボリュームデータ１０４０を生成してもよい。また、記憶制御手段としての画像処理装置１３０は、ボリュームデータ１０４０を記憶装置１２０に出力し、記憶装置１２０に記憶させてもよい。なお、画像処理装置１３０は、断面情報が追加されたボリュームデータ１０４０を、既に記憶装置１２０に記憶されているボリュームデータ１０１０に置き換えて記憶させてもよい。

（ステップＳ４０６：断面画像データを生成する工程）
断面画像生成手段としての画像処理装置１３０は、ステップＳ４０５で取得した断面情報に基づいて、断面画像データを生成するための位置、方向、範囲、スライス厚等の断面に関するパラメータを決定する。画像処理装置１３０は、決定された断面に関するパラメータに対応するボリュームデータから断面画像データを生成する。画像処理装置１３０は、断面情報により定義された位置、方向、範囲を満たすボリュームデータ中の断面を特定する。そして、画像処理装置１３０は、ボリュームデータ中の断面にスライス厚だけ厚みを持たせた３次元空間（ボリューム）を定義する。画像処理装置１３０は、この３次元空間に含まれるボリュームデータをレンダリングすることにより、表示装置１４０に表示される断面画像データが生成される。すなわち、断面画像データは、１ボクセル分の厚みを有する空間を表現した画像データだけでなく、断面情報で定義された厚みを有する空間を表現した画像データも含むものである。

レンダリング手法としては、最大値投影法（ＭＩＰ：Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）、最小値投影法（ＭｉｎＩＰ：Ｍｉｎｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）、平均値投影法（ＡＩＰ：Ａｖｅｒａｇｅ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）、ボリュームレンダリング、及びサーフェイスレンダリングなどのあらゆる方法を採用することができる。

また、画像処理装置１３０は、ボリュームデータの全領域をレンダリング対象領域とした画像データなどの、断面画像データ以外の画像データをボリュームデータから生成してもよい。また、画像処理装置１３０は、ボリュームデータの一部のデータをレンダリング対象から除外してレンダリングを行ってもよい。

（ステップＳ４０７：表示データを生成し、表示する工程）
表示制御手段としての画像処理装置１３０は、ステップＳ４０６で生成された断面画像データに基づいて、表示装置１４０に表示するための表示データを生成する。画像処理装置１３０は、生成した表示データを表示装置１４０に出力し、表示装置１４０に表示データを表示させる。

図５は、表示装置１４０に表示される表示データの一例である。指関節部の炎症に伴う疾患の診断の際には、各指の断面画像３０１ａ～ｅが並列に表示されることにより、効率的に診断を行うことができる。また、それぞれの断面画像のボリュームデータにおける位置、方向、範囲を示すため、ボリュームデータの全体画像３０２（手のひらの画像）に重畳して断面位置表示ライン３０３ａ～ｅ（指の軸を示す画像）が表示されてもよい。全体画像３０２を生成するときの視線方向と、断面画像３０１ａ～３０３ｅを生成するときの視線方向とは、互いに異なる方向であってもよい。例えば、全体画像３０２は断面画像３０１として表示される平面と垂直な方向の２次元ＭＩＰ画像であってもよい。また、複数の断面画像の視線方向が互いに異なっていてもよい。例えば、撮影部位が手の指である場合、手のひらを平板において固定すると、親指の平がその他の指の平とは異なる方向を向いている傾向がある。そこで、人差し指、中指、薬指、小指に対応する断面の視線方向は統一し、親指に対応する断面の視線方向をその他の指とは異なる方向としてもよい。必ずしもボリュームデータの全体が表示される必要はなく、断面画像３０１に対応する位置が把握できる範囲の画像であればよい。また、複数の断面画像を規定するそれぞれの断面に対応するレンダリング領域は互いに異なっていてもよい。例えば、画像処理装置１３０は、５本の指のそれぞれを異なるスライス厚でレンダリングすることにより、複数の断面画像を生成してもよい。以上説明した断面画像を生成するためのレンダリングに関するパラメータが断面情報に含まれていてもよい。また、断面位置表示ライン３０３及び断面画像３０１の近傍には、断面位置表示ライン３０３と断面画像３０１の対応がわかるような情報（図５の場合、（１）～（５））が表示されてもよい。

すなわち、画像処理装置１３０は、第１方向を視線方向として得られる全体画像３０２（第１画像）を表示装置１４０に表示させることができる。また、画像処理装置１３０は、全体画像３０２（第１画像）と、第１方向とは異なる第２方向を視線方向として得られる複数の断面画像３０１ａ～３０１ｅ（第２画像）とを並べて表示装置１４０に表示させることができる。また、画像処理装置１３０は、全体画像３０２に複数の断面を表す画像（断面位置表示ライン３０３ａ～３０３ｅ）を重畳して表示させることができる。また、画像処理装置１３０は、断面画像３０１のそれぞれが全体画像３０２よりも小さく表示させてもよい。また、画像処理装置１３０は、全体画像３０２または断面画像３０１の視線方向を変更可能に構成されていてもよい。なお、視線方向はユーザーの指示に基づいて決定された方向に変更されてもよいし、自動で変更させてもよい。

これらの表示は、ユーザーがボリュームデータを選択し、画像処理装置１３０がボリュームデータを読み込んだ後、表示装置１４０に初期画像として自動的に表示されてもよい。また、ユーザーが入力部を用いてこれらの表示を行うための操作を行うことにより、表示装置１４０にこれらの表示が行われてもよい。このように、ユーザーが断面位置の指定などの断面情報の指定に関わる複雑な操作をすることなく断面画像が表示される。

以上により、ユーザーは表示されている断面画像３０１が、取得された被検体のボリュームデータに対してどのような位置、方向、範囲の断面画像であるかを容易に把握することが可能となる。

（ステップＳ４０８：画像の表示を終了するか否かを判定する工程）
画像処理装置１３０は、ユーザーにより指示された入力部を用いて画像表示の終了を表す情報を受け取ると、表示装置１４０への画像表示を終了する。一方、画像処理装置１３０が、画像表示の終了の指示を受け取らない場合、ステップＳ４０９に進む。

（ステップＳ４０９：断面を調整する工程）
ユーザーは、入力部を用いてステップ４０５で決定された断面を調整することができる。例えば、ユーザーは、表示装置１４０に表示された断面画像３０１を確認しながら、断面位置表示ライン３０３をＧＵＩ上で調整することにより、表示される断面を変更することができる。すなわち、画像処理装置１３０は、断面画像３０１が表示されているときに行われたユーザーからの断面の変更指示に基づいて、断面情報を更新することができる。画像処理装置１３０は、ユーザーの指示に基づいて、断面位置、方向、スライス厚さなどの断面情報を更新することが可能である。

なお、画像処理装置１３０は、調整後の断面情報を関連付けたボリュームデータを記憶装置１２０に出力してもよい。このとき、画像処理装置１３０は、調整後の断面情報が追加されたボリュームデータを、既に記憶装置１２０に記憶されているボリュームデータに置き換えて記憶させてもよい。

以上、ここでは指関節の炎症に伴う疾患の診断を目的として、指を含む手の甲側を被検体とした場合について説明したが、被検体は手の甲側に限定されず、人体の他の部位であってもよい。また、断面の方向、位置、スライス厚等の断面情報も診察対象に応じて様々なものが想定される。例えば上腕の皮膚表面近傍の血管が診断の対象となるとき、断面画像が生成される断面の方向を皮膚と平行とし、断面の位置は撮影姿勢により規定された腕の長手方向に沿った位置としてもよい。

以上説明したように、本実施形態に係るシステムによれば、ボリュームデータに関連付けられた付帯情報から断面情報を取得することができる。また、本実施形態に係るシステムによれば、付帯情報から取得された断面情報に基づいて断面画像を生成することで、ユーザーが断面画像表示のための複雑な操作を行うことなく、所望の断面画像を表示させることが可能である。

（第二の実施形態）
第二の実施形態では、モダリティ装置から出力されたボリュームデータをリアルタイムに断面画像データに変換し、リアルタイムに断面画像を表示する形態を説明する。

図６は、本実施形態に係るシステムに含まれる装置および装置間でやり取りされるデータのブロック図を示す。第一の実施形態と同様の構成またはデータには同一の符号を付し、詳細な説明を省略する。また、図２に示す工程と同様の工程には同一の符号を付し、詳細な説明を省略する。なお、システムがリアルタイムに被検体の撮影と断面画像の表示を行うために、モダリティ装置１１０、画像処理装置１３０、及び表示装置１４０が一体化したシステムが提供されてもよい。

本実施形態では、モダリティ装置１１０が被検体の撮影を行い、ボリュームデータ１０５０を画像処理装置１３０に出力する。画像処理装置１３０は、モダリティ装置１１０から出力されたボリュームデータ１０５０を受信する。被検体の撮影及びボリュームデータの生成については、ステップＳ４０２及びステップＳ４０３と同様の方法を採用することができる。

画像処理装置１３０は、モダリティ装置１１０が撮影を行った被検体の部位を表す撮影部位情報１０６０を取得する。本実施形態においては、ボリュームデータ１０５０に撮影部位情報が付帯情報として関連付けられていない場合であっても、画像処理装置１３０は異なる方法で撮影部位情報１０６０を取得する。

画像処理装置１３０は、ユーザーの指示に基づいて撮影部位情報１０６０を取得してもよい。例えば、図７に示すように、画像処理装置１３０は、表示装置１４０に複数の撮影部位の中からユーザーが入力部を用いて撮影部位を選択できるＧＵＩ６０１を表示させてもよい。図７に示すＧＵＩ６０１においては、ユーザーが手の指、足の指、乳房、皮膚の中から撮影部位を選択することができる。図７は、ユーザーが手の指を撮影部位として選んだ場合を示している。

また、画像処理装置１３０は、ボリュームデータ１０５０を解析して撮影部位を特定することにより撮影部位情報１０６０を取得してもよい。例えば、画像処理装置１３０は、ボリュームデータ１０５０に含まれる特徴的な構造を検出し、その特徴的な構造に対応する部位を表す撮影部位情報１０６０を取得してもよい。また、画像処理装置１３０は、各撮影部位の特徴的な構造を表す情報をテンプレートとして、ボリュームデータ１０５０に含まれる構造とのテンプレートマッチングを行い、一致度の高い撮影部位を表す撮影部位情報１０６０を取得してもよい。なお、ボリュームデータから撮影部位を特定する方法については、いかなる手法を採用してもよい。

また、画像処理装置１３０は、ＨＩＳやＲＩＳから出力された検査オーダー情報から撮影部位を表す撮影部位情報１０６０を読み出して取得してもよい。

続いて、画像処理装置１３０は、上述したように取得した撮影部位情報１０６０に基づいて、断面情報を取得する。撮影部位情報１０６０から断面情報を取得する方法については、第一の実施形態におけるステップＳ４０５と同様の方法を採用することができる。

画像処理装置１３０は、第一の実施形態おけるステップＳ４０６及びステップ４０７と同様に、断面情報に基づいた断面画像を表示させることができる。本実施形態においても、第一の実施形態おけるステップＳ４０９と同様に、断面を調整してもよい。

画像処理装置１３０は、表示装置１４０に断面画像データ１０３０を出力するだけでなく、取得した断面情報を関連付けたボリュームデータ１０４０を記憶装置１２０に出力してもよい。すなわち、画像処理装置１３０は、記憶装置１２０にボリュームデータ１０４０を記憶させてもよい。また、ステップＳ４０９で断面が調整された場合には、画像処理装置１３０は、調整後の断面情報を関連付けたボリュームデータを記憶装置１２０に出力してもよい。このとき、画像処理装置１３０は、調整後の断面情報が追加されたボリュームデータを、既に記憶装置１２０に記憶されているボリュームデータに置き換えて記憶させてもよい。

以上説明したように、本実施形態に係るシステムによれば、ボリュームデータに付帯情報が関連付けられていない場合であっても、取得した撮影部位情報から断面情報を取得することができる。また、本実施形態に係るシステムによれば、撮影部位情報から取得された断面情報に基づいて断面画像を生成することで、ユーザーが断面画像表示のための複雑な操作を行うことなく、所望の断面画像を表示させることが可能である。また、本実施形態に係るシステムによれば被検体の撮影と連動してリアルタイムに所望の断面の断面画像を表示させることができる。

（第三の実施形態）
以下、本発明の第三の実施形態について、図面を用いて説明する。本実施形態は、モダリティ装置とは異なる撮影装置で生成されたキャプチャ画像を利用して断面情報を取得する点で、第一の実施形態とは異なる。図８は、本実施形態に係るシステムに含まれる装置および装置間でやり取りされるデータを表すブロック図を示す。第一の実施形態と同様の構成には同一の符号を付し、詳細な説明を省略する。

本実施形態におけるシステムは、モダリティ装置１１０、記憶装置１２０、画像処理装置１３０、表示装置１４０、及び撮影装置１５０を含む。モダリティ装置１１０は被検体を撮影し、被検体の３次元医用画像データ（以下、ボリュームデータとも呼ぶ）１０５０を生成し、記憶装置１２０に出力する。撮影装置１５０は、被検体のキャプチャ画像データ１０７０を生成するための装置である。撮影装置１５０としては、可視光領域に感度を持つＣＭＯＳセンサやＣＣＤセンサ等の撮像素子を備える光学カメラを採用してもよい。

キャプチャ画像データ１０７０は、装置に対する被検体の位置や被検体の状態を確認することを目的として撮影される画像である。キャプチャ画像データ１０７０は、モダリティ装置１１０による撮影時の被検体の位置合わせや、読影時の参照画像として利用してもよい。そのため、撮影装置１５０により生成されるキャプチャ画像データと、モダリティ装置１１０により生成されるボリュームデータ１０５０との位置関係は予め対応がとられていてもよい。キャプチャ画像データ１０７０とボリュームデータ１０５０との位置関係を対応づけるために、撮影装置１５０は、モダリティ装置１１０に取り付けられてもよい。

被検体が予め他のモダリティによって診察され、観察対象すなわち、断面表示により観察したい箇所が判明している場合、被検体の表面に観察対象位置をマーキングすることが可能である。例えば、観察対象は、乳癌診断においては乳房内の腫瘍であり、皮膚移植手術のための皮弁手術では、皮膚下の穿通枝である。

被検体表面に観察対象位置をマーキングすることで、生成すべき断面画像の位置をキャプチャ画像により把握することが可能となる。マーキングはモダリティ装置１１０による撮影に与える影響が小さく、キャプチャ画像の解析で検出し易いものであることが好ましい。例えば、モダリティ装置１１０として光音響イメージング装置を採用する場合、マーキングは赤色のインクによるマークなどが用いられてもよい。

画像処理装置１３０は、キャプチャ画像からマークの位置を検出することができる。マーク位置の検出には一般的な画像処理技術が用いられ、例えばエッジ検出処理やパターンサーチ処理などの特徴検出技術が適用される。また、画像処理装置１３０は、検出されたマーク位置を表す情報から、断面情報を決定する。

画像処理装置１３０は、３次元医用画像データに断面情報を付帯情報として関連付けて出力する。出力されたデータから、付帯情報に記録された断面情報を元に観察対象位置の断面画像が生成され、表示される。

以下、図９を用いて、本実施形態において断面画像を表示するフローを説明する。図９は本実施形態に係るシステムが行う断面情報の決定方法と断面画像の表示方法を表すフローチャートである。

Ｓ６０１では、撮影装置１５０が、被検体を撮影し、キャプチャ画像データ１０７０を生成する。なお、本実施形態では被検体表面には他モダリティの情報から得られた観察対象の位置を表すマークが印されている。

Ｓ６０２では、Ｓ６０１で得られたキャプチャ画像データ１０７０から被検体表面に印されたマークの位置を検出し、断面情報を決定する。検出したマークの位置から観察対象を含む断面画像を生成するための断面情報が決定される。決定された断面情報はボリュームデータ１０５０と関連付けられたボリュームデータ１０４０として出力される。

ここでは予め被検体表面に観察対象の位置を表すマークが印された例について説明したが、マークが無い場合に、キャプチャ画像データ１０７０を解析することで断面情報が決定されてもよい。例えば、ユーザーによって被検体として手のひらが指定された場合に、画像処理装置１３０がキャプチャ画像データ１０７０から指の形状を検出し、断面情報を決定してもよい。

また、本実施形態では、撮影装置１５０が光音響イメージング装置に備えられた光学カメラである場合について説明したが、光音響イメージング装置とは異なるいかなるイメージング装置であってもよい。例えば、撮影装置１５０は、被検体に超音波を送信し、反射した超音波から被検体情報をイメージングする超音波装置であってもよい。

以上説明したように、本実施形態に係るシステムによれば、ボリュームデータに断面情報に関する付帯情報が関連付けられていない場合であっても、モダリティ装置とは別の撮影装置によって得られたキャプチャ画像データから断面情報を取得することができる。また、本実施形態に係るシステムによれば、キャプチャ画像データから取得された断面情報に基づいて断面画像を生成することで、ユーザーが断面画像表示のための複雑な操作を行うことなく、所望の断面画像を表示させることが可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１０ モダリティ装置
１２０ 記憶装置
１３０ 画像処理装置
１４０ 表示装置

Claims (15)

1. ３次元医用画像データと撮影部位を表す撮影部位情報を含む付帯情報とが関連付けられたデータを取得するデータ取得手段と、
   前記データから前記付帯情報を取得し、複数の撮影部位と、各部位に対応する複数の断面の位置および姿勢とが対応付けられたルックアップテーブルに基づいて、該取得された付帯情報における撮影部位に対応する複数の断面の位置および姿勢を表す断面情報を取得する断面情報取得手段と、
   前記３次元医用画像データ及び前記撮影部位に対応する複数の断面の位置および姿勢を表す断面情報に基づいて、前記複数の断面に対応する断面画像データを生成する断面画像生成手段と、
   前記断面画像データに基づいた画像を表示手段に表示させる表示制御手段と、を有することを特徴とする画像処理装置。
2. 前記付帯情報は、前記断面情報を含み、
   前記断面情報取得手段は、前記データから前記断面情報を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記断面情報取得手段は、互いに異なる複数の前記断面を表す前記断面情報を取得し、
   前記断面画像生成手段は、複数の前記断面に対応する複数の前記断面画像データを生成し、
   前記表示制御手段は、複数の前記断面画像データに基づいた前記画像を前記表示手段に表示させることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記断面画像生成手段は、複数の前記断面のそれぞれに対応する前記３次元医用画像データを、互いに異なる厚さで投影することにより、複数の前記断面画像データを生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記３次元医用画像データと前記断面情報とを関連付けたデータを生成するデータ生成手段と、前記データを記憶手段に記録させる記憶制御手段と、を有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記表示制御手段は、第１方向を視線方向として得られる前記３次元医用画像データの第１画像と、前記第１方向とは異なる第２方向を視線方向として得られる、互いに異なる複数の断面に対応する第２画像と、を並べて前記表示手段に表示させ、前記第１画像に前記複数の断面を示す画像を重畳して表示させることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第２方向は、前記第１方向に垂直な方向であることを特徴とする請求項６に記載の画像処理装置。
8. 前記表示制御手段は、前記第１方向及び前記第２方向の少なくとも一方を変更可能に構成されていることを特徴とする請求項６に記載の画像処理装置。
9. 前記第１画像は手のひらの画像であり、前記第２画像は指の断面画像であり、前記複数の断面を示す画像は指の軸を示す画像であることを特徴とする請求項６に記載の画像処理装置。
10. ３次元医用画像データと付帯情報とが関連付けられたデータを取得するデータ取得手段と、
    前記データから前記付帯情報を取得し、前記付帯情報に基づいて断面を表す断面情報を取得する断面情報取得手段と、
    前記３次元医用画像データ及び前記断面情報に基づいて、複数の断面に対応する断面画像データを生成する断面画像生成手段と、
    前記断面画像データに基づいた画像を表示手段に表示させる表示制御手段と、を有し、
    前記断面画像生成手段は、前記複数の断面のそれぞれに対応する前記３次元医用画像データを、互いに異なる厚さで投影することにより、複数の前記断面画像データを生成することを特徴とする画像処理装置。
11. ３次元医用画像データと付帯情報とが関連付けられたデータを取得するデータ取得手段と、
    前記データから前記付帯情報を取得し、前記付帯情報に基づいて断面を表す断面情報を取得する断面情報取得手段と、
    前記３次元医用画像データ及び前記断面情報に基づいて、前記断面に対応する断面画像データを生成する断面画像生成手段と、
    前記断面画像データに基づいた画像を表示手段に表示させる表示制御手段と、を有し、
    前記表示制御手段は、第１方向を視線方向として得られる前記３次元医用画像データの第１画像と、前記第１方向とは異なる第２方向を視線方向として得られる、互いに異なる複数の断面に対応する第２画像と、を並べて前記表示手段に表示させ、前記第１画像に前記複数の断面に対応する第２画像を重畳して表示させることを特徴とする画像処理装置。
12. ３次元医用画像データと撮影部位を表す撮影部位情報を含む付帯情報とが関連付けられたデータを取得し、
    前記データから前記付帯情報を取得し、複数の撮影部位と、各部位に対応する複数の断面の位置および姿勢とが対応付けられたルックアップテーブルに基づいて、該取得された付帯情報における撮影部位に対応する複数の断面の位置および姿勢を表す断面情報を取得し、
    前記３次元医用画像データ及び前記撮影部位に対応する複数の断面の位置および姿勢を表す断面情報に基づいて、前記複数の断面に対応する断面画像データを生成し、
    前記断面画像データに基づいた画像を表示手段に表示させることを特徴とする画像処理方法。
13. ３次元医用画像データと付帯情報とが関連付けられたデータを取得し、
    前記データから前記付帯情報を取得し、前記付帯情報に基づいて断面を表す断面情報を取得し、
    前記３次元医用画像データ及び前記断面情報に基づいて、複数の断面のそれぞれに対応する前記３次元医用画像データを、互いに異なる厚さで投影することにより、複数の断面に対応する断面画像データを生成し、
    前記断面画像データに基づいた画像を表示手段に表示させることを特徴とする画像処理方法。
14. ３次元医用画像データと付帯情報とが関連付けられたデータを取得し、
    前記データから前記付帯情報を取得し、前記付帯情報に基づいて断面を表す断面情報を取得し、
    前記３次元医用画像データ及び前記断面情報に基づいて、前記断面に対応する断面画像データを生成し、第１方向を視線方向として得られる前記３次元医用画像データの第１画像と、前記第１方向とは異なる第２方向を視線方向として得られる、互いに異なる複数の断面に対応する第２画像と、を並べて表示手段に表示させ、前記第１画像に前記複数の断面に対応する第２画像を重畳して表示手段に表示させることを特徴とする画像処理方法。
15. 請求項１２から１４のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images