JP2005136594A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】 異なる時刻で撮像された対象物を示す第１画像と第２画像から対象物の経時変化が明瞭に識別できるような差分画像を生成する。
【解決手段】 差分画像が不明瞭なため差分画像から部分領域が指定されると、予め格納されている第１画像に対する第２画像の位置ずれまたは歪みを解消する座標変換用の第１パラメータを用いて画像間の位置を一致させてから部分領域に対応する第１画像の第１部分画像と第２画像の第２部分画像を抽出する。抽出された第１部分画像と第２部分画像について、画像間の位置づれまたは歪みひずみを解消する座標変換用の第２パラメータを算出し、この第２パラメータを用いて画像間の位置を一致させてから第１部分画像と第２部分画像の部分差分画像を生成し、差分画像に重ねて表示する。
【選択図】図８Ａ

Description

本発明は、画像処理装置、その制御方法、制御プログラム及び記憶媒体に関し、より具体的には、単純Ｘ線画像等の医療画像における被写体の経時変化を高精度かつ効果的に表示することができる画像処理装置、その制御方法及び記憶媒体に関する。

医療画像分野においては、近年ＣＡＤ（コンピュータ支援診断：Computer Aided Diagnosis）の研究が活発に行われており、単純Ｘ線、ＣＴ（コンピュータ断層撮影法）などの画像をコンピュータにより解析し、病変部分の疑いがある部分を検出することで、疾病の早期発見に貢献することが期待されている。

ＣＡＤには対象とする画像や検出対象により様々な種類が考えられているが、その中に同一部位を撮影した画像の差分を取ることにより、経時変化を強調した画像を得る経時差分方式によるＣＡＤ（経時差分ＣＡＤ）が注目されている。

経時差分ＣＡＤにおいては、例えば、時間的に異なる時点で撮影された１組の胸部単純Ｘ線画像を入力し、画像解析を行ってそれぞれの画像において解剖学的に同一となる位置を求め、現在又は過去のいずれか一方の画像を変形し、画素毎の差分処理を行う。

このような経時差分ＣＡＤの手法に関しては、例えば米国特許第５,９８２,９１５号公報等に開示されている（例えば、特許文献１）。同文献によれば、差分処理対象となる画像を所定の解像度となるように縮小し、縮小された画像間で差分処理を行って結果が出力される。例えば元画像が２０４８×２０４８の画素数を持つ画像は５１２×５１２の解像度に縮小された後に差分処理が行われるが、これは処理画素数を減ずることによる処理の高速化および差分画像における必要画質との関係で決定されている。

ところで差分画像は、正常な解剖学的構造が十分除去され、経時的な変化が生じた部分のみが差分信号として抽出されることが望ましい。これには、差分処理対象となる１対の画像の間で、被験者の姿勢および呼気の状態ができるだけ同一である必要がある。しかし、通常臨床現場においてこれらの項目を同一にして撮像を行うことには限界がある。

したがって、前掲の文献等において開示されているように、画像内に複数のＲＯＩ（Region of Interest :関心領域）を設定して複数のシフトベクトル量を求め、それらを非線型に補間して変形画像を作り、これを基にして差分処理を行っう方法が取られている。しかしながら、この差分処理を行ったとしても、２枚の画像間の位置合わせが完全に行われずに位置ずれに起因するアーチファクト（陰影）が生ずることがある。

このような場合は、２枚の画像間に微小な変化が生じた場合に、その変化の部分が経時的な変化が生じた部分なのか、あるいはアーチファクトに起因して発生したものなのか、区別がつきにくいという問題が発生する。そのため上記の区別がつきにくい場合には、差分画像観察時に例えば、拡大鏡等の機能を用いてより詳細な差分画像を表示して観察を行うことになるが、処理済みの差分画像を拡大表示しても差分処理前に解像度を下げているため十分な画質が得られない場合があった。
米国特許第５,９８２,９１５号公報

本発明は、上記説明した従来技術の問題点を解決することを出発点としてなされたものであり、その目的は、差分画像の観察時にアーチファクトの影響を排除した高精度の差分画像を提供できる画像処理装置及びその制御方法を提供することである。

上記目的を達成するための本発明に係る一実施形態の画像形成装置は、以下の構成を有する。すなわち、異なる時刻で撮像された対象物の第１画像と第２画像とから差分画像を生成する画像処理装置であって、前記第１画像と第２画像と、前記第１画像と第２画像間の位置ずれまたは歪みを解消する座標変換用の第１パラメータと、前記第１パラメータを用いて画像間の位置を一致させた後に生成された前記第１画像と第２画像間の差分画像とを予め格納する格納手段と、前記格納手段に格納されている前記差分画像を表示する表示手段と、前記表示手段に表示された前記差分画像内の部分領域が指定されると、前記第１パラメータを用いて前記第１画像と第２画像間の位置ずれまたは歪みを解消し画像間の位置を一致させてから前記部分領域に対応する前記第１画像内の第１部分画像と前記第２画像内の第２部分画像とを決定する決定手段と、前記決定手段によって決定された第１部分画像と第２部分画像間の位置ずれまたは歪みを解消する座標変換用の第２パラメータを算出し、該第２パラメータを用いて画像間の位置を一致させた後に前記第１部分画像と第２部分画像間の部分差分画像を生成する生成手段と、を有することを特徴とする。

ここで、例えば、前記第１パラメータは、２つの画像間で対象物の特徴的な位置を示す基準点の座標に対して所定変換式に基づいていずれか一方の画像の点座標を他方の点座標に座標変換するときに用いるパラメータを含むことが好ましい。

ここで、例えば、前記第１画像と第２画像は単純Ｘ線またはコンピュータ断層撮影法により撮像された画像であり、前記基準点は解剖学的に特徴的な部位の位置であることが好ましい。

ここで、例えば、前記生成手段は、前記所定変換式を用いて前記第２部分画像内に設定する第２設定領域の設定位置を、前記第２設定領域に対応して設定される前記第１部分画像内に設定する第１設定領域の設定位置に変換する変換手段を含むことが好ましい。

ここで、例えば、前記表示手段は前記格納手段に格納されている前記第１画像と第２画像とを前記差分画像と並べて表示することが好ましい。

ここで、例えば、前記生成手段は、前記部分領域の画像の解像度を選択する選択手段と、前記部分領域に相当する前記第１画像と第２画像のデータを前記格納手段から読み出し、該読み出したデータの画素サイズを前記選択手段によって選択された解像度となるよう変更する変更手段と、を含むことが好ましい。

ここで、例えば、前記格納手段に保存される前記第１画像と第２画像のデータは、圧縮符号化されたデータであることが好ましい。

上記目的を達成するための本発明に係る一実施形態の画像処理装置の制御方法は、以下の構成を有する。すなわち、異なる時刻で撮像された対象物の前記第１画像と第２画像と、前記第１画像と第２画像間の位置ずれまたは歪みを解消する座標変換用の第１パラメータと、前記第１パラメータを用いて画像間の位置を一致させた後に生成された前記第１画像と第２画像間の差分画像とを予め格納する格納手段を備える画像処理装置の制御方法であって、前記格納手段に格納されている前記差分画像を表示する表示工程と、前記表示工程により表示された前記差分画像内の部分領域が指定されると、前記第１パラメータを用いて前記第１画像と第２画像間の位置ずれまたは歪みを解消し画像間の位置を一致させてから前記部分領域に対応する前記第１画像内の第１部分画像と前記第２画像内の第２部分画像とを決定する決定工程と、前記決定工程によって決定された第１部分画像と第２部分画像間の位置ずれまたは歪みを解消する座標変換用の第２パラメータを算出し、該第２パラメータを用いて画像間の位置を一致させた後に前記第１部分画像と第２部分画像間の差分画像を生成する生成工程と、を有することを特徴とする。 上記目的を達成するための本発明に係る一実施形態の制御プログラムは、以下の構成を有する。すなわち、異なる時刻で撮像された対象物の前記第１画像と第２画像と、前記第１画像と第２画像間の位置ずれまたは歪みを解消する座標変換用の第１パラメータと、前記第１パラメータを用いて画像間の位置を一致させた後に生成された前記第１画像と第２画像間の差分画像とを予め格納する格納手段を備える画像処理装置を制御する制御プログラムであって、前記格納手段に格納されている前記差分画像を表示する表示工程のプログラムコードと、前記表示工程により表示された前記差分画像内の部分領域が指定されると、前記第１パラメータを用いて前記第１画像と第２画像間の位置ずれまたは歪みを解消し画像間の位置を一致させてから前記部分領域に対応する前記第１画像内の第１部分画像と前記第２画像内の第２部分画像とを決定する決定工程のプログラムコードと、前記決定工程によって決定された第１部分画像と第２部分画像間の位置ずれまたは歪みを解消する座標変換用の第２パラメータを算出し、該第２パラメータを用いて画像間の位置を一致させた後に前記第１部分画像と第２部分画像間の差分画像を生成する生成工程のプログラムコードと、を有することを特徴とする。

上記目的を達成するための本発明に係る一実施形態の画像処理装置は、以下の構成を有する。すなわち、異なる時刻で撮像された対象物の第１画像と第２画像とから差分画像を生成する画像処理装置であって、前記第１画像および第２画像の画像サイズを縮小する縮小手段と、前記縮小手段で縮小した第１画像と第２画像とから差分画像を生成する第１の差分画像生成手段と、前記第１の差分画像生成手段によって、生成された差分画像上で特定の領域を指定する領域指定手段と、前記第１画像および第２画像から前記特定の領域に対応する領域を抽出する抽出手段と、前記抽出手段によって、前記第１画像から抽出された領域と前記第２画像から抽出された領域とから差分画像を生成する第２の差分画像生成手段と、を有することを特徴とする。

上記目的を達成するための本発明に係る一実施形態の画像処理装置は、以下の構成を有する。すなわち、異なる時刻で撮像された対象物の第１画像と第２画像とから差分画像を生成する画像処理装置であって、前記第１画像および第２画像の画像サイズを縮小する縮小手段と、前記縮小手段で縮小した第１画像と第２画像とから差分画像を生成する第１の差分画像生成手段と、前記第１の差分画像生成手段によって、生成された差分画像上で特定の領域を指定する領域指定手段と、前記第１画像および第２画像の画像サイズを指定する画像サイズ指定手段と、前記第１画像および第２画像を前記画像サイズ指定手段によって指定された画像サイズに変更し、画像サイズが変更された第１画像および第２画像から前記特定の領域に対応する領域を抽出する抽出手段と、前記抽出手段によって、前記第１画像から抽出された領域と前記第２画像から抽出された領域とから差分画像を生成する第２の差分画像生成手段と、を有することを特徴とする。

上記目的を達成するための本発明に係る一実施形態の画像処理方法は、以下の構成を有する。すなわち、異なる時刻で撮像された対象物の第１画像と第２画像とから差分画像を生成する画像処理方法であって、前記第１画像および第２画像の画像サイズを縮小する縮小工程と、前記縮小工程で縮小した第１画像と第２画像とから差分画像を生成する第１の差分画像生成工程と、前記第１の差分画像生成工程によって、生成された差分画像上で特定の領域を指定する領域指定工程と、前記第１画像および第２画像から前記特定の領域に対応する領域を抽出する抽出工程と、前記抽出工程によって、前記第１画像から抽出された領域と前記第２画像から抽出された領域とから差分画像を生成する第２の差分画像生成工程と、を有することを特徴とする。

上記目的を達成するための本発明に係る一実施形態の画像処理方法は、以下の構成を有する。すなわち、異なる時刻で撮像された対象物の第１画像と第２画像とから差分画像を生成する画像処理方法であって、前記第１画像および第２画像の画像サイズを縮小する縮小工程と、前記縮小手段で縮小した第１画像と第２画像とから差分画像を生成する第１の差分画像生成工程と、前記第１の差分画像生成手段によって、生成された差分画像上で特定の領域を指定する領域指定工程と、前記第１画像および第２画像の画像サイズを指定する画像サイズ指定工程と、前記第１画像および第２画像を前記画像サイズ指定工程によって指定された画像サイズに変更し、画像サイズが変更された第１画像および第２画像から前記特定の領域に対応する領域を抽出する抽出工程と、前記抽出工程によって、前記第１画像から抽出された領域と前記第２画像から抽出された領域とから差分画像を生成する第２の差分画像生成工程と、を有することを特徴とする。

本発明によれば、差分画像を観察時において、表示された差分画像が不明瞭な場合でも、アーチファクトの影響を排除した高精度の差分画像を提供できる画像処理装置及びその制御方法を提供できる。

以下、本発明の実施の形態について、図面を参照して説明する。

＜第１実施形態＞
［画像処理装置の構成：図１］
図１は、本発明による画像処理装置の構成を示す図である。以下に同図を参照して本実施の形態における画像処理装置の動作について説明する。

撮像部１は、診断に用いられる医用画像を新たに生成する撮像装置、例えば、Ｘ線撮像装置等のモダリティである。本実施の形態においては胸部を対象とした単純Ｘ線撮像装置であるとするが、他の撮像装置、例えば、ＣＴ（コンピュータ断層撮影法）などであっても本発明の適用が可能である。

撮像部１により生成された画像は、保存部２に出力され保存される。保存部２はハードディスクドライブ、光磁気ディスクドライブ等の記憶装置であり、医療画像の保存システムとしては一般的な機能を有しているため本実施の形態においては詳細な説明は行わないが、同一患者の一連の画像が撮像日時・条件等の付加情報と共に互いに関連付けられて保存されている。

保存部２に保存された画像は、必要に応じて画像入力部３により読み出され、差分処理部４に出力される。ここで、読み出される画像は差分処理の対象となるために、同一患者の部位を異なる時刻で撮像した１対の画像（異なる時刻で撮像された対象物の第１画像と第２画像）であるが、２枚以上の画像が保存されている場合には、所定の選択基準により２枚が選択される。例えば、最新の画像（以下、現在画像という）とその１つ前の時点で撮像された画像（以下、過去画像という）が読み出されるが、この選択基準については、本発明に直接係わる部分ではないため、詳細説明は省略する。

ここで、画像入力部３により読み出された画像は、撮像時の解像度と同じとは限らず、本実施の形態においては、元画像（撮像時の画像）の解像度に対して所定の解像度に縮小された画像が読み出されるものとする。どの解像度に縮小するかの条件は予め設定されていても良いし、制御部５からユーザが対話的に与えても良い。

ここでは、制御部５には表示に際してのパラメータを入力するための入力機器（入力部）、例えばマウスやキーボード等が接続されているものとする。

画像を縮小する処理は画像入力部３において行われるものとするが、縮小処理は公知の技術により行うことができる。縮小処理としては、例えばガウシアンフィルタとサブサンプリングの組み合わせ等が考えられる。

なお、以降の説明においては、元画像の解像度は、例えば、２０４８×２０４８であり、差分処理用に縮小された画像の解像度は５１２×５１２であるとして説明する。ここでいう解像度とは、撮影された画像サイズを意味する。

差分処理部４は入力した２枚の画像に対して、差分処理を行い差分画像と差分処理過程におけるパラメータを保存部２に出力する。

制御部５は、ＲＯＭに格納された各種制御プログラムに基づいて、ＲＡＭを使用しながら画像入力部３，差分処理部４，表示制御部６などの各部を制御しながら図２や図８Ｂに示す処理を実行する。

［差分処理部の処理：図２］
図２は、差分処理部４の動作を示すフローチャートであり、同図を参照して差分処理部４の動作を説明する。

（ステップＳ４０１：全体マッチング）
ステップＳ４０１では、以下の手順により現在画像（第１画像）、過去画像（過去画像）の基準位置の検出、グローバルマッチングパラメータを算出する。

入力された２枚の画像（一方を現在画像、他方を所定の過去の時点で撮像された過去画像とする）に対して所定の基準位置が検出され、被写体の全体的なずれが求められる。基準位置としては、差分対象となる臓器の位置の基準を表すものが好ましい。例えば、胸部Ｘ線画像の場合は、右肺と左肺の最下端部の位置である肺底部、右肺の肺尖部と左肺の肺尖部との中点位置など対象部位の特徴的な部分が対象となる肺の概略位置を特定するのに適している。

図３Ａは基準位置の検出例である。同図において例えば(ａ)は現在画像、(ｂ)は過去画像であり、各々の画像において１つの肺尖部中点と２つの肺底部の３つの基準点（Ｐ１、Ｐ１’〜Ｐ３、Ｐ３’）が検出される。基準点の検出の方法については公知の方法（例えば”Image feature analysis of computer-aided diagnosis : Accurate determination of ribcage boundary in chest radiographs”, Xin-Wei Xu and Kunio Doi, Med. Phys. 22(5), May 1995など）によることが出来る。

次に検出した３対の基準点を元に２つの画像間の位置ずれを補正するパラメータ（位置ずれを解消し画像間の対応する位置を一致させるための座標変換用のパラメータ）を計算する。補正の方法としては、例えば(式 １)に示すアフィン変換を用いることが出来る。

ｕ＝ａｘ＋ｂｙ＋ｃ
ｖ＝ｄｘ＋ｅｙ＋ｆ (式 １)
上式においてｘ、ｙは過去画像の基準点座標値、ｕ，ｖは現在画像の基準点座標値を表し、ａ〜ｄは２つの画像間の回転および拡大を、ｅおよびｆは並行移動を表すパラメータであり、前述した３つの基準点の座標を元に上式のパラメータを決定すれば２つの画像間の全体的な位置ずれ量を決定して対応する点間における座標変換を行うことが出来る。

すなわち、過去画像の点(ｘ、ｙ)を現在画像における対応点（ｕ，ｖ）に変換することが可能となる。なおパラメータの決定方法に関しては、例えば（“画像解析ハンドブック”, 高木幹雄 監修、東京大学出版会、１９９１）に記載されているため詳細説明は省略する。また求められたパラメータは不図示のメモリに記憶される。なお、以降の説明でこれらのパラメータをグローバルマッチングパラメータと呼ぶ。

（ステップＳ４０２：ＲＯＩ設定）
ステップＳ４０２では、グローバルマッチングパラメータを用いて、過去画像中に設定されるＲＯＩ（Region of Interest :関心領域）の設定位置に対応する現在画像上のＲＯＩの設定位置を以下の手順により設定する。

差分処理部４は過去および現在画像に複数のＲＯＩを設定する。この時、２つの画像における、位置的に対応するＲＯＩはステップＳ４０１において求められた全体的な座標変換のパラメータ（ａ〜ｆ）に基づき決定される。

まず、過去画像中に複数のＲＯＩを設定する。各ＲＯＩは図３Ｂに示すように対象部位の特徴的な部分の位置を基準として、予め設定された間隔で水平および垂直方向にマトリクス上に設定される。すなわち、肺尖部中点P1と肺底部Ｐ２，Ｐ３で囲まれる範囲に、均等にＲＯＩを配置すればよい。

次に、過去画像に設定されたＲＯＩに対応する現在画像のＲＯＩの設定位置は以下の手順で決める。すなわち、過去画像におけるある１つのＲＯＩの設定位置（ｘ、ｙ）に対応する現在画像の設定位置（ｕ，ｖ）は(式 １)により計算される。これにより、後続の詳細マッチングを行う際に２つの対応するＲＯＩは解剖学的に略等しい位置に設定されることとなる。なお、本実施の形態においてはＲＯＩの大きさは予め決定されており、過去画像のＲＯＩサイズは現在画像のＲＯＩサイズよりも小さく設定されているものとする。

（ステップＳ４０３：詳細マッチング）
ステップＳ４０３では、以下の手順により上記設定された各ＲＯＩペアごとに最大のマッチ度を示す座標が計算され、図４（ｂ）に示すような２つの画像間のシフトベクトル（Δｘｉ、 Δｙｉ）が求められる。

ステップＳ４０２において、過去画像および現在画像に設定された対応するＲＯＩの間でマッチングを行い、各ＲＯＩのペア毎に最大のマッチ度を示す座標が計算される。ここで、マッチングは過去画像のＲＯＩを、対応する現在画像のＲＯＩに対して位置をずらしながら行うものとする。

マッチングの方法としては例えば相互相関、差分の最大値等の尺度を用いることが出来る。ここで最大のマッチ度を示す座標値間の差分を求めることにより、図４に示すように各ＲＯＩのペア毎に２つの画像間のシフトベクトル（Δｘｉ、 Δｙｉ）を求めることができる。

（ステップＳ４０４：シフトベクトル補間）
ステップＳ４０４では、ステップＳ４０３において求められた複数のシフトベクトルに基づいて、過去画像の任意の位置（ｘ、ｙ）に対応する、現在画像の設定位置（ｕ，ｖ）に座標変換するパラメータを求める。

ここで、本ステップでは２つの画像の位置合わせ方法がステップＳ４０２と比較して、より局所的な歪みを補正可能な方法であることが望ましい。そこで本実施の形態では座標変換方法として高次多項式を用いるとする。この場合は、（式 ２）に示す変換式におけるパラメータａｉｊおよびｂｉｊを先に述べたように公知の技術、例えば最小２乗法により求めればよい。

なお、以降の説明ではこれらのパラメータを詳細マッチングパラメータと呼ぶ。この詳細マッチングパラメータは先のグローバルマッチングパラメータと同様に不図示のメモリに記憶される。
（ステップＳ４０５：一方の画像変形）
ステップＳ４０４により求められた詳細マッチングパラメータを用いて、過去画像の座標を現在画像の座標に変換した変形画像を生成する。

（ステップＳ４０６：差分処理）
ステップＳ４０５により生成された過去画像を変形した画像と現在画像の画素毎の差分を計算し、計算結果を画素値とする差分画像を生成する。なお、ステップＳ４０５およびステップＳ４０６は区別せずに直接座標を変換しながら差分処理を行っても良い。この場合は過去画像を変形した画像を生成する必要はない。

（ステップＳ４０７：差分画像とパラメータ出力）
ステップＳ４０６において生成された差分画像と不図示のメモリに記憶されたグローバルマッチングパラメータ、詳細マッチングパラメータを保存部２に対して出力する。

以上の処理により、１対の画像（現在画像、過去画像）の差分処理が行われたことになる。このようにして、保存部２には予め現在画像、過去画像、差分画像、グローバルマッチングパラメータ、詳細マッチングパラメータが保存される。

［差分画像の表示：図５］
次に保存された差分画像などの表示における各種動作について説明する。この処理は、例えば、医師が差分画像を表示画面に表示させて胸部の経時変化を観察するときなど医師の指示に応じて制御部が制御プログラムに基づいて各部を制御しながら行う処理である。

図１において制御部５は画像の保存部２からの読み出しおよび表示に際しての様々な形態を制御する。

差分画像の表示に際し、制御部５は画像入力部３に対して保存部２から差分画像とそれを生成するときに用いた２枚の画像を出力するよう指示を与える。画像入力部３により読み出された画像は表示制御部６を介して表示部７に出力され、医師による読影が行われる。表示部７はＣＲＴモニタ等の画像表示装置であり、表示制御部６は読み出された画像を読影に適した形態に変換・配置するものであり、例えば、モニタの大きさに応じて画像を配置し、モニタの表示能力に応じた画素精度に変換を行う。

図５は２つのモニタから構成される表示部７での画像表示形態の概略図である。モニタ１には差分画像の生成に用いられた２つの画像が表示され、モニタ２には差分画像が表示されているが、必ずしもこの構成に限定されなくても良く、例えばモニタ１には現在又は過去のいずれか一方の画像を表示するようにしても良い。これらの表示方法についてはユーザがマウス等の入力機器から表示制御部５に指示を与えることで変更することが可能である。

［差分画像が不明瞭な場合の処理：図６］
次に、医師が差分画像を表示画面に表示させて胸部の経時変化を観察するときに、差分画像を識別できた場合、すなわち、２枚の画像間に微小な変化が生じたことを発見した場合において、差分画像が不明瞭なためその変化の部分が経時的な変化が生じた部分なのか、あるいはアーチファクトに起因して発生したものなのか、区別がつきにくい場合の処理について説明する。

図６はモニタ２における表示を拡大したものである。同図において差分画像の右肺において陰影Ｎが存在しているが、その陰影は小さく不明瞭であるとする。この時、医師が画面上から画像内の一部の領域Ｒ（陰影Ｎを含む領域）を指定し、さらに詳細な差分画像を生成する処理の開始動作を行う。

［部分差分画像の生成処理：図８Ｂ］
すなわち、図６におけるＣはマウスカーソルであり、図６に示すようにマウスを用いることにより陰影Ｎを含む領域Ｒが医師により設定される。領域Ｒを確定すると、医師（ユーザ）は差分処理実行ボタンＢをマウスでクリックする。すると、図８Ｂに示す差分処理が制御プログラムに基づいて制御部が５各部を制御しながら実行される。

まず、ステップＳ５０１において、差分処理実行ボタンＢが押下されたのを検出すると、モニタ２上に表示された差分画像に対応する現在画像、過去画像、マッチングパラメータに関する情報を取得する。

次に、ステップＳ５０２において、モニタ２上で設定された領域Ｒ（差分画像内の部分領域）の位置と大きさを検出し、検出した領域Ｒの位置と大きさを画像入力部３に出力される。

次に、ステップＳ５０３において、画像入力部３ではモニタ２上に表示された差分画像内に設定された領域Ｒに対応する現在画像の部分画像のデータと過去画像の部分画像のデータとを保存部２に保存された現在画像（図７（ａ））および過去画像（図７（ｂ））から抽出して差分処理部４に出力するが、この時、保存部２に保存されたグローバルマッチングパラメータおよび詳細マッチングパラメータのどちらか又は両方のマッチングパラメータを用いて保存部２に保存された現在画像からの部分画像と過去画像からの部分画像の抽出が行われる。

すなわち、先の差分処理（図２）においては、例えば、ステップＳ４０１またはステップＳ４０３において、過去画像と現在画像間の位置ずれまたは歪みを解消するためにグローバルマッチングパラメータまたは詳細マッチングパラメータを用いて過去画像を現在画像に重ね合わせるように変形した。したがって、差分画像において指定された領域Ｒは、現在画像の座標系を基準としているため、現在画像から部分的に画像データを抽出する際は差分画像において指定された領域Ｒの位置と大きさはそのまま現在画像から部分的に抽出される画像データの領域（図７（ａ））（部分画像）となるが、過去画像から部分的に画像データを抽出する際は、画像間の位置ずれまたは歪みを解消し画像間の位置を一致させるためにマッチングパラメータを用いて現在画像の座標系から過去画像の座標系に領域Ｒの座標値を変換しなければならない。このようにして、過去画像から指定された領域Ｒに対応する部分的に抽出される画像データの領域（部分画像）が得られる。

この時、抽出される領域Ｒが現在画像において矩形形状であっても、過去画像においては必ずしも矩形になるとは限らない。そこで、以下の説明では、図７（ｂ）に示すように過去画像の画像データに関しては、領域Ｒが過去画像に占める領域を含む矩形領域Ｒ’が抽出されるものとする。

次に、ステップＳ５０４において、これにより抽出された現在画像および過去画像の画像データは差分処理部４において領域Ｒの差分処理が行われ、差分画像ＳＩ’が生成される。この処理は、先に説明した図２の差分処理のステップＳ４０２〜ステップＳ４０７の処理と同じであり重複するのでその説明は省略する。 なお、ステップＳ５０４では、既に２つの領域ＲおよびＲ’の基準点（Ｐ〜ＱおよびＰ’〜Ｑ’）の対応は既知であるため、図２のステップＳ４０１の処理を行う必要はないため、図２のステップＳ４０２〜ステップＳ４０７のみの処理を行っている。また、図７に示すように領域ＲおよびＲ’の大きさが等しくない場合は、不足する画像データは全て０と仮定することにより、上記説明した同じ処理を適用することができる。

次にステップＳ５０５において、得られた差分画像ＳＩ’は直接表示制御部６を介して表示部７に出力される。ここで、本実施の形態においては、表示制御部６は図８Ａに示すように新たに生成された差分画像ＳＩ’を元の差分画像に重ね合わせて表示するが、画像サイズが異なるので、図６で指定した領域Ｒよりも大きく表示される。新たに生成された差分画像ＳＩ’は元の差分画像とは別画面（別ウィンドウ）に表示することもできる。ここで、差分画像ＳＩ’は元の画像（縮小される前の）から一部分を抽出したものであるため、元の画像と同じ画像サイズ（解像度）を有している。したがって、元の差分画像よりも高精細な差分信号を得ることが可能となる。

なお、上記の説明では、過去画像と現在画像間の位置ずれまたは歪みを解消するためにグローバルマッチングパラメータまたは詳細マッチングパラメータを用いて過去画像を現在画像に重ね合わせるように変形した。しかしながら、これは一例であり、上記説明した手法を用いると過去画像と現在画像間の位置ずれまたは歪みを解消するために現在画像を過去画像に重ね合わせるように変形することもできる。

なお、新たに生成された部分領域の差分画像は必要に応じて保存部２に保存するようにしても良い。

以上説明したように、差分画像を観察時において、表示された差分画像が不明瞭な場合でも、予め差分画像処理で得られて保存されている画像間の位置を一致させるパラメータを利用し、それに基づいて指定された領域のみの差分処理を縮小していない解像度の画像で、再度行うことにより詳細な部分差分画像を生成して表示することができる。

＜第２実施形態＞
第１実施形態においては、表示された差分画像が不明瞭な場合において、再度差分画像を生成する際には、元画像と同じ画像サイズ（解像度）で処理を行った。しかしながら、部分領域を指定する際に部分領域内の画素サイズ（解像度）を指定可能としても良い。このような機能は差分画像における詳細表示を行う陰影が比較的大きい場合に有効である。この処理について以下説明する。

図９は本実施の形態における拡大表示領域を指定する画面例である。第１実施形態と同様に、差分画像上で領域Ｒを選択すると同時に、マウスの右クリックにより表示されるポップアップメニューＰ等で表示解像度を指定する。

元の画像の画像サイズ（解像度）が２０４８×２０４８の場合同図に示すように、水平・垂直共に（１/２）^ｎ（ｎ＝１，２，３）の解像度の組み合わせが表示され、この中からユーザが表示を行う際の解像度に対応する画素サイズを決定する。例えば、画像サイズ（解像度）として１０２４×１０２４が選択された場合は、元の画素サイズに対して１/２のサイズが指定されたことになる。ここでいう画像サイズは、差分画像上での領域Ｒの画像サイズではなく、画像全体のサイズ（解像度）を意味している。

以上の操作により決定された差分画像における部分領域Ｒの位置・大きさと解像度は制御部５を介して画像入力部３に出力される。画像入力部３は保存部２に保存された現在および過去画像の指定領域Ｒに相当する部分を読み出し、さらに画像サイズ（解像度）が指定の大きさとなるよう縮小した後に差分処理部４に出力する。ここで、指定領域Ｒの抽出に関しては第１実施形態で説明したのと同じ処理方法を取ることが出来るので、重複する詳細説明は省略する。また、差分処理部４における再度の差分処理も第１実施形態で説明したのと同じ処理方法を取ることが出来るので、重複する詳細説明は省略する。

新たに生成された縮小画像は、図８Ａに示した第１実施の形態における表示形態と同様であるが、本実施の形態において拡大表示される部分の差分画像は水平垂直共に半分の大きさとなる。

＜第３実施の形態＞
第１実施形態においては、保存部２に保存される画像データは、圧縮符号化されている画像データではなかった。しかしながら、保存部２に保存される画像が圧縮符号化されている場合は、さらに効率的な処理を行うことも可能となる。

そこで、本実施の形態においては、保存部２における画像の保存形式がウェーブレット変換を利用した圧縮データとなっている場合の処理について以下説明する。さらに圧縮符号化の方式としては様々な形態が適用可能であるが、本実施の形態では画像データはＩＳＯ／ＩＥＣ１５４４４（以降ＪＰＥＧ２０００と呼ぶ）により圧縮されているとして説明する。

図１０はＪＰＥＧ２０００で画像ＩＭを圧縮する際の形態の一例である。同図(ａ)で画像ＩＭはタイルＴに分割され、タイル毎に独立して圧縮符号化される。

ここで現在画像及び過去画像がＪＰＥＧ２０００で圧縮符号化されて保存部２に保存されており、差分画像の部分拡大表示領域が図 １０(ａ)におけて網がけしたタイルに含まれる場合、画像入力部３は当該タイルの符号化データのみを保存部から読み出し、復号処理を行う。さらに、指定された画素サイズが水平・垂直共に１/２の場合、同図(ｂ)において斜線を付したサブバンドの符号に対して復号動作を行い、画像を復元する。その結果復元された画像は元のサイズに対して１/２の大きさを持つ。

この処理は現在及び過去画像の両方に対して行われ、復元された画像は差分処理部４に出力されて、第１の実施例で説明したのと同様な方法で差分画像が生成され、表示されるが、その説明は重複するのでここでの詳細説明は省略する。

＜その他の実施の形態＞
さらに、本発明は上記実施の形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（ＣＰＵあるいはＭＰＵ）に、上記実施の形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。

またこの場合、前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。

この様なプログラムコードを格納する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ-ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているＯＳ(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。

更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２、図８Ｂに示した処理を実現するプログラムが格納されることになる。

以上説明したように、本実施形態によれば、予め、第１画像と第２画像、第１画像と第２画像間の位置ずれまたは歪みを解消する座標変換用の第１パラメータ、第１パラメータを用いて画像間の位置を一致させた後に生成された第１画像と第２画像の差分画像、を予めメモリに格納しておき、この差分画像が表示画面に表示され差分画像内の部分領域が指定されると、第１パラメータを用いて画像間の位置を一致させて部分領域に対応する第１画像内の第１部分画像と第２画像内の第２部分画像を決定し、第１部分画像と第２部分画像間の位置ずれまたは歪みを解消する座標変換用の第２パラメータを算出し、第２パラメータを用いて画像間の位置を一致させた後に第１部分画像と第２部分画像間の部分差分画像を生成することができる。

そのため、表示された差分画像が不明瞭な場合（ユーザがこの差分画像を対象物の経時変化によるものなのかアーチファクトによるものなのか識別できない場合）でも、この表示される部分差分画像は最初に表示された差分画像より鮮明な画像なのでユーザは対象物の経時変化をより精度良く識別できる。

本発明による画像処理装置の全体構成図である。 差分画像生成処理のフローチャートである。 グローバルマッチング時の基準点検出例である。 過去画像中に複数のＲＯＩを設定する例を説明する図である。 シフトベクトル例である。 表示装置の構成である。 差分画像で示された陰影部分の指定例である。 現在画像と過去画像の抽出された部分領域を説明する図である。 再差分画像を差分画像に重ねて表示する例を説明する図である。 再差分画像生成処理のフローチャートである。 第２実施形態における領域指定説明図である。 画像のタイル分割説明図である。

符号の説明

１ 撮像部
２ 保存部
３ 画像入力部
４ 差分処理部
５ 制御部
６ 表示制御部
７ 表示部

Claims (14)

1. 異なる時刻で撮像された対象物の第１画像と第２画像とから差分画像を生成する画像処理装置であって、
   前記第１画像と第２画像と、前記第１画像と第２画像間の位置ずれまたは歪みを解消する座標変換用の第１パラメータと、前記第１パラメータを用いて画像間の位置を一致させた後に生成された前記第１画像と第２画像間の差分画像とを予め格納する格納手段と、
   前記格納手段に格納されている前記差分画像を表示する表示手段と、
   前記表示手段に表示された前記差分画像内の部分領域が指定されると、前記第１パラメータを用いて前記第１画像と第２画像間の位置ずれまたは歪みを解消し画像間の位置を一致させてから前記部分領域に対応する前記第１画像内の第１部分画像と前記第２画像内の第２部分画像とを決定する決定手段と、
   前記決定手段によって決定された第１部分画像と第２部分画像間の位置ずれまたは歪みを解消する座標変換用の第２パラメータを算出し、該第２パラメータを用いて画像間の位置を一致させた後に前記第１部分画像と第２部分画像間の部分差分画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１パラメータは、２つの画像間で対象物の特徴的な位置を示す基準点の座標に対して所定変換式に基づいていずれか一方の画像の点座標を他方の点座標に座標変換するときに用いるパラメータを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１画像と第２画像は単純Ｘ線またはコンピュータ断層撮影法により撮像された画像であり、前記基準点は解剖学的に特徴的な部位の位置であることを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記所定変換式を用いて前記第２部分画像内に設定する第２設定領域の設定位置を、前記第２設定領域に対応して設定される前記第１部分画像内に設定する第１設定領域の設定位置に変換する変換手段を含むことを特徴とする請求項２に記載の画像処理装置。
5. 前記表示手段は前記格納手段に格納されている前記第１画像と第２画像とを前記差分画像と並べて表示することを特徴とする請求項１に記載の画像処理装置。
6. 前記生成手段は、前記部分領域の画像の解像度を選択する選択手段と、
   前記部分領域に相当する前記第１画像と第２画像のデータを前記格納手段から読み出し、該読み出したデータの画素サイズを前記選択手段によって選択された解像度となるよう変更する変更手段と、
   を含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記格納手段に保存される前記第１画像と第２画像のデータは、圧縮符号化されたデータであることを特徴とする請求項１に記載の画像処理装置。
8. 異なる時刻で撮像された対象物の前記第１画像と第２画像と、前記第１画像と第２画像間の位置ずれまたは歪みを解消する座標変換用の第１パラメータと、前記第１パラメータを用いて画像間の位置を一致させた後に生成された前記第１画像と第２画像間の差分画像とを予め格納する格納手段を備える画像処理装置の制御方法であって、
   前記格納手段に格納されている前記差分画像を表示する表示工程と、
   前記表示工程により表示された前記差分画像内の部分領域が指定されると、前記第１パラメータを用いて前記第１画像と第２画像間の位置ずれまたは歪みを解消し画像間の位置を一致させてから前記部分領域に対応する前記第１画像内の第１部分画像と前記第２画像内の第２部分画像とを決定する決定工程と、
   前記決定工程によって決定された第１部分画像と第２部分画像間の位置ずれまたは歪みを解消する座標変換用の第２パラメータを算出し、該第２パラメータを用いて画像間の位置を一致させた後に前記第１部分画像と第２部分画像間の差分画像を生成する生成工程と、
   を有することを特徴とする画像処理装置の制御方法。
9. 異なる時刻で撮像された対象物の前記第１画像と第２画像と、前記第１画像と第２画像間の位置ずれまたは歪みを解消する座標変換用の第１パラメータと、前記第１パラメータを用いて画像間の位置を一致させた後に生成された前記第１画像と第２画像間の差分画像とを予め格納する格納手段を備える画像処理装置を制御する制御プログラムであって、
   前記格納手段に格納されている前記差分画像を表示する表示工程のプログラムコードと、
   前記表示工程により表示された前記差分画像内の部分領域が指定されると、前記第１パラメータを用いて前記第１画像と第２画像間の位置ずれまたは歪みを解消し画像間の位置を一致させてから前記部分領域に対応する前記第１画像内の第１部分画像と前記第２画像内の第２部分画像とを決定する決定工程のプログラムコードと、
   前記決定工程によって決定された第１部分画像と第２部分画像間の位置ずれまたは歪みを解消する座標変換用の第２パラメータを算出し、該第２パラメータを用いて画像間の位置を一致させた後に前記第１部分画像と第２部分画像間の差分画像を生成する生成工程のプログラムコードと、
   を有することを特徴とする画像処理装置を制御する制御プログラム。
10. 請求項９記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体。
11. 異なる時刻で撮像された対象物の第１画像と第２画像とから差分画像を生成する画像処理装置であって、
    前記第１画像および第２画像の画像サイズを縮小する縮小手段と、
    前記縮小手段で縮小した第１画像と第２画像とから差分画像を生成する第１の差分画像生成手段と、
    前記第１の差分画像生成手段によって、生成された差分画像上で特定の領域を指定する領域指定手段と、
    前記第１画像および第２画像から前記特定の領域に対応する領域を抽出する抽出手段と、
    前記抽出手段によって、前記第１画像から抽出された領域と前記第２画像から抽出された領域とから差分画像を生成する第２の差分画像生成手段と、
    を有することを特徴とする画像処理装置。
12. 異なる時刻で撮像された対象物の第１画像と第２画像とから差分画像を生成する画像処理装置であって、
    前記第１画像および第２画像の画像サイズを縮小する縮小手段と、
    前記縮小手段で縮小した第１画像と第２画像とから差分画像を生成する第１の差分画像生成手段と、
    前記第１の差分画像生成手段によって、生成された差分画像上で特定の領域を指定する領域指定手段と、
    前記第１画像および第２画像の画像サイズを指定する画像サイズ指定手段と、
    前記第１画像および第２画像を前記画像サイズ指定手段によって指定された画像サイズに変更し、画像サイズが変更された第１画像および第２画像から前記特定の領域に対応する領域を抽出する抽出手段と、
    前記抽出手段によって、前記第１画像から抽出された領域と前記第２画像から抽出された領域とから差分画像を生成する第２の差分画像生成手段と、
    を有することを特徴とする画像処理装置。
13. 異なる時刻で撮像された対象物の第１画像と第２画像とから差分画像を生成する画像処理方法であって、
    前記第１画像および第２画像の画像サイズを縮小する縮小工程と、
    前記縮小工程で縮小した第１画像と第２画像とから差分画像を生成する第１の差分画像生成工程と、
    前記第１の差分画像生成工程によって、生成された差分画像上で特定の領域を指定する領域指定工程と、
    前記第１画像および第２画像から前記特定の領域に対応する領域を抽出する抽出工程と、
    前記抽出工程によって、前記第１画像から抽出された領域と前記第２画像から抽出された領域とから差分画像を生成する第２の差分画像生成工程と、
    を有することを特徴とする画像処理方法。
14. 異なる時刻で撮像された対象物の第１画像と第２画像とから差分画像を生成する画像処理方法であって、
    前記第１画像および第２画像の画像サイズを縮小する縮小工程と、
    前記縮小手段で縮小した第１画像と第２画像とから差分画像を生成する第１の差分画像生成工程と、
    前記第１の差分画像生成手段によって、生成された差分画像上で特定の領域を指定する領域指定工程と、
    前記第１画像および第２画像の画像サイズを指定する画像サイズ指定工程と、
    前記第１画像および第２画像を前記画像サイズ指定工程によって指定された画像サイズに変更し、画像サイズが変更された第１画像および第２画像から前記特定の領域に対応する領域を抽出する抽出工程と、
    前記抽出工程によって、前記第１画像から抽出された領域と前記第２画像から抽出された領域とから差分画像を生成する第２の差分画像生成工程と、
    を有することを特徴とする画像処理方法。

Images