以下、本発明の実施の形態について図面を参照して詳細に説明する。
(第1の実施の形態)
まず患者に対して診察を行う診察医が読影レポートを見るための読影レポート表示装置1の構成及び機能について説明を行う。
図1は、本発明の実施の形態における読影レポート表示装置1の内部構成を示すブロック図である。ここで「読影レポート」とは、「検査報告書」とも表わされ、患者の検査の際に撮影(記録)された画像とともに、当該画像に基づいた読影医によって示される所見が記入されている。診察医は、この読影レポートに記載されている所見や参照画像や関連画像を基に、診察を行う。
読影レポートは、例えばDICOM(Digital Imaging and Communication in Medicine)を利用する場合、規格によってその構造が予め定められており、その構造に従って作成される。読影レポートの態様としては、例えば、図2に示すものを挙げることができる。図2では、読影レポート(検査報告書)Rが後述する読影レポート表示装置1のレポート表示部1gに表示された例を示している。読影レポートには、対象となる患者の氏名、検査日等のいわば患者情報に関する事項、所見を記入した読影医の氏名が記入される欄とともに、参照とされる画像及びこの画像を基にした所見を記入する欄が設けられている。図2に示す読影レポートRでは、2つの参照画像及びそれぞれの画像に対応した2つの所見が示されている。なお、読影レポートに示される所見或いは、参照画像の数はそのレイアウトにより単数、或いは複数いずれであっても良い。
読影レポート表示装置1は、図1に示すようにCPU(Central Processing Unit)1aと、ROM(Read Only Memory)1bと、RAM(Random Access Memory)1c及び入出力インターフェイス1dがバス1eを介して接続されている。入出力インターフェイス1dには、入力部1fと、レポート表示部1gと、通信制御部1hと、記憶部1iと、リムーバブルディスク1jと、レポート抽出部10とが接続されている。
CPU1aは、入力部1fからの入力信号に基づいてROM1bから読影レポート表示装置1を起動するためのブートプログラムを読み出して実行し、記憶部1iに格納されている各種オペレーティングシステムを読み出す。またCPU1aは、入力部1fや入出力インターフェイス1dを介して、図1において図示していないその他の外部機器からの入力信号に基づいて各種装置の制御を行う。さらにCPU1aは、RAM1cや記憶部1i等に記憶されたプログラム及びデータを読み出してRAM1cにロードするとともに、RAM1cから読み出されたプログラムのコマンドに基づいて、画像表示のための処理やデータの計算、加工等、一連の処理を実現する処理装置である。
入力部1fは、読影レポート表示装置1の操作者(例えば、診察医)が各種の操作を入力するキーボード、マウス等の入力デバイスにより構成されており、操作者の操作に基づいて入力信号を作成しバス1eを介してCPU1aに送信される。レポート表示部1gは、例えば液晶ディスプレイである。このレポート表示部1gは、CPU1aからバス1eを介して出力信号を受信し、例えば読影レポートの所見に関連する関連画像の抽出、生成やCPU1aの処理結果等を表示する。
通信制御部1hは、LANカードやモデム等の手段であり、読影レポート表示装置1をインターネットやLAN等の通信ネットワークに接続することを可能とする手段である。通信制御部1hを介して通信ネットワークと送受信したデータは入力信号または出力信号として、入出力インターフェイス1d及びバス1eを介してCPU1aに送受信される。
記憶部1iは、半導体や磁気ディスクで構成されており、CPU1aで実行されるプログラムやデータが記憶されている。
リムーバブルディスク1jは、光ディスクやフレキシブルディスクのことであり、ディスクドライブによって読み書きされた信号は、入出力インターフェイス1d及びバス1eを介してCPU1aに送受信される。
レポート抽出部10は、読影医によって作成された読影レポートをレポート表示部1gに表示させるために対象となる患者の所見や該当する参照画像や関連画像を抽出し、順次切り替えて表示させる動画を作成する。
ここで、「参照画像」とは、所見に直接関連づけられており、読影医が所見を記入する際に利用する画像のことである。すなわち、この参照画像が患者の様子を最も良く表わしている画像であるといえる。また、「関連画像」とは、参照画像のように所見とは直接関連づけられてはいないが、診察医が患者の診察を行う上で必要となる可能性のある画像のことである。そのため診察は診察医が読影レポートの記載及び関連画像を見つつ行うことが多い。従って、「関連画像」には参照画像が含まれても良い。以下の説明においては、「参照画像」と「関連画像」とを適宜まとめて「関係画像」と表わす。
なお、「参照画像」における「画像」とは、複数の静止画像を含む画像シリーズ中の1枚の静止画像であっても、或いは、1つのマルチフレームを構成する複数のフレーム(静止画像)の中の1枚(1フレーム)であっても良い。
また、本発明の実施の形態では、レポート抽出部10を読影レポート表示装置1に搭載した例を挙げて以下、説明を行う。但し、このレポート抽出部10は、読影レポート表示装置1から独立して存在し、図示しない通信ネットワークを介して読影レポート表示装置1と接続されるようにされていても良い。さらには、レポート抽出部10を含む読影レポート表示装置1、或いは、レポート抽出部10が例えば、病院情報管理システム(HIS:Hospital Information System)、放射線部門情報管理システム(RIS:Radiological Information System)、医用画像管理システム(PACS:Picture Archiving Communication System)といった医療機関内に構築された各種管理システムと組み合わされて用いられても良い。
この通信ネットワークの例としては、LAN(Local Area Network)やインターネット等のネットワークを挙げることができる。また、この通信ネットワークで使用される通信規格は、DICOM等、いずれの規格であっても良い。
また、本発明の実施の形態においてはレポート抽出部10が読影レポート表示装置1に読影レポートの提供を行うが、その処理はレポート抽出部10によってではなく、記憶部1i、或いはリムーバブルディスク1jに格納されているレポート表示プログラムを利用することで行うこともできる。この場合は、これらに格納されているプログラムがCPU1aに読み込まれ実行されることにより、レポート抽出部が読影レポート表示装置1に実装されることになる。
図3は、本発明の第1の実施の形態におけるレポート抽出部10の内部構成を示すブロック図である。レポート抽出部10は、入力部1fからの指示等を受信する受信部11と、レポート選択部12と、レポートデータベース13と、表示所見抽出部14と、関係画像算出部15と、画像データベース16と、表示画像抽出部17と、レポート表示部1gに表示対象となる所見及び画像を送信する送信部18と、所見選択部19とから構成される。なお、レポートデータベース13及び画像データベース16については、図3においてはそれぞれ「レポートDB13」、「画像DB16」と示している。
レポート選択部12は、診察医が読影レポートを利用しての患者の診察を開始するに当たって、診察医が指示する該当する患者の表示対象とする読影レポートの選択指示を確認する。表示所見抽出部14は、表示対象のレポートに関する所見をレポートデータベース13から抽出する。レポートデータベース13内には、読影医によって作成された所見が記憶されている。記憶の方法については特に言及しないが、例えば、患者ごと、検査ごと等、或いは複数の記憶方法を組み合わせた方法等を挙げることができる。
関係画像算出部15は、表示所見抽出部14によって抽出された所見に関する情報を受信し、対応する参照画像及び関連画像を算出する。表示画像抽出部17は、この関係画像算出部15からの指示に基づいて該当する関係画像を画像データベース16から抽出するとともに、複数抽出された関連画像(群)を順次切り替えて表示可能に加工する。表示画像抽出部17によって抽出された関連画像(群)は送信部18を介して送られて表示される。画像データベース16内には、例えば、画像生成の際の素材となるボリュームデータ等ではなく、画像データそのものが記憶されている。
なお、画像データベース16から抽出される関連画像は、1つの所見に関し複数枚である。さらに、読影レポートに複数の所見が記入されている場合は、それぞれの所見に対応する関連画像も複数となる。従って、これらの所見に対応させて抽出される関連画像は、読影レポート上では正確には関連画像(群)とも言えるものではあるが、以下ではまとめて「関連画像」と表わす。
所見選択部19は、関係画像が参照画像を介して特定の所見と関連付けられていることに着目して、ある特定の所見が選択されたことを確認し、この所見に対応する関連画像を表示すべく、関係画像算出部15に指示を出す。
次に、レポート抽出部10を構成する各部の働きを、図4に示す本発明の実施の形態における読影レポートを読影レポート表示装置1にて表示させるまでの流れを示すフローチャートを利用しつつ説明する。
診察医は、読影レポート表示装置1を利用して読影レポートを表示させつつ患者の診察を行う。そこでまずは対象となる患者に関する読影レポートを選択する。読影レポート表示装置1では、この診察医からの読影レポートの選択信号を受信すると(ST1)、当該信号が受信部11を介してレポート選択部12へと送信される。
診察医が簡易に読影レポートを読み出すことができるように、読影レポートは、例えば、患者ごと、或いは、検査部位ごと等にリスト化されている。レポート選択部12は、例えば、患者ごとにリスト化されている場合には、診察医によって入力された対象となる患者の患者IDや氏名等の患者情報を基に該当する患者に関する所見リストをレポート表示部1gに表示させる(ST2)。これらのリストは、レポート選択部12内に記憶されていても、或いは、レポート表示装置1の記憶部1iに記憶されていても良い。
患者ごとにリスト化されている場合、診察医によってこれらのリストから必要とされる読影レポートが選択されると、レポート選択部12が選択された読影レポートの所見を確認し(ST3)、この所見の情報に基づいて表示所見抽出部14がレポートデータベース13から選択された患者の該当する所見を抽出する。レポートデータベース13から抽出された所見は、送信部18を介してレポート表示部1gへと送信され読影レポートの一部として表示される(ST4)。
ここで、診察医が読影レポートを選択したことに基づき表示所見抽出部14によって所見がレポートデータベース13から抽出されるのは、以下の理由からである。すなわち、読影医は、参照画像を基に所見を作成する。所見を含む作成された読影レポートは、図2に示したように参照画像と所見とが対応づけられて構成される。
但し、所見及び参照画像は読影レポートの形式で保存されるわけではなく、一般的には所見は所見のみを保存するレポートデータベース13に、参照画像は参照画像を含む関係画像を保存する画像データベース16に分けて保存されることが多い。そのため、診察医が読影レポートを閲覧する場合に、診察医は確かに読影レポートのリストから必要とする読影レポートの選択を行うことになるが、実際には所見はレポートデータベース13から、参照画像は画像データベース16からそれぞれ該当する所見、参照画像が抽出されて読影レポートとして構成された上でレポート表示部1gに表示される。
なお、本発明の実施の形態においては、図3に示すようにレポートデータベース13及び画像データベース16はともにレポート抽出部10内に構成されているが、それぞれの機能が発揮されるのであれば、例えば、レポートデータベース13及び画像データベース16の一方、或いは、両方ともレポート抽出部10外に設けられていても良い。また、レポートデータベース13と画像データベース16とが同一のデータベースであることも妨げない。
一方、表示所見抽出部14は、選択(抽出)された所見に関する情報を関係画像算出部15へと送信する。関係画像算出部15はこの選択された所見に対応する参照画像を検索する。その上でこの参照画像に関する情報を表示画像抽出部17に送信し、表示画像抽出部17は選択された所見に対応する参照画像を画像データベース16から抽出する(ST5)。
表示画像抽出部17によって抽出された参照画像は、送信部18を介してレポート表示部1gへと送られ所見とともに読影レポートとして表示される(ST6)。この状態でこれまでの読影レポートと同様、図2に示すような患者情報等とともに、所見及びこの所見に直接関連付けられた参照画像がレポート表示部1gに表示される。
本発明の実施の形態においては、さらに、診察医からの選択した所見及び抽出された参照画像に対応する関連画像の表示指示を受信すると(ST7)、表示画像抽出部17は、選択された所見に対応する参照画像に関する情報を基に複数の関連画像を画像データベース16から抽出し表示する(ST8)。
読影レポートに表示される参照画像には、表示対象となる部位の位置に関する情報、または方向に関する情報のいずれか一方、或いは両方が基本的な情報として付加されている。従って、参照画像に対応して表示される関連画像が抽出される場合、参照画像の位置情報等が基とされる。
これまでの読影レポートに直接表示されているのは参照画像のみであり、診察医が確認したい参照画像以外の所見に関連する可能性のある関連画像は読影レポート上では直接示されていない。そしてこれら関連画像を表示させるには上述したような操作数が増える、読影レポートを表示させつつ関連画像まで表示させにくい、といった不便さがある。
そこで、この不便さを解消するために本発明の実施の形態においては、参照画像の他に関連画像を抽出し表示させる。また、関連画像を抽出してそのまま表示させるのではなく、動画像として表示させる。このように、1つの所見に対応する参照画像が表示されるだけではなく、関連画像が動画像として併せて読影レポートに表示されることによって、診察医は迅速かつ深く所見を理解することが可能となる。
ここで関連画像にいう「画像」とは、複数の静止画像を含む画像シリーズ中の複数枚の静止画像であっても、或いは、1つのマルチフレームを構成する複数のフレーム(静止画像)であっても良い。
いずれの関連画像を抽出するかに関する情報(抽出方法)は、関係画像算出部15から表示画像抽出部17へと送信される。本発明の実施の形態においては、関連画像を動画像として表示させるため、抽出される関連画像は複数枚である。なお、ここで「動画像」とは、複数枚抽出される関連画像を順次切り替えて表示される動きのある画像のことである。また、例えば、患者の検査部位に造影剤を注入してその流れを表示させる、といった画像もここにいう「動画像」から特に除かれるものではない。さらには、動画像の表示速度も任意に設定することが可能である。
所見選択部19は、診察医が選択した、動画像で表示要請のあった関連画像に対応する所見を確認する。所見選択部19での選択された所見に関する情報確認の後、当該所見情報を所見選択部19は関係画像算出部15へと送信する。関係画像算出部15では動画像で表示させる関連画像に関する情報を算出し、後述する抽出方法とともに表示画像抽出部17へと送信する。
図5ないし図10は、本発明の実施の形態における読影レポートにて表示させる関連画像について説明を行うための説明図である。特に図5ないし図8は、単一の画像シリーズの中から複数の関連画像を抽出する方法について示したものである。いずれの図においてもマルチフレームを構成するフレーム(関連画像)が複数枚示されており、そのうち参照画像は、特に網掛けで示している。表示画像抽出部17は、関係画像算出部15によって算出された関連画像に関する情報及びその抽出方法に基づいて画像データベース16から抽出する。以下に複数の算出方法を説明するが、これらの算出方法は予め設定しておくことも、読影レポートを見て診察する診察医によって設定することも可能である。
図5は、所見に関連付けられた参照画像を中心に、前後複数枚ずつの関連画像を抽出する方法(以下、説明の便宜上「第1の方法」と表わす)を示したものである。この方法では、シリーズの中で参照画像を中心として前後複数枚の画像を関連画像として捉え、これらを関連画像として表示画像抽出部17が画像データベース16から抽出する。図5では、参照画像を中心として前後2枚の画像を関連画像として算出している。
ここで、参照画像を含む複数枚の関連画像、というように指定することが可能なのは、各々の画像には画像番号、或いはフレーム番号(以下、これらをまとめて「画像番号等」と表わす)が付与されているからである。
なお、参照画像を中心に前後何枚の関連画像を抽出するかは、予め設定しておくことも、或いは、読影レポートを読む診察医によって指定されても良い。また、例えば、心電図(ECG:electrocardiogram)同期の予め設定されている拍数分を関連画像として、或いは、参照画像を含む、造影中の画像に限定して抽出枚数が決められても良い。
また、図5に示す方法ではないが、参照画像に付与されている画像番号等を基準に、当該画像番号等以降の画像番号等を有する複数の画像を関連画像として算出することも、或いは、当該画像番号等以前の画像番号等を有する複数の画像を関連画像として算出することも可能である。
図6は、複数の所見に関連付けられた参照画像がそれぞれの所見に合わせて複数読影レポートに表わされている場合の関連画像の抽出方法(以下、説明の便宜上「第2の方法」と表わす)を示すものである。
図6に示す方法は、最も小さな画像番号等が付与されている参照画像と最も大きな画像番号等が付与されている参照画像との間に挟まれる複数の画像を関連画像として、関係画像算出部15が算出し表示画像抽出部17が画像データベース16から抽出する。図6には3枚の参照画像が示されているが、参照画像a(最も小さな画像番号等が付与されている参照画像)と参照画像c(最も大きな画像番号等が付与されている参照画像)との間に挟まれる、参照画像bを含む複数の画像を関連画像として抽出する。
図7は、図6同様、複数の所見に関連付けられた参照画像がそれぞれの所見に合わせて複数読影レポートに表わされている場合の関連画像の抽出方法を示すものである。但し関連画像を算出する方法が異なり、2段階に分けて関連画像を算出する。
図7に示す方法では第1段目の算出として、まず各参照画像ごとに、参照画像を中心として前後何枚かの関連画像をそれぞれ算出する。その後第2段目の算出として、最も小さな画像番号等が付与されている関連画像と最も大きな画像番号等が付与されている関連画像との間に挟まれる複数の画像を関連画像として算出する。すなわち、図5及び図6を示して説明した第1の方法及び第2の方法を組み合わせて関連画像を算出する方法である(以下、説明の便宜上「第3の方法」と表わす)。
ここで第1段目の算出の際、すなわち、各参照画像を含む前後複数枚の関連画像が算出される際、いずれかの参照画像に基づいた関連画像として算出されない画像が発生しうる。図7に示す説明図であれば、参照画像a,b,cを中心に前後1枚ずつの画像が関連画像として算出されているが、参照画像bと参照画像cとの間には参照画像bと参照画像cとによって関連画像として算出されない画像が2枚が存在する(これらの画像を便宜上画像d1,d2と表わす)。第3の方法においては、第2段目の算出によってこれら画像d1,d2も関連画像として算出される。
図8は、図7に示す第3の方法の変形例ともいえる(以下、説明の便宜上「第4の方法」と表わす)。すなわち、第4の方法において、第1段目の算出方法として参照画像を中心として前後何枚かの画像を関連画像として算出するのは第3の方法と同様である。
但し、第2段目の算出方法に違いがある。第3の方法においては、参照画像の関連画像として算出されない画像であっても、複数の参照画像に基づいて算出された関連画像であって、最も小さな画像番号等が付与されている関連画像と最も大きな画像番号等が付与されている関連画像との間に挟まれる複数の画像であれば、まとめて関連画像として扱われる。
一方第4の方法では、第1段目の算出で各参照画像がその前後複数枚の画像を関連画像として算出し、第2段目の算出において第1段目の算出で関連画像として算出された画像をそれぞれ複数の関連画像群として把握する。従って、各関連画像群の間に参照画像の関連画像として算出されない画像が発生してもそれらをまとめて1つの関連画像として取り扱うことはしない。
図8に示す画像を例に挙げて説明すると、関係画像算出部15は、各参照画像a,b,cそれぞれを中心として前後の画像1枚を関連画像として算出する。その際、参照画像bと参照画像cとの間にいずれの参照画像の関連画像としても算出されない2枚の画像e1,e2が発生する。第4の方法においては、これら2枚の画像e1,e2は参照画像bの関連画像と参照画像cの関連画像の間に挟まれるが、関連画像として算出されていないことを理由に、ここでは関連画像と扱われない。
図9及び図10は、複数の画像シリーズの中から複数の関連画像を抽出する方法について示したものである。まず複数の所見に対応して複数の画像シリーズ(ここでは画像シリーズ1ないし3)のそれぞれに参照画像が算出されている。図9では、各画像シリーズにつき1枚ずつ参照画像が算出されている。また関連画像の算出は、例えば、上述した第1の方法及び第2の方法に示したように、参照画像を中心に前後複数枚の画像が関連画像として算出されている。図9に示す説明図においては、各画像シリーズにつき1枚の参照画像が選択され、それぞれの参照画像につき、その参照画像を中心として前後各1枚の画像が関連画像として算出されている。表示画像抽出部17は、関係画像算出部15から指示された方法に基づいて画像データベース16から関連画像を抽出する。
関係画像が抽出される画像シリーズが複数になっただけであり、各画像シリーズにおける参照画像及び関連画像の算出の仕方は上述した第1の方法ないし第4の方法のいずれを採用しても良い。
図10にも複数の画像シリーズが示されている。これは、例えば、それぞれ心拍を示す複数の画像シリーズを基に、複数の画像シリーズから同じ時間でのそれぞれ特徴的な画像を複数参照画像として算出した上で、これらの参照画像に関係する関連画像をそれぞれ算出する場合である。すなわち、共通する時間(例えば、心拍の期間)で複数の画像シリーズ(ここでは画像シリーズ1ないし3)において関係画像を算出することによって、後述するように動画像としてフォーマットされた場合に、画像で示される部位の様子がよりわかり易く表示される。
以上、図5ないし図10を用いて関連画像の算出について説明したが、関係画像算出部15による抽出方法に関する情報及び選択された所見に関する情報に基づいて表示画像抽出部17が画像データベース16から関連画像を抽出する。抽出された関連画像は、表示画像抽出部17において、例えば、小さな画像番号等から大きな画像番号等が付与されている関連画像を順次切り替えて表示できるように加工される(ST9)。このように表示画像抽出部17が複数枚の関連画像を順次切り替えて表示できるようにすることで、読影レポート上に表示された場合、参照画像を含む動画像として表わされる。表示画像抽出部17は、動画像の情報を送信部18を介してレポート表示部1gに送信して表示させる(ST10)。
なお、以上の説明においては、所見選択部19によって関連画像の表示対象となる所見が選択されたことを契機として選択された所見に対応する関連画像を動画表示させるまでを説明した。但し、例えば読影レポート上には所見が1つしか記入されていない場合には、診察医が注目する所見は限られるので、特に関連画像の表示対象となる所見が診察医によって選択されなくとも自動的に関連画像を算出、抽出するとともに動画像で表示するようにレポート表示装置1を設定することも可能である。
所見選択部19は読影レポートに複数の所見が記入されている場合に、特にその機能を発揮する。すなわち、読影レポートを見ている診察医が注目する所見の選択指示を所見選択部19が受信すると、選択された所見が読影レポート内のいずれの所見であるかを確認し、関係画像算出部15に選択された所見の情報を送信する。その後は上述したように、関係画像算出部15では選択された所見に対応する参照画像及び関連画像を算出し、表示画像抽出部17へ伝える。表示画像抽出部17では、選択された所見に対応する参照画像を示すとともに関連画像を動画像で表示させる。
診察医は、適宜所見を選択することで、選択された所見に対応する参照画像が表示されるとともに、併せて関連画像も動画像で表示される。
以上説明したように、読影レポートに表示される所見及び、当該所見に直接関連づけられている参照画像の他、当該所見に関連する関連画像を抽出して動画像表示させることによって、読影レポートを利用する診察医に対して所見に関係する画像を適宜見やすく表示させることができ、診察医の理解の向上を図りつつ簡易な操作性を実現することで診察効率の向上を図ることができる読影レポート表示装置を提供することができる。
図11は、上述したように本発明の実施の形態における読影レポート表示装置1にて表示される読影レポートを例示して示す画面例である。レポート表示部1gには読影レポート(検査報告書)が表示されている。
図11に示す読影レポートでは、患者情報の他、所見は3つ(XないしZの領域)、参照画像Mは1つ、関連画像Nも1つ表示されている。参照画像Mを表示する領域は1つしか設けられていないが、上述したように、特定の所見が選択された場合には、選択された所見に対応する参照画像Mが表示される。また、当該所見及び参照画像に関連する関連画像も動画像で表示される。図11ではフィルム状に示されている領域が関連画像Nの表示の領域である。ここで関連画像Nが動画像表示される。
なお、読影レポート上において、動画像がいずれの位置において再生されるかは任意に設定することができる。また、所見欄、参照画像欄、関連画像欄は読影レポート上においてどのような位置に配置されていても良い。
(第2の実施の形態)
次に本発明における第2の実施の形態について説明する。なお、第2の実施の形態において、上述の第1の実施の形態において説明した構成要素と同一の構成要素には同一の符号を付し、同一の構成要素の説明は重複するので省略する。
第2の実施の形態においては、読影レポートにおける所見の表示領域を強調して表示する点に特徴がある。すなわち、第1の実施の形態においても説明した通り、所見とこの所見に対応する参照画像及び関連画像は互いに関連付けられている。そして、選択された所見が異なれば、当然表示される参照画像及び関連画像は異なる。
但し、複数の所見が読影レポート表示されている場合、表示される参照画像及び関連画像がいずれの所見に対応するものであるかが不明となることも考えられる。従って、そのようなことが発生しないように、第2の実施の形態におけるレポート表示装置30は表示されている参照画像及び関連画像に対応する所見を強調して表示させる機能を備えた。
図12は、第2の実施の形態におけるレポート抽出部30内の内部構成を示すブロック図である。新たに追加されるのは、所見強調判定部51である。また、図13は、本発明の第2の実施の形態における読影レポートの任意の所見を強調表示させて読影レポート表示装置にて表示させるまでの流れを示すフローチャートである。
まず、関係画像を基準に対応する所見を強調して表示させる流れについて説明する。説明の前提として、読影レポート上に複数の所見及び、いずれかの所見に関係する関係画像が表示されており、診察医が現在表示されている関係画像に対応する所見を強調して表示させる場合を想定する。
診察医が現在表示されている関係画像を選択する。この際、強調表示を行う方法については、どのような方法で行っても良い。例えば、所見強調ボタン等のボタンを予めレポート表示装置1に設定しておき、診察医が強調表示の対象としたい所見に対応する関係画像を選択して所見強調ボタンを押して、或いは、所見強調ボタンを押した後に関係画像を選択することによって行われる。
現在表示されている関係画像が選択されることによって、所見強調判定部51は現在表示されている関係画像についての画像番号等の情報を取得する。この情報は、いわば現在表示されている関係画像に関係して強調表示させる所見を特定する情報であるといえる(ST21)。併せて、所見強調判定部51は入手した関係画像に関する情報を基に、表示所見抽出部14から対応する所見に関する情報も入手する(ST22)。強調して表示させる所見に関する情報は、入手した現在表示されている関係画像に関する情報を所見強調判定部51から表示所見抽出部14へ送信し、その応答として入手しても良い。或いは、表示所見抽出部14から現在表示されている所見に関する情報を入手し、当該情報と所見強調判定部51において入手している関係画像に関する情報とをつき合わせても良い。このようにして強調して表示させる所見を確認、特定する(ST23)。
所見強調判定部51において強調して表示させる所見が特定されると、該当する所見を強調して表示させるよう、送信部18を介してレポート表示部1gに指示する(ST24)。
一方、強調表示の対象とする所見を直接選択して表示させる流れについて説明する。まず、診察医からの強調表示の指示に関する信号を所見選択部19が受信する(ST25)。ここでは、複数の所見が読影レポートに記入されている場合に、初めに1つの所見を強調して表示させたが、その後新たに強調して表示させる所見を選択する場合を念頭に置いて説明を行う。従って、所見を強調して表示させる流れについては、上述した関係画像を基準に対応する所見を強調して表示させる流れに続けて説明する。
所見選択部19では、いずれの所見が選択されたか確認した上で(ST26)、強調表示の対象となる所見を強調して表示させるために所見強調判定部51に選択された所見に関する情報を送信する。所見強調判定部51は、受信した情報を基に抽出された所見を強調して表示させるよう、送信部18を介してレポート表示部1gに指示する(ST27)。
一方、所見選択部19は、強調表示の対象となる所見の関係画像を特定し(ST28)、関係画像算出部15に送信する。関係画像算出部15では当該強調表示の対象となる所見に関連する関係画像を算出し、表示画像抽出部17に対して関係画像に関する情報を送信する。表示画像抽出部17は、当該所見に関係する参照画像及び関連画像について読影レポート上に表示させる(ST29)。この状態では、選択させた所見が読影レポートの他の所見よりも強調されて表示されるとともに、当該所見に対応する参照画像及び関連画像が読影レポート上に表示されている。
図14は、本発明の第2の実施の形態における読影レポート表示装置にて表示される強調された所見を含む読影レポートを例示して示す画面例である。図14に示す読影レポートは図11に示す読影レポートとそのレイアウト等は同一であるが、選択された所見を示す欄が他の所見欄より太い線で囲まれ、一見して強調されて表示されていることが理解できる。
また、図14に示す読影レポートでは、3つある所見欄XないしZのうち2つの所見欄X及びYについて強調表示されている。さらに、強調表示されている所見欄Xと所見欄Yとでは、強調表示されていない所見欄Zとの差異を明確にするだけではなく所見欄Xと所見欄Y両者の違いも理解できるように強調表示されている。
なお、強調表示の方法としては、強調表示の対象となる所見欄の周囲を強調して表示する方法の他、例えば、所見を示す文字のフォントに色を付したり下線を付したりして文字体裁を変更する、該当する所見欄の背景を変更する、或いは、強調表示の対象となる所見欄以外の所見を非表示とする等、どのような方法であっても良い。
また、複数の所見に対して強調表示する指示が出された場合であって、それぞれの所見に対応する関係画像が表示される際には、実際に読影レポート上に表示されている関係画像に対応する所見をより強調して表示するようにしても良い。従って、例えば上述した所見欄X及び所見欄Yの両者が強調表示されている場合であって、両者に関係する画像が交互に表示される場合、表示される関係画像が切り替わるごとに対応する所見欄が強調されて表示される。
以上説明したように、読影レポートに表示される所見及び、当該所見に直接関連づけられている参照画像の他、当該所見に関連する関連画像を抽出して動画像表示させることによって、読影レポートを利用する診察医に対して所見に関係する画像を適宜見やすく表示させることができ、診察医の理解の向上を図りつつ簡易な操作性を実現することで診察効率の向上を図ることができる読影レポート表示装置を提供することができる。
特に診察医が気になる所見を強調して表示させることによって読影レポートの内容についての認識が高まるため、より適した診察を行うことに資する。また、表示されている関係画像と対応する所見との関係を都度確認しなくても、読影レポート上で表示されている関係画像に対応する所見が強調して表示されているため、表示されている関係画像と対応する所見との関係が不明となることはない。
(第3の実施の形態)
次に本発明における第3の実施の形態について説明する。なお、第3の実施の形態において、上述の第1、第2の実施の形態において説明した構成要素と同一の構成要素には同一の符号を付し、同一の構成要素の説明は重複するので省略する。
第3の実施の形態では、所見及び参照画像に対応して表示される関連画像が3次元(以下、適宜「3D(3 dimensional)」と表わす。)となる点に特徴がある。すなわち、第1及び第2の実施の形態における画像データベース16内には参照画像等の画像データそのものが記憶されていた。これに対して、図15に示す第3の実施の形態におけるレポート抽出部40内の画像データベース52には、参照画像のための画像データの他、X線診断装置やCT(computed tomography:コンピュータ断層撮影)装置といった医用画像撮影装置(モダリティ)によって撮影された患者のボリュームデータも記憶されている。
なお、図15に示すレポート抽出部40には、第2の実施の形態において説明した所見強調判定部51は示されていないが、当然のことながら所見強調判定部51をその内部に備えるようにしても良い。
第3の実施の形態における読影レポートの所見には、所見に対応する3D画像を表示させるための表示角度等の表示パラメータが併せて記憶されている。表示所見抽出部14は、レポートデータベース13から抽出した所見を表示させるとともに、所見に関する情報を関係画像算出部15に送信する。なお、所見に併せて記憶される表示パラメータは、単数、或いは、複数のいずれであっても良い。また、以下の説明では表示パラメータが表示角度である場合を例に挙げて説明する。
関係画像算出部15では、所見に関連付けられて記憶されている表示パラメータを基に読影レポートに3D画像として表示させるための関連表示パラメータを算出し、表示画像生成部53へと送る。表示画像生成部53は、関連表示パラメータに従って画像データベース52に記憶されているボリュームデータから3D画像を生成しレポート表示部1gに表示させる。
図16は、本発明の第3の実施の形態における読影レポートにて表示させる3Dの関連画像について説明を行うための説明図である。なお、図16においては読影レポートのうち3D表示の領域のみ示している。
図16に示す3D表示の場合、所見に2つの表示パラメータが記憶されており、それらの表示パラメータから算出されたそれぞれの関連表示パラメータを基に3D画像が生成されている。ここで2つの関連表示パラメータをそれぞれ関連表示パラメータAと関連表示パラメータBとすると、表示画像生成部53は、関連表示パラメータAで表わされる表示角度で3D画像を生成するとともに、関連表示パラメータBで表わされる表示角度で3D画像を生成する。
但しこれでは関連表示パラメータA及びBで表示される2つの3D画像しか表示されない。そこで併せて、関連表示パラメータAと関連表示パラメータBとに挟まれる表示可能な角度において、予め設定された間隔(例えば、1度ごと)で別途表示画像群を生成する。このように3D画像を生成すると、3D画像を所見に関連付けられて記憶された表示パラメータ(関連表示パラメータ)の間を任意の角度で表示させることが可能となる。
また、関連表示パラメータA、Bの間における3D画像の表示方法として、例えば、関連表示パラメータAに基づいて生成された3D画像を、図16に示すx−y平面に平行に移動させ、その後z−y平面に平行に移動させるといった、予め設定された特定の2軸に沿って異動させ、3D画像を最終的に関連表示パラメータBに基づいて表示される位置まで動かす、といった方法も採用することができる。
さらには、予め表示パラメータ+αの角度まで表示させるように設定されていれば、関係画像算出部15で+αに相当する関連表示パラメータを算出し、その情報に基づいて表示画像生成部53は3D画像を生成することも可能である。
表示パラメータが1つしか記憶されていない場合には、関係画像算出部15にて算出される関連表示パラメータも1つであることから、その関連表示パラメータを基に生成された3D画像のみが表示される。
なお、この際、上述した+αに相当する関連表示パラメータも併せて算出されれば、表示パラメータが1つしか記憶されていない場合であっても診察医に対して適切な3Dを表示させることができる。
以上説明したように、読影レポートに表示される所見及び、当該所見に直接関連づけられている参照画像の他、当該所見に関連する3D画像を生成して像表示させることによって、読影レポートを利用する診察医に対して所見に関係する画像を適宜見やすく表示させることができ、診察医の理解の向上を図りつつ簡易な操作性を実現することで診察効率の向上を図ることができる読影レポート表示装置を提供することができる。
(第4の実施の形態)
次に本発明における第4の実施の形態について説明する。なお、第4の実施の形態において、上述の第1ないし第3の実施の形態において説明した構成要素と同一の構成要素には同一の符号を付し、同一の構成要素の説明は重複するので省略する。
第1ないし第3の実施の形態においては、診察医が読影レポートを用いて診察を行う際に利用する読影レポート表示装置について説明した。この読影レポート表示装置は、読影医が作成した読影レポートを表示装置で表示させる際、所見と参照画像に関連付けられた関連画像を2次元、或いは、3次元の動画像として表示させる装置である。この表示対象となる2次元、或いは、3次元の動画像として表示される関連画像は読影レポート表示装置において抽出、生成されていた。
但しこの場合、読影レポート表示装置が所見に関係する関連画像の抽出、生成可能な機能を備えていなければならないことを意味し、徒に読影レポート表示装置に高度な機能を求めるものである。このような高度な機能を備えていなければ関連画像を見ることができないとすると、医療機関内に構築されている既存のシステムを構成する表示装置では対応できない場合も考えられ、本発明の効果が十分に発揮されない。
そこで第4の実施の形態では、これまで読影レポート表示装置の機能として説明してきた機能を読影レポート作成装置60が備えることとしている。これにより、読影レポート表示装置は読影レポート作成装置60が作成した所見に関連付けられた参照画像と関連画像とを表示するだけとなるので、読影レポート表示装置が読影レポートの構成を行うに当たって関連画像を抽出、或いは生成する機能を備えずとも確実に読影レポートを表示可能とすることができる。読影レポートを見る診察医も読影レポート表示装置のスペックを気にすることなく読影レポートを表示させることが可能となる。
図17は、本発明の第4の実施の形態における読影レポート作成装置60の全体構成を示すブロック図である。読影レポート作成装置60の全体構成は、レポート抽出部10に代わりレポート作成部70が設けられている他は、これまで説明してきた読影レポート表示装置1と基本的に同一である。
図18は、本発明の第4の実施の形態におけるレポート作成部70の内部構成を示すブロック図である。レポート作成部70は、受信部71と、所見作成記録部72とレポートデータベース73と、関係画像算出部74と、画像データベース75と、表示画像抽出作成部76と、送信部77とから構成される。
図19は、本発明の第4の実施の形態における読影レポート作成装置60を利用して読影レポートを作成する流れを示すフローチャートである。以下読影レポート作成の流れを説明するとともに、レポート作成部70を構成する各部の機能も併せて説明する。なお、レポート作成部70を利用して読影レポートを作成するのは、読影医である。診察医が読影レポートを作成することもあり得るが、以下の説明では読影医が読影レポートを作成することを前提とする。
読影医は、読影レポートを作成するに当たってレポート作成部70を起動し、読影レポートの作成準備を行う。レポート作成部70は、読影医の指示に基づくレポート作成信号を受信する(ST31)。この信号を受信することで、所見作成記録部72が読影レポートの作成に必要なフォーマットを起動させる(ST32)。レポート作成信号の中に患者ID等の患者情報が含まれている場合には、レポートデータベース73内に記憶されているこれまで作成された所見の中から受信した患者情報に合致する情報を備える読影レポートのフォーマットを読み出す。また、これまで読影レポートが作成されたことのない患者に関する読影レポートの作成の場合には、レポートデータベース73内に記憶されている読影レポートのフォーマット読み出して利用する。
所見作成記録部72は、併せて、患者情報を関係画像算出部74に送信する。関係画像算出部74はこの患者情報を基に画像データベース75から必要な画像を読み出し、送信部77を介してレポート表示部1gに表示させる。読影医は読み出され表示された複数の画像の中から読影レポート作成に必要な画像を確認、選択するとともに(ST33)、選択された参照画像を基に所見を作成する(ST34)。
作成された所見は、レポートデータベース73に記憶される(ST35)。所見作成記録部72は、さらに、選択された参照画像を基に、動画表示される関連画像に必要な画像を表示画像抽出作成部76を介して画像データベース75から抽出し、関連画像を抽出する(ST36)。なお、ここで画像データベース75から抽出する際の方法については、これまで説明してきた方法を採用することができる。また、関連画像が3D画像である場合には、関係画像算出部74において算出された関連表示パラメータを基に3D画像を生成することになる。
表示画像抽出作成部76は抽出された関連画像を動画像表示させるためにフォーマットし(ST37)、作成された動画表示可能な関連画像を画像データベース75へと記憶させる(ST38)。なお、記憶される関連画像は、対応する所見及び参照画像と関連付けられて記憶されるのはもちろんである。また、ここでは画像データベース75へ記憶させるように示しているが、例えば、医療機関内に構築されているシステムを構成する、例えば読影レポートサーバ等にまとめて記憶させておくことも可能である。
このように読影レポート作成装置60で所見、参照画像のみならず関連付けられる関連画像まで作成しておくことで、読影レポートを見る診察医は、自身が利用する読影レポート表示装置の性能を気にすることなく読影レポートを見ることができる。
従って、読影レポートに表示される所見及び、当該所見に直接関連づけられている参照画像の他、当該所見に関連する3D画像を生成して像表示させることによって、読影レポートを利用する診察医に対して所見に関係する画像を適宜見やすく表示させることができ、診察医の理解の向上を図りつつ簡易な操作性を実現することで診察効率の向上を図ることができる読影レポート作成装置を提供することができる。
この発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施の形態に亘る構成要素を適宜組み合わせてもよい。