以下、図面を参照しながら、医用画像診断システムの実施形態について詳細に説明する。なお、以下の各実施形態においては、説明を具体的にするため、医用画像診断システムが超音波診断システムである場合を例に説明する。しかしながら、実施形態に係る医用画像診断システムは、超音波診断システム以外のものであってもよい。
(第1の実施形態)
図1は、第1の実施形態に係る超音波診断システムSの構成を示した図である。図1に示す様に、超音波診断システムSは、遠隔地LDに設けられた超音波プローブ3、超音波診断装置4、遠隔地側ルータ5と、病院LH側に設けられた病院側ルータ1、超音波画像サーバ2によって構成される。遠隔地側ルータ5及び病院側ルータ1はネットワークNに接続されている。超音波診断装置4と超音波画像サーバ2とは、遠隔地側ルータ5と病院側ルータ1との間で確立される通信によりデータのやり取りが可能となっている。病院側ルータ1及び超音波画像サーバ2は、必ずしも病院内に設置されている必要はなく、ネットワークNを介して遠隔地側ルータ5と通信可能な環境であれば、どこに設置されていてもよい。
なお、本実施形態に係る超音波診断システムSでは、遠隔地LD側の超音波診断装置4からの操作指示の入力、及び病院LH側の超音波画像サーバ2からの操作指示入力が可能となっている。従って、どちらから一方入力された操作指示を一つのシステムとして優先させる優先モード、又は超音波診断装置4と超音波画像サーバ2とのそれぞれにおいて独立に設定できる独立モードの間で、任意に切り替えることができる。例えば、通常は遠隔側LDの超音波診断装置4と病院側LHの超音波画像サーバ2とは、それぞれ独立に操作指示を入力できる独立モードに設定しておき、遠隔LD側と病院LH側が遠隔地側ルータ5と病院側ルータ1との間で確立される通信により通信可能に接続され、病院LH側の操作を優先する必要があるときのみ、病院LH側操作優先モード(或いはその逆の遠隔地LD側操作優先モード)を設定できるようなユーザインターフェイスとすることができる。
超音波プローブ3は、被検体を超音波でスキャンして超音波データを取得する。なお、本実施形態においては、「超音波データ」とは、超音波プローブを用いて取得されたデータを意味し、ビームフォーミング前のデータ及びビームフォーミング後のデータのいずれであってもよい。また、「超音波画像データ」とは、超音波データを用いた信号処理によって生成された画像データを意味する。
超音波診断装置4は、超音波プローブ3から例えば無線通信によって超音波データを受け取り、受け取った超音波データを用いて超音波画像を生成する。典型的には、超音波診断装置4は、遠隔地に持ち運び可能な携帯型超音波診断装置である。
遠隔地側ルータ5は、遠隔地LD側のネットワークと公衆回線におけるネットワークNとを相互接続する中継装置としての通信機器である。
病院側ルータ1は、病院LH側のネットワークと公衆回線におけるネットワークNとを相互接続する中継装置としての通信機器である。この病院側ルータ1と遠隔地側ルータ5との中継よって、超音波診断装置4と超音波画像サーバ2との間の相互通信が確立される。
超音波画像サーバ2は、ネットワークNを介して、超音波データを超音波診断装置4から受け取り、受け取った超音波データを用いて超音波画像データを生成し表示する。また、超音波画像サーバ2は、ネットワークNを介して、超音波画像データを超音波診断装置4から受け取り、受け取った超音波画像データを用いて超音波画像を表示する。超音波画像サーバ2は、ネットワークNを介して、超音波データ、超音波画像データ、制御信号を超音波診断装置4に送信する。
遠隔地LD側のユーザは、遠隔地LDにおいて、超音波プローブ3を用いた撮像を実行した場合、病院LH側のユーザは、超音波画像サーバ2において当該撮像によって得られた超音波データに基づく超音波画像をリアルタイムに観察することができる。従って、病院側ルータ1、超音波画像サーバ2、超音波プローブ3、超音波診断装置4、遠隔地側ルータ5は、一つの超音波診断システムSを構成する。
図2は、超音波診断システムSに含まれる超音波プローブ3、超音波診断装置4、超音波画像サーバ2の構成を示したブロック図である。以下、図2を参照しながら超音波診断装置4、超音波画像サーバ2のそれぞれの構成について説明する。
超音波プローブ3は、被検体に対し超音波を送信し、当該被検体内で反射した反射波を受信して超音波データを発生する撮像装置としてのスキャナである。より具体的には、超音波プローブ3は、振動子アレイ31、送受信回路32、受信処理回路33、データ転送用無線I/F(interface)34、制御用無線I/F35、プローブ制御回路36を備える。
振動子アレイ31は、送受信回路32を介して電気信号として印加される送信信号を超音波送信信号に変換して被検体に送信する機能と、超音波の送信によって被検体内において生じた反射波を受信して電気信号の受信信号に変換して受信チャンネル毎に出力する機能を有する。
送受信回路32は、送信回路、送受信分離回路、高圧スイッチ、増幅器、A/D変換器、受信バッファメモリを備える。送信回路は、送信チャンネル毎に送信信号を発生すると共に、各送信信号に超音波送信ビームを形成するための遅延時間を与えて出力する。送信回路から出力された送信チャンネル毎の送信信号は、送受信分離回路、高圧スイッチを介して振動子アレイ31の各素子に印加され、振動子アレイ31から指向性を持った超音波送信ビームが送信される。
また、送受信回路32の増幅器は、受信チャンネル毎に取得された受信信号を増幅してA/D変換器に出力する。A/D変換器は、増幅器から出力された受信チャンネル毎のアナログ信号としての受信信号をディジタルの受信信号にA/D変換する。振動子アレイ31に対応するA/D変換後の複数の高周波(RF波:Radio Frequency wave)としての受信信号は、受信バッファメモリに保存される。
受信処理回路33は、送受信回路32から受け取った受信信号に対して、データ圧縮、ビームフォーミング等の受信処理を実行する。また、受信処理回路33は、ビームフォーミング処理前の超音波データ、ビームフォーミング処理後の超音波データを選択的に出力する。
図3は、受信処理回路33の構成を説明するための図である。図3に示した様に、受信処理回路33は、データ間引き回路330、ビームフォーマ331、データ圧縮回路332、出力切替回路333を備える。
データ間引き回路330は、制御信号に従って受信信号のデータの間引きを実行し、受信信号の転送レートを下げられるようにする。
ビームフォーマ331は、送受信回路32の受信バッファメモリに保存された受信信号に対してビームフォーミング処理を実行する。
ここで、ビームフォーミング処理として、例えば、整相加算式ビームフォーミングと、適応的ビームフォーミングとがある。整相加算式ビームフォーミングとは、受信チャンネルごとの受信遅延時間を各受信信号に付与して加算する処理である。また、適応的ビームフォーミングとは、被検体内部の音速分布を考慮した遅延時間補正を施す方式である。一般的に、適応的ビームフォーミングは、様々な被検体における高画質化が期待できるものの、データ処理量が非常に大きく、これをリアルタイムで処理するためには相当の電力を要し、小型化が要求される超音波プローブで発生する熱エネルギーの放出が問題になる。
本実施形態においては、説明を具体的にするため、ビームフォーマ331は、整相加算式ビームフォーミングを行うものとする。しかしながら、ビームフォーマ331が実行するビームフォーミングを整相加算式ビームフォーミングに限定する趣旨ではなく、必要に応じて適応的ビームフォーミングを採用することもできる。
データ圧縮回路332は、送受信回路32の受信バッファメモリに保存された受信信号に対してデータ圧縮処理を行う。データ圧縮は、隣接する受信チャンネル間において受信信号が類似していることを利用する。本実施形態においては、3分の1程度の圧縮率の可逆圧縮を想定しており、受信チャンネル数、ビット深度、受信信号周波数の条件により圧縮率は、例えば8.3[Gbps]となる。
なお、ビームフォーマ331においてビームフォーミングを行わない場合、受信チャネル数を64チャネル、受信信号のビット深度を10ビット、受信信号の周波数を40MHzとすると、リアルタイムで転送を行うためには64チャネル×10ビット×40MHz≒25[Gbps]のデータレートが必要になる。一方、無線通信規格のうち、例えばWi-Fi(登録商標)通信向けのIEEE802.11ayにおいては最大100Gbpsのデータレートが想定されているものの、様々な通信状況を考慮して、本実施形態ではビームフォーミングを行わない信号に対してはデータ圧縮回路302において圧縮を施すことにしている。
一方、超音波診断システムSGにおいて利用する通信規格上、ビームフォーミングを行わない信号を無圧縮で転送できる余裕が十分ある場合には、データ圧縮回路332から無圧縮なビームフォーミング処理前の受信信号を出力切替回路333に出力するようにしてもよい。さらに、データ圧縮回路332における圧縮処理を状況に応じてON/OFF制御するようにしてもよい。
出力切替回路333は、超音波画像サーバ2からの制御信号に応答して、ビームフォーマ331から受け取ったビームフォーミング処理後の超音波データ、データ圧縮回路332から受け取ったデータ圧縮処理後の超音波データのうちのいずれか一方を出力する。この出力切替回路333からの出力の切替制御により、超音波プローブ3から超音波画像サーバ2へのデータ転送に関する転送レートを選択することができる。
図2に戻り、データ転送用無線I/F34は、受信処理回路33から取得した超音波データを、無線通信の規格に沿った無線信号に変換してデータ転送用無線端末7に送出する。なお、本実施形態においては、説明を簡単にするため、データ転送用無線端末7とデータ転送用無線I/F34の通信規格は単一である場合を例とする。
制御用無線I/F35は、プローブ制御回路36が生成するプローブ制御信号のうち超音波画像サーバ2に転送すべき制御信号を、無線通信の規格に沿った無線信号に変換して制御用無線端末6に送出する。
なお、本実施形態では、超音波受信信号とプローブ制御信号が互いに影響することがなるべくないように、各信号の無線通信インターフェースを独立させ、別個の通信規格を利用して転送することを想定している。例えば、超音波データの転送をWi-Fi(登録商標)で、制御信号の転送をBluetooth(登録商標)で実行する。他の通信規格、例えばUWB(Ultra Wide Band:超広帯域)等を用いることも可能である。
プローブ制御回路36は、送受信回路32、受信処理回路33、データ転送用無線I/F34、制御用無線I/F35を制御するプロセッサである。
次に、超音波診断装置4の構成について説明する。超音波診断装置4は、超音波プローブ3から例えば無線通信によって超音波データを受け取り、受け取った超音波データに対して信号処理等を実行して超音波画像を生成する。より具体的には、超音波診断装置4は、診断装置側通信I/F回路41、診断装置側入力I/F回路42、診断装置側表示回路43、診断装置側記憶回路44、診断装置側信号処理回路45、診断装置側制御回路46、制御用無線端末47、データ転送用無線端末48を備える。
診断装置側通信I/F回路41は、所定の通信規格に従って、ネットワークを介して外部装置との通信動作を行う。
診断装置側入力I/F回路42は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して診断装置側制御回路46に出力する。例えば、診断装置側入力I/F回路42は、超音波データの収集条件や超音波画像に関する画像処理条件等をユーザから受け付ける。具体的には、診断装置側入力I/F回路42は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。
なお、診断装置側入力I/F回路42は、マウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も診断装置側入力I/F回路42の例に含まれる。
診断装置側表示回路43は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。診断装置側表示回路43は、ユーザが参照するモニタであり、各種の情報を表示する。例えば、診断装置側表示回路43は、超音波画像サーバ2から受け取った超音波画像データに基づく超音波画像や、ユーザからの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。なお、診断装置側表示回路43に表示される超音波画像は、超音波画像サーバ2からネットワークNを経由して送られてくる。このため、検査室側表示回路50は、有線通信インターフェースを含む。
診断装置側記憶回路44は、RAM(Random Access Memory)、フラッシュメモリ(flash memory)等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。診断装置側記憶回路44は、USB(Universal Serial Bus)メモリ及びDVD(Digital Video Disk)などの可搬型メディアによって構成されてもよい。診断装置側記憶回路44は、各種画像や情報、診断装置側信号処理回路45の出力等を記憶することができる。記憶の形態は、ライブ情報を一時的に保存する場合と、取得された患者情報のエビデンスのため長期にわたる記録のための保存の場合がある。また診断装置側記憶回路44は、診断情報(例えば、患者ID、医師の所見など)や、診断プロトコルや各種ボディーマークなどの各種データを記憶する。
また、診断装置側記憶回路44は、診断装置側制御回路46において用いられる各種処理プログラム(アプリケーションプログラムの他、OS(Operating System)等も含まれるや、プログラムの実行に必要なデータや、ボリュームデータ及び医用画像を記憶する。また、OSに、操作者に対する診断装置側表示回路43への情報の表示にグラフィックを多用し、基礎的な操作をサーバ側入力回路22によって行なうことができるGUIを含めることもできる。
診断装置側信号処理回路45は、超音波プローブ3によって取得された超音波データを用いて超音波画像を生成する。具体的には、診断装置側信号処理回路45は、ビームフォーミング前の超音波データに対し、適応的ビームフォーミング又は整相加算式ビームフォーミングを実行しビームフォーミング後の超音波データを生成する。また、診断装置側信号処理回路45は、ビームフォーミング後の超音波データに対して、位相検波、包絡線検波、対数圧縮の各処理を実行し、Bモードに対応する超音波画像を生成する。さらに、診断装置側信号処理回路45は、カラードプラ、造影、シアウェーブエラストグラフィ、減衰等の種々の撮像モードに対応する超音波画像を生成する。
診断装置側制御回路46は、プログラムを診断装置側記憶回路44から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。診断装置側制御回路46は、診断装置側記憶回路44に格納されている各種制御プログラムを読み出して診断装置側制御機能461、診断装置側通信状況検出機能462、診断装置側診断状況検出機能463、診断装置側画像表示処理機能464を実現すると共に、診断装置側記憶回路44、診断装置側通信I/F回路41、診断装置側入力I/F回路42、診断装置側表示回路43における処理動作を統括的に制御する。換言すると、各プログラムを読み出した状態の診断装置側制御回路46は、図2の診断装置側制御回路46内に示された各機能を有することとなる。
診断装置側制御機能461は、超音波診断装置4の処理全体を制御する。具体的には、診断装置側入力I/F回路42を介した操作者から入力された各種設定要求や、各種制御プログラム及び各種データに基づき、診断装置側通信I/F回路41、診断装置側表示回路43、診断装置側記憶回路44、診断装置側信号処理回路45を制御する。
また、診断装置側制御機能461は、超音波画像サーバ2から転送された制御信号に基づいて、変更指示に従う超音波画像を診断装置側表示回路43に表示させる。
また、診断装置側制御機能461は、通信状況、診断状況に基づいて、受信処理回路33の出力切替回路333、及びのデータ転送用無線I/F34とデータ転送用無線端末7との間の通信速度のうちの少なくとも一方を制御する。
ここで、「通信状況」とは、超音波プローブ3と超音波画像サーバ2との間の通信において、現在実現できる最大の通信速度を意味する。例えば、超音波プローブ3と超音波画像サーバ2との間の通信における最大速度は、例えばデータ転送用無線I/F34とデータ転送用無線端末7との間がWiFi接続である場合、データ転送用無線端末7にWiFi接続される他の超音波プローブの数や、データ転送用無線端末7の一次的な動作不良によって変化することがある。通信状況は、この様な通信速度が変化し得る環境において、実現できる最大の通信速度を意味するものである。
また、「診断状況」とは、超音波プローブ3を用いて現在どのような診断が実行されているのかを示す情報である。診断状況は、具体的には、超音波プローブ3の種類に応じた中心周波数、超音波プローブ3又は超音波診断装置4において設定されている撮像モード、撮像条件(周波数、走査線の数等)、アプリケーションを示す情報等である。
また、診断装置側制御機能461は、通信状況、診断状況に基づいて、出力切替回路333の切替えをx側とy側との間で切り替える。
診断装置側通信状況検出機能462は、超音波画像サーバ2のデータ転送用無線I/F34とデータ転送用無線端末48との間の通信状況、診断装置側通信I/F回路41と遠隔地側ルータ5との間の通信状況、遠隔地側ルータ5と病院側ルータ1との通信状況、病院側ルータ1とサーバ側通信I/F回路21との間の通信状況をモニタリングし、超音波プローブ3と超音波画像サーバ2との間の転送で実現可能なデータレートの上限を測定する。診断装置側通信状況検出機能462が実行する通信状況のモニタリングの具体例として、Wi-Fi無線通信規格のIEEE802.11における空きチャンネル判定(CCA:Clear Channel Assessment)機能のうち、電波平均受信強度検出(Enrtgy Detect)の閾値設定が挙げられる。
診断装置側診断状況検出機能463は、当該超音波診断装置4において現在動作している撮像モードやアプリケーションの種類から、超音波プローブ3から超音波画像サーバ2への転送に必要なデータレートを算出する。
診断装置側画像表示処理機能464は、超音波プローブ3の種類(中心周波数、周波数帯域)、超音波送受信におけるフレームレート、一フレームのビーム数、当該超音波画像サーバ2又は超音波診断装置4において現在設定している撮像モード、撮像条件、アプリケーションの種類から診断状況を検出し、超音波診断装置4から超音波画像サーバ2への転送に必要なデータレートを算出する。
制御用無線端末47は、制御用無線I/F35と接続し、無線通信の規格に沿った無線信号に変換されたプローブ制御信号を送受信する。プローブ制御信号は、制御用無線端末47を介して、プローブ制御回路36と超音波診断装置4との間でやり取りが行われる。また超音波プローブ3の制御信号は超音波受信信号とは異なる無線通信方式で制御用無線端末47と別途通信できるようになっている。
データ転送用無線端末48は、データ転送用無線I/F34と接続し、無線通信の規格に沿った無線信号に変換されたビームフォーミング前またはビームフォーミング後の超音波受信信号を受信する。受信された超音波データは、遠隔地側ルータ5、病院側ルータ1を介して超音波画像サーバ2へと送られる。
次に、超音波画像サーバ2の構成について説明する。超音波画像サーバ2は、超音波プローブ3によって取得された超音波データを用いて超音波画像を生成する。超音波画像サーバ2は、図2に示した様に、サーバ側通信I/F回路21、サーバ側入力回路22、サーバ側表示回路23、サーバ側記憶回路24、サーバ側信号処理回路25、サーバ側制御回路26を備える。
サーバ側制御回路26のサーバ側制御機能261は、サーバ側信号処理回路25において生成された超音波画像をサーバ側表示回路23に表示させ、超音波画像を、サーバ側通信I/F回路21、病院側ルータ1、遠隔地側ルータ5を介して超音波診断装置4に転送する。また、サーバ側制御回路26のサーバ側制御機能261は、サーバ側表示回路23に表示された画像に関するパラメータの変更指示が入力された場合には、変更指示に従う画像をサーバ側表示回路23に表示させ、変更指示に関する制御信号を、サーバ側通信I/F回路21、病院側ルータ1、遠隔地側ルータ5を介して超音波診断装置4に転送する。
ここで、「画像に関するパラメータ」とは、送受信条件(撮像条件)、画像処理条件、画像表示条件に関するパラメータを意味する。なお、「画像処理条件」とは、超音波データを用いて超音波画像データを生成するための画像処理パラメータ、また、「画像表示条件」とは、超音波画像データを用いて表示される超音波画像の表示パラメータ(例えばコントラストに関わるパラメータ等)をそれぞれ意味する。
サーバ側通信I/F回路21、サーバ側入力回路22、サーバ側表示回路23、サーバ側記憶回路24、サーバ側信号処理回路25は、それぞれ、診断装置側通信I/F回路41、診断装置側入力I/F回路42、診断装置側表示回路43、診断装置側記憶回路44、診断装置側信号処理回路45の構成と実質的に同じであるため、その説明は省略する。
(典型的な動作例)
次に、本実施形態に係る超音波診断システムSの典型的な動作時における制御信号、超音波データの流れについて、図4、図5、図7、図9の概略図、図6、図8、図9のフローチャートを参照しながら説明する。なお、図4、図5、図7、図9においては、説明をわかりやすくするため、図2に示した各構成要素のうち、説明に必要なもの以外は省略している。
(動作例1)
図4は、遠隔地LDにある超音波プローブ3及び超音波診断装置4との組み合わせによる超音波スキャンの結果を、病院LH側でモニタリング表示する場合において、超音波データと制御信号との流れを示したものである。
図4のように、遠隔地LD側では、例えば、超音波プローブ3を用いたBモード撮像によって超音波データが取得される。取得された超音波データは、超音波診断装置4において、診断装置側信号処理回路45において位相検波、包絡線検波、対数圧縮の各処理を受けた後、診断装置側画像表示処理機能464によって表示用の超音波画像データに変換される。超音波診断装置4の診断装置側表示回路43には、表示用の超音波画像データに基づく超音波画像がリアルタイムで表示される。
また、超音波診断装置4において、診断装置側制御回路46は、診断装置側制御機能461により、超音波プローブ3より取得した超音波データを、病院LH側の超音波画像サーバ2のサーバ側信号処理回路25に転送する。なお、病院LH側の超音波画像サーバ2のサーバ側信号処理回路25に送り出される超音波データは、ビームフォーミング前又は後のいずれの段階のデータであってもよい。診断装置側制御回路46は、診断装置側通信状況検出機能462によって検出される通信状況、診断装置側診断状況検出機能463によって検出される診断状況に従って、ビームフォーミング前の超音波データ又はビームフォーミング後の超音波データのいずれを転送するのかを選択することができる。
一般に、超音波プローブ3や超音波画像サーバ2において実行される超音波データ処理に必要なデータレートは、使用する超音波プローブ3の中心周波数や撮像モード等、診断状況に依存する。一方、通信状況をリアルタイムに取得することで、超音波プローブ3と超音波画像サーバ2との間の通信において、現在実現できる最大の通信速度を把握することができる。
そこで、図4、図5において、遠隔側から病院側に送る超音波受信信号は、転送可能な通信レートによって、ビームフォーミング前またはビームフォーミング後の受信信号を選択できる。
すなわち、サーバ側制御機能261は、診断状況と通信状況とを比較することにより、超音波プローブ3から超音波画像サーバ2へデータ転送がそのままで実現可能か否か、或いは、現在よりも高いレートでのデータ転送が実現可能か否かを判定する。例えば、現在の最大通信速度が高くビームフォーミング処理前の受信信号を転送可能である場合には、サーバ側制御機能261は、超音波プローブ3から超音波画像サーバ2へビームフォーミング処理前の受信信号を転送する。超音波画像サーバ2においてはビームフォーミング処理前の受信信号を用いて適応的ビームフォーミングを実行し、画質の高い超音波画像を生成することができる。また、例えば、現在の最大通信速度が比較的低くビームフォーミング処理前の受信信号を転送不可能である場合には、サーバ側制御機能261は、超音波プローブ3から超音波画像サーバ2へビームフォーミング処理後の受信信号を転送する。
病院LH側の超音波画像サーバ2に転送された超音波データは、サーバ側信号処理回路25において位相検波、包絡線検波、対数圧縮の各処理を受けた後、サーバ側画像表示処理機能264によって表示用の超音波画像データに変換される。超音波画像サーバ2のサーバ側表示回路23には、表示用の超音波画像データに基づく超音波画像が表示される。また、病院LH側の超音波画像サーバ2に転送された超音波データは、サーバ側記憶回路24に保存される。
また、遠隔地LD側での超音波プローブ3を用いた超音波スキャンに用いる送受信条件、遠隔地LD側の超音波診断装置4での画像処理条件・画像表示条件は、超音波診断装置4の診断装置側入力I/F回路42を介して設定される。超音波診断装置4の診断装置側制御回路46は、診断装置側制御機能461により、これらの送受信条件、画像処理条件、画像表示条件を設定するための制御信号を、病院LH側の超音波画像サーバ2へ転送する。また、遠隔地LD側において、超音波診断装置4の診断装置側入力I/F回路42を介して送受信条件、画像処理条件、画像表示条件が変更された場合には、変更後の条件を設定するための制御信号を、病院LH側の超音波画像サーバ2へ転送する。
病院LH側の超音波画像サーバ2では、サーバ側制御回路26は、サーバ側制御機能261により、遠隔地LD側の超音波診断装置4から受け取った制御信号に従って、送受信条件、画像処理条件、画像表示条件の設定、変更を行う。
この様にして、遠隔地LDにある超音波プローブ3及び超音波診断装置4との組み合わせによる超音波スキャンの結果を、病院LH側でモニタリング表示する場合において、遠隔地LDにおける条件設定、変更は病院LH側でも反映されることになる。
(動作例2)
図5は、遠隔地LDにおいて、超音波プローブ3及び超音波診断装置4との組み合わせにより超音波スキャンを実行する際の送受信条件、画像処理条件、画像表示条件を、病院LH側の超音波画像サーバ2からの遠隔操作により設定、変更する場合において、超音波データと制御信号との流れを示したものである。
すなわち、図5と図4との違いは、図5のケースでは、病院LH側の超音波画像サーバ2からの遠隔操作により送受信条件、画像処理条件、画像表示条件が設定、変更される一方、図4のケースでは、遠隔地LD側の超音波診断装置4における現場の操作により送受信条件、画像処理条件、画像表示条件が設定、変更される点である。
図5に示す様に、病院LH側の超音波画像サーバ2において、サーバ側制御回路26は、サーバ側制御機能261により、サーバ側入力回路22を介して設定された送受信条件、画像処理条件、画像表示条件を設定するための制御信号を、遠隔地LD側の超音波診断装置4に転送する。遠隔地LD側の超音波診断装置4においては、サーバ側制御回路26は、診断装置側制御機能461により、病院LH側の超音波診断装置4から転送された制御信号に基づいて、送受信条件、画像処理条件、画像表示条件を設定する。
遠隔地LD側では、超音波プローブ3を用いて、病院LH側の超音波画像サーバ2からの遠隔操作によって設定された送受信条件に従う超音波スキャンによって超音波データが取得される。取得された超音波データは、超音波診断装置4において、病院LH側の超音波画像サーバ2からの遠隔操作によって設定された画像処理条件、画像表示条件に従って各種処理が施され、表示用の超音波画像データに変換される。超音波診断装置4の診断装置側表示回路43には、表示用の超音波画像データに基づく超音波画像がリアルタイムで表示される。
また、超音波診断装置4において、診断装置側制御回路46は、診断装置側制御機能461により、超音波プローブ3より取得した超音波データを、病院LH側の超音波画像サーバ2のサーバ側信号処理回路25に転送する。なお、病院LH側の超音波画像サーバ2のサーバ側信号処理回路25に送り出される超音波データは、ビームフォーミング前又は後のいずれの段階のデータであってもよい。
病院LH側の超音波画像サーバ2に転送された超音波データは、サーバ側入力回路22を介して設定された画像処理条件、画像表示条件に従って各所処理が施され、表示用の超音波画像データに変換される。超音波画像サーバ2のサーバ側表示回路23には、表示用の超音波画像データに基づく超音波画像が表示される。また、病院LH側の超音波画像サーバ2に転送された超音波データは、サーバ側記憶回路24に保存される。
また、病院LH側の超音波画像サーバ2において、サーバ側入力回路22を介して送受信条件、画像処理条件、画像表示条件が変更された場合には、サーバ側制御回路26は、サーバ側制御機能261により、サーバ側入力回路22を介して変更された送受信条件、画像処理条件、画像表示条件を設定するための制御信号を、遠隔地LD側の超音波診断装置4に転送する。以下、変更後の送受信条件、画像処理条件、画像表示条件に従って、遠隔地LD側及び病院LH側のそれぞれにおいて、同様の処理が実行される。
この様にして、遠隔地LDにおいて、超音波プローブ3及び超音波診断装置4との組み合わせにより超音波スキャンを実行する際の送受信条件、画像処理条件、画像表示条件を、病院LH側の超音波画像サーバ2からの遠隔操作により設定、変更する場合において、病院LH側からの遠隔操作を遠隔地LD側においても反映させることができる。
図6は、動作例1及び動作例2における超音波プローブ3、超音波診断装置4、超音波画像サーバ2での処理の流れを示したフローチャートである。図6に示す様に、まず、超音波プローブ3によって超音波スキャンが実行され超音波データが取得されると(ステップS101)、診断装置側制御機能461は、取得された超音波データと、当該超音波診断装置4において設定されている画像に関するパラメータを設定するための制御信号とを、超音波画像サーバ2へ送信する(ステップS102)。
また、診断装置側信号処理回路45は、取得した超音波データ、当該超音波診断装置4において設定されている画像に関するパラメータを用いて超音波画像データを生成する。診断装置側画像表示処理機能464は、生成された超音波画像データを用いて、診断装置側表示回路43に超音波画像を表示させる(ステップS103)。
サーバ側制御機能261は、送信された超音波データを受信する(ステップS104)。サーバ側信号処理回路25は、受信した超音波データ、制御信号を用いて超音波画像データを生成する。サーバ側画像表示処理機能264は、生成された超音波画像データを用いて、サーバ側表示回路23に超音波画像を表示させる(ステップS105)。なお、このステップS105において超音波画像サーバ2側で表示される超音波画像は、ステップS103において超音波診断装置4側で表示される超音波画像に対応するものとなるが、両者の時相は必ずしも一致していなくてもよい。
サーバ側制御機能261は、画像に関するパラメータに変更があったか否かをモニタリングし(ステップS106)、変更がない場合には、受信した超音波データ、制御信号に基づく超音波画像の生成、表示を継続して実行する(ステップS106のNo)。
一方、サーバ側制御機能261は、画像に関するパラメータに変更があった場合には(ステップS106のYes)、変更されたパラメータを設定するための制御信号を超音波診断装置4に送信する(ステップS107)。
診断装置側制御機能461は、送信された制御信号を受信する(ステップS108)。また、診断装置側信号処理回路45は、制御信号に基づく変更に従う超音波画像データを生成する。診断装置側画像表示処理機能464は、生成された超音波画像データを用いて、診断装置側表示回路43に超音波画像を表示させる(ステップS109)。
また、サーバ側信号処理回路25は、変更された画像に関するパラメータを用いて超音波画像データを生成する。サーバ側画像表示処理機能264は、生成された超音波画像データを用いて、サーバ側表示回路23に超音波画像を表示させる(ステップS110)。なお、このステップS110において超音波画像サーバ2側で表示される超音波画像は、ステップS109において超音波診断装置4側で表示される超音波画像に対応するものとなるが、両者の時相は必ずしも一致していなくてもよい。
(動作例3)
図7は、過去に取得され、病院LH側の超音波画像サーバ2のサーバ側記憶回路24に記憶された超音波データを用いて、当該超音波画像サーバ2において超音波画像を生成し表示すると共に、遠隔LD側の超音波診断装置4にも同じ超音波データを送信し、超音波診断装置4においても超音波画像サーバ2と同じ画像処理条件、画像表示条件で超音波画像を生成し表示する場合において、超音波データと制御信号との流れを示したものである。
なお、図7と図4、図5との違いは、図7に示したケースでは、過去に取得され、病院LH側の超音波画像サーバ2のサーバ側記憶回路24に記憶された超音波データを病院LH側と遠隔LD側との間で共有する一方、図4、図5に示したケースでは、いずれも遠隔LD側においてライブスキャンモードで取得された超音波データを病院LH側と遠隔LD側との間で共有する点である。
図7に示す様に、病院LH側の超音波画像サーバ2において、サーバ側制御回路26は、サーバ側制御機能261により、サーバ側入力回路22を介して設定された画像処理条件、画像表示条件を設定するための制御信号、サーバ側記憶回路24に記憶された超音波データを、遠隔地LD側の超音波診断装置4に転送する。
なお、サーバ側記憶回路24に記憶され転送される超音波データは、サーバ側信号処理回路25によってBモード信号などに変換された超音波データであることを想定している。しなしながら、当該例に限定されず、ビームフォーミング前又は後の超音波データであってもよい。
遠隔地LD側の超音波診断装置4においては、サーバ側制御回路26は、診断装置側制御機能461により、病院LH側の超音波診断装置4から転送された制御信号に基づいて画像処理条件、画像表示条件を設定する。また、サーバ側制御回路26は、診断装置側制御機能461により、設定された画像処理条件、画像表示条件に従って、病院LH側の超音波診断装置4から転送された超音波データに各種処理を実行し、表示用の超音波画像データを生成する。サーバ側制御回路26は、診断装置側画像表示処理機能464により、表示用の超音波画像データに基づく超音波画像を診断装置側表示回路43に表示させる。
また、病院LH側の超音波画像サーバ2において、サーバ側入力回路22を介して送受信条件、画像処理条件、画像表示条件が変更された場合には、サーバ側制御回路26は、サーバ側制御機能261により、サーバ側入力回路22を介して変更された送受信条件、画像処理条件、画像表示条件を設定するための制御信号を、遠隔地LD側の超音波診断装置4に転送する。以下、変更後の送受信条件、画像処理条件、画像表示条件に従って、遠隔地LD側及び病院LH側のそれぞれにおいて、同様の処理が実行される。
この様にして、過去に取得され、病院LH側の超音波画像サーバ2のサーバ側記憶回路24に記憶された超音波データを用いて、当該超音波画像サーバ2において超音波画像を生成し表示すると共に、遠隔LD側の超音波診断装置4にも同じ超音波データを送信し、超音波診断装置4においても超音波画像サーバ2と同じ画像処理条件、画像表示条件で超音波画像を生成し表示する場合において、病院LH側からの遠隔操作を遠隔地LD側においても反映させることができる。
図8は、動作例3における超音波プローブ3、超音波診断装置4、超音波画像サーバ2での処理の流れを示したフローチャートである。図8に示す様に、まず、超音波画像サーバ2のサーバ側制御機能261は、例えばサーバ側記憶回路24に格納された超音波データを取得する(ステップS201)。
サーバ側信号処理回路25は、取得した超音波データ、当該超音波画像サーバ2において現在設定されている画像に関するパラメータを用いて超音波画像データを生成する。サーバ側画像表示処理機能264は、生成された超音波画像データを用いて、サーバ側表示回路23に超音波画像を表示させる(ステップS202)。
サーバ側画像表示処理機能264は、取得した超音波データと、当該超音波画像サーバ2において設定されている画像に関するパラメータを設定するための制御信号とを、超音波診断装置4へ送信する(ステップS203)。
診断装置側制御機能461は、送信された超音波データ、制御信号を受信する(ステップS204)。診断装置側信号処理回路45は、受信した超音波データ、制御信号を用いて超音波画像データを生成する。診断装置側画像表示処理機能464は、生成された超音波画像データを用いて、診断装置側表示回路43に超音波画像を表示させる(ステップS205)。なお、このステップS205において超音波診断装置4側で表示される超音波画像は、ステップS203において超音波画像サーバ2側で表示される超音波画像に対応するものとなるが、両者の時相は必ずしも一致していなくてもよい。
サーバ側制御機能261は、画像に関するパラメータに変更があったか否かをモニタリングし(ステップS206)、変更がない場合には、取得した超音波データ、現在設定されれている画像に関するパラメータに基づく超音波画像の生成、表示を継続して実行する(ステップS206のNo)。
一方、サーバ側制御機能261は、画像に関するパラメータに変更があった場合には(ステップS206のYes)、変更されたパラメータを設定するための制御信号を超音波診断装置4に送信する(ステップS207)。
診断装置側制御機能461は、送信された制御信号を受信する(ステップS208)。また、診断装置側信号処理回路45は、制御信号に基づく変更に従う超音波画像データを生成する。診断装置側画像表示処理機能464は、生成された超音波画像データを用いて、診断装置側表示回路43に超音波画像を表示させる(ステップS209)。
また、サーバ側信号処理回路25は、変更された画像に関するパラメータを用いて超音波画像データを生成する。サーバ側画像表示処理機能264は、生成された超音波画像データを用いて、サーバ側表示回路23に超音波画像を表示させる(ステップS210)。なお、このステップS210において超音波画像サーバ2側で表示される超音波画像は、ステップS209において超音波診断装置4側で表示される超音波画像に対応するものとなるが、両者の時相は必ずしも一致していなくてもよい。
(動作例4)
図9は、遠隔側から病院側へ、または病院側から遠隔側へ超音波データを双方向に送受信可能な場合において、超音波データと制御信号との流れを示したものである。
すなわち、図9と図4、図5、図7との違いは、図9に示したケースでは、病院側と遠隔側との間で超音波データは双方向(並行して)に送受信可能である一方、図4、図5、図7に示したケースでは、遠隔側から病院側へ、または病院側から遠隔側へ超音波データを一方向に送受信可能である点である。
図9に示した様に、遠隔地・病院間の通信レートに余裕があれば、超音波データを双方向に送受信し、ライブスキャンモードで、超音波処理の一部を病院側でリアルタイムに行える。また、超音波処理のうち、例えばBモード処理を遠隔側、カラードプラ処理を病院側で行うというように、比較的負荷の軽いデータ処理については遠隔側で、比較的負荷の重いデータ処理については病院側でそれぞれ処理を分担して並列に実行できる。
図9のような動作のメリットは、遠隔側の超音波診断装置4より、病院側の超音波画像サーバ2のほうが、より処理能力の高いプロセッサを利用できるという点にある。高い処理能力を必要とするビームフォーミング処理を超音波画像サーバ2で行うことにより、超音波診断装置4の処理の負担を減らし、携帯型装置の消費電力の削減、形状の小型化や薄型化、使用時間の延長にも貢献できる。
図10は、動作例4における超音波プローブ3、超音波診断装置4、超音波画像サーバ2での処理の流れを示したフローチャートである。図10に示す様に、まず、超音波プローブ3によってカラードプラモードによる超音波スキャンが実行され超音波データが取得される(ステップS301)。ここで、カラードプラモードによる超音波スキャンとは、構造物を映像化するためのBモード画像と、血流を映像化するためのカラードプラモード画像とを交互に取得するスキャンを意味する。
診断装置側制御機能461は、取得した超音波データのうち、カラードプラモード画像に対応するデータ(カラードプラデータ)と、現在超音波診断装置4側で設定されているパラメータに関する制御信号とを、超音波画像サーバ2へ送信する(ステップS302)。
また、診断装置側信号処理回路45は、取得した超音波データのうち、Bモード画像に対応するデータ(Bモードデータ)と、当該超音波診断装置4において設定されている画像に関するパラメータとを用いてBモード画像データを生成する。診断装置側画像表示処理機能464は、生成されたBモード画像データを用いて、診断装置側表示回路43にBモード画像を表示させる(ステップS303)。
サーバ側制御機能261は、送信されたカラードプラデータ、制御信号を受信する(ステップS304)。サーバ側信号処理回路25は、受信したカラードプラデータと、制御信号とを用いてカラードプラ画像データを生成する。サーバ側画像表示処理機能264は、生成されたカラードプラ画像データを用いて、サーバ側表示回路23にカラードプラ画像を表示させる(ステップS305)。
サーバ側制御機能261は、生成したカラードプラ画像データと、現在超音波画像サーバ2において設定されているパラメータを設定するための制御信号とを、超音波診断装置4に送信する(ステップS306)。
診断装置側制御機能461は、送信されたカラードプラ画像データ、制御信号を受信する(ステップS307)。また、診断装置側制御機能461は、ステップS303において生成したBモード画像データと、現在超音波診断装置4において設定されているパラメータを設定するための制御信号とを、を超音波画像サーバ2へ送信する(ステップS308)。
診断装置側画像表示処理機能464は、ステップS303において生成したBモード画像データと、ステップS307において受信したカラードプラ画像データと、制御信号とを用いて、Bモード画像にカラードプラ画像が重畳された重畳画像を生成し、診断装置側表示回路43に当該重畳画像を表示させる(ステップS109)。
また、サーバ側制御機能261は、送信されたBモーと画像データ、制御信号を受信する(ステップS310)。また、サーバ側画像表示処理機能264は、ステップS305において生成したカラードプラ画像データと、ステップS310において受信した Bモード画像データと、制御信号とを用いて、Bモード画像にカラードプラ画像が重畳された重畳画像を生成し、サーバ側表示回路23に当該重畳画像を表示させる(ステップS311)。
なお、このステップS311において超音波画像サーバ2側で表示される重畳画像は、ステップS309において超音波診断装置4側で表示される重畳画像に対応するものとなるが、両者の時相は必ずしも一致していなくてもよい。
以上述べた本実施形態に係る超音波診断システムは、第1の装置としての超音波画像サーバ2と、第2の装置の装置としての超音波診断装置4と、通信部としての遠隔地側ルータ5、病院側ルータ1を備える。
超音波画像サーバ2は、被検体を超音波スキャンして得られる超音波データを用いて超音波画像データを生成し、超音波画像データに基づく超音波画像を表示する。超音波診断装置4は、被検体を超音波スキャンし超音波データを取得する。遠隔地側ルータ5及び病院側ルータ1は、超音波画像サーバ2と超音波診断装置4との間で通信を確立する。超音波画像サーバ2は、超音波データを用いた第1の超音波画像を生成するサーバ側信号処理回路25と、第1の超音波画像をサーバ側表示回路23に表示させ、第1の超音波画像を、遠隔地側ルータ5及び病院側ルータ1を介して超音波診断装置4に転送するサーバ側制御機能261と、を有する。超音波プローブ3は、転送された第1の超音波画像に対応する第2の超音波画像を診断装置側表示回路43に表示させる診断装置側制御機能461を有する。サーバ側制御機能261は、サーバ側表示回路23に表示された第1の超音波画像に関するパラメータの変更指示が入力された場合には、変更指示に従う第1の超音波画像をサーバ側表示回路23に表示させ、変更指示に関する制御信号を、遠隔地側ルータ5及び病院側ルータ1を介して超音波診断装置4に転送する。診断装置側制御機能461は、転送された制御信号に基づいて、変更指示に従う第2の超音波画像を診断装置側表示回路43に表示させる。
従って、病院側の超音波画像サーバ2と、遠隔側の超音波診断装置4との間において、超音波画像サーバ2において生成された高画質の超音波画像を超音波診断装置4においても同期して観察することができる。また、超音波画像サーバ2において表示された超音波画像に対して、画像に関するパラメータの変更指示が入力された場合には、当該変更指示に関する制御信号が、遠隔地側ルータ5及び病院側ルータ1を介して超音波診断装置4に転送され、超音波診断装置4においても超音波画像サーバ2と同じ画像を生成し表示することができる。
すなわち、本実施形態に係る超音波診断システムは、病院側から遠隔地側へ、制御信号のみならず、超音波受信信号も転送可能であり、また、病院側と遠隔地側との間で双方向転送も可能としている。従って、病院側の超音波画像サーバ2に蓄積された過去の超音波画像を遠隔地側の超音波診断装置4においてリアルタイムで共有することができ、画質調整等がされた場合には、調整後の超音波画像についてもリアルタイムで共有することができる。その結果、ネットワークを介して超音波プローブ3、超音波診断装置4と超音波画像サーバとの間でデータ通信を行う環境において、診断状況や通信状況が変化した場合であっても、従来に比して安定した動作を実現することができる。
(第2の実施形態)
第1の実施形態では、サーバ側通信状況検出機能262で、超音波画像サーバ2と、そこに接続されてデータ転送が行われている超音波プローブ3と双方の通信状況をモニタリングし、実効的に可能な転送データレートの上限を測定している。この場合、サーバ側通信状況検出機能262による検出は高頻度で行う必要がある。
一方、通信状況の多くは超音波プローブ3の位置に依存している。そこで、第2の実施形態に係る超音波診断システムSは、超音波プローブ3の位置を測定し、その測定結果に基づいて通信状況を検出するものである。
図11は、第2の実施形態に係る超音波診断システムSの構成を示した図である。第1の実施形態では、遠隔地LDにある超音波プローブ3と超音波診断装置4とは1対1であることを前提としていた。しかしながら、図11のように、1つの超音波プローブ3に対して、複数の超音波診断装置4-1~4-Nが近接して置かれる状況も考えられる。係る状況において、複数の超音波診断装置4-1~4-Nのうちのいずれを超音波プローブ3に接続するかをユーザが手動で選択させることもできるが、最も近接している装置に自動的に接続するほうが操作者にとって楽である。
そこで第2の実施形態では、超音波プローブ3と超音波診断装置4-1~4-Nの双方に測位機能をもたせ、超音波プローブ3と超音波診断装置4-1~4-Nとの距離を計算し、最も近接する超音波プローブ3と超音波診断装置4-1~4-Nとを優先的に相互接続する例について述べる。
超音波プローブ3、超音波診断装置4の測位は、例えば、制御用無線通信にBluetooth(登録商標)のような測位機能のあるものを利用できる。この場合の測位の方式として例えば、発信機の電波強度から受信機の位置を推定するRSSI(信号強度)方式、電波強度だけでなく、電波到達の角度も測定するAoA(Angle of Arrival)方式、複数の発信機を使って三角測量の方法を使って測位する三角測位方式を採用することができる。
超音波プローブ3、超音波診断装置4-1~4-Nの測位の方法として他に、磁気発生装置を超音波プローブ3の近傍に置き、超音波プローブ3側に取り付けた磁気センサを用いる方法、加速度センサを用いる方法、または超音波プローブ3を光学カメラで撮影しその位置を算出する方法、GPS(Global Positioning System)を用いる方法などがあり、測位精度を上げるために、複数の方式を組み合わせることも可能である。また測位の次元としては、2次元にとどまらず高さも含めた3次元の空間としてもよい。
以上述べた本実施形態に係る超音波診断システムは、超音波プローブ3の位置を測定し、その測定結果に基づいて通信状況を検出することができる。従って、通信状況の検出を高頻度で行う必要がなくなり、通信状況検出の動作負担を軽減することができる。
(変形例1)
以上の説明では、携帯型超音波診断装置が複数ある場合について述べたが、超音波プローブ3が複数ある場合についても同様の方法で、最も近接している装置とプローブを優先的に相互接続することができる。
以上説明した少なくとも1つの実施形態によれば、ネットワークを介してスキャナと画像処理サーバとの間でデータ通信を行う環境において、診断状況や通信状況が変化した場合であっても、従来に比して安定した動作を実現することができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。