JP6448176B2 - 医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム - Google Patents

医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム Download PDF

Info

Publication number
JP6448176B2
JP6448176B2 JP2013123828A JP2013123828A JP6448176B2 JP 6448176 B2 JP6448176 B2 JP 6448176B2 JP 2013123828 A JP2013123828 A JP 2013123828A JP 2013123828 A JP2013123828 A JP 2013123828A JP 6448176 B2 JP6448176 B2 JP 6448176B2
Authority
JP
Japan
Prior art keywords
image
information
medical
server
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013123828A
Other languages
English (en)
Other versions
JP2014241089A (ja
Inventor
玲児 高幣
玲児 高幣
裕信 坂上
裕信 坂上
喬 円城寺
喬 円城寺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kozo Keikaku Engineering Inc
Original Assignee
Kozo Keikaku Engineering Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kozo Keikaku Engineering Inc filed Critical Kozo Keikaku Engineering Inc
Priority to JP2013123828A priority Critical patent/JP6448176B2/ja
Publication of JP2014241089A publication Critical patent/JP2014241089A/ja
Application granted granted Critical
Publication of JP6448176B2 publication Critical patent/JP6448176B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、複数のクライアント端末の間で合成画像を共有する、又は画像収集装置と前記クライアント端末との間で医療画像情報を共有するのに好適な医療画像共有システム、医療画像共有方法、及び医療画像共有プログラムに関する。
従来、医療機器や測定機器等の機器に対して、メンテナンス説明や機器説明を行う場合、ユーザ側とメーカ側との間で電話やFAX等を利用して実施しているのに留まっていた。このため、両者間での情報共有の質が低く、相互に理解し難い状況があった。
その背景には、従来の医療機器や測定機器等からの情報を抽出又は取得するためのインターフェースに制約があったことに原因がある。
特許文献1には、超音波診断装置として、超音波画像や設定情報を表示する情報表示画像と、入力操作を行うための入力操作用画像とを表示部に表示可能であり、入力操作用画像には、設定するためのボタンに模した設定ボタンの画像を表示することにより、ユーザに入力を促すようにしている。また、超音波診断装置に外部モニタが接続されている場合に、外部モニタに表示部と同じ画像を表示する場合と、外部モニタに情報表示画像を表示して、表示部に入力操作用画像を表示する場合とを切り替え可能とすることができるという技術が開示されている。
特許文献2には、医用画像システム及び第1サーバとして、医用画像から画像部分のみを抽出しておき、画像処理が施された医用画像に注釈画像を合成したJPEG画像を生成し、JPEG画像と読影レポート情報とを対応付けたデータセットを配信サーバに送信させるという技術が開示されている。
特開2010−142487公報 特開2010−055130公報
しかし、特許文献1に開示されている技術にあっては、ボタンに模した設定ボタンの画像を表示することにより、ユーザに入力を促すようにしていた。設定ボタンが画像中のどの位置にあるのかを明確に示していないため、表示画面上の設定ボタンを探すことをユーザに強いることとなり、場合によっては探すのに時間がかかるといった問題があった。
また、特許文献2に開示されている技術にあっては、サーバから一方的に供給されるJPEG画像を各端末が共有するものであり、各端末が必要な情報を個別に要求して取得することができないといった問題があった。
そこで、表示画面上の設定ボタンを容易に探すことができ、各端末が必要な情報を個別に要求して取得することができる医療画像共有システムを提供することが切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、複数のクライアント端末の間で合成画像を共有することができ、又は画像収集装置とクライアント端末との間で医療画像情報を共有することができる医療画像共有システム、医療画像共有方法、医療画像共有プログラムを提供することにある。
上記課題を解決するため、請求項1記載の発明は、医療機器の表示装置に表示される画像をカメラを用いて撮影して、前記カメラから出力される画像信号をA/D変換した画像データを生成し、又は前記医療機器から出力されるRGB信号をA/D変換した画像データを生成し、前記画像データに基づいた画像ストリームデータである医療画像情報を収集する画像収集装置と、前記画像収集装置と接続されるサーバと、前記サーバと複数のクライアント端末とをネットワークを介して接続し、前記サーバを介して前記複数のクライアント端末の間で情報を共有する医療画像共有システムであって、前記画像収集装置は、前記医療機器から出力される操作及び設定に関連する操作設定画像情報、画像ストリームデータである前記医療画像情報を取得する医療画像情報取得手段と、前記クライアント端末から前記サーバを介して受信した画像処理を施すための情報に基づいて、前記医療機器から取得した画像ストリームデータである前記医療画像情報に対して画像処理を施す画像処理手段と、画像ストリームデータである前記医療画像情報と前記画像処理手段により得られた画像ストリームデータである前記画像処理結果画像情報とを前記サーバに送信する送信手段とを備え、前記サーバは、前記クライアント端末から受信した前記画像収集装置の前記画像処理手段に画像処理を施させるための情報を前記画像収集装置に送信する送信手段と、前記画像収集装置から受信した画像ストリームデータである前記医療画像情報、及び画像処理結果画像情報を前記複数のクライアント端末に転送する転送手段を備え、前記クライアント端末は、前記画像収集装置の前記画像処理手段に画像処理を施させるための情報を前記サーバに送信する送信手段と、前記サーバから画像ストリームデータである前記医療画像情報と前記画像処理結果画像情報とを受信する受信手段と、前記受信手段により受信された画像ストリームデータである前記医療画像情報に前記画像処理結果画像を合成する画像合成手段と、前記画像合成手段により合成された合成画像を表示する表示手段と、を備えることを特徴とする。
本発明は、医療機器の表示装置に表示される画像をカメラを用いて撮影して、カメラから出力される画像信号をA/D変換した画像データを生成し、又は医療機器から出力されるRGB信号をA/D変換した画像データを生成し、画像データに基づいた画像ストリームデータである医療画像情報を収集する画像収集装置と、画像収集装置と接続されるサーバと、サーバと複数のクライアント端末とをネットワークを介して接続し、サーバを介して複数のクライアント端末の間で情報を共有する医療画像共有システムであって、画像収集装置は、医療機器から出力される操作及び設定に関連する操作設定画像情報、画像ストリームデータである医療画像情報を取得し、クライアント端末からサーバを介して受信した画像処理を施すための情報に基づいて、医療機器から取得した画像ストリームデータである医療画像情報に対して画像処理を施し、画像ストリームデータである医療画像情報と画像処理により得られた画像処理結果画像情報とをサーバに送信し、サーバは、クライアント端末から受信した画像収集装置の画像処理手段に画像処理を施させるための情報を画像収集装置に送信し、画像収集装置から受信した画像ストリームデータである医療画像情報、及び画像処理結果画像情報を複数のクライアント端末に転送し、クライアント端末は、画像収集装置の画像処理手段に画像処理を施させるための情報をサーバに送信し、サーバから画像ストリームデータである医療画像情報と画像処理結果画像情報とを受信し、受信された画像ストリームデータである医療画像情報に画像処理結果画像を合成し、合成された合成画像を表示することで、複数のクライアント端末の間で合成画像を共有することができる。
本発明の第1実施形態に係る医療画像共有システム1を示すブロック図である。 ネットワークNを介して行われるメインシーケンスを示す図である。 クライアント端末30の表示画面を示す図である。 図3に示すストリームデータ領域68に表示される、操作及び設定に関連する操作設定画像情報、波形画像情報を含む医療画像情報の一例を示す図である。 クライアント端末30における医療画像共有アプリケーションソフトウエアの動作を示すフローチャートである。 サーバ40における医療画像共有ソフトウエアの動作を示すフローチャートである。 (a)(b)は画面描画シーケンス、メッセージ送受信シーケンスを示す図である。 表示画像36c内に表示される画像ストリームデータの一例を示す図である。 波形検知シーケンスを示す図である。 画像収集装置20において波形検知処理を実行するためのフローチャートである。 仮想ラインの描画例を示す図である。 面積測定シーケンスを示す図である。 面積測定処理を実行するためのフローチャートである。 面積を示す閉ループ81の一例を示す図である。 (a)は処理前の様子を示す図であり、(b)は所望の面積を示す閉ループ68aを示す図である。 文字検索シーケンスを示す図である。 文字検索処理を実行するためのフローチャートである。 医療機器の操作ボタンや操作画面を示す画像領域85、86が描画されたことを示す図である。 (a)は文字画像を含む画像領域87を示す図であり、(b)は枠画像データがストリームデータ領域68内に合成されて表示されたことを示す図である。 パターン検索シーケンスを示す図である。 検索用イメージの一例を示す図である。 パターン検索処理を実行するためのフローチャートである。 枠画像データ92が描画されたことを示す図である。
本発明の実施形態について、図面を参照して説明する。
<第1実施形態>
図1は本発明の第1実施形態に係る医療画像共有システム1を示すブロック図である。
第1実施形態の医療画像共有システム1は、図1に示すように、医療機器10、画像収集装置20、クライアント端末30A、30B、サーバ40、及びネットワークNを備えている。
まず、図1を参照して、医療機器10の構成について説明する。
医療機器10は、内部モニタ11aに操作情報や波形情報や画像情報を表示することが可能であり、アナログ信号又はデジタル信号の画像信号をモニタ端子やHDMI(登録商標)端子などの外部出力端子に出力可能な、例えば血液浄化装置、超音波診断装置、内視鏡装置、RO装置などであればよい。医療機器10は、操作及び設定に関連する操作設定画像情報、波形画像情報を含む医療画像情報を出力する。
次いで、図1を参照して、画像収集装置20の構成について説明する。
医療機器10から出力された画像信号(アナログ信号)は画像収集装置20に設けられたA/D変換部21に入力される。
なお、医療機器10の表示装置に表示される画像を撮影するカメラ(医療画像情報取得手段)を備え、カメラから出力される表示画面の画像信号をA/D変換部21に入力するように構成してもよい。
A/D変換部21は、A/D変換器を3個有し、医療機器10から出力される画像信号(RGB信号)をサンプリングクロックによりサンプリングしてA/D変換することにより、デジタル信号の画像データに変換する。
このように、医療機器の表示装置に表示される画像をカメラで撮影することで、医療機器に表示されている操作設定画像情報、医療画像情報を取得することができる。
画像取込部22は、フレームメモリを有し、医療機器10から出力される画像信号のフレームレートに合わせて順次にフレームメモリに画像データを取り込み、画像エンコーダ部23に出力する。なお、医療機器10から出力される画像信号がデジタル信号の場合、HDMI(登録商標)ケーブルを経由して直接に画像取込部22に接続するように構成してもよい。
このように、医療機器から外部出力端子に出力される医療画像情報を直接に取得することで、医療機器から操作設定画像情報、医療画像情報を取得することができる。
画像エンコーダ部23は、画像データを一時的に保存するフレームメモリ23aを有し、符号化方式H.264/AVCに従って画像データを符号化して動画のストリームデータを作成し、ストリーム送出部24に出力する。また、画像エンコーダ部23は、フレームメモリ23aに一時的に保存した画像データを画像処理部26に出力する。
ストリーム送出部24は、画像エンコーダ部23から出力されるストリームデータを通信処理部27に出力する。
画像処理部26は、CPU又はDSPと、複数種類の画像処理プログラムを記憶するROMと、一時的に画像データを記憶するメモリ26aとを有する。そして、画像処理部26は、クライアント端末30から指定された画像処理プログラムをCPU又はDSPに実行させることにより画像データに対して画像処理を実行して処理結果データを通信処理部27に出力する。
通信処理部27は、ストリーム送出部24から出力される画像データや、画像処理部26から出力される処理結果データにヘッダを付加してパケット化しネットワークNを介してサーバ40に送信する。
次いで、図1を参照して、クライアント端末30の構成について説明する。
制御部31は、内部にHDD、ROM、RAM及びCPUを有し、HDDからオペレーティングシステムOSを読み出してRAM上に展開し、OSを起動してOS管理下において、HDDから医療画像共有アプリケーションソフトウエア(医療画像共有プログラム)を読み出し、各種処理を実行する。
通信処理部32は、画像収集装置20やサーバ40とネットワークNを介して接続し、これらの装置と通信プロトコルに従ってパケット通信を行う。通信処理部32は、サーバ40から受信した画像ストリームを画像デコーダ部33に出力する。また、通信処理部32は、画像収集装置20からサーバ40を介して受信した画像処理結果データを画像合成部35aに出力する。
画像デコーダ部33は、画像データを一時的に保存するフレームメモリ33aを有し、通信処理部32から出力される画像ストリームを符号化方式H.264/AVCに従って複合して画像データを生成しフレームメモリ33aに記憶し、フレームメモリ33aから1フレーム毎に画像データを読み出して画像合成部35aに出力する。
画像合成部35aは、複数のフレームメモリを有し、画像データと画像処理結果データとを合成し、合成画像データを操作表示制御部35に出力する。
操作表示制御部35は、VRAMを有し、画像合成部35aから入力される合成画像データをVRAMに書き込むとともに、ビデオレートでVRAMから合成画像データを読み出し表示部36aに表示画像36cを表示する。また、操作表示制御部35は、タッチパッド部36bに接続されており、タッチパッド部36bに例えば指先が接触した場合に、指先の接触位置の座標(x,y)を出力する。
操作表示部36は、表示部36a、及びタッチパッド部36bを有する。
表示部36aの表示画面には、表示画面と同一形状のタッチパッド部36bが張り付けられている。詳しくは、タッチパッド部36bは、最上層にカバーガラスが配置され、この下面に導電膜付きフィルムまたは感圧式抵抗膜付きフィルムが配置されている。表示部36aには、最上層から下方に向かって偏光板、ガラス基板、カラーフィルタ、液晶配向膜、ガラス基板、偏光板が配置されている。なお、表示部36aの下方には、拡散シート、LED光を平面全体に導く導光板、反射フィルムの順に配置されている。
なお、本実施形態では、タッチパッド部36b上の平面に対して、(x,y)座標を用いて位置を表すこととし、一方、表示部36a上の表示画面に対して、(X,Y)座標を用いて位置を表すこととし、説明の簡略化のために、x=X、y=Yとする。
次いで、図1を参照して、サーバ40の構成について説明する。
制御部41は、内部にROM(Read Only Memory)、RAM(Random Access Memory)、CPU(Central Processing Unit)、HDD(Hard Disk Drive)を有し、HDDからオペレーティングシステムOSを読み出してRAM上に展開してOSを起動する。そして、制御部41は、OS管理下において、HDDからアプリケーションソフトウエア(医療画像共有プログラム)を読み出し、各種処理を実行するとともに、サーバ40内の各部を制御する。
通信処理部42は、画像収集装置20やクライアント端末30との間でネットワークNを介してパケットデータを通信する。
ストリーミング監視処理部43は、通信処理部42が受信したストリームパケットを監視対処とし、タイムスタンプやフレームを監視することでストリームの途切れを監視する。
共有オブジェクト管理部44は、医療画像において使用される共有オブジェクトを管理する。共有オブジェクトとは、医療画像において使用された情報(例えば、位置決め画像、撮影位置、撮影範囲、撮影条件、画像生成条件、クライアント操作情報(画像位置、文字、引用画像)、レポートに関する情報等)を有効に利用するために、画像情報と付帯(文字または数値)情報とから構成され、例えば検査毎又はシリーズ毎にDICOM規格に従う画像として生成・管理される。
なお、共有オブジェクト管理部44は、情報を共有することを許可されたクライアント端末のみに医療画像情報、及び画像処理結果画像情報を転送することとする。
メッセージ管理部45は、通信処理部42を介してクライアント端末から受信されるメッセージ又はコメントをメッセージDB(図示しない)へ格納する。
ユーザ管理処理部46は、ユーザ管理DB46aに接続され、データ配信サービスを提供しているユーザの認証処理を行う機能を有している。このユーザの認証処理では、クライアント端末30からログイン要求と共に送られてくるユーザ情報(例えば、ユーザID及びパスワード)と、予めユーザ管理DB46aに格納されている各ユーザのユーザ情報との比較照合が行われて、ユーザに対してデータ配信サービスを提供することが可能か否かの判断を行う。
履歴管理処理部47は、履歴管理DB47aに接続され、履歴管理DB47aに蓄積されている配信履歴を医療画像のストリームデータの配信ごとに更新する処理や、不要になった配信履歴を削除する処理などを行う。
次いで、図2を参照して、ネットワークNを介して行われるメインシーケンスについて説明する。
まず、クライアント端末30では、医療画像共有アプリケーションソフトウエアのアイコンが表示部36aに表示されていることとする。表示画面に表示されているアイコン位置に対して、ユーザの指がタッチされた場合、タッチパッド部36bはタッチがあったことを検出し、かつタッチ位置を検出し操作表示制御部35に出力する。操作表示制御部35では、タッチ位置を制御部31に出力する。さらに、制御部31では、タッチ位置とアイコン位置との関係からこのタッチが医療画像共有アプリケーションソフトウエアのアイコンをクリックしたことを検出する。これにより、医療画像共有アプリケーションソフトウエアがHDDからRAMに展開され、医療画像共有アプリケーションソフトウエアが起動されている。
医療画像共有アプリケーションソフトウエアが起動されるとブラウザソフトウエアも起動され、ブラウザソフトからの起動命令が通信処理部32に渡される。通信処理部32では、起動命令にヘッダを付加してパケットを生成し、この起動命令をURLコードで示すサーバ40へ送信する。
クライアント端末30から起動命令を受信したサーバ40は、この起動命令を画像収集装置20に送信する。
サーバ40から起動命令を受信した画像収集装置20は、医療機器10から出力される操作及び設定に関連する操作設定画像情報、波形画像情報を含む医療画像情報を入力する。
医療機器10から医療画像情報を入力した画像収集装置20は、A/D変換部21において、画像信号をサンプリングクロックによりサンプリングしてA/D変換することにより、デジタル信号の画像データに変換する。次いで、画像取込部22では、画像データのフレームレートに合わせて順次にフレームメモリに画像データを取り込み、画像エンコーダ部23に出力する。
次いで、画像エンコーダ部23は、符号化方式H.264/AVCに従って画像データを符号化して動画のストリームデータを作成し、ストリーム送出部24に出力する。次いで、ストリーム送出部24は、画像エンコーダ部23から出力される画像ストリームデータを通信処理部27に出力する。
次いで、通信処理部27は、ストリーム送出部24から出力される画像ストリームデータにヘッダを付加してパケット化しネットワークNを介してサーバ40に送信する。
画像収集装置20から画像ストリームデータを受信したサーバ40は、画像ストリームデータをクライアント端末30に送信する。
この結果、クライアント端末30の表示部36aには、図3に示すような表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示される。
ここで、図3を参照して、クライアント端末30の表示画面について説明する。
表示画像36cには、ペンアイコン61、イメージ検索アイコン62、検索アイコン63、面積計算タブ64、メッセージ一覧領域65、参加者一覧領域66、未参加ユーザ一覧領域67、ストリームデータ領域68、入力室者表示領域69、クローズアイコン70が表示されている。
ストリームデータ領域68には、図4に示すような、操作及び設定に関連する操作設定画像情報、波形画像情報を含む医療画像情報がリアルタイムで表示されている。
次に、図5を参照して、クライアント端末30における医療画像共有アプリケーションソフトウエアの動作を示すフローチャートについて説明する。
ステップS1では、制御部31はログイン画面を表示部36aに表示するように操作表示制御部35し、ログイン画面にIDコード及びパスワードが入力された場合に、ステップS55に進み、入力されたIDコード及びパスワードを含む問合せ要求信号を通信処理部32からネットワークNを介してサーバ40に送信する。
サーバ40において、IDコード及びパスワードが認証された場合に、サーバ40から認証信号がクライアント端末30に返送され、ステップS5に進む。
次いで、ステップS5では、制御部31はログアウト状態があれば終了する(S5、Y)。一方、制御部31はログアウト状態がなければ(S5、N)、ステップS10〜S40に進む。
ここで、入力室者表示領域69への入室者の有無を監視する入室監視(S10)、参加者一覧領域66でのユーザ選択を監視するユーザ選択監視(S15)、ストリーミングに対してID管理されているタグ情報を監視するタグ監視(S20)、ペンアイコン61へのタッチ後の描画操作を監視する描画監視(S25)、検索アイコン63へのタッチ後の検索処理を監視する検索監視(S30)、面積計算タブ64へのタッチ後の計測状況を監視する計測監視(S35)、クローズアイコン70へのタッチを監視するログアウト監視(S40)を夫々同時並行して監視している。
次いで、ステップS10〜S35における夫々の監視結果として適合する処理がある場合に、ステップS45に進む。
ステップS45では、制御部31は操作情報が入力された場合に、ステップS55に進み、操作情報を含む機能問合せ要求信号を通信処理部32からネットワークNを介してサーバ40に送信する。
サーバ40において、該機能問合要求信号に応じた返答信号を生成した場合に、サーバ40から返答信号がクライアント端末30に返送され、ステップS50に進む。
ステップS50では、ユーザによる操作に関する操作情報が入力された場合に、ステップS55に進み、共有オブジェクト操作情報を通信処理部32からネットワークNを介してサーバ40に送信する。
サーバ40において、共有オブジェクト操作情報を確認された場合に、サーバ40からオブジェクト操作確認信号がクライアント端末30に返送され、ステップS5に戻る。
次に、図6を参照して、サーバ40における医療画像共有ソフトウエアの動作を示すフローチャートについて説明する。
ステップS101では、制御部41はストリーミング監視処理部43にストリーミング監視処理を行わせる。ここで、ストリーミング監視処理部43では、通信処理部42が受信したストリームパケットを監視対処とし、タイムスタンプやフレームを監視することでストリームの途切れを監視する。
次いで、ステップS105では、制御部41は履歴管理処理部47に履歴管理処理を行わせる。ここで、履歴管理処理部47では、履歴管理DB47aを参照し、履歴管理DB47aに蓄積されている配信履歴を医療画像のストリームデータの配信ごとに更新する処理や、不要になった配信履歴を削除する処理などを行う。
次いで、ステップS110では、制御部41は、クライアント端末30からの受信した情報を通信処理部42から取得する。
次いで、ステップS115では、制御部40は、クライアント操作情報を受け付けたか否かを判断する。クライアント操作情報がない場合にはステップS105に進む。一方、クライアント操作情報がログイン情報である場合に、ステップS120に進む。また、クライアント操作情報が情報共有操作である場合に、ステップS125に進む。
次いで、ステップS120では、制御部40はユーザ管理処理部46にユーザ管理処理を行わせる。ここで、ユーザ管理処理部46では、ユーザ管理DB46aを参照し、ログインしたユーザのユーザID及びパスワードがユーザ管理DB46aに登録されているか否かを検索し、ユーザID及び/又はパスワードが不適切な場合はエラーメッセージをクライアント端末に返送する一方、適切な場合はステップS101に戻り、上記処理を繰り返す。なお、ユーザの新規登録についてはその説明を省略する。
次いで、ステップS125では、制御部40は共有オブジェクト管理部44に共有オブジェクト管理を行わせる。ここで、共有オブジェクト管理部44では、医療画像において使用される共有オブジェクトを管理する。
次いで、図7(a)を参照して、画面描画シーケンスについて説明する。
ここで、図7(a)に示す画面描画シーケンスには示してないが、画像収集装置20から送信されている画像ストリームデータが、サーバ40を介してクライアント端末30A、30Bに送信されていることとする。これにより、クライアント端末30A、30Bの表示部36aには、図8に示すような表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示されていることとする。
まず、クライアント端末30Aでは、表示画面に表示されているペンアイコン61の位置に対して、ユーザの指がタッチされた場合、図5に示す描画監視(S25)に移行する。そして、制御部31は描画に関する操作情報が入力された場合(S45)に、描画操作情報を含む機能問合せ要求信号を通信処理部32からネットワークNを介してサーバ40に送信する(S50)。
ここで、クライアント端末30Aでは、ユーザがタッチパッド部36bにタッチし所望の手書き文字や図形を描いた場合、タッチパネル部36bのタッチ位置を追跡して検出し操作表示制御部35にタッチ位置データ群を出力する。操作表示制御部35では、タッチ位置データ群を画像合成部35aに出力し、画像合成部35aにおいてタッチ位置データ群をVRAM上に描画する。これにより、図8に示すように、例えば長方形図形81aや矢印81bや手書き文字「ココ」81cが描画されて表示部36aに表示される。
一方、操作表示制御部35はタッチ位置データ群を制御部31に出力する。そして、制御部31はタッチ位置データ群を通信処理部32に渡す。通信処理部32では、タッチ位置データ群にヘッダを付加してパケットを生成し、このタッチ位置データ群を描画座標情報としてURLコードで示すサーバ40へ送信する。
クライアント端末30から描画座標情報を受信したサーバ40では、制御部41は現在接続されており、かつ、画像共有相手側のクライアント端末を共有オブジェクト管理部44にチェックさせ、共有オブジェクト管理部44での処理により、現在、例えばクライアント端末30Bが共有相手として接続されていることが確認できた場合に、この描画座標情報をクライアント端末30Bに送信する。
このように、サーバは、情報を共有することを許可されたクライアント端末のみに医療画像情報、及び画像処理結果画像情報を転送することで、情報共有を許可された複数のクライアント端末の間で合成画像を共有することができる。
サーバ40から描画座標情報を受信したクライアント端末30Bでは、制御部31は描画座標情報を操作表示制御部35に出力する。操作表示制御部35では、描画座標情報を画像合成部35aに出力し、画像合成部35aにおいて描画座標情報をVRAM上に描画する。
これにより、図8に示すように、例えば長方形図形81aや矢印81bや手書き文字「ココ」81cが描画されて表示部36aに表示される。
この結果、画像収集装置20からサーバ40を介してクライアント端末30A、30Bに送信されている画像ストリームデータの表示画面において、クライアント端末30Aで手書きされた描画画像をクライアント端末30Bにも表示される。このため、例えば医療画像に対して所望の箇所に手書き文字などを描画させ端末間で共有することができる。
次いで、図7(b)を参照して、メッセージ送受信シーケンスについて説明する。
なお、図7(a)に示す画面描画シーケンスでは、手書き描画を行った際にその描画座標をクライアント端末30A、30B間で共有するシーケンスを示したが、図7(b)ではメッセージ送受信シーケンスについて示す。すなわち、クライアント端末30Aでは、表示画面に表示されている対話アイコン71の位置に対して、ユーザの指がタッチされた場合、キーボード(図示しない)を用いて作成したテキストメッセージをメッセージ一覧領域65に一旦保存することができる。そして、クライアント端末30Aからサーバ40にテキストメッセージを送信し、サーバ40から当該テキストメッセージをクライアント端末30Bに送信する。
この結果、画像収集装置20からサーバ40を介してクライアント端末30A、30Bに送信されている画像ストリームデータの表示画面において、クライアント端末30Aで入力されたテキストデータをクライアント端末30Bにも表示される。このため、例えば医療画像に対してユーザから寄せられたテキストメッセージを端末間で共有することができる。
このように、医療機器から出力される医療画像情報を収集する画像収集装置と、サーバと、複数のクライアント端末とをネットワークを介して接続し、サーバを介して複数のクライアント端末の間で情報を共有する医療画像共有システムであって、画像収集装置は、医療機器から出力される操作及び設定に関連する操作設定画像情報、医療画像情報を取得し(医療画像情報取得手段)、医療画像情報に対して画像処理を施し(画像処理手段)、医療画像情報と画像処理により得られた画像処理結果画像情報とをサーバに送信し、サーバは、画像収集装置から受信した医療画像情報、及び画像処理結果画像情報を複数のクライアント端末に転送し(転送手段)、クライアント端末は、サーバから医療画像情報と画像処理結果画像情報とを受信し(受信手段)、受信された医療画像情報に画像処理結果画像を合成し(画像合成手段)、合成された合成画像を表示する(表示手段)。これにより、複数のクライアント端末の間で合成画像を共有することができる。
この結果、複数のクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
<第2実施形態>
本発明の第2実施形態に係る医療画像共有システムについて説明する。なお、第2実施形態に係る医療画像共有システムは、図1に示す第1実施形態に係る医療画像共有システム1に適用するものである。
まず、図9を参照して、波形検知シーケンスについて説明する。
ここで、図9に示す波形検知シーケンスには示してないが、画像収集装置20から送信されている画像ストリームデータが、サーバ40を介してクライアント端末30A、30Bに送信されていることとする。これにより、クライアント端末30A、30Bの表示部36aには、表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示されていることとする。
図9において、クライアント端末30Aでは、表示画面に表示されているペンアイコン61の位置に対して、ユーザの指がタッチされた場合、図5に示す描画監視(S25)に移行する。そして、制御部31は仮想ラインの描画に関する操作情報が入力された場合(S45)に、描画操作情報を含む機能問合せ要求信号を通信処理部32からネットワークNを介してサーバ40に送信する(S50)。
ここで、クライアント端末30Aでは、ユーザがタッチパッド部36bにタッチし所望の仮想ラインを描いた場合、タッチパネル部36bのタッチ位置を追跡して検出し操作表示制御部35にタッチ位置データ群を出力する。操作表示制御部35では、タッチ位置データ群を画像合成部35aに出力し、画像合成部35aにおいてタッチ位置データ群をVRAM上に描画する。これにより、図11に示すように、例えば仮想ラインとしてLine1、Line2が描画されて表示部36aに表示される。
一方、操作表示制御部35は仮想ラインを示すタッチ位置データ群を制御部31に出力する。そして、制御部31は仮想ラインを示すタッチ位置データ群を通信処理部32に渡す。通信処理部32では、タッチ位置データ群にヘッダを付加してパケットを生成し、この仮想ラインを示すタッチ位置データ群を描画座標情報としてURLコードで示すサーバ40へ送信する。
クライアント端末30から描画座標情報を受信したサーバ40では、制御部41は現在接続されている画像収集装置20に仮想ラインにより示される波形ピーク画像域又はボトムピーク画像域の座標情報を送信する。
サーバ40から仮想ラインにより示される波形ピーク画像域又はボトムピーク画像域の座標情報を受信した画像収集装置20は、交点チェックを行い、波形画像が仮想ラインで示される範囲を逸脱した場合に、ピーク値のインターバルタイミングをサーバ40に送信する。
画像収集装置20からインターバルタイミングを受信したサーバ40は、インターバルタイミングを履歴管理処理部47に出力する。履歴管理処理部47では入力されたインターバルタイミングを履歴管理DB47aに格納する。さらに、サーバ40は、インターバルタイミングをクライアント端末30Aに送信する。
また、画像共有相手側のクライアント端末を共有オブジェクト管理部44にチェックさせ、現在、例えばクライアント端末30Bが共有相手として接続されていることが確認できた場合に、このインターバルタイミングをクライアント端末30Bに送信する。
サーバ40からインターバルタイミングを受信したクライアント端末30Bでは、制御部31はインターバルタイミングを操作表示制御部35に出力する。操作表示制御部35では、描画座標情報を画像合成部35aに出力し、画像合成部35aにおいて描画座標情報をVRAM上に描画する。これにより、図11に示すように、例えば仮想ラインとしてLine1、Line2が描画されて表示部36aに表示される。
インターバルタイミングとしては、図11に示すように、「インターバルタイム( )Sec」というメッセージとともに、「警告:インターバル時間が設定をオーバー」という警告メッセージ画像がストリームデータ領域68に合成されて表示される。
この結果、画像収集装置20からサーバ40を介してクライアント端末30A、30Bに送信されている画像ストリームデータの表示画面において、クライアント端末30AでLine1、Line2の描画画像をクライアント端末30Bにも表示される。このため、例えば医療画像に対して所望の箇所に仮想ラインを描画させ端末間で共有することができる。
次いで、図10を参照して、画像収集装置20において波形検知処理を実行するためのフローチャートについて説明する。
サーバ40から仮想ラインにより示される波形ピーク画像域又はボトムピーク画像域の座標情報を受信した画像収集装置20は、通信処理部27から画像処理部26に波形ピーク画像域又はボトムピーク画像域を出力する。
まず、ステップS151では、画像処理部26は、波形ピーク画像域又はボトムピーク画像域を閾値1、閾値2としてメモリ26aに記憶することにより設定する。
次いで、ステップS155では、画像処理部26は、画像エンコーダ部23から画像を取り込みメモリ26aに書き込む。
次いで、ステップS160では、画像処理部26は、メモリ26aに取り込んだ画像のリサイズ処理、すなわち、画像の縮小、拡大を縦方向及び横方向で行う。
次いで、ステップS165では、画像処理部26は、メモリ26aでリサイズ処理を施した画像(多値)に対して、画像の2値化処理を行い、処理結果となる2値画像をメモリ26aの他の領域に記憶する。
次いで、ステップS170では、画像処理部26は、メモリ26aの他の領域に記憶された2値画像に対して、閾値1、閾値2を基準にして閾値判断処理を行う。すなわち、閾値判断処理では特定ピクセル(画素)が閾値1又は閾値2と衝突しているか否かを判定する衝突判定処理を行う。
ここで、閾値1又は閾値2と衝突している場合(S170、Y)、ステップS175に進み、アラート処理を行う。アラート処理では、上述したインターバルタイミングとして、「Line1オーバー」、「Line2オーバー」というメッセージとともに、時刻データとして「21:01:15/01/07/2013」という画像を生成する。ステップS180では、このようなインターバルタイミングを監視データとして通信処理部27からサーバ40に送信する。
また、アラート処理では、「警告:インターバル時間が設定をオーバー」という警告メッセージ画像を生成してもよい。
ステップS185では、終了判断処理を行う。すなわち、サーバ40から画像収集装置20に終了信号が送信され、通信処理部27から画像処理部26に終了信号が引き渡された場合に処理を終了する。一方、波形検知処理を継続する場合(S185、N)にはステップS155に戻り、上述した処理を繰り返す。
このように、画像処理部は、クライアント端末から医療画像情報中の波形画像情報に含まれる波形の位置を示す位置情報を受信し、波形画像情報に含まれる波形領域に対して、クライアント端末から受信された位置情報を閾値となる少なくとも1つの仮想ラインとして設定し、描画される波形が該仮想ラインで示される範囲を逸脱するか否かを判断し、描画される波形が該仮想ラインで示される範囲を逸脱した場合に警報を発生する(警報発生手段)。これにより、クライアント端末からの指示に応じて少なくとも1つの仮想ラインを設定でき、描画される波形が該仮想ラインで示される範囲を逸脱した場合に警告を発生することができ、クライアント端末では指示した位置(閾値)を波形が逸脱したことを警報により確認することができる。これに加えて、仮想ラインは同様に、ピーク値のインターバルタイミングを設定することで、波形の時刻的パターンから逸脱する場合にアラームを発する機能も有し、異常なパターンを検知することもできる。
また、画像処理結果データをサーバに送信し、サーバを介して1又は複数のクライアント端末に当該画像処理結果データ(警告メッセージ)を送信することで、複数のクライアント端末の間で合成画像(警告メッセージ)を共有することができる。また画像収集装置とクライアント端末との間で医療画像情報を共有することができる。
この結果、複数のクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
<第3実施形態>
本発明の第3実施形態に係る医療画像共有システムについて説明する。なお、第3実施形態に係る医療画像共有システムは、図1に示す第1実施形態に係る医療画像共有システム1に適用するものである。
まず、図12を参照して、面積測定シーケンスについて説明する。
ここで、図12に示す面積測定シーケンスには示してないが、画像収集装置20から送信されている画像ストリームデータが、サーバ40を介してクライアント端末30A、30Bに送信されていることとする。これにより、クライアント端末30A、30Bの表示部36aには、表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示されていることとする。
図12において、クライアント端末30Aでは、表示画面に表示されているペンアイコン61の位置に対して、ユーザの指がタッチされた場合、図5に示す描画監視(S25)に移行する。そして、制御部31はペンにより指定される所望の面積を示す閉ループの描画に関する操作情報が入力された場合(S45)に、描画操作情報を含む機能問合せ要求信号を通信処理部32からネットワークNを介してサーバ40に送信する(S50)。
ここで、クライアント端末30Aでは、ユーザがタッチパッド部36bにペンによりタッチし所望の閉ループを描いた場合、タッチパネル部36bのタッチ位置を追跡して検出し操作表示制御部35にタッチ位置データ群を出力する。操作表示制御部35では、タッチ位置データ群を画像合成部35aに出力し、画像合成部35aにおいてタッチ位置データ群をVRAM上に描画する。これにより、図14に示すように、例えば所望の面積を示す閉ループ81が描画されて表示部36aに表示される。また、図15(a)は処理前の様子を示す図であり、図15(b)に示すように、例えば所望の面積を示す閉ループ68aが描画されて表示部36aに表示される。
一方、操作表示制御部35は所望の閉ループを示すタッチ位置データ群を制御部31に出力する。そして、制御部31は所望の閉ループを示すタッチ位置データ群を通信処理部32に渡す。通信処理部32では、タッチ位置データ群にヘッダを付加してパケットを生成し、この所望の閉ループを示すタッチ位置データ群を描画座標情報としてURLコードで示すサーバ40へ送信する。
クライアント端末30からペンにより描画された描画座標情報を受信したサーバ40では、制御部41は現在接続されている画像収集装置20に所望の閉ループにより示される画像範囲の座標情報を送信する。
サーバ40からペンにより描画された画像範囲の座標情報を受信した画像収集装置20は、領域のピクセル数の探索を行い、時刻データを付加した領域のピクセル数データをサーバ40に送信する。
画像収集装置20から領域のピクセル数データを受信したサーバ40は、領域のピクセル数データを履歴管理処理部47に出力する。履歴管理処理部47では入力された領域のピクセル数データを履歴管理DB47aに格納する。さらに、サーバ40は、領域のピクセル数を面積データとしてクライアント端末30Aに送信する。
なお、面積はdpiで表し、医療画像の実際のサイズであれば、mm単位で表すこととする。
また、画像共有相手側のクライアント端末を共有オブジェクト管理部44にチェックさせ、現在、例えばクライアント端末30Bが共有相手として接続されていることが確認できた場合に、この面積データをクライアント端末30Bに送信する。
サーバ40から面積データを受信したクライアント端末30Bでは、制御部31はインターバルタイミングを操作表示制御部35に出力する。操作表示制御部35では、描画座標情報を画像合成部35aに出力し、画像合成部35aにおいて描画座標情報をVRAM上に描画する。これにより、図14に示すように、例えば所望の閉ループ81が描画されて表示部36aに表示される。
面積データとしては、図14に示すように、面積計算タブ64内の表示ボックスに面積データがテキスト化された画像がストリームデータ領域68の左側部に合成されて表示される。
この結果、画像収集装置20からサーバ40を介してクライアント端末30A、30Bに送信されている画像ストリームデータの表示画面において、クライアント端末30Aで所望の閉ループ81の描画画像をクライアント端末30Bにも表示される。このため、例えば医療画像に対して所望の箇所に閉ループを描画させ端末間で共有することができる。
次いで、図13を参照して、面積測定処理を実行するためのフローチャートについて説明する。
サーバ40からペンにより描画された座標情報を受信した画像収集装置20は、通信処理部27から画像処理部26にペン指定情報および閉領域描画指示を出力する。一方、画像処理部26は、画像エンコーダ部23から画像を取り込みメモリ26aに書き込む。
まず、ステップS201では、画像処理部26は、ペンが指定されたことを設定する。
次いで、ステップS205では、画像処理部26は、メモリ26aに書き込んだ画像に対して、受信した描画座標情報に応じて閉領域を描画する。描画されたペンの軌跡の末端が始点と重なることで閉領域が形成された方が好ましい。
そこで、ステップS210では、画像処理部26は、メモリ26aに描画されたペンの軌跡の末端と始点とが閉領域になっていないか否かを判断する。ペンの軌跡の末端と始点とが閉領域になっていない場合(S210、Y)はステップS215に進む。
次いで、ステップS215では、画像処理部26は、ペンの軌跡の末端と始点とを接続することにより閉領域を形成する。
次いで、ステップS220では、画像処理部26は、メモリ26aに描画された閉領域内のピクセル数を算出する。
次いで、ステップS225では、画像処理部26は、ピクセル数をテキストメッセージに変換し、さらに、テキストメッセージをストリームデータに変換し、通信処理部27に出力する。
この結果、図14に示すように、面積計算タブ64内の表示ボックスに面積データがテキスト化された画像がストリームデータ領域68の左側部に合成されて表示される。
このように、画像処理部は、クライアント端末から医療画像情報中の画像情報の範囲を指定する指定範囲情報を受信し、クライアント端末から受信された指定範囲情報が示す範囲に含まれる医療画像情報の画素数から面積を算出する(面積算出手段)。これにより、クライアント端末から指定された範囲の面積を算出することができ、クライアント端末では当該面積を確認することができる。
また、画像処理結果データをサーバに送信し、サーバを介して1又は複数のクライアント端末に当該画像処理結果データ(面積)を送信することで、複数のクライアント端末の間で合成画像を共有することができ、また画像収集装置とクライアント端末との間で医療画像情報を共有することができる。
この結果、複数のクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
<第4実施形態>
本発明の第4実施形態に係る医療画像共有システムについて説明する。なお、第4実施形態に係る医療画像共有システムは、図1に示す第1実施形態に係る医療画像共有システム1に適用するものである。
まず、図16を参照して、文字検索シーケンスについて説明する。
ここで、図12に示す文字検索シーケンスには示してないが、画像収集装置20から送信されている画像ストリームデータが、サーバ40を介してクライアント端末30A、30Bに送信されていることとする。これにより、クライアント端末30A、30Bの表示部36aには、表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示されていることとする。
図16において、クライアント端末30Aでは、表示画面に表示されている検索アイコン63の位置に対して、ユーザの指がタッチされた場合、図5に示す検索監視(S30)に移行する。そして、制御部31は検索アイコン63へのタッチに続いて、キーボードにより候補となる所望の文字列情報が入力された場合(S45)に、描画操作情報を含む機能問合せ要求信号を通信処理部32からネットワークNを介してサーバ40に送信する(S50)。
ここで、クライアント端末30Aでは、図18に示すように、例えば波形画像とともに医療機器の操作ボタンや操作画面を示す画像領域85、86として例えば「V_Level □up」「V_Level □down」が描画されている画像がストリームデータ領域68内に表示される。また、図19(a)に示すように、例えば文字画像「ABCD・・・」を含む画像領域87が表示画像36cとして表示される。
一方、操作表示制御部35は検索要求や所望の候補となる文字列を示す検索文字データを制御部31に出力する。そして、制御部31は所望の検索文字データを通信処理部32に渡す。通信処理部32では、検索文字データにヘッダを付加してパケットを生成し、この所望の検索文字データをURLコードで示すサーバ40へ送信する。
クライアント端末30から検索文字データを受信したサーバ40では、制御部41は現在接続されている画像収集装置20に文字列データを送信する。
サーバ40から文字列データを受信した画像収集装置20は、画面内の医療画像から文字判断を行い、文字列が一致した場合にTrue文字位置データをサーバ40に送信する。
画像収集装置20からTrue文字位置データを受信したサーバ40は、True文字位置データを履歴管理処理部47に出力する。履歴管理処理部47では入力されたTrue文字位置データを履歴管理DB47aに格納する。
さらに、サーバ40は、True文字位置データに基づいて、文字範囲を示す枠画像データ88を矩形描画し、枠画像データをクライアント端末30Aに送信する。
また、画像共有相手側のクライアント端末を共有オブジェクト管理部44にチェックさせ、現在、例えばクライアント端末30Bが共有相手として接続されていることが確認できた場合に、この枠画像データをクライアント端末30Bに送信する。
サーバ40から枠画像データを受信したクライアント端末30Bでは、制御部31は枠画像データを操作表示制御部35に出力する。操作表示制御部35では、枠画像データを画像合成部35aに出力し、画像合成部35aにおいて枠画像データをVRAM上に描画する。これにより、図19に示すように、例えば操作ボタン「XYZ・・・」を囲む枠画像データ88が描画されて表示部36aに表示される。
枠画像データとしては、図19(b)に示すように、枠画像データ88がストリームデータ領域68内に合成されて表示される。
この結果、画像収集装置20からサーバ40を介してクライアント端末30A、30Bに送信されている画像ストリームデータの表示画面において、クライアント端末30Aで所望の文字列を含む枠画像データをストリームデータに合成してクライアント端末30Bにも表示される。このため、例えば医療画像に対して所望の文字列を含む枠画像データを描画させ端末間で共有することができる。
次いで、図17を参照して、文字検索処理を実行するためのフローチャートについて説明する。
サーバ40から文字列データを受信した画像収集装置20は、通信処理部27から画像処理部26に文字列データを出力する。画像処理部26は、文字列データをメモリ26aに記憶する。
まず、ステップS251では、画像処理部26は、画像エンコーダ部23から画像を取り込みメモリ26aに書き込む。
次いで、ステップS255では、画像処理部26は、メモリ26aに取り込んだ画像(多値)に対して、画像の2値化処理を行い、処理結果となる2値画像をメモリ26aの他の領域に記憶する。ここで、メモリ26aに記憶されている2値画像の座標は左上端部のxy座標を(0,0)を原点とし、右下端部のxy座標を(x,y)として扱うこととする。
次いで、ステップS260では、画像処理部26は、メモリ26aに記憶されている2値画像に対して、上記原点から水平(x)方向に1ピクセル移動する。
次いで、ステップS265では、画像処理部26は、水平方向に連続して有効なピクセルが存在することを示す線形ピクセルを発見したか否かを判断する。
線形ピクセルがない場合(S265、N)、ステップS270に進み、画像処理部26は、Xシフトの末端(x)か否かを判断する。Xシフトの末端(x)ではない場合(S270、N)、ステップS260に戻り、上述した処理を繰り返す。
一方、Xシフトの末端(x)である場合(S270、Y)、ステップS275に進み、画像処理部26は、垂直(Y)方向に1ピクセル移動し、ステップS260に戻り、上述した処理を繰り返す。
一方、線形ピクセルを発見した場合(S265、Y)、ステップS280に進み、線形のクラスタリング処理を施す。すなわち、線形のクラスタリング処理では、位置情報に基づいて領域分割を実施することができる。
次いで、ステップS285では、画像処理部26は、周知のOCR判断器により文字認識処理を行う。
次いで、ステップS290では、画像処理部26は、単体文字のXY座標のMaxSquarのe値をメモリ26aに記憶する。
次いで、ステップS295では、画像処理部26は、文字列(連続文字が発見される限りセット)をメモリ26aに記憶する。
次いで、ステップS300では、画像処理部26は、MaxSquar値が前回の値と異なるか否かを判断する。
MaxSquar値が前回の値と異なる場合(S300、Y)、ステップS305に進み、画像処理部26は、MaxSquar値を更新し、メモリ26aに記憶する。
次いで、ステップS310では、画像処理部26は、連続文字に対して、ラベリング処理を行い、連続文字に関連付けてラベル#kを付与し、ステップS260に戻り、上述した処理を繰り返す。
一方、MaxSquar値が前回の値と同じ場合(S300、N)、ステップS260に戻り、上述した処理を繰り返す。
このように、画像処理部は、クライアント端末から医療画像情報に含まれる文字情報の範囲を示す指定範囲情報を受信し、クライアント端末から受信された指定範囲情報が示す範囲に含まれる医療画像情報に対して、先頭の一文字の領域を検出し、検出された一文字の領域に隣接して存在する文字列の領域を検出し、検出された文字領域情報をOCR判断器にて文字解析を行う(文字列検索手段)。これにより、クライアント端末から指定された範囲の画像に含まれている文字を解析することができ、クライアント端末では当該文字を確認することができる。
また、画像処理結果データ(文字)をサーバに送信し、サーバを介して1又は複数のクライアント端末に当該画像処理結果データを送信する。これにより、複数のクライアント端末の間で合成画像を共有することができ、また画像収集装置とクライアント端末との間で医療画像情報を共有することができる。
この結果、複数のクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
<第5実施形態>
本発明の第5実施形態に係る医療画像共有システムについて説明する。なお、第5実施形態に係る医療画像共有システムは、図1に示す第1実施形態に係る医療画像共有システム1に適用するものである。
まず、図20を参照して、パターン検索シーケンスについて説明する。
ここで、図20に示すパターン検索シーケンスには示してないが、画像収集装置20から送信されている画像ストリームデータが、サーバ40を介してクライアント端末30A、30Bに送信されていることとする。これにより、クライアント端末30A、30Bの表示部36aには、表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示されていることとする。
図20において、クライアント端末30Aでは、表示画面に表示されている検索アイコン63の位置に対して、ユーザの指がタッチされた場合、図5に示す検索監視(S30)に移行する。そして、制御部31は検索アイコン63がタッチされたことに伴う所望の検索用イメージが、例えばドラッグ操作やキーボードにより入力された場合(S45)に、描画操作情報を含む機能問合せ要求信号を通信処理部32からネットワークNを介してサーバ40に送信する(S50)。
ここで、クライアント端末30Aでは、図21に示すように、例えば医療機器の操作ボタンや操作画面の一部の形状を示す検索用イメージ91が描画されて表示画像36cとして表示される。図21には、「0.0kV」という検索用イメージが表示された様子を示す。
一方、操作表示制御部35は検索指示と検索用イメージデータを制御部31に出力する。そして、制御部31は検索指示と検索用イメージデータを通信処理部32に渡す。通信処理部32では、検索指示と検索用イメージデータにヘッダを付加してパケットを生成し、この検索指示と検索用イメージデータをURLコードで示すサーバ40へ送信する。
クライアント端末30から検索指示と検索用イメージデータを受信したサーバ40では、制御部41は現在接続されている画像収集装置20に検索指示と検索用イメージデータを送信する。
サーバ40から検索指示と検索用イメージデータを受信した画像収集装置20は、検索用イメージデータを参照して画面内の医療画像とのパターンマッチング処理を行い、二乗誤差が最小値を示すTrue座標位置データをサーバ40に送信する。
画像収集装置20からTrue座標位置データを受信したサーバ40は、True座標位置データを履歴管理処理部47に出力する。履歴管理処理部47では入力されたTrue座標位置データを履歴管理DB47aに格納する。さらに、サーバ40は、True座標位置データに基づいて、文字範囲を示す枠画像データ88を矩形描画し、枠画像データをクライアント端末30Aに送信する。
また、画像共有相手側のクライアント端末を共有オブジェクト管理部44にチェックさせ、現在、例えばクライアント端末30Bが共有相手として接続されていることが確認できた場合に、この枠画像データをクライアント端末30Bに送信する。
サーバ40から枠画像データを受信したクライアント端末30Bでは、制御部31は枠画像データを操作表示制御部35に出力する。操作表示制御部35では、枠画像データを画像合成部35aに出力し、画像合成部35aにおいて枠画像データをVRAM上に描画する。これにより、図23に示すように、例えば枠画像データ92が描画されて表示部36aに表示される。
枠画像データとしては、図23に示すように、枠画像データ92がストリームデータ領域68内に合成され、「0.0kV」とともに枠画像データ92が表示される。
この結果、画像収集装置20からサーバ40を介してクライアント端末30A、30Bに送信されている画像ストリームデータの表示画面において、クライアント端末30Aで所望の検索用イメージを含む枠画像データをストリームデータに合成してクライアント端末30Bにも表示される。このため、例えば医療画像に対して所望の検索用イメージを含む枠画像データを描画させ端末間で共有することができる。
次いで、図22を参照して、パターン検索処理を実行するためのフローチャートについて説明する。
サーバ40から検索指示と検索用イメージデータを受信した画像収集装置20は、通信処理部27から画像処理部26に検索指示と検索用イメージデータを出力する。画像処理部26は、検索指示と検索用イメージデータをメモリ26aに記憶する。
まず、画像処理部26は、画像エンコーダ部23から画像を取り込みメモリ26aに書き込む。
次いで、ステップS351では、画像処理部26は、メモリ26aに記憶されている画像の座標は左上端部のxy座標を(0,0)を原点とし、右下端部のxy座標を(x,y)とし、発見範囲(0,0)〜(x,y)を定義する。
次いで、ステップS355では、画像処理部26は、原点(0,0)から(x,y)に向かう範囲において、メモリ26aに記憶されている検索用イメージデータに対して、特定位置での二乗誤差を算出し、算出後の二乗誤差データにラベル#kをその都度更新して付加し、メモリ26aに記憶する。
次いで、ステップS360では、画像処理部26は、メモリ26aに記憶されている検索用イメージデータに対して、回転を考慮しつつRGBの夫々の画像に対して二乗誤差を計算し、算出後の二乗誤差データにラベル#kRGBをその都度更新して付加し、メモリ26aに記憶する。
次いで、ステップS365では、画像処理部26は、発見範囲(0,0)〜(x,y)内の領域ピクセル内での探索を行うため、特定位置を発見範囲内で1ピクセル移動し、ステップS355に戻り、上述した処理を繰り返す。
次いで、ステップS370では、画像処理部26は、メモリ26aから今回算出した二乗誤差Diffを読み出し、二乗誤差Diffが小さい方を仮に最新の最小二乗誤差minDiffとする。
画像処理部26は、二乗誤差sDiffが最小二乗誤差minDiffよりも小さいか否かを判断する。
sDiff<minDiff
ここで、二乗誤差sDiffが最小二乗誤差minDiffよりも小さい場合(S370、Y)は、ステップS375に進み、二乗誤差sDiff=最小二乗誤差minDiffとなる位置を特定し、メモリ26aにその座標範囲(xsk,ysk)〜(xek,yek)を記憶する。
一方、二乗誤差sDiffが最小二乗誤差minDiffよりも小さくない場合(S370、N)は、ステップS380に進み、発見範囲(0,0)〜(x,y)内でスケール数分の二乗誤差の算出を繰り返すため、ステップS351に戻り、上述した処理を繰り返す。
この繰り返し処理により、ステップS370で算出される最小二乗誤差minDiffが徐々に小さい値に置き換えられていく。
ステップS380での繰り返し処理が終了した場合に、ステップS385に進み、二乗誤差の最小値を決定し、メモリ26aからその座標範囲(xsk,ysk)〜(xek,yek)を読み出す。
このように、画像処理部は、クライアント端末から画像パターンを受信し、医療画像情報を2次元平面に展開し、該2次元平面上の発見範囲内の領域を移動し、クライアント端末から受信された画像パターンと該領域内の画像情報との二乗誤差を算出して記憶し、該記憶された二乗誤差が最小となる画像情報を画像パターンとして決定する(テンプレート解析手段)。これにより、クライアント端末から指定された画像パターンに最も近い画像情報の位置を決定することができ、クライアント端末では指定した画像パターンに最も近い画像情報の位置を確認することができる。
また、画像処理結果データをサーバに送信し、サーバを介して1又は複数のクライアント端末に当該画像処理結果データ(画像情報の位置)を送信することで、複数のクライアント端末の間で合成画像を共有することができる。また画像収集装置とクライアント端末との間で医療画像情報を共有することができる。
この結果、複数のクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
<他の実施形態>
上述した第1〜第5実施形態にあっては、図1に示すように、医療機器10から出力される医療画像情報を収集する画像収集装置20と、サーバ40と、複数のクライアント端末30とをネットワークNを介して接続し、サーバ40を介して複数のクライアント端末30の間で情報を共有する医療画像共有システム1について説明した。
しかしながら、本発明はそのようなシステム構成に限定されるものではない。
すなわち、他の実施形態として、医療機器10から出力される医療画像情報を収集する画像収集装置20と、サーバ40と、クライアント端末30とをネットワークNを介して接続し、サーバ40を介して画像収集装置20とクライアント端末30との間で情報を共有する医療画像共有システムであってもよい。
詳しくは、画像収集装置20において、画像取込部22に取り込んだ画像を順次に記憶するVRAMを有する表示制御部(図示しない)と、表示制御部のVRAMからフレームレートで読み出した画像を表示するモニタを設ける。さらに、医療画像情報と画像処理結果画像情報とを合成する画像合成部を表示制御部に設けるように構成する。
画像収集装置20において、クライアント端末30から通信処理部27を介して医療画像情報に対する画像処理に関連した指示情報を受信した場合に、この指示情報に基づいて画像処理部26が画像処理を行い、画像処理部26から画像処理結果画像情報を表示制御部に設けられた画像合成部に出力する。そして、医療画像情報と画像処理結果画像情報とを画像合成部により合成し、モニタに出力する。
このように、医療機器から出力される医療画像情報を収集する画像収集装置と、サーバと、クライアント端末とをネットワークを介して接続し、サーバを介して画像収集装置とクライアント端末との間で情報を共有する医療画像共有システムであって、画像収集装置は、医療機器から出力される操作及び設定に関連する操作設定画像情報、医療画像情報を取得し(医療画像情報取得手段)、医療画像情報に対して画像処理を施し(画像処理手段)、医療画像情報と画像処理により得られた画像処理結果画像情報とをサーバに送信し(送信手段)、サーバは、画像収集装置から受信した医療画像情報、及び画像処理結果画像情報をクライアント端末に転送し(転送手段)、クライアント端末は、サーバから医療画像情報と画像処理結果画像情報とを受信し(受信手段)、受信された医療画像情報に画像処理結果画像を合成し(画像合成手段)、合成された合成画像を表示する(表示手段)。これにより、画像収集装置とクライアント端末との間で医療画像情報を共有することができる。
この結果、画像収集装置とクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
1…医療画像共有システム、10…医療機器、20…画像収集装置、21…A/D変換部、22…画像取込部、23…画像エンコーダ部、24…ストリーム送出部、26…画像処理部、27…通信処理部、30…クライアント端末、31…制御部、33…画像デコーダ部、35…操作表示制御部、36…操作表示部、40…サーバ、43…ストリーミング監視処理部、44…共有オブジェクト管理部、45…メッセージ管理部、46…ユーザ管理処理部、46…ユーザ管理DB、47…履歴管理処理部、47…履歴管理DB

Claims (13)

  1. 医療機器の表示装置に表示される画像をカメラを用いて撮影して、前記カメラから出力される画像信号をA/D変換した画像データを生成し、又は前記医療機器から出力されるRGB信号をA/D変換した画像データを生成し、前記画像データに基づいた画像ストリームデータである医療画像情報を収集する画像収集装置と、前記画像収集装置と接続されるサーバと、前記サーバと複数のクライアント端末とをネットワークを介して接続し、前記サーバを介して前記複数のクライアント端末の間で情報を共有する医療画像共有システムであって、
    前記画像収集装置は、
    前記医療機器から出力される操作及び設定に関連する操作設定画像情報、画像ストリームデータである前記医療画像情報を取得する医療画像情報取得手段と、
    前記クライアント端末から前記サーバを介して受信した画像処理を施すための情報に基づいて、前記医療機器から取得した画像ストリームデータである前記医療画像情報に対して画像処理を施す画像処理手段と、
    画像ストリームデータである前記医療画像情報と前記画像処理手段により得られた画像ストリームデータである前記画像処理結果画像情報とを前記サーバに送信する送信手段とを備え、
    前記サーバは、
    前記クライアント端末から受信した前記画像収集装置の前記画像処理手段に画像処理を施させるための情報を前記画像収集装置に送信する送信手段と、
    前記画像収集装置から受信した画像ストリームデータである前記医療画像情報、及び画像処理結果画像情報を前記複数のクライアント端末に転送する転送手段を備え、
    前記クライアント端末は、
    前記画像収集装置の前記画像処理手段に画像処理を施させるための情報を前記サーバに送信する送信手段と、
    前記サーバから画像ストリームデータである前記医療画像情報と前記画像処理結果画像情報とを受信する受信手段と、
    前記受信手段により受信された画像ストリームデータである前記医療画像情報に前記画像処理結果画像を合成する画像合成手段と、
    前記画像合成手段により合成された合成画像を表示する表示手段と、
    を備えることを特徴とする医療画像共有システム。
  2. 医療機器の表示装置に表示される画像をカメラを用いて撮影して、前記カメラから出力される画像信号をA/D変換した画像データを生成し、又は前記医療機器から出力されるRGB信号をA/D変換した画像データを生成し、前記画像データに基づいた画像ストリームデータである医療画像情報を収集する画像収集装置と、前記画像収集装置と接続されるサーバと、前記サーバとクライアント端末とをネットワークを介して接続し、前記サーバを介して前記画像収集装置と前記クライアント端末との間で情報を共有する医療画像共有システムであって、
    前記画像収集装置は、
    前記医療機器から出力される操作及び設定に関連する操作設定画像情報、画像ストリームデータである前記医療画像情報を取得する医療画像情報取得手段と、
    前記クライアント端末から前記サーバを介して受信した画像処理を施すための情報に基づいて、前記医療機器から取得した画像ストリームデータである前記医療画像情報に対して画像処理を施す画像処理手段と、
    画像ストリームデータである前記医療画像情報と前記画像処理手段により得られた画像ストリームデータである前記画像処理結果画像情報とを前記サーバに送信する送信手段とを備え、
    前記サーバは、
    前記クライアント端末から受信した画像ストリームデータである前記画像収集装置の前記画像処理手段に画像処理を施させるための情報を前記画像収集装置に送信する送信手段と、
    前記画像収集装置から受信した画像ストリームデータである前記医療画像情報、及び画像処理結果画像情報を前記クライアント端末に転送する転送手段を備え、
    前記クライアント端末は、
    前記画像収集装置の前記画像処理手段に画像処理を施させるための情報を前記サーバに送信する送信手段と、
    前記サーバから画像ストリームデータである前記医療画像情報と前記画像処理結果画像情報とを受信する受信手段と、
    前記受信手段により受信された画像ストリームデータである前記医療画像情報に前記画像処理結果画像を合成する画像合成手段と、
    前記画像合成手段により合成された合成画像を表示する表示手段と、を備えることを特徴とする医療画像共有システム。
  3. 前記医療画像情報取得手段は、
    前記医療機器の表示装置に表示される画像を撮影するカメラであることを特徴とする請求項1又は2記載の医療画像共有システム。
  4. 前記医療画像情報取得手段は、
    前記医療機器から外部出力端子に出力される前記医療画像情報を取得することを特徴とする請求項1又は2記載の医療画像共有システム。
  5. 前記画像処理手段は、
    前記クライアント端末から前記サーバを介して、前記医療画像情報中の波形画像情報に含まれる波形の位置を示す位置情報を受信する受信手段と、
    前記波形画像情報に含まれる波形領域に対して、前記受信手段により受信された位置情報を閾値となる少なくとも1つの仮想ラインとして設定し、描画される波形が該仮想ラインで示される範囲を逸脱するか否かを判断する波形解析手段と、
    前記描画される波形が該仮想ラインで示される範囲を逸脱した場合に警報を発生する警報発生手段と、を備えたことを特徴とする請求項1又は2記載の医療画像共有システム。
  6. 前記画像処理手段は、
    前記クライアント端末から前記サーバを介して、前記医療画像情報中の画像情報の範囲を指定する指定範囲情報を受信する受信手段と、
    前記受信手段により受信された指定範囲情報が示す範囲に含まれる前記医療画像情報の画素数から面積を算出する面積算出手段と、を備えたことを特徴とする請求項1又は2記載の医療画像共有システム。
  7. 前記画像処理手段は、
    前記クライアント端末から前記サーバを介して、前記医療画像情報に含まれる文字情報の範囲を示す指定範囲情報を受信する受信手段と、
    前記受信手段により受信された指定範囲情報が示す範囲に含まれる前記医療画像情報に対して、先頭の一文字の領域を検出し、検出された一文字の領域に隣接して存在する文字列の領域を検出し、検出された文字領域情報をOCR判断器にて文字解析を行う文字列検索手段と、を備えたことを特徴とする請求項1又は2記載の医療画像共有システム。
  8. 前記画像処理手段は、
    前記クライアント端末から前記サーバを介して画像パターンを受信する受信手段と、
    前記医療画像情報を2次元平面に展開し、該2次元平面上の発見範囲内の領域を移動し、前記受信手段により受信された画像パターンと該領域内の画像情報との二乗誤差を算出して記憶し、該記憶された二乗誤差が最小となる画像情報を前記画像パターンとして決定するテンプレート解析手段と、を備えたことを特徴とする請求項1又は2記載の医療画像共有システム。
  9. 前記サーバの転送手段は、
    情報を共有することを許可されたクライアント端末のみに前記医療画像情報、及び画像処理結果画像情報を転送することを特徴とする請求項1又は2記載の医療画像共有システム。
  10. 医療機器の表示装置に表示される画像をカメラを用いて撮影して、前記カメラから出力される画像信号をA/D変換した画像データを生成し、又は前記医療機器から出力されるRGB信号をA/D変換した画像データを生成し、前記画像データに基づいた画像ストリームデータである医療画像情報を収集する画像収集装置と、前記画像収集装置と接続されるサーバと、前記サーバと複数のクライアント端末とをネットワークを介して接続し、前記サーバを介して前記複数のクライアント端末の間で情報を共有する医療画像共有システムにおける医療画像共有方法であって、
    前記画像収集装置は、
    前記医療機器から出力される操作及び設定に関連する操作設定画像情報、画像ストリームデータである前記医療画像情報を取得する医療画像情報取得ステップと、
    前記クライアント端末から前記サーバを介して受信した画像処理を施すための情報に基づいて、前記医療機器から取得した画像ストリームデータである前記医療画像情報に対して画像処理を施す画像処理ステップと、
    画像ストリームデータである前記医療画像情報と前記画像処理ステップにより得られた画像ストリームデータである前記画像処理結果画像情報とを前記サーバに送信する送信ステップとを備え、
    前記サーバは、
    前記クライアント端末から受信した前記画像収集装置の前記画像処理ステップに画像処理を施させるための情報を前記画像収集装置に送信する送信ステップと、
    前記画像収集装置から受信した画像ストリームデータである前記医療画像情報、及び画像処理結果画像情報を前記複数のクライアント端末に転送する転送ステップを備え、
    前記クライアント端末は、
    前記画像収集装置の前記画像処理ステップに画像処理を施させるための情報を前記サーバに送信する送信ステップと、
    前記サーバから画像ストリームデータである前記医療画像情報と前記画像処理結果画像情報とを受信する受信ステップと、
    前記受信ステップにより受信された画像ストリームデータである前記医療画像情報に前記画像処理結果画像を合成する画像合成ステップと、
    前記画像合成ステップにより合成された合成画像を表示する表示ステップと、を備えることを特徴とする医療画像共有方法。
  11. 医療機器の表示装置に表示される画像をカメラを用いて撮影して、前記カメラから出力される画像信号をA/D変換した画像データを生成し、又は前記医療機器から出力されるRGB信号をA/D変換した画像データを生成し、前記画像データに基づいた画像ストリームデータである医療画像情報を収集する画像収集装置と、前記画像収集装置と接続されるサーバと、前記サーバとクライアント端末とをネットワークを介して接続し、前記サーバを介して前記画像収集装置と前記クライアント端末との間で情報を共有する医療画像共有システムにおける医療画像共有方法であって、
    前記画像収集装置は、
    前記医療機器から出力される操作及び設定に関連する操作設定画像情報、画像ストリームデータである前記医療画像情報を取得する医療画像情報取得ステップと、
    前記クライアント端末から前記サーバを介して受信した画像処理を施すための情報に基づいて、前記医療機器から取得した画像ストリームデータである前記医療画像情報に対して画像処理を施す画像処理ステップと、
    画像ストリームデータである前記医療画像情報と前記画像処理ステップにより得られた画像ストリームデータである前記画像処理結果画像情報とを前記サーバに送信する送信ステップとを備え、
    前記サーバは、
    前記クライアント端末から受信した画像ストリームデータである前記画像収集装置の前記画像処理ステップに画像処理を施させるための情報を前記画像収集装置に送信する送信ステップと、
    前記画像収集装置から受信した画像ストリームデータである前記医療画像情報、及び画像処理結果画像情報を前記クライアント端末に転送する転送ステップを備え、
    前記クライアント端末は、
    前記画像収集装置の前記画像処理ステップに画像処理を施させるための情報を前記サーバに送信する送信ステップと、
    前記サーバから画像ストリームデータである前記医療画像情報と前記画像処理結果画像情報とを受信する受信ステップと、
    前記受信ステップにより受信された画像ストリームデータである前記医療画像情報に前記画像処理結果画像を合成する画像合成ステップと、
    前記画像合成ステップにより合成された合成画像を表示する表示ステップと、を備えることを特徴とする医療画像共有方法。
  12. 請求項10又は11記載の前記画像収集装置は、各ステップをプロセッサに実行させることを特徴とする医療画像共有プログラム。
  13. 請求項10又は11記載の前記クライアント端末は、各ステップをプロセッサに実行させることを特徴とする医療画像共有プログラム。
JP2013123828A 2013-06-12 2013-06-12 医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム Active JP6448176B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013123828A JP6448176B2 (ja) 2013-06-12 2013-06-12 医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013123828A JP6448176B2 (ja) 2013-06-12 2013-06-12 医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム

Publications (2)

Publication Number Publication Date
JP2014241089A JP2014241089A (ja) 2014-12-25
JP6448176B2 true JP6448176B2 (ja) 2019-01-09

Family

ID=52140296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013123828A Active JP6448176B2 (ja) 2013-06-12 2013-06-12 医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム

Country Status (1)

Country Link
JP (1) JP6448176B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11217344B2 (en) * 2017-06-23 2022-01-04 Abiomed, Inc. Systems and methods for capturing data from a medical device
US10824898B2 (en) * 2019-03-21 2020-11-03 Abiomed, Inc. Intelligent image segmentation prior to optical character recognition (OCR)
KR102843365B1 (ko) 2019-12-20 2025-08-06 삼성전자주식회사 네트워크를 통해 영상 처리 서비스를 제공하는 전자 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0484934A (ja) * 1990-07-27 1992-03-18 Fukuda Denshi Co Ltd 医療情報システム
JP2000166876A (ja) * 1998-12-11 2000-06-20 Nippon Telegr & Teleph Corp <Ntt> 眼底画像における動静脈血管径比の経時変化自動計測方法、そのシステム及びそのプログラムを記録した記録媒体
JP2001034627A (ja) * 1999-07-19 2001-02-09 Hitachi Ltd レセプト点検方法およびシステム並びにレセプト点検プログラムを格納した記憶媒体
JP2005065728A (ja) * 2003-08-25 2005-03-17 Fuji Photo Film Co Ltd 類似画像検索装置
US20060235716A1 (en) * 2005-04-15 2006-10-19 General Electric Company Real-time interactive completely transparent collaboration within PACS for planning and consultation
JP4909637B2 (ja) * 2006-05-16 2012-04-04 株式会社東芝 計測データ処理システム
JP2008067321A (ja) * 2006-09-11 2008-03-21 Matsushita Electric Ind Co Ltd データ登録管理装置
US20090105578A1 (en) * 2007-10-19 2009-04-23 Siemens Medical Solutions Usa, Inc. Interactive Medical Imaging Processing and User Interface System
JP2009151651A (ja) * 2007-12-21 2009-07-09 Konica Minolta Medical & Graphic Inc 情報処理装置及び情報処理方法
JP5562740B2 (ja) * 2009-07-15 2014-07-30 株式会社東芝 医用画像表示システム及び医用画像通信方法
JP6071297B2 (ja) * 2011-07-22 2017-02-01 東芝メディカルシステムズ株式会社 医用画像制御システム
JP2013109422A (ja) * 2011-11-17 2013-06-06 Toshiba Corp 医用診断システム、医用画像診断装置及び制御プログラム

Also Published As

Publication number Publication date
JP2014241089A (ja) 2014-12-25

Similar Documents

Publication Publication Date Title
JP6424601B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
US9355496B2 (en) Image processing apparatus, image processing method, and medium to display augmented reality objects
JP7067604B2 (ja) イベント監視システム、イベント監視方法、およびプログラム
JP5677591B2 (ja) 判定装置及び判定プログラム
US20190096130A1 (en) Virtual mobile terminal implementing system in mixed reality and control method thereof
JP6448176B2 (ja) 医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム
CN102662618A (zh) 远程协助过程中的图像处理方法及装置
CN107179839A (zh) 用于终端的信息输出方法、装置及设备
CN110865753A (zh) 应用消息的通知方法及装置
JP2009105818A (ja) データ会議用端末装置及びコンピュータプログラム
JP5266416B1 (ja) テストシステム及びテストプログラム
US20160117140A1 (en) Electronic apparatus, processing method, and storage medium
CN107257506A (zh) 多画面特效加载方法和装置
CN115620193A (zh) 一种显示设备及健身视频播放方法
CN104102334B (zh) 远端装置的控制方法与远端控制系统
JP6277981B2 (ja) 情報コード画像表示システム、情報コード画像表示端末、情報コード画像表示プログラム
CN115167742A (zh) 弹幕显示方法、装置、设备以及存储介质
JP7613716B2 (ja) 登録装置、操作装置、登録方法、操作方法、プログラム及び記録媒体
CN117950537A (zh) 三维扫描系统的界面控制方法和三维扫描系统
JP6208910B1 (ja) 動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム
WO2013180317A1 (ko) 모바일 단말기의 터치 입력을 이용한 ip 카메라의 원격 제어장치
CN112714272A (zh) 设备间控制方法、终端和计算机可读存储介质
JP2017033397A (ja) 操作情報共有装置、アプリ実行装置、操作情報共有システム、情報処理装置、およびプログラム
JP6225724B2 (ja) 情報共有システムおよび情報共有方法、ならびに、情報処理装置および情報処理方法
JP2014137667A (ja) 制御装置及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170919

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171130

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180403

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181204

R150 Certificate of patent or registration of utility model

Ref document number: 6448176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250