JP6448176B2 - 医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム - Google Patents
医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム Download PDFInfo
- Publication number
- JP6448176B2 JP6448176B2 JP2013123828A JP2013123828A JP6448176B2 JP 6448176 B2 JP6448176 B2 JP 6448176B2 JP 2013123828 A JP2013123828 A JP 2013123828A JP 2013123828 A JP2013123828 A JP 2013123828A JP 6448176 B2 JP6448176 B2 JP 6448176B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- medical
- server
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
その背景には、従来の医療機器や測定機器等からの情報を抽出又は取得するためのインターフェースに制約があったことに原因がある。
また、特許文献2に開示されている技術にあっては、サーバから一方的に供給されるJPEG画像を各端末が共有するものであり、各端末が必要な情報を個別に要求して取得することができないといった問題があった。
本発明は、上記に鑑みてなされたもので、その目的としては、複数のクライアント端末の間で合成画像を共有することができ、又は画像収集装置とクライアント端末との間で医療画像情報を共有することができる医療画像共有システム、医療画像共有方法、医療画像共有プログラムを提供することにある。
<第1実施形態>
図1は本発明の第1実施形態に係る医療画像共有システム1を示すブロック図である。
第1実施形態の医療画像共有システム1は、図1に示すように、医療機器10、画像収集装置20、クライアント端末30A、30B、サーバ40、及びネットワークNを備えている。
まず、図1を参照して、医療機器10の構成について説明する。
医療機器10は、内部モニタ11aに操作情報や波形情報や画像情報を表示することが可能であり、アナログ信号又はデジタル信号の画像信号をモニタ端子やHDMI(登録商標)端子などの外部出力端子に出力可能な、例えば血液浄化装置、超音波診断装置、内視鏡装置、RO装置などであればよい。医療機器10は、操作及び設定に関連する操作設定画像情報、波形画像情報を含む医療画像情報を出力する。
医療機器10から出力された画像信号(アナログ信号)は画像収集装置20に設けられたA/D変換部21に入力される。
なお、医療機器10の表示装置に表示される画像を撮影するカメラ(医療画像情報取得手段)を備え、カメラから出力される表示画面の画像信号をA/D変換部21に入力するように構成してもよい。
このように、医療機器の表示装置に表示される画像をカメラで撮影することで、医療機器に表示されている操作設定画像情報、医療画像情報を取得することができる。
このように、医療機器から外部出力端子に出力される医療画像情報を直接に取得することで、医療機器から操作設定画像情報、医療画像情報を取得することができる。
ストリーム送出部24は、画像エンコーダ部23から出力されるストリームデータを通信処理部27に出力する。
通信処理部27は、ストリーム送出部24から出力される画像データや、画像処理部26から出力される処理結果データにヘッダを付加してパケット化しネットワークNを介してサーバ40に送信する。
制御部31は、内部にHDD、ROM、RAM及びCPUを有し、HDDからオペレーティングシステムOSを読み出してRAM上に展開し、OSを起動してOS管理下において、HDDから医療画像共有アプリケーションソフトウエア(医療画像共有プログラム)を読み出し、各種処理を実行する。
通信処理部32は、画像収集装置20やサーバ40とネットワークNを介して接続し、これらの装置と通信プロトコルに従ってパケット通信を行う。通信処理部32は、サーバ40から受信した画像ストリームを画像デコーダ部33に出力する。また、通信処理部32は、画像収集装置20からサーバ40を介して受信した画像処理結果データを画像合成部35aに出力する。
画像合成部35aは、複数のフレームメモリを有し、画像データと画像処理結果データとを合成し、合成画像データを操作表示制御部35に出力する。
操作表示制御部35は、VRAMを有し、画像合成部35aから入力される合成画像データをVRAMに書き込むとともに、ビデオレートでVRAMから合成画像データを読み出し表示部36aに表示画像36cを表示する。また、操作表示制御部35は、タッチパッド部36bに接続されており、タッチパッド部36bに例えば指先が接触した場合に、指先の接触位置の座標(x,y)を出力する。
表示部36aの表示画面には、表示画面と同一形状のタッチパッド部36bが張り付けられている。詳しくは、タッチパッド部36bは、最上層にカバーガラスが配置され、この下面に導電膜付きフィルムまたは感圧式抵抗膜付きフィルムが配置されている。表示部36aには、最上層から下方に向かって偏光板、ガラス基板、カラーフィルタ、液晶配向膜、ガラス基板、偏光板が配置されている。なお、表示部36aの下方には、拡散シート、LED光を平面全体に導く導光板、反射フィルムの順に配置されている。
なお、本実施形態では、タッチパッド部36b上の平面に対して、(x,y)座標を用いて位置を表すこととし、一方、表示部36a上の表示画面に対して、(X,Y)座標を用いて位置を表すこととし、説明の簡略化のために、x=X、y=Yとする。
制御部41は、内部にROM(Read Only Memory)、RAM(Random Access Memory)、CPU(Central Processing Unit)、HDD(Hard Disk Drive)を有し、HDDからオペレーティングシステムOSを読み出してRAM上に展開してOSを起動する。そして、制御部41は、OS管理下において、HDDからアプリケーションソフトウエア(医療画像共有プログラム)を読み出し、各種処理を実行するとともに、サーバ40内の各部を制御する。
通信処理部42は、画像収集装置20やクライアント端末30との間でネットワークNを介してパケットデータを通信する。
共有オブジェクト管理部44は、医療画像において使用される共有オブジェクトを管理する。共有オブジェクトとは、医療画像において使用された情報(例えば、位置決め画像、撮影位置、撮影範囲、撮影条件、画像生成条件、クライアント操作情報(画像位置、文字、引用画像)、レポートに関する情報等)を有効に利用するために、画像情報と付帯(文字または数値)情報とから構成され、例えば検査毎又はシリーズ毎にDICOM規格に従う画像として生成・管理される。
なお、共有オブジェクト管理部44は、情報を共有することを許可されたクライアント端末のみに医療画像情報、及び画像処理結果画像情報を転送することとする。
メッセージ管理部45は、通信処理部42を介してクライアント端末から受信されるメッセージ又はコメントをメッセージDB(図示しない)へ格納する。
履歴管理処理部47は、履歴管理DB47aに接続され、履歴管理DB47aに蓄積されている配信履歴を医療画像のストリームデータの配信ごとに更新する処理や、不要になった配信履歴を削除する処理などを行う。
まず、クライアント端末30では、医療画像共有アプリケーションソフトウエアのアイコンが表示部36aに表示されていることとする。表示画面に表示されているアイコン位置に対して、ユーザの指がタッチされた場合、タッチパッド部36bはタッチがあったことを検出し、かつタッチ位置を検出し操作表示制御部35に出力する。操作表示制御部35では、タッチ位置を制御部31に出力する。さらに、制御部31では、タッチ位置とアイコン位置との関係からこのタッチが医療画像共有アプリケーションソフトウエアのアイコンをクリックしたことを検出する。これにより、医療画像共有アプリケーションソフトウエアがHDDからRAMに展開され、医療画像共有アプリケーションソフトウエアが起動されている。
クライアント端末30から起動命令を受信したサーバ40は、この起動命令を画像収集装置20に送信する。
サーバ40から起動命令を受信した画像収集装置20は、医療機器10から出力される操作及び設定に関連する操作設定画像情報、波形画像情報を含む医療画像情報を入力する。
次いで、画像エンコーダ部23は、符号化方式H.264/AVCに従って画像データを符号化して動画のストリームデータを作成し、ストリーム送出部24に出力する。次いで、ストリーム送出部24は、画像エンコーダ部23から出力される画像ストリームデータを通信処理部27に出力する。
次いで、通信処理部27は、ストリーム送出部24から出力される画像ストリームデータにヘッダを付加してパケット化しネットワークNを介してサーバ40に送信する。
この結果、クライアント端末30の表示部36aには、図3に示すような表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示される。
ここで、図3を参照して、クライアント端末30の表示画面について説明する。
表示画像36cには、ペンアイコン61、イメージ検索アイコン62、検索アイコン63、面積計算タブ64、メッセージ一覧領域65、参加者一覧領域66、未参加ユーザ一覧領域67、ストリームデータ領域68、入力室者表示領域69、クローズアイコン70が表示されている。
ストリームデータ領域68には、図4に示すような、操作及び設定に関連する操作設定画像情報、波形画像情報を含む医療画像情報がリアルタイムで表示されている。
ステップS1では、制御部31はログイン画面を表示部36aに表示するように操作表示制御部35し、ログイン画面にIDコード及びパスワードが入力された場合に、ステップS55に進み、入力されたIDコード及びパスワードを含む問合せ要求信号を通信処理部32からネットワークNを介してサーバ40に送信する。
サーバ40において、IDコード及びパスワードが認証された場合に、サーバ40から認証信号がクライアント端末30に返送され、ステップS5に進む。
ここで、入力室者表示領域69への入室者の有無を監視する入室監視(S10)、参加者一覧領域66でのユーザ選択を監視するユーザ選択監視(S15)、ストリーミングに対してID管理されているタグ情報を監視するタグ監視(S20)、ペンアイコン61へのタッチ後の描画操作を監視する描画監視(S25)、検索アイコン63へのタッチ後の検索処理を監視する検索監視(S30)、面積計算タブ64へのタッチ後の計測状況を監視する計測監視(S35)、クローズアイコン70へのタッチを監視するログアウト監視(S40)を夫々同時並行して監視している。
次いで、ステップS10〜S35における夫々の監視結果として適合する処理がある場合に、ステップS45に進む。
サーバ40において、該機能問合要求信号に応じた返答信号を生成した場合に、サーバ40から返答信号がクライアント端末30に返送され、ステップS50に進む。
ステップS50では、ユーザによる操作に関する操作情報が入力された場合に、ステップS55に進み、共有オブジェクト操作情報を通信処理部32からネットワークNを介してサーバ40に送信する。
サーバ40において、共有オブジェクト操作情報を確認された場合に、サーバ40からオブジェクト操作確認信号がクライアント端末30に返送され、ステップS5に戻る。
ステップS101では、制御部41はストリーミング監視処理部43にストリーミング監視処理を行わせる。ここで、ストリーミング監視処理部43では、通信処理部42が受信したストリームパケットを監視対処とし、タイムスタンプやフレームを監視することでストリームの途切れを監視する。
次いで、ステップS105では、制御部41は履歴管理処理部47に履歴管理処理を行わせる。ここで、履歴管理処理部47では、履歴管理DB47aを参照し、履歴管理DB47aに蓄積されている配信履歴を医療画像のストリームデータの配信ごとに更新する処理や、不要になった配信履歴を削除する処理などを行う。
次いで、ステップS115では、制御部40は、クライアント操作情報を受け付けたか否かを判断する。クライアント操作情報がない場合にはステップS105に進む。一方、クライアント操作情報がログイン情報である場合に、ステップS120に進む。また、クライアント操作情報が情報共有操作である場合に、ステップS125に進む。
次いで、ステップS120では、制御部40はユーザ管理処理部46にユーザ管理処理を行わせる。ここで、ユーザ管理処理部46では、ユーザ管理DB46aを参照し、ログインしたユーザのユーザID及びパスワードがユーザ管理DB46aに登録されているか否かを検索し、ユーザID及び/又はパスワードが不適切な場合はエラーメッセージをクライアント端末に返送する一方、適切な場合はステップS101に戻り、上記処理を繰り返す。なお、ユーザの新規登録についてはその説明を省略する。
次いで、ステップS125では、制御部40は共有オブジェクト管理部44に共有オブジェクト管理を行わせる。ここで、共有オブジェクト管理部44では、医療画像において使用される共有オブジェクトを管理する。
ここで、図7(a)に示す画面描画シーケンスには示してないが、画像収集装置20から送信されている画像ストリームデータが、サーバ40を介してクライアント端末30A、30Bに送信されていることとする。これにより、クライアント端末30A、30Bの表示部36aには、図8に示すような表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示されていることとする。
ここで、クライアント端末30Aでは、ユーザがタッチパッド部36bにタッチし所望の手書き文字や図形を描いた場合、タッチパネル部36bのタッチ位置を追跡して検出し操作表示制御部35にタッチ位置データ群を出力する。操作表示制御部35では、タッチ位置データ群を画像合成部35aに出力し、画像合成部35aにおいてタッチ位置データ群をVRAM上に描画する。これにより、図8に示すように、例えば長方形図形81aや矢印81bや手書き文字「ココ」81cが描画されて表示部36aに表示される。
一方、操作表示制御部35はタッチ位置データ群を制御部31に出力する。そして、制御部31はタッチ位置データ群を通信処理部32に渡す。通信処理部32では、タッチ位置データ群にヘッダを付加してパケットを生成し、このタッチ位置データ群を描画座標情報としてURLコードで示すサーバ40へ送信する。
このように、サーバは、情報を共有することを許可されたクライアント端末のみに医療画像情報、及び画像処理結果画像情報を転送することで、情報共有を許可された複数のクライアント端末の間で合成画像を共有することができる。
これにより、図8に示すように、例えば長方形図形81aや矢印81bや手書き文字「ココ」81cが描画されて表示部36aに表示される。
この結果、画像収集装置20からサーバ40を介してクライアント端末30A、30Bに送信されている画像ストリームデータの表示画面において、クライアント端末30Aで手書きされた描画画像をクライアント端末30Bにも表示される。このため、例えば医療画像に対して所望の箇所に手書き文字などを描画させ端末間で共有することができる。
なお、図7(a)に示す画面描画シーケンスでは、手書き描画を行った際にその描画座標をクライアント端末30A、30B間で共有するシーケンスを示したが、図7(b)ではメッセージ送受信シーケンスについて示す。すなわち、クライアント端末30Aでは、表示画面に表示されている対話アイコン71の位置に対して、ユーザの指がタッチされた場合、キーボード(図示しない)を用いて作成したテキストメッセージをメッセージ一覧領域65に一旦保存することができる。そして、クライアント端末30Aからサーバ40にテキストメッセージを送信し、サーバ40から当該テキストメッセージをクライアント端末30Bに送信する。
この結果、複数のクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
本発明の第2実施形態に係る医療画像共有システムについて説明する。なお、第2実施形態に係る医療画像共有システムは、図1に示す第1実施形態に係る医療画像共有システム1に適用するものである。
まず、図9を参照して、波形検知シーケンスについて説明する。
ここで、図9に示す波形検知シーケンスには示してないが、画像収集装置20から送信されている画像ストリームデータが、サーバ40を介してクライアント端末30A、30Bに送信されていることとする。これにより、クライアント端末30A、30Bの表示部36aには、表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示されていることとする。
ここで、クライアント端末30Aでは、ユーザがタッチパッド部36bにタッチし所望の仮想ラインを描いた場合、タッチパネル部36bのタッチ位置を追跡して検出し操作表示制御部35にタッチ位置データ群を出力する。操作表示制御部35では、タッチ位置データ群を画像合成部35aに出力し、画像合成部35aにおいてタッチ位置データ群をVRAM上に描画する。これにより、図11に示すように、例えば仮想ラインとしてLine1、Line2が描画されて表示部36aに表示される。
一方、操作表示制御部35は仮想ラインを示すタッチ位置データ群を制御部31に出力する。そして、制御部31は仮想ラインを示すタッチ位置データ群を通信処理部32に渡す。通信処理部32では、タッチ位置データ群にヘッダを付加してパケットを生成し、この仮想ラインを示すタッチ位置データ群を描画座標情報としてURLコードで示すサーバ40へ送信する。
サーバ40から仮想ラインにより示される波形ピーク画像域又はボトムピーク画像域の座標情報を受信した画像収集装置20は、交点チェックを行い、波形画像が仮想ラインで示される範囲を逸脱した場合に、ピーク値のインターバルタイミングをサーバ40に送信する。
画像収集装置20からインターバルタイミングを受信したサーバ40は、インターバルタイミングを履歴管理処理部47に出力する。履歴管理処理部47では入力されたインターバルタイミングを履歴管理DB47aに格納する。さらに、サーバ40は、インターバルタイミングをクライアント端末30Aに送信する。
また、画像共有相手側のクライアント端末を共有オブジェクト管理部44にチェックさせ、現在、例えばクライアント端末30Bが共有相手として接続されていることが確認できた場合に、このインターバルタイミングをクライアント端末30Bに送信する。
この結果、画像収集装置20からサーバ40を介してクライアント端末30A、30Bに送信されている画像ストリームデータの表示画面において、クライアント端末30AでLine1、Line2の描画画像をクライアント端末30Bにも表示される。このため、例えば医療画像に対して所望の箇所に仮想ラインを描画させ端末間で共有することができる。
サーバ40から仮想ラインにより示される波形ピーク画像域又はボトムピーク画像域の座標情報を受信した画像収集装置20は、通信処理部27から画像処理部26に波形ピーク画像域又はボトムピーク画像域を出力する。
まず、ステップS151では、画像処理部26は、波形ピーク画像域又はボトムピーク画像域を閾値1、閾値2としてメモリ26aに記憶することにより設定する。
次いで、ステップS155では、画像処理部26は、画像エンコーダ部23から画像を取り込みメモリ26aに書き込む。
次いで、ステップS160では、画像処理部26は、メモリ26aに取り込んだ画像のリサイズ処理、すなわち、画像の縮小、拡大を縦方向及び横方向で行う。
次いで、ステップS170では、画像処理部26は、メモリ26aの他の領域に記憶された2値画像に対して、閾値1、閾値2を基準にして閾値判断処理を行う。すなわち、閾値判断処理では特定ピクセル(画素)が閾値1又は閾値2と衝突しているか否かを判定する衝突判定処理を行う。
また、アラート処理では、「警告:インターバル時間が設定をオーバー」という警告メッセージ画像を生成してもよい。
ステップS185では、終了判断処理を行う。すなわち、サーバ40から画像収集装置20に終了信号が送信され、通信処理部27から画像処理部26に終了信号が引き渡された場合に処理を終了する。一方、波形検知処理を継続する場合(S185、N)にはステップS155に戻り、上述した処理を繰り返す。
この結果、複数のクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
本発明の第3実施形態に係る医療画像共有システムについて説明する。なお、第3実施形態に係る医療画像共有システムは、図1に示す第1実施形態に係る医療画像共有システム1に適用するものである。
まず、図12を参照して、面積測定シーケンスについて説明する。
ここで、図12に示す面積測定シーケンスには示してないが、画像収集装置20から送信されている画像ストリームデータが、サーバ40を介してクライアント端末30A、30Bに送信されていることとする。これにより、クライアント端末30A、30Bの表示部36aには、表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示されていることとする。
ここで、クライアント端末30Aでは、ユーザがタッチパッド部36bにペンによりタッチし所望の閉ループを描いた場合、タッチパネル部36bのタッチ位置を追跡して検出し操作表示制御部35にタッチ位置データ群を出力する。操作表示制御部35では、タッチ位置データ群を画像合成部35aに出力し、画像合成部35aにおいてタッチ位置データ群をVRAM上に描画する。これにより、図14に示すように、例えば所望の面積を示す閉ループ81が描画されて表示部36aに表示される。また、図15(a)は処理前の様子を示す図であり、図15(b)に示すように、例えば所望の面積を示す閉ループ68aが描画されて表示部36aに表示される。
サーバ40からペンにより描画された画像範囲の座標情報を受信した画像収集装置20は、領域のピクセル数の探索を行い、時刻データを付加した領域のピクセル数データをサーバ40に送信する。
画像収集装置20から領域のピクセル数データを受信したサーバ40は、領域のピクセル数データを履歴管理処理部47に出力する。履歴管理処理部47では入力された領域のピクセル数データを履歴管理DB47aに格納する。さらに、サーバ40は、領域のピクセル数を面積データとしてクライアント端末30Aに送信する。
なお、面積はdpi2で表し、医療画像の実際のサイズであれば、mm単位で表すこととする。
また、画像共有相手側のクライアント端末を共有オブジェクト管理部44にチェックさせ、現在、例えばクライアント端末30Bが共有相手として接続されていることが確認できた場合に、この面積データをクライアント端末30Bに送信する。
面積データとしては、図14に示すように、面積計算タブ64内の表示ボックスに面積データがテキスト化された画像がストリームデータ領域68の左側部に合成されて表示される。
この結果、画像収集装置20からサーバ40を介してクライアント端末30A、30Bに送信されている画像ストリームデータの表示画面において、クライアント端末30Aで所望の閉ループ81の描画画像をクライアント端末30Bにも表示される。このため、例えば医療画像に対して所望の箇所に閉ループを描画させ端末間で共有することができる。
サーバ40からペンにより描画された座標情報を受信した画像収集装置20は、通信処理部27から画像処理部26にペン指定情報および閉領域描画指示を出力する。一方、画像処理部26は、画像エンコーダ部23から画像を取り込みメモリ26aに書き込む。
まず、ステップS201では、画像処理部26は、ペンが指定されたことを設定する。
次いで、ステップS205では、画像処理部26は、メモリ26aに書き込んだ画像に対して、受信した描画座標情報に応じて閉領域を描画する。描画されたペンの軌跡の末端が始点と重なることで閉領域が形成された方が好ましい。
次いで、ステップS215では、画像処理部26は、ペンの軌跡の末端と始点とを接続することにより閉領域を形成する。
次いで、ステップS220では、画像処理部26は、メモリ26aに描画された閉領域内のピクセル数を算出する。
次いで、ステップS225では、画像処理部26は、ピクセル数をテキストメッセージに変換し、さらに、テキストメッセージをストリームデータに変換し、通信処理部27に出力する。
この結果、図14に示すように、面積計算タブ64内の表示ボックスに面積データがテキスト化された画像がストリームデータ領域68の左側部に合成されて表示される。
また、画像処理結果データをサーバに送信し、サーバを介して1又は複数のクライアント端末に当該画像処理結果データ(面積)を送信することで、複数のクライアント端末の間で合成画像を共有することができ、また画像収集装置とクライアント端末との間で医療画像情報を共有することができる。
この結果、複数のクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
本発明の第4実施形態に係る医療画像共有システムについて説明する。なお、第4実施形態に係る医療画像共有システムは、図1に示す第1実施形態に係る医療画像共有システム1に適用するものである。
まず、図16を参照して、文字検索シーケンスについて説明する。
ここで、図12に示す文字検索シーケンスには示してないが、画像収集装置20から送信されている画像ストリームデータが、サーバ40を介してクライアント端末30A、30Bに送信されていることとする。これにより、クライアント端末30A、30Bの表示部36aには、表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示されていることとする。
ここで、クライアント端末30Aでは、図18に示すように、例えば波形画像とともに医療機器の操作ボタンや操作画面を示す画像領域85、86として例えば「V_Level □up」「V_Level □down」が描画されている画像がストリームデータ領域68内に表示される。また、図19(a)に示すように、例えば文字画像「ABCD・・・」を含む画像領域87が表示画像36cとして表示される。
サーバ40から文字列データを受信した画像収集装置20は、画面内の医療画像から文字判断を行い、文字列が一致した場合にTrue文字位置データをサーバ40に送信する。
画像収集装置20からTrue文字位置データを受信したサーバ40は、True文字位置データを履歴管理処理部47に出力する。履歴管理処理部47では入力されたTrue文字位置データを履歴管理DB47aに格納する。
また、画像共有相手側のクライアント端末を共有オブジェクト管理部44にチェックさせ、現在、例えばクライアント端末30Bが共有相手として接続されていることが確認できた場合に、この枠画像データをクライアント端末30Bに送信する。
枠画像データとしては、図19(b)に示すように、枠画像データ88がストリームデータ領域68内に合成されて表示される。
この結果、画像収集装置20からサーバ40を介してクライアント端末30A、30Bに送信されている画像ストリームデータの表示画面において、クライアント端末30Aで所望の文字列を含む枠画像データをストリームデータに合成してクライアント端末30Bにも表示される。このため、例えば医療画像に対して所望の文字列を含む枠画像データを描画させ端末間で共有することができる。
サーバ40から文字列データを受信した画像収集装置20は、通信処理部27から画像処理部26に文字列データを出力する。画像処理部26は、文字列データをメモリ26aに記憶する。
まず、ステップS251では、画像処理部26は、画像エンコーダ部23から画像を取り込みメモリ26aに書き込む。
次いで、ステップS255では、画像処理部26は、メモリ26aに取り込んだ画像(多値)に対して、画像の2値化処理を行い、処理結果となる2値画像をメモリ26aの他の領域に記憶する。ここで、メモリ26aに記憶されている2値画像の座標は左上端部のxy座標を(0,0)を原点とし、右下端部のxy座標を(xe,ye)として扱うこととする。
次いで、ステップS265では、画像処理部26は、水平方向に連続して有効なピクセルが存在することを示す線形ピクセルを発見したか否かを判断する。
線形ピクセルがない場合(S265、N)、ステップS270に進み、画像処理部26は、Xシフトの末端(xe)か否かを判断する。Xシフトの末端(xe)ではない場合(S270、N)、ステップS260に戻り、上述した処理を繰り返す。
一方、Xシフトの末端(xe)である場合(S270、Y)、ステップS275に進み、画像処理部26は、垂直(Y)方向に1ピクセル移動し、ステップS260に戻り、上述した処理を繰り返す。
次いで、ステップS285では、画像処理部26は、周知のOCR判断器により文字認識処理を行う。
次いで、ステップS290では、画像処理部26は、単体文字のXY座標のMaxSquarのe値をメモリ26aに記憶する。
次いで、ステップS295では、画像処理部26は、文字列(連続文字が発見される限りセット)をメモリ26aに記憶する。
次いで、ステップS300では、画像処理部26は、MaxSquar値が前回の値と異なるか否かを判断する。
次いで、ステップS310では、画像処理部26は、連続文字に対して、ラベリング処理を行い、連続文字に関連付けてラベル#kを付与し、ステップS260に戻り、上述した処理を繰り返す。
一方、MaxSquar値が前回の値と同じ場合(S300、N)、ステップS260に戻り、上述した処理を繰り返す。
この結果、複数のクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
本発明の第5実施形態に係る医療画像共有システムについて説明する。なお、第5実施形態に係る医療画像共有システムは、図1に示す第1実施形態に係る医療画像共有システム1に適用するものである。
まず、図20を参照して、パターン検索シーケンスについて説明する。
ここで、図20に示すパターン検索シーケンスには示してないが、画像収集装置20から送信されている画像ストリームデータが、サーバ40を介してクライアント端末30A、30Bに送信されていることとする。これにより、クライアント端末30A、30Bの表示部36aには、表示画像36cが表示されており、ストリームデータ領域68に画像ストリームデータが表示されていることとする。
ここで、クライアント端末30Aでは、図21に示すように、例えば医療機器の操作ボタンや操作画面の一部の形状を示す検索用イメージ91が描画されて表示画像36cとして表示される。図21には、「0.0kV」という検索用イメージが表示された様子を示す。
サーバ40から検索指示と検索用イメージデータを受信した画像収集装置20は、検索用イメージデータを参照して画面内の医療画像とのパターンマッチング処理を行い、二乗誤差が最小値を示すTrue座標位置データをサーバ40に送信する。
また、画像共有相手側のクライアント端末を共有オブジェクト管理部44にチェックさせ、現在、例えばクライアント端末30Bが共有相手として接続されていることが確認できた場合に、この枠画像データをクライアント端末30Bに送信する。
枠画像データとしては、図23に示すように、枠画像データ92がストリームデータ領域68内に合成され、「0.0kV」とともに枠画像データ92が表示される。
サーバ40から検索指示と検索用イメージデータを受信した画像収集装置20は、通信処理部27から画像処理部26に検索指示と検索用イメージデータを出力する。画像処理部26は、検索指示と検索用イメージデータをメモリ26aに記憶する。
まず、画像処理部26は、画像エンコーダ部23から画像を取り込みメモリ26aに書き込む。
次いで、ステップS351では、画像処理部26は、メモリ26aに記憶されている画像の座標は左上端部のxy座標を(0,0)を原点とし、右下端部のxy座標を(xe,ye)とし、発見範囲(0,0)〜(xe,ye)を定義する。
次いで、ステップS355では、画像処理部26は、原点(0,0)から(xe,ye)に向かう範囲において、メモリ26aに記憶されている検索用イメージデータに対して、特定位置での二乗誤差を算出し、算出後の二乗誤差データにラベル#kをその都度更新して付加し、メモリ26aに記憶する。
次いで、ステップS365では、画像処理部26は、発見範囲(0,0)〜(xe,ye)内の領域ピクセル内での探索を行うため、特定位置を発見範囲内で1ピクセル移動し、ステップS355に戻り、上述した処理を繰り返す。
次いで、ステップS370では、画像処理部26は、メモリ26aから今回算出した二乗誤差Diffを読み出し、二乗誤差Diffが小さい方を仮に最新の最小二乗誤差minDiffとする。
画像処理部26は、二乗誤差sDiffが最小二乗誤差minDiffよりも小さいか否かを判断する。
ここで、二乗誤差sDiffが最小二乗誤差minDiffよりも小さい場合(S370、Y)は、ステップS375に進み、二乗誤差sDiff=最小二乗誤差minDiffとなる位置を特定し、メモリ26aにその座標範囲(xsk,ysk)〜(xek,yek)を記憶する。
一方、二乗誤差sDiffが最小二乗誤差minDiffよりも小さくない場合(S370、N)は、ステップS380に進み、発見範囲(0,0)〜(xe,ye)内でスケール数分の二乗誤差の算出を繰り返すため、ステップS351に戻り、上述した処理を繰り返す。
この繰り返し処理により、ステップS370で算出される最小二乗誤差minDiffが徐々に小さい値に置き換えられていく。
ステップS380での繰り返し処理が終了した場合に、ステップS385に進み、二乗誤差の最小値を決定し、メモリ26aからその座標範囲(xsk,ysk)〜(xek,yek)を読み出す。
この結果、複数のクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
上述した第1〜第5実施形態にあっては、図1に示すように、医療機器10から出力される医療画像情報を収集する画像収集装置20と、サーバ40と、複数のクライアント端末30とをネットワークNを介して接続し、サーバ40を介して複数のクライアント端末30の間で情報を共有する医療画像共有システム1について説明した。
しかしながら、本発明はそのようなシステム構成に限定されるものではない。
すなわち、他の実施形態として、医療機器10から出力される医療画像情報を収集する画像収集装置20と、サーバ40と、クライアント端末30とをネットワークNを介して接続し、サーバ40を介して画像収集装置20とクライアント端末30との間で情報を共有する医療画像共有システムであってもよい。
画像収集装置20において、クライアント端末30から通信処理部27を介して医療画像情報に対する画像処理に関連した指示情報を受信した場合に、この指示情報に基づいて画像処理部26が画像処理を行い、画像処理部26から画像処理結果画像情報を表示制御部に設けられた画像合成部に出力する。そして、医療画像情報と画像処理結果画像情報とを画像合成部により合成し、モニタに出力する。
この結果、画像収集装置とクライアント端末の間で共有されている合成画像を参照して、メンテナンス説明や機器説明を行うことができ、両者間での情報共有の質が極めて高く、相互に理解し易い状況を提供することができる。
Claims (13)
- 医療機器の表示装置に表示される画像をカメラを用いて撮影して、前記カメラから出力される画像信号をA/D変換した画像データを生成し、又は前記医療機器から出力されるRGB信号をA/D変換した画像データを生成し、前記画像データに基づいた画像ストリームデータである医療画像情報を収集する画像収集装置と、前記画像収集装置と接続されるサーバと、前記サーバと複数のクライアント端末とをネットワークを介して接続し、前記サーバを介して前記複数のクライアント端末の間で情報を共有する医療画像共有システムであって、
前記画像収集装置は、
前記医療機器から出力される操作及び設定に関連する操作設定画像情報、画像ストリームデータである前記医療画像情報を取得する医療画像情報取得手段と、
前記クライアント端末から前記サーバを介して受信した画像処理を施すための情報に基づいて、前記医療機器から取得した画像ストリームデータである前記医療画像情報に対して画像処理を施す画像処理手段と、
画像ストリームデータである前記医療画像情報と前記画像処理手段により得られた画像ストリームデータである前記画像処理結果画像情報とを前記サーバに送信する送信手段とを備え、
前記サーバは、
前記クライアント端末から受信した前記画像収集装置の前記画像処理手段に画像処理を施させるための情報を前記画像収集装置に送信する送信手段と、
前記画像収集装置から受信した画像ストリームデータである前記医療画像情報、及び画像処理結果画像情報を前記複数のクライアント端末に転送する転送手段を備え、
前記クライアント端末は、
前記画像収集装置の前記画像処理手段に画像処理を施させるための情報を前記サーバに送信する送信手段と、
前記サーバから画像ストリームデータである前記医療画像情報と前記画像処理結果画像情報とを受信する受信手段と、
前記受信手段により受信された画像ストリームデータである前記医療画像情報に前記画像処理結果画像を合成する画像合成手段と、
前記画像合成手段により合成された合成画像を表示する表示手段と、
を備えることを特徴とする医療画像共有システム。 - 医療機器の表示装置に表示される画像をカメラを用いて撮影して、前記カメラから出力される画像信号をA/D変換した画像データを生成し、又は前記医療機器から出力されるRGB信号をA/D変換した画像データを生成し、前記画像データに基づいた画像ストリームデータである医療画像情報を収集する画像収集装置と、前記画像収集装置と接続されるサーバと、前記サーバとクライアント端末とをネットワークを介して接続し、前記サーバを介して前記画像収集装置と前記クライアント端末との間で情報を共有する医療画像共有システムであって、
前記画像収集装置は、
前記医療機器から出力される操作及び設定に関連する操作設定画像情報、画像ストリームデータである前記医療画像情報を取得する医療画像情報取得手段と、
前記クライアント端末から前記サーバを介して受信した画像処理を施すための情報に基づいて、前記医療機器から取得した画像ストリームデータである前記医療画像情報に対して画像処理を施す画像処理手段と、
画像ストリームデータである前記医療画像情報と前記画像処理手段により得られた画像ストリームデータである前記画像処理結果画像情報とを前記サーバに送信する送信手段とを備え、
前記サーバは、
前記クライアント端末から受信した画像ストリームデータである前記画像収集装置の前記画像処理手段に画像処理を施させるための情報を前記画像収集装置に送信する送信手段と、
前記画像収集装置から受信した画像ストリームデータである前記医療画像情報、及び画像処理結果画像情報を前記クライアント端末に転送する転送手段を備え、
前記クライアント端末は、
前記画像収集装置の前記画像処理手段に画像処理を施させるための情報を前記サーバに送信する送信手段と、
前記サーバから画像ストリームデータである前記医療画像情報と前記画像処理結果画像情報とを受信する受信手段と、
前記受信手段により受信された画像ストリームデータである前記医療画像情報に前記画像処理結果画像を合成する画像合成手段と、
前記画像合成手段により合成された合成画像を表示する表示手段と、を備えることを特徴とする医療画像共有システム。 - 前記医療画像情報取得手段は、
前記医療機器の表示装置に表示される画像を撮影するカメラであることを特徴とする請求項1又は2記載の医療画像共有システム。 - 前記医療画像情報取得手段は、
前記医療機器から外部出力端子に出力される前記医療画像情報を取得することを特徴とする請求項1又は2記載の医療画像共有システム。 - 前記画像処理手段は、
前記クライアント端末から前記サーバを介して、前記医療画像情報中の波形画像情報に含まれる波形の位置を示す位置情報を受信する受信手段と、
前記波形画像情報に含まれる波形領域に対して、前記受信手段により受信された位置情報を閾値となる少なくとも1つの仮想ラインとして設定し、描画される波形が該仮想ラインで示される範囲を逸脱するか否かを判断する波形解析手段と、
前記描画される波形が該仮想ラインで示される範囲を逸脱した場合に警報を発生する警報発生手段と、を備えたことを特徴とする請求項1又は2記載の医療画像共有システム。 - 前記画像処理手段は、
前記クライアント端末から前記サーバを介して、前記医療画像情報中の画像情報の範囲を指定する指定範囲情報を受信する受信手段と、
前記受信手段により受信された指定範囲情報が示す範囲に含まれる前記医療画像情報の画素数から面積を算出する面積算出手段と、を備えたことを特徴とする請求項1又は2記載の医療画像共有システム。 - 前記画像処理手段は、
前記クライアント端末から前記サーバを介して、前記医療画像情報に含まれる文字情報の範囲を示す指定範囲情報を受信する受信手段と、
前記受信手段により受信された指定範囲情報が示す範囲に含まれる前記医療画像情報に対して、先頭の一文字の領域を検出し、検出された一文字の領域に隣接して存在する文字列の領域を検出し、検出された文字領域情報をOCR判断器にて文字解析を行う文字列検索手段と、を備えたことを特徴とする請求項1又は2記載の医療画像共有システム。 - 前記画像処理手段は、
前記クライアント端末から前記サーバを介して画像パターンを受信する受信手段と、
前記医療画像情報を2次元平面に展開し、該2次元平面上の発見範囲内の領域を移動し、前記受信手段により受信された画像パターンと該領域内の画像情報との二乗誤差を算出して記憶し、該記憶された二乗誤差が最小となる画像情報を前記画像パターンとして決定するテンプレート解析手段と、を備えたことを特徴とする請求項1又は2記載の医療画像共有システム。 - 前記サーバの転送手段は、
情報を共有することを許可されたクライアント端末のみに前記医療画像情報、及び画像処理結果画像情報を転送することを特徴とする請求項1又は2記載の医療画像共有システム。 - 医療機器の表示装置に表示される画像をカメラを用いて撮影して、前記カメラから出力される画像信号をA/D変換した画像データを生成し、又は前記医療機器から出力されるRGB信号をA/D変換した画像データを生成し、前記画像データに基づいた画像ストリームデータである医療画像情報を収集する画像収集装置と、前記画像収集装置と接続されるサーバと、前記サーバと複数のクライアント端末とをネットワークを介して接続し、前記サーバを介して前記複数のクライアント端末の間で情報を共有する医療画像共有システムにおける医療画像共有方法であって、
前記画像収集装置は、
前記医療機器から出力される操作及び設定に関連する操作設定画像情報、画像ストリームデータである前記医療画像情報を取得する医療画像情報取得ステップと、
前記クライアント端末から前記サーバを介して受信した画像処理を施すための情報に基づいて、前記医療機器から取得した画像ストリームデータである前記医療画像情報に対して画像処理を施す画像処理ステップと、
画像ストリームデータである前記医療画像情報と前記画像処理ステップにより得られた画像ストリームデータである前記画像処理結果画像情報とを前記サーバに送信する送信ステップとを備え、
前記サーバは、
前記クライアント端末から受信した前記画像収集装置の前記画像処理ステップに画像処理を施させるための情報を前記画像収集装置に送信する送信ステップと、
前記画像収集装置から受信した画像ストリームデータである前記医療画像情報、及び画像処理結果画像情報を前記複数のクライアント端末に転送する転送ステップを備え、
前記クライアント端末は、
前記画像収集装置の前記画像処理ステップに画像処理を施させるための情報を前記サーバに送信する送信ステップと、
前記サーバから画像ストリームデータである前記医療画像情報と前記画像処理結果画像情報とを受信する受信ステップと、
前記受信ステップにより受信された画像ストリームデータである前記医療画像情報に前記画像処理結果画像を合成する画像合成ステップと、
前記画像合成ステップにより合成された合成画像を表示する表示ステップと、を備えることを特徴とする医療画像共有方法。 - 医療機器の表示装置に表示される画像をカメラを用いて撮影して、前記カメラから出力される画像信号をA/D変換した画像データを生成し、又は前記医療機器から出力されるRGB信号をA/D変換した画像データを生成し、前記画像データに基づいた画像ストリームデータである医療画像情報を収集する画像収集装置と、前記画像収集装置と接続されるサーバと、前記サーバとクライアント端末とをネットワークを介して接続し、前記サーバを介して前記画像収集装置と前記クライアント端末との間で情報を共有する医療画像共有システムにおける医療画像共有方法であって、
前記画像収集装置は、
前記医療機器から出力される操作及び設定に関連する操作設定画像情報、画像ストリームデータである前記医療画像情報を取得する医療画像情報取得ステップと、
前記クライアント端末から前記サーバを介して受信した画像処理を施すための情報に基づいて、前記医療機器から取得した画像ストリームデータである前記医療画像情報に対して画像処理を施す画像処理ステップと、
画像ストリームデータである前記医療画像情報と前記画像処理ステップにより得られた画像ストリームデータである前記画像処理結果画像情報とを前記サーバに送信する送信ステップとを備え、
前記サーバは、
前記クライアント端末から受信した画像ストリームデータである前記画像収集装置の前記画像処理ステップに画像処理を施させるための情報を前記画像収集装置に送信する送信ステップと、
前記画像収集装置から受信した画像ストリームデータである前記医療画像情報、及び画像処理結果画像情報を前記クライアント端末に転送する転送ステップを備え、
前記クライアント端末は、
前記画像収集装置の前記画像処理ステップに画像処理を施させるための情報を前記サーバに送信する送信ステップと、
前記サーバから画像ストリームデータである前記医療画像情報と前記画像処理結果画像情報とを受信する受信ステップと、
前記受信ステップにより受信された画像ストリームデータである前記医療画像情報に前記画像処理結果画像を合成する画像合成ステップと、
前記画像合成ステップにより合成された合成画像を表示する表示ステップと、を備えることを特徴とする医療画像共有方法。 - 請求項10又は11記載の前記画像収集装置は、各ステップをプロセッサに実行させることを特徴とする医療画像共有プログラム。
- 請求項10又は11記載の前記クライアント端末は、各ステップをプロセッサに実行させることを特徴とする医療画像共有プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013123828A JP6448176B2 (ja) | 2013-06-12 | 2013-06-12 | 医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013123828A JP6448176B2 (ja) | 2013-06-12 | 2013-06-12 | 医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014241089A JP2014241089A (ja) | 2014-12-25 |
| JP6448176B2 true JP6448176B2 (ja) | 2019-01-09 |
Family
ID=52140296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013123828A Active JP6448176B2 (ja) | 2013-06-12 | 2013-06-12 | 医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6448176B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11217344B2 (en) * | 2017-06-23 | 2022-01-04 | Abiomed, Inc. | Systems and methods for capturing data from a medical device |
| US10824898B2 (en) * | 2019-03-21 | 2020-11-03 | Abiomed, Inc. | Intelligent image segmentation prior to optical character recognition (OCR) |
| KR102843365B1 (ko) | 2019-12-20 | 2025-08-06 | 삼성전자주식회사 | 네트워크를 통해 영상 처리 서비스를 제공하는 전자 장치 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0484934A (ja) * | 1990-07-27 | 1992-03-18 | Fukuda Denshi Co Ltd | 医療情報システム |
| JP2000166876A (ja) * | 1998-12-11 | 2000-06-20 | Nippon Telegr & Teleph Corp <Ntt> | 眼底画像における動静脈血管径比の経時変化自動計測方法、そのシステム及びそのプログラムを記録した記録媒体 |
| JP2001034627A (ja) * | 1999-07-19 | 2001-02-09 | Hitachi Ltd | レセプト点検方法およびシステム並びにレセプト点検プログラムを格納した記憶媒体 |
| JP2005065728A (ja) * | 2003-08-25 | 2005-03-17 | Fuji Photo Film Co Ltd | 類似画像検索装置 |
| US20060235716A1 (en) * | 2005-04-15 | 2006-10-19 | General Electric Company | Real-time interactive completely transparent collaboration within PACS for planning and consultation |
| JP4909637B2 (ja) * | 2006-05-16 | 2012-04-04 | 株式会社東芝 | 計測データ処理システム |
| JP2008067321A (ja) * | 2006-09-11 | 2008-03-21 | Matsushita Electric Ind Co Ltd | データ登録管理装置 |
| US20090105578A1 (en) * | 2007-10-19 | 2009-04-23 | Siemens Medical Solutions Usa, Inc. | Interactive Medical Imaging Processing and User Interface System |
| JP2009151651A (ja) * | 2007-12-21 | 2009-07-09 | Konica Minolta Medical & Graphic Inc | 情報処理装置及び情報処理方法 |
| JP5562740B2 (ja) * | 2009-07-15 | 2014-07-30 | 株式会社東芝 | 医用画像表示システム及び医用画像通信方法 |
| JP6071297B2 (ja) * | 2011-07-22 | 2017-02-01 | 東芝メディカルシステムズ株式会社 | 医用画像制御システム |
| JP2013109422A (ja) * | 2011-11-17 | 2013-06-06 | Toshiba Corp | 医用診断システム、医用画像診断装置及び制御プログラム |
-
2013
- 2013-06-12 JP JP2013123828A patent/JP6448176B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014241089A (ja) | 2014-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6424601B2 (ja) | 表示制御方法、情報処理プログラム、及び情報処理装置 | |
| US9355496B2 (en) | Image processing apparatus, image processing method, and medium to display augmented reality objects | |
| JP7067604B2 (ja) | イベント監視システム、イベント監視方法、およびプログラム | |
| JP5677591B2 (ja) | 判定装置及び判定プログラム | |
| US20190096130A1 (en) | Virtual mobile terminal implementing system in mixed reality and control method thereof | |
| JP6448176B2 (ja) | 医療画像共有システム、医療画像共有方法、及び医療画像共有プログラム | |
| CN102662618A (zh) | 远程协助过程中的图像处理方法及装置 | |
| CN107179839A (zh) | 用于终端的信息输出方法、装置及设备 | |
| CN110865753A (zh) | 应用消息的通知方法及装置 | |
| JP2009105818A (ja) | データ会議用端末装置及びコンピュータプログラム | |
| JP5266416B1 (ja) | テストシステム及びテストプログラム | |
| US20160117140A1 (en) | Electronic apparatus, processing method, and storage medium | |
| CN107257506A (zh) | 多画面特效加载方法和装置 | |
| CN115620193A (zh) | 一种显示设备及健身视频播放方法 | |
| CN104102334B (zh) | 远端装置的控制方法与远端控制系统 | |
| JP6277981B2 (ja) | 情報コード画像表示システム、情報コード画像表示端末、情報コード画像表示プログラム | |
| CN115167742A (zh) | 弹幕显示方法、装置、设备以及存储介质 | |
| JP7613716B2 (ja) | 登録装置、操作装置、登録方法、操作方法、プログラム及び記録媒体 | |
| CN117950537A (zh) | 三维扫描系统的界面控制方法和三维扫描系统 | |
| JP6208910B1 (ja) | 動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム | |
| WO2013180317A1 (ko) | 모바일 단말기의 터치 입력을 이용한 ip 카메라의 원격 제어장치 | |
| CN112714272A (zh) | 设备间控制方法、终端和计算机可读存储介质 | |
| JP2017033397A (ja) | 操作情報共有装置、アプリ実行装置、操作情報共有システム、情報処理装置、およびプログラム | |
| JP6225724B2 (ja) | 情報共有システムおよび情報共有方法、ならびに、情報処理装置および情報処理方法 | |
| JP2014137667A (ja) | 制御装置及び制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160608 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170328 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170518 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170919 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20171130 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180403 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20180810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6448176 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |