JP7859552B2 - プログラム、表示装置、表示システム及び表示方法 - Google Patents

プログラム、表示装置、表示システム及び表示方法

Info

Publication number
JP7859552B2
JP7859552B2 JP2025054891A JP2025054891A JP7859552B2 JP 7859552 B2 JP7859552 B2 JP 7859552B2 JP 2025054891 A JP2025054891 A JP 2025054891A JP 2025054891 A JP2025054891 A JP 2025054891A JP 7859552 B2 JP7859552 B2 JP 7859552B2
Authority
JP
Japan
Prior art keywords
display
medical image
image
information
candidate lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2025054891A
Other languages
English (en)
Other versions
JP2025098214A (ja
Inventor
秀和 高橋
恒 和田
健 佐藤
誠志 野村
竜太 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Filing date
Publication date
Priority claimed from JP2022183009A external-priority patent/JP2024072310A/ja
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2025054891A priority Critical patent/JP7859552B2/ja
Publication of JP2025098214A publication Critical patent/JP2025098214A/ja
Application granted granted Critical
Publication of JP7859552B2 publication Critical patent/JP7859552B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、プログラム、表示装置、表示システム及び表示方法に関する。
近年、コンピューターを用いて医用画像を解析し、画像解析により検出された病変候補領域を医師に提示し、医師の判断を仰ぐという診断支援(CAD:Computer Aided Detection/Diagnosis)システムが実用化されている。
例えば、特許文献1には、診断支援プログラム(CAD)により検出された病変候補領域にマークを付して医用画像上に表示する診断支援システムが記載されている。
特許第4651353号公報
しかし、特許文献1のように、病変候補領域を示すマークやアノテーション等の表示情報を医用画像上に表示するシステムでは、医用画像を拡大するなどすると、病変候補領域や表示情報が画面の画像表示領域内から外れてしまい、見ている画面に表示されなくなることがある。そのため、医師は病変候補領域やその表示情報が画面の画像表示領域外に表示されていることに最初から気づかなかったり確認を忘れてしまったりしてしまい、見るべき病変を見落としてしまう場合がある。
特に最近では、業務改善の観点から、AI(Artificial Intelligence)による画像解析
結果と医師による読影結果とを比較して診断を行うケースが増えている。AIが画像診断に入る機会が増したことで上記の問題が顕在化してきた。
本発明は、上記の従来技術における問題に鑑みてなされたものであって、医用画像における病変候補領域やその表示情報が画面の画像表示領域内から外れてしまい、見ている画面に表示されなくなることで、見るべき病変を見落としてしまうことを防止することを目的とする。
上記課題を解決するため、本発明の第1の側面に係るプログラムは、
コンピューターに、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得機能と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示機能と、
を実行させるプログラムであって、
前記表示機能は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、
前記医用画像を操作中であることを示したアクティブ枠の表示様態を変更することにより、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数、前記拡大画像を基準とした方向、のいずれか1つを前記表示部に表示する。
本発明の第2の側面に係るプログラムは、
コンピューターに、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得機能と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示機能と、
を実行させるプログラムであって、
前記表示機能は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数を前記表示部に表示する。
本発明の第3の側面に係るプログラムは、
コンピューターに、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得機能と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示機能と、
を実行させるプログラムであって、
前記表示機能は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記拡大画像および前記医用画像の縮小画像を前記表示部に表示させ、
前記縮小画像に、前記第1の病変候補領域または前記第1の表示情報、及び、前記拡大画像の拡大範囲を重畳して表示する。
本発明の第1の側面に係る表示装置は、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
を備える表示装置であって、
前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、
前記医用画像を操作中であることを示したアクティブ枠の表示様態を変更することにより、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数、前記拡大画像を基準とした方向、のいずれか1つを前記表示部に表示する。
本発明の第2の側面に係る表示装置は、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
を備える表示装置であって、
前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数を前記表示部に表示する。
本発明の第3の側面に係る表示装置は、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
を備える表示装置であって、
前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記拡大画像および前記医用画像の縮小画像を前記表示部に表示させ、
前記縮小画像に、前記第1の病変候補領域または前記第1の表示情報、及び、前記拡大画像の拡大範囲を重畳して表示する。
本発明の第1の側面に係る表示システムは、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
を備える表示システムであって、
前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、
前記医用画像を操作中であることを示したアクティブ枠の表示様態を変更することにより、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数、前記拡大画像を基準とした方向、のいずれか1つを前記表示部に表示する。
本発明の第2の側面に係る表示システムは、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
を備える表示システムであって、
前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数を前記表示部に表示する。
本発明の第3の側面に係る表示システムは、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
を備える表示システムであって、
前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記拡大画像および前記医用画像の縮小画像を前記表示部に表示させ、
前記縮小画像に、前記第1の病変候補領域または前記第1の表示情報、及び、前記拡大画像の拡大範囲を重畳して表示する。
本発明の第1の側面に係る表示方法は、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得工程と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示工程と、
を含む表示方法であって、
前記表示工程は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、
前記医用画像を操作中であることを示したアクティブ枠の表示様態を変更することにより、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数、前記拡大画像を基準とした方向、のいずれか1つを前記表示部に表示する。
本発明の第2の側面に係る表示方法は、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得工程と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示工程と、
を含む表示方法であって、
前記表示工程は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数を前記表示部に表示する。
本発明の第3の側面に係る表示方法は、
医用画像における第1の病変候補領域を示す第1の情報を取得する取得工程と、
前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示工程と、
を含む表示方法であって、
前記表示工程は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記拡大画像および前記医用画像の縮小画像を前記表示部に表示させ、
前記縮小画像に、前記第1の病変候補領域または前記第1の表示情報、及び、前記拡大画像の拡大範囲を重畳して表示する。
本発明によれば、医用画像における病変候補領域やその表示情報が画面の画像表示領域内から外れてしまい、見ている画面に表示されなくなることで、見るべき病変を見落としてしまうことを防止することができる。
医用画像表示システムのシステム構成図である。 医用画像管理サーバーの機能的構成を示すブロック図である。 データ管理テーブルのデータ構成例を示す図である。 情報処理装置の機能的構成を示すブロック図である。 医用画像管理サーバーにより実行される医用画像解析処理を示すフローチャートである。 読影画面の一例を示す図である。 図4の制御部により実行される解析結果表示処理Aを示すフローチャートである。 病変候補領域の位置にアノテーションを付帯させた医用画像が画像表示領域に表示された読影画面の一例を示す図である。 画像表示領域に表示されていない病変候補領域またはアノテーションの存在を示す情報が表示された読影画面の一例を示す図である。 画像表示領域に表示されていない病変候補領域またはアノテーションの存在を示す情報が表示された読影画面の一例を示す図である。 画像表示領域に表示されていない病変候補領域またはアノテーションの存在を示す情報が表示された読影画面の一例を示す図である。 画像表示領域に表示されていない病変候補領域またはアノテーションの存在を示す情報が表示された読影画面の一例を示す図である。 画像表示領域に表示されていない病変候補領域またはアノテーションの存在を示す情報が表示された読影画面の一例を示す図である。 図4の制御部により実行される解析結果表示処理Bを示すフローチャートである。 解析結果表示処理Bにおける読影画面の画面遷移の一例を示す図である。 解析結果表示処理Bにおける読影画面の画面遷移の変形例を示す図である。
以下、本発明に係るプログラム、表示装置、表示システム及び表示方法の一実施の形態について説明する。ただし、発明の範囲は、図示例に限定されない。
<第1の実施形態>
[医用画像表示システムの構成]
図1に、本発明の表示システムとしての医用画像表示システム100のシステム構成を示す。
図1に示すように、医用画像表示システム100は、医用画像管理サーバー10と、モダリティー20,20,・・・と、情報処理装置30と、を備えている。医用画像表示システム100を構成する各装置は、通信ネットワークNを介してデータ通信可能となっている。医用画像表示システム100を構成する各装置は、HL7(Health Level Seven)やDICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、HL7やDICOMに則って行われる。なお、情報処理装置30の台数は、特に限定されない。
モダリティー20は、患者(被検体)の撮影を行い、医用画像の画像データを生成する。モダリティー20としては、例えば、CR(Computed Radiography)、DR(Digital Radiography)、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)、US(Ultra Sonography)、NM(Nuclear Medicine:核医学検査)、ES(Endoscope:内視鏡検査)等が用いられる。
また、モダリティー20は、医用画像に対して、当該医用画像に係る画像属性情報を付帯させる。画像属性情報には、患者ID、患者名、生年月日、性別、撮影日時、画像ID、モダリティー、部位、方向等が含まれる。
モダリティー20により生成された医用画像の画像データは、医用画像管理サーバー10に送信される。
医用画像管理サーバー10は、モダリティー20において生成された医用画像の画像データを保存し、管理する。医用画像管理サーバー10としては、例えば、PACS(Picture Archiving and Communication System)等が挙げられる。
情報処理装置30は、PC(Personal Computer)やタブレット等のコンピューター装置である。情報処理装置30は、医師等のユーザーが医用画像を読影する際に医用画像やその解析結果を表示する表示装置である。
[医用画像管理サーバーの構成]
図2に、医用画像管理サーバー10の機能的構成を示す。医用画像管理サーバー10は、制御部11、通信部12、画像解析部13、記憶部14等を備えて構成されており、各部はバス15により接続されている。
制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory)等から構成され、医用画像管理サーバー10の各部の処理動作を統括的に制御する。具体的には、CPUは、記憶部14に記憶されている各種処理プログラムを読み出してRAMに展開し、当該プログラムとの協働により各種処理を行う。
通信部12は、ネットワークインターフェース等により構成され、通信ネットワークNを介して接続された外部機器との間でデータの送受信を行う。例えば、通信部12は、モダリティー20により患者を撮影して得られた医用画像を受信する。また、通信部12は、情報処理装置30から要求された医用画像や解析結果を情報処理装置30に送信する。
画像解析部13は、患者を撮影して得られた医用画像に対してコンピューター処理を行い、解析結果のデータを生成する。ここでコンピューター処理としては、例えばCAD(Computer Aided Diagnosis)やAI(Artificial Intelligence)を利用した病変候補領域の検出を含む画像診断・画像解析が用いられる。解析結果のデータは、例えば、DICOMのGSPS(Grayscale Softcopy Presentation State)データ、オーバーレイデータ等により構成される。解析結果のデータには、解析結果を識別するための解析結果ID、検出された各病変候補領域の情報(位置情報、病変の種類、表示情報(例えば、アノテーション))が含まれる。
画像解析部13は、記憶部14に格納されたプログラムと制御部11のCPUとの協働によってソフトウェア処理で実現される。
記憶部14は、HDD(Hard Disk Drive)や不揮発性の半導体メモリー等により構成され、各種処理プログラム、当該プログラムの実行に必要なパラメーターやファイル等を記憶している。
また、記憶部14には、ユーザー管理テーブル141、データ管理テーブル142が記憶されている。また、記憶部14は、医用画像記憶領域143、解析結果記憶領域144、読影結果記憶領域145を有する。
ユーザー管理テーブル141は、医用画像表示システム100を利用するユーザー(医師等の医療従事者)を管理するためのテーブルである。ユーザー管理テーブル141には、ユーザーごとに、ユーザーID、パスワード、氏名、所属、メールアドレス、電話番号等が対応付けられて格納されている。
ユーザーIDは、ユーザーの識別情報である。パスワードは、ユーザーが情報処理装置30から医用画像管理サーバー10にアクセスする際の認証に用いられる。氏名は、ユーザーの氏名である。所属は、ユーザーが所属する医療施設、診療科等の情報である。メールアドレスは、ユーザーのメールアドレスである。電話番号は、ユーザーの電話番号である。
データ管理テーブル142は、医用画像管理サーバー10内のデータを管理するためのテーブルである。
図3に、データ管理テーブル142のデータ構成例を示す。データ管理テーブル142には、医用画像記憶領域143に記憶されている医用画像ごとに、画像ID、患者ID、撮影日時、モダリティー、部位、方向、解析結果ID、読影結果ID等が対応付けられて格納されている。
画像IDは、医用画像の識別情報である。患者IDは、医用画像の撮影対象とされた患者の識別情報である。撮影日時は、医用画像が撮影された日時である。モダリティーは、医用画像が撮影されたモダリティーである。部位は、医用画像の撮影対象とされた部位である。方向は、医用画像の撮影方向である。解析結果IDは、画像解析部13が医用画像を解析することで得られた解析結果の識別情報である。読影結果IDは、医用画像に対するユーザー(医師)による読影結果を識別するための識別情報である。
医用画像記憶領域143には、モダリティー20から受信された医用画像の画像データが記憶される。
解析結果記憶領域144には、医用画像に対するコンピューター処理により得られた解析結果のデータが記憶される。上述のように、解析結果のデータには、解析結果を識別するための解析結果ID、検出された各病変候補領域の情報(位置情報、病変の種類、表示情報(例えば、アノテーション))が含まれる。
読影結果記憶領域145には、ユーザーである医師(読影医)による医用画像に対する読影結果のデータが記憶される。読影結果には、読影結果ID、ユーザーにより入力された病変候補領域の情報(位置情報、病変の種類、表示情報(例えば、アノテーション情報))が含まれる。
制御部11は、通信部12を介してモダリティー20から医用画像を受信すると、当該医用画像を記憶部14に記憶させるとともに、画像解析部13に医用画像を解析させる。
制御部11は、通信部12を介して情報処理装置30から医用画像及びその解析結果に対する取得要求を受信すると、当該医用画像及びその解析結果を記憶部14から読み出し、当該読み出された医用画像及び解析結果を通信部12を介して情報処理装置30に提供する。
[情報処理装置の構成]
図4に、情報処理装置30の機能的構成を示す。情報処理装置30は、制御部31、操作部32、表示部33、通信部34、記憶部35等を備えて構成されており、各部はバス36により接続されている。
制御部31は、CPU、RAM等から構成され、情報処理装置30の各部の処理動作を統括的に制御する。具体的には、制御部31のCPUは、記憶部35に記憶されている読影支援処理プログラム351を始めとする各種処理プログラムを読み出してRAMに展開し、展開したプログラムとの協働により各種処理を行う。
例えば、制御部31のCPUは、操作部32により読影対象の医用画像が指定されると、記憶部35に記憶されている読影支援処理プログラム351との協働により、指定され医用画像及び当該医用画像に対するコンピューター処理により得られた第1の病変候補領域を示す第1の情報を医用画像管理サーバー10から取得する。そして、第1の情報に基づく第1の表示情報を付帯させた医用画像を表示部33に表示する。すなわち、制御部31は、本発明の取得手段及び表示制御手段として機能する。
ここで、第1の病変候補領域は、医用画像に対するコンピューター処理により得られた病変候補領域のうちの或る病変候補領域である。第1の情報は、第1の病変候補領域の位置情報である。第1の表示情報は、医用画像の第1の病変候補領域に付帯されるアノテーション等の表示情報である。
また、制御部31は、第1の表示情報を付帯させた医用画像を表示部33に表示させる場合において、第1の病変候補領域または第1の表示情報が表示部33の画像表示領域331b内(図8参照)に表示されていない場合に、第1の病変候補領域または第1の表示情報の存在を示す情報を表示部33に表示する。
第1の病変候補領域または第1の表示情報の存在を示す情報には、例えば、第1の病変候補領域または第1の表示情報が画像表示領域331b内に表示されていないことを示す情報が含まれる。第1の病変候補領域または第1の表示情報の存在を示す情報は、例えば、表示部33の表示領域(画面領域)に表示される。表示領域は、医用画像を表示する領域である画像表示領域331bを含む。また後述するウィンドウ枠331a、背景表示領域331c、ツール表示領域331dが含まれる。
操作部32は、カーソルキー、文字・数字入力キー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された操作信号を制御部31に出力する。また、操作部32が、表示部33に積層されたタッチパネルにより構成される場合には、ユーザーの指等によるタッチ操作の位置に応じた操作信号を制御部31に出力する。
表示部33は、LCD(Liquid Crystal Display)等のモニターを備えて構成されており、制御部31から入力される表示信号の指示に従って、各種画面を表示する。
通信部34は、ネットワークインターフェース等により構成され、通信ネットワークNを介して接続された外部機器との間でデータの送受信を行う。
記憶部35は、HDDや不揮発性の半導体メモリー等により構成され、各種処理プログラム、当該プログラムの実行に必要なパラメーターやファイル等を記憶している。例えば、記憶部35には、読影支援処理プログラム351が記憶されている。読影支援処理プログラム351は、後述する解析結果表示処理A(図7参照)を実行するためのプログラムを含む。
[医用画像表示システムにおける動作]
次に、医用画像表示システム100における動作について説明する。
まず、医用画像管理サーバー10により実行される医用画像解析処理について説明する。
図5は、医用画像管理サーバー10により実行される医用画像解析処理を示すフローチャートである。この処理は、制御部11のCPUと記憶部14に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
医用画像管理サーバー10では、通信部12を介して、モダリティー20から患者を撮影して得られた医用画像を受信すると(ステップS1)、制御部11は、受信した医用画像を記憶部14の医用画像記憶領域143に記憶させる(ステップS2)。また、制御部11は、受信した医用画像の画像属性情報に含まれる画像ID、患者ID、撮影日時、モダリティー、部位、方向等を対応付けて、記憶部14のデータ管理テーブル142(図3参照)に格納する。
次に、制御部11は、画像解析部13により、受信した医用画像を解析させる(ステップS3)。画像解析部13は、AI(Artificial Intelligence)等により医用画像をコンピューター処理して病変候補領域を取得し、取得した病変候補領域の情報を含む解析結果のデータを生成する。
次に、制御部11は、画像解析部13により得られた解析結果を、医用画像と対応付けて記憶部14に記憶させ(ステップS4)、医用画像解析処理を終了する。具体的には、制御部11は、解析結果を記憶部14の解析結果記憶領域144に記憶させるとともに、記憶部14のデータ管理テーブル142において、解析対象とされた医用画像に対応するレコードに解析結果の解析結果IDを格納する。
次に、情報処理装置30により実行される処理について説明する。
情報処理装置30の制御部31により実行される以下の処理は、制御部31のCPUと記憶部35に記憶されている読影支援処理プログラム351との協働によるソフトウェア処理によって実現される。
情報処理装置30において、ユーザーの操作部32からの操作により読影対象の医用画像の画像ID等が指定されると、制御部31は、指定された画像IDを含む医用画像及び当該医用画像の解析結果を取得する。
例えば、制御部31は、ユーザーの操作部32からの操作により読影対象の医用画像の画像ID等が指定されると、指定された画像IDを含む医用画像及び当該医用画像の解析結果の取得要求を、通信部34を介して医用画像管理サーバー10に送信する。
医用画像管理サーバー10の制御部11は、取得要求に含まれる画像IDに対応する医用画像を医用画像記憶領域143から読み出し、当該医用画像を通信部12を介して情報処理装置30に送信する。また、制御部11は、記憶部14のデータ管理テーブル142を参照して、取得要求された医用画像の「画像ID」に対応するレコードから「解析結果ID」を特定し、この「解析結果ID」に対応する解析結果を解析結果記憶領域144から読み出し、当該解析結果を通信部12を介して情報処理装置30に送信する。取得要求された医用画像の「画像ID」に対応するレコードに「読影結果ID」が格納されている場合には、制御部11は、この「読影結果ID」に対応する読影結果を読影結果記憶領域145から読み出し、当該読影結果を通信部12を介して情報処理装置30に送信する。
情報処理装置30において、通信部34を介して医用画像管理サーバー10から読影対象の医用画像及びその解析結果が取得されると、制御部31は、記憶部35またはRAMの一次記憶領域に、取得した医用画像及び解析結果を記憶する。この一時記憶領域に記憶された医用画像が読影対象の医用画像であり、一時記憶領域に記憶された解析結果に含まれる病変候補領域の情報が、ユーザーが確認する対象となる病変候補領域の情報である。
次いで、制御部31は、取得した医用画像が表示された読影画面331を表示部33に表示する。
図6は、読影画面331の一例を示す図である。図6に示すように、読影画面331には、ウィンドウ枠331a、画像表示領域331b、背景表示領域331c、ツール表示領域331d、解析結果表示ボタン331e、終了ボタン331f等が設けられている。
ウィンドウ枠331aは、画像表示領域331bを有するウィンドウの枠である。画像表示領域331bは、読影対象の医用画像を表示する領域である。背景表示領域331cは、画像表示領域331bに対して背景となる背景領域である。ツール表示領域331dは、操作用のアイコンが表示された領域である。解析結果表示ボタン331eは、画像表示領域331bに表示された医用画像に対するコンピューター処理により得られた病変候補領域に表示情報(アノテーション)を表示することを指示するためのボタンである。終了ボタン331fは、読影の終了を指示するためのボタンである。
また、読影対象の医用画像に対応する読影結果が医用画像管理サーバー10から送信された場合には、読影画面331に図示しない読影結果ボタンが表示される。読影結果ボタンは、読影により検出された病変候補領域に表示情報(アノテーション)を表示することを指示するためのボタンである。
また、画像表示領域331bの医用画像が操作中の場合には、操作中であることを示すアクティブ枠331gが表示される。
読影画面331において、ユーザーである読影医は、画像表示領域331bに表示された医用画像を観察する。そして、読影により病変候補領域を検出した場合、ユーザーは、操作部32により病変候補領域を指定して当該病変候補領域の情報(当該病変候補領域の位置情報、病変の種類、表示情報(アノテーション))を読影結果として入力する。
例えば、ユーザーが画像表示領域331bに表示された医用画像上の病変と思われる領域の位置を操作部32により指定(例えば、右クリック)すると、制御部31は、指定された位置の近傍に、病変の種類を含むメニュー項目(例えば、右クリックメニュー)を表示する。操作部32により、メニュー項目の中から、指定された領域の病変の種類が選択されると、制御部31は、医用画像の指定された領域に、ユーザーが検出した病変候補領域であることを示す表示情報(アノテーション)を付帯させるとともに、ユーザーによる読影結果(病変検出領域の位置情報、病変の種類、表示情報(アノテーション))を記憶部35またはRAMに一次記憶する。
また、ユーザーは、読影画面331において、操作部32により解析結果表示ボタン331eを押下し、読影対象の医用画像に対するAIなどのコンピューター処理により得られた病変候補領域の表示情報(アノテーション)を画像表示領域331bに表示された医用画像に表示させて、解析結果を確認する。
また、すでに一次読影医等による読影結果が存在する場合、ユーザーは、操作部32により図示しない読影結果ボタンを押下し、画像表示領域331bに表示された医用画像に読影により得られた病変候補領域の表示情報(アノテーション)を表示させて、読影結果を確認することもできる。
ここで、或る読影医(例えば、二次読影医)が他の読影医(例えば、一次読影医)により病変候補領域が検出された医用画像を読影する場合、同じ人間による読影であるため、病変候補領域の検出の観点が似ており、他の読影医が検出した病変候補領域を見落とす可能性は低い。そのため、他の読影医が検出した病変候補領域を確認する必要性は低かった。
他方、AIなどのコンピューター処理による解析では、人間である医師が気づかないような病変候補領域を検出できることがあるため、読影医がその解析結果を確認しない場合、読影医は病変を見落とす可能性が高い。そのため、読影医は、コンピューター処理による解析結果を示すアノテーションの存在に気づく必要がある。
また、読影医による読影では、見落としが生じやすいようなケースがあった場合、病変候補領域にアノテーションを付すだけでなく、読影所見に留意すべき点を記載したり申し送りをしたりできる。そのため、一次読影医により検出された病変候補領域やそのアノテーションを画像表示領域外に表示してしまったとしても、見逃しが生じにくい。他方、AIなどのコンピューター処理による解析では申し送り等がなされないため、病変候補領域やそのアノテーションを画像表示領域外に表示してしまった場合、見逃しが生じやすい。
また、AIなどのコンピューター処理により付されるアノテーションは、医用画像にアノテーションを付した際の見やすさが考慮されておらず、医師の見逃しが生じやすい。例えば、AIが医用画像上の白い領域に同系色のアノテーションを付してしまい、それが画像表示領域外に移動しても読影医には気づきにくく、見逃しが生じやすくなるといった事態が生じていた。
以上のように、医用画像に対するAIなどのコンピューター処理により得られた病変候補領域にアノテーションを付した場合、病変候補領域やアノテーションが画像表示領域外に表示されていて読影医が確認し忘れてしまった場合、見落とし防止の観点から問題が生じる状況となっている。
そこで、本実施形態の情報処理装置30では、操作部32により解析結果表示ボタン331eが押下されると、図7に示す解析結果表示処理Aを実行する。これにより、医用画像上にコンピューター処理による解析結果(例えば、AIによるアノテーション)を付帯させて表示しているものの、画像表示領域331bに表示している医用画像の拡大や移動をするなどして、画像表示領域331b内に解析結果を示すアノテーションが表示されていないといった場合においても、医師が見るべき病変を見落としてしまうことを防止できるようにする。
図7は、解析結果表示処理Aの流れを示すフローチャートである。この処理は、制御部31のCPUと記憶部35に記憶されている読影支援処理プログラム351との協働によるソフトウェア処理によって実現される。
解析結果表示処理Aにおいて、まず、制御部31は、画像表示領域331bに表示されている医用画像の解析結果から、当該医用画像における病変候補領域の位置を示す位置情報を取得する(ステップS11)。
次いで、制御部31は、取得した位置情報に基づいて、病変候補領域の位置にアノテーションを付帯させた医用画像の全体を読影画面331の画像表示領域331bに表示させる(ステップS12)。
図8は、ステップS12において、病変候補領域の位置にアノテーションを付帯させた医用画像が画像表示領域331bに表示された読影画面331の一例を示す図である。画像表示領域331bに表示された医用画像上には、コンピューター処理により得られた3つの病変候補領域が表示されており、それぞれ、アノテーションA1、A2、A3が付帯されている。
次いで、制御部31は、画像表示領域331bに表示されている医用画像の拡大が指示されたか否かを判断する(ステップS13)。
例えば、操作部32によりツール表示領域331dの「拡大鏡」のアイコンが押下されると、制御部31は、画像表示領域331bに表示された医用画像の拡大が指示されたと判断する。
画像表示領域331bに表示されている医用画像の拡大が指示されていないと判断した場合(ステップS13;NO)、制御部31は、ステップS21に移行する。
画像表示領域331bに表示されている医用画像の拡大が指示されたと判断した場合(ステップS13;YES)、制御部31は、画像表示領域331bに表示されている医用画像を拡大表示する(ステップS14)。
次いで、制御部31は、ステップS12で表示された病変候補領域またはアノテーションのうち、画像表示領域331b内に表示されていない病変候補領域またはアノテーションが存在するか否かを判断する(ステップS15)。
ステップS12で表示された病変候補領域またはアノテーションのうち、画像表示領域331b内に表示されていない病変候補領域またはアノテーションが存在すると判断した場合(ステップS15;YES)、制御部31は、画像表示領域331bに表示されていない病変候補領域またはアノテーションの存在を示す情報を表示部33に表示させ(ステップS16)、ステップS17に移行する。
例えば、第1の病変候補領域または第1の表示情報(第1の病変候補領域の位置を示すアノテーション)が画像表示領域331b内に表示されていない場合、制御部31は、第1の病変候補領域または第1の表示情報の存在を示す情報を表示部33に表示させる。
ステップS16において、制御部31は、例えば、画像表示領域331bに表示されていない病変候補領域またはアノテーションの存在を示す情報として、ウィンドウ枠331aを変更した表示情報、背景表示領域331cを変更した表示情報、または、ツール表示領域331dを変更した表示情報を表示部33に表示する。
例えば、制御部31は、図9に示すように、画像表示領域331bに表示されていない病変候補領域またはアノテーションの存在を示す情報として、ウィンドウ枠331aの色を変更した表示情報、背景表示領域331cの色を変更した表示情報、または、ツール表示領域331dの色を変更した表示情報を表示部33に表示する。図9においては、ウィンドウ枠331a、背景表示領域331c、ツール表示領域331dの全ての色を変えているが、少なくとも1つ以上の色を変えればよい。
例えば、第1の病変候補領域または第1の表示情報が画像表示領域331b内に表示されていない場合、制御部31は、第1の病変候補領域または第1の表示情報の存在を示す情報として、ウィンドウ枠331a(例えば、色)を変更した表示情報、背景表示領域331c(例えば、色)を変更した表示情報、または、ツール表示領域331d(例えば、色)を変更した表示情報を表示部33に表示する。
ウィンドウ枠331a、背景表示領域331c、またはツール表示領域331dの色を変える場合、制御部31は、画像表示領域331b外に存在する病変候補領域またはアノテーションの数に応じて、表示する色を段階的に変えることとしてもよい。例えば、画像表示領域331b外に存在する病変候補領域またはアノテーションの数が所定の閾値以内の場合は青、所定の閾値を超えた場合は赤としてもよい。また、画像表示領域331b外に病変候補領域またはアノテーションが存在する方向のみ部分的に色を変更してもよい。例えば、画像表示領域331bに表示されている領域の左側に、病変候補領域またはアノテーションが存在する場合は、ウィンドウ枠331a、背景表示領域331c、またはツール表示領域331dの左側の部分のみ色を変更することとしてもよい。これにより、画像表示領域331bに表示されていない病変候補領域またはアノテーションがどの方向に存在するのかをユーザーが容易に認識可能となる。
また、ステップS16において、制御部31は、画像表示領域331bに表示されていない病変候補領域またはアノテーションの存在を示す情報として、例えば図10に示すように、病変候補領域またはアノテーションが存在する方向を示すマークM(例えば、図10の矢印マークM1~M3)を表示部33に表示することとしてもよい。例えば、第1の病変候補領域または第1の表示情報が画像表示領域331b内に表示されていない場合、制御部31は、第1の病変候補領域または第1の表示情報の存在を示す情報として、第1の病変候補領域または第1の表示情報が存在する方向を示すマークMを表示部33に表示することとしてもよい。これにより、画像表示領域331bに表示されていない病変候補領域またはアノテーションがどの方向に存在するかをユーザーが容易に認識可能となる。
また、ステップS16において、制御部31は、画像表示領域331bに表示されていない病変候補領域またはアノテーションの存在を示す情報として、例えば図11に示すように、アクティブ枠331gを変更した表示情報を表示部33に表示することとしてもよい。例えば、アクティブ枠331gの色を変更した表示情報を表示部33に表示することとしてもよい。アクティブ枠331gを変更する際には、アクティブ枠331gの4隅のうち、画像表示領域331b内に表示されていない病変候補領域またはアノテーションが存在する方向の隅を変更することとしてもよい。これにより、画像表示領域331bに表示されていない病変候補領域またはアノテーションがどの方向に存在するかをユーザーが容易に認識可能となる。また、画像表示領域331b外に存在する病変候補領域またはアノテーションの数に応じて、表示する色を段階的に変えてもよい。
例えば、第1の病変候補領域または第1の表示情報が画像表示領域331b内に表示されていない場合、制御部31は、第1の病変候補領域または第1の表示情報の存在を示す情報として、アクティブ枠331gを変更した表示情報を表示部33に表示することとしてもよい。例えば、アクティブ枠331gの4隅のうち、第1の病変候補領域または第1の表示情報が存在する方向の隅の色を変更することとしてもよい。
また、ステップS16において、制御部31は、画像表示領域331bに表示されていない病変候補領域またはアノテーションの存在を示す情報として、例えば図12に示すように、アノテーションを付帯させた医用画像を縮小した情報(縮小画像331i)を表示部33に表示することとしてもよい。例えば、第1の病変候補領域または第1の表示情報が画像表示領域331b内に表示されていない場合、第1の表示情報を付帯させた医用画像を縮小した情報(縮小画像331i)を表示部33に表示することとしてもよい。これにより、医用画像のどこに病変候補領域またはアノテーションが存在するかをユーザーが容易に認識可能となる。
また、制御部31は、縮小画像331iが表示された縮小画像領域に対する操作に基づき、画像表示領域331bに拡大表示された医用画像の表示制御を行うこととしてもよい。例えば、制御部31は、医用画像における、画像表示領域331b内に拡大表示されている領域の範囲を示す枠331jを縮小画像領域内に表示し、枠331jを移動させる操作に応じて、枠331j内に表示された領域を画像表示領域331bに拡大表示することとしてもよい。これにより、ユーザーが確認すべき病変候補領域またはアノテーションを効率よく表示することが可能となる。
また、ステップS16において、制御部31は、画像表示領域331bに表示されていない病変候補領域またはアノテーションの存在を示す情報として、例えば図13に符号331kで示すように、表示されている医用画像に対するコンピューター処理により得られた全ての病変候補領域の数と、画像表示領域331b内に表示されている病変候補領域の数を表示することとしてもよい。または、画像表示領域331bに表示されていない病変候補領域またはアノテーションの存在を示す情報として、表示されている医用画像に対するコンピューター処理により得られた全ての病変候補領域の数と、画像表示領域331b内に表示されていない病変候補領域の数を表示することとしてもよい。
一方、ステップS15において、画像表示領域331b内に表示されていない病変候補領域またはアノテーションが存在しないと判断した場合(ステップS15;NO)、制御部31は、ステップS17に移行する。
ステップS17において、制御部31は、操作部32により画像表示領域331b内に表示する医用画像の領域を移動させる所定の操作(例えば、枠331jの移動操作や画像表示領域331b上のドラッグ操作等)が行われたか否かを判断する(ステップS17)。
操作部32により画像表示領域331bに表示する医用画像の領域を移動させる所定の操作が行われたと判断した場合(ステップS17;YES)、制御部31は、操作に応じて画像表示領域331b内に表示する医用画像の領域を移動させ(ステップS18)、ステップS15に戻る。
操作部32により画像表示領域331bに表示する医用画像の領域を移動させる所定の操作が行われていないと判断した場合(ステップS17;NO)、制御部31は、操作部32により医用画像の拡大の解除が指示されたか否かを判断する(ステップS19)。
例えば、制御部31は、ツール表示領域331dの拡大鏡が再度押下された場合、医用画像の拡大の解除が指示されたと判断する。
医用画像の拡大の解除が指示されていないと判断した場合(ステップS19;NO)、制御部31は、ステップS17に戻る。
医用画像の拡大の解除が指示されたと判断した場合(ステップS19;YES)、制御部31は、医用画像の拡大を解除して(元のサイズに戻して)画像表示領域331bに表示させ(ステップS20)、ステップS21に移行する。
ステップS21において、制御部31は、解析結果の表示の終了が指示されたか否かを判断する(ステップS21)。
例えば、解析結果表示ボタン331eが再度押下されると、制御部31は、解析結果の表示の終了が指示されたと判断する。
解析結果の表示の終了が指示されていないと判断した場合(ステップS21;NO)、制御部31は、ステップS13に戻る。
解析結果の表示の終了が指示されたと判断した場合(ステップS21;YES)、制御部31は、解析結果表示処理Aを終了する。
このように、解析結果表示処理Aでは、医用画像に対するコンピューター処理により得られたおける病変候補領域または当該医用画像に付帯されたアノテーションのうち、表示部33の画像表示領域331b内に表示されていない病変候補領域またはアノテーションが存在する場合、制御部31は、画像表示領域331bに表示されていない病変候補領域またはアノテーションの存在を示す情報を表示部33に表示させる。したがって、医用画像における病変候補領域やその表示情報であるアノテーションが画面の画像表示領域内から外れてしまい、見ている画面に表示されなくなることで、ユーザーが見るべき病変を見落としてしまうことを防止することができる。
<第2の実施形態>
以下、本発明の第2の実施形態について説明する。
第2の実施形態における医用画像表示システム100の構成、及び医用画像表示システム100を構成する各装置の構成は、第1の実施形態で説明したものと同様であるので説明を援用する。また、医用画像管理サーバー10の動作は、第1の実施形態で説明したものと同様であるので説明を援用し、以下、情報処理装置30の動作について説明する。
第2の実施形態において、例えば、制御部31のCPUは、記憶部35に記憶されている読影支援処理プログラム351との協働により、以下の動作を実行する。
制御部31は、医用画像管理サーバー1においてコンピューター処理により得られた第1の病変候補領域を示す第1の情報を取得し、第1の情報に基づく第1の表示情報を付帯させた医用画像を表示部33に表示する。すなわち、制御部31は、本発明の取得手段及び表示制御手段として機能する。なお、第1の病変候補領域、第1の情報、第1の表示情報については、第1の実施形態で説明したとおりである。
また、制御部31は、第1の表示情報を付帯させた医用画像を表示部33に表示させる場合において、第1の病変候補領域または第1の表示情報が表示部33の画像表示領域331b内に表示されていない場合に、所定の指示入力に基づき第1の病変候補領域または第1の表示情報を表示部33に表示する。
また、所定の指示入力に基づき第1の病変候補領域または第1の表示情報を表示部33に表示した後、制御部31は、表示部33の画像表示領域331b内に表示された第1の病変候補領域または第1の表示情報から、画像表示領域331bに表示されていない第2の病変候補領域または第2の病変候補領域を示す第2の情報に基づく第2の表示情報へ切り替えて表示部33に表示する。第2の病変候補領域は、第1の病変候補領域とは異なる病変候補領域である。第2の情報は、第2の病変候補領域の位置情報である。第2の表示情報は、例えば、第2の病変候補領域を示すアノテーションである。
制御部31は、第2の実施形態における上記の動作を、例えば、図6に示した読影画面331において、操作部32により解析結果表示ボタン331eが押下された際に図14に示す解析結果表示処理Bを実行することで実現する。これにより、医用画像上にコンピューター処理による解析結果(例えば、AIによるアノテーション)を表示しているものの、画像表示領域331bに表示している医用画像の拡大や移動をするなどして、画像表示領域331b内に解析結果を示すアノテーションが表示されていないといった場合においても、医師が見るべき病変を見落としてしまうことを防止できるようにする。
なお、第1の実施形態において説明したように、情報処理装置30において、ユーザーにより読影対象の医用画像が指定されると、制御部31は、通信部34を介して医用画像管理サーバー10から読影対象の医用画像及びその解析結果を取得する。制御部31は、記憶部35またはRAMの一次記憶領域に、取得した医用画像及び解析結果を記憶する(第1の記憶手段)。この一時記憶領域に記憶された医用画像が読影対象の医用画像である。一時記憶領域に記憶された解析結果に含まれる病変候補領域の情報が、ユーザーが確認する対象となる病変候補領域の情報である。制御部31は、一時記憶領域に記憶された医用画像及び解析結果に基づいて、読影画面331の表示や病変候補領域のアノテーションの表示制御を行う。
図14は、解析結果表示処理Bの流れを示すフローチャートである。この処理は、制御部31のCPUと記憶部35に記憶されている読影支援処理プログラム351との協働によるソフトウェア処理によって実現される。以下、解析結果表示処理Bについて説明する。
解析結果表示処理Bにおいて、まず、制御部31は、表示されている医用画像の解析結果から、当該医用画像における病変候補領域の位置を示す位置情報を取得する(ステップS31)。
次いで、制御部31は、取得した位置情報に基づいて、病変候補領域の位置にアノテーションを付帯させた医用画像を読影画面331の画像表示領域331bに表示させる(ステップS32)。
次いで、制御部31は、画像表示領域331bに表示されている医用画像の拡大が指示されたか否かを判断する(ステップS33)。
例えば、操作部32によりツール表示領域331dの「拡大鏡」のアイコンが押下されると、制御部31は、画像表示領域331bに表示された医用画像の拡大が指示されたと判断する。
画像表示領域331bに表示されている医用画像の拡大が指示されていないと判断した場合(ステップS33;NO)、制御部31は、ステップS43に移行する。
画像表示領域331bに表示されている医用画像の拡大が指示されたと判断した場合(ステップS33;YES)、制御部31は、画像表示領域331bに表示されている医用画像を拡大表示する(ステップS34)。
次いで、制御部31は、ステップS32で表示された病変候補領域またはアノテーションのうち、画像表示領域331b内に表示されていない病変候補領域またはアノテーションが存在するか否かを判断する(ステップS35)。
ステップS32で表示された病変候補領域またはアノテーションのうち、画像表示領域331b内に表示されていない病変候補領域またはアノテーションが存在しないと判断した場合(ステップS35;NO)、制御部31は、操作部32により医用画像の拡大の解除が指示されたか否かを判断する(ステップS41)。
例えば、制御部31は、ツール表示領域331dの拡大鏡が再度押下された場合、医用画像の拡大の解除が指示されたと判断する。
操作部32により医用画像の拡大の解除が指示されたと判断した場合(ステップS41;YES)、制御部31は、ステップS42に移行する。
操作部32により医用画像の拡大の解除が指示されていないと判断した場合(ステップS41;NO)、制御部31は、ステップS43に移行する。
一方、ステップS32で表示された病変候補領域またはアノテーションのうち、画像表示領域331b内に表示されていない病変候補領域またはアノテーションが存在すると判断した場合(ステップS35;YES)、制御部31は、変数nに1を設定し、表示されていない病変候補領域またはアノテーションに1から順に番号を割り当てる(ステップS36)。
次いで、制御部31は、操作部32により所定の指示入力が実施されるのを待機する(ステップS37)。
所定の指示入力とは、例えば、予め設定されたキー(例えば、右矢印キーや上矢印キー等の所定キー)の押下である。
所定の指示入力が実施されたと判断した場合(ステップS37;YES)、制御部31は、画像表示領域331bに表示する医用画像の領域を変更し、表示されていないn番目の病変候補領域またはアノテーションを表示させる(ステップS38)。
例えば、制御部31は、表示されていないn番目の病変候補領域またはアノテーションが画像表示領域331bの中央に表示されるように、画像表示領域331bに表示する医用画像の領域を変更する。なお、アノテーションは、医用画像の病変候補領域に付帯されて表示されるものであるから、ステップS38においては、一般的には、n番目の病変候補領域とアノテーションの双方が表示される。
次いで、制御部31は、ユーザーが確認すべき全ての病変候補領域またはアノテーションの表示が終了したか否かを判断する(ステップS39)。
ユーザーが確認すべき全ての病変候補領域またはアノテーションの表示が終了していないと判断した場合(ステップS39;NO)、制御部31は、変数nをインクリメントし(ステップS40)、ステップS37に戻る。そして、ステップS37~S39を繰り返し実行する。すなわち、制御部31は、ユーザーが確認すべき全ての病変候補領域またはアノテーションの表示が終了するまで、所定の指示入力が実施されるごとに、画像表示領域331bに表示される医用画像の領域を変更し、表示される病変候補領域またはアノテーションを切り替える。
ユーザーが確認すべき全ての病変候補領域またはアノテーションの表示が終了したと判断した場合(ステップS39;YES)、制御部31は、ステップS42に移行する。
ステップS42において、制御部31は、医用画像の拡大を解除して(元のサイズに戻して)画像表示領域331bに表示させ(ステップS42)、ステップS43に移行する。
ステップS43において、制御部31は、解析結果の表示の終了が指示されたか否かを判断する(ステップS43)。
例えば、解析結果表示ボタン331eが再度押下されると、制御部31は、解析結果の表示の終了が指示されたと判断する。
解析結果の表示の終了が指示されていないと判断した場合(ステップS43;NO)、制御部31は、ステップS33に戻る。
解析結果の表示の終了が指示されたと判断した場合(ステップS43;YES)、制御部31は、解析結果表示処理Bを終了する。
図15は、解析結果表示処理Bにおける読影画面331の画面遷移の一例を示す図である。なお、図15においては、拡大後に画像表示領域331b内に表示されていない病変候補領域が3つある場合を例として示している。
まず、読影画面331の画像表示領域331bには、読影対象の医用画像全体が表示され、拡大が指示されると、読影対象の医用画像が拡大表示される。ここで、画像表示領域331b内に表示されていない病変候補領域またはアノテーションが存在する場合、操作部32により予め設定されたキー(所定キー)が押下されると、画像表示領域331b内に表示されていない病変候補領域またはアノテーションのうち、1番目の病変候補領域またはこれに付帯されているアノテーションA1が表示される。アノテーションは、病変候補領域に付帯されて表示されるものであるから、1番目の病変候補領域とアノテーションA1の双方が表示される。次いで、操作部32により予め設定されたキー(所定キー)が押下されると、画像表示領域331b内に表示されていない病変候補領域またはアノテーションのうち、2番目の病変候補領域またはこれに付帯されているアノテーションA2が表示される。操作部32により予め設定されたキー(所定キー)が押下されると、画像表示領域331b内に表示されていない病変候補領域またはアノテーションのうち、3番目の病変候補領域またはこれに付帯されているアノテーションA3が表示される。
このように、解析結果表示処理Bによれば、或る病変候補領域(第1の病変候補領域)またはそのアノテーション(第1の表示情報)が画像表示領域331b内に表示されていない場合に、例えば、所定キーの押下などの所定の指示入力を行うことで、その病変候補領域またはアノテーションを画像表示領域331b内に表示させることができる。また、画像表示領域331b内に表示されていない病変候補領域またはそのアノテーションが複数存在する場合は、所定の指示入力を繰り返すことで、表示されていない或る病変候補領域(第1の病変候補領域)またはそのアノテーション(第1の表示情報)の表示から、表示されていない他の病変候補領域(第2の病変候補領域)またはそのアノテーション(第2の表示情報)の表示に切り替えることができる。
よって、医用画像における病変候補領域やその表示情報であるアノテーションが画面の画像表示領域内から外れてしまい、見ている画面に表示されなくなることで、ユーザーが見るべき病変を見落としてしまうことを防止することができる。
以上、本発明の第1の実施形態及び第2の実施形態について説明したが、上記実施形態における記述内容は、本発明に係るプログラム、表示装置、表示システム及び表示方法の好適な一例であり、これに限定されるものではない。
例えば、上記解析結果表示処理Bのフローでは、全ての病変候補領域またはそのアノテーションが表示された場合、自動的に医用画像の拡大を解除しているが、拡大を解除せず、所定の指示入力に応じて順番に病変候補領域またはそのアノテーションを切り替え表示する処理を繰り返し、拡大の解除が指示された場合に、医用画像の拡大を解除して医用画像全体を表示することとしてもよい。
また、制御部31は、ユーザーが確認する対象となる病変候補領域を記憶する第1の記憶手段と、ユーザーが第1の病変候補領域を確認した場合に、第1の病変候補領域を確認済みであることを示す確認情報を記憶する第2の記憶手段としての機能を実行し、確認情報を記憶済みの場合は、ユーザーが確認する対象となる病変候補領域から第1の病変候補領域を除外することとしてもよい。すなわち、ユーザーが確認済みの病変候補領域については、第1の実施形態における、表示されていない病変候補領域またはアノテーションの存在を示す情報の表示対象や、第2の実施形態における、所定の指示入力による病変候補領域またはアノテーションの表示対象から除外することとしてもよい。
例えば、制御部31は、画像表示領域331bに表示された病変候補領域に付帯されたアノテーションが右クリック等により指定された際に、その近傍に「確認済み」項目を含むメニュー項目を表示する。ユーザーが「確認済み」を操作部32によりクリックすると、制御部31は、記憶部35又はRAMに記憶されている、ユーザーが確認する対象となる病変候補領域の情報のうち、指定されたアノテーションに対応する病変候補領域の情報に、確認済みであることを示す確認情報を対応付けて記憶する。あるいは、制御部31は、医用画像の拡大後に画像表示領域331bに表示された病変候補領域についてはユーザーが確認済みであるとみなして、記憶部35又はRAMに記憶されている、ユーザーが確認する対象となる病変候補領域の情報のうち、医用画像の拡大後に画像表示領域331bに表示された病変候補領域の情報に、確認情報を対応付けて記憶することとしてもよい。そして、制御部31は、確認情報が対応付けられた病変候補領域については、ユーザーが確認する対象となる病変候補領域から除外する。例えば、制御部31は、確認情報が対応付けられた病変候補領域については、第1の実施形態における、表示されていない病変候補領域またはアノテーションの存在を示す情報の表示対象や、第2の実施形態における、所定の指示入力による病変候補領域またはアノテーションの表示対象から除外する。
また、制御部31は、終了ボタン331fが押下された場合に、確認情報が対応付けられた病変候補領域の情報を医用画像管理サーバー10に送信し、解析結果記憶領域144の解析結果の当該病変候補領域の情報に、確認情報を対応付けて記憶させる。そして、制御部31は、医用画像管理サーバー10から送信された解析結果において、確認情報が対応付けられている病変候補領域については、ユーザーが確認する対象となる病変候補領域から除外する。例えば、制御部31は、確認情報が対応付けられた病変候補領域については、第1の実施形態における、表示されていない病変候補領域またはアノテーションの存在を示す情報の表示対象や、第2の実施形態における、所定の指示入力による病変候補領域またはアノテーションの表示対象から除外する。
このようにすれば、ユーザーが確認する対象となる病変候補領域のうち、未確認の病変候補領域に絞ってその存在を示したり表示したりすることができるので、ユーザーによる病変候補領域の確認作業を効率化することができる。
また、制御部31は、確認情報が対応付けられた病変候補領域については、確認済みであることを示す情報とともに表示することとしてもよい。例えば、図16に示すように、確認情報が対応付けられた病変候補領域については、「チェック済」または「確認済」等のマークCMとともに表示することとしてもよい。または、確認情報が対応付けられた病変候補領域のアノテーションを、未確認の病変候補領域のアノテーションとは異なる表示態様(色や形状等)で表示することとしてもよい。これにより、ユーザーは、すでに確認済みの病変候補領域と未確認の病変候補領域とを容易に識別することができるので、ユーザーによる病変候補領域の確認作業を効率化することができる。
また、医用画像に対するコンピューター処理により得られた病変候補領域の総数と、そのうちの確認済みの病変候補領域の数を示す情報331mを表示部33に表示することとしてもよい。これにより、確認の対象となる病変候補領域のうち、どれだけの病変候補領域を確認済みであるのかをユーザーが容易に把握することが可能となる。
また、第1の実施形態における、表示されていない病変候補領域またはアノテーションの存在を示す情報の表示と、第2の実施形態における、所定の指示入力に基づく病変候補領域またはアノテーションの表示を組み合わせてもよい。例えば、制御部31は、画像表示領域331bに表示されていない病変候補領域またはアノテーションが存在する場合に、表示されていない病変候補領域またはアノテーションの存在を示す情報を表示部33に表示し、所定の指示入力がされるごとに、順次、表示されていない病変候補領域またはアノテーションを切り替えて表示することとしてもよい。
また、第1の実施形態における、表示されていない病変候補領域またはアノテーションの存在を示す情報として、例えば、「画像表示領域外にAIの検出結果が存在します。見落としが無いように注意してください。」等のメッセージを表示することとしてもよい。
また、上記第1の実施形態においては、医用画像に対するコンピューター処理により得られた病変候補領域にその表示情報であるアノテーションを付帯させて画像表示領域331bに表示する場合において、画像表示領域331b内に表示されていない病変候補領域またはそのアノテーションが存在する場合に、表示されていない病変候補領域またはアノテーションが存在することを示す情報を表示部33に表示することとして説明した。しかし、対象となる病変候補領域は、コンピューター処理により得られたものに限らない。例えば、読影医による読影により得られた病変候補領域にアノテーション等の表示情報を付帯させて画像表示領域331bに表示する場合において、画像表示領域331b内に表示されていない病変候補領域またはその表示情報が存在する場合に、表示されていない病変候補領域または表示情報が存在することを示す情報を表示部33に表示することとしてもよい。または、処理の指示入力に基づき、表示されていない病変候補領域または表示情報を表示部33に表示することとしてもよい。
また、上記第1の実施形態、第2の実施形態及びこれらの変形例では、情報処理装置30の制御部31が、本願の取得手段、表示制御手段、第1の記憶手段、第2の記憶手段、除外手段として機能することとしたが、情報処理装置30以外の装置が上記各手段を備えることとしてもよい。
また、上記実施の形態では、医用画像に対してコンピューター処理を行って解析結果を生成する機能を医用画像管理サーバー10が備えることとしたが、医用画像管理サーバー10以外の装置が解析機能を備えることとしてもよい。
また、上記実施形態では、医用画像として胸部画像を用いた場合の例を図示したが、撮影部位は胸部に限定されない。また、処理対象とされる医用画像は、CT等により得られた複数のスライス画像、マルチフレーム画像(動画)、CTやMRI等により得られた画像を3D変換した画像であってもよい。
また、各装置において各処理を実行するためのプログラムは、可搬型記録媒体に格納されていてもよい。また、プログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ(搬送波)を適用することとしてもよい。
その他、上記実施形態で説明した各装置の細部構成及び細部動作に関しても本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
10 医用画像管理サーバー
11 制御部
12 通信部
13 画像解析部
14 記憶部
20 モダリティー
30 情報処理装置
31 制御部
32 操作部
33 表示部
331 読影画面
34 通信部
35 記憶部
100 医用画像表示システム
141 ユーザー管理テーブル
142 データ管理テーブル
143 医用画像記憶領域
144 解析結果記憶領域
145 読影結果記憶領域
351 読影支援処理プログラム
N 通信ネットワーク

Claims (13)

  1. コンピューターに、
    医用画像における第1の病変候補領域を示す第1の情報を取得する取得機能と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示機能と、
    を実行させるプログラムであって、
    前記表示機能は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、
    前記医用画像を操作中であることを示したアクティブ枠の表示様態を変更することにより、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数、前記拡大画像を基準とした方向、のいずれか1つを前記表示部に表示する、
    プログラム。
  2. コンピューターに、
    医用画像における第1の病変候補領域を示す第1の情報を取得する取得機能と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示機能と、
    を実行させるプログラムであって、
    前記表示機能は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数を前記表示部に表示する、
    プログラム。
  3. 前記表示機能は、前記医用画像に含まれる全ての病変候補領域の数と、前記拡大画像内に含まれる病変候補領域の数と、を前記表示部に表示する、
    請求項2に記載のプログラム。
  4. コンピューターに、
    医用画像における第1の病変候補領域を示す第1の情報を取得する取得機能と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示機能と、
    を実行させるプログラムであって、
    前記表示機能は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記拡大画像および前記医用画像の縮小画像を前記表示部に表示させ、
    前記縮小画像に、前記第1の病変候補領域または前記第1の表示情報、及び、前記拡大画像の拡大範囲を重畳して表示する、
    プログラム。
  5. 医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
    を備える表示装置であって、
    前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、
    前記医用画像を操作中であることを示したアクティブ枠の表示様態を変更することにより、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数、前記拡大画像を基準とした方向、のいずれか1つを前記表示部に表示する、
    表示装置。
  6. 医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
    を備える表示装置であって、
    前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数を前記表示部に表示する、
    表示装置。
  7. 医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
    を備える表示装置であって、
    前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記拡大画像および前記医用画像の縮小画像を前記表示部に表示させ、
    前記縮小画像に、前記第1の病変候補領域または前記第1の表示情報、及び、前記拡大画像の拡大範囲を重畳して表示する、
    表示装置。
  8. 医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
    を備える表示システムであって、
    前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、
    前記医用画像を操作中であることを示したアクティブ枠の表示様態を変更することにより、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数、前記拡大画像を基準とした方向、のいずれか1つを前記表示部に表示する、
    表示システム。
  9. 医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
    を備える表示システムであって、
    前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数を前記表示部に表示する、
    表示システム。
  10. 医用画像における第1の病変候補領域を示す第1の情報を取得する取得手段と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示制御手段と、
    を備える表示システムであって、
    前記表示制御手段は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記拡大画像および前記医用画像の縮小画像を前記表示部に表示させ、
    前記縮小画像に、前記第1の病変候補領域または前記第1の表示情報、及び、前記拡大画像の拡大範囲を重畳して表示する、
    表示システム。
  11. 医用画像における第1の病変候補領域を示す第1の情報を取得する取得工程と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示工程と、
    を含む表示方法であって、
    前記表示工程は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、
    前記医用画像を操作中であることを示したアクティブ枠の表示様態を変更することにより、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数、前記拡大画像を基準とした方向、のいずれか1つを前記表示部に表示する、
    表示方法。
  12. 医用画像における第1の病変候補領域を示す第1の情報を取得する取得工程と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示工程と、
    を含む表示方法であって、
    前記表示工程は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記医用画像の所定の範囲外かつ前記医用画像内に存在する前記第1の病変候補領域または前記第1の表示情報の数を前記表示部に表示する、
    表示方法。
  13. 医用画像における第1の病変候補領域を示す第1の情報を取得する取得工程と、
    前記第1の情報に基づく第1の表示情報を付帯させた前記医用画像を表示部に表示する表示工程と、
    を含む表示方法であって、
    前記表示工程は、前記第1の表示情報を付帯させた前記医用画像の所定の範囲を拡大した拡大画像を前記表示部に表示させる場合において、
    前記医用画像に存在する前記第1の病変候補領域または前記第1の表示情報のすべてが前記拡大画像内に表示されていない場合に、前記拡大画像および前記医用画像の縮小画像を前記表示部に表示させ、
    前記縮小画像に、前記第1の病変候補領域または前記第1の表示情報、及び、前記拡大画像の拡大範囲を重畳して表示する、
    表示方法。
JP2025054891A 2025-03-28 プログラム、表示装置、表示システム及び表示方法 Active JP7859552B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025054891A JP7859552B2 (ja) 2025-03-28 プログラム、表示装置、表示システム及び表示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022183009A JP2024072310A (ja) 2022-11-16 2022-11-16 プログラム、表示装置、表示システム及び表示方法
JP2025054891A JP7859552B2 (ja) 2025-03-28 プログラム、表示装置、表示システム及び表示方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022183009A Division JP2024072310A (ja) 2022-11-16 2022-11-16 プログラム、表示装置、表示システム及び表示方法

Publications (2)

Publication Number Publication Date
JP2025098214A JP2025098214A (ja) 2025-07-01
JP7859552B2 true JP7859552B2 (ja) 2026-05-15

Family

ID=

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146075A1 (ja) 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法
WO2019244255A1 (ja) 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡画像処理装置および内視鏡画像処理方法
JP2022084882A (ja) 2020-05-07 2022-06-07 株式会社iMed Technologies 画像処理装置、画像処理方法、プログラム、及び画像処理システム
WO2022224859A1 (ja) 2021-04-23 2022-10-27 富士フイルム株式会社 内視鏡システム及びその作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146075A1 (ja) 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法
WO2019244255A1 (ja) 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡画像処理装置および内視鏡画像処理方法
JP2022084882A (ja) 2020-05-07 2022-06-07 株式会社iMed Technologies 画像処理装置、画像処理方法、プログラム、及び画像処理システム
WO2022224859A1 (ja) 2021-04-23 2022-10-27 富士フイルム株式会社 内視鏡システム及びその作動方法

Similar Documents

Publication Publication Date Title
JP5203858B2 (ja) 医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラム
JP5362307B2 (ja) ドラッグアンドドロップ制御装置、方法、及びプログラム、並びにコンピュータ端末
US20070064984A1 (en) System and method for dynamic configuration of PACS workstation displays
JP4906404B2 (ja) 診断支援方法、診断支援装置、診断支援システム、及び診断支援プログラム
US20170300664A1 (en) Medical report generation apparatus, method for controlling medical report generation apparatus, medical image browsing apparatus, method for controlling medical image browsing apparatus, medical report generation system, and non-transitory computer readable medium
JP2009223595A (ja) 医用レポート作成支援システム、プログラム及び方法
US20120029943A1 (en) Report generation management device and program
JP7415787B2 (ja) 医用画像システム
JP2026034792A (ja) 読影端末
JP7761120B2 (ja) プログラム、情報処理装置、情報処理システム及び情報処理方法
JP2009247540A (ja) 画像サーバ及びプログラム
JP4645264B2 (ja) 医用画像読影管理システム
US12548112B2 (en) Recording medium, display device, display system and display method that displays lesion candidate areas or display information thereof
JPH10261038A (ja) 画像表示装置
US20200118659A1 (en) Method and apparatus for displaying values of current and previous studies simultaneously
JP2009211647A (ja) 医用画像システム、クライアント端末及びプログラム
US20150145779A1 (en) Image Display Apparatus And Image Display Method
JP2011067475A (ja) 医用画像表示装置及びプログラム
JP2008079760A (ja) 画像圧縮処理方法及び画像圧縮処理装置並びに医用ネットワークシステム
JP7771866B2 (ja) 表示装置、医用情報表示システム、プログラム及び表示方法
US20260066096A1 (en) Displaying Healthcare Study Information
EP4564364A1 (en) Method and system for artificial intelligence-based medical image analysis
US20240321444A1 (en) Medical imaging control apparatus, medical imaging system, and medical imaging control method
JP7428055B2 (ja) 診断支援システム、診断支援装置及びプログラム
JP2017033289A (ja) 情報処理装置及びその制御方法、コンピュータプログラム