JP7362754B2 - 画像診断支援装置、画像診断支援装置の作動方法、及び画像診断支援装置の作動プログラム - Google Patents

画像診断支援装置、画像診断支援装置の作動方法、及び画像診断支援装置の作動プログラム Download PDF

Info

Publication number
JP7362754B2
JP7362754B2 JP2021549043A JP2021549043A JP7362754B2 JP 7362754 B2 JP7362754 B2 JP 7362754B2 JP 2021549043 A JP2021549043 A JP 2021549043A JP 2021549043 A JP2021549043 A JP 2021549043A JP 7362754 B2 JP7362754 B2 JP 7362754B2
Authority
JP
Japan
Prior art keywords
image
medical
unit
displayed
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021549043A
Other languages
English (en)
Other versions
JPWO2021060468A1 (ja
JPWO2021060468A5 (ja
Inventor
篤志 橘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021060468A1 publication Critical patent/JPWO2021060468A1/ja
Publication of JPWO2021060468A5 publication Critical patent/JPWO2021060468A5/ja
Application granted granted Critical
Publication of JP7362754B2 publication Critical patent/JP7362754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本願は２０１９年９月２５日出願の日本出願第２０１９－１７３８５６号の優先権を主張すると共に、その全文を参照により本明細書に援用する。
本開示は、画像診断支援装置、画像診断支援装置の作動方法、及び画像診断支援装置の作動プログラムに関する。
近年、Ｘ線、ガンマ線等の放射線を用いた放射線撮影装置の他、ＣＴ（Computed Tomography）装置、超音波（ＵＳ）診断装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、及びＳＰＥＣＴ（Single-Photon Emission Computed Tomography）装置等の画像撮影装置の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。また、画像診断の分野においては、人工知能（ＡＩ（Artificial Intelligence）：以下ＡＩという）による技術が進歩している。
ＡＩとしては、例えばコンピュータによる診断支援機能であるＣＡＤ（Computer-Aided Diagnosis、以下ＣＡＤと称する）がある。ＣＡＤによって上記画像撮影装置により取得した医用画像を解析し、医用画像に含まれる病変等の領域、位置及び体積等を抽出して、これらを解析結果として取得することが行われる。このように解析処理により生成される解析結果は、医用画像上に表示されたり、患者名、性別、年齢及び医用画像を取得した画像撮影装置等の検査情報と対応づけられて、データベースに保存されたりして、画像診断に供される。
また、画像撮影装置で取得した医用画像に基づいて、画像診断の対象となる新たな医用画像を、ＡＩ技術を用いて生成することも行われている。一例として、ＣＴ装置で取得されたＣＴ画像のスライス厚を、ＡＩ技術を用いて仮想的に薄くする技術が提案されている（特開２００８－１１００９８号公報参照）。この技術は、撮影時に設定されたスライス厚が例えば５ｍｍ程度のＣＴ画像に基づいて、例えば、スライス厚１ｍｍ程度のＣＴ画像を仮想的に生成する技術である。スライス厚を仮想的に薄くすることで、骨の視認性を高めたり，画像を三次元表示した場合の画質を向上させたりすることができる。
このように、画像撮影装置で撮影した医用画像に対して、ＡＩ技術を用いた画像解析技術及びＡＩ技術を用いた画像生成技術を適用することにより、画像診断においてより有益な情報が得られる場合がある。
ここで、画像撮影装置によって撮影された医用画像に対してＡＩ技術が適用された医用画像をＡＩ画像と呼ぶ。また、画像撮影装置によって撮影された医用画像において、ＡＩ技術が適用されていない医用画像をＡＩ画像と対比する形で、非ＡＩ画像と呼ぶ。ＡＩ画像には、上述のとおり、非ＡＩ画像をＡＩ技術によって解析し、解析により得た解析結果を解析対象の非ＡＩ画像に付与した医用画像と、非ＡＩ画像にＡＩ技術を適用することにより、元の非ＡＩ画像とは別に新たに生成された医用画像とを含む。
ＡＩ画像を利用すると、診断に有益な情報が得られるため、医用画像診断を行う医療現場においては、ＡＩ画像が利用される場面も増加している。患者の最終的な確定診断に利用される医用画像としては、ＡＩ画像と非ＡＩ画像とが混在している状況である。一方で、ＡＩ技術は、医師の判断と比較すると、少なくとも現段階においては信頼性の蓄積が不十分なところがあるため、診断のエビデンスをすべてＡＩ画像に依存することは現状では許容しにくい。
このような現状においては、診断のエビデンスとして用いられる医用画像が、ＡＩ画像であるのか、非ＡＩ画像であるのかを明確に区別しておくことが重要である。しかし、ＡＩ画像と非ＡＩ画像とは画像を見ただけでは区別が難しい場合もある。そのため、医師が使用する画像表示端末に医用画像が表示される場合において、表示された医用画像がＡＩ画像であるか否かの区別を簡単に行えるようにすることが求められていた。
本開示は上記事情に鑑みなされたものであり、表示部に表示されている医用画像がＡＩ画像であるか否かの区別を簡単に行うことが可能な画像診断支援装置、画像診断支援装置の作動方法、及び画像診断支援装置の作動プログラムを提供する。
本開示の第１の態様は、画像診断支援装置であって、被写体を撮影して取得した医用画像を、表示部に表示させる表示制御部と、
医用画像として、人工知能を利用した技術であるＡＩ技術が適用された医用画像であるＡＩ画像が表示部に表示される際に、表示部に表示される医用画像が、ＡＩ画像であることを報知する報知部と、
を含む。
なお、本態様の画像診断支援装置においては、ＡＩ画像は、医用画像に対してＡＩ技術を適用することにより医用画像とは別に新たに生成された医用画像であってもよい。
また、本態様の画像診断支援装置においては、ＡＩ画像は、医用画像に基づいてＡＩ技術を用いた画像解析を施すことにより得た画像解析結果を、医用画像に付与した医用画像であってもよい。
また、本態様の画像診断支援装置においては、報知部は、ＡＩ画像に対してはＡＩ技術が適用されていることを示すＡＩ標識を表示することができる。
また、本態様の画像診断支援装置においては、表示部に表示される医用画像がＡＩ画像か否かを判定する判定部を備えていてもよい。
また、本態様の画像診断支援装置においては、医用画像の付帯情報には、ＡＩ技術の適用の有無を示す情報が含まれており、
判定部は、付帯情報に基づいて医用画像がＡＩ画像か否かを判定してもよい。
また、本態様の画像診断支援装置においては、ユーザがＡＩ画像を閲覧したか否かを検知する閲覧検知部と、
閲覧検知部の検知結果に基づいて、ＡＩ画像が閲覧されたことを示す閲覧履歴を記録する制御を行う記録制御部と、を備えていてもよい。
また、本態様の画像診断支援装置においては、閲覧検知部は、表示部に未表示のＡＩ画像が表示部に表示された場合に閲覧されたと検知することができる。
また、本態様の画像診断支援装置においては、閲覧検知部は、未表示のＡＩ画像を表示部に表示する表示指示が入力された場合に、ＡＩ画像が閲覧されたことを検知することができる。
また、本態様の画像診断支援装置においては、ユーザの視線を検出する視線検出部を備えており、
閲覧検知部は、視線検出部が表示部に表示されたＡＩ画像にユーザの視線が向いていることを検出した場合に、ＡＩ画像が閲覧されたことを検知することができる。
また、本態様の画像診断支援装置においては、記録制御部は、さらに、ユーザの操作に基づいて、ＡＩ画像を画像診断に使用したことを示す使用履歴を記録する制御を行うことができる。
また、本態様の画像診断支援装置においては、閲覧履歴があるにもかわらず使用履歴が無い状態で、画像診断に係るレポートが作成される場合において、少なくともレポートの作成が終了される前に使用履歴が無い旨を警告する警告部を備えていてもよい。
本開示の第２の態様は、画像診断支援装置の作動方法であって、被写体を撮影して取得した医用画像を、表示部に表示させ、
医用画像として、人工知能を利用した技術であるＡＩ技術が適用された医用画像であるＡＩ画像が表示部に表示される際に、表示部に表示される医用画像が、ＡＩ画像であることを報知すること、
を含む。
本開示の第３の態様は、画像診断支援装置の作動プログラムであって、被写体を撮影して取得した医用画像を、表示部に表示させる表示制御部と、
医用画像として、人工知能を利用した技術であるＡＩ技術が適用された医用画像であるＡＩ画像が表示部に表示される際に、表示部に表示される医用画像が、ＡＩ画像であることを報知する報知部として
コンピュータを機能させる。
なお、本開示の第４の態様は、画像診断支援装置であって、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するように構成されたプロセッサと、を備え、プロセッサは、
被写体を撮影して取得した医用画像を、表示部に表示させ、
医用画像として、人工知能を利用した技術であるＡＩ技術が適用された医用画像であるＡＩ画像が表示部に表示される際に、表示部に表示される医用画像が、ＡＩ画像であることを報知する、よう構成される。
本開示の態様によれば、表示部に表示されている医用画像がＡＩ画像であるか否かの区別を簡単に行うことができる。
本開示の一実施形態の画像診断支援装置を適用した、診断支援システムの概略構成を示す図 ＡＩ画像と非ＡＩ画像を説明するための図 ＡＩ画像を説明するための図 本開示の一実施形態の画像診断支援装置の構成を示す概略ブロック図 第１の実施形態の画像診断支援装置の機能ブロック図 第１の実施形態の表示部の表示画面の表示の一例を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態の画像診断支援装置の機能ブロック図 第２の実施形態の表示部の表示画面の表示（ＡＩ画像非表示）の一例を示す図 第２の実施形態の表示部の表示画面の表示（ＡＩ画像表示）の一例を示す図 第３の実施形態の画像診断支援装置の機能ブロック図 視線検出部を説明するための図 第４の実施形態の画像診断支援装置の機能ブロック図 第４の実施形態の表示部の表示画面の一例を示す図 第４の実施形態の表示部の第２表示画面の表示の一例を示す図 第４の実施形態において行われる処理を示すフローチャート（その１） 第４の実施形態において行われる処理を示すフローチャート（その２）
以下、図面を参照して本開示の第１の実施形態について説明する。図１は、本開示の一実施形態である画像診断支援装置を適用した、診断支援システムの概略構成を示す図である。図１に示すように、診断支援システムでは、本実施形態による画像診断支援装置１、画像撮影装置２、画像保管サーバ３、及び画像処理部５が、ネットワーク４を経由して通信可能な状態で接続されている。
画像撮影装置２は、被写体の一例である患者の、診断対象となる部位を撮影することにより、その部位を表す画像を生成する装置である。具体的には、Ｘ線等の放射線を用いた放射線撮影装置の他、ＣＴ装置、超音波診断装置、ＭＲＩ装置、ＰＥＴ装置、及びＳＰＥＣＴ装置である。この画像撮影装置２により撮影された２次元画像及び３次元画像等の医用画像は、画像保管サーバ３に送信され、かつ、保存される。
本開示において３次元画像は、例えばＣＴ装置、ＭＲＩ装置等の断層撮影装置が出力する複数枚のスライス画像（断層画像）の集合であり、ボリュームデータとも呼ばれる。また、本開示において１回の撮影で取得されるボリュームデータを「画像群」と呼ぶ。また、本開示において２次元画像は、画像群に含まれる各スライス画像、及び例えば放射線撮影装置を使用して単純Ｘ線撮影により取得されたＸ線画像等である。本開示においては、上記３次元画像及び上記２次元画像は医用画像の一例である。
画像処理部５は、画像撮影装置２により撮影された医用画像に対して、人工知能を利用した技術であるＡＩ技術を用いた各種処理を行う。なお、本開示の技術においては、画像撮影装置２によって撮影された医用画像に対して、画像処理部５によりＡＩ技術を用いた各種処理が施された医用画像をＡＩ画像５１と呼ぶ。また、画像撮影装置２によって撮影された医用画像において、ＡＩ技術が適用されていない医用画像をＡＩ画像と対比する形で、非ＡＩ画像５０と呼ぶ。図２はＡＩ画像５１と非ＡＩ画像５０を説明するための図である。
画像処理部５は、図２に示すように、非ＡＩ画像５０が入力されると、入力された非ＡＩ画像に対してＡＩ技術を用いた各種処理を施して、ＡＩ技術が適用されたＡＩ画像５１を出力する。例えば、ＣＴ装置、ＭＲＩ装置等の断層撮影装置が出力する複数枚のスライス画像を非ＡＩ画像として画像処理部５に入力する。画像処理部５は、入力された非ＡＩ画像５０、すなわち複数のスライス画像に対して仮想生成処理を施して、入力されたスライス画像のスライス厚ｔ１よりも薄いスライス厚ｔ２のスライス画像であるＡＩ画像５１を仮想的に生成して出力する。
ここで、仮想生成処理について説明する。本実施形態において、仮想生成処理は、実際にＣＴ装置、ＭＲＩ装置等の断層撮影装置によって撮影されたスライス厚ｔ１の複数のスライス画像（以下、第１画像群Ｐｔ１という）、及びスライス厚ｔ２の複数のスライス画像（第２画像群Ｐｔ２）の組のデータセットを複数含む学習情報を用いて機械学習された第１判別器を使用する。第１判別器は、第１画像群Ｐｔ１が入力された場合に、第２画像群Ｐｔ２が出力されるように学習されている。このように学習された第１判別器を使用することにより、画像処理部５は、スライス厚ｔ１の第１画像群Ｐｔ１（非ＡＩ画像５０）からスライス厚ｔ２の第２画像群Ｐｔ２（ＡＩ画像５１）を仮想的に生成することができる。
また、例えば、ＣＴ装置が出力する複数枚のＣＴ断層画像Ｐｃｔのうちの１枚を非ＡＩ画像５０として画像処理部５に入力する。画像処理部５は、入力された非ＡＩ画像５０、すなわちＣＴ断層画像Ｐｃｔに対して画像変換処理を施して、ＣＴ断層画像ＰｃｔをあたかもＭＲＩ装置により撮影されたＭＲ断層画像Ｐｍｒであるかのような仮想ＭＲ断層画像Ｐｄｍｒに変換する画像変換処理を行う。
本実施形態において、画像変換処理は、ＣＴ装置が出力するＣＴ断層画像Ｐｃｔ、及びＭＲＩ装置が出力するＭＲ断層画像Ｐｍｒの組のデータセットを複数含む学習情報を用いて機械学習された第２判別器を使用する。第２判別器は、ＣＴ断層画像Ｐｃｔが入力された場合に、ＭＲ断層画像Ｐｍｒが出力されるように学習されている。このように学習された第２判別器を使用することにより、画像処理部５は、ＣＴ断層画像Ｐｃｔ（非ＡＩ画像５０）を仮想ＭＲ断層画像Ｐｄｍｒ（ＡＩ画像５１）に画像変換することができる。
このように、画像処理部５が実行する画像処理には、非ＡＩ画像５０にＡＩ技術を適用することにより、元の非ＡＩ画像５０とは別の医用画像であるＡＩ画像５１を新たに生成する画像処理が含まれる。
また、非ＡＩ画像５０に基づいて新たなＡＩ画像５１を生成する画像処理に限らず、次のような医用画像も、ＡＩ画像５１に含まれる。例えば、放射線撮影装置の一例であるマンモグラフィ装置が単純撮影を行うことにより取得した乳房画像Ｐｍを非ＡＩ画像５０として画像処理部５に入力する。画像処理部５は、入力された非ＡＩ画像５０、すなわち乳房画像ＰｍをＣＡＤによって解析し、乳房画像Ｐｍに含まれる病変等の関心領域の大きさ、位置及び体積等を抽出して、これらを解析結果として取得する。本例のＣＡＤ解析処理には、例えばニューラルネットワークなどの機械学習モデルを利用するＡＩ技術が適用されている。画像処理部５は、ＣＡＤ解析処理により生成される解析結果に基づいて乳房画像Ｐｍ上に関心領域を囲む枠を付加したマーク付き乳房画像Ｐｍｃを生成する。
このように、画像処理部５は、非ＡＩ画像５０をＡＩ技術によって解析し、ＣＡＤ解析処理により得た解析結果を解析対象の非ＡＩ画像５０に付与した画像をＡＩ画像５１として生成する。
以上をまとめると、本開示の技術においては、非ＡＩ画像５０に対してＡＩ技術を適用することにより、元の非ＡＩ画像５０とは別に新たに生成された医用画像もＡＩ画像５１であり、非ＡＩ画像５０に基づいてＡＩ技術を用いた画像解析を施すことにより得た画像解析結果を、解析対象の非ＡＩ画像５０に付与した医用画像もＡＩ画像５１に含まれる。なお、本開示においては、元の非ＡＩ画像５０とは別に新たに生成されたＡＩ画像５１に対して解析を行い、解析により得た解析結果を解析対象のＡＩ画像５１に付与して生成された画像もＡＩ画像５１とする。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には画像撮影装置２で生成された検査画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及びネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
本実施形態においては、画像保管サーバ３には、患者毎の検査画像が保管されている。患者毎に保管される検査画像としては、例えば、同じ患者に対して行われた複数の検査で取得された複数の検査画像がある。これらの検査画像は検査毎に保管される。また、同じ患者に対する一回の検査においても、検査画像は複数枚になることが通常である。一回の検査で取得される複数の検査画像としては、例えば、乳房検査であれば、ＭＬＯ撮影で得られたＭＬＯ画像と、ＣＣ撮影で得られたＣＣ画像など撮影条件が異なる検査画像がある。また、経過観察のように、異なる複数の検査日において同種の検査が複数回行われる場合がある。検査日が異なる複数の検査は、例えば、別の検査として取り扱われ、検査日が異なる複数の検査画像は、検査日毎に保管される。このように画像保管サーバ３には、同一の患者について行われた異なる種類の検査画像に加えて、同種の検査についての最新（現在）の検査画像及び過去の検査画像が保管される。
本実施形態においては、検査により取得された直後の検査画像については、ＡＩ技術が適用されていない非ＡＩ画像５０として説明する。また、画像保管サーバ３には、非ＡＩ画像５０である検査画像に加えて、検査画像に対して画像処理部５が上述した各種処理を施すことにより生成したＡＩ画像５１も保管される。すなわち、画像保管サーバ３には、医用画像の一例である非ＡＩ画像５０及びＡＩ画像５１が保管される。
また、各医用画像には、画像本体の他に、ＤＩＣＯＭタグ等の付帯情報が含まれる。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、ＡＩ技術が適用される前の元の画像である検査画像が生成された検査日、検査時刻、検査画像を取得するための検査で使用された画像撮影装置２の種類、患者氏名と年齢と性別などの患者情報、検査部位（撮影部位）、および、撮影条件（造影剤の使用有無または放射線量など）などの情報が含まれる。また、付帯情報には、ＣＡＤ処理が行われた場合にはＣＡＤ結果等の情報も含まれる。
本例では、ＡＩ画像５１に含まれる付帯情報において、ＡＩ画像であることを示す識別情報が含まれていることを前提とする。図３はＡＩ画像を説明するための図である。ＡＩ画像５１は、図３に示すように、ＡＩ画像本体５１ａと付帯情報５１ｂとで構成される。付帯情報５１ｂは、一例として、患者名「山田花子」、性別「女性」、年齢「２５歳」、ＡＩ画像であるか否か「ＡＩ画像である」、及び画像処理方法「ＣＴ画像を変換」等の情報が含まれる。図３において「ＡＩ画像である」として例示した情報が、ＡＩ画像であることを示す識別情報である。ＡＩ画像の識別情報は、文字情報でもよいが、実際には、例えば、フラグ又はコードの形式で記録される。
次に、画像診断支援装置１の構成について説明する。図４は本開示の一実施形態の画像診断支援装置１の構成を示すブロック図、図５は第１の実施形態の画像診断支援装置１の機能ブロック図である。
画像診断支援装置１は、ＣＰＵ（Central Processing Unit）１１、一次記憶部１２、二次記憶部１３及び外部Ｉ／Ｆ（Interface）１４等を備えたコンピュータから構成される。ＣＰＵ１１は、画像診断支援装置１の全体を制御する。一次記憶部１２は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部１２の一例としては、ＲＡＭ（Random Access Memory）が挙げられる。二次記憶部１３は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリであり、本開示の画像診断支援装置１の作動プログラム１５の一実施形態がインストールされている。二次記憶部１３の一例としては、ハードディスクドライブ、ソリッドステートドライブ又はフラッシュメモリ等が挙げられる。
作動プログラム１５は、ＤＶＤ（Digital Versatile Disc）及びＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの記憶媒体に記録されて配布され、その記憶媒体からコンピュータにインストールされる。又は、作動プログラム１５は、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。
この作動プログラム１５がＣＰＵ１１により実行されることによって、ＣＰＵ１１は、図５に示す画像取得部２１、判定部２２、報知部２３、及び表示制御部２４として機能する。
外部Ｉ／Ｆ１４は、画像診断支援装置１と画像保管サーバ３との間の各種情報の送受信を司る。ＣＰＵ１１、一次記憶部１２、二次記憶部１３、及び外部Ｉ／Ｆ１４は、各々がデータを交換するための共通の経路であるバスライン１６に接続されている。
また、バスライン１６には、表示部３０と入力部４０も接続されている。表示部３０は、例えば液晶ディスプレイ等で構成される。表示部３０は、後述するように、画像表示領域を含む各種領域が表示される表示画面（図６の符号３１参照）を表示する。なお、表示部３０をタッチパネルによって構成し、入力部４０と兼用してもよい。入力部４０は、マウス及びキーボード等を備えたものであり、ユーザによる種々の設定を入力する。本実施形態の入力部４０は、表示画面３１に表示する医用画像の選択操作を入力するマウス、及び表示画面に表示された医用画像において各種操作を入力するマウスとして機能する。
画像取得部２１は、外部Ｉ／Ｆ１４を介して画像保管サーバ３から医用画像を取得する。画像取得部２１は、ユーザが入力部４０を操作することにより選択した医用画像を取得する。本実施形態において画像取得部２１は、例えば、図５に示すように、画像撮影装置２により取得された検査画像であって、ＡＩ技術が適用されていない非ＡＩ画像５０及び、非ＡＩ画像５０に対してＡＩ技術が適用されたＡＩ画像５１を取得する。画像取得部２１が取得した医用画像は、表示部３０の表示画面３１に表示される。
以下、図５に示す機能ブロック及び図６に示す表示画面例に基づいて、画像診断支援装置１の機能を説明する。図６は本実施形態の表示部３０の表示画面３１の表示の一例を示す図である。表示画面３１は、検査画像及び各種の操作部を表示する操作画面として機能するＧＵＩ(Graphical User Interface）の一例である。
図６に示すように、表示画面３１の右上には医用画像が縮小されたサムネイル画像が表示されるサムネイル画像表示領域３４ａが設けられている。また、表示画面３１の左上には、簡略して示しているが、患者ＩＤが表示された患者リスト及び各患者に行われた検査の検査リスト等が選択可能に表示される選択領域３４ｂが設けられている。また、サムネイル画像表示領域３４ａ及び選択領域３４ｂの下方には、医用画像が表示される画像表示領域３４ｃが設けられている。
例えば、ユーザが、患者リストから読影したい患者の患者ＩＤを選択すると、選択された患者の検査リストが表示される。ユーザは表示された検査リストから、表示したい検査画像が含まれる検査を選択することにより、選択された検査によって取得された検査画像、すなわち非ＡＩ画像５０のサムネイル画像が、サムネイル画像表示領域３４ａに表示される。また、ユーザが選択した検査において、検査画像に対して画像処理部５よる各種処理が行われ、ＡＩ技術が適用されたＡＩ画像５１が存在する場合には、ＡＩ画像５１のサムネイル画像も、サムネイル画像表示領域３４ａに表示される。つまり、サムネイル画像表示領域３４ａには、非ＡＩ画像５０及びＡＩ画像５１の少なくとも一方を含む医用画像のサムネイル画像が表示される。
ユーザが、サムネイル画像表示領域３４ａに表示された複数のサムネイル画像から、読影したい医用画像に対応するサムネイル画像を選択すると、画像取得部２１は、選択されたサムネイル画像に対応する医用画像をユーザが選択した医用画像として取得する。
判定部２２は、画像取得部２１により取得された医用画像が非ＡＩ画像５０であるのか、またはＡＩ画像５１であるのかを判定する。判定方法としては、上述したように各医用画像、すなわち非ＡＩ画像５０とＡＩ画像５１の各々に含まれる付帯情報５０ｂ，５１ｂに基づいて判定する。具体的には、付帯情報５０ｂ，５１ｂに含まれるＡＩ画像であるか否かの情報に基づいて判定する。判定部２２は、付帯情報５０ｂ，５１ｂに「ＡＩ画像である」の情報が含まれている場合に、その医用画像がＡＩ画像５１であると判定する。
報知部２３は、判定部２２が画像取得部２１により取得された医用画像がＡＩ画像５１であると判定した場合に、ＡＩ画像５１が表示部３０の表示画面３１に表示される際に、表示部に表示される医用画像がＡＩ画像５１であることを報知する。具体的には、表示されるＡＩ画像５１に対してＡＩ技術が適用されていることを示す標識として、図６において、一例として「ＡＩ画像」といった文字情報で示すＡＩ標識５２を表示制御部２４によって表示させる。
表示制御部２４は、画像取得部２１によって取得された医用画像を表示画面３１に表示する。また、本実施形態において、表示制御部２４はさらに、報知部２３からの指令に基づいて、ＡＩ画像５１を表示画面３１に表示させる際に、図６に示すように、ＡＩ画像５１上にＡＩ標識５２を表示する。
次いで、本実施形態において行われる処理について説明する。図７は本開示の第１の実施形態において行われる処理を示すフローチャートである。
先ず、画像取得部２１は、医用画像を取得する（ステップＳＴ１）。具体的には、上述したように、ユーザが入力部４０を使用して患者リストから読影したい患者の氏名を選択し、選択された患者の検査リストから所望する検査を選択する。これにより、選択された検査によって取得された医用画像のサムネイル画像が、サムネイル画像表示領域３４ａに表示される。本実施形態においては、一例としてサムネイル画像には、非ＡＩ画像５０とＡＩ画像５１のサムネイル画像が含まれる。
ユーザが、サムネイル画像表示領域３４ａに表示された複数のサムネイル画像から、表示したいサムネイル画像を選択すると、画像取得部２１は、選択されたサムネイル画像に対応する医用画像を画像保管サーバ３において検索して取得する。本実施形態においては、ユーザが選択したサムネイル画像として、ＡＩ画像５１のサムネイル画像を選択した例で説明する。画像取得部２１は、選択されたサムネイル画像に対応するＡＩ画像を医用画像として取得する。
次いで、判定部２２が、画像取得部２１により取得された医用画像がＡＩ画像５１であるか否かを判定する（ステップＳＴ２）。具体的には、判定部２２は、医用画像に付与された付帯情報（図３参照）を調べて、医用画像がＡＩ画像５１であるか否かを判定する。
ステップＳＴ２が否定される場合には（ステップＳＴ２：ＮＯ）、取得された医用画像がＡＩ画像５１ではない、すなわち非ＡＩ画像５０であるため、表示制御部２４は、取得された医用画像、すなわち非ＡＩ画像５０を表示画面３１に表示して（ステップＳＴ３）ＣＰＵ１１は処理を終了する。
一方、ステップＳＴ２が肯定される場合には（ステップＳＴ２：ＹＥＳ）、表示制御部２４は取得された医用画像、すなわちＡＩ画像５１を表示画面３１に表示する（ステップＳＴ４）。次いで報知部２３が、表示されたＡＩ画像５１に対してＡＩ技術が適用されていることを示すＡＩ標識５２（図６参照）を表示制御部２４によって表示させて（ステップＳＴ５）、ＣＰＵ１１は処理を終了する。なお、本実施形態において、ＡＩ標識５２を表示させることは、ＡＩ画像であることを報知することの一例である。
画像診断の分野においては、画像撮影装置２で撮影した医用画像に対して、ＡＩ技術を用いた画像解析技術及びＡＩ技術を用いた画像生成技術等を適用することにより、画像診断においてより有益な情報が得られる場合がある。ＡＩ画像５１を利用すると、診断に有益な情報が得られるため、画像診断を行う医療現場においては、ＡＩ画像５１が利用される場面も増加している。患者の最終的な確定診断に利用される医用画像としては、ＡＩ画像５１と非ＡＩ画像５０とが混在している状況である。一方で、ＡＩ技術は、医師の判断と比較すると、少なくとも現段階においては信頼性の蓄積が不十分なところがあるため、診断のエビデンスをすべてＡＩ画像に依存することは現状では許容しにくい。このような現状においては、診断のエビデンスとして用いられる医用画像が、ＡＩ画像であるのか、非ＡＩ画像であるのかを明確に区別しておくことが重要である。
本実施形態においては、表示画面３１にＡＩ画像５１が医用画像として表示される際に、表示される医用画像がＡＩ画像５１であることを報知している。これにより、ＡＩ画像５１と非ＡＩ画像５０とは画像を見ただけでは区別が難しい場合であっても、表示部３０の表示画面３１に表示された医用画像がＡＩ画像であるか否かの区別を簡単に行うことが可能である。
なお、第１の実施形態においては、図７のフローチャートにおいて、表示制御部２４がＡＩ画像５１を表示画面３１に表示させた後で（ステップＳＴ４）、報知部２３がＡＩ標識５２を報知している（ステップＳＴ５）が、本開示の技術はこれに限られない。例えば、先に報知部２３がＡＩ標識５２を報知した後で（ステップＳＴ５）、表示制御部２４がＡＩ画像５１を表示してもよい。
また、第１の実施形態においては、報知部２３が、図６に示すようにＡＩ画像５１の左上にＡＩ標識５２として「ＡＩ画像」という文字情報を表示しているが、本開示の技術はこれに限られない。ＡＩ標識５２の表示位置は、ＡＩ画像５１内のどの位置でもよい。また、ＡＩ画像５１内ではなく、ＡＩ画像５１の周辺にＡＩ標識５２を表示してもよい。また、ＡＩ画像５１とＡＩ標識５２との対応関係がわかる態様であれば、ＡＩ標識５２の表示位置はＡＩ画像５１の周辺でなくてもよい。例えば、表示画面３１内において、ＡＩ画像５１とＡＩ標識５２が離れた位置にある場合でも、ＡＩ画像５１とＡＩ標識５２とを引き出し線などで結ぶことにより、対応関係が示される。また、ＡＩ画像５１と離れた位置にＡＩ標識５２を表示し、かつ、ＡＩ画像５１の外枠とＡＩ標識５２の両方を同じタイミングで点滅させるといった方法でもよい。この方法でも、ＡＩ画像５１とＡＩ標識５２の対応関係を示すことが可能である。
また、ＡＩ標識５２として文字情報を使用する場合は、「ＡＩ画像」といった名詞を用いる他、例えば「この画像はＡＩ画像です」というように文章を用いてもよい。このように、ＡＩ画像５１であることを伝達することができればどのような文字情報でもよい。また、ＡＩ標識５２は、文字でなくてもよく、ＡＩを示す標識として認識されている、図形、記号、及び模様などでもよい。また、報知の手段としては表示することに限られない。例えば「この画像はＡＩ画像です」という音声を出力させてもよい。
また、第１の実施形態においては、判定部２２が、画像取得部２１が取得した医用画像、すなわち表示させる医用画像がＡＩ画像か否かを判定する際に、付帯情報を検索しているが本開示の技術はこれに限られない。例えば、判定部２２が医用画像を画像解析することにより、ＡＩ技術が適用されているか否かを判別できる場合は、画像解析によって医用画像がＡＩ画像であるか否かを判定してもよい。また、医用画像上に解析結果が付与されている場合において、判定部２２が付与されている解析結果を調べることにより、ＡＩ技術が適用されているか否かを判別できる場合は、画像解析によって医用画像がＡＩ画像であるか否かを判定してもよい。
また、第１の実施形態においては、図６に示すように、表示画面３１に表示される医用画像が１枚の例で説明したが、本開示の技術はこれに限られず、表示画面３１に複数枚の医用画像を表示してもよい。医用画像を複数枚表示する場合には、例えば、画像取得部２１によって取得された医用画像の枚数に基づいて表示画面３１を複数の領域に分割し、分割された各領域に、取得された医用画像を表示する。取得された医用画像すなわち表示する医用画像にＡＩ画像５１と非ＡＩ画像５０が混在している場合には、ＡＩ画像５１のみにＡＩ標識５２を表示する（図１０参照）。なお、表示画面３１における分割の仕方（各領域のサイズ、数及び形状など）については、ユーザにより任意に設定することができる。
次に、本開示の第２の実施形態について説明する。図８は第２の実施形態の画像診断支援装置１２０の機能ブロック図である。図８に示す第２の実施形態の画像診断支援装置１２０は、図５で示した第１の実施形態の画像診断支援装置１のＣＰＵ１１がさらに閲覧検知部２５及び記録制御部２６の機能を有している。
第２の実施形態の画像診断支援装置１２０は、図８に示すように、閲覧検知部２５及び記録制御部２６を備えている。閲覧検知部２５は、ユーザがＡＩ画像５１を閲覧したか否かを検知する。図９は第２の実施形態の表示部の表示画面の表示（ＡＩ画像非表示）の一例を示す図、図１０は第２の実施形態の表示部の表示画面の表示（ＡＩ画像表示）の一例を示す図である。
本実施形態において、表示制御部２４は、図９に示すように、表示画面３１を縦３列横２行の領域に分割し、分割された各領域に、画像取得部２１が取得した６枚の医用画像を表示させる。本実施形態においては、例えば、判定部２２によって６枚の医用画像のうち２枚の医用画像がＡＩ画像５１であると判定されている。この場合、ＡＩ画像５１であると判定された２枚の医用画像を表示画面３１に表示させる際に、表示制御部２４はＡＩ画像５１内の被写体を視認不可能に表示し、かつＡＩ標識５２を視認可能に表示する。すなわち表示制御部２４は、ＡＩ標識５２を表示しつつ、ＡＩ画像５１を未表示にする。具体的には、図１０に示すように、表示制御部２４は、ＡＩ画像５１の表示領域を、ハッチング等を用いて画像内容を非表示にし、かつ、表示領域上にＡＩ標識５２を表示する。なお、ＡＩ画像５１に対応するサムネイル画像についても同様の処理を施す。
表示制御部２４は、ユーザが入力部（マウス）４０を操作することにより非表示となっているＡＩ画像５１のＡＩ標識５２がクリックされた場合に、ＡＩ画像５１を視認可能に表示する。そして、表示制御部２４は、ＡＩ画像５１を表示した後、図１０に示すように、表示されたＡＩ画像５１上にＡＩ標識５２を表示させる。
本実施形態において、閲覧検知部２５は、図９に示すＡＩ画像５１が未表示の状態においてＡＩ標識５２がクリックされた場合に、ＡＩ画像５１が閲覧されたことを検知する。なお、ユーザによるＡＩ標識５２のクリック操作は、本開示の未表示のＡＩ画像５１を表示画面３１に表示する表示指示の入力に対応する。
記録制御部２６は、図８に示すように、閲覧検知部２５の検知結果に基づいて、ＡＩ画像５１が閲覧されたことを示す閲覧履歴７１を二次記憶部１３に記憶させる。具体的には、記録制御部２６は、閲覧されたＡＩ画像５１、すなわち表示指示がされたＡＩ画像５１の画像ＩＤと対応付けて、閲覧履歴７１を二次記憶部１３に記録する。
本実施形態においては、閲覧検知部２５は、未表示のＡＩ画像５１を表示部３０の表示画面３１に表示する表示指示が入力（ＡＩ標識５２がクリック）された場合に、ユーザがＡＩ画像５１を閲覧したことを検知する。さらに記録制御部２６が閲覧検知部２５の検知結果に基づいて、すなわち、ＡＩ標識５２がクリックされた場合に、閲覧履歴７１を記録する制御を行なう。これにより、医師がＡＩ画像を見たという証拠を残すことができる。
なお、第２の実施形態においては、未表示のＡＩ画像５１を表示画面３１に表示する表示指示の入力の一例としてクリック操作をあげて説明したが、本開示の技術はこれに限られない。例えば表示部３０がタッチパネルによって構成されている場合には、ユーザが未表示のＡＩ画像５１の領域又はＡＩ標識５２をタップしてもよい。
また、第２の実施形態において、閲覧検知部２５はＡＩ標識５２がクリックされた場合に、ＡＩ画像５１が閲覧されたことを検知したが、本開示の技術はこれに限られない。例えば、閲覧検知部２５は、表示制御部２４が未表示のＡＩ画像５１（図９参照）を表示部３０の表示画面３１に表示させた場合（図１０参照）にＡＩ画像５１が閲覧されたことを検知してもよい。この場合、図８において、閲覧検知部２５は入力部４０からの入力は必要なく、一点鎖線で囲んだ表示制御部２４からの入力に基づいてＡＩ画像５１が閲覧されたことを検知する。つまり、未表示のＡＩ画像５１を表示するトリガーとしては、必ずしも、入力部４０からの表示指示に限られない。表示制御部２４が表示画面３１の表示制御を行っている際に、ユーザの操作指示とは無関係にＡＩ画像５１を表示する場合もありうる。その場合は、表示制御部２４は、未表示のＡＩ画像５１を表示する処理を実行したことを閲覧検知部２５に送信する。これにより、閲覧検知部２５はＡＩ画像５１が閲覧されたことを検知する。
次に、本開示の第３の実施形態について説明する。図１１は第３の実施形態の画像診断支援装置１３０の機能ブロック図である。図１１に示す第３の実施形態の画像診断支援装置１３０は、図５で示した第１の実施形態の画像診断支援装置１のＣＰＵ１１がさらに閲覧検知部２５、記録制御部２６、及び視線検出部２７の機能を有している。なお、閲覧検知部２５及び記録制御部２６の機能については、上記第２の実施形態と同様であるため、ここでの説明は省略する。
第２の実施形態において、閲覧検知部２５はＡＩ標識５２が表示された場合に、ＡＩ画像５１が閲覧されたことを検知したが、本実施形態においては、視線検出部２７が表示部３０の表示画面３１に表示されたＡＩ画像５１にユーザの視線が向いていることを検出した場合に、ＡＩ画像５１が閲覧されたことを検知する。図１２は視線検出部２７を説明するための図である。
視線検出部２７は、図１２に示すように、表示部３０の上部に設けられたカメラCにより撮影されたユーザの顔が写った顔画像を取得する。視線検出部２７は、取得した顔画像を解析してユーザの瞳Ｅの動きを検出することにより、ユーザの視線が表示画面３１に表示されたＡＩ画像５１に向いているか否かを検出する。なお、視線の検出は、一般的に使用されている公知の技術を使用することができる。閲覧検知部２５は、例えば、ユーザの視線が予め定められた時間以上、ＡＩ画像５１に向いている場合に、ＡＩ画像５１が閲覧されたことを検知する。閲覧履歴７１は、第２実施形態と同様に、記録制御部２６によって二次記憶部１３に記録される。
第３の実施形態においては、ユーザによる入力操作がなくても、ユーザの視線を検出することによりユーザがＡＩ画像５１を閲覧したか否かを容易に検出することができる。
次に、本開示の第４の実施形態について説明する。図１３は第４の実施形態の画像診断支援装置１４０の機能ブロック図である。図１３に示す第４の実施形態の画像診断支援装置１４０は、図１１で示した第３の実施形態の画像診断支援装置１３０のＣＰＵ１１がさらに警告部２８の機能を有している。なお、視線検出部２７の機能については、上記第３の実施形態と同様であるため、ここでの説明は省略する。
第４の実施形態においては、記録制御部２６は、閲覧履歴７１に加えて、ユーザの操作に基づいてＡＩ画像５１を画像診断に使用したことを示す使用履歴７２を記録する制御を行なう。先ずはユーザの操作について説明するために、本実施形態における表示部３０の表示画面３１の構成について説明する。図１４は第４の実施形態の表示部の表示画面の一例を示す図、図１５は第４の実施形態の表示部の第２表示画面の表示の一例を示す図である。
第４の実施形態においては、図１４に示すように、表示部３０は第１表示画面３１Ａと第２表示画面３１Ｂとを有している。表示制御部２４は、第１表示画面３１Ａに画像診断の内容を記録した読影レポート３２を表示し、第２表示画面３１Ｂに医用画像を表示する。第２表示画面３１Ｂは医用画像が表示される画像ビューワとして機能する。本実施形態においては、表示制御部２４によって、第２表示画面３１Ｂには、図１５で示す表示画面３１で表示された内容が表示される。
第２表示画面３１Ｂは、図１５に示すように、画像表示領域３４ｃの下方には、チェックボックス６０ａが表示される。チェックボックス６０ａは、ユーザが画像診断においてＡＩ画像５１を使用した場合に、使用履歴７２を入力するための使用履歴入力ツールである。チェックボックス６０ａの横には、チェックボックス６０ａの意味を示すために、例えば、「画像診断にＡＩ画像を使用しました」といった文字情報６０が表示される。
第４の実施形態において、記録制御部２６は、図１３に示すように、ユーザがマウス（入力部４０）を操作することによりチェックボックス６０ａにチェックを入れると、ＡＩ画像５１を画像診断に使用したことを示す使用履歴７２を二次記憶部１３に記憶させる。使用履歴７２は、具体的には、記録制御部２６は、閲覧されたＡＩ画像５１、すなわち第２表示画面３１Ｂに表示されたＡＩ画像５１の画像ＩＤと対応付けて、使用履歴７２を二次記憶部１３に記録する。
警告部２８は、閲覧履歴７１があるにもかわらず使用履歴７２が無い状態で、画像診断に係る読影レポート３２が作成される場合において、少なくとも読影レポート３２の作成が終了される前に使用履歴７２が無い旨を警告する。警告部２８は、例えば、表示制御部２４を通じて、第１表示画面３１Ａに「ＡＩ画像の使用履歴がありません」といった警告情報を表示させる。
次いで、本実施形態において行われる処理について説明する。図１６及び図１７は本開示の第４の実施形態において行われる処理を示すフローチャートである。
先ず、画像取得部２１は、第１の実施形態と同様にして医用画像を取得する（ステップＳＴ２１）。次いで、判定部２２が、第１の実施形態と同様にして画像取得部２１により取得された医用画像がＡＩ画像５１であるか否かを判定する（ステップＳＴ２２）。
ステップＳＴ２２が否定される場合には（ステップＳＴ２２：ＮＯ）、取得された医用画像がＡＩ画像５１ではない、すなわち非ＡＩ画像５０であるため、表示制御部２４は、取得された医用画像、すなわち非ＡＩ画像５０を第２表示画面３１Ｂに表示して（ステップＳＴ２３）、ＣＰＵ１１は図１７のＢへ処理を移行して一連の処理を終了する。
一方、ステップＳＴ２２が肯定される場合には（ステップＳＴ２２：ＹＥＳ）、第２表示画面３１Ｂにおいて、表示制御部２４は取得された医用画像、すなわちＡＩ画像５１の存在を示しつつ、かつ、画像内容を未表示にする（ステップＳＴ２４）。
次いで、報知部２３が、未表示されたＡＩ画像５１に対してＡＩ技術が適用されていることを示すＡＩ標識５２（図９の符号５２参照）を表示制御部２４によって表示させる（ステップＳＴ２５）。なお、本実施形態において、ＡＩ標識５２を表示させることは、ＡＩ画像であることを報知することの一例である。
次いで、ＣＰＵ１１は、ＡＩ標識５２がクリックされたか否かを判断する（ステップＳＴ２６）。ステップＳＴ２６が否定される場合には（ステップＳＴ２６：ＮＯ）、ＣＰＵ１１はステップＳＴ２４へ処理を移行して、以降の処理を行う。一方、ステップＳＴ２５６が肯定される場合には（ステップＳＴ２６：ＹＥＳ）、表示制御部２４は、図１６に示すように、ＡＩ画像５１の画像内容を表示し（ステップＳＴ２７）、さらに使用履歴入力ツールであるチェックボックス６０ａ（使用履歴入力ツール）を第２表示画面３１Ｂに表示する（ステップＳＴ２８）。
次いで、閲覧検知部２５は、ＡＩ画像５１が閲覧されたことを検知する（ステップＳＴ２９）。次いで、記録制御部２６は、図１７に示すように、閲覧検知部２５の検知結果に基づいて、ＡＩ画像５１が閲覧されたことを示す閲覧履歴７１を二次記憶部１３に記録する（ステップＳＴ３０）。
次いで、記録制御部２６は、チェックボックス６０ａチェックされたか否かを判断する（ステップＳＴ３１）。ステップＳＴ３１が否定される場合に（ステップＳＴ３１：ＮＯ）、ＣＰＵ１１はステップＳＴ３３に処理を移行する。一方、ステップＳＴ３１が肯定される場合に（ステップＳＴ３１：ＹＥＳ）、記録制御部２６は、ＡＩ画像５１を画像診断に使用したことを示す使用履歴７２を二次記憶部１３に記録する（ステップＳＴ３２）。
次いで、ＣＰＵ１１は、読影レポート３２の作成が終了したか否かを判断する（ステップＳＴ３３）。ステップＳＴ３３が否定される場合に（ステップＳＴ３３：ＮＯ）、ＣＰＵ１１はステップＳＴ３３の処理を繰り返し行う。一方、ステップＳＴ３３が肯定される場合には（ステップＳＴ３３：ＹＥＳ）、警告部２８は使用履歴７２が二次記憶部１３に記憶されているか否かを判断する（ステップＳＴ３４）。なお、本実施形態においては、図１４に示す読影レポート３２が閉じられる動作がされた場合に読影レポート３２の作成が終了したと判断する。具体的には、ＣＰＵ１１は、読影レポート３２の右上に表示されるバツ印（不図示）がクリックされた場合に、読影レポート３２が閉じられる動作がされたと判断する。
ステップＳＴ３４が肯定される場合に（ステップＳＴ３４：ＹＥＳ）、ＣＰＵ１１は一連の処理を終了する。一方、ステップＳＴ３４が否定される場合には（ステップＳＴ３４：ＮＯ）、警告部２８は、読影レポート３２の作成が終了される前に使用履歴７２が無い旨を警告し（ステップＳＴ３５）、ＣＰＵ１１はステップＳＴ３１の処理に戻る。
第４の実施形態においては、閲覧履歴７１があるにもかわらず使用履歴７２が無い状態で、画像診断に係る読影レポート３２の作成が終了してしまうのを防止することができる。
なお、第４の実施形態において、警告部２８は第１表示画面３１Ａに「ＡＩ画像の使用履歴がありません」といった警告情報を表示させたが、本開示の技術はこれに限られない。警告部２８は、第１表示画面３１Ａではなく、第２表示画面３１Ｂに警告情報を表示させてもよい。また、警告部２８は警告情報を音声により出力してもよい。
また、第４の実施形態において、閲覧履歴７１があるにもかわらず使用履歴７２がない状態で、読影レポート３２の作成を終了しようとした場合に、警告部２８が、使用履歴７２が無い旨を警告しているが、本開示の技術はこれに限られない。例えば、読影レポート３２の作成の終了を不可とするべく、ＣＰＵ１１が読影レポート３２を閉じられない処理を行ってもよい。
また、第４の実施形態において、第１表示画面３１Ａと第２表示画面３１Ｂとは同一の表示部３０に設けているが、本開示の技術はこれに限られない。２つの表示部３０がある場合には、各々の表示部３０に第１表示画面３１Ａと第２表示画面３１Ｂとを表示させることができる。
また、上述した実施形態において、例えば、画像取得部２１、判定部２２、報知部２３、表示制御部２４、閲覧検知部２５、記録制御部２６、視線検出部２７、及び警告部２８といった各種の処理を実行する処理部（Processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

Claims (11)

  1. 被写体を撮影して取得した医用画像を、表示部に表示させる表示制御部と、
    前記医用画像として、人工知能を利用した技術であるＡＩ技術を用いた画像処理が適用された医用画像であるＡＩ画像が前記表示部に表示される際に、前記表示部に表示される前記医用画像が、前記ＡＩ画像であることを報知する報知部と、
    ユーザが前記ＡＩ画像を閲覧したか否かを検知する閲覧検知部と、
    前記閲覧検知部の検知結果に基づいて、前記ＡＩ画像が閲覧されたことを示す閲覧履歴を記録する制御を行うと共に、前記ユーザの操作に基づいて、前記ＡＩ画像を画像診断に使用したことを示す使用履歴を記録する制御を行う、記録制御部と、
    前記閲覧履歴があるにもかかわらず前記使用履歴が無い状態で、画像診断に係るレポートが作成される場合において、少なくとも前記レポートの作成が終了される前に前記使用履歴が無い旨を警告する警告部と、
    を含み、
    前記ＡＩ技術を用いた画像処理は、機械学習モデルを利用する画像処理である、画像診断支援装置。
  2. 前記ＡＩ画像は、前記医用画像に対して前記ＡＩ技術を適用することにより前記医用画像とは別に新たに生成された医用画像である請求項１に記載の画像診断支援装置。
  3. 前記ＡＩ画像は、前記医用画像に基づいて前記ＡＩ技術を用いた画像解析を施すことにより得た画像解析結果を、前記医用画像に付与した医用画像である請求項１又は２に記載の画像診断支援装置。
  4. 前記報知部は、前記ＡＩ画像に対しては前記ＡＩ技術が適用されていることを示すＡＩ標識を表示する請求項１から３の何れか１項に記載の画像診断支援装置。
  5. 前記表示部に表示される前記医用画像が前記ＡＩ画像か否かを判定する判定部を備えている請求項１から４の何れか１項に記載の画像診断支援装置。
  6. 前記医用画像の付帯情報には、ＡＩ技術の適用の有無を示す情報が含まれており、
    前記判定部は、前記付帯情報に基づいて前記医用画像が前記ＡＩ画像か否かを判定する請求項５に記載の画像診断支援装置。
  7. 前記閲覧検知部は、前記表示部に未表示の前記ＡＩ画像が前記表示部に表示された場合に閲覧されたと検知する請求項１に記載の画像診断支援装置。
  8. 前記閲覧検知部は、未表示の前記ＡＩ画像を前記表示部に表示する表示指示が入力された場合に、前記ＡＩ画像が閲覧されたことを検知する請求項７に記載の画像診断支援装置。
  9. ユーザの視線を検出する視線検出部を備えており、
    前記閲覧検知部は、前記視線検出部が前記表示部に表示された前記ＡＩ画像に前記ユーザの視線が向いていることを検出した場合に、前記ＡＩ画像が閲覧されたことを検知する請求項１から８の何れか１項に記載の画像診断支援装置。
  10. 被写体を撮影して取得した医用画像を、表示部に表示させ、
    前記医用画像として、人工知能を利用した技術であるＡＩ技術を用いた画像処理が適用された医用画像であるＡＩ画像が前記表示部に表示される際に、前記表示部に表示される前記医用画像が、前記ＡＩ画像であることを報知し、
    ユーザが前記ＡＩ画像を閲覧したか否かを検知し、
    前記検知の結果に基づいて、前記ＡＩ画像が閲覧されたことを示す閲覧履歴を記録する制御を行うと共に、前記ユーザの操作に基づいて、前記ＡＩ画像を画像診断に使用したことを示す使用履歴を記録する制御を行い、
    前記閲覧履歴があるにもかかわらず前記使用履歴が無い状態で、画像診断に係るレポートが作成される場合において、少なくとも前記レポートの作成が終了される前に前記使用履歴が無い旨を警告すること、
    を含み、
    前記ＡＩ技術を用いた画像処理は、機械学習モデルを利用する画像処理である、画像診断支援装置の作動方法。
  11. 被写体を撮影して取得した医用画像を、表示部に表示させる表示制御部と、
    前記医用画像として、人工知能を利用した技術であるＡＩ技術を用いた画像処理が適用された医用画像であるＡＩ画像が前記表示部に表示される際に、前記表示部に表示される前記医用画像が、前記ＡＩ画像であることを報知する報知部と、
    ユーザが前記ＡＩ画像を閲覧したか否かを検知する閲覧検知部と、
    前記閲覧検知部の検知結果に基づいて、前記ＡＩ画像が閲覧されたことを示す閲覧履歴を記録する制御を行うと共に、前記ユーザの操作に基づいて、前記ＡＩ画像を画像診断に使用したことを示す使用履歴を記録する制御を行う、記録制御部と、
    前記閲覧履歴があるにもかかわらず前記使用履歴が無い状態で、画像診断に係るレポートが作成される場合において、少なくとも前記レポートの作成が終了される前に前記使用履歴が無い旨を警告する警告部として
    コンピュータを機能させ、
    前記ＡＩ技術を用いた画像処理は、機械学習モデルを利用する画像処理である、画像診断支援装置の作動プログラム。
JP2021549043A 2019-09-25 2020-09-25 画像診断支援装置、画像診断支援装置の作動方法、及び画像診断支援装置の作動プログラム Active JP7362754B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019173856 2019-09-25
JP2019173856 2019-09-25
PCT/JP2020/036274 WO2021060468A1 (ja) 2019-09-25 2020-09-25 画像診断支援装置、画像診断支援装置の作動方法、及び画像診断支援装置の作動プログラム

Publications (3)

Publication Number Publication Date
JPWO2021060468A1 JPWO2021060468A1 (ja) 2021-04-01
JPWO2021060468A5 JPWO2021060468A5 (ja) 2022-06-02
JP7362754B2 true JP7362754B2 (ja) 2023-10-17

Family

ID=75166170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021549043A Active JP7362754B2 (ja) 2019-09-25 2020-09-25 画像診断支援装置、画像診断支援装置の作動方法、及び画像診断支援装置の作動プログラム

Country Status (3)

Country Link
US (1) US20220215962A1 (ja)
JP (1) JP7362754B2 (ja)
WO (1) WO2021060468A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287732A (ja) 2003-03-20 2004-10-14 Canon Inc 医療情報表示装置
JP2006150067A (ja) 2004-10-28 2006-06-15 Fuji Photo Film Co Ltd 画像表示装置およびプログラム
JP2007094515A (ja) 2005-09-27 2007-04-12 Fujifilm Corp 読影レポート作成装置
WO2009041587A1 (ja) 2007-09-28 2009-04-02 Canon Kabushiki Kaisha 医用診断支援システム
WO2019143177A1 (ko) 2018-01-18 2019-07-25 주식회사 뷰노 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
JP2019154943A (ja) 2018-03-15 2019-09-19 ライフサイエンスコンピューティング株式会社 人工知能を用いた病変の検知方法、及び、そのシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0487110B1 (en) * 1990-11-22 1999-10-06 Kabushiki Kaisha Toshiba Computer-aided diagnosis system for medical use
US20060093201A1 (en) * 2004-10-28 2006-05-04 Fuji Photo Film Co., Ltd. Image display apparatus, image display method, and image display program
US20200383582A1 (en) * 2016-05-11 2020-12-10 Tyto Care Ltd. Remote medical examination system and method
US11446008B2 (en) * 2018-08-17 2022-09-20 Tokitae Llc Automated ultrasound video interpretation of a body part with one or more convolutional neural networks
US11288800B1 (en) * 2018-08-24 2022-03-29 Google Llc Attribution methodologies for neural networks designed for computer-aided diagnostic processes
WO2021067624A1 (en) * 2019-10-01 2021-04-08 Sirona Medical, Inc. Ai-assisted medical image interpretation and report generation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287732A (ja) 2003-03-20 2004-10-14 Canon Inc 医療情報表示装置
JP2006150067A (ja) 2004-10-28 2006-06-15 Fuji Photo Film Co Ltd 画像表示装置およびプログラム
JP2007094515A (ja) 2005-09-27 2007-04-12 Fujifilm Corp 読影レポート作成装置
WO2009041587A1 (ja) 2007-09-28 2009-04-02 Canon Kabushiki Kaisha 医用診断支援システム
WO2019143177A1 (ko) 2018-01-18 2019-07-25 주식회사 뷰노 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
JP2019154943A (ja) 2018-03-15 2019-09-19 ライフサイエンスコンピューティング株式会社 人工知能を用いた病変の検知方法、及び、そのシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PARK, Sohee et al.，"Deep Learning Algorithm for Reducing CT Slice Thickness: Effect on Reproducibility of Radiomic Feat，Korean Journal of Radiology，KR，The Korean Society of Radiology，2019年08月27日，2019 Oct;20(10)，pp.1431-1440，https://doi.org/10.3348/kjr.2019.0212

Also Published As

Publication number Publication date
JPWO2021060468A1 (ja) 2021-04-01
WO2021060468A1 (ja) 2021-04-01
US20220215962A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
US11139067B2 (en) Medical image display device, method, and program
AU2004266022B2 (en) Computer-aided decision support systems and methods
JP7618003B2 (ja) 文書作成支援装置、方法およびプログラム
US20240029252A1 (en) Medical image apparatus, medical image method, and medical image program
JP7701493B2 (ja) 医用画像処理装置、方法およびプログラム
JP2004105728A (ja) コンピュータを利用した医療用画像の収集
JP2015529108A (ja) 効果的な表示及び報告のための画像資料に関連する以前の注釈の自動検出及び取り出し
JP7431317B2 (ja) 文書作成支援装置、方法およびプログラム
JP7190992B2 (ja) 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム
WO2019193983A1 (ja) 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
WO2021167080A1 (ja) 情報処理装置、方法およびプログラム
WO2021107098A1 (ja) 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム
US20240078089A1 (en) System and method with medical data computing
US11328414B2 (en) Priority judgement device, method, and program
US11551351B2 (en) Priority judgement device, method, and program
JP2025178348A (ja) 医用画像表示装置、方法およびプログラム
JP7362754B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法、及び画像診断支援装置の作動プログラム
JP2021175454A (ja) 医用画像処理装置、方法およびプログラム
EP4358022B1 (en) Medical image diagnostic system, medical image diagnostic method, and program
WO2023199957A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20230099284A1 (en) System and method for prognosis management based on medical information of patient
JP2024044921A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7827513B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7840932B2 (ja) 作業支援装置、作業支援方法、及び作業支援プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230711

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231004

R150 Certificate of patent or registration of utility model

Ref document number: 7362754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150