JP2018509689A - 放射線レポートのためのレポート内容のコンテキスト生成 - Google Patents

放射線レポートのためのレポート内容のコンテキスト生成 Download PDF

Info

Publication number
JP2018509689A
JP2018509689A JP2017539237A JP2017539237A JP2018509689A JP 2018509689 A JP2018509689 A JP 2018509689A JP 2017539237 A JP2017539237 A JP 2017539237A JP 2017539237 A JP2017539237 A JP 2017539237A JP 2018509689 A JP2018509689 A JP 2018509689A
Authority
JP
Japan
Prior art keywords
structured
user
processor
diagnostic
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017539237A
Other languages
English (en)
Other versions
JP6914839B2 (ja
JP2018509689A5 (ja
Inventor
ユエチェン チーアン
ユエチェン チーアン
ヨースト フレデリック ペータース
ヨースト フレデリック ペータース
ヨハネス ブールマン
ヨハネス ブールマン
ヴラド コゾマラ
ヴラド コゾマラ
ケヴィン マッケネリー
ケヴィン マッケネリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018509689A publication Critical patent/JP2018509689A/ja
Publication of JP2018509689A5 publication Critical patent/JP2018509689A5/ja
Application granted granted Critical
Publication of JP6914839B2 publication Critical patent/JP6914839B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

医療診断レポートシステムは、診断を為している間に医療画像に対して実行されている診断医の行動を監視し、これら行動に基づいて画像コンテキスト及び関連データを抽出し、次いで該画像コンテキストに基づいて該関連データを構造化された文章へと変換する。該構造化された文章は、煩わしくない態様で診断医に提示され、該診断医が、該構造化された文章を、進行中の診断レポートに挿入するか否かを選択することを可能とする。

Description

本発明は、医療診断システムの分野に関し、特に、医療画像システムからのデータを、診断レポートに含ませるための構造化された/テンプレート化された文章に変換することにより、医療レポートの自動化を容易化する、医療診断システムに関する。
医療診断医の時間のかなりの部分は、医療レポートを生成する必要性によって消費される。該レポートは、患者の識別、患者の状況、実施された試験に加え、得られた結果、具体的な所見、及び決定された予後のような、管理情報を含む必要がある。
便利にも、診断医は、診断の基礎となる医療画像にアクセスしながら、診断レポートをタイピング又は口述する。診断医は、特定の組織のような画像における対象領域を識別し、次いで該対象領域内の病変のような異常を識別し得る。診断医は一般に、該異常のサイズ及び/又は体積や、該異常の位置等のような、重要なパラメータを測定するため、医療画像システムを用いる。診断医の好みに依存して、診断医は、これらのパラメータをメモし、次いでこれらのノートを後に用いて、医療レポートを作成するか、又は診断医は、診断システムと同時に動作する音声認識システムを持ち得、診断測定を実行する間に「その場で」診断レポートを口述し得る。
幾つかの場合においては、診断レポートは診断医の記録に対してのみ作成されるが、放射線のような幾つかの分野においては、診断医のレポートは、患者の主治医又は執刀医のような他の人物に通信されることを意図され、許容される規格に準拠する必要がある。
DICOM(Digital Imaging and Communications in Medicine)は、研究所、病院、医師のオフィス等において用いられるコンピュータをネットワーク接続する画像保管通信システム(Picture Archiving and Communication System、PACS)への、複数の製造者からの画像及びネットワークハードウェアの統合を可能とする、医療画像情報を保存、印刷及び通信するための規格である。PACSは、従来のフィルム、CT、MRI、PETスキャン及びその他の医療画像を含む高画質の放射線画像に対する、ネットワークを介したリモートのアクセスを可能とする。
アプリケーションレベル(OSIモデルにおける「レベル7」)においては、Health Level-7即ちHL7が、病院情報システム間の臨床及び管理データの伝達のための国際規格のセットを含む。HL7は、概念的な規格(例えばHL7 RIM)、文書規格(例えばHL7 CDA)、アプリケーションの規格(例えばHL7 CCOW)、及びメッセージ規格(例えばHL7 v2.x及びv3.0)を発展させている。
診断記録システムにおいては、上述した管理情報のような幾つかの情報は、医療画像システムから診断レポートへとコマンドによって伝達され得る。しかしながら、比較、画像基準、測定及び継続調査の提案のような他のデータ要素は、ユーザによって入力される(タイピングされる、口述される等)必要があり、時間を浪費し誤りが生じ易いものとなる。
また、記述的なテキストは、自ずと文章であり、人物によって異なり得る。音声認識システムにおいては、これらの相違は、自然言語処理又はその他のコンピュータ手法がテキストを解析する困難さを増大させ、診断医の時間が、音声認識システムにより挿入されたテキストを調べることに費やされる。非音声認識システムにおいても、所見の記述における異なる文章の使用が、時々受け手による混乱又は誤った解釈をもたらし得る。
診断レポートに含ませるための、医療画像システムからの対象情報の伝送を容易化するシステム及び処理を提供することが、有利となり得る。また、診断レポートに含ませるため、対象情報を標準形式へ変換することも、有利となり得る。
これらの問題の1つ以上に好適に対処するため、本発明の一実施例においては、医療診断レポートシステムが、診断の作成中に医療画像に対して実行された診断医の行動を監視し、これら行動に基づいて画像コンテキスト及び関連データを抽出し、次いで前記画像コンテキストに基づいて前記関連データを構造化された文章に変換する。前記構造化された文章は、煩わしくない態様で診断医に提示され、診断医が、前記構造化された文章を、進行中の診断レポートに挿入するか否かを選択することを可能とする。代替としては、前記構造化された文章は、診断医がレポートに該文章を即座に含めることを予期して、マシンクリップボードを追加するために用いられる。診断が継続するとき、更なる関連情報が、診断レポートへの任意の挿入のための、更なる構造化された文章へと変換される。ユーザが所与の継続時間内に特定の構造化された文章を挿入することを選択しない場合には、該構造化された文章は削除され、そうでなければ、該構造化された文章が、保管され、後の利用のために取得され得る。
前記システムは、前記関連データを前記構造化された文章に変換するための、所定の語彙又は意味的オントロジーベースの照合処理を用いても良い。幾つかの実施例においては、前記診断医は、前記画像コンテキスト及び関連情報を抽出するため、識別画像及び/又は画像中の対象領域の選択肢を与えられる。
前記システムは更に、自動データ転送を介して実装されても良い。診断閲覧システムは、該閲覧システムから構造化された文章テキストを取得することができるAPI(application programming interface)を提供する。レポートシステムは、前記診断閲覧システムのものとは異なる販売者によって提供されたものであっても良く、前記診断閲覧システムにより提供されたAPIを起動することにより、前記構造化された文章テキストを自動的に取得及び挿入することができる。
本発明は、添付図面を参照しながら、単に例として、更に詳細に説明される。
医療画像から導出された情報の診断レポートへの変換を自動化するためのフロー図の例を示す。 構造化された文章骨格の例を示す。 選択可能な構造化された文章要素の表示の例を示す。 図3Aの要素の選択に基づく診断レポートの例を示す。 医療画像から導出された情報の診断レポートへの変換を容易化するユーザインタフェースの例を示す。 医療画像から導出された情報の診断レポートへの変換を容易化する医療診断システムのブロック図の例を示す。
図を通して、同一の参照番号は、類似する又は対応する特徴又は機能を示す。図面は説明の目的のために含められるものであり、本発明の範囲を限定することを意図されたものではない。
以下の説明において、限定ではなく説明の目的のため、特定の構造、インタフェース、手法等のような特定の詳細が、本発明の概念の完全な理解を提供するため開示される。しかしながら、本発明は、これら特定の詳細から逸脱した、他の実施例においても実施され得ることは、当業者には明らかであろう。同様に、本明細書の文章は、図面において示された実施例に向けられたものであり、請求項に明示的に含まれる限定を超えて、請求される本発明を限定することを意図するものではない。単純さ及び明確さのため、良く知られた装置、回路及び方法の詳細な説明は、不必要な詳細により本発明の説明を不明瞭にすることを避けるために省略される。
図1は、医療画像から導出された情報の診断レポートへの変換を自動化するためのフロー図の例を示す。
110において、診断医(ユーザ)が医療画像の診断を実行する間、診断医の行動が監視/記録される。該ユーザは例えば、異常を識別するため、又は異常の不在を確認するために、CTスキャン、MRI、X線等から得られた患者の画像を取得し得る放射線医であっても良い。幾つかの場合においては、放射線医は、時間経過とともに撮られた患者の一連の画像を閲覧して、これら画像を比較し、時間による変化を識別しても良い。
当業者は、所与の時間にユーザが実行している個々のタスクを識別するために、種々の手法又は手法の組み合わせのいずれもが利用され得ることを、認識するであろう。
本発明の一実施例においては、該監視は、診断医が従来の医療診断システム又はツールを利用している間に実行されても良く、ユーザのキーストローク、マウスのクリック、注視点、身振り、音声コマンド等が監視されて、背景で処理され、ユーザの動作に基づいて実行されている各特定のタスク(パン、ズーム、選択、測定、グループ化、ハイライト等)を識別する。
他の実施例においては、医療診断システム又はツールは、どの特定のサブルーチンが、どの順序で呼び出されているかを識別することにより、診断の流れを「追跡」するよう変更されても良い。追跡の複雑さを低減するため、所与のタスクを実行するため呼び出される高いレベルのルーチンが予め定義され、これらルーチンの呼び出しのみが記録される。
監視された動作、利用されている特定の診断ツール、診断されている特定の臓器、画像の特定のモダリティ等に基づいて、120において診断のコンテキストが決定される。例えば、該コンテキストは、患者、身体部分、症状等の識別、所見のような注記付け及び/又は測定要素の識別、異なる時点における臓器の画像の比較、所見を支持する画像の選択及び識別、等のうちのひとつであっても良い。
各コンテキスト内において、特定のパラメータがタスクに関連するものとして定義されても良い。例えば、患者のファイルを最初に開くコンテキストにおいては、レポートシステムは、患者の名前、患者の医療プロファイル、現在の日付、診断医の名前といったデータを診断レポートが含むことを予期し得る。特定の画像データがアクセスされると、該システムは、身体部分の識別子、画像セット及び画像セットが生成された日付が、診断レポートに含まれることを予期し得る。一実施例においては、該システムは、診断工程の間に典型的に実行されるシーケンスの1つ以上のモデルに基づいて、コンテキスト及び/又は関連するデータを予期/予測し得る。異なるタイプの診断、異なるタイプの画像モダリティ、異なる診断医等に対しては、異なるモデルが提供されても良い。
病変に対処するコンテキストにおいては、位置及びサイズ(程度、面積及び/又は体積)が一般に関連パラメータであり、形状(楕円、星型等)、組成(流体、固体等)、特徴(良性、悪性等)も関連パラメータとなり得る。時間差画像のコンテキストにおいては、各画像の日付を含む他のパラメータが関連するものとなり得る。関連パラメータは、検査されている特定の身体部分及びその他の因子にも依存し得る。関連パラメータの値は、120において、診断工程の間に、該パラメータが決定されると医療診断システム又はツールから抽出される。
130において、抽出された関連情報が、構造化された文章に変換され、該文章の形式は、抽出されたコンテキストに基づくものであっても良い。該構造化された文章は、関連パラメータが挿入される、各コンテキスト内の所定のステートメント又は「骨格」のセットに基づいて生成されても良い。
図2は、構造化文章の骨格210乃至260のセットの例を示し、各骨格はブラケット({})によって挟まれている。骨格210は、パラメータ<last name(姓)>、<first name(名)>、<today's date(今日の日付)>を含み、患者のレコードが最初にアクセスされたときにアクセスされて、現在の患者の名前及び現在の日付を記入(fill in)されても良い。この時点において、骨格220がアクセスされて、患者の性別、年齢及び最初の診断を用いて記入されても良い。
診断医が、最新の検査画像のような、患者のファイルにおける特定のレコードにアクセスすると、骨格230は、検査の名称及び検査の日付を記入されても良い。任意に、当該骨格230は、診断医が当該特定の検査にアクセスしているか否かにかかわらず、レポートに含められる可能性が高い情報として記入されても良い。
骨格240は、診断医が以前の検査の画像又は結果にアクセスしたことを該システムが検出したときに、アクセスされて記入されても良い。診断医(又は診断システム)が現在の又は以前の検査画像における対応する特徴を識別すると、骨格250は、該識別された特徴の現在の及び以前のサイズを提供するようアクセスされ記入されても良い。
当業者は、図2の骨格は単に説明の目的のために提示されたものであり、種々の形態のいずれもが利用され得ることを、認識するであろう。例えば、異なる時間において撮られた映像を比較する場合には、導入部の構造化された文章は、
「(<latest date(最新の日付)>,<body part(身体部分)>,<modality(モダリティ)>):(<prior date(前回の日付), <body part>,<modality>)」
の形式のものであっても良く、ここで最新の検査の日付が<latest date>に挿入され、身体部分(例えば「腹部」、「右肺」等)が<body part>に挿入され、モダリティ(例えば「CT」、「MRI」等)が<modality>に挿入される。同様に、適切な挿入が以前の検査についても行われても良い。記号「:」は、「1つ以上」を示すものと定義されても良く、これによれば、所与の形式の繰り返しを用いて、1つよりも多い先行する検査からの情報が挿入されることができる。
病変のような特定の要素タイプの識別においては、構造化された文章は、
「<type(タイプ)>,[<body part>],<location(位置)>,<units(単位)>,<sizel(サイズl)>:<sizeN(サイズN)>」
の形式のものであっても良い。特定のコンテキストに依存して、<location>フィールドは、解剖学的な位置、一般的な位置(「左上」)等の識別子として、座標の形で提供されても良い。同様に、<units>は、測定されたサイズが長さ、面積、体積、角度等のどれを指しているかを識別するよう機能し得る。本例においては、括弧「[」及び「]」は、身体部分が既に明らかに識別されているか否かに依存して、<body part>フィールドが任意であることを示す。
構造化された文章はまた、
「<body part>,<modality>,<view direction(観測方向)>,[<magnification(拡大率)>]」
のように、情報の基となる画像の特定の特徴を識別しても良い。
同様に、構造化された文章はまた、
「[<date-time(日時)>],<series#(シリーズ番号)>,<image#(画像番号)>[:<imageN#(画像N番号)>],<modality>, <body part>
のように、現在の画像への参照を含んでも良い。
構造化された文章の特定の形式は、対象の受信者又は対象の媒体に依存しても良いことは、留意されるべきである。例えば対象の受信者が患者である場合には、以上の構造化された文章は例えば、
「この診断は、<prior date>に撮影されたあなたの<body part>の<modality>画像の結果と比較した、<latest date>に撮影されたあなたの<body part>の<modality>画像の結果に基づくものです」
といった様に、より「患者が読み易い」形式のものであっても良い。
構造化された文章は、DICOM、ML7等のような、特定の規格に準拠するものであっても良い。
同じ関連情報を用いて、異なる形式の構造化された文章が提供されても良いことは、留意されるべきである。即ち、以下に更に詳細に説明されるように、簡潔な形式の構造化された文章が潜在的な選択のため診断医に提示されても良く、実際の診断レポートにはより長い形式の構造化された文章が挿入されても良い。同様に、複数の診断レポートが同時に生成されても良く、1つは医療従事者用のもので、1つは患者用のものであっても良い。
本開示の目的のため、「構造化された文章」とは単に、特定の診断医にかかわらず、また特定の患者にかかわらず、一貫した形式を持つ関連データの組織化である。即ち、2人の異なる診断医が異なる患者に対して「患者が読むことができる」診断レポートを生成した場合でも、関連情報に関するレポートの形式は同じとなる。幾つかの実施例においては、ユーザは構造化された文章の形式を定義することが可能であり、斯かる実施例においては、構造化された文章が生成されると、当該新たな構造化された文章の全ての後続するユーザに対して出力は一貫したものとなる。
140において、構造化された文章が、診断レポートに含ませるための診断医の考察のために、診断医に提示される。一実施例においては、当該構造化された文章は、診断医のシステムのディスプレイの隅に、又は隣接するディスプレイにおいて表示される窓においてのように、目立ち過ぎない態様で提示される。一般的に、診断医は現在のコンテキストを知っており、最小限の付加的な情報しか必要ではないため、当該構造化された文章は、簡潔な形式での関連データを含むこととなる。
図3Aは、図2の骨格の例を用いた、現在のセッションの間の診断医の動作に基づく、診断医の選択のための構造化された文章の提示の例を示す。
診断医が最初に患者のレコードにアクセスすると、骨格210、220、230がアクセスされ、選択可能な要素1、2及び3を提供するため当該患者の情報を記入されても良い。診断医が診断を実行するため画像情報へのアクセスへと進むと、該システムは骨格240、250にアクセスして、図3Aの選択可能な要素4及び5を提供する。
150において、構造化された文章が診断レポートに挿入されることをユーザが欲しているか否かを決定するため、ユーザの入力が監視される。以上に言及されたように、診断医の好みに依存して、個々の選択された文章を結合し更に説明するテキストを追加するために診断医によって後に編集される「ノートブック」において、選択された文章が配置されても良い。代替としては、診断医は例えば、診断医が発話した語を捕捉し、選択された文章が挿入されるべきであることを診断医が示すたびに構造化された文章を直接に挿入する、音声認識システムを用いて、「その場で」診断レポートを生成することを好み得る。
システムの一例においては、ユーザは「それを挿入しなさい」といった命令を発声しても良いし、又は、複数の構造化された文章がユーザに提示されている場合には、ユーザは「3番を挿入しなさい」若しくは「病変の詳細を挿入しなさい」と発話しても良い。例えばキーボード、マウス、タッチパッド、タッチスクリーン等を介したもの、更には身振りの認識、視線追跡等を含む、挿入されるべき構造化された文章を識別するための、種々の手法のうちいずれが用いられても良いことは、当業者は認識するであろう。
図1の160において、ユーザが挿入されるべきアイテムを選択すると、165において、構造化された文章が診断レポートに配置される。図3Bの診断レポートの例320は、要素3(骨格230)を除く図3Aの要素の全てを診断医が選択した結果を示す。
選択の際、選択された文章は、190において、ユーザに提示される選択肢から除外されても良い。以上に述べたように、挿入される構造化された文章の形式は、ユーザの選択のために表示される構造化された文章の形式と異なっていても良いが、関連する情報は同じとなる。
160において、ユーザが構造化された文章を挿入することを選択しない場合には、各文章が選択のために利用可能とされていた時間が決定され、170において、文章が利用可能であったにもかかわらず所与の制限時間を過ぎても選択されていない場合には、180において、該文章が選択可能な要素から除外される。制限時間の代わりに、一度にユーザに提示される構造化された文章の数が制限されても良く、最も古い構造化された文章が、当該制限が到達されるたびに消去される。特定の実施例及び/又は特定のユーザの好みに依存して、除去された構造化された文章は、後の利用のために保存されても良いし、又は消去されても良い。
該システムは、ブロック110に戻るループによって示されているように、引き続きユーザの診断行動を監視し、診断レポートへの任意の挿入のための構造化された文章を生成する。このようにして、ユーザは、関連情報の診断レポートへの転記の必要から解放され、診断レポートの受信者は、より構造化された形式で関連情報を受け取り、これにより誤り及び/又は誤解を最小化する。
図3の選択可能な文章の以上の例は、診断システムとは独立して選択可能な文章を表示するレポートシステムを示しているが、選択工程は診断システムに一体化されても良いことは、当業者は認識するであろう。
図4は、医療診断システムから導出された情報の診断レポートシステムへの転送を容易化する、ユーザインタフェースの例を示す。本例においては、異なる時点における病変の寸法が、診断システムによってレポートされ、ユーザは、どの情報アイテム410A−C、420A−Bが診断レポートに挿入されるべきかを選択する選択肢を与えられる。直接的な実施例においては、ユーザは、マウスを使ってレポートの1つ以上を選択し、次いで「挿入」キー450上でクリックしても良い。音声認識システムにおいては、ユーザは「1番を挿入する」と発話して、そのことにより3つのレポート410A−Cを挿入しても良いし、又は、「最新のものを挿入する」と発話して、そのことによりレポート410A及び420Aを挿入しても良い。視線追跡の実施例においては、ユーザはレポートを凝視し、次いで該レポートを挿入するために2回瞬きをしても良い。
特定の実施例に依存して、選択され表示された情報は、診断レポートに直接にコピーされても良いし、又は、識別された骨格の形式を準拠するよう処理されても良い。
特に異なる販売者が異なる構成要素を提供している構成において、斯かる一体化を容易化するため、該診断システムは、表示されている情報を外部のシステムにエクスポートするよう構成されたものであっても良いアプリケーションプログラミングインタフェース(API)を含んでも良く、該レポートシステムが、これらAPIを用いて、閲覧システムから情報を取得しても良い。幾つかの実施例においては、該APIは、情報を直接に提供するように構成されても良いし、又は構造化された形式で情報を提供するように構成されても良い。即ち、本発明の処理は、複数の物理的なシステム間に分散されても良い。
一実施例においては、該APIは、例えば診断システムにおけるこれらパラメータの現在の値を返す「Get(body_part, modality, date)」といった呼び出しを介して、直接にパラメータを提供するように構成されても良い。診断システムが、構造化された文章を提供するよう構成された他の実施例においては、斯かる呼び出しは、図2の骨格250によって生成されるもののような構造化された文章を返す、「Get(Finding(所見))」の形をとるものであっても良い(図3Aにおける選択可能な要素5)。
図5は、医療画像から導出された情報の、診断レポートへの転送を容易化する、診断レポートシステムのブロック図の例を示す。図5の診断レポートシステムは、放射線医が診断画像閲覧システムを用いる状況において表される。
本実施例においては、放射線医はユーザインタフェース510を介して診断画像閲覧システムと相互作用し、診断工程の間に決定された構造化された文章が、該診断画像閲覧システムの一部であっても良いディスプレイ520において放射線医に提示される。コントローラ590は、診断レポートシステムにおける要素間の相互作用を管理するが、説明の容易さのため、図5におけるコントローラ590とその他の要素のそれぞれとの接続は図示されていない。
行動監視部530は、マウスのクリック/キーのストローク、検査の開始/終了、先行する検査のスクロール/閲覧、画像のリンク付け、病変の測定/注記付け、関連画像の検索及び提案等を含む、診断画像閲覧システムにおいて診断医により実行される行動を、常に監視する。
コンテキスト及び内容抽出部540は、診断画像閲覧システムにより提供されたインタラクション及び出力を評価し、現在の診断コンテキストを決定し、完了したタスクに関連する関連データを抽出する。抽出部540は、コンテキスト決定及びデータ抽出を容易化するため医療画像525に直接にアクセスしても良いし、診断画像閲覧システムの出力にアクセスしても良いし、又はその両方であっても良い。
抽出部540は、現在のコンテキストに依存して異なる評価を実行しても良い。例えば、放射線医が検査をロードしている又は閉じているときには、抽出部540は、どの検査がベースラインとして用いられているかを決定しても良い。以前の検査をスクロール、閲覧又は拡大する、及び/又は現在の画像と依然の画像とをリンク付けする放射線医の動作は、以前のどの検査が実際に用いられているかを特定することを容易化し、これによりベースラインを確立する。この場合には、該システムは、検査のそれぞれの日付、時刻、モダリティ、身体部分(検査の追加を含む)を自動的に捕捉する。
放射線医が病変を測定又は注記付けしているとき、抽出部540は、対象となる現在の所見を検出し、所見が注記付け又は測定されている検査の画像/シリーズ情報、日時、身体部分及びモダリティを自動的に捕捉しても良い。例えば抽出部540は、
−XY位置及び注記のテキスト、
−XY位置、所見の長さ/サイズ/体積/角度(利用可能である場合)、
−画像処理アルゴリズム又は解剖学的領域近似アルゴリズム(Zインデクスを用いる)の助力による、解剖学的な位置、身体部分、所見に関連する側性、
−DICOMメタデモからの画像の閲覧(軸方向/矢状方向/冠状方向)、
−所見の現在のウィンドウ幅/レベル、
−2つ/複数の測定が交差するか(そうである場合には単一の所見に併合する)、及び
−画像/シリーズ情報、日付、時刻、モダリティ、検査の身体部分(画像UID、シリーズUIDを含む)及び所見の現在のウィンドウ幅/レベルを含む、キー画像としての現在の画像
を捕捉しても良い。
抽出部540と診断画像閲覧システムとの間にもたらされるインタラクションのレベルに依存して、抽出部540は、コンテキスト及び内容情報を抽出するため種々の手法を用いても良い。例えば、診断画像閲覧システムがHL7メッセージを送信するよう構成され得る場合、抽出部540は、HL7フィードを受信/吸収するよう構成されても良い。診断画像閲覧システムが情報にアクセスするためのAPI(Application Program Interface)を提供する場合、抽出部540は、コンテキスト及び内容情報のためのAPIにクエリを送信するよう構成されても良い。幾つかの実施例においては、抽出部540は、放射線医が関連情報を「クリップボード」にコピーし、次いで該関連情報を「ペースト」コマンドを介して抽出部540に転送することを可能とするよう構成されても良い。コピーされた情報が画像閲覧システムからの画像として捕捉される場合、抽出部540は、該コピーされた画像から情報を抽出するテキスト認識要素を含んでも良い。
文章生成部550は、現在の動作及びそのコンテキストのテンプレート化された/形式化された記述を提供することにより、構造化された文章535を生成するため、抽出された情報を用いる。以上に詳述したように、現在の動作及びそのコンテキストの記述は、ユーザ間での一貫性を維持するため所定のテンプレートを用いても良く、自然言語処理を用いたレポートの容易な解析を可能とする。オントロジー及びテンプレートデータベース535は、構造化された文章555の当該生成を容易化する。
エクスポート部560は、ユーザインタフェース510を介して放射線医の選択を受信し、生成された文章を診断レポートへと選択的にコピー及びペーストする。エクスポート部560はまた、動作及びコンテキストの有効性をチェックし、それに応じてシステムメモリを更新する。動作が実行されたが生成された記述は消費されていない場合には、該生成された記述を無効化し、メモリから消去して、潜在的なデータの同期エラーを防ぐ。
エクスポート部560は、音声コマンド、マウスクリック、身振り等を含む、種々の方法で、以上に詳述したように、構造化された文章535の転送を実行しても良い。幾つかの実施例においては、エクスポート部560は、殆どのオペレーティングシステムに備えられた「クリップボード」を用いて選択された構造化された文章を受信/コピーし、従来のワードプロセッサとインタラクションすることによって該構造化された文章を診断レポートへとペーストする。
本発明は図面及び以上の記述において説明され記載されたが、斯かる説明及び記載は説明するもの又は例示的なものとみなされるべきであり、本発明は開示された実施例に限定されるものではない。
例えば、本発明は高度にインタラクティブな処理の状況において提示されたが、一実施例においては、診断医によるいずれの関与もなく、各診断が実行されている間に処理がバックグラウンドで実行されるよう、本発明を動作させることも可能である。出力されるレポートは、診断が完了した後に診断医によって編集され得るテキストファイルであっても良い。代替としては、該レポートは、診断医の動作、診断システムの自動化された動作、これら動作の結果、等を含む、診断工程を文書化するテキストファイルであっても良い。
図面、説明及び添付される請求項を読むことにより、請求される本発明を実施化する当業者によって、開示された実施例に対する他の変形が理解され実行され得る。請求項において、「有する(comprising)」なる語は他の要素又はステップを除外するものではなく、「1つの(a又はan)」なる不定冠詞は複数を除外するものではない。単一のプロセッサ又はその他のユニットが、請求項に列記された幾つかのアイテムの機能を実行しても良い。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これら手段の組み合わせが有利に利用されることができないことを示すものではない。コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光記憶媒体又は固体媒体のような適切な媒体上で保存/配布されても良いが、インターネット又はその他の有線若しくは無線通信システムを介してのような、他の形態で配布されても良い。請求項におけるいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。

Claims (15)

  1. プロセッサにより実行されたときに、前記プロセッサに、
    診断の閲覧中に医療画像に対して実行されるユーザの行動を監視してコンテキストを決定させ、
    前記コンテキストに基づいて関連データを決定させ、
    前記関連データを構造化された文章へと変換させ、
    前記構造化された文章を診断レポートへと挿入する選択肢をユーザに提供させ、
    前記ユーザが前記文章を挿入することを選択した場合、前記構造化された文章を含むように前記診断レポートを修正させる
    プログラムを含む、持続型コンピュータ読み取り可能媒体。
  2. 前記プログラムは、前記プロセッサに、
    前記関連データを複数の構造化された文章に変換させ、
    前記ユーザが前記構造化された文章の1つ以上を選択することを可能とさせ、
    前記選択された1つ以上の構造化された文章を含むように前記診断レポートを修正させる、
    請求項1に記載の媒体。
  3. 前記プログラムは、前記プロセッサに、前記複数の構造化された文章のそれぞれをメモリに保存させ、前記行動が監視された時間とは異なる時間においてユーザが前記複数の構造化された文章を取得することを可能とさせる、請求項2に記載の媒体。
  4. 前記プログラムは、前記プロセッサに、意味的オントロジーベースの照合処理を用いて、前記関連データを前記構造化された文章に変換させる、請求項1に記載の媒体。
  5. 前記プログラムは、前記プロセッサに、所定の語彙を用いて、前記関連データを前記構造化された文章に変換させる、請求項1に記載の媒体。
  6. 前記プログラムは、前記プロセッサに、前記医療画像の1つ以上において対象領域をユーザが示すことを可能とすることにより前記関連データを決定させる、請求項1に記載の媒体。
  7. 前記プログラムは、前記プロセッサに、前記医療画像の1つ以上をユーザが選択することを可能とすることにより前記コンテキストを決定させる、請求項1に記載の媒体。
  8. 前記プログラムは、前記プロセッサに、音声認識を用いて、前記構造化された文章を診断レポートへと挿入する選択肢をユーザが示すことを可能とさせる、請求項1に記載の媒体。
  9. 前記プログラムは、前記プロセッサに、前記構造化された文章の生成から所定の時間の後に前記構造化された文章を選択する選択肢を消去させる、請求項1に記載の媒体。
  10. 前記プログラムは、前記プロセッサに、前記構造化された文章のどこに前記関連データが配置されるべきかを特定する骨格形式に前記関連データの値を挿入することにより、前記関連データを前記構造化された文章に変換させる、請求項1に記載の媒体。
  11. 前記プログラムは、前記プロセッサに、ユーザが最初に患者の記録にアクセスしたときに前記関連データとして前記患者の識別情報を取得させ、新たに生成される診断レポートへの挿入のため前記構造化された文章として前記患者識別情報を変換させる、請求項1に記載の媒体。
  12. 前記プログラムは、前記プロセッサに、診断シーケンスのモデルに基づいて次のコンテキストを予測させる、請求項1に記載の媒体。
  13. 患者に関連する医療画像の供給源と、
    前記医療画像にアクセスする間のユーザの行動を監視する行動監視部と、
    前記ユーザの行動に基づいてコンテキストを決定するコンテキスト抽出部と、
    前記コンテキストに基づいて関連データを決定する内容抽出部と、
    前記関連データを構造化された文章に変換する文章生成部と、
    診断レポートへ含めるためユーザが前記構造化された文章を選択することを可能とするユーザインタフェースと、
    前記ユーザが挿入のため前記構造化された文章を選択した場合に、前記構造化された文章を前記診断レポートに挿入するエクスポート部と、
    を有する、診断レポートシステム。
  14. 前記文章生成部は、前記関連データを複数の構造化された文章に変換し、
    前記ユーザインタフェースは、ユーザが前記構造化された文章の1つ以上を選択することを可能とし、
    前記エクスポート部は、前記選択された1つ以上の構造化された文章を含むように前記診断レポートを修正する、
    請求項13に記載のシステム。
  15. 前記抽出部は、前記複数の構造化された文章のそれぞれをメモリに保存し、
    前記ユーザインタフェースは、前記行動が監視された時間とは異なる時間においてユーザが前記複数の構造化された文章を取得することを可能とする、
    請求項14に記載のシステム。
JP2017539237A 2015-02-05 2016-01-28 放射線レポートのためのレポート内容のコンテキスト生成 Active JP6914839B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562112183P 2015-02-05 2015-02-05
US62/112,183 2015-02-05
PCT/IB2016/050422 WO2016125053A1 (en) 2015-02-05 2016-01-28 Contextual creation of report content for radiology reporting

Publications (3)

Publication Number Publication Date
JP2018509689A true JP2018509689A (ja) 2018-04-05
JP2018509689A5 JP2018509689A5 (ja) 2019-02-28
JP6914839B2 JP6914839B2 (ja) 2021-08-04

Family

ID=55310856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017539237A Active JP6914839B2 (ja) 2015-02-05 2016-01-28 放射線レポートのためのレポート内容のコンテキスト生成

Country Status (5)

Country Link
US (1) US20180092696A1 (ja)
EP (1) EP3254211A1 (ja)
JP (1) JP6914839B2 (ja)
CN (2) CN120613063A (ja)
WO (1) WO2016125053A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11114186B2 (en) 2017-08-10 2021-09-07 Nuance Communications, Inc. Automated clinical documentation system and method
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术(北京)有限公司 用于标注医学图像的方法和装置
CN109583440B (zh) * 2017-09-28 2021-12-17 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
US20190272902A1 (en) 2018-03-05 2019-09-05 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11250382B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
EP3762921A4 (en) 2018-03-05 2022-05-04 Nuance Communications, Inc. AUTOMATED CLINICAL DOCUMENTATION SYSTEM AND PROCESS
CA3100091C (en) * 2018-05-15 2023-10-24 Intex Holdings Pty Ltd Expert report editor
CN109545302B (zh) * 2018-10-22 2023-12-22 复旦大学 一种基于语义的医学影像报告模板生成方法
US10957442B2 (en) * 2018-12-31 2021-03-23 GE Precision Healthcare, LLC Facilitating artificial intelligence integration into systems using a distributed learning platform
US11227679B2 (en) 2019-06-14 2022-01-18 Nuance Communications, Inc. Ambient clinical intelligence system and method
US11216480B2 (en) 2019-06-14 2022-01-04 Nuance Communications, Inc. System and method for querying data points from graph data structures
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11699508B2 (en) 2019-12-02 2023-07-11 Merative Us L.P. Method and apparatus for selecting radiology reports for image labeling by modality and anatomical region of interest
US11720921B2 (en) * 2020-08-13 2023-08-08 Kochava Inc. Visual indication presentation and interaction processing systems and methods
US11222103B1 (en) 2020-10-29 2022-01-11 Nuance Communications, Inc. Ambient cooperative intelligence system and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223129A (ja) * 1996-02-16 1997-08-26 Toshiba Corp 文書処理支援方法および文書処理支援装置
JP2005027978A (ja) * 2003-07-09 2005-02-03 Fujitsu Ltd 医療情報システム
JP2009259000A (ja) * 2008-04-16 2009-11-05 Fujifilm Corp 文書作成支援装置、文書作成支援方法、並びに文書作成支援プログラム
US20130251233A1 (en) * 2010-11-26 2013-09-26 Guoliang Yang Method for creating a report from radiological images using electronic report templates
EP2657866A1 (en) * 2012-04-24 2013-10-30 Koninklijke Philips N.V. Creating a radiology report
US20150032471A1 (en) * 2013-07-29 2015-01-29 Mckesson Financial Holdings Method and computing system for providing an interface between an imaging system and a reporting system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
CN1934589A (zh) * 2004-03-23 2007-03-21 美国西门子医疗解决公司 为医学成像提供自动决策支持的系统和方法
DE102007020364A1 (de) * 2007-04-30 2008-11-06 Siemens Ag Bereitstellen eines medizinischen Berichtes
US8588485B2 (en) * 2008-11-25 2013-11-19 Carestream Health, Inc. Rendering for improved diagnostic image consistency
CN102365641A (zh) * 2009-03-26 2012-02-29 皇家飞利浦电子股份有限公司 基于诊断信息自动检索报告模板的系统
US8726324B2 (en) * 2009-03-27 2014-05-13 Motorola Mobility Llc Method for identifying image capture opportunities using a selected expert photo agent
US10762168B2 (en) * 2010-04-19 2020-09-01 Koninklijke Philips N.V. Report viewer using radiological descriptors
CN102883660A (zh) * 2010-09-20 2013-01-16 德克萨斯州大学系统董事会 高级多媒体结构化报告
US10372802B2 (en) * 2011-03-25 2019-08-06 Koninklijke Philips N.V. Generating a report based on image data
EP2669812A1 (en) * 2012-05-30 2013-12-04 Koninklijke Philips N.V. Providing assistance with reporting
US9904966B2 (en) * 2013-03-14 2018-02-27 Koninklijke Philips N.V. Using image references in radiology reports to support report-to-image navigation
US10339504B2 (en) * 2014-06-29 2019-07-02 Avaya Inc. Systems and methods for presenting information extracted from one or more data sources to event participants
US20160124937A1 (en) * 2014-11-03 2016-05-05 Service Paradigm Pty Ltd Natural language execution system, method and computer readable medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223129A (ja) * 1996-02-16 1997-08-26 Toshiba Corp 文書処理支援方法および文書処理支援装置
JP2005027978A (ja) * 2003-07-09 2005-02-03 Fujitsu Ltd 医療情報システム
JP2009259000A (ja) * 2008-04-16 2009-11-05 Fujifilm Corp 文書作成支援装置、文書作成支援方法、並びに文書作成支援プログラム
US20130251233A1 (en) * 2010-11-26 2013-09-26 Guoliang Yang Method for creating a report from radiological images using electronic report templates
EP2657866A1 (en) * 2012-04-24 2013-10-30 Koninklijke Philips N.V. Creating a radiology report
US20150032471A1 (en) * 2013-07-29 2015-01-29 Mckesson Financial Holdings Method and computing system for providing an interface between an imaging system and a reporting system

Also Published As

Publication number Publication date
JP6914839B2 (ja) 2021-08-04
CN120613063A (zh) 2025-09-09
EP3254211A1 (en) 2017-12-13
WO2016125053A1 (en) 2016-08-11
CN107209809A (zh) 2017-09-26
US20180092696A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
JP6914839B2 (ja) 放射線レポートのためのレポート内容のコンテキスト生成
US20220199230A1 (en) Context driven summary view of radiology findings
JP5736007B2 (ja) 検査報告書を生成する装置、システム、方法およびプログラム
JP6796060B2 (ja) 画像レポート注釈同定
JP7258772B2 (ja) 全人的患者放射線医療ビューワ
US12292893B2 (en) Automated contextual determination of ICD code relevance for ranking and efficient consumption
JP2012094127A (ja) 診断結果説明レポート作成装置、診断結果説明レポート作成方法ならびに診断結果説明レポート作成プログラム
US10282516B2 (en) Medical imaging reference retrieval
US7418120B2 (en) Method and system for structuring dynamic data
CN107077528A (zh) 具有基于文本识别的文本图像链接的图片归档系统
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
JP7102509B2 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
US8923582B2 (en) Systems and methods for computer aided detection using pixel intensity values
JP2019149005A (ja) 医療文書作成支援装置、方法およびプログラム
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
US10235360B2 (en) Generation of pictorial reporting diagrams of lesions in anatomical structures
WO2025155564A1 (en) Consistent finding item categorization
US20200043583A1 (en) System and method for workflow-sensitive structured finding object (sfo) recommendation for clinical care continuum
KR20210148132A (ko) 스닙-트리거링된 디지털 영상 보고서 생성
US20220139512A1 (en) Mapping pathology and radiology entities
JP7832807B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7809926B2 (ja) 解析装置、解析方法及びプログラム
US20230099284A1 (en) System and method for prognosis management based on medical information of patient
JP7748454B2 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
JP7840933B2 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200526

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210301

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210301

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20210311

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210419

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210714

R150 Certificate of patent or registration of utility model

Ref document number: 6914839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250