JP7420914B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本開示は、読影レポート等の文書の作成を支援するための情報処理装置、情報処理方法及び情報処理プログラムに関する。

近年、ＣＴ(Computed Tomography)装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像及びＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。

また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる病変等の関心構造物の形状、濃度、位置及び大きさ等の性状を判別することが行われている。このようにして得られる解析結果は、患者名、性別、年齢及び医用画像を取得した撮影装置等の検査情報と対応づけられて、データベースに保存される。医用画像及び解析結果は、医用画像の読影を行う読影医の端末に送信される。読影医は、自身の読影端末において、配信された医用画像及び解析結果を参照して医用画像の読影を行い、読影レポートを作成する。

一方、上述したＣＴ装置およびＭＲＩ装置の高性能化に伴い、読影を行う医用画像の数は増大している。そこで、読影医の読影業務の負担を軽減するために、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、読影医が入力したキーワード及び医用画像の解析結果に含まれる、病変等の関心構造物の性状を表す情報（以下、「性状情報」という）に基づいて、読影レポートに記載するための文章を生成する手法が開示されている（特開２０１９－１５３２５０号公報参照）。特開２０１９－１５３２５０号公報に記載の技術では、入力された性状情報を表す文字から文章を生成するように学習が行われたリカレントニューラルネットワーク等の機械学習がなされた学習モデルを用いて、読影レポートに記載するための文章が作成される。

しかしながら、特開２０１９－１５３２５０号公報に記載の学習モデルによって生成される文章の内容は、必ずしも医用画像に含まれる病変等の関心構造物の性状と一致するとは限らない。例えば、学習モデルが、結節影に関する学習データとして、「充実性」と「スピキュラ」とが同一の文章に含まれる学習データを多く学習したとする。この場合、文章を生成する対象の医用画像に「充実性」の結節影を認めると、当該結節影に「スピキュラ」は認められないにも関わらず、「充実性」と「スピキュラ」とを含む文章を生成してしまう場合がある。

本開示は、読影レポート等の文書の作成を支援できる情報処理装置、情報処理方法及び情報処理プログラムを提供する。

本開示の第１の態様は、情報処理装置であって、少なくとも１つのプロセッサを備え、プロセッサが、少なくとも１つの画像から、予め定められた性状項目の性状について判定を行い、画像から、当該画像に関する複数の文字列を生成し、判定の結果に基づいて、複数の文字列ごとに、文字列を文書に記載することの推奨度合を示す推奨スコアを導出する場合に、複数の文字列ごとに、文字列の流暢さの度合を示す第３スコアを導出し、少なくとも第３スコアに基づいて、推奨スコアを導出する。

本開示の第２の態様は、上記態様において、プロセッサが、複数の文字列ごとに、文字列の内容が判定の結果と一致している度合を示す第１スコアと、文字列に含まれる文字の数、又は文字列に含まれる性状項目に対応する項目の数が適切である度合を示す第２スコアと、を導出し、第１乃至第３のスコアに基づいて、推奨スコアを導出してもよい。

本開示の第３の態様は、上記態様において、プロセッサが、画像から、性状の顕著性を示す第４スコアを導出し、文字列に含まれる性状項目に対応する項目に対応する第４スコアに基づいて、推奨スコアを導出してもよい。

本開示の第４の態様は、上記態様において、プロセッサが、複数の文字列ごとに、文字列の内容が予め定められた規則に適合している度合を示す第５スコアを導出し、第５スコアに基づいて、推奨スコアを導出してもよい。

本開示の第５の態様は、上記第４の態様において、規則が、ユーザによって予め定められた規則であってもよい。

本開示の第６の態様は、上記第４及び第５の態様において、プロセッサが、予め定められた複数の規則の各々について、解析用の文字列の内容が、当該規則に適合している度合を示す第６スコアを導出し、複数の文字列ごとに、文字列の内容が適合している規則の第６スコアを用いて、第５スコアを導出してもよい。

本開示の第７の態様は、上記態様において、プロセッサが、少なくとも１つの文字列、及び当該文字列に対応する推奨スコアを、ディスプレイに表示する制御を行ってもよい。

本開示の第８の態様は、上記態様において、プロセッサが、推奨スコアの順に並べて、複数の文字列をディスプレイに表示する制御を行ってもよい。

本開示の第９の態様は、上記態様において、プロセッサが、複数の文字列のうち、予め定められた閾値以上の推奨スコアを有する文字列を、ディスプレイに表示する制御を行ってもよい。

本開示の第１０の態様は、上記態様において、プロセッサが、複数の文字列のうち、最も高い推奨スコアを有する文字列を、ディスプレイに強調して表示する制御を行ってもよい。

本開示の第１１の態様は、情報処理方法であって、少なくとも１つの画像から、予め定められた性状項目の性状について判定を行い、画像から、当該画像に関する複数の文字列を生成し、判定の結果に基づいて、複数の文字列ごとに、文字列を文書に記載することの推奨度合を示す推奨スコアを導出する場合に、複数の文字列ごとに、文字列の流暢さの度合を示す第３スコアを導出し、少なくとも第３スコアに基づいて、推奨スコアを導出する処理をコンピュータが実行するものである。

本開示の第１２の態様は、情報処理プログラムであって、少なくとも１つの画像から、予め定められた性状項目の性状について判定を行い、画像から、当該画像に関する複数の文字列を生成し、判定の結果に基づいて、複数の文字列ごとに、文字列を文書に記載することの推奨度合を示す推奨スコアを導出する場合に、複数の文字列ごとに、文字列の流暢さの度合を示す第３スコアを導出し、少なくとも第３スコアに基づいて、推奨スコアを導出する処理をコンピュータに実行させるためのものである。

上記態様によれば、本開示の情報処理装置、情報処理方法及び情報処理プログラムは、読影レポート等の文書の作成を支援できる。

各例示的実施形態に係る医療情報システムの概略構成の一例を示す図である。 各例示的実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 各例示的実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 医用画像を模式的に示す図である。 性状項目の性状を判定する処理を説明するための図である。 医用画像に関する所見文の一例を示す図である。 第１例示的実施形態に係る推奨スコアの一例を示す図である。 各例示的実施形態に係る読影レポートの作成画面の一例を示す図である。 各例示的実施形態に係る情報処理の一例を示すフローチャートである。 第２例示的実施形態に係る第４スコアの一例を示す図である。 第２例示的実施形態に係る推奨スコアの一例を示す図である。 第３例示的実施形態に係る規則の一例を示す図である。 第３例示的実施形態に係る第５スコア及び推奨スコアの一例を示す図である。 第３例示的実施形態に係るユーザによって定められた規則の一例を示す図である。 第３例示的実施形態に係る第６スコアの一例を示す図である。 第３例示的実施形態に係る第５スコア及び推奨スコアの一例を示す図である。 各例示的実施形態に係る推奨スコアの一例を示す図である。

以下、図面を参照して本開示の各例示的実施形態について説明する。

［第１例示的実施形態］
まず、本開示の情報処理装置を適用した医療情報システム１の構成について説明する。

図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、及び依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。

図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像ＤＢ（DataBase）６、レポートサーバ７及びレポートＤＢ８が、有線又は無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。

各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）及びＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。

撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、及びＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。

読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影及び読影レポートの作成等に利用するコンピュータであり、本例示的実施形態に係る情報処理装置２０（詳細は後述）を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に関する所見文の入力受付が行われる。また、読影ＷＳ３では、医用画像に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、及びレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。

診療ＷＳ４は、例えば診療科の医師が、画像の詳細観察、読影レポートの閲覧、及び電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボード及びマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、及びレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。

画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）及びＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。

画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。

また、画像サーバ５は、読影ＷＳ３及び診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３及び診療ＷＳ４に送信する。

レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。

レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、及び性状の判定の結果（詳細は後述）等の情報を含んでいてもよい。

また、レポートサーバ７は、読影ＷＳ３及び診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３及び診療ＷＳ４に送信する。

ネットワーク１０は、病院内の各種機器を接続する有線又は無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネット又は専用回線で接続した構成としてもよい。

次に、本例示的実施形態に係る情報処理装置２０について説明する。

まず、図２を参照して、本例示的実施形態に係る情報処理装置２０のハードウェア構成を説明する。図２に示すように、情報処理装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性の記憶部１３、及び一時記憶領域としてのメモリ１６を含む。また、情報処理装置２０は、液晶ディスプレイ及び有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力部１５、及びネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、記憶部１３、ディスプレイ１４、入力部１５、メモリ１６及びネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。

記憶部１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等の記憶装置によって実現される。記憶媒体としての記憶部１３には、情報処理プログラム１２が記憶される。ＣＰＵ１１は、記憶部１３から情報処理プログラム１２を読み出してからメモリ１６に展開し、展開した情報処理プログラム１２を実行する。

次に、図３～図８を参照して、本例示的実施形態に係る情報処理装置２０の機能的な構成を説明する。図３に示すように、情報処理装置２０は、取得部２１、判定部２２、生成部２３、導出部２４及び表示制御部２５を含む。ＣＰＵ１１が情報処理プログラム１２を実行することにより、取得部２１、判定部２２、生成部２３、導出部２４及び表示制御部２５として機能する。

取得部２１は、画像の一例としての医用画像Ｇ０を、ネットワークＩ／Ｆ１７を介して画像サーバ５から取得する。図４は、医用画像Ｇ０を模式的に示す図である。本例示的実施形態においては、一例として、肺のＣＴ画像を医用画像Ｇ０として用いている。医用画像Ｇ０には、病変等の関心構造物の一例としての結節影Ｎが含まれている。

判定部２２は、少なくとも１つの医用画像Ｇ０から、予め定められた性状項目の性状について判定を行う。具体的には、判定部２２は、ＣＡＤ等により医用画像Ｇ０を解析し、医用画像Ｇ０に含まれる病変の位置、種類及び大きさを特定する。そして、特定した病変に関する予め定められた性状項目の性状が陽性であるか陰性であるかを判定する。すなわち、性状項目は、病変の位置、種類及び大きさの少なくとも１つに応じて予め定められ、記憶部１３に記憶されている項目である。図５は、結節影Ｎに関する予め定められた性状項目と、判定部２２による各性状項目の性状の判定結果と、を示す。結節影Ｎに関する性状項目として、例えば、辺縁の形状（分葉状、スピキュラ）、吸収値（充実性、スリガラス）、境界の明瞭性、石灰化の有無、胸膜陥入の有無などが挙げられる。図５において、「＋」は当該性状が陽性であることを意味し、「－」は当該性状が陰性であることを意味する。

生成部２３は、医用画像Ｇ０から、医用画像Ｇ０に関する、記載内容又は表現が互いに異なる複数の文字列を生成する。図６は、医用画像Ｇ０に含まれる結節影Ｎに関する、複数の文字列の一例としての所見文の候補を示す。生成部２３による所見文の生成方法としては、例えば、特開２０１９－１５３２５０号公報に記載のリカレントニューラルネットワーク等の機械学習がなされた学習モデルを適用することができる。このような学習モデルを適用する場合、生成部２３は、判定部２２による判定とは別途、生成部２３がＣＡＤ等により医用画像Ｇ０を解析し、生成部２３による解析の結果を学習モデルに入力することで、所見文を生成してもよい。また、判定部２２による判定の結果を学習モデルに入力することで、所見文を生成してもよい。

ところで、生成部２３により生成される所見文の内容は、必ずしも医用画像Ｇ０に含まれる結節影Ｎの性状と一致するとは限らない。例えば、上記学習モデルが、結節影に関する学習データとして、「充実性」と「スピキュラ」とが同一の文章に含まれる学習データを多く学習したとする。この場合、所見文を生成する対象の医用画像Ｇ０に「充実性」の結節影Ｎを認めると、対象の結節影Ｎに「スピキュラ」は認められないにも関わらず、「充実性」と「スピキュラ」とを含む文章を生成してしまう場合がある。

また、読影レポートに記載される所見文は、所見文に含まれる文字の数、又は所見文に含まれる性状項目に対応する項目の数が適切であることが好ましい。例えば、文字の数又は項目の数が少ない簡潔な所見文を好む読影医もいれば、文字の数又は項目の数を多くして内容が充実した所見文を好む読影医もいる。さらに、読影レポートに記載される所見文は、自然言語として自然であること、すなわち流暢であることが好ましい。

そこで、本例示的実施形態に係る導出部２４は、判定部２２による判定の結果に基づいて、生成部２３によって生成された複数の所見文ごとに、所見文を文書に記載することの推奨度合を示す推奨スコアを導出する。具体的には、導出部２４は、複数の所見文ごとに、第１スコア、第２スコア及び第３スコアを導出し、第１～第３スコアに基づいて、推奨スコアを導出する。第１スコアは、所見文の内容が判定部２２による判定の結果と一致している度合を示すスコアである。第２スコアは、所見文に含まれる文字の数、又は所見文に含まれる性状項目に対応する項目の数が適切である度合を示すスコアである。第３スコアは、所見文の流暢さの度合を示すスコアである。

図５～７を参照して、導出部２４が導出する第１～第３スコアについて説明する。図７は、図６に示す複数の所見文の各々について導出された第１～第３スコア及び推奨スコアの一例を示す。図７に示す各スコアは、最大値を１、最小値を０とする値であり、１に近いほど良好であることを示す。

まず、第１スコアについて説明する。例えば、図５に示す判定部２２による判定の結果と、図６に示す各所見文の内容を照合すると、候補Ａ、Ｃ及びＤの所見文の内容は、判定部２２による判定の結果と一致している。したがって、導出部２４は、候補Ａ、Ｃ及びＤの所見文の第１スコアを１．０と導出する。一方、判定部２２による「辺縁／スピキュラ」の判定結果は陰性であるが、候補Ｂの所見文には、「スピキュラを伴います。」という記述が含まれている。したがって、候補Ｂの所見文の内容は、判定部２２による判定の結果と一部が一致せず、導出部２４は、候補Ｂの第１スコアを他の候補よりも低い０．４と導出する。

次に、第２スコアについて説明する。第２スコアの導出の基準となる適切な文字の数、又は適切な項目の数は、予め定められているか、又はユーザが任意に設定できるものとする。例えば、適切な項目の数が６であるとする。候補Ａ、Ｂ及びＤには、位置（「右上葉Ｓ３」）、大きさ（「長径２１ｍｍ」）、吸収値（「充実性」）、病変の種類（「結節」）、辺縁の形状（「分葉状」又は「スピキュラ」）、及び石灰化の有無の６つの項目が含まれている。したがって、導出部２４は、候補Ａ、Ｂ及びＤの所見文に含まれる項目の数は適切であると判断し、候補Ａ、Ｂ及びＤの第２スコアを１．０と導出する。一方、候補Ｃの所見文には、位置、大きさ、吸収値、病変の種類、胸膜陥入の有無の５つの項目しか含まれていない。したがって、導出部２４は、候補Ｃの所見文は所見文に含まれる性状項目に対応する項目の数が適切でないと判断し、候補Ｃの第２スコアを他の候補よりも低い０．６と導出する。

次に、第３スコアについて説明する。候補Ａ、Ｂ及びＣの所見文は、自然言語（図６の例では日本語）として自然で、流暢な文章であるから、導出部２４は、候補Ａ、Ｂ及びＣの第３スコアを１．０と導出する。一方、候補Ｄの所見文には、「分葉状で、。」という記述が含まれている。したがって、導出部２４は、候補Ｄの所見文は自然言語として自然ではない部分が含まれており、流暢ではない文章であると判断し、候補Ｄの第３スコアを他の候補よりも低い０．２と導出する。なお、所見文が自然言語として自然であるか否かの判断の手法としては、公知の誤字検出手法等を適用することができる。

導出部２４は、以上のようにして導出した第１～第３スコアの加重平均を、推奨スコアとして導出する。図７では、第１スコアの重みを０．４とし、第２スコアの重みを０．２とし、第３スコアの重みを０．４とした場合の例を示している。図７の例からは、１．００の推奨スコアを有する候補Ａの所見文を文書に記載することが最も推奨されることが分かる。なお、推奨スコアの導出に用いる各スコアの重みは、予め定められていてもよいし、ユーザが任意に設定できるようにしてもよい。また、加重平均に限らず、第１～第３スコアの合計、算術平均、最大値及び最小値等の任意の代表値を推奨スコアとしてもよい。また、第１～第３スコアのうち任意のスコアを選択的に用いて、推奨スコアを導出してもよい。

表示制御部２５は、少なくとも１つの所見文、及び当該所見文に対応する推奨スコアを、ディスプレイ１４に表示する制御を行う。図８は、ディスプレイ１４に表示される、読影レポートの作成画面３０の一例を示す図である。作成画面３０には、医用画像Ｇ０が表示される画像表示領域３１と、判定部２２による判定の結果が表示される判定結果表示領域３２と、生成部２３により生成された複数の所見文の候補が表示される所見文表示領域３３と、が含まれる。

所見文表示領域３３には、所見文が表示される少なくとも１つのテキストボックス３４と、ユーザが何れか１つの所見文を選択するためのラジオボタン３５と、キャンセル及び決定のボタン３７と、が表示される。また、テキストボックス３４の各々に表示される所見文に対応する推奨スコアも表示される。なお、所見文表示領域３３に表示される所見文の候補の数を変更するためのプルダウンメニュー３６を設け、ユーザが、作成画面３０に表示される所見文の候補の数を任意に変更できるようにしてもよい。

ユーザは、判定結果表示領域３２に表示される判定の結果、及び所見文表示領域３３に表示される推奨スコアを参考にしつつ、何れかの所見文をラジオボタン３５で選択する。本例示的実施形態に係る作成画面３０には、各所見文に対応する推奨スコアが表示されているので、ユーザは、文書に記載する所見文を選択する場合に参考にすることができる。

なお、表示制御部２５は、推奨スコアの順に並べて、複数の所見文をディスプレイに表示する制御を行うことが好ましい。図８の例では、推奨スコアが高い順に、候補Ａ、候補Ｃ及び候補Ｂが、それぞれ第１候補、第２候補及び第３候補として表示されている。このように推奨スコアの順に並べることで、複数の所見文を提示しながらも、ユーザが文書に記載する所見文を素早く選択することを支援することができる。

また、表示制御部２５は、複数の所見文のうち、最も高い推奨スコアを有する所見文を、ディスプレイに強調して表示する制御を行うことが好ましい。図８の例では、最も高い推奨スコアを有する第１候補の所見文のテキストボックス３４を太枠にして強調している。このように最も高い推奨スコアを有する所見文を強調して表示することで、複数の所見文を提示しながらも、ユーザが文書に記載する所見文を素早く選択することを支援することができる。

また、表示制御部２５は、複数の所見文のうち、予め定められた閾値以上の推奨スコアを有する所見文を、ディスプレイに表示する制御を行ってもよい。閾値は、例えば、予め定められていてもよいし、ユーザが任意に設定できるものとしてもよい。一例として、閾値を０．９とした場合は、候補Ａ及びＣの所見文のみがディスプレイに表示される。このように予め定められた閾値以上の推奨スコアを有する所見文を表示することで、推奨される度合の高い所見文のみを提示することができるので、ユーザが文書に記載する所見文を素早く選択することを支援することができる。

次に、図９を参照して、本例示的実施形態に係る情報処理装置２０の作用を説明する。ＣＰＵ１１が情報処理プログラム１２を実行することによって、図９に示す情報処理が実行される。図９に示す情報処理は、例えば、医用画像Ｇ０の読影レポートの作成開始の指示が、入力部１５を介して入力された場合に実行される。

図９のステップＳ１０で、取得部２１は、医用画像Ｇ０を画像サーバ５から取得する。ステップＳ１２で、判定部２２は、ステップＳ１０で取得した医用画像Ｇ０に含まれる病変の位置、種類及び大きさを特定し、特定した病変に関する予め定められた性状項目の性状を判定する。ステップＳ１４で、生成部２３は、医用画像Ｇ０から、医用画像Ｇ０に関する所見文を生成する。なお、ステップＳ１２とステップＳ１４の処理は並行してもよいし、逆順で行ってもよい。

ステップＳ１６で、導出部２４は、ステップＳ１２の判定の結果に基づいて、ステップＳ１４で生成した所見文ごとに、推奨スコアを導出する。ステップＳ１８で、表示制御部２５は、ステップＳ１４で生成した所見文と、当該所見文に対応する推奨スコアをディスプレイ１４に表示する制御を行い、処理を終了する。

以上説明したように、本例示的実施形態に係る情報処理装置２０は、第１スコア、第２スコア及び第３スコアに基づいて、推奨スコアを導出する。したがって、内容が判定の結果と一致しており、文字の数又は性状項目に対応する項目の数が適切であり、流暢な文章で構成されている度合が高い所見文を、推奨される所見文として提示することができる。これにより、ユーザによる読影レポート等の文書の作成を支援することができる。

［第２例示的実施形態］
次に、本開示の第２例示的実施形態を説明する。本例示的実施形態に係る情報処理装置２０は、判定部２２が性状の判定とともに第４スコアを出力し、導出部２４が、第１～第３スコアに代えて第４スコアに基づき、推奨スコアを導出する。本例示的実施形態に係る医療情報システム１の構成（図１参照）、及び情報処理装置２０のハードウェア構成（図２参照）は、第１例示的実施形態と同様であるため、説明を省略する。また、情報処理装置２０の機能的な構成（図３参照）について、重複する説明を省略する。

判定部２２は、少なくとも１つの医用画像Ｇ０から、予め定められた性状項目の性状の顕著性を示す第４スコアを導出する。そして、第４スコアに基づいて、性状の判定を行う。「性状の顕著性」とは、判定対象の医用画像Ｇ０に性状の特徴が表れている度合を意味し、換言すると、判定部２２による判定の結果の確信度とも言える。具体的には、判定部２２は、ＣＡＤ等により医用画像Ｇ０を解析し、医用画像Ｇ０に含まれる病変の位置、種類及び大きさを特定する。そして、特定した病変に関する予め定められた性状項目の性状の特徴が医用画像Ｇ０に表れているかを判定し、その特徴の顕著性に応じて、第４スコアを導出する。なお、判定部２２は、例えば、第４スコアが閾値以上である性状項目を、陽性であると判定してもよい。

図１０は、図４の結節影Ｎに関する性状項目の性状の判定の結果及び第４スコアの一例を示している。第４スコアは、最大値を１、最小値を０とする値であり、１に近いほど対応する性状項目の性状の顕著性が高いことを示す。例えば、図１０の例では、「吸収値／充実」の第４スコアは０．９８と１に近いので、結節影Ｎには充実性が顕著に認められるということが分かる。一方、「石灰化」の第４スコアは０．０８と０に近いので、結節影Ｎには石灰化がほとんど認められないということが分かる。

導出部２４は、生成部２３が生成した所見文に含まれる性状項目に対応する項目に対応する第４スコアに基づいて、推奨スコアを導出する。図１１に、図１０の第４スコアに基づいて導出された、図６の候補Ａ～Ｄの所見文ごとの推奨スコアを示す。例えば、候補Ａの所見文には、「吸収値／充実」の性状項目に対応する項目の記述（「充実性」）、「辺縁／分葉状」の性状項目に対応する項目の記述（「分葉状」）、及び「石灰化」の性状項目に対応する項目の記述（「石灰化は認めません」）が含まれている。導出部２４は、これらの各項目に対応する第４スコア０．９８、０．６５、０．０８に基づいて、推奨スコアを導出する。図１１の例では、第４スコアの算術平均を推奨スコアとしたが、これに限らず、例えば、第４スコアの合計、加重平均、最大値及び最小値等の任意の代表値を用いることができる。

また、候補Ａの所見文の「石灰化は認めません」という記述のように、低い第４スコアを有する性状項目を否定の文章として記載する場合、所見文の内容は、判定部２２による判定の結果と一致している。したがって、図１１に例示するように、「石灰化」の性状項目に対応する第４スコアとして、（１－０．０８）の値を用いてもよい。

以上説明したように、本例示的実施形態に係る情報処理装置２０は、第４スコアに基づいて推奨スコアを導出する。したがって、判定対象の医用画像Ｇ０に性状の特徴が強く表れており、判定部２２による判定の結果の確信度が高い性状項目を記載した所見文を、推奨される所見文として提示することができ、ユーザによる読影レポート等の文書の作成を支援することができる。

［第３例示的実施形態］
次に、本開示の第３例示的実施形態を説明する。本例示的実施形態に係る情報処理装置２０は、導出部２４が、第１～第４スコアに代えて、第５スコアに基づき、推奨スコアを導出するものである。本例示的実施形態に係る医療情報システム１の構成（図１参照）、及び情報処理装置２０のハードウェア構成（図２参照）は、第１例示的実施形態と同様であるため、説明を省略する。また、情報処理装置２０の機能的な構成（図３参照）について、重複する説明を省略する。

導出部２４は、複数の所見文ごとに、所見文の内容が予め定められた規則に適合している度合を示す第５スコアを導出し、第５スコアに基づいて、推奨スコアを導出する。予め定められた規則とは、所見文に記載する性状項目の選び方について、病変の種類ごとに予め定められた規則であり、記憶部１３に記憶されている。図１２は、図４の結節影Ｎに関する性状項目についての規則の一例を示す。規則としては、例えば、記載を必須とする性状項目の規則（「必須／辺縁の形状」等）、及び性状に応じた規則（「全ての陽性の性状項目」等）等を用いることができる。

図１３は、図６に示す複数の所見文の各々について導出された第５スコア及び推奨スコアの一例を示す。第５スコアは、最大値を１、最小値を０とする値であり、１に近いほど所見文の内容が規則に適合していることを示す。例えば、図１２に示す規則と、図６に示す各所見文の内容とを照合すると、候補Ａ及びＤの所見文の内容は、図１２に示す全ての規則と適合している。したがって、導出部２４は、候補Ａ及びＤの所見文の第５スコアを１．０と導出する。

一方、判定部２２による「辺縁／分葉状」の判定結果は陽性であるが（図５参照）、候補Ｂの所見文には分葉状に関する記載がない。したがって、候補Ｂの所見文の内容は、「全ての陽性の性状項目」の規則と適合せず、導出部２４は、候補Ｂの第５スコアを候補Ａ及びＤの所見文よりも低い０．６と導出する。また、候補Ｃの所見文には、辺縁の形状及び石灰化に関する記載がなく、陽性と判定されている分葉状に関する記載もない。したがって、候補Ｃの所見文の内容は、「必須／辺縁の形状」、「必須／石灰化」、及び「全ての陽性の性状項目」の規則と適合せず、導出部２４は、候補Ｃの第５スコアを候補Ａ、Ｂ及びＤの所見文よりも低い０．１と導出する。導出部２４は、以上のようにして導出される第５スコアを、推奨スコアとして導出する。

以上説明したように、本例示的実施形態に係る情報処理装置２０は、第５スコアに基づいて推奨スコアを導出する。したがって、所見文の内容が予め定められた規則に適合している度合の高い所見文を、推奨される所見文として提示することができ、ユーザによる読影レポート等の文書の作成を支援することができる。

なお、予め定められた規則として、ユーザによって予め定められた規則を用いてもよい。例えば、導出部２４による第５スコアの導出に先立って、表示制御部２５が、予め定められた複数の規則のうち任意の規則を選択するためのチェックボックスを備えた画面をディスプレイ１４に表示し、ユーザによる選択を受け付けるようにしてもよい。

図１４は、予め定められた複数の規則のうち、ユーザによって、「必須／辺縁の形状」、「必須／石灰化」、及び「全ての陽性の性状項目」の規則が選択された例を示す図である。この場合、導出部２４は、各所見文の内容が、選択された規則に適合している度合に応じて、第５スコアを導出する。このように、ユーザによって予め定められた規則を用いることで、ユーザの好みに応じた所見文を推奨される所見文として提示することができ、ユーザによる読影レポート等の文書の作成を支援することができる。

また、導出部２４は、予め定められた複数の規則の各々について、解析用の文字列の内容が、当該規則に適合している度合を示す第６スコアを導出し、複数の所見文ごとに、所見文の内容が適合している規則の第６スコアを用いて、第５スコアを導出してもよい。解析用の文字列とは、例えば、過去に作成された読影レポートに記載された所見文（以下、「過去の所見文」という）である。

図１５は、予め定められた複数の規則の各々について、過去の所見文の内容から導出された第６スコアを示す。例えば、過去の所見文のうち、９５％の過去の所見文に、辺縁の形状に関する記述が含まれていたとする。この場合、導出部２４は、「必須／辺縁の形状」に関する第６スコアを、０．９５として導出する。

また、過去に作成された読影レポートに医用画像が含まれている場合、導出部２４は、当該医用画像を解析して性状を判定し、当該医用画像に対応する所見文の内容から、性状に応じた規則に関する第６スコアを導出してもよい。例えば、過去の所見文のうち、９３％の過去の所見文に、当該所見文に対応する医用画像に含まれる全ての陽性の性状項目に関する記述が含まれていたとする。この場合、導出部２４は、「全ての陽性の性状項目」に関する第６スコアを、０．９３として導出する。

図１６に、図１５の第６スコアに基づいて導出された、図６の候補Ａ～Ｄの所見文ごとの第５スコア及び推奨スコアを示す。例えば、候補Ａの所見文は、「必須／辺縁の形状」、「必須／石灰化」、及び「全ての陽性の性状項目」の各々の規則に適合している。導出部２４は、これらの各規則に対応する第６スコア０．９５、０．８８、０．９３に基づいて、第５スコアを導出する。図１６の例では、所見文が適合する規則の第６スコアの算術平均を第５スコアとしたが、これに限らず、例えば、第６スコアの合計、加重平均、最大値及び最小値等の任意の代表値を用いることができる。

また、予め定められた規則として、閾値以上の第６スコアを有する規則を用いてもよい。例えば、閾値を０．５とした場合、図１５における「必須／辺縁の形状」、「必須／石灰化」、及び「全ての陽性の性状項目」の規則が予め定められた規則となるので、導出部２４は、第５スコアとして、これらの規則に適合している度合を導出する。

このように、解析用の文字列の内容から導出された第６スコアを用いて第５スコアを導出し、第５スコアを推奨スコアとすることで、過去の記載の傾向と同じような所見文を推奨される所見文として提示することができる。したがって、ユーザによる読影レポート等の文書の作成を支援することができる。

以上各例示的実施形態について説明したように、本開示の各例示的実施形態に係る情報処理装置２０によれば、少なくとも１つの医用画像Ｇ０から、予め定められた性状項目の性状について判定を行い、医用画像Ｇ０から、医用画像Ｇ０に関する複数の所見文を生成し、判定の結果に基づいて、複数の所見文ごとに、所見文を文書に記載することの推奨度合を示す推奨スコアを導出する。このような推奨スコアを導出することで、文書に記載することが推奨される所見文を定量的に比較することができ、ユーザに提示する所見文の質を向上することができるので、ユーザによる読影レポート等の文書の作成を支援することができる。

なお、上記各例示的実施形態で導出した第１～第５スコアを、適宜組み合わせた形態としてもよい。例えば、図１７は、図６の候補Ａ～Ｄの所見文ごとの第１～第５スコアと、第１～第５スコアの加重平均に基づいて導出された推奨スコアを示す。図１７では、第１スコア、第４スコアの代表値、及び第５スコアの重みを０．２とし、第２スコアの重みを０．１とし、第３スコアの重みを０．３とした場合の例を示している。なお、推奨スコアの導出に用いる各スコアの重みは、予め定められていてもよいし、ユーザが任意に設定できるようにしてもよい。また、加重平均ではなく、第１～第５スコアの合計、算術平均、最大値及び最小値等の任意の代表値を推奨スコアとしてもよい。

また、上記各例示的実施形態では、判定部２２が、医用画像Ｇ０に含まれる病変の位置を特定する形態としたが、これに限らない。例えば、ユーザが、入力部１５を介して医用画像Ｇ０における注目領域を選択し、判定部２２が、選択された領域に含まれる病変の性状項目について性状を判定する形態としてもよい。このような形態によれば、例えば、１つの医用画像Ｇ０に複数の病変が含まれる場合であっても、ユーザが所望する病変について、所見文の作成を支援することができる。

また、上記各例示的実施形態において、表示制御部２５は、医用画像Ｇ０に、判定部２２により特定された病変の位置を示すマークを付与した画像を生成してもよい。例えば、図８の例では、医用画像Ｇ０に含まれる結節影Ｎを、破線の矩形３８で囲んでいる。これにより、例えば、読影医が病変の位置に関する所見文を記載しなくても、読影レポートの読者にとって、病変の根拠となる画像中の領域が容易に分かるようになる。したがって、読影レポート等の文書の作成を支援することができる。なお、病変の位置を示すマークとしては、破線の矩形３８に限らず、例えば、多角形、円、矢印等の種々のマークとしてもよく、マークの線種（実線、破線及び点線等）、線の色並びに線の太さ等を適宜変更してもよい。

また、上記各例示的実施形態において、読影ＷＳ３が内包する情報処理装置２０における判定部２２、生成部２３及び導出部２４の各処理を、例えばネットワーク１０に接続された他の解析サーバ等の、外部装置で行うようにしてもよい。この場合、外部装置は、医用画像Ｇ０を画像サーバ５から取得し、医用画像Ｇ０から、予め定められた性状項目の性状について判定を行い、医用画像Ｇ０に関する複数の所見文を生成し、性状の判定の結果に基づいて、複数の所見文ごとに、所見文を文書に記載することの推奨度合を示す推奨スコアを導出する。情報処理装置２０は、外部装置で判定される性状、外部装置で生成される複数の所見文、及び外部装置で導出される推奨スコアに基づいて、表示制御部２５が、ディスプレイ１４に表示する表示内容を制御する。

また、上記各例示的実施形態においては、文書として読影レポートを作成し、文字列として所見文を生成する場合に、本開示を適用しているが、電子カルテ及び診断レポート等の読影レポート以外の医療文書、並びにその他の画像に関する文字列を含む文書を作成する場合に、本開示を適用してもよい。

また、上記各例示的実施形態においては、診断対象を肺とした医用画像Ｇ０を用いて各種処理を行っているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、及び四肢等の人体の任意の部位を診断対象とすることができる。また、上記各例示的実施形態においては、１つの医用画像Ｇ０を用いて各種処理を行っているが、同一の診断対象に関する複数の断層画像等、複数の画像を用いて各種処理を行ってもよい。

また、上記各例示的実施形態において、例えば、取得部２１、判定部２２、生成部２３、導出部２４及び表示制御部２５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

２０２０年２月１８日に出願された日本国特許出願２０２０－０２５６７２号の開示は、その全体が参照により本明細書に取り込まれる。本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (12)

1. 少なくとも１つのプロセッサを備えた情報処理装置であって、
   前記プロセッサは、
   少なくとも１つの画像から、予め定められた性状項目の性状について判定を行い、
   前記画像から、前記画像に関する複数の文字列を生成し、
   前記判定の結果に基づいて、前記複数の文字列ごとに、文字列を文書に記載することの推奨度合を示す推奨スコアを導出する場合に、
   前記複数の文字列ごとに、文字列の流暢さの度合を示す第３スコアを導出し、
   少なくとも前記第３スコアに基づいて、前記推奨スコアを導出する
   情報処理装置。
2. 前記プロセッサは、前記複数の文字列ごとに、
   文字列の内容が前記判定の結果と一致している度合を示す第１スコアと、
   文字列に含まれる文字の数、又は文字列に含まれる前記性状項目に対応する項目の数が適切である度合を示す第２スコアと、
   を導出し、前記第１乃至第３のスコアに基づいて、前記推奨スコアを導出する
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、前記画像から、前記性状の顕著性を示す第４スコアを導出し、
   前記文字列に含まれる前記性状項目に対応する項目に対応する前記第４スコアに基づいて、前記推奨スコアを導出する
   請求項１又は請求項２に記載の情報処理装置。
4. 前記プロセッサは、前記複数の文字列ごとに、前記文字列の内容が予め定められた規則に適合している度合を示す第５スコアを導出し、
   前記第５スコアに基づいて、前記推奨スコアを導出する
   請求項１から請求項３の何れか１項に記載の情報処理装置。
5. 前記規則は、ユーザによって予め定められた規則である
   請求項４に記載の情報処理装置。
6. 前記プロセッサは、
   予め定められた複数の前記規則の各々について、解析用の文字列の内容が、当該規則に適合している度合を示す第６スコアを導出し、
   前記複数の文字列ごとに、前記文字列の内容が適合している前記規則の前記第６スコアを用いて、前記第５スコアを導出する
   請求項４又は請求項５に記載の情報処理装置。
7. 前記プロセッサは、少なくとも１つの前記文字列、及び当該文字列に対応する前記推奨スコアを、ディスプレイに表示する制御を行う
   請求項１から請求項６の何れか１項に記載の情報処理装置。
8. 前記プロセッサは、前記推奨スコアの順に並べて、前記複数の文字列をディスプレイに表示する制御を行う
   請求項１から請求項７の何れか１項に記載の情報処理装置。
9. 前記プロセッサは、前記複数の文字列のうち、予め定められた閾値以上の前記推奨スコアを有する前記文字列を、ディスプレイに表示する制御を行う
   請求項１から請求項８の何れか１項に記載の情報処理装置。
10. 前記プロセッサは、前記複数の文字列のうち、最も高い前記推奨スコアを有する前記文字列を、ディスプレイに強調して表示する制御を行う
    請求項１から請求項９の何れか１項に記載の情報処理装置。
11. 少なくとも１つの画像から、予め定められた性状項目の性状について判定を行い、
    前記画像から、前記画像に関する複数の文字列を生成し、
    前記判定の結果に基づいて、前記複数の文字列ごとに、文字列を文書に記載することの推奨度合を示す推奨スコアを導出する場合に、
    前記複数の文字列ごとに、文字列の流暢さの度合を示す第３スコアを導出し、
    少なくとも前記第３スコアに基づいて、前記推奨スコアを導出する
    処理をコンピュータが実行する情報処理方法。
12. 少なくとも１つの画像から、予め定められた性状項目の性状について判定を行い、
    前記画像から、前記画像に関する複数の文字列を生成し、
    前記判定の結果に基づいて、前記複数の文字列ごとに、文字列を文書に記載することの推奨度合を示す推奨スコアを導出する場合に、
    前記複数の文字列ごとに、文字列の流暢さの度合を示す第３スコアを導出し、
    少なくとも前記第３スコアに基づいて、前記推奨スコアを導出する
    処理をコンピュータに実行させるための情報処理プログラム。