JP7190992B2 - 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム - Google Patents

表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム Download PDF

Info

Publication number
JP7190992B2
JP7190992B2 JP2019180385A JP2019180385A JP7190992B2 JP 7190992 B2 JP7190992 B2 JP 7190992B2 JP 2019180385 A JP2019180385 A JP 2019180385A JP 2019180385 A JP2019180385 A JP 2019180385A JP 7190992 B2 JP7190992 B2 JP 7190992B2
Authority
JP
Japan
Prior art keywords
image
interest
region
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019180385A
Other languages
English (en)
Other versions
JP2021053224A (ja
Inventor
雄介 丸尾
駿 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2019180385A priority Critical patent/JP7190992B2/ja
Priority to US17/013,647 priority patent/US11449999B2/en
Priority to DE102020124527.0A priority patent/DE102020124527A1/de
Publication of JP2021053224A publication Critical patent/JP2021053224A/ja
Application granted granted Critical
Publication of JP7190992B2 publication Critical patent/JP7190992B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T12/00Tomographic reconstruction from projections
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本開示は、表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラムに関する。
近年、医用画像診断の分野においては、X線等の放射線を用いた放射線撮影装置の他、CT(Computed Tomography)装置、超音波(US)診断装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、及びSPECT(Single-Photon Emission Computed Tomography)装置等の様々な技術を用いた画像撮影装置が利用されている。放射線撮影装置としては、例えば、乳がんの早期発見を促すために、乳房を撮影するマンモグラフィと呼ばれる撮影装置を用いた画像診断が注目されている。
マンモグラフィを用いた撮影においては、一般的に、一方の乳房につき少なくとも2方向からの撮影を行い、2枚以上の乳房画像を取得する。具体的に乳房画像としては、乳房を上下方向から挟み込んで、挟み込み方向から撮影して取得した画像(Cranio-caudal view(頭尾方向);以下CC画像という)、及び乳房を斜め方向に挟み込んで、挟み込み方向から撮影して取得した画像(Medio-lateral oblique view(内外斜位方向);以下MLO画像という)等がある。
一方、医療分野においては、上記画像撮影装置により取得した検査画像中の病変等の関心領域を自動的に検出し、検出された関心領域の強調表示等を行うコンピュータ支援画像診断システム(CAD: Computer Aided Diagnosis、以下CADと称する)が知られている。例えば、マンモグラフィを用いた撮影によって取得された乳房画像においては、CADを用いて石灰化及び腫瘤等の関心領域を検出し、検出された関心領域を乳房画像上に枠等で表示する手法がある。特許文献1には、CC画像及びMLO画像においてそれぞれ検出された関心領域(異常陰影候補)のうち、被写体に関しての同一位置において検出された関心領域のみを確定的な関心領域として検出して表示することにより、関心領域の信頼性を向上させる手法が開示されている。
特許4163370号公報
一方、従来から、画像診断に際して、複数の検査画像を液晶ディスプレイ等の表示装置に表示させて、検査画像を比較しながら読影をする比較読影が行われている。例えば、乳房画像であるCC画像とMLO画像とを表示装置に表示して比較読影する場合、CC画像とMLO画像とが異なる撮影方向から撮影された画像であるため、例えば、CC画像のある位置がMLO画像のどの位置に対応するのか、各画像内における位置の対応関係が把握し難い。特許文献1に記載された発明においては、CC画像内の複数の関心領域とMLO画像内の複数の関心領域との対応関係を示す表示を行っている。対応関係を示す表示は、例えば、CC画像内とMLO画像内のそれぞれの関心領域に対して、同一の位置に対応する関心領域同士については、同じ形状のマークを付すといった表示である。
このように、特許文献1においては、複数の画像間において対応する関心領域がある場合には、ユーザの操作とは無関係に装置が自動的に対応する関心領域同士を識別するマークを表示する。
しかしながら、特許文献1のように、ユーザの操作とは無関係に、マークを表示することにより、対応する関心領域同士を識別させるだけでは、一見して対応関係が把握し難い場合があった。
まず、複数の画像のそれぞれにおいて関心領域が複数表示される場合には、対応する関心領域のペアが複数あり、マークの数が多くなるため、対応関係を一見して把握しづらい。また、一方の画像に関心領域が1つしか表示されない場合でも、他方の画像に関心領域が複数表示される場合、一見して対応関係が把握し難い場合があった。例えば、特許文献1の技術では、一方の画像に関心領域が1つだけ表示される場合において、関心領域が他方の画像にも1つ表示されるとすると、マークの表示によって対応関係が明示される。しかし、他方の画像に近接する複数の関心領域が表示される場合は、マークがどの関心領域に対して表示されているのかが一見して把握し難い。一方の画像に近接する複数の関心領域が表示され、他方の画像に1つの関心領域が表示されている場合も同様である。
本開示は上記事情に鑑みなされたものであり、異なる撮影方向から撮影された画像に基づいて画像診断する際に、関心領域の対応関係を一見して把握することが可能な表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラムを提供することを目的とする。
本開示の表示制御装置は、被写体を撮影した第1画像と、第1画像と同一の被写体を第1画像とは異なる撮影方向から撮影した第2画像とを取得する画像取得部と、
画像取得部により取得された第1画像及び第2画像を表示部に表示する表示制御部と、
表示制御部によって表示部に表示された第1画像において位置の指定を受け付ける位置受付部と、
位置受付部により受け付けられた位置の指定に基づいて、第1画像における第1関心領域を特定する第1関心領域特定部と、
第1関心領域特定部により特定された第1関心領域に基づいて、第2画像における第1関心領域に対応する第2関心領域を特定する第2関心領域特定部とを含み、
第1画像及び第2画像のうちの少なくとも一方に第1関心領域又は第2関心領域が複数ある場合において、
表示制御部は、位置受付部が位置の指定を受け付けた場合に、位置の指定によって特定された第1関心領域と対応する第2関心領域を、強調表示する。
なお、本開示の表示制御装置においては、第1画像に第1関心領域が複数あり、第2画像にも第2関心領域が複数ある場合において、
表示制御部は、位置受付部が位置の指定を受け付けた場合に、位置の指定によって特定された第1関心領域と対応する第2関心領域のみを、第2画像内において、他の第2関心領域と識別可能に強調表示することができる。
また、本開示の表示制御装置においては、画像取得部により取得された第1画像及び第2画像を解析することにより、第1関心領域と第1関心領域に対応する第2関心領域を検出する関心領域検出部を含み、
表示制御部は、関心領域検出部により検出された関心領域の全てを表示部に表示し、かつ、位置受付部が位置の指定を受け付けた場合に、位置の指定によって特定された第1関心領域と対応する第2関心領域のみを表示する制御を行うことができる。
また、本開示の表示制御装置は、表示制御部が、1又は複数の表示部に対して、複数の表示画面を表示することが可能である。
また、本開示の表示制御装置は、表示画面が、画像診断の内容を記録した読影レポートを表示する第1表示画面と、画像を表示する第2表示画面とを含み、
表示制御部は、第2表示画面に第1画像及び第2画像を表示することができる。
また、本開示の表示制御装置は、表示画面が、画像診断の内容を記録した読影レポートを表示する第1表示画面と、画像を表示する第2表示画面とを含み、
表示制御部は、第1表示画面に第1画像を表示し、かつ第2表示画面に第2画像を表示するか、又は、第1表示画面に第2画像を表示し、かつ第2表示画面に第1画像を表示することができる。
また、本開示の表示制御装置は、画像取得部が、第2画像とは異なる撮影方向から被写体を撮影した第3画像を取得し、
表示制御部は、第1表示画面に第1画像を表示し、かつ第2表示画面に第2画像及び第3画像を表示することができる。
また、本開示の表示制御装置は、第1画像及び第2画像は、同一の検査日において撮影された画像であってもよい。
また、本開示の表示制御装置は、第1画像及び第3画像は、同一の撮影方向から撮影した画像であってもよい。
また、本開示の表示制御装置は、第1画像と、第2画像及び第3画像とは、異なる検査日において撮影された画像であってもよい。
また、本開示の表示制御装置は、画像取得部が、複数の第2画像を含む第2画像群を取得し、
第2画像群は、撮影方向が同じで、撮影時期が異なる複数の画像を含む画像群か、又は被写体の異なる断層を示す複数の断層画像を含む画像群であってもよい。
また、本開示の表示制御装置は、第2関心領域特定部が、第1関心領域特定部により特定された第1関心領域に基づいて、第2画像群から第1関心領域に対応する第2関心領域を特定し、
第2関心領域特定部により特定された第1関心領域に対応する第2関心領域を含む第2画像を抽出する画像抽出部をさらに含み、
表示制御部は、位置受付部が第1画像内の位置の指定を受け付けた場合に、画像抽出部によって抽出された第2画像において、特定された第1関心領域に対応する第2関心領域を強調表示することができる。
また、本開示の表示制御装置は、表示制御部が、画像抽出部により抽出された複数の第2画像を第2表示画面に表示し、かつ、
画像抽出部によって抽出された複数の第2画像の枚数に基づいて第2表示画面を複数の領域に分割し、分割された各領域に、抽出された複数の第2画像を表示することができる。
また、本開示の表示制御装置は、第2表示画面に第2画像を表示可能な枚数の上限が設定されている場合において、
表示制御部は、画像抽出部により抽出された第2画像の枚数が、上記上限を超えている場合に、第2画像を複数のページに分けて切り換え表示することができる。
また、本開示の表示制御装置は、画像抽出部により抽出された複数の第2画像を表示する際の優先度が設定されている場合において、
表示制御部は、画像抽出部により抽出された第2画像の枚数が、上記上限を超えている場合に、第2表示画面において、優先度の高い順に第2画像を表示させることができる。
本開示の表示制御装置の作動方法は、被写体を撮影した第1画像と、第1画像と同一の被写体を第1画像とは異なる撮影方向から撮影した第2画像とを取得する取得ステップと、
取得した第1画像及び第2画像を表示部に表示する表示制御ステップと、
表示部に表示された第1画像において位置の指定を受け付ける受付ステップと、
受け付けられた位置の指定に基づいて、第1画像における第1関心領域を特定する第1関心領域特定ステップと、
特定された第1関心領域に基づいて、第2画像における第1関心領域に対応する第2関心領域を特定する第2関心領域特定ステップと、
第1画像及び第2画像のうちの少なくとも一方に第1関心領域又は第2関心領域が複数ある場合において、
受付ステップにおいて位置の指定を受け付けた場合に、表示制御ステップにおいて、位置の指定によって特定された第1関心領域と対応する第2関心領域を、強調表示する。
本開示の表示制御装置の作動プログラムは、被写体を撮影した第1画像と、第1画像と同一の被写体を第1画像とは異なる撮影方向から撮影した第2画像とを取得する画像取得部と、
画像取得部により取得された第1画像及び第2画像を表示部に表示する表示制御部と、
表示制御部によって表示部に表示された第1画像において位置の指定を受け付ける位置受付部と、
位置受付部により受け付けられた位置の指定に基づいて、第1画像における第1関心領域を特定する第1関心領域特定部と、
第1関心領域特定部により特定された第1関心領域に基づいて、第2画像における第1関心領域に対応する第2関心領域を特定する第2関心領域特定部とを含み、
第1画像及び第2画像のうちの少なくとも一方に第1関心領域又は第2関心領域が複数ある場合において、
表示制御部は、位置受付部が位置の指定を受け付けた場合に、位置の指定によって特定された第1関心領域と対応する第2関心領域を、強調表示する表示制御装置としてコンピュータを機能させる。
なお、本開示のよる他の表示制御装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するように構成されたプロセッサとを備え、プロセッサは、
被写体を撮影した第1画像と、第1画像と同一の被写体を第1画像とは異なる撮影方向から撮影した第2画像とを取得する取得ステップと、
取得した第1画像及び第2画像を表示部に表示する表示制御ステップと、
表示部に表示された第1画像において位置の指定を受け付ける受付ステップと、
受け付けられた位置の指定に基づいて、第1画像における第1関心領域を特定する第1関心領域特定ステップと、
特定された第1関心領域に基づいて、第2画像における第1関心領域に対応する第2関心領域を特定する第2関心領域特定ステップと、
第1画像及び第2画像のうちの少なくとも一方に第1関心領域又は第2関心領域が複数ある場合において、
受付ステップにおいて位置の指定を受け付けた場合に、表示制御ステップにおいて、位置の指定によって特定された第1関心領域と対応する第2関心領域を、強調表示することを実行する。
本開示の表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラムによれば、異なる撮影方向から撮影された画像に基づいて画像診断する際に関心領域の対応関係を一見して把握することが可能にできる。
本開示の一実施形態の表示制御装置を適用した、診断支援システムの概略構成を示す図 検査画像と付帯情報を説明するための図 本開示の一実施形態の表示制御装置の構成を示す概略ブロック図 第1の実施形態の表示制御装置の機能ブロック図 第1の実施形態の表示部の表示画面の表示の一例を示す図 第1の実施形態において行われる処理を示すフローチャート 第1の実施形態の表示部の表示画面の表示の一例を示す図 第1の実施形態の表示部の表示画面の表示の一例を示す図 第1の実施形態の表示部の表示画面の表示の一例を示す図 第1の実施形態の表示部の表示画面の表示の変形例1を示す図 第1の実施形態の表示部の表示画面の表示の変形例2を示す図 関心領域の拡大表示の一例を示す図 第1の実施形態の表示部の表示画面の表示の変形例3を示す図 第1の実施形態の表示部の表示画面の表示の変形例4を示す図 第1の実施形態の表示部の表示画面の表示の変形例5を示す図 第1の実施形態の表示部の表示画面の表示の変形例6を示す図 第1の実施形態の表示部の表示画面の表示の変形例7を示す図 第2の実施形態の表示制御装置の機能ブロック図 第3の実施形態の表示制御装置の機能ブロック図 第3の実施形態の表示部の第1表示画面の表示の一例を示す図 第3の実施形態の表示部の第2表示画面の表示の一例を示す図 第3の実施形態において行われる処理を示すフローチャート 第4の実施形態の表示制御装置の機能ブロック図 第4の実施形態において行われる処理を示すフローチャート 表示部の第2表示画面の表示の一例を示す図 第5の実施形態の表示制御装置の機能ブロック図 第5の実施形態の表示部の第2表示画面の表示の一例を示す図(その1) 第5の実施形態の表示部の第2表示画面の表示の一例を示す図(その2)
以下、図面を参照して本開示の第1の実施形態について説明する。図1は、本開示の一実施形態である表示制御装置を適用した、診断支援システムの概略構成を示す図である。図1に示すように、診断支援システムでは、本実施形態による表示制御装置1、画像撮影装置2、及び画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。
画像撮影装置2は、被写体の一例である患者の、診断対象となる部位を撮影することにより、その部位を表す画像を生成する装置である。具体的には、X線等の放射線を用いた放射線撮影装置の他、CT装置、超音波診断装置、MRI装置、PET装置、及びSPECT装置である。放射線撮影装置としては、例えば、乳房を撮影するマンモグラフィ装置がある。本実施形態においては、画像撮影装置2として、マンモグラフィ装置を例に説明する。マンモグラフィ装置は、MLO撮影及びCC撮影などの各種の撮影方向の単純撮影の他、トモシンセシス撮影を行うことが可能な画像撮影装置である。マンモグラフィ装置は、画像検出器の検出面の法線方向から乳房に放射線を照射する単純撮影により、乳房の2次元の投影画像を乳房画像として生成する。また、マンモグラフィ装置は、照射角度が異なる複数の位置から放射線を乳房に照射するトモシンセシス撮影を行うことにより、複数枚の投影画像を取得する。そして、マンモグラフィ装置は、トモシンセシス撮影によって取得された複数枚の投影画像に基づいて画像再構成処理を施すことにより、乳房の3次元画像を生成する。乳房の断層画像は、3次元画像の各断層位置における断層画像である。画像撮影装置2としてのマンモグラフィ装置により撮影及び生成された2次元の投影画像及び3次元画像等を含む検査画像は、画像保管サーバ3に送信され、かつ、保存される。
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には画像撮影装置2で生成された検査画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及びネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。
本実施形態においては、画像保管サーバ3には、患者毎の検査画像が保管されている。患者毎に保管される検査画像としては、例えば、同じ患者に対して行われた複数の検査で取得された複数の検査画像がある。これらの検査画像は検査毎に保管される。また、同じ患者に対する一回の検査においても、検査画像は複数枚になることが通常である。一回の検査で取得される複数の検査画像としては、例えば、乳房検査であれば、MLO撮影で得られたMLO画像と、CC撮影で得られたCC画像など撮影条件が異なる検査画像がある。また、経過観察のように、異なる複数の検査日において同種の検査が複数回行われる場合がある。検査日が異なる複数の検査は、例えば、別の検査として取り扱われ、検査日が異なる複数の検査画像は、検査日毎に保管される。このように画像保管サーバ3には、同一の患者について行われた異なる種類の検査画像に加えて、同種の検査についての最新(現在)の検査画像及び過去の検査画像が保管される。本開示において、同じ患者に対して異なる複数の検査日において同種の検査を行うことにより取得される複数の検査画像は「画像群」の一例である。
本開示において3次元画像は、例えばCT装置、MRI装置等の断層撮影装置が出力する複数枚のスライス画像(断層画像)の集合であり、ボリュームデータとも呼ばれる。また、本開示において1回の撮影で取得されるボリュームデータも「画像群」の一例である。本実施形態においては、画像群に含まれる複数枚のスライス画像のそれぞれは検査画像の一例である。
また、各検査画像には、画像データ本体の他に、DICOMタグなどの付帯情報が含まれる。付帯情報には、例えば、個々の画像を識別するための画像ID(identification)、被写体を識別するための患者ID、検査を識別するための検査ID、検査画像が生成された検査日、検査時刻、検査画像を取得するための検査で使用された画像撮影装置2の種類、患者氏名と年齢と性別などの患者情報、検査部位(撮影部位)、および、撮影条件(造影剤の使用有無または放射線量など)などの情報が含まれる。
また、本開示の技術においては、付帯情報には、例えば読影医等のユーザが検査画像を読影した際に、検査画像内において、関心領域として指定した領域のID番号の情報も含まれる。ID番号は関心領域毎に異なる番号が付与される。なお、同一の患者IDが付与され、かつ同一の検査部位が異なる撮影方向から撮影された画像が複数ある場合には、各画像における関心領域のうち、被写体に関しての同一位置において指定された関心領域は、画像間において対応する関心領域としてID番号が対応付けられて付与される。
具体的には、図2に示すように、ある患者についての第1画像をMLO画像PRm、第2画像をCC画像PRcとして説明すると、関心領域のID番号の対応は次のようになる。ここで、MLO画像PRm及びCC画像PRcは、それぞれの右の乳房を撮影した乳房画像である。MLO画像PRmは、乳房を斜め方向に挟み込んで、挟み込み方向から撮影して取得した乳房画像であり、CC画像は、乳房を上下方向から挟み込んで、挟み込み方向から撮影して取得した乳房画像である。
図2において、MLO画像PRmの関心領域を第1関心領域A、CC画像PRcの関心領域を第2関心領域Bとする。第1関心領域Aは、A1、A2、A3・・・のように複数ある。符号A1、A2、A3・・・は、第1関心領域を示す「A」と、各第1関心領域を識別するための識別番号(1、2、3・・・)を組み合わせたものである。第2関心領域Bも、B1、B2、B3・・・のように複数あり、符号B1、B2、B3・・・の意味も第1関心領域と同様である。識別番号は、被写体に関しての同一位置にある関心領域同士は、同じ番号が付与されることによって、第1関心領域Aと第2関心領域Bとの間で対応が付けられる。すなわち、MLO画像PRmの第1関心領域A1と、CC画像PRcの第2関心領域B1とは対応する。
MLO画像PRm及びCC画像PRcのそれぞれにおける関心領域の指定は、手動により行われる。手動による関心領域の指定は、ユーザが、後述する入力部40を操作することにより行われる。具体的には、ユーザが後述する表示部30に表示された検査画像上で、入力部40により病変等の異常陰影が認められる領域を枠で囲むことにより行われる。枠で囲まれた領域が関心領域として指定される。なお、枠に限られず塗り潰された領域等で指定することもできる。
本例では、MLO画像PRm及びC画像PRcのそれぞれにおいて指定された第1関心領域A及び第2関心領域Bの対応関係についても、手動によって入力される。対応関係の入力は、例えば、第1関心領域Aと第2関心領域Bのそれぞれに対して同じID番号を付与することによって行われる。
付帯情報に含まれる情報としては、第1関心領域A及び第2関心領域Bについてのそれぞれの検査画像内における位置を表す位置情報も含まれる。
次に、表示制御装置1の構成について説明する。図3は本開示の一実施形態の表示制御装置1の構成を示すブロック図、図4は第1の実施形態の表示制御装置1の機能ブロック図である。
表示制御装置1は、CPU(Central Processing Unit)11、一次記憶部12、二次記憶部13及び外部I/F(Interface)14等を備えたコンピュータから構成される。CPU11は、表示制御装置1の全体を制御する。一次記憶部12は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部12の一例としては、RAM(Random Access Memory)が挙げられる。二次記憶部13は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリであり、本開示の表示制御装置1の作動プログラム15の一実施形態がインストールされている。作動プログラム15は、画像を表示するビューワ機能を主たる機能としているので、以下においてビューワプログラムとも呼ぶ。二次記憶部13の一例としては、ハードディスクドライブ、ソリッドステートドライブ又はフラッシュメモリ等が挙げられる。
作動プログラム15は、DVD(Digital Versatile Disc)及びCD-ROM(Compact Disc Read Only Memory)などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、作動プログラム15は、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。
この作動プログラム15がCPU11により実行されることによって、CPU11は、図4に示す画像取得部21、位置受付部22、第1関心領域特定部23、第2関心領域特定部24、及び表示制御部25として機能する。
外部I/F14は、表示制御装置1と画像保管サーバ3との間の各種情報の送受信を司る。CPU11、一次記憶部12、二次記憶部13、及び外部I/F14は、各々がデータを交換するための共通の経路であるバスライン16に接続されている。
また、バスライン16には、表示部30と入力部40も接続されている。表示部30は、例えば液晶ディスプレイ等で構成される。表示部30は、後述するように、画像表示領域を含む各種領域が表示される表示画面(図4の符号31参照)を表示する。なお、表示部30をタッチパネルによって構成し、入力部40と兼用してもよい。入力部40は、マウス及びキーボード等を備えたものであり、ユーザによる種々の設定を入力する。本実施形態の入力部40は、表示画面31に表示する検査画像の選択操作を入力するマウス、及び表示画面に表示された検査画像において位置の指定を入力するマウスとして機能する。
画像取得部21は、外部I/F14を介して画像保管サーバ3から検査画像を取得する。画像取得部21は、ユーザが入力部40を操作することにより選択した検査画像を取得する。本実施形態において画像取得部21は、例えば、図4に示すように、検査画像として乳房を撮影することにより取得したMLO画像PRm及びCC画像PRcを取得する。画像取得部21が取得した検査画像は、表示部30の表示画面31に表示される。
以下、図4に示す機能ブロック及び図5に示す表示画面例に基づいて、表示制御装置1の機能を説明する。図5は本実施形態の表示部30の表示画面31の表示の一例を示す図である。表示画面31は、検査画像及び各種の操作部を表示する操作画面として機能するGUI(Graphical User Interface)の一例である。
図5に示すように、表示画面31の右上には検査画像が縮小されたサムネイル画像が表示されるサムネイル画像表示領域34aが設けられている。また、表示画面31の左上には、簡略して示しているが、患者IDが表示された患者リスト及び各患者に行われた検査の検査リスト等が選択可能に表示される選択領域34bが設けられている。また、サムネイル画像表示領域34a及び選択領域34bの下方には、検査画像が表示される画像表示領域34cが設けられている。
例えば、ユーザが、患者リストから読影したい患者の患者IDを選択すると、選択された患者の検査リストが表示される。ユーザは表示された検査リストから、表示したい検査画像が含まれる検査を選択することにより、選択された検査によって取得された検査画像のサムネイル画像が、サムネイル画像表示領域34aに表示される。ユーザが、サムネイル画像表示領域34aに表示された複数のサムネイル画像から、読影したい検査画像に対応するサムネイル画像を選択すると、画像取得部21は、選択されたサムネイル画像に対応する検査画像をユーザが選択した検査画像として取得する。
本実施形態においては、一例として、表示画面31は、縦1列横2列の2つの領域に分割されており、各分割領域に、図2に示したMLO画像PRm及びCC画像PRcが検査画像として表示される例で説明する。また、上述したとおり、MLO画像PRmは本開示の技術に係る第1画像に、CC画像PRcは本開示の技術に係る第2画像にそれぞれが相当する。
表示制御部25は、画像取得部21によって取得されたMLO画像PRm及びCC画像PRcを表示画面31に表示する。具体的には、図5に示すように、表示制御部25は、画像表示領域34cの左側領域にMLO画像PRmを、右側領域にCC画像PRcを各々表示する。また、表示制御部25は矢印で示されるカーソルFをMLO画像PRm上に表示する。
位置受付部22は、表示制御部25によって表示画面31に表示されたMLO画像PRmにおいて位置の指定を受け付ける。具体的には、図5に示すように、ユーザによる位置の指定は、ユーザが例えばマウス(入力部40)を操作することによりMLO画像PRm上に表示されたカーソルFを移動させ、ユーザが所望する位置においてマウスをクリックすることにより行われる。位置受付部22は、カーソルFの矢印先端が示すMLO画像PRm上の位置情報を取得する。
第1関心領域特定部23は、位置受付部22により受け付けられた位置の指定に基づいて、MLO画像PRmにおける第1関心領域Aを特定する。例えば、図5に示すように、MLO画像PRmにおいて予めユーザが関心領域として指定した4個の第1関心領域Aの各々に、ID:A1~ID:A4のID番号が付与されているとする(図2も参照)。第1関心領域特定部23は、位置受付部22が取得したカーソルFの位置情報が示す位置から最も近い第1関心領域A、すなわち図4においては第1関心領域A2を特定する。
第2関心領域特定部24は、第1関心領域特定部23により特定された第1関心領域A2に基づいて、第1関心領域A2に対応するCC画像PRcにおける第2関心領域Bを特定する。例えば、図5に示すように、CC画像PRcにおいて予めユーザが関心領域として指定した3個の第2関心領域Bの各々に、ID:B1~ID:B3のID番号が付与されているとする(図2も参照)。第2関心領域特定部24は、MLO画像PRm及びCC画像PRcに各々付帯されている付帯情報に含まれるID番号に基づいて第2関心領域Bを特定する。具体的には、第1関心領域特定部23により第1関心領域A2が特定された場合には、第1関心領域A2のIDである「ID:A2」に対応付けられたCC画像PRcにおけるID番号が特定される。本実施形態においては、MLO画像PRmにおける第1関心領域A2のID番号「ID:A2」と、CC画像PRcにおける第2関心領域B2のID番号「ID:B2」が対応付けられている。そのため、第2関心領域特定部24は、第1関心領域A2に対応する第2関心領域Bとして、第2関心領域B2を特定する。
また、本実施形態において、表示制御部25はさらに、位置受付部22が位置の指定を受け付けた場合に、第1関心領域特定部23によって特定された第1関心領域A2と対応する第2関心領域B2のみを、CC画像PRc内において、他の第2関心領域B1,B3と識別可能に強調表示する。本実施形態においては、第2関心領域B2のみを枠で囲むことにより強調表示する。なお、枠の形状及び太さ等の枠の形態はユーザが任意に設定可能としてもよい。
次いで、本実施形態において行われる処理について説明する。図6は本開示の第1の実施形態において行われる処理を示すフローチャートである。本実施形態においては、表示制御装置1において、CPU11が二次記憶部13に記憶された作動プログラム15であるビューワプログラムを起動すると、表示部30には表示画面31が表示される。
表示画面31において、表示する検査画像として右乳房のMLO画像PRmとCC画像PRcが選択されると、画像取得部21は、選択された右乳房のMLO画像PRmとCC画像PRcを検査画像として取得する(ステップST1)。具体的には、上述したように、ユーザが入力部40を使用して患者リストから読影したい患者の氏名を選択し、選択された患者の検査リストから所望する検査としてマンモグラフィ検査を選択する。これにより、マンモグラフィ検査によって取得された乳房画像のサムネイル画像が、サムネイル画像表示領域34aに表示される。サムネイル画像は、左右各々の乳房のMLO画像PLm、PRm及びCC画像PLc、PRcの縮小画像が含まれる。ここで、MLO画像PLm及びCC画像PLcは、それぞれの左の乳房画像である。
ユーザが、サムネイル画像表示領域34aに表示された複数のサムネイル画像から、表示したいサムネイル画像を選択すると、画像取得部21は、選択されたサムネイル画像に対応する検査画像を画像保管サーバ3において検索して取得する。本実施形態においては、ユーザが選択したサムネイル画像として、右乳房のMLO画像PRmとCC画像PRcのサムネイル画像を選択した例で説明する。画像取得部21は、選択されたサムネイル画像に対応する、右乳房のMLO画像PRmとCC画像PRcを検査画像として取得する。
次いで、表示制御部25は、画像取得部21が取得した右乳房のMLO画像PRmとCC画像PRcを図5に示すように、表示部30の表示画面31の画像表示領域34cに表示する(ステップST2)。
MLO画像PRmとCC画像PRcが表示された後、位置受付部22が、表示画面31に表示されたMLO画像PRmにおいて位置の指定を受け付けたか否かを監視する(ステップST3)。なお、本実施形態においては、図5に示したとおり、MLO画像PRmに4つの第1関心領域A1~A4があり、これら4つの第1関心領域A1~A4のうち、CC画像PRcには、第1関心領域A1~A3に対応する3つの第2関心領域B1~B3がある例で説明する。
ステップST3が否定される場合には(ステップST3;NO)、CPU11は処理をステップST7に移行する。
ステップST3が肯定される場合には(ステップST3:YES)、第1関心領域特定部23が、位置受付部22により受け付けられた位置の指定に基づいて、MLO画像PRmにおける第1関心領域を特定する(ステップST4)。本実施形態においては、図5に示すように、カーソルFが第1関心領域A2を示す位置において、位置の指定が行われる。この指定により、第1関心領域特定部23は第1関心領域A2を特定する。
次いで、第2関心領域特定部24が、第1関心領域特定部23により特定された第1関心領域A2に基づいて、第1関心領域A2に対応するCC画像PRcにおける第2関心領域Bを特定する(ステップST5)。本実施形態においては、MLO画像PRmにおける第1関心領域A2のID番号「ID:A2」と、CC画像PRcにおける第2関心領域B2のID番号「ID:B2」が対応付けられている。そのため、第2関心領域特定部24は、第2関心領域B2を特定する。
次いで、表示制御部25が、第1関心領域特定部23によって特定された第1関心領域A2と対応する第2関心領域B2のみを、表示画面31に表示されたCC画像PRc内において、他の第2関心領域B1及びB3と識別可能に強調表示する(ステップST6)。
ステップST7において、CPU11は、ビューワプログラムが終了されたか否かを判断する。ビューワプログラムの終了は、ユーザによる入力部40からの入力指示により行われる。ステップST7が肯定される場合には(ステップST7;YES)、CPU11は処理を終了する。一方、ステップST7が否定される場合には(ステップST7;NO)、CPU11はステップST3の処理に移行し、別の第1関心領域Aの位置の指定を監視する。そして、CPU11は、ステップST3以降の処理を実行する。CPU11は、こうした一連の処理を、ビューワプログラムが終了するまで繰り返す。
以上のように、第1の実施形態によれば、位置の指定を受け付けた場合に、位置の指定によって特定された第1関心領域Aと対応する第2関心領域Bのみが、CC画像PRc(第2画像の一例)内において、他の第2の関心領域Bと識別可能に強調表示される。これにより、異なる撮影方向から撮影されたMLO画像PRm(第1画像の一例)及びCC画像PRcに基づいて画像診断する際に、MLO画像PRm及びCC画像PRcの各々に複数の関心領域が存在する場合であっても、第1関心領域Aと第2関心領域Bの対応関係を一見して把握することが可能となる。
特に、第1画像に第1関心領域Aが複数あり、かつ、第2画像に第2関心領域Bが複数ある場合には、本開示の技術は特に有効である。というのも、従来のように、ユーザの操作とは無関係に、対応する関心領域同士を識別させるだけでは、対応する関心領域のペアが複数有る場合は、ペア毎にマークが表示されることになる。この場合、ペアの数が多くなると、マークの種類等も多くなり、ペア毎の識別もしづらくなってしまう。本開示の技術によれば、対応する第1関心領域Aと第2関心領域Bのペアが複数ある場合でも、ユーザが指定した第1関心領域Aに対応する第2関心領域Bのみが強調表示されるため、ユーザが見たい関心領域の対応関係が一見して把握しやすい。
なお、上記第1の実施形態において、表示制御部25は、特定された第1関心領域Aと対応する第2関心領域Bのみを、CC画像PRc内すなわち第2画像内において、他の第2関心領域Bと識別可能に強調表示する方法として、図5に示すように、第2関心領域B2のみを枠で囲むことにより強調表示したが、本開示の技術はこれに限られない。例えば、第2関心領域B2を囲む枠を点滅させて強調表示してもよい。また、第2関心領域B2にマスキングをしたり、輝度を高くしたり、ハッチングを付与したりする等により強調表示してもよい。
また、上記第1の実施形態においては、対応する関係にある2つの第1関心領域Aと第2関心領域Bの対応関係の入力は、ユーザが第1関心領域Aと第2関心領域Bのそれぞれに対して同じID番号を付与することにより行う例で説明したが、本開示の技術はこれに限られない。例えば、まず、MLO画像PRm及びCC画像PRcの2つの画像を表示画面に表示させた状態において、MLO画像PRm及びCC画像PRcに含まれる複数の第1関心領域A及び第2関心領域Bの中から、ユーザが対応すると判断する2つの第1関心領域Aと第2関心領域Bとをユーザに指定させる。そして、ユーザが指定した2つの第1関心領域A及び第2関心領域Bに対して、同じID番号を付与する。こうした方法によって、対応関係を入力してもよい。
また、上記第1の実施形態においては、第2関心領域特定部24が、特定された第1関心領域Aに対応する第2関心領域Bを、ID番号に基づいて特定しているが、本開示の技術はこれに限られない。例えば、図5に示すように、MLO画像PRmにおいて4つの第1関心領域A1~A4と、CC画像PRcにおいて3つの関心領域B1~B3とが存在しているとする。第1関心領域特定部23が第1関心領域A2を特定した場合、第2関心領域特定部24は、MLO画像PRm内の乳房Mに対する第1関心領域A2と最も位置関係が近いCC画像PRc上の第2関心領域B2を第1関心領域A2に対応する第2関心領域として特定することができる。つまり、画像内の位置情報に基づいて近い位置にある関心領域を計算で求める方法である。ここで、MLO画像PRmとCC画像PRcの各々における乳房Mと各関心領域との位置関係は、例えば、ニップルN及び胸壁K等を基準位置として、この基準位置から関心領域の重心までの距離を算出することにより求める。このように、第2関心領域特定部24は、ID番号を手動で入力する方法以外でも、第1関心領域Aと第2関心領域Bの対応関係を入力することができる。
また、上記第1の実施形態においては、図5に示すように、MLO画像PRmを一例と示した第1画像に第1関心領域Aが複数あり、CC画像PRcを一例として示した第2画像にも第2関心領域Bが複数ある場合について説明したが、本開示の技術はこれに限られない。図7から図10に示すように、第1画像及び第2画像のうちの少なくとも一方に複数の関心領域(第1関心領域A又は第2関心領域B)があればよく、他方には関心領域が1つだけでもよい。
図7及び図8は、第1画像の一例であるMLO画像PRmには複数の第1関心領域A1があるが、第2画像の一例であるCC画像PRcには、第2関心領域Bが1つしかない例である。
図7に示す例は、MLO画像PRmに第1関心領域Aが複数(A1からA4)あるが、CC画像PRcには第2関心領域Bが1つ(B2)しかない。この場合において、図7に示すように、例えば、カーソルFが第1関心領域A2を示す位置において、位置の指定が行われたとする。図7の例においては、MLO画像PRmにおける第1関心領域A2のID番号「ID:A2」と、CC画像PRcにおける第2関心領域B2のID番号「ID:B2」が対応付けられているので、第2関心領域特定部24は、第2関心領域B2を特定する。表示制御部25は、第1関心領域特定部23によって特定された第1関心領域A2と対応する第2関心領域B2を強調表示する。
図8は、MLO画像PRm内において指定された第1関心領域Aに対応する第2関心領域が、CC画像PRcに無い場合を示す。図8に示す例では、CC画像PRcにおける第2関心領域Bは、ID番号が「ID:B1」の第2関心領域B1の1つだけである。図8の例において、図7と同様に、MLO画像PRmにおいて第1関心領域A2が指定されると、CC画像PRcには、第1関心領域A2に対応する第2関心領域B2が存在しない。そのため、第1関心領域特定部23によって特定された第1関心領域A2と対応する第2関心領域Bはないので、表示制御部25は強調表示を行わない。
このように、図7に示すように、ユーザが指定した第1関心領域Aに対応する第2関心領域Bがあれば、強調表示が行われる一方、図8に示すように、対応する第2関心領域Bが無ければ、当然ながら強調表示は行われない。このようにユーザの操作に基づいて第1関心領域Aと第2関心領域Bの対応関係(具体的には、ユーザが指定した第1関心領域Aに対応する第2関心領域Bの有無)を一見して把握しやすい。
また、図9に示す例は、図7及び図8に示す例と反対に、MLO画像PRm(第1画像の一例)に第1関心領域Aが1つしかなく、CC画像PRc(第2画像の一例)に第2関心領域Bが複数ある。この場合において、図9に示すように、例えば、カーソルFが第1関心領域A2を示す位置において、位置の指定が行われたとする。図9の例においては、MLO画像PRmにおける第1関心領域A2に対応するID番号「ID:B2」の第2関心領域B2がCC画像PRcにある。そのため、第2関心領域特定部24は、第2関心領域B2を特定する。表示制御部25は、第1関心領域特定部23によって特定された第1関心領域A2と対応する第2関心領域B2を強調表示する。
なお、図示は省略するが、図9において、MLO画像PRmに存在する第1関心領域Aが、第1関心領域A2ではなく、第1関心領域A1しか無い場合は、第1関心領域A1を指定しても、CC画像PRcには、第1関心領域A1に対応するID番号「ID:B1」の第2関心領域B1が存在しないため、表示制御部25は強調表示を行わない。
このように、図9に示すように、ユーザが指定した第1関心領域Aに対応する第2関心領域Bがあれば、強調表示が行われる一方、図示は省略するが、対応する第2関心領域Bが無ければ、強調表示は行われない。このようにユーザの操作に基づいて第1関心領域Aと第2関心領域Bの対応関係(具体的には、ユーザが指定した第1関心領域Aに対応する第2関心領域Bの有無)を一見して把握しやすい。
なお、MLO画像PRm及びCC画像PRcのそれぞれにおいて、第1関心領域A及び第2関心領域Bがそれぞれ1つずつしか無い場合がある。この場合において、第1関心領域Aが指定された場合に、対応する第2関心領域Bについて強調表示を行ってもよいし、強調表示を行わなくてもよい。第1関心領域A及び第2関心領域Bが1つずつしか無い場合は、強調表示を行わなくても、対応関係が比較的明瞭にわかるからである。
また、図10から図17に種々の変形例を示す。上記第1の実施形態においては、画像取得部21が、マンモグラフィ装置により右の乳房を異なる撮影方向から撮影したMLO画像PRmとCC画像PRcを取得し、表示制御部25がMLO画像PRmとCC画像PRcとを表示部30の表示画面31に表示したが、本開示の技術はこれに限られない。図10は第1の実施形態の表示部30の表示画面31の表示の変形例1を示す図である。画像取得部21が、左右各々の乳房を異なる撮影方向から撮影したMLO画像PRm,PLm及びCC画像PRc,PLcを取得し、表示制御部25がMLO画像PRm,PLm及びCC画像PRc,PLcを表示部30の表示画面31に表示してもよい。この場合、MLO画像PRmとMLO画像PLmが本開示の第1画像に対応し、CC画像PRcとCC画像PLcが本開示の第2画像に対応する。なお、図10は、右乳房のみにおいて第1関心領域A1~A4、第2関心領域B1~B3が存在している態様を表しているが、左の乳房において第1関心領域及び第2関心領域が存在する場合もある。この場合、左右どちらの乳房についても、上記第1の実施形態で説明した技術を適用することができる。
図11は第1の実施形態の表示部30の表示画面31の表示の変形例2を示す図である。表示制御部25は、上記第1の実施形態において図5に示して説明した表示態様に加えて、さらに図11に示すように、第1関心領域特定部23が特定した第1関心領域A2の拡大画像Pa2と、第2関心領域特定部24が特定した第1関心領域A2に対応する第2関心領域B2の拡大画像Pb2とを、CC画像PRc上に重ねて表示する。なお、拡大画像Pa2.Pb2は、特定された第1関心領域A2及び第2関心領域B2と重ならない位置に表示される。
これにより、ユーザがカーソルFで指定した位置に基づく第1関心領域A2及び第1関心領域A2に対応する第2関心領域B2を拡大画像Pa2,Pb2において詳細に観察することができる。なお、拡大画像Pa2.Pb2は、CC画像PRc上に限られず、MLO画像PRm上に表示してもよいし、表示画面31の何れに表示させてもよい。また、拡大画像Pa2.Pb2は、並列表示ではなく直列表示させてもよいし、適宜レイアウトを変更することができる。
図12は関心領域の拡大表示の一例を示す図である。例えば、図12に示すように、拡大画像Pa2と拡大画像Pb2とを、表示画面31に予め定められた時間間隔で切り換え表示させてもよい。この場合、第1関心領域A2と第2関心領域B2との拡大画像Pa2及び拡大画像Pb2における各々の座標位置がより一致するように、拡大倍率と画像の切出し位置とが設定される。このように、拡大画像Pa2と拡大画像Pb2とが切り換え表示されると、第1関心領域A2と第2関心領域B2とが比較しやすい。
図13は第1の実施形態の表示部30の表示画面31の表示の変形例3を示す図である。変形例3においては、図13に示すように、表示部30は第1表示画面31Aと第2表示画面31Bとを有している。表示制御部25は、第1表示画面31Aに画像診断の内容を記録した読影レポート32を表示し、第2表示画面31Bに画像を表示する。第2表示画面31Bは画像が表示される画像ビューワとして機能する。変形例3においては、表示制御部25によって、第2表示画面31Bには、上記第1の実施形態における図5の表示画面31で表示された内容が表示される。変形例3によれば、異なる撮影方向から撮影されたMLO画像PRm及びCC画像PRcに基づいて画像診断する際に、ユーザが読影レポート32の内容を確認しながら、MLO画像PRmにおける第1関心領域とCC画像PRcにおける第2関心領域と対応関係を一見して把握することできる。
図14は第1の実施形態の表示部30の表示画面31の表示の変形例4を示す図である。変形例4においては、図14に示すように、表示部30は第1表示画面31Aと第2表示画面31Bとを有している。第1表示画面31Aには画像診断の内容を記録した読影レポート32が表示され、第2表示画面31Bには画像が表示される。第2表示画面31Bは画像が表示される画像ビューワとして機能する。変形例4においては、第1表示画面31Aに表示された読影レポート32に、左右各々の乳房を撮影したMLO画像PRm及びMLO画像PLmが含まれる。変形例4においては、読影レポート32に含まれるMLO画像PRm及びMLO画像PLmが本開示の第1画像に相当する。
変形例4においては、第2表示画面31Bには、左右各々の乳房を撮影したCC画像PRc及びCC画像PLcが表示される。変形例4においては、第2表示画面31Bに表示されたCC画像PRc及びCC画像PLcが本開示の第2画像に相当する。変形例4においては、第2表示画面31Bに表示されるCC画像PRc及びCC画像PLcは読影するための検査画像であり、相対的に解像度が高い高解像度画像であるのに対して、第1表示画面31Aに表示される読影レポート32に含まれるMLO画像PRm及びMLO画像PLmは、第2表示画面31Bに表示されるCC画像PRc及びCC画像PLcよりも解像度の低い低解像度画像である。
変形例4によれば、ユーザが読影レポート32に含まれるMLO画像PRm及びCC画像PRc(第1画像の一例)において所望する第1関心領域A、図14においては第1関心領域A2を指定すると、CC画像PRc及びCC画像PLcとは異なる撮影方向から撮影され、第2表示画面31Bに表示されたCC画像PRc及びCC画像PLc(第2画像の一例)において、第1関心領域A2と対応する第2関心領域B2が他の第2関心領域B1及びB3と識別可能に強調表示される。これによりユーザは、読影レポート32において所望する第1関心領域Aを指定することによって、読影レポート32と画像ビューワ(第2表示画面31B)との間で、MLO画像PRm,PLmにおける第1関心領域AとCC画像PRc,PLcにおける第2関心領域Bと対応関係を一見して把握することができる。
なお、上記変形例4においては、読影レポート32に含まれるMLO画像PRm及びMLO画像PLmが本開示の第1画像に、第2表示画面31Bに表示されたCC画像PRc及びCC画像PLcが本開示の第2画像にそれぞれ相当するとしたが本開示の技術はこれに限られない。図15は第1の実施形態の表示部30の表示画面31の表示の変形例5を示す図である。変形例5においては、図15に示すように、読影レポート32に含まれるCC画像PRc及びCC画像PLcが本開示の第2画像に、第2表示画面31Bに表示されたMLO画像PRm及びMLO画像PLmが本開示の第1画像にそれぞれ相当する。
すなわち、第2表示画面31Bに表示されたMLO画像PRm及びMLO画像PLmにおいて、所望する第1関心領域A2を指定すると、MLO画像PRm及びMLO画像PLmとは異なる撮影方向から撮影され、読影レポート32に含まれるCC画像PRc及びCC画像PLcにおいて、第1関心領域A2と対応する第2関心領域B2が他の第2関心領域B1,B3と識別可能に強調表示される。これによりユーザは、画像ビューワ(第2表示画面31B)上において所望する第1関心領域を指定することによって、読影レポート32と画像ビューワとの間で、MLO画像PRm,PLm(第1画像の一例)における第1関心領域AとCC画像PRc,PLc(第2画像の一例)における第2関心領域Bと対応関係を一見して把握することができる。
なお、上述した変形例4及び変形例5においては、読影レポート32に含まれる画像を低解像度画像としたが、本開示の技術はこれに限られず、第2表示画面31Bに表示される検査画像と同じ解像度の検査画像としてもよい。
図16は第1の実施形態の表示部30の表示画面31の表示の変形例6を示す図である。変形例6においては、図16に示すように、表示部30は第1表示画面31Aと第2表示画面31Bとを有している。第1表示画面31Aには左右各々の乳房を撮影したMLO画像PRm及びMLO画像PLmが含まれる読影レポート32が表示される。第2表示画面31Bには第1表示画面31Aに表示されたMLO画像PRm及びMLO画像PLmと同一の検査日において撮影された画像であるMLO画像PRmとCC画像PRcが表示される。
変形例6においては、読影レポート32に含まれるMLO画像PRm及びMLO画像PLmが本開示の第1画像に相当する。また、第2表示画面31Bに表示されたCC画像PRcが本開示の第2画像に、MLO画像PRmが第3画像にそれぞれが相当する。
変形例6においては、ユーザが読影レポート32に含まれるMLO画像PRm及びCC画像PRcにおいて所望する第1関心領域Aとして、例えば第1関心領域A2を指定すると、第2表示画面31Bに表示されたMLO画像PRm及びCC画像PRcの2つの画像において、各々第1関心領域A2と対応する第2関心領域B2及びC2が他の第2関心領域B1、C1、B3、及びC3と識別可能に強調表示される。つまり、変形例6は、第1画像において1つの第1関心領域Aを指定した場合に、第1画像とは別の第2画像及び第3画像の2つの画像において、第1関心領域Aに対応する第2関心領域B、Cを強調表示する例である。
変形例6においては、ユーザが読影レポート32に含まれるMLO画像PRm上で所望する第1関心領域Aを指定すると、第2表示画面31Bには右乳房が撮影されたMLO画像PRm及びCC画像PRcが表示される。しかしながら、例えばユーザが読影レポート32に含まれるMLO画像PLm上で所望する第1関心領域Aを指定した場合には、表示制御部25は、第2表示画面31Bに表示されたMLO画像PRm及びCC画像PRcに代えて、左乳房が撮影されたMLO画像PLm及びCC画像PLcを表示させて、MLO画像PLm及びCC画像PLc上の第2関心領域B、Cを強調表示させる。
なお、変形例6においては、第2表示画面31Bに表示した第3画像である右乳房が撮影されたMLO画像PRmは、読影レポート32に含まれるMLO画像PRmと同一の撮影方向で撮影された画像としたが、本開示の技術はこれに限られない。第2表示画面31Bに表示した第2画像である右乳房が撮影されたCC画像PRcと異なる撮影方向であれば、第3画像はCC画像PRcでなくてもよい。
図17は第1の実施形態の表示部30の表示画面31の表示の変形例7を示す図である。上記変形例6においては、第2表示画面31Bに第1表示画面31Aに表示されたMLO画像PRm及びMLO画像PLmと同一の検査日において撮影された画像であるMLO画像PRmとCC画像PRcを表示している。これに対して変形例7においては、第2表示画面31Bに第1表示画面31Aに表示されたMLO画像PRm及びMLO画像PLmと異なる検査日において撮影された画像であるMLO画像PsRmとCC画像PsRcを表示している。
変形例7においては、第2表示画面31Bに表示されるMLO画像PsRmとCC画像PsRcは、読影レポート32に含まれるMLO画像PRm及びCC画像PRcよりも過去に撮影された画像(以下、過去画像という)である。図17は、破線の楕円で示すように、図16の日付よりも過去の日付と異なっている。例えば、読影レポート32が今回の検査により取得された画像(以下、現在画像という)に基づいて作成されたレポートであり、具体的には、右乳房を今回撮影して取得したMLO画像PRm及びCC画像PRcに基づいて作成されたレポートであるとする。
この場合、例えば現在画像である読影レポート32に含まれるMLO画像PRm(第1画像の一例)において、ユーザが所望する第1関心領域A、変形例7においては第1関心領域A2を指定すると、第2表示画面31Bに表示された過去画像であるMLO画像PsRm(第3画像の一例)及びCC画像PsRc(第2画像の一例)において、各々第1関心領域A2と対応する第2関心領域B2、C2が他の第2関心領域B1、C1、B3、及びC3と識別可能に強調表示される。これによりユーザは、読影レポート32において現在画像上で所望する第1関心領域A2を指定することによって、指定した第1関心領域A2と対応する過去画像上の第2関心領域B2、C2を一見して把握することができ、過去画像と現在画像間での関心領域の対応関係を容易に把握できる。
なお、変形例7においては、読影レポート32に含まれるMLO画像PRm及びCC画像PRcを現在画像、第2表示画面31Bに表示されるMLO画像PRmとCC画像PRcを過去画像としたが、本開示の技術はこれに限られない。読影レポート32に含まれるMLO画像PRm及びCC画像PRcを過去画像、第2表示画面31Bに表示されるMLO画像PRmとCC画像PRcを現在画像としてもよい。
次に、本開示の第2の実施形態について説明する。図18は第2の実施形態の表示制御装置120の機能ブロック図である。図18に示す第2の実施形態の表示制御装置120は、図3で示した第1の実施形態の表示制御装置1のCPU11がさらに関心領域検出部26の機能を有している。
第2の実施形態の表示制御装置120は、図18に示すように、関心領域検出部26を備えている。関心領域検出部26は、画像取得部21によって取得された第1画像としてのMLO画像PRm及び第2画像としてのCC画像PRcを解析することにより、MLO画像PRmにおける第1関心領域Aと、この第1関心領域Aに対応するCC画像PRcにおける第2関心領域Bを検出する。すなわち、関心領域検出部26がMLO画像PRmにおける第1関心領域AとCC画像PRcにおける第2関心領域Bのうち、被写体に関しての同一位置における関心領域を画像解析により検出する。また、関心領域検出部26は、同一の位置に対応する第1関心領域Aと第2関心領域Bに対して、互いに紐づけられたID番号を付与する。紐づけられたID番号の情報(ID番号情報)は、それぞれ付帯情報に記憶される。
第2実施形態において、表示制御部25は、関心領域検出部26によって検出された、MLO画像PRm及びCC画像PRcにおいて対応する第1関心領域A1~A3及び第2関心領域B1~B3の全てを、第1実施形態の図5に示したように、表示部30の表示画面31に表示する。
そして、図5に示したのと同様に、ユーザが第1関心領域A2を指定した場合において、表示制御部25は、第1関心領域特定部23によって特定された第1関心領域A2と対応する第2関心領域B2のみを、CC画像PRc内において、他の第2関心領域B1,B3と識別可能に強調表示する。
以上のように、第2の実施形態によれば、関心領域検出部26が、画像解析により第1関心領域A及び第2関心領域Bを検出し、かつ、検出された第1関心領域A及び第2関心領域Bの対応付けも行う。このため、関心領域の指定と対応関係の入力を手動で行う場合と比べて簡単に行うことができる。
次に、本開示の第3の実施形態について説明する。図19は第3の実施形態の表示制御装置130の機能ブロック図である。図19に示す第3の実施形態の表示制御装置130は、図4で示した第1の実施形態の表示制御装置1のCPU11がさらに画像抽出部27の機能を有している。なお、図19において図4と同じ構成についてはここでの説明は省略し、異なる箇所についてのみ以下説明する。
第3の実施形態の表示制御装置130において、画像取得部21は、図19に示すように、左右の乳房を撮影することにより取得したMLO画像PRm,PLmと、複数のCC画像PRc,PLcを含むCC画像群(第2画像群の一例)を取得する。MLO画像PRm,PLmは今回の検査により取得された現在画像である。CC画像群は、各々撮影方向が同じで、かつ撮影時期が異なるCC画像である。具体的には、今回の検査により取得された現在画像であるCC画像PRc,PLcと、過去の検査により取得された過去画像であるCC画像PsRc-1,PsLc-1~PsRc-n,PsLc-nのn個の検査分の過去画像を含む。
図20は第3の実施形態の表示部30の第1表示画面31Aの表示の一例を示す図である。表示制御部25は、図20に示すように、第1表示画面31AにMLO画像PRm,PLmを表示する。ユーザが例えば図20に示すように、第1関心領域A2を指定して、位置受付部22がこの位置の指定を受け付けた場合に、第1関心領域特定部23は、位置受付部22により受け付けられた位置の指定に基づいて、MLO画像PRmにおいて第1関心領域A2を特定する。
第2関心領域特定部24は、第1関心領域特定部23により特定された第1関心領域A2に基づいて、現在画像であるCC画像PRc、及び過去画像であるCC画像PsRc-1~PsRc-nにおいて第1関心領域A2に対応する第2関心領域B2を特定する。
画像抽出部27は、現在画像であるCC画像PRc、及び過去画像であるCC画像PsRc-1~PsRc-nから、第2関心領域特定部24により特定された第1関心領域A2に対応する第2関心領域B2を含む画像を抽出する。本実施形態においては、現在画像であるCC画像PRc、過去画像であるCC画像PsRc-1及びCC画像PsRc-2において第2関心領域B2が特定されたこととする。
表示制御部25は、画像抽出部27によって抽出されたCC画像を第2表示画面31Bに表示する。図21は第3の実施形態の表示部30の第2表示画面31Bの表示の一例を示す図である。表示制御部25は、図21に示すように、画像抽出部27によって抽出されたCC画像PRc、CC画像PsRc-1、及びCC画像PsRc-2と、CC画像PRc、CC画像PsRc-1、及びCC画像PsRc-2に各々対応する左乳房のCC画像であるCC画像PLc、CC画像PsLc-1、及びCC画像PsLc-2とを第2表示画面31Bに表示する。
また、表示制御部25は、第1関心領域特定部23によって特定された第1関心領域A2と対応する第2関心領域B2を、各CC画像PRc,PsRc-1,PsRc-2内において、他の第2関心領域B1,B3と識別可能に強調表示する。本実施形態においては、第2関心領域B2のみを枠で囲むことにより強調表示する。
次いで、第3の実施形態において行われる処理について説明する。図22は本開示の第3の実施形態において行われる処理を示すフローチャートである。
ビューワプログラムの起動後、患者リストから患者が選択されると、先ず、画像取得部21は、今回の検査により取得された現在画像であるMLO画像PRm,PLm(第1画像の一例)を取得する。加えて、画像取得部21は、MLO画像PRm,PLmに対応する、現在のCC画像PRc,PLcと、過去の検査により取得された過去画像であるCC画像PsRc-1,PsLc-1~PsRc-n,PsLc-nを含むCC画像群(第2画像群の一例)とを検査画像として取得する(ステップST21)。
次いで、表示制御部25は、画像取得部21が取得した現在画像であるMLO画像PRm,PLmを、図20に示すように、表示部30の第1表示画面31Aに表示する(ステップST22)。
ステップST22の後、位置受付部22は、第1表示画面31Aに表示されたMLO画像PRm,PLmにおいて位置の指定を受け付けたか否かを監視する(ステップST23)。本実施形態においては、図20に示したとおり、MLO画像PRmに4つの第1関心領域A1~A4がある。
ステップST23が否定される場合には(ステップST23;NO)、CPU11は処理をステップST29に移行する。
ステップST23が肯定される場合には(ステップST23:YES)、第1関心領域特定部23が、位置受付部22により受け付けられた位置の指定に基づいて、MLO画像PRmにおける第1関心領域A2を特定する(ステップST24)。次いで、第2関心領域特定部24が、第1関心領域特定部23により特定された第1関心領域A2に基づいて、画像取得部21において取得済みのCC画像PRcから第2関心領域Bを特定する。具体的には、第2関心領域特定部24は、現在画像であるCC画像PRc、及び過去画像であるCC画像PRc-1~PRc-nにおいて第1関心領域A2に対応する第2関心領域B2を特定する(ステップST25)。本実施形態においては、現在画像であるCC画像PRc、過去画像であるCC画像PRc-1及びCC画像PRc-2の3枚のCC画像において第2関心領域B2が特定される。
次いで、画像抽出部27が、第2関心領域特定部24により第2関心領域B2が特定されたCC画像を抽出する(ステップST26)。本実施形態においては、現在画像であるCC画像PRc、過去画像であるCC画像PRc-1及びCC画像PRc-2が抽出される。
次いで、表示制御部25が画像抽出部27によって抽出されたCC画像PRc、CC画像PRc-1、及びCC画像PRc-2と、CC画像PRc、CC画像PRc-1、及びCC画像PRc-2に各々対応する左乳房のCC画像であるCC画像PLc、CC画像PLc-1、及びCC画像PLc-2とを第2表示画面31Bに表示する(ステップST27)。この際に、表示制御部25は、第2表示画面31Bにおいて、第1関心領域特定部23によって特定された第1関心領域A2と対応する第2関心領域B2を、各CC画像PRc,PRc-1,PRc-2内において、他の第2関心領域B1,B3と識別可能に強調表示する(ステップST28)。
次いで、CPU11は、ビューワプログラムが終了されたか否かを判断し(ステップST29)、ステップST29が肯定される場合には(ステップST29;YES)、CPU11は処理を終了する。一方、ステップST29が否定される場合には(ステップST29;NO)、CPU11は処理をステップST23に移行し、ステップST23以降の処理を実行する。以上のようにして、CPU11は、こうした一連の処理を、ビューワプログラムが終了するまで繰り返す。
第3の実施形態によれば、撮影時期が異なる複数のCC画像(第2画像の一例)を画像診断する場合であっても、MLO画像PRm(第1画像の一例)において位置の指定を受け付けた場合に、位置の指定によって特定されたMLO画像PRmの第1関心領域Aと対応する第2関心領域Bを含むCC画像が抽出されて表示される。さらに表示されたCC画像において、特定されたMLO画像PRmの第1関心領域Aと対応する第2関心領域Bのみが、CC画像内において、他の関心領域Bと識別可能に強調表示される。これにより、異なる撮影方向から撮影されたMLO画像PRm及び撮影時期が異なる複数のCC画像に基づいて画像診断する際に、MLO画像PRm及びCC画像の各々に複数の関心領域が存在する場合であっても、異なる撮影方向から撮影された画像間において第1関心領域Aと第2関心領域Bの対応関係を一見して把握することが可能となる。
なお、上記第3の実施形態において、表示制御部25は、第2表示画面31Bにおいて左右の乳房のCC画像を表示したが、本開示の技術はこれに限られない。表示制御部25は、第1表示画面31Aにおいて特定された第1関心領域Aを含む片方の乳房のCC画像のみを第2表示画面31Bに表示させてもよい。
次に、本開示の第4の実施形態について説明する。図23は第4の実施形態の表示制御装置140の機能ブロック図である。上記第3の実施形態において画像取得部21が取得するCC画像群は、各々撮影方向が同じで、かつ撮影時期が異なるCC画像であるのに対して、第4の実施形態の表示制御装置140においては、図23に示すように、画像取得部21が取得するCC画像群は、乳房の異なる断層を示す複数の断層画像(以下、CC断層画像という)である。
断層画像は、トモシンセシス撮影によって取得される。トモシンセシス撮影は、上述のとおり、異なる照射角度から乳房に放射線を照射して撮影を行い、これにより取得した複数の投影画像を再構成処理して断層画像を生成する撮影方法である。CC断層画像は、放射線源を乳房の上下方向に位置させて撮影して取得した投影画像を再構成処理して生成した画像である。本実施形態において画像取得部21は左右の乳房を撮影することにより取得したMLO画像PRm,PLmと、n枚のCC断層画像PtRc-1~PtRc-n(第2画像群の一例)とを取得する。
本実施形態においては、第2関心領域特定部24が、第1関心領域特定部23により特定された第1関心領域A2に基づいて、n枚のCC断層画像PtRc-1~PtRc-nにおいて第1関心領域A2に対応する第2関心領域B2を特定する。
画像抽出部27は、n枚のCC断層画像PtRc-1~PtRc-nから、第2関心領域特定部24により特定された第1関心領域A2に対応する第2関心領域B2を含む画像を抽出する。本実施形態においては、3枚のCC断層画像PtRc-1,PtRc-2,PtRc-4において第2関心領域B2が特定されたこととする。
表示制御部25は、画像抽出部27によって抽出されたCC断層画像PtRc-1,PtRc-2,PtRc-4を第2表示画面31Bに表示する。表示制御部25は、図21に示したのと同様に、画像抽出部27によって抽出されたCC断層画像PtRc-1,PtRc-2,PtRc-4、及びCC断層画像PtRc-1,PtRc-2,PtRc-4に各々対応する左乳房のCC断層画像PtLc-1,PtLc-2,PtLc-4を第2表示画面31Bに表示する。
次いで、第4の実施形態において行われる処理について説明する。図24は本開示の第4の実施形態において行われる処理を示すフローチャートである。
ビューワプログラムの起動後、患者リストから患者が選択されると、先ず、画像取得部21は、左右の乳房を撮影することにより取得したMLO画像PRm,PLm(第1画像の一例)を取得する。加えて、画像取得部21は、MLO画像PRm,PLmに対応するCC画像として、n枚のCC断層画像PtRc-1~PtRc-nを含むCC画像群(第2画像群の一例)とを検査画像として取得する(ステップST31)。
次いで、表示制御部25は、画像取得部21が取得したMLO画像PRm,PLmを、表示部30の第1表示画面31Aに表示(図20参照)する(ステップST32)。
ステップST32の後、位置受付部22は、第1表示画面31Aに表示されたMLO画像PRm,PLmにおいて位置の指定を受け付けたか否かを監視する(ステップST33)。本実施形態においては、MLO画像PRmに4つの第1関心領域A1~A4がある(図20参照)。
ステップST33が否定される場合には(ステップST33;NO)、CPU11は処理をステップST39に移行する。
ステップST33が肯定される場合には(ステップST33:YES)、第1関心領域特定部23が、位置受付部22により受け付けられた位置の指定に基づいて、MLO画像PRmにおける第1関心領域A2を特定する(ステップST34)。次いで、第2関心領域特定部24が、第1関心領域特定部23により特定された第1関心領域A2に基づいて、画像取得部21において取得済みのCC断層画像PtRcから第2関心領域Bを特定する。具体的には、第2関心領域特定部24は、n枚のCC断層画像PtRc-1~PtRc-nにおいて第1関心領域A2に対応する第2関心領域B2を特定する(ステップST35)。本実施形態においては、3枚のCC断層画像PtRc-1,PtRc-2,PtRc-4において第2関心領域B2が特定される。
次いで、画像抽出部27が、第2関心領域特定部24により第2関心領域B2が特定されたCC断層画像を抽出する(ステップST36)。本実施形態においては、3枚のCC断層画像PtRc-1,PtRc-2,PtRc-4が抽出される。
次いで、表示制御部25が画像抽出部27によって抽出された3枚のCC断層画像PtRc-1,PtRc-2,PtRc-4と、3枚のCC断層画像PtRc-1,PtRc-2,PtRc-4に各々対応する左乳房のCC画像であるCC画像PLc、CC画像PLc-1、及びCC画像PLc-2とを第2表示画面31Bに表示する(ステップST37)。この際に、表示制御部25は、第1関心領域特定部23によって特定された第1関心領域A2と対応する第2関心領域B2を、各CC断層画像PtRc-1,PtRc-2,PtRc-4内において、他の第2関心領域B1,B3と識別可能に強調表示する(ステップST38)。
次いで、CPU11は、ビューワプログラムが終了されたか否かを判断し(ステップST39)、ステップST39が肯定される場合には(ステップST39;YES)、CPU11は処理を終了する。一方、ステップST39が否定される場合には(ステップST39;NO)、CPU11は処理をステップST33に移行し、ステップST33以降の処理を実行する。以上のようにして、CPU11は、こうした一連の処理を、ビューワプログラムが終了するまで繰り返す。
第4の実施形態によれば、乳房の異なる断層を示す複数のCC断層画像(断層画像の一例)を画像診断する場合であっても、MLO画像PRm(第1画像の一例)において位置の指定を受け付けた場合に、位置の指定によって特定されたMLO画像PRmの第1関心領域Aと対応する第2関心領域Bを含むCC断層画像(第2画像の一例)が抽出されて表示される。さらに表示されたCC断層画像において、特定されたMLO画像PRmの第1関心領域Aと対応する第2関心領域Bのみが、CC断層画像内において、他の関心領域と識別可能に強調表示される。これにより、異なる撮影方向から撮影されたMLO画像PRm及び撮影時期が異なる複数のCC画像に基づいて画像診断する際に、MLO画像PRm及び乳房の異なる断層を示す複数のCC断層画像の各々に複数の関心領域が存在する場合であっても、異なる撮影方向から撮影された画像間において第1関心領域Aと第2関心領域Bの対応関係を一見して把握することが可能となる。
なお、上述した第3及び第4の実施形態においては、画像抽出部27によって抽出されたCC画像又はCC断層画像の枚数に基づいて第2表示画面31Bを複数の領域に分割し、分割された各領域に、抽出されたCC画像又はCC断層画像を表示する。図25は本開示の一実施形態の表示部30の第2表示画面31Bを説明するための図である。
例えば、画像抽出部27によって抽出されたCC画像又はCC断層画像の枚数が3枚である場合には、表示制御部25は、図25に示すように、第2表示画面31Bを上段2つ、下段1つの合計3つの領域に分割し、分割された各領域に抽出されたCC画像又はCC断層画像を表示する。なお、第2表示画面31Bにおける分割の仕方については、ユーザにより任意に設定することができる。
次に、本開示の第5の実施形態について説明する。図26は第5の実施形態の表示制御装置150の機能ブロック図である。図26は、図19に示す上記第3の実施形態の表示制御装置130に対して、さらに二次記憶部13に上限設定情報13aが記憶されている。上限設定情報13aは、第2表示画面31BにおいてCC画像を表示可能な枚数の上限を示す情報である。上限設定情報13aにおける枚数の上限の設定は予めユーザが入力部40を使用して行い、ユーザにより設定変更可能とされている。
第5の実施形態においては、第2表示画面31BにおいてCC画像を表示可能な枚数の上限が設定されている場合、表示制御部25は、画像抽出部27により抽出されたCC画像の枚数が、上限を超えている場合に、CC画像を複数のページに分けて切り換え表示する。図27及び図28は第5の実施形態の表示部30の第2表示画面31Bの表示の一例を示す図である。
例えば第2表示画面31BにおいてCC画像を表示可能な枚数が4枚に設定されているとする。この場合、表示制御部25は、CC画像を表示する画像表示領域34cを上段2つ、下段2つの合計4つの領域に分割する。そして、画像抽出部27が例えば、5枚以上のCC画像を抽出したとする。この場合、表示制御部25は、図27及び図28に示すように、第2表示画面31Bにおいて、CC画像を表示する画像表示領域34cに隣接させてスクロールバー33を表示させる。スクロールバー33には、上側にスクロールさせる上矢印33a及び下側にスクロールさせるための下矢印33bが各々上下に表示される。
表示制御部25は、先ずは図27に示すように、4枚のCC画像を画像表示領域34cの4つの領域に表示する。そして下矢印33bが操作された場合に、表示制御部25は、図28に示すように、下矢印33bが操作される前に表示されていたCC画像を除くCC画像を分割された4つの領域に表示する。そして、下矢印33bが操作される毎に同様にして次々にCC画像を表示させる。また、上矢印33aが操作された場合に、表示制御部25は、現在の表示の一つ前の表示に戻る。すなわち、図28が表示されている場合に上矢印33aが操作されると、表示制御部25は、図27の表示態様を表示する。
なお、第5の実施形態において、画像表示領域34cにおいて、分割される領域の数はユーザによって予め設定することが可能である。また、分割された領域のレイアウトについてもユーザによって予め設定することが可能である。また、第5の実施形態においては、表示制御部25が画像抽出部27によって抽出されたCC画像を優先度の高い順に表示させることができる。図26に示すように、二次記憶部13にさらに優先度情報13bが記憶されている。優先度情報13bは、第2表示画面31BにおいてCC画像を表示する順序を示す情報である。優先度情報13bにおける優先度の設定は予め設定されており、ユーザにより設定変更可能とされている。
具体的に、優先度情報13bとしては、例えば画像抽出部27が異なる撮影時期に撮影された複数のCC画像を抽出する場合には、撮影日時の新しいものから順に優先度を高く設定する。また、画像抽出部27が複数のCC断層画像を抽出する場合には、抽出した各CC断層画像において特定された第2関心領域の大きさが大きい順に優先度を高く設定してもよい。このように、優先度を設定しておくことにより、第2表示画面31Bにおいて、優先度の高い順にCC画像及びCC断層画像等(第2画像の一例)の検査画像が表示されるので、ユーザは優先度の高い検査画像から読影を開始することができる。
また、上述した実施形態においては、検査画像として乳房画像を使用したが、本開示の技術はこれに限られない。検査画像としては、例えば頭部画像であってもよいし、胸部画像、腹部画像、及び手又は足等の画像であってもよいし、何れの部位を撮影した画像であってもよい。
また、上述した実施形態において、第1表示画面31Aと第2表示画面31Bとは同一の表示部30に設けているが、本開示の技術はこれに限られない。2つの表示部30がある場合には、各々の表示部30に第1表示画面31Aと第2表示画面31Bとを表示させることができる。
また、上述した実施形態において、位置の指定を受け付ける第1画像をMLO画像、第1画像の第1関心領域Aと対応する第2関心領域Bを強調表示する第2画像をCC画像としたが、本開示の技術はこれに限られない。位置の指定を受け付ける第1画像がCC画像であり、第1画像の第1関心領域Aと対応する第2関心領域Bを強調表示する第2画像がMLO画像であってもよい。
また、上述した実施形態において、例えば、画像取得部21、位置受付部22、第1関心領域特定部23、第2関心領域特定部24、表示制御部25、関心領域検出部26、及び画像抽出部27といった各種の処理を実行する処理部(Processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
1 表示制御装置
2 画像撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 一次記憶部
13 二次記憶部
13a 上限設定情報
13b 優先度情報
14 外部I/F
15 作動プログラム
16 バスライン
21 画像取得部
22 位置受付部
23 関心領域特定部
24 関心領域特定部
25 表示制御部
26 関心領域検出部
27 画像抽出部
30 表示部
31 表示画面
31A 表示画面
31B 表示画面
32 読影レポート
33 スクロールバー
33a 上矢印
33b 下矢印
34a サムネイル画像表示領域
34b 選択領域
34c 画像表示領域
40 入力部
A1,A2,A3,A4 第1関心領域
B1,B2,B3 第2関心領域
F カーソル
M 乳房
N ニップル
PLc 左乳房のCC画像
PRc 右乳房のCC画像
PLm 左乳房のMLO画像
PRm 右乳房のMLO画像
Pa2,Pb2 拡大画像
PtLc 左乳房のCC断層画像
PtRc 右乳房のCC断層画像

Claims (16)

  1. 被写体を撮影した第1画像と、前記第1画像と同一の前記被写体を前記第1画像とは異なる撮影方向から撮影した第2画像とを取得する画像取得部と、
    前記画像取得部により取得された前記第1画像において異常陰影が認められる領域である複数の第1関心領域の情報を取得し、前記画像取得部により取得された前記第2画像において異常陰影が認められる複数の第2関心領域の情報を取得する取得部と、
    前記取得部により取得された前記複数の第1関心領域を含む前記第1画像と、前記取得部により取得された前記複数の第2関心領域を含む前記第2画像とを表示部に表示する表示制御部と、
    前記表示制御部によって前記表示部に表示された前記第1画像において位置の指定を受け付ける位置受付部と、
    前記位置受付部により受け付けられた前記位置の指定に基づいて、前記第1画像に含まれる前記複数の第1関心領域の中から1つの第1関心領域を特定する第1関心領域特定部と、
    前記第1関心領域特定部により特定された第1関心領域に基づいて、前記第2画像における前記特定された第1関心領域に対応する第2関心領域を特定する第2関心領域特定部とを含み
    記表示制御部は、前記第2関心領域特定部により前記特定された第1関心領域に対応する第2関心領域が特定された場合に、特定された前記第2関心領域を、前記第2画像内において、他の第2関心領域と識別可能に強調表示する表示制御装置。
  2. 前記画像取得部により取得された前記第1画像及び前記第2画像を解析することにより、前記第1関心領域と前記第1関心領域に対応する第2関心領域を検出する関心領域検出部を含み、
    前記表示制御部は、前記関心領域検出部により検出された関心領域の全てを前記表示部に表示し、かつ、前記位置受付部が前記位置の指定を受け付けた場合に、前記位置の指定によって特定された前記第1関心領域と対応する前記第2関心領域のみを表示する制御を行う請求項1に記載の表示制御装置。
  3. 前記表示制御部は、1又は複数の前記表示部に対して、複数の表示画面を表示することが可能である請求項1又は2に記載の表示制御装置。
  4. 前記表示画面は、画像診断の内容を記録した読影レポートを表示する第1表示画面と、画像を表示する第2表示画面とを含み、
    前記表示制御部は、前記第2表示画面に前記第1画像及び前記第2画像を表示する請求項に記載の表示制御装置。
  5. 前記表示画面は、画像診断の内容を記録した読影レポートを表示する第1表示画面と、画像を表示する第2表示画面とを含み、
    前記表示制御部は、前記第1表示画面に前記第1画像を表示し、かつ前記第2表示画面に前記第2画像を表示するか、又は、前記第1表示画面に前記第2画像を表示し、かつ前記第2表示画面に前記第1画像を表示する請求項に記載の表示制御装置。
  6. 前記画像取得部は、前記第2画像とは異なる撮影方向から前記被写体を撮影した第3画像を取得し、
    前記表示制御部は、前記第1表示画面に前記第1画像を表示し、かつ前記第2表示画面に前記第2画像及び前記第3画像を表示する請求項に記載の表示制御装置。
  7. 前記第1画像及び前記第2画像は、同一の検査日において撮影された画像である請求項に記載の表示制御装置。
  8. 前記第1画像及び前記第3画像は、同一の撮影方向から撮影した画像である請求項又はに記載の表示制御装置。
  9. 前記第1画像と、前記第2画像及び前記第3画像とは、異なる検査日において撮影された画像である請求項又はに記載の表示制御装置。
  10. 前記画像取得部は、複数の前記第2画像を含む第2画像群を取得し、
    前記第2画像群は、撮影方向が同じで、撮影時期が異なる複数の画像を含む画像群か、又は前記被写体の異なる断層を示す複数の断層画像を含む画像群である請求項からの何れか1項に記載の表示制御装置。
  11. 前記第2関心領域特定部は、前記第1関心領域特定部により特定された前記第1関心領域に基づいて、前記第2画像群から前記第1関心領域に対応する第2関心領域を特定し、
    前記第2関心領域特定部により特定された前記第1関心領域に対応する第2関心領域を含む前記第2画像を抽出する画像抽出部をさらに含み、
    前記表示制御部は、前記位置受付部が前記第1画像内の前記位置の指定を受け付けた場合に、前記画像抽出部によって抽出された前記第2画像において、特定された前記第1関心領域に対応する前記第2関心領域を強調表示する請求項10に記載の表示制御装置。
  12. 前記表示制御部は、前記画像抽出部により抽出された複数の前記第2画像を前記第2表示画面に表示し、かつ、
    前記画像抽出部によって抽出された複数の前記第2画像の枚数に基づいて前記第2表示画面を複数の領域に分割し、分割された各領域に、抽出された複数の前記第2画像を表示する請求項11に記載の表示制御装置。
  13. 前記第2表示画面に前記第2画像を表示可能な枚数の上限が設定されている場合において、
    前記表示制御部は、前記画像抽出部により抽出された前記第2画像の枚数が、前記上限を超えている場合に、前記第2画像を複数のページに分けて切り換え表示する請求項12に記載の表示制御装置。
  14. 前記画像抽出部により抽出された複数の前記第2画像を表示する際の優先度が設定されている場合において、
    前記表示制御部は、前記画像抽出部により抽出された前記第2画像の枚数が、前記上限を超えている場合に、前記第2表示画面において、前記優先度の高い順に前記第2画像を表示させる請求項13に記載の表示制御装置。
  15. 被写体を撮影した第1画像と、前記第1画像と同一の前記被写体を前記第1画像とは異なる撮影方向から撮影した第2画像とを取得する画像取得ステップと、
    前記画像取得ステップで取得した前記第1画像において異常陰影が認められる領域である複数の第1関心領域の情報を取得し、前記画像取得ステップで取得した前記第2画像において異常陰影が認められる複数の第2関心領域の情報を取得する取得ステップと、
    前記取得ステップで取得した前記複数の第1関心領域を含む前記第1画像と、前記取得ステップで取得した前記複数の第2関心領域を含む前記第2画像とを表示部に表示する表示制御ステップと、
    前記表示部に表示された前記第1画像において位置の指定を受け付ける受付ステップと、
    受け付けられた前記位置の指定に基づいて、前記第1画像に含まれる前記複数の第1関心領域の中から1つの第1関心領域を特定する第1関心領域特定ステップと、
    特定された第1関心領域に基づいて、前記第2画像における前記特定された第1関心領域に対応する第2関心領域を特定する第2関心領域特定ステップとを含み
    前記表示制御ステップは、前記第2関心領域特定ステップで前記特定された第1関心領域に対応する第2関心領域が特定された場合に、特定された前記第2関心領域を、前記第2画像内において、他の第2関心領域と識別可能に強調表示する表示制御装置の作動方法。
  16. 被写体を撮影した第1画像と、前記第1画像と同一の前記被写体を前記第1画像とは異なる撮影方向から撮影した第2画像とを取得する画像取得部と、
    前記画像取得部により取得された前記第1画像において異常陰影が認められる領域である複数の第1関心領域の情報を取得し、前記画像取得部により取得された前記第2画像において異常陰影が認められる複数の第2関心領域の情報を取得する取得部と、
    前記取得部により取得された前記複数の第1関心領域を含む前記第1画像と、前記取得部により取得された前記複数の第2関心領域を含む前記第2画像とを表示部に表示する表示制御部と、
    前記表示制御部によって前記表示部に表示された前記第1画像において位置の指定を受け付ける位置受付部と、
    前記位置受付部により受け付けられた前記位置の指定に基づいて、前記第1画像に含まれる前記複数の第1関心領域の中から1つの第1関心領域を特定する第1関心領域特定部と、
    前記第1関心領域特定部により特定された第1関心領域に基づいて、前記第2画像における前記特定された第1関心領域に対応する第2関心領域を特定する第2関心領域特定部とを含み
    記表示制御部は、前記第2関心領域特定部により前記特定された第1関心領域に対応する第2関心領域が特定された場合に、特定された前記第2関心領域を、前記第2画像内において、他の第2関心領域と識別可能に強調表示する表示制御装置としてコンピュータを機能させる表示制御装置の作動プログラム。
JP2019180385A 2019-09-30 2019-09-30 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム Active JP7190992B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019180385A JP7190992B2 (ja) 2019-09-30 2019-09-30 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム
US17/013,647 US11449999B2 (en) 2019-09-30 2020-09-06 Display control device, method for operating display control device, and program for operating display control device
DE102020124527.0A DE102020124527A1 (de) 2019-09-30 2020-09-21 Anzeigesteuergerät, verfahren zum betreiben eines anzeigesteuergeräts und programm zum betreiben eines anzeigesteuergeräts

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019180385A JP7190992B2 (ja) 2019-09-30 2019-09-30 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム

Publications (2)

Publication Number Publication Date
JP2021053224A JP2021053224A (ja) 2021-04-08
JP7190992B2 true JP7190992B2 (ja) 2022-12-16

Family

ID=74872702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019180385A Active JP7190992B2 (ja) 2019-09-30 2019-09-30 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム

Country Status (3)

Country Link
US (1) US11449999B2 (ja)
JP (1) JP7190992B2 (ja)
DE (1) DE102020124527A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD949897S1 (en) * 2020-10-02 2022-04-26 DeepTekInc. Display screen or portion thereof with graphical user interface
USD949896S1 (en) * 2020-10-02 2022-04-26 DeepTek Inc. Display screen or portion thereof with graphical user interface
USD949895S1 (en) * 2020-10-02 2022-04-26 DeepTek Inc. Display screen or portion thereof with graphical user interface
USD950593S1 (en) * 2020-10-02 2022-05-03 DeepTek Inc. Display screen or portion thereof with graphical user interface
USD950592S1 (en) * 2020-10-02 2022-05-03 DeepTek Inc. Display screen or portion thereof with graphical user interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155788A (ja) 1998-11-18 2000-06-06 Olympus Optical Co Ltd 医療用画像再生装置
JP2015164516A (ja) 2014-02-04 2015-09-17 株式会社東芝 医用画像処理装置、医用画像診断装置及び医用画像処理方法
JP2018000984A (ja) 2008-11-21 2018-01-11 ホロジック インコーポレイティッド トモシンセシスデータセットから2d画像を生成するためのシステムおよび方法
JP2018512913A (ja) 2015-03-10 2018-05-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医療画像の対における対応する構造の検索

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0636183B2 (ja) * 1987-04-27 1994-05-11 横河メディカルシステム株式会社 複数画像表示装置
JP4163370B2 (ja) 2000-06-08 2008-10-08 富士フイルム株式会社 異常陰影候補検出システム
US9289183B2 (en) * 2009-11-27 2016-03-22 Qview Medical, Inc. Interactive display of computer aided detection results in combination with quantitative prompts
JP5960015B2 (ja) * 2012-09-28 2016-08-02 富士フイルム株式会社 画像表示システム、放射線画像撮影システム、画像表示制御プログラム、及び画像表示制御方法。
US9129362B2 (en) * 2013-05-22 2015-09-08 Siemens Aktiengesellschaft Semantic navigation and lesion mapping from digital breast tomosynthesis
US10878569B2 (en) * 2018-03-28 2020-12-29 International Business Machines Corporation Systems and methods for automatic detection of an indication of abnormality in an anatomical image
JP7282594B2 (ja) * 2019-05-20 2023-05-29 キヤノンメディカルシステムズ株式会社 医用画像処理装置、x線診断装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155788A (ja) 1998-11-18 2000-06-06 Olympus Optical Co Ltd 医療用画像再生装置
JP2018000984A (ja) 2008-11-21 2018-01-11 ホロジック インコーポレイティッド トモシンセシスデータセットから2d画像を生成するためのシステムおよび方法
JP2015164516A (ja) 2014-02-04 2015-09-17 株式会社東芝 医用画像処理装置、医用画像診断装置及び医用画像処理方法
JP2018512913A (ja) 2015-03-10 2018-05-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医療画像の対における対応する構造の検索

Also Published As

Publication number Publication date
JP2021053224A (ja) 2021-04-08
US20210097688A1 (en) 2021-04-01
US11449999B2 (en) 2022-09-20
DE102020124527A1 (de) 2021-04-01

Similar Documents

Publication Publication Date Title
JP7190992B2 (ja) 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム
US10368817B2 (en) Displaying computer-aided detection information with associated breast tomosynthesis image information
JP5421756B2 (ja) 画像表示装置および方法並びにプログラム
US9763633B2 (en) Displaying computer-aided detection information with associated breast tomosynthesis image information
JP2009086765A (ja) 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
US20150139518A1 (en) Image processing apparatus
US20240029252A1 (en) Medical image apparatus, medical image method, and medical image program
US10181187B2 (en) Information processing apparatus, method thereof, information processing system, and computer-readable storage medium that display a medical image with comment information
JP7000206B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US12527528B2 (en) Image display apparatus, method, and program
JP7756107B2 (ja) 画像表示装置、方法およびプログラム
JPWO2019193983A1 (ja) 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム
JP2011103095A (ja) 医用画像表示システム及びプログラム
US20240046028A1 (en) Document creation support apparatus, document creation support method, and document creation support program
US20210049731A1 (en) Image display device, image display method, image display program, image management device, image management method, and image management program
JP7341686B2 (ja) 医用情報収集装置
US20230267657A1 (en) Image processing device, image processing method, image processing program, image display device, image display method, and image display program
US11925499B2 (en) Image interpretation support apparatus, and operation program and operation method thereof
JP7735325B2 (ja) 医用画像表示装置、方法およびプログラム
WO2020105416A1 (ja) 医療情報表示装置、方法およびプログラム、並びに医療情報を表示するためのグラフィックユーザインターフェース
US20240347174A1 (en) Medical image processing apparatus and recording medium
US20220215962A1 (en) Image diagnosis support device, operation method of image diagnosis support device, and operation program of image diagnosis support device
WO2022220158A1 (ja) 作業支援装置、作業支援方法、及び作業支援プログラム
JP2009136457A (ja) 画像処理装置および診断用画像表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221206

R150 Certificate of patent or registration of utility model

Ref document number: 7190992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250