JP2020151232A - 動態解析装置、動態解析システム、予測率算出方法及びプログラム - Google Patents

動態解析装置、動態解析システム、予測率算出方法及びプログラム Download PDF

Info

Publication number
JP2020151232A
JP2020151232A JP2019053096A JP2019053096A JP2020151232A JP 2020151232 A JP2020151232 A JP 2020151232A JP 2019053096 A JP2019053096 A JP 2019053096A JP 2019053096 A JP2019053096 A JP 2019053096A JP 2020151232 A JP2020151232 A JP 2020151232A
Authority
JP
Japan
Prior art keywords
lung
feature amount
lung field
respiratory function
exclusion target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019053096A
Other languages
English (en)
Other versions
JP7074101B2 (ja
Inventor
謙太 嶋村
Kenta Shimamura
謙太 嶋村
哲嗣 松谷
Tetsuji Matsutani
哲嗣 松谷
淳 花岡
Atsushi Hanaoka
淳 花岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2019053096A priority Critical patent/JP7074101B2/ja
Priority to US16/804,742 priority patent/US11484221B2/en
Publication of JP2020151232A publication Critical patent/JP2020151232A/ja
Application granted granted Critical
Publication of JP7074101B2 publication Critical patent/JP7074101B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Measuring devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/507Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pulmonology (AREA)
  • Cardiology (AREA)
  • Hematology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】胸部の動態画像から、肺の一部を除外した場合の呼吸機能値の予測を精度よく行えるようにする。【解決手段】診断用コンソール3の制御部31は、肺野における除外対象箇所の情報が取得されると、除外対象箇所及び左右のうち当該除外対象箇所を含む側の肺野の肺サイズ値を取得し、その比率をサイズ比率として算出する。また、制御部31は、胸部の動態画像の複数のフレーム画像に基づいて、除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量を算出し、その比率を特徴量比率として算出する。そして、制御部31は、算出されたサイズ比率及び特徴量比率を乗じた値に基づいて、除外対象箇所を肺野から除外した場合の呼吸機能の予測率を算出する。【選択図】図3

Description

本発明は、動態解析装置、動態解析システム、予測率算出方法及びプログラムに関する。
肺がん手術は国内年間3万件以上行われており、近年死亡率が少なくなってはいるものの、合併症の発生も多いリスクのある手術である。肺がんの手術適用にあたり、医師は術前に、ガイドラインに則ったリスク判定値とその他様々な要因を勘案し、総合的にリスク判断を行い、手術の是非や、縮小手術にするなどの手術計画を決定する。このリスク判定値の重要な要素が、術後の呼吸機能の予測である。術後の呼吸機能は、ガイドライン上でのリスク判定結果に影響があるばかりでなく、合併症の発生との強い関連が考えられており、これを精度よく把握することが重要である。
肺がんがある場合、薬剤治療などの選択肢もあるが、根治には切除が効果的であり、可能であれば手術により肺がんを切除することが望まれる。肺がん切除は、左右肺のうち片方をすべて切除するケースもあるが、肺葉単位での切除が多い。切除の際に、術後の肺をできるだけ残したい場合には、縮小手術と言い、肺葉よりも小さい肺区域レベルでの切除を行うという選択肢もある。しかし、縮小手術をする場合、周辺の肺区域にがんが転移している可能性があるため、根治の意味では肺葉を切除することが望ましい。手術そのものができるか否かや、縮小手術を行うか否かの判断基準の1つとして、術後の呼吸機能の予測があり、根治を目指す人であっても術後の呼吸機能の予測値が予め定められた閾値以下であれば、合併症などのリスクが高いため、縮小手術をせざるを得ない、もしくは手術そのものを取りやめる、と判断することがある。術後の呼吸機能の予測精度を改善することで術後のリスク判定の精度が上がるため、術後のリスクが低いと判定されれば、区域切除でなく、肺葉切除を選択して根治しやすくできるようになる。また、術後のリスクが高いと判定された場合には、リスク削減のために縮小手術をすべき、もしくは手術をとりやめるべき、と精度のよい判断ができるようになる。
術後の呼吸機能の予測を行う手法として、肺血流シンチグラフィー検査を用いた手法がある。しかし、肺血流シンチグラフィー検査は検査装置が大掛かりで高価なことから、比較的大きな病院でなければ保有ができず、小さい病院では使うことができなかった。また、シンチグラフィー検査装置の保有施設においても、シンチグラフィー検査は、放射線同位体の管理のためにオーダー後通常1週間程度待たなければならず、被爆も大きいことから、リスクの大きい患者でしか使用されていなかった。そのため、多くの患者で合併症リスクの把握が正確にできていなかった。また、肺血流シンチグラフィー検査では、左右の血流像が得られるだけであるため、肺の位置を正確に把握することができず、呼吸機能の予測を正確に行うことが困難であった。
これらの問題を解決する技術として、例えば、特許文献1には、X線動態画像を用いて術後の呼吸機能を予測する技術が提案されている。具体的には、肺切除範囲に相当する領域をユーザーが操作部等の操作により画像上から選択すると、胸部の動態画像における肺野全体から選択された選択領域を除いた領域における特徴量を算出するとともに、肺野全体における特徴量を算出し、肺野全体から選択領域を除いた領域における特徴量と肺野全体における特徴量の比を算出してスパイロメトリー検査の検査結果に乗算することで、肺切除後の呼吸機能値の予測を行うことが記載されている。
特開2016−214725号公報
しかしながら、特許文献1に記載の技術では、切除による除外対象領域を動態画像上から指定する必要があるが、二次元の動態画像では立体三次元の切除予定範囲を正確に指定できないことから、精度よく呼吸機能値を予測することができなかった。
本発明の課題は、胸部の動態画像から、肺の一部を除外した場合の呼吸機能値の予測を精度よく行えるようにすることである。
上記課題を解決するため、請求項1に記載の発明の動態解析装置は、
被写体の胸部の動態を示す複数のフレーム画像に基づいて前記被写体の呼吸機能値を予測する動態解析装置であって、
前記被写体の肺野における除外対象箇所及び左右のうち当該除外対象箇所を含む側の肺野の肺サイズ値を取得する肺サイズ値取得手段と、
前記除外対象箇所の肺サイズ値と前記除外対象箇所を含む側の肺野の肺サイズ値の比率をサイズ比率として算出するサイズ比率算出手段と、
前記複数のフレーム画像に基づいて、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量を算出し、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、前記肺野全体の呼吸機能に関する特徴量の比率を特徴量比率として算出する特徴量比率算出手段と、
前記算出された前記サイズ比率及び前記特徴量比率を乗じた値に基づいて、前記除外対象箇所を肺野から除外した場合の呼吸機能の予測率を算出する予測率算出手段と、
を備える。
請求項2に記載の発明は、請求項1に記載の発明において、
前記除外対象箇所に対応する解剖学的単位の情報を取得する取得手段を備え、
前記肺サイズ値取得手段は、予め肺を構成する解剖学的単位ごとの肺サイズ値が記憶された記憶手段から、前記除外対象箇所に対応する解剖学的単位の肺サイズ値及び前記除外対象箇所を含む側の肺野に対応する解剖学的単位の肺サイズ値を取得する。
請求項3に記載の発明は、請求項2に記載の発明において、
前記解剖学的単位は、左右、肺葉、肺区域、肺亜区域のいずれかである。
請求項4に記載の発明は、請求項1〜3のいずれか一項に記載の発明において、
前記被写体の肺全体の呼吸機能値を取得する呼吸機能値取得手段と、
前記呼吸機能値取得手段により取得された呼吸機能値に前記予測率を乗算して前記除外対象箇所を肺野から除外した場合の呼吸機能値を予測する予測手段と、
を備える。
請求項5に記載の発明は、請求項1〜4のいずれか一項に記載の発明において、
前記複数のフレーム画像は、肺の手術前に撮影された画像であり、
前記除外対象箇所は、前記肺の手術により切除の対象となる箇所である。
請求項6に記載の発明は、請求項1〜5のいずれか一項に記載の発明において、
前記特徴量は、換気機能に関する特徴量、肺血流機能に関する特徴量、又は、前記換気機能に関する特徴量及び前記肺血流機能に関する特徴量に基づいて算出された特徴量である。
請求項7に記載の発明は、請求項1〜6のいずれか一項に記載の発明において、
前記複数のフレーム画像から左右の肺野領域を抽出する抽出手段を備え、
前記サイズ比率算出手段は、前記複数のフレーム画像から抽出された左右の肺野領域に基づいて、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量を算出する。
請求項8に記載の発明の動態解析システムは、
被写体に放射線撮影を行い、前記被写体の胸部の動態を示す複数のフレーム画像を取得する撮影装置と、
請求項1〜7のいずれか一項に記載の動態解析装置と、
を備える。
請求項9に記載の発明は、
被写体の胸部の動態を示す複数のフレーム画像に基づいて前記被写体の呼吸機能値を予測する動態解析装置における予測率算出方法であって、
前記被写体の肺野における除外対象箇所及び左右のうち当該除外対象箇所を含む側の肺野の肺サイズ値を取得し、前記除外対象箇所の肺サイズ値と前記除外対象箇所を含む側の肺野の肺サイズ値の比率をサイズ比率として算出する工程と、
前記複数のフレーム画像に基づいて、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量を算出し、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、前記肺野全体の呼吸機能に関する特徴量の比率を特徴量比率として算出する工程と、
前記算出された前記サイズ比率及び前記特徴量比率を乗じた値に基づいて、前記除外対象箇所を肺野から除外した場合の呼吸機能の予測率を算出する工程と、
を含む。
請求項9に記載の発明のプログラムは、
被写体の胸部の動態を示す複数のフレーム画像に基づいて前記被写体の呼吸機能値を予測する動態解析装置に用いられるコンピューターを、
前記被写体の肺野における除外対象箇所及び左右のうち当該除外対象箇所を含む側の肺野の肺サイズ値を取得する肺サイズ値取得手段、
前記除外対象箇所の肺サイズ値と前記除外対象箇所を含む側の肺野の肺サイズ値の比率をサイズ比率として算出するサイズ比率算出手段、
前記複数のフレーム画像に基づいて、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量を算出し、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、前記肺野全体の呼吸機能に関する特徴量の比率を特徴量比率として算出する特徴量比率算出手段、
前記算出された前記サイズ比率及び前記特徴量比率を乗じた値に基づいて、前記除外対象箇所を肺野から除外した場合の呼吸機能の予測率を算出する予測率算出手段、
として機能させる。
本発明によれば、胸部の動態画像から、肺の一部を除外した場合の呼吸機能値の予測を精度よく行えるようにすることが可能となる。
本発明の実施形態における動態解析システムの全体構成を示す図である。 図1の撮影用コンソールの制御部により実行される撮影制御処理を示すフローチャートである。 第1の実施形態において図1の診断用コンソールの制御部により実行される呼吸機能予測処理を示すフローチャートである。 肺を構成する解剖学的単位を示す図である。 肺サイズ値テーブルの一例を示す図である。 肺野領域及び肺門領域を示す図である。 上側に心臓の血流量の増減を示し、下側に肺野の血流量の増減を示したグラフである。
以下、図面を参照して本発明の実施形態について説明する。ただし、発明の範囲は、図示例に限定されない。
〔動態解析システム100の構成〕
まず、本実施形態の構成を説明する。
図1に、本実施形態における動態解析システム100の全体構成を示す。
図1に示すように、動態解析システム100は、撮影装置1と、撮影用コンソール2とが通信ケーブル等により接続され、撮影用コンソール2と、診断用コンソール3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。動態解析システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
〔撮影装置1の構成〕
撮影装置1は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態変化、心臓の拍動等の、周期性(サイクル)を持つ胸部の動態を撮影する撮影手段である。動態撮影とは、被写体に対し、X線等の放射線をパルス状にして所定時間間隔で繰り返し照射するか(パルス照射)、もしくは、低線量率にして途切れなく継続して照射する(連続照射)ことで、被写体の動態を示す複数の画像を取得することをいう。動態撮影により得られた一連の画像を動態画像と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。なお、以下の実施形態では、パルス照射により胸部正面の動態撮影を行う場合を例にとり説明する。
放射線源11は、被写体M(被検者)を挟んで放射線検出部13と対向する位置に配置され、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。
放射線照射制御装置12は、撮影用コンソール2に接続されており、撮影用コンソール2から入力された放射線照射条件に基づいて放射線源11を制御して放射線撮影を行う。撮影用コンソール2から入力される放射線照射条件は、例えば、パルスレート、パルス幅、パルス間隔、1撮影あたりの撮影フレーム数、X線管電流の値、X線管電圧の値、付加フィルター種等である。パルスレートは、1秒あたりの放射線照射回数であり、後述するフレームレートと一致している。パルス幅は、放射線照射1回当たりの放射線照射時間である。パルス間隔は、1回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致している。
放射線検出部13は、FPD(Flat Panel Detector)等の半導体イメージセンサーにより構成される。FPDは、例えば、ガラス基板等を有しており、基板上の所定位置に、放射線源11から照射されて少なくとも被写体Mを透過した放射線をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子(画素)がマトリックス状に配列されている。各画素は、例えばTFT(Thin Film Transistor)等のスイッチング部を備えて構成されている。FPDにはX線をシンチレーターを介して光電変換素子により電気信号に変換する間接変換型、X線を直接的に電気信号に変換する直接変換型があるが、何れを用いてもよい。
放射線検出部13は、被写体Mを挟んで放射線源11と対向するように設けられている。
読取制御装置14は、撮影用コンソール2に接続されている。読取制御装置14は、撮影用コンソール2から入力された画像読取条件に基づいて放射線検出部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、放射線検出部13に蓄積された電気信号を読み取ることにより、画像データを取得する。この画像データがフレーム画像である。そして、読取制御装置14は、取得したフレーム画像を撮影用コンソール2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。
ここで、放射線照射制御装置12と読取制御装置14は互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
〔撮影用コンソール2の構成〕
撮影用コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師等の撮影実施者によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
撮影用コンソール2は、図1に示すように、制御部21、記憶部22、操作部23、表示部24、通信部25を備えて構成され、各部はバス26により接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory
)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影用コンソール2各部の動作や、撮影装置1の放射線照射動作及び読み取り動作を集中制御する。
記憶部22は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。例えば、記憶部22は、図2に示す撮影制御処理を実行するためのプログラムを記憶している。また、記憶部22は、検査対象部位及び撮影方向に対応付けて放射線照射条件及び画像読取条件を記憶している。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部21は、当該プログラムコードに従った動作を逐次実行する。
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部21に出力する。また、操作部23は、表示部24の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部21に出力する。
表示部24は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
通信部25は、LANアダプターやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
〔診断用コンソール3の構成〕
診断用コンソール3は、撮影用コンソール2から動態画像を取得し、取得した動態画像に基づいて、肺の一部を切除により除外する肺切除手術後の呼吸機能値を予測する装置である。
診断用コンソール3は、図1に示すように、制御部31、記憶部32、操作部33、表示部34、通信部35を備えて構成され、各部はバス36により接続されている。
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って、後述する呼吸機能予測処理を始めとする各種処理を実行し、診断用コンソール3の各部の動作を集中制御する。制御部31は、肺サイズ値取得手段、サイズ比率算出手段、特徴量比率算出手段、予測率算出手段、呼吸機能値取得手段、取得手段、予測手段、抽出手段として機能する。
記憶部32は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部32は、制御部31で呼吸機能予測処理を実行するためのプログラムを始めとする各種プログラムやプログラムによる処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
また、記憶部32には、過去に撮影された動態画像及び術後の呼吸機能値の予測結果が患者情報(例えば、患者ID、患者の氏名、身長、体重、年齢、性別等)、検査情報(例えば、検査ID、検査日、検査対象部位(ここでは、胸部)、撮影方向(正面、側面))に対応付けて記憶されている。
また、記憶部32には、肺サイズ値テーブル321(図5参照)が記憶されている。肺サイズテーブル321は、肺を構成する解剖学的単位ごとの肺サイズ値を記憶したテーブルである。詳細は後述する。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、ユーザーによるキーボードに対するキー操作やマウス操作により入力された指示信号を制御部31に出力する。また、操作部33は、表示部34の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部31に出力する。
表示部34は、LCDやCRT等のモニターにより構成され、制御部31から入力される表示信号の指示に従って、各種表示を行う。
通信部35は、LANアダプターやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
〔動態解析システム100の動作〕
次に、本実施形態における上記動態解析システム100の動作について説明する。
(撮影装置1、撮影用コンソール2の動作)
まず、撮影装置1、撮影用コンソール2による撮影動作について説明する。
図2に、撮影用コンソール2の制御部21において実行される撮影制御処理を示す。撮影制御処理は、制御部21と記憶部22に記憶されているプログラムとの協働により実行される。
まず、撮影実施者により撮影用コンソール2の操作部23が操作され、被検者(被写体M)の患者情報、検査情報の入力が行われる(ステップS1)。
次いで、放射線照射条件が記憶部22から読み出されて放射線照射制御装置12に設定されるとともに、画像読取条件が記憶部22から読み出されて読取制御装置14に設定される(ステップS2)。
次いで、操作部23の操作による放射線照射の指示が待機される(ステップS3)。ここで、撮影実施者は、被写体Mを放射線源11と放射線検出部13の間に配置してポジショニングを行う。撮影準備が整った時点で、操作部23を操作して放射線照射指示を入力する。
操作部23により放射線照射指示が入力されると(ステップS3;YES)、放射線照射制御装置12及び読取制御装置14に撮影開始指示が出力され、動態撮影が開始される(ステップS4)。即ち、放射線照射制御装置12に設定されたパルス間隔で放射線源11により放射線が照射され、放射線検出部13によりフレーム画像が取得される。動態撮影中、撮影実施者は、例えば「息を吸って」「息を吐いて」「息を止めて」等の呼吸誘導や息止め指示を行う。なお、撮影装置1が音声出力部や表示部を備え、撮影開始指示が出力されると、「息を吸って」「息を吐いて」「息を止めて」等の呼吸誘導や息止め指示の音声や表示を行うこととしてもよい。
操作部23により放射線照射終了指示が入力されると、制御部21により放射線照射制御装置12及び読取制御装置14に撮影終了の指示が出力され、撮影動作が停止される。
撮影により取得されたフレーム画像は順次撮影用コンソール2に入力され、撮影順を示す番号(フレーム番号)と対応付けて記憶部22に記憶されるとともに(ステップS5)、表示部24に表示される(ステップS6)。撮影実施者は、表示された動態画像によりポジショニング等を確認し、撮影により診断に適した画像が取得された(撮影OK)か、再撮影が必要(撮影NG)か、を判断する。そして、操作部23を操作して、判断結果を入力する。
操作部23の所定の操作により撮影OKを示す判断結果が入力されると(ステップS7;YES)、動態撮影で取得された一連のフレーム画像のそれぞれに、動態画像を識別するための識別IDや、患者情報、検査情報、放射線照射条件、画像読取条件、撮影順を示す番号(フレーム番号)等の情報が付帯され(例えば、DICOM形式で画像データのヘッダ領域に書き込まれ)、通信部25を介して診断用コンソール3に送信される(ステップS8)。そして、本処理は終了する。一方、操作部23の所定の操作により撮影NGを示す判断結果が入力されると(ステップS7;NO)、記憶部22に記憶された一連のフレーム画像が削除され(ステップS9)、本処理は終了する。この場合、再撮影が必要となる。
(診断用コンソール3の動作)
次に、診断用コンソール3における動作について説明する。
診断用コンソール3においては、通信部35を介して撮影用コンソール2から胸部の動態画像の一連のフレーム画像が受信されると、制御部31と記憶部32に記憶されているプログラムとの協働により、図3に示す呼吸機能予測処理が実行される。呼吸機能予測処理は、肺切除手術の術後の呼吸機能を予測する処理である。以下、図3を参照して呼吸機能予測処理について説明する。
まず、肺切除手術により肺野から除外する予定の除外対象箇所の情報が取得される(ステップS11)。
肺の一部切除は、肺を構成する解剖学的単位で行われる。肺を構成する解剖学的単位は、大きい順に、左右、肺葉、肺区域、肺亜区域等に区分される。図4は、肺を構成する解剖学的単位(左右の肺、肺葉(右上葉、中葉、右下葉・・・)、肺区域(S1+2、S3、S4・・・))を示す図である。肺亜区域は、肺区域よりもさらに細かい区域である。
一般的に、肺の一部切除は肺葉単位で行われるが、縮小手術が必要な場合には、肺区域や肺亜区域単位で切除されることもある。また、右又は左の片肺単位で切除されることもある。そこで、ステップS11においては、例えば、表示部34に肺を構成する解剖学的単位を一覧表示し、操作部33のマウス等により選択された解剖学的単位の情報を除外対象箇所の情報として取得することとしてもよい。あるいは、操作部33のキーボード等によりユーザーが入力した解剖学的単位の情報を除外対象箇所の情報として取得することとしてもよい。あるいは、通信部35を介して電子カルテシステムの記憶手段に記憶されている情報(例えば、電子カルテ情報等)から被写体Mの肺野の除外対象箇所の情報を取得することとしてもよい。
次いで、除外対象箇所の肺サイズ値及び患側の肺サイズ値が取得される(ステップS12)。
患側とは、左右の肺のうち、疾患のある、すなわち除外対象箇所のある方の肺である。
肺サイズ値とは、肺野全体に占める大きさを表す値(例えば、肺野全体の体積に対する割合(%)を特定可能な値)である。
ステップS12においては、例えば、図5に示す肺サイズ値テーブル321が参照され、除外対象箇所の解剖学的単位に対応する肺サイズ値が取得される。図5において、肺サイズ値は、日本肺癌学会のガイドラインに示されている、肺全体の肺区域数を19とカウントする肺区域数に基づいて表されている。このガイドラインで示される19区域は、図4に示す18の肺区域の左上葉の「S1+2」と「S3」の区域を3つの区域(肺区域数3)に相当するものとしてカウントとするもので、この肺区域数1が示す肺のサイズは、肺全体を1とするとほぼ1/19のサイズである。各肺葉及び左右の肺は、複数の肺区域からなる。すなわち、左右の肺や各肺葉に含まれる肺区域数によって、その解剖学的単位の除外対象箇所の肺(左右のいずれか)や肺葉の肺サイズ値(肺全体の体積に対する割合(%))を特定することができる。
なお、図5では、日本肺癌学会のガイドラインに示されている、肺全体の肺区域数を19として各解剖学的単位の肺区域数を肺サイズ値として示しているが、肺サイズ値としては、上記ガイドラインで示す肺区域数に限定されず、肺野全体に占める大きさを表す値(例えば、肺野全体の体積に対する割合(%)を特定可能な値)として正確性が高ければ他の値を用いてもよい。例えば、肺全体を22区域とする肺区域の区域数により各解剖学的単位の肺サイズ値を規定してもよいし、肺亜区域の数を肺サイズ値としてもよい。
また、肺サイズ値テーブル321を用いずに、CT(Computed Tomography)等により撮影された画像を用いて、患者個々の患側の肺や除外対象箇所に対応する解剖学的単位の肺体積を正確に計測し、その計測値により肺サイズ値を特定してもよい。これにより、さらに正確な肺サイズ値を取得することができる。また、CT画像を用いる場合、例えば肺気腫等を考慮し、例えば、CT画像におけるCTカウント値が予め定められた基準以下の箇所を肺気腫箇所として肺体積から除外することとしてもよい。また、CT画像に基づいて、個人ごとに肺サイズ値テーブル321により求められた患側や除外対象箇所の肺サイズ値を修正してもよい。
次いで、除外対象箇所の肺サイズ値と患側の肺の肺サイズ値の比率(式1)がサイズ比率として算出される(ステップS13)。
サイズ比率=除外対象箇所の肺サイズ値/患側の肺の肺サイズ値・・・(式1)
次いで、患側肺野と肺野全体の呼吸機能に関する特徴量がそれぞれ算出される(ステップS14)。
患側肺野の呼吸機能に関する特徴量とは、患側が右肺であれば右肺の呼吸機能に関する特徴量であり、患側が左肺であれば左肺の呼吸機能に関する特徴量である。肺野全体の呼吸機能に関する特徴量とは、右肺の呼吸機能に関する特徴量と左肺の呼吸機能に関する特徴量の和である。
呼吸機能に関する特徴量としては、例えば、血流特徴量、換気特徴量、又は両者に基づく特徴量(VQ特徴量と呼ぶ)を用いることができる。一般的には、換気機能が低下した肺箇所では血流が低下するため、血流特徴量と換気特徴量のどちらを用いても、現状の呼吸分布状態を把握することができる。しかし、換気障害が起きた直後などでは、換気機能が低下した箇所でもまだ血流が残っていることもある。また、換気機能はあるが、肺塞栓などで血流機能がない箇所もある。換気と血流の両者がなければ、呼吸機能が確保できない。そこで、換気特徴量と血流特徴量を単独で用いるのではなく、換気と血流の両方に基づくVQ特徴量を用いることで、より術後の呼吸機能を精度よく予測することができる。
<血流特徴量>
血流特徴量は、例えば、以下の(1)〜(8)の手順により算出することができる。
(1)まず、受信した動態画像の一連のフレーム画像から、息止め状態のフレーム画像を取得する。
例えば、一連のフレーム画像のそれぞれについて、画像全体の平均画素値を算出し、隣接するフレーム画像との平均画素値の差分値の絶対値が予め定められた閾値を超えないフレーム画像が所定数以上連続している場合にその区間を息止め状態のフレーム画像として取得する。
なお、取得するフレーム画像は、安静呼気位・吸気位、深呼吸呼気位・吸気位のいずれでもよく、立位・臥位・座位いずれでもよい。
(2)取得された各フレーム画像から肺野領域(右肺野領域、左肺野領域)を自動抽出する。
肺野領域の抽出方法は何れの方法であってもよい。例えば、フレーム画像の各画素の画素値(濃度値)のヒストグラムから判別分析によって閾値を求め、この閾値より高信号の領域を肺野領域候補として1次抽出する。次いで、1次抽出された肺野領域候補の境界付近でエッジ検出を行い、境界付近の小ブロックでエッジが最大となる点を境界に沿って抽出すれば肺野領域(右肺野領域、左肺野領域)の境界を抽出することができる。図6に、自動抽出された肺野領域(右肺野領域R、左肺野領域L)の一例を示す。
ここで、三次元的には縦郭や横隔膜と重なる領域にも肺実質が存在するが、横隔膜が拍動で動いた場合のノイズが大きいことから、肺野領域は、縦郭や横隔膜との重なり領域を除く範囲とすることが望ましい。心臓や大動脈も、肺血流以外の血流信号が多いことから、領域から除くことが望ましい。
なお、後段でブロック化処理を行う場合は、抽出された肺野領域の辺縁の内側の、ブロックサイズの半分に相当する距離(ブロックサイズ10mmの場合は5.0mm)は、肺野外の信号成分を含むため、肺野領域から除外することが望ましい。ブロック化処理を行わずに血流特徴量を算出してもよく、その場合は上記が不要となり肺野辺縁まで広く特徴量の算出に用いることができる。
また、外胸郭辺縁は、微量の体動でもノイズが多く載ってしまうことから、S/Nが悪いため、肺野領域から除外することが望ましい。また、血流特徴量を算出する場合は、肺野抹消は心拍で変化する血流量が少ないことから、除外しても影響は少ない。除外範囲は、例えば、肺野領域の辺縁から水平方向(x方向)に1cmなどの固定範囲を除外すればよい。固定範囲ではなく、画像解析によって除外範囲を決めても良い。例えば、画像のx方向(左右方向)の画素値変化が大きい領域ほど体動によるノイズがのりやすいことから、x方向の画素値プロファイルをとり、外胸郭辺縁から肺野内方向にプロファイルの傾きを確認していき、傾きが所定の閾値以下となる箇所を検出し、外胸郭辺縁とプロファイルの傾きが所定の閾値以下となる箇所の間の範囲を体動ノイズののりやすい範囲と定義して、除外してもよい。
また、血流特徴量を算出する場合には、肺野領域(右肺野領域、左肺野領域)のうち、図6にR1、L1で示すように、肺門領域のみを特徴量算出対象の肺野領域として抽出することとしてもよい。肺門は、肺の内側のほぼ中央部に存在し、気管支、肺動脈、肺静脈等が肺に出入りする部位である。即ち、肺門は、肺野の血管走行のスタート位置であり、血流量が多く、肺の血管は、肺門から肺野の外側の輪郭に向かって広がっている。
肺門領域を抽出するには、例えば、肺野領域内の直径1cm以上の肺血管領域などを抽出すればよく、1cm以上を対象とした線検出フィルターを用いるなどすれば、肺門領域が抽出できる。
なお、上記の手法により自動抽出された肺野領域の輪郭等が付与されたフレーム画像を表示部34に表示し、ユーザーが操作部33により手動で調整可能としてもよい。
(3)各フレーム画像の抽出された肺野領域にブロック化処理や対数変換等を行う。
ブロック化処理は、各画素の画素値をその画素を含む周辺小ブロック(10mm矩形など)の画素値の代表値(平均値等)に置き換える処理であり、ホワイトノイズや動き影響を低減させることができる。また、対数変換により、物質厚みの時間変化の計測が可能となる。
なお、これらの処理は行うことが望ましいが、省略することもできる。
(4)肺野領域の画素ごとに、画素値の時間変化の波形を取得して、時間方向にハイパスフィルター(例えば0.8Hz)やバンドパスフィルター(心拍周期)等をかける。
これにより、体動による動き等の影響を低減させることができる。
(5)心臓の心室拡張末期に対応するフレーム画像を基準フレーム画像として設定する。
具体的には、各フレーム画像の心臓の心室領域に関心領域ROIを設定し、この関心領域ROIの濃度値(画素値)が最小となるフレーム画像を基準フレーム画像として設定する。
ここで、濃度値が最小であるとは、関心領域ROIとされた心室領域の血液量が最大であることを意味する。
図7は、上側に心臓の血流量の増減を示し、下側に肺野の血流量の増減を示したグラフである。図7では、各グラフの縦軸に画素値を取り、濃度の濃淡とともに表示させている。
臓器に血液が流入すると血流によって放射線の透過が妨げられるため、放射線画像における放射線透過量が減少し、画素値は小さくなり、放射線画像上は白っぽく(すなわち、濃度が薄く)写る。これを、心臓に流入・流出する心血流と肺野に流入・流出する肺血流との関係で見た場合には、図7に示すように、心臓が心室拡張期にあり、心臓に多くの血流が流入しているときには、心臓部分では放射線の透過が妨げられるため、放射線画像上では画素値が小さく比較的白っぽく(薄い濃度で)写る。これに対して、このタイミングでは肺野に流入する血流は少なく、肺野部分では放射線の透過量が多くなり、放射線画像上では画素値が大きくなり、比較的黒っぽく(濃い濃度で)写る。逆に心臓が心室収縮期にあり、心臓から血流が流出しているときには、心臓部分では放射線の透過量が多くなり、放射線画像上では画素値が大きくなり、比較的黒っぽく(濃い濃度で)写る。これに対して、このタイミングでは心臓から肺野に多くの血流が流入するため、肺野部分では放射線の透過が妨げられ、放射線画像上では画素値が小さく比較的白っぽく(薄い濃度で)写る。
(6)各フレーム画像について、抽出された肺野領域の画素ごとに、基準フレーム画像の対応する画素(位置が同じ画素)との画素値の差分値(基準フレーム画像からの濃度変化量)を求める。これが各画素の血流特徴量となる。
(7)各フレーム画像において、(6)で算出された肺野領域内の各画素の血流特徴量を全て積算し、肺野全体の血流特徴量とする。また、右肺における肺野領域内の各画素の血流特徴量を積算し、右肺の血流特徴量とする。また、左肺における肺野領域内の各画素の血流特徴量を積算し、左肺の血流特徴量とする。
(8)肺野全体の血流特徴量が最小のフレーム画像を代表フレーム画像とし、代表フレーム画像の血流特徴量を、呼吸機能に関する特徴量とする。
肺野全体の血流特徴量が最小のフレーム画像は、肺野領域内に最も強く血流特徴量が表れたS/Nの高いフレーム画像であるため、代表フレームとして適性が高い。なお、呼吸機能に関する特徴量は、代表フレーム画像の血流特徴量に限定するものではなく、一心拍分などの複数のフレーム画像における血流特徴量の合算値としてもよく、他の手法でもよい。
<換気特徴量1>
換気特徴量は、例えば、以下の(1)〜(8)の手順により算出することができる。
(1)まず、受信した動態画像の一連のフレーム画像から、呼吸状態下のフレーム画像を取得する。
例えば、一連のフレーム画像のそれぞれについて、画像全体の平均画素値を算出し、平均信号値の時間変化を表す波形の振幅が予め定められた閾値以上の区間を呼吸状態下のフレーム画像として取得する。
なお、取得するフレーム画像は、安静呼吸、深呼吸のいずれでもよく、立位・臥位・座位のいずれでもよい。
(2)取得された各フレーム画像から肺野領域を抽出する。
肺野領域の抽出方法は、上述のとおりである。なお、呼吸に伴いフレーム画像ごとに肺の膨らみ度合が変わるため、公知のローカルマッチング処理及びワーピング処理(例えば、特開2012−5729号公報参照)を施して、フレーム画像間における肺野領域の位置ずれを補正してもよい。
(3)各フレーム画像の抽出された肺野領域にブロック化処理や対数変換等を行う。
なお、これらの処理は行うことが望ましいが、省略することもできる。
(4)肺野領域の画素ごとに、画素値の時間変化の波形を取得して、時間方向にローパスフィルター(例えば0.8Hz)等をかける。
これにより、拍動やホワイトノイズ影響を低減させることができる。
(5)呼気位のフレーム画像を基準フレーム画像として設定する。
例えば、各フレーム画像の横隔膜の位置をテンプレートマッチングなどで自動抽出し、横隔膜が最も肺尖に近いタイミングのフレーム画像を呼気位のフレーム画像として抽出すればよい。もちろん、他の手法で設定してもかまわない。
(6)吸気位のフレーム画像を代表フレーム画像として設定する。
例えば、各フレーム画像の横隔膜の位置をテンプレートマッチングなどで自動抽出し、横隔膜が最も肺尖から遠いタイミングのフレーム画像を吸気位のフレーム画像として抽出すればよい。もちろん、他の手法で設定してもかまわない。
(7)代表フレーム画像の肺野領域の画素ごとに、基準フレーム画像の対応する画素(位置が同じ画素)との画素値の差分値(基準フレーム画像からの濃度変化量)を求める。これが各画素の換気特徴量となる。
(8)(7)で算出された肺野領域内の各画素の換気特徴量を全て積算し、肺野全体の換気特徴量とする。また、右肺における肺野領域内の各画素の換気特徴量を積算し、右肺の換気特徴量とする。また、左肺における肺野領域内の各画素の換気特徴量を積算し、左肺の換気特徴量とする。
なお、呼吸に伴い肺の膨らみ度合が変わるにあたり、肺血管の粗密度合が変わることから、肺血管の粗密度合を計測することで換気特徴量を抽出する、という手法を用いてもよい。例えば、肺血管の分岐点などの特徴点(2点以上)を画像上から検出する処理を行い、各特徴点に対しテンプレートマッチングなどでトラッキングを行い動きを計測し、代表フレーム画像の特徴点同士の距離と基準フレーム画像の特徴点同士の距離の変化量を計測し、それを換気特徴量としてもよい。
〈VQ特徴量〉
VQ特徴量は、例えば、以下の(1)〜(3)の手順により算出することができる。
(1)まず、換気特徴量、血流特徴量のそれぞれの左右比を求める。
(2)(1)で求めた換気特徴量の左右比の右側の値と血流特徴量の左右比の右側の値の代表値を求め、VQ´(R)とする。例えば、換気特徴量の左右比(右:左)が5:5、血流特徴量の左右比(右:左)が7:3であった場合、換気特徴量の右側の値は5、血流特徴量の右側の値は7であるので、代表値が最小値であればVQ´(R)=5である。このVQ´(R)を右肺における換気特徴量とする。同様に、左肺について、(1)で求めた換気特徴量の左右比の左側の値と血流特徴量の左右比の左側の値の代表値を求め、VQ´(L)とする。このVQ´(L)を左肺における換気特徴量とする。
(3)VQ´(R)+VQ´(L)を肺野全体の特徴量とする。
なお、上記代表値は、最小値としてもよいし、最大値、平均値、又は中央値としてもよい。あるいは、上記代表値は、換気特徴量の左右比の右側の値と血流特徴量の右側の値を足し算した値としてもよいし、掛け算した値としてもよい。最小値を使うと、換気と血流の、より機能が低い方の特徴量を予測率に反映させることができるので好ましい。
特徴量の算出が終了すると、患側肺野と肺野全体の呼吸機能に関する特徴量の比率が特徴量比率として算出される(ステップS15)。この特徴量比率は、呼吸全体における患側肺の寄与率となる。
次いで、算出されたサイズ比率と特徴量比率に基づいて、肺野全体から除外対象箇所を除いた場合の呼吸機能値を予測するための予測率が算出される(ステップS16)。
予測率は、下記(式2)により求めることができる。
予測率=1−特徴量比率×サイズ比率・・・(式2)
なお、上述の血流特徴量、換気特徴量、VQ特徴量は、呼吸機能に関する特徴量の一例を示したものであって、別の手法で求められたものを用いてもよい。
次いで、被検者の呼吸機能値を取得する(ステップS17)。
呼吸機能値としては、例えば、スパイロメトリー検査により測定された測定値を呼吸機能値として取得する。日本肺癌学会のガイドラインでは、肺がん手術のリスクを算出するために使用する呼吸機能値として%FEV1を挙げているが、他の呼吸機能値を取得してもよい。例えば、FEV1でもよく、VC,%VC,FVC,%FVC,FEV1%,%FEV1%でもよい。
なお、動態画像又は静止画像から呼吸機能値を推定しても良い。例えば、深呼吸の呼気位(最大呼気位)のフレーム画像と吸気位(最大吸気位)のフレーム画像の肺野面積の差を用いて換気量を推定することができる。このときの画像は正面撮影でも側面撮影でもよく、両者を用いて肺野体積を算出して肺野体積から換気量を推定すればより精度が改善する。また、安静呼吸時や深呼吸時や努力呼吸時の呼気位のフレーム画像と吸気位のフレーム画像の肺野面積の差を算出してもちろん構わないし、FEV1と同様に1秒間の肺野面積の差を用いて換気量を算出することとしてもよい。
静止画の場合は、呼気位や吸気位のみで撮影した画像を用いればよいし、FEV1であれば吸気位と呼気開始1秒後の撮影した画像を用いて同様に換気量を推定してもよい。他の手法としては、肺野全体は使わず、横隔膜の動き量から換気量を推定してもよい。
呼吸機能値の測定にあたり、スパイロメーターは患者負荷が高いことから、動態画像から呼吸機能値を測定することで患者負担を低減し、検査も簡便化することができる。
次いで、ステップS16で算出した予測率に基づいて、術後の呼吸機能値(肺野から除外対象箇所を除外した後の呼吸機能値)を予測する(ステップS18)。
術後の呼吸機能値は、以下の(式3)により予測することができる。
術後の呼吸機能値=呼吸機能値×予測率・・・(式3)
次いで、予測された術後の呼吸機能値が表示部34に表示され(ステップS19)、呼吸機能値予測処理は終了する。
なお、呼吸機能予測処理のステップS11〜S19の順序関係は、上述したものに限定されない。例えば、ステップS17は、ステップS11より前に行うこととしてもよいし、ステップS12、S13とステップS14、S15も入れ替え可能である。その他、適宜順序の入れ替えを行ってもよい。
以上説明したように、診断用コンソール3の制御部31は、肺野における除外対象箇所の情報が取得されると、除外対象箇所及び左右のうち当該除外対象箇所を含む側の肺野の肺サイズ値を取得し、除外対象箇所の肺サイズ値と除外対象箇所を含む側の肺野の肺サイズ値の比率をサイズ比率として算出する。また、制御部31は、胸部の動態画像の複数のフレーム画像に基づいて、除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量を算出し、除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量の比率を特徴量比率として算出する。そして、制御部31は、算出されたサイズ比率及び特徴量比率を乗じた値に基づいて、除外対象箇所を肺野から除外した場合の呼吸機能の予測率を算出する。
したがって、従来技術のように、二次元の動態画像上において除外対象箇所の領域を特定することなく呼吸機能の予測率を算出することができるため、精度よく呼吸機能値の予測率を算出して術後の呼吸機能値の予測に用いることができる。
例えば、制御部31は、予め肺を構成する解剖学的単位ごとの肺サイズ値が記憶された記憶部32から、除外対象箇所に対応する解剖学的単位の肺サイズ値及び左右のうち除外対象箇所を含む側の肺野に対応する解剖学的単位の肺サイズ値を取得するので、二次元の動態画像上における除外対象箇所の領域を特定することなく、除外対象箇所の肺サイズを特定することが可能となる。
また、制御部31は、被写体の肺全体の呼吸機能値を取得し、取得された呼吸機能値に予測率を乗算して除外対象箇所を肺野から除外した場合の呼吸機能値を予測する。したがって、除外対象箇所を肺野から除外した場合の呼吸機能値を予測することができる。
また、上述の処理により、肺の手術前に撮影された動態画像を用いて、肺の手術により切除の対象となる箇所を除外対象箇所として予測率を予測することで、肺の切除手術後の呼吸機能値の予測率を算出することができる。
また、制御部31は、動態画像の複数のフレーム画像から左右の肺野領域を自動的に抽出し、抽出された左右の肺野領域に基づいて、除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量を算出する。したがって、動態画像上の肺野領域をユーザーが指定する必要がなく精度よく予測率を算出することが可能となる。
ここで、術後の呼吸機能の予測を行う手法として、肺血流シンチグラフィー検査を用いた手法がある。しかし、肺血流シンチグラフィー検査は検査装置が大掛かりで高価なことから、比較的大きな病院でなければ保有ができず、小さい病院では使うことができなかった。また、シンチグラフィー検査装置の保有施設においても、肺血流シンチグラフィー検査は、放射線同位体の管理のために、オーダー後通常1週間程度待たなければならず、被爆も大きいことから、リスクの大きい患者でしか使用されていなかった。そのため、多くの患者で合併症リスクの把握が正確にできていなかった。
また、画像から呼吸機能値の予測率を算出するには、少なくとも肺野領域の位置を画像から特定する必要がある。しかしながら、肺血流シンチグラフィー検査により得られる画像は、左右の血流像が得られるだけであるため、肺野領域がどこまでであるのかを正確に把握することができない。そのため、医師が自らの責任において手動で肺野領域を設定する必要があり、手間がかかるにもかかわらず、精度よく予測率を算出することができない。
これに対し、本実施形態の手法によれば、胸部の放射線像を画像化した動態画像を用いるので、肺野領域の輪郭を特定することができ、精度よく呼吸機能値の予測率を算出することができる。また、医師が肺野領域を手動で設定する手間も省くことができる。また、肺血流シンチグラフィー検査により得られる画像から呼吸機能値を予測するには、ANTとPOSTの二方向から撮影した画像を用いて平均したりする必要があるが、動画画像を用いることにより、一方向(例えば、ANT)から撮影した画像を解析するだけでよく、処理時間を低減することができる。
すなわち、本実施形態によれば、一般的な医療施設で保有可能な放射線撮影装置で撮影した動態画像に基づいて、ユーザーが除外対象箇所の範囲を二次元の画像上から指定することなく、また、患者への負荷を抑えて、除外対象箇所を除外した場合の呼吸機能値の予測率を精度よく算出することが可能となる。
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、肺の一部を手術により切除することによりその部分の呼吸機能が除外される場合の術後の呼吸機能を予測する場合を例として説明したが、本発明は、切除に限らず、放射線治療やレーザー照射によりその部分の呼吸機能が除外される場合の術後の呼吸機能を予測する場合に適用してもよい。
また、上記実施形態においては、除外対象箇所の解剖学的単位の情報を操作部33による入力等に基づいて取得することとし、取得された除外対象箇所の解剖学的単位の情報に基づいて、除外対象箇所や左右のうち除外対象箇所を含む肺野の肺サイズ値を取得することとしたが、除外対象箇所や当該除外対象箇所を含む肺野の肺サイズ値を直接取得することとしてもよい。例えば、CTの検査結果等から得られた除外対象箇所の体積を除外対象箇所の肺サイズ値として、除外対象箇所を含む患側の肺野の体積を患側の肺サイズ値として、ユーザーの操作部33の操作により入力させて取得するようにしてもよい。
また、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、CD−ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、動態解析装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
100 動態解析システム
1 撮影装置
11 放射線源
12 放射線照射制御装置
13 放射線検出部
14 読取制御装置
2 撮影用コンソール
21 制御部
22 記憶部
23 操作部
24 表示部
25 通信部
26 バス
3 診断用コンソール
31 制御部
32 記憶部
33 操作部
34 表示部
35 通信部
36 バス

Claims (10)

  1. 被写体の胸部の動態を示す複数のフレーム画像に基づいて前記被写体の呼吸機能値を予測する動態解析装置であって、
    前記被写体の肺野における除外対象箇所及び左右のうち当該除外対象箇所を含む側の肺野の肺サイズ値を取得する肺サイズ値取得手段と、
    前記除外対象箇所の肺サイズ値と前記除外対象箇所を含む側の肺野の肺サイズ値の比率をサイズ比率として算出するサイズ比率算出手段と、
    前記複数のフレーム画像に基づいて、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量を算出し、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、前記肺野全体の呼吸機能に関する特徴量の比率を特徴量比率として算出する特徴量比率算出手段と、
    前記算出された前記サイズ比率及び前記特徴量比率を乗じた値に基づいて、前記除外対象箇所を肺野から除外した場合の呼吸機能の予測率を算出する予測率算出手段と、
    を備える動態解析装置。
  2. 前記除外対象箇所に対応する解剖学的単位の情報を取得する取得手段を備え、
    前記肺サイズ値取得手段は、予め肺を構成する解剖学的単位ごとの肺サイズ値が記憶された記憶手段から、前記除外対象箇所に対応する解剖学的単位の肺サイズ値及び前記除外対象箇所を含む側の肺野に対応する解剖学的単位の肺サイズ値を取得する請求項1に記載の動態解析装置。
  3. 前記解剖学的単位は、左右、肺葉、肺区域、肺亜区域のいずれかである請求項2に記載の動態解析装置。
  4. 前記被写体の肺全体の呼吸機能値を取得する呼吸機能値取得手段と、
    前記呼吸機能値取得手段により取得された呼吸機能値に前記予測率を乗算して前記除外対象箇所を肺野から除外した場合の呼吸機能値を予測する予測手段と、
    を備える請求項1〜3のいずれか一項に記載の動態解析装置。
  5. 前記複数のフレーム画像は、肺の手術前に撮影された画像であり、
    前記除外対象箇所は、前記肺の手術により切除の対象となる箇所である請求項1〜4のいずれか一項に記載の動態解析装置。
  6. 前記特徴量は、換気機能に関する特徴量、肺血流機能に関する特徴量、又は、前記換気機能に関する特徴量及び前記肺血流機能に関する特徴量に基づいて算出された特徴量である請求項1〜5のいずれか一項に記載の動態解析装置。
  7. 前記複数のフレーム画像から左右の肺野領域を抽出する抽出手段を備え、
    前記サイズ比率算出手段は、前記複数のフレーム画像から抽出された左右の肺野領域に基づいて、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量を算出する請求項1〜6のいずれか一項に記載の動態解析装置。
  8. 被写体に放射線撮影を行い、前記被写体の胸部の動態を示す複数のフレーム画像を取得する撮影装置と、
    請求項1〜7のいずれか一項に記載の動態解析装置と、
    を備える動態解析システム。
  9. 被写体の胸部の動態を示す複数のフレーム画像に基づいて前記被写体の呼吸機能値を予測する動態解析装置における予測率算出方法であって、
    前記被写体の肺野における除外対象箇所及び左右のうち当該除外対象箇所を含む側の肺野の肺サイズ値を取得し、前記除外対象箇所の肺サイズ値と前記除外対象箇所を含む側の肺野の肺サイズ値の比率をサイズ比率として算出する工程と、
    前記複数のフレーム画像に基づいて、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量を算出し、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、前記肺野全体の呼吸機能に関する特徴量の比率を特徴量比率として算出する工程と、
    前記算出された前記サイズ比率及び前記特徴量比率を乗じた値に基づいて、前記除外対象箇所を肺野から除外した場合の呼吸機能の予測率を算出する工程と、
    を含む予測率算出方法。
  10. 被写体の胸部の動態を示す複数のフレーム画像に基づいて前記被写体の呼吸機能値を予測する動態解析装置に用いられるコンピューターを、
    前記被写体の肺野における除外対象箇所及び左右のうち当該除外対象箇所を含む側の肺野の肺サイズ値を取得する肺サイズ値取得手段、
    前記除外対象箇所の肺サイズ値と前記除外対象箇所を含む側の肺野の肺サイズ値の比率をサイズ比率として算出するサイズ比率算出手段、
    前記複数のフレーム画像に基づいて、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、肺野全体の呼吸機能に関する特徴量を算出し、前記除外対象箇所を含む側の肺野の呼吸機能に関する特徴量と、前記肺野全体の呼吸機能に関する特徴量の比率を特徴量比率として算出する特徴量比率算出手段、
    前記算出された前記サイズ比率及び前記特徴量比率を乗じた値に基づいて、前記除外対象箇所を肺野から除外した場合の呼吸機能の予測率を算出する予測率算出手段、
    として機能させるためのプログラム。
JP2019053096A 2019-03-20 2019-03-20 動態解析装置、動態解析システム、予測率算出方法及びプログラム Active JP7074101B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019053096A JP7074101B2 (ja) 2019-03-20 2019-03-20 動態解析装置、動態解析システム、予測率算出方法及びプログラム
US16/804,742 US11484221B2 (en) 2019-03-20 2020-02-28 Dynamic analysis apparatus, dynamic analysis system, expected rate calculation method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019053096A JP7074101B2 (ja) 2019-03-20 2019-03-20 動態解析装置、動態解析システム、予測率算出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020151232A true JP2020151232A (ja) 2020-09-24
JP7074101B2 JP7074101B2 (ja) 2022-05-24

Family

ID=72515004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019053096A Active JP7074101B2 (ja) 2019-03-20 2019-03-20 動態解析装置、動態解析システム、予測率算出方法及びプログラム

Country Status (2)

Country Link
US (1) US11484221B2 (ja)
JP (1) JP7074101B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023176825A (ja) * 2022-06-01 2023-12-13 コニカミノルタ株式会社 動態画像解析装置及びプログラム
JP7424532B1 (ja) 2023-04-27 2024-01-30 コニカミノルタ株式会社 放射線画像解析装置及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7074101B2 (ja) * 2019-03-20 2022-05-24 コニカミノルタ株式会社 動態解析装置、動態解析システム、予測率算出方法及びプログラム
JP7728687B2 (ja) * 2021-10-29 2025-08-25 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、及びプログラム
JP7797928B2 (ja) * 2022-03-18 2026-01-14 コニカミノルタ株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016528932A (ja) * 2013-06-19 2016-09-23 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 肺の測定
JP2016214725A (ja) * 2015-05-25 2016-12-22 コニカミノルタ株式会社 動態解析システム
JP2018157968A (ja) * 2017-03-23 2018-10-11 コニカミノルタ株式会社 放射線画像処理装置及び放射線画像撮影システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013099520A (ja) * 2011-10-14 2013-05-23 Toshiba Corp X線コンピュータ断層撮像装置、医用画像処理装置、及び医用画像処理方法
JP5844187B2 (ja) * 2012-03-23 2016-01-13 富士フイルム株式会社 画像解析装置および方法並びにプログラム
CN106560827B (zh) * 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
US9947093B2 (en) * 2016-05-03 2018-04-17 Konica Minolta, Inc. Dynamic analysis apparatus and dynamic analysis system
JP6699339B2 (ja) * 2016-05-13 2020-05-27 コニカミノルタ株式会社 動態解析システム
US10223790B2 (en) * 2016-06-29 2019-03-05 Konica Minolta, Inc. Dynamic analysis system
JP2018196693A (ja) * 2017-05-25 2018-12-13 コニカミノルタ株式会社 動態解析システム
JP7074101B2 (ja) * 2019-03-20 2022-05-24 コニカミノルタ株式会社 動態解析装置、動態解析システム、予測率算出方法及びプログラム
JP2020171476A (ja) * 2019-04-10 2020-10-22 コニカミノルタ株式会社 動態解析装置、動態解析システム及びプログラム
US20210304896A1 (en) * 2020-03-31 2021-09-30 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for medical diagnosis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016528932A (ja) * 2013-06-19 2016-09-23 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 肺の測定
JP2016214725A (ja) * 2015-05-25 2016-12-22 コニカミノルタ株式会社 動態解析システム
JP2018157968A (ja) * 2017-03-23 2018-10-11 コニカミノルタ株式会社 放射線画像処理装置及び放射線画像撮影システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
中原数也 外8名: "肺癌手術後の呼吸機能予測法", 肺癌, vol. 第22巻、第4号, JPN6021040693, 1982, pages 429 - 434, ISSN: 0004617932 *
浅田 佳邦: "肺換気・血流シンチグラフィの3次元画像による局所肺機能評価:肺切除後の左右肺別機能変化", 滋賀医大博士論文, JPN7021004351, 24 March 1997 (1997-03-24), ISSN: 0004617931 *
浅田佳邦 外7名: "肺血流シンチ3D画像でのシミュレーション肺葉切除による術側残存肺機能評価", 日呼外会誌, vol. 第9巻、第3号, JPN6021040692, April 1995 (1995-04-01), ISSN: 0004617930 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023176825A (ja) * 2022-06-01 2023-12-13 コニカミノルタ株式会社 動態画像解析装置及びプログラム
JP7841357B2 (ja) 2022-06-01 2026-04-07 コニカミノルタ株式会社 動態画像解析装置及びプログラム
JP7424532B1 (ja) 2023-04-27 2024-01-30 コニカミノルタ株式会社 放射線画像解析装置及びプログラム
JP2024158082A (ja) * 2023-04-27 2024-11-08 コニカミノルタ株式会社 放射線画像解析装置及びプログラム

Also Published As

Publication number Publication date
US11484221B2 (en) 2022-11-01
JP7074101B2 (ja) 2022-05-24
US20200297240A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
US10977793B2 (en) Dynamic analysis apparatus, dynamic analysis system, and storage medium
JP6436182B2 (ja) 動態画像解析装置
JP5672147B2 (ja) 胸部診断支援情報生成システム
JP6413927B2 (ja) 動態解析装置及び動態解析システム
JP7073961B2 (ja) 動態画像解析装置、動態画像解析方法及びプログラム
JP7074101B2 (ja) 動態解析装置、動態解析システム、予測率算出方法及びプログラム
JP5919717B2 (ja) 動態医用画像生成システム
JP6597548B2 (ja) 動態解析システム
JP6418091B2 (ja) 胸部画像表示システム及び画像処理装置
JP6699339B2 (ja) 動態解析システム
JP2017200565A (ja) 動態解析装置及び動態解析システム
JP7047574B2 (ja) 動態画像解析装置、動態画像解析システム、動態画像解析プログラム及び動態画像解析方法
JP6743662B2 (ja) 動態画像処理システム
JP7020125B2 (ja) 動態画像解析装置及びプログラム
JP7841357B2 (ja) 動態画像解析装置及びプログラム
JP2017176202A (ja) 動態解析システム
JP2020171475A (ja) 動態画像解析装置、動態画像解析方法及びプログラム
JP7196557B2 (ja) 動態画像解析装置及び動態画像解析システム
JP6662428B2 (ja) 動態解析システム
JP2016209267A (ja) 医用画像処理装置及びプログラム
JP7487566B2 (ja) プログラム、画像処理装置及び画像処理方法
JP2020062394A (ja) 画像処理装置
JP7255725B2 (ja) 動態画像解析システム及び動態画像解析プログラム
JP6962030B2 (ja) 動態解析装置、動態解析システム、動態解析プログラム及び動態解析方法
JP6888721B2 (ja) 動態画像処理装置、動態画像処理プログラム及び動態画像処理方法

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20190411

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220425

R150 Certificate of patent or registration of utility model

Ref document number: 7074101

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150