WO2021038847A1 - 画像処理方法、画像処理装置、およびプログラム - Google Patents

画像処理方法、画像処理装置、およびプログラム Download PDF

Info

Publication number
WO2021038847A1
WO2021038847A1 PCT/JP2019/034192 JP2019034192W WO2021038847A1 WO 2021038847 A1 WO2021038847 A1 WO 2021038847A1 JP 2019034192 W JP2019034192 W JP 2019034192W WO 2021038847 A1 WO2021038847 A1 WO 2021038847A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fundus
fundus image
processing method
sharpening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/034192
Other languages
English (en)
French (fr)
Inventor
泰士 田邉
大士 田中
真梨子 廣川
石田 誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP25220966.3A priority Critical patent/EP4718370A2/en
Priority to CN202511710374.7A priority patent/CN121526941A/zh
Priority to CN201980101567.9A priority patent/CN114599267B/zh
Priority to EP19942727.9A priority patent/EP4023140B1/en
Priority to PCT/JP2019/034192 priority patent/WO2021038847A1/ja
Priority to JP2021541936A priority patent/JP7264254B2/ja
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to US17/638,539 priority patent/US12307639B2/en
Priority to CN202511711386.1A priority patent/CN121526942A/zh
Publication of WO2021038847A1 publication Critical patent/WO2021038847A1/ja
Anticipated expiration legal-status Critical
Priority to US19/186,977 priority patent/US20250252543A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6008Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor

Definitions

  • the scanning laser ophthalmoscope (Scanning Laser Ophthalmoscope) is referred to as "SLO”.
  • SLO scanning Laser Ophthalmoscope
  • OCT optical coherence tomography
  • the wide-angle optical system 30 enables observation in the fundus with a wide field of view (FOV: Field of View) 12A.
  • the FOV 12A indicates a range that can be photographed by the photographing device 14.
  • FOV12A can be expressed as a viewing angle.
  • the viewing angle can be defined by an internal irradiation angle and an external irradiation angle in the present embodiment.
  • the external irradiation angle is an irradiation angle in which the irradiation angle of the luminous flux emitted from the ophthalmic apparatus 110 to the eye 12 to be inspected is defined with reference to the pupil 27.
  • the ophthalmologist inputs the patient name ID into the viewer 150 when examining the patient's eye to be examined.
  • the viewer 150 instructs the server 140 to transmit the image data of the eye to be inspected corresponding to the patient name ID and the like.
  • the server 140 displays the patient name, the patient's age, the patient's visual acuity, the information on whether the left eye or the right eye, the axial length, the shooting date, and the image data corresponding to the patient name ID together with the patient name ID in the viewer 150. Send to.
  • the blood vessels of the choroid are extracted from the information of the red (R) component and the information of the green (G) component. Therefore, the processing unit 208 of the server 140 extracts the blood vessels of the choroid from the UWF fundus image G1 (see FIG. 7) in the RGB color space and stores them in the storage device 254 separately from the image processing of FIG.
  • the selection button 1036C of the mode 3 is operated, the viewer 150 receives the information of the choroidal blood vessel from the server 140, and the UWF fundus after the sharpening process is displayed in the UWF fundus image display field 1032B after the sharpening process. It is superimposed on the image G2.
  • a computer program product for image processing comprises a computer-readable storage medium that is not itself a temporary signal.
  • a program is stored in the computer-readable storage medium.
  • the program On the computer Get a fundus image and The first enhancement process is executed on the image of at least the central region of the fundus image, and the second enhancement process different from the first enhancement process is executed on the image of the peripheral region around at least the central region of the fundus image.
  • An enhanced image of the fundus image is generated based on the first image obtained by executing the first enhancement process and the second image obtained by executing the second enhancement process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

眼底画像を鮮明化する画像処理方法を提供する。 プロセッサによって実行される画像処理方法であって、前記プロセッサが、眼底画像を取得することと、前記プロセッサが、前記眼底画像の少なくとも中央領域の画像に第1強調処理を実行しかつ前記眼底画像の少なくとも前記中央領域の周辺の周辺領域の画像に前記第1強調処理と異なる第2強調処理を実行することと、前記プロセッサが、前記第1強調処理が実行されることにより得られた第1画像と、前記第2強調処理が実行されることにより得られた第2画像とに基づいて、前記眼底画像の強調画像を生成することと、を含む。

Description

画像処理方法、画像処理装置、およびプログラム
 本発明は、画像処理方法、画像処理装置、およびプログラムに関する。
 特開2008-229157号公報には、眼底画像の血管領域を鮮明に描写する画像処理技術が開示されている。眼底画像を鮮明化する画像処理技術が求められている。
 本開示の技術の第1の態様は、プロセッサによって実行される画像処理方法であって、前記プロセッサが、眼底画像を取得することと、前記プロセッサが、前記眼底画像の少なくとも中央領域の画像に第1強調処理を実行し、かつ、前記眼底画像の少なくとも前記中央領域の周辺の周辺領域の画像に前記第1強調処理と異なる第2強調処理を実行することと、前記プロセッサが、前記第1強調処理が実行されることにより得られた第1画像と、前記第2強調処理が実行されることにより得られた第2画像とに基づいて、前記眼底画像の強調画像を生成することと、を含む。
 本開示の技術の第2の態様は、プロセッサによって実行される画像処理方法であって、前記プロセッサが、眼底画像を取得することと、前記プロセッサが、前記眼底画像に対して第1パラメータを用いた第1鮮明化処理を実行し、かつ、前記眼底画像に対し前記第1パラメータとは異なる第2パラメータを用いた第2鮮明化処理を実行することと、前記プロセッサが、前記第1鮮明化処理及び前記第2鮮明化処理が実行されてえられた画像に基づいて鮮明化眼底画像を生成することと、を含む。
 本開示の技術の第3の態様の画像処理装置は、プロセッサと、前記プロセッサに連結されたメモリとを備え、前記プロセッサは、眼底画像を取得し、前記眼底画像の少なくとも中央領域の画像に第1強調処理を実行しかつ前記眼底画像の少なくとも前記中央領域の周辺の周辺領域の画像に前記第1強調処理と異なる第2強調処理を実行し、前記第1強調処理が実行されることにより得られた第1画像と、前記第2強調処理が実行されることにより得られた第2画像とに基づいて、前記眼底画像の強調画像を生成する、ように構成されている。
 本開示の技術の第4の態様の画像処理装置は、プロセッサと、前記プロセッサに連結されたメモリとを備え、前記プロセッサは、眼底画像を取得することと、前記眼底画像に対して第1パラメータを用いた第1鮮明化処理を実行し、かつ、前記眼底画像に対し前記第1パラメータとは異なる第2パラメータを用いた第2鮮明化処理を実行することと、前記第1鮮明化処理及び前記第2鮮明化処理が実行されてえられた画像に基づいて鮮明化眼底画像を生成することと、を含む。
 本開示の技術の第5の態様のプログラムは、コンピュータに、眼底画像を取得し、前記眼底画像の少なくとも中央領域の画像に第1強調処理を実行しかつ前記眼底画像の少なくとも前記中央領域の周辺の周辺領域の画像に前記第1強調処理と異なる第2強調処理を実行し、前記第1強調処理が実行されることにより得られた第1画像と、前記第2強調処理が実行されることにより得られた第2画像とに基づいて、前記眼底画像の強調画像を生成する、ことを実行させる。
 本開示の技術の第6の態様のプログラムは、コンピュータに、眼底画像を取得し、前記眼底画像に対して第1パラメータを用いた第1鮮明化処理を実行し、かつ、前記眼底画像に対し前記第1パラメータとは異なる第2パラメータを用いた第2鮮明化処理を実行し、前記第1鮮明化処理及び前記第2鮮明化処理が実行されてえられた画像に基づいて鮮明化眼底画像を生成する、ことを実行させる。
眼科システム100のブロック図である。 眼科装置110の全体構成を示す概略構成図である。 サーバ140の電気系の構成のブロック図である。 サーバ140のCPU262の機能のブロック図である。 サーバ140による画像処理のフローチャートである。 図5のステップ504の鮮明化処理のフローチャートである。 図5のステップ506の鮮明化画像の解析処理のフローチャートである。 RGB色空間のUWF眼底画像G1を示す図である。 RGB色空間のUWF眼底画像G1が変換されたL*a*b*色空間の画像のL*成分の画像G11を示す図である。 眼底画像における中央領域と周辺領域とを示す図である。 L*成分の画像G11の中央領域の画像に対するCLAHE処理のための第1タイルサイズTcと、周辺領域の画像に対するCLAHE処理のための第2タイルサイズTpとを示す図である。 鮮明化処理後のRGB色空間のUWF眼底画像G2を示す図である。 病変部分を強調した強調画像を示す図である。 第1眼底画像表示画面1000Aを示す図である。 第2眼底画像表示画面1000Bを示す図である。 第3眼底画像表示画面1000Cを示す図である。 図5のステップ504の鮮明化処理の変形例のフローチャートである。
 以下、図面を参照して本発明の実施の形態を詳細に説明する。
 図1を参照して、眼科システム100の構成を説明する。図1に示すように、眼科システム100は、眼科装置110と、眼軸長測定器120と、管理サーバ装置(以下、「サーバ」という)140と、画像表示装置(以下、「ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。眼軸長測定器120は、患者の眼軸長を測定する。サーバ140は、眼科装置110によって患者の眼底が撮影されることにより得られた眼底画像を、患者のIDに対応して記憶する。ビューワ150は、サーバ140から取得した眼底画像などの医療情報を表示する。
 眼科装置110、眼軸長測定器120、サーバ140、およびビューワ150は、ネットワーク130を介して、相互に接続されている。
 次に、図2を参照して、眼科装置110の構成を説明する。
 説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
 なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
 眼科装置110は、撮影装置14および制御装置16を含む。撮影装置14は、SLOユニット18、OCTユニット20、および撮影光学系19を備えており、被検眼12の眼底の眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する。
 制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、および入出力(I/O)ポート16Dを有するコンピュータを備えている。
 制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
 また、制御装置16は、I/Oポート16Dに接続された画像処理装置16Gを備えている。画像処理装置16Gは、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。制御装置16はI/Oポート16Dに接続された通信インターフェース(I/F)16Fを備えている。眼科装置110は、通信インターフェース(I/F)16Fおよびネットワーク130を介して眼軸長測定器120、サーバ140、およびビューワ150に接続される。
 上記のように、図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、CPU16Aが出力指示した画像信号に基づいて、SLO画像等を表示するようにしてもよい。
 撮影装置14は、制御装置16のCPU16Aの制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、およびOCTユニット20を含む。撮影光学系19は、第1光学スキャナ22、第2光学スキャナ24、および広角光学系30を含む。
 第1光学スキャナ22は、SLOユニット18から射出された光をX方向、およびY方向に2次元走査する。第2光学スキャナ24は、OCTユニット20から射出された光をX方向、およびY方向に2次元走査する。第1光学スキャナ22および第2光学スキャナ24は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
 広角光学系30は、共通光学系28を有する対物光学系(図2では不図示)、およびSLOユニット18からの光とOCTユニット20からの光を合成する合成部26を含む。
 なお、共通光学系28の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、視神経乳頭や黄斑が存在する眼底中心部だけでなく眼球の赤道部や渦静脈が存在する眼底周辺部の網膜を撮影することが可能となる。
 楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示および国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
 広角光学系30によって、眼底において広い視野(FOV:Field of View)12Aでの観察が実現される。FOV12Aは、撮影装置14によって撮影可能な範囲を示している。FOV12Aは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底へ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施の形態では、内部照射角は200度としている。
 内部照射角の200度は、本開示の技術の「所定値」の一例である。
 ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。
 SLOシステムは、図2に示す制御装置16、SLOユニット18、および撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOV12Aでの眼底撮影を可能とする。
 SLOユニット18は、複数の光源、例えば、B光(青色光)の光源40、G光(緑色光)の光源42、R光(赤色光)の光源44、およびIR光(赤外線(例えば、近赤外光))の光源46と、光源40、42、44、46からの光を、反射または透過して1つの光路に導く光学系48、50、52、54、56とを備えている。光学系48、50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。B光は、光学系48で反射し、光学系50を透過し、光学系54で反射し、G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系56、52で反射して、それぞれ1つの光路に導かれる。
 SLOユニット18は、G光、R光、およびB光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図2に示す例では、B光(青色光)の光源40、G光の光源42、R光の光源44、およびIR光の光源46の4つの光源を備えるが、本開示の技術は、これに限定されない。例えば、SLOユニット18は、さらに、白色光の光源をさらに備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
 SLOユニット18から撮影光学系19に入射された光は、第1光学スキャナ22によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、被検眼12の後眼部に照射される。眼底により反射された反射光は、広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射される。
 SLOユニット18は、被検眼12の後眼部(例えば、眼底)からの光の内、B光を反射し且つB光以外を透過するビームスプリッタ64、ビームスプリッタ64を透過した光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット18は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット18は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。
 SLOユニット18は、複数の光源に対応して複数の光検出素子を備えている。SLOユニット18は、ビームスプリッタ64により反射したB光を検出するB光検出素子70、およびビームスプリッタ58により反射したG光を検出するG光検出素子72を備えている。SLOユニット18は、ビームスプリッタ60により反射したR光を検出するR光検出素子74、およびビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
 広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射された光(眼底により反射された反射光)は、B光の場合、ビームスプリッタ64で反射してB光検出素子70により受光され、G光の場合、ビームスプリッタ64を透過し、ビームスプリッタ58で反射してG光検出素子72により受光される。上記入射された光は、R光の場合、ビームスプリッタ64、58を透過し、ビームスプリッタ60で反射してR光検出素子74により受光される。上記入射された光は、IR光の場合、ビームスプリッタ64、58、60を透過し、ビームスプリッタ62で反射してIR光検出素子76により受光される。CPU16Aの制御下で動作する画像処理装置16Gは、B光検出素子70、G光検出素子72、R光検出素子74、およびIR光検出素子76で検出された信号を用いてUWF-SLO画像を生成する。
 UWF-SLO画像には、眼底がG色で撮影されて得られたUWF-SLO画像(G色眼底画像)と、眼底がR色で撮影されて得られたUWF-SLO画像(R色眼底画像)とがある。UWF-SLO画像には、眼底がB色で撮影されて得られたUWF-SLO画像(B色眼底画像)と、眼底がIRで撮影されて得られたUWF-SLO画像(IR眼底画像)とがある。
 また、制御装置16が、同時に発光するように光源40、42、44を制御する。B光、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像、R色眼底画像、およびB色眼底画像が得られる。G色眼底画像、R色眼底画像、およびB色眼底画像からRGBカラー眼底画像が得られる。制御装置16が、同時に発光するように光源42、44を制御し、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像およびR色眼底画像が得られる。G色眼底画像およびR色眼底画像からRGカラー眼底画像が得られる。
 このようにUWF-SLO画像として、具体的には、B色眼底画像、G色眼底画像、R色眼底画像、IR眼底画像、RGBカラー眼底画像、RGカラー眼底画像がある。UWF-SLO画像の各画像データは、入力/表示装置16Eを介して入力された患者の情報と共に、通信インターフェース(I/F)16Fを介して眼科装置110からサーバ140へ送信される。UWF-SLO画像の各画像データと患者の情報とは、記憶装置254に、対応して記憶される。なお、患者の情報には、例えば、患者名ID、氏名、年齢、視力、右眼/左眼の区別等がある。患者の情報はオペレータが入力/表示装置16Eを介して入力する。
 OCTシステムは、図2に示す制御装置16、OCTユニット20、および撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影と同様に、広いFOV12Aでの眼底撮影を可能とする。OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、コリメートレンズ20E、および第2の光カプラ20Fを含む。
 光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、第2光学スキャナ24によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系30および第2光学スキャナ24を経由してOCTユニット20へ入射され、コリメートレンズ20Eおよび第1の光カプラ20Cを介して、第2の光カプラ20Fに入射する。
 光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
 第2の光カプラ20Fに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。CPU16Aの制御下で動作する画像処理装置16Gは、センサ20Bで検出されたOCTデータに基づいて断層画像やen-face画像などのOCT画像を生成する。
 ここで、内部照射角で160度以上の撮影画角で撮影されて得られたOCT眼底画像をUWF-OCT画像と称する。
 UWF-OCT画像の画像データは、患者の情報と共に、通信インターフェース(I/F)16Fを介して眼科装置110からサーバ140へ送信される。UWF-OCT画像の画像データと患者の情報とは、記憶装置254に、対応して記憶される。
 なお、本実施の形態では、光源20Aが波長掃引タイプのSS-OCT(Swept-Source OCT)を例示するが、SD-OCT(Spectral-Domain OCT)、TD-OCT(Time-Domain OCT)など、様々な方式のOCTシステムであってもよい。
 次に、眼軸長測定器120を説明する。眼軸長測定器120は、被検眼12の眼軸方向の長さである眼軸長を測定する第1のモードと第2のモードとの2つのモードを有する。第1のモードは、図示しない光源からの光を被検眼12に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第2のモードは、図示しない超音波を用いて眼軸長を測定するモードである。
 眼軸長測定器120は、第1のモードまたは第2のモードにより測定された眼軸長をサーバ140に送信する。第1のモードおよび第2のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長としてサーバ140に送信する。サーバ140は、患者の眼軸長を患者名IDに対応して記憶する。
 次に、図3を参照して、サーバ140の電気系の構成を説明する。図3に示すように、サーバ140は、コンピュータ本体252を備えている。コンピュータ本体252は、バス270により相互に接続されたCPU262、RAM266、ROM264、および入出力(I/O)ポート268を有する。入出力(I/O)ポート268には、記憶装置254、ディスプレイ256、マウス255M、キーボード255K、および通信インターフェース(I/F)258が接続されている。記憶装置254は、例えば、不揮発メモリで構成される。入出力(I/O)ポート268は、通信インターフェース(I/F)258を介して、ネットワーク130に接続されている。従って、サーバ140は、眼科装置110、およびビューワ150と通信することができる。記憶装置254には、後述する画像処理プログラムが記憶されている。なお、画像処理プログラムを、ROM264に記憶してもよい。
 画像処理プログラムは、本開示の技術の「プログラム」の一例である。記憶装置254、ROM264は、本開示の技術の「メモリ」、「コンピュータ可読記憶媒体」の一例である。CPU262は、本開示の技術の「プロセッサ」の一例である。
 サーバ140の後述する処理部208(図5も参照)は、眼科装置110から受信した各データを、記憶装置254に記憶する。具体的には、処理部208は記憶装置254に、UWF-SLO画像の各画像データおよびUWF-OCT画像の画像データと患者の情報(上記のように患者名ID等)とを対応して記憶する。また、患者の被検眼に病変がある場合や病変部分に手術がされた場合には、眼科装置110の入力/表示装置16Eを介して病変の情報が入力され、サーバ140に送信される。病変の情報は患者の情報と対応付けられて記憶装置254に記憶される。病変の情報には、病変部分の位置の情報、病変の名称、病変部分に手術がされている場合には手術名や手術日時等がある。
 ビューワ150は、CPU、RAM、ROM等を備えたコンピュータとディスプレイとを備え、ROMには、画像処理プログラムがインストールされており、ユーザの指示に基づき、コンピュータは、サーバ140から取得した眼底画像などの医療情報が表示されるようにディスプレイを制御する。
 次に、図4を参照して、サーバ140のCPU262が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、表示制御機能、画像処理機能(鮮明化処理機能、眼底構造解析機能)、および処理機能を備えている。CPU262がこの各機能を有する画像処理プログラムを実行することで、CPU262は、図4に示すように、表示制御部204、画像処理部206(鮮明化処理部2060、眼底構造解析部2062)、および処理部208として機能する。
 次に、図5を用いて、サーバ140による画像処理を詳細に説明する。サーバ140のCPU262が画像処理プログラムを実行することで、図5のフローチャートに示された画像処理が実現される。当該画像処理は、患者名IDが入力され、ディスプレイ256に表示された図示しないスタートボタンが操作された場合にスタートする。
 ステップ502で、処理部208は、記憶装置254から、図7に示すように、患者名IDに対応して記憶されているUWF眼底画像G1を取得する。UWF眼底画像G1は、UWF-SLO画像の中のRGBカラー眼底画像であり、RGB色空間のUWF眼底画像であり、画像処理されていないオリジナルのUWF眼底画像である。
 ステップ504で、鮮明化処理部2060は、詳細には後述する鮮明化処理を実行する。ステップ506で、眼底構造解析部2062は、詳細には後述する鮮明化画像を解析する。
 ステップ508で、処理部208は、画像識別フラグを生成し、オリジナルのUWF眼底画像(UWF眼底画像G1(図7参照))と、鮮明化処理後のUWF眼底画像とに、画像識別フラグを設定する。具体的には、処理部208は、オリジナルのUWF眼底画像に対してフラグ=0を関連付ける。処理部208は、鮮明化処理後のUWF眼底画像(鮮明化画像)に対してフラグ=1を関連付ける。
 ステップ510で、処理部208は、フラグ=0に対応してオリジナルのUWF眼底画像を、また、フラグ=1に対応して鮮明化画像を、記憶装置254に保存(記憶)する。
 ステップ512で、処理部208は、眼底構造解析部2062により鮮明化処理後のUWF眼底画像に対して実行した解析により得られた解析結果のデータを、記憶装置254に保存(記憶)する。
 ステップ514で、処理部208は、フラグ=0に関連付けられた状態でオリジナルのUWF眼底画像を、また、フラグ=1に関連付けられた状態で鮮明化処理後のUWF眼底画像を、更に、解析データを、通信インターフェース258を介して、ビューワ150に出力(送信)する。
 次に、図6Aを参照して、ステップ504の鮮明化処理を実行する。
 ステップ602で、鮮明化処理部2060は、RGB色空間のUWF眼底画像G1(図7参照)をL*a*b*色空間の画像に変換する。これにより、L*成分の画像G11(図8A参照)、a*成分の画像、およびb*成分の画像が取得される。
 L*a*b*色空間は、本開示の技術の「明るさを示す明度成分異なる2つの色味の成分である第1色成分と第2色成分との3つの成分を有する色空間」の一例である。L*成分の画像G11(図8A参照)、a*成分の画像、およびb*成分の画像の各々は眼底画像であるので、ステップ602の処理により、明るさと2つの異なる色味との3つの成分を有する色空間眼底画像が取得される。
 つまり、三原色空間(RGB)のRGB眼底画像から、補色空間(L*a*b*)のLab空間眼底画像に変換され、ステップ504の鮮明化処理が実行される。
補色空間(L*a*b*)は、CIELAB色空間あるいは「CIE1976L*a*b*色空間とも言われている。
 また、別の色空間であるCIELUV色空間(あるいは「CIE1976L*u*v*色空間」)に変換するようにしてもよい。
 ユーザがより効果的に鮮明化の効果を知覚するためには、色の知覚的な相違を定量的な差として変換した補色空間(L*a*b*)で、鮮明化処理を行ったほうがよい、ユーザ(画像を閲覧する観察者(例えば、眼科医))がより効果的に鮮明化の効果を知覚することができるからである。つまり、RGB色空間でのR、G,Bの各色成分に対して処理を行うよりも、補色空間(L*a*b*)で知覚的に独立な明度成分と色度成分に分離し各成分を独立に鮮明化処理を行ったほうがよいことになる。よって、補色空間(L*a*b*)での鮮明化処理により、知覚的な差を効果的に感じさせる画像を生成できる。したがって、本開示の技術の鮮明化処理は補色空間(L*a*b*)に変換して行った方が好ましい。
 ステップ604で、鮮明化処理部2060は、L*a*b*色空間の各画像から、L*a*b*色空間の画像の中央を中心にした所定半径の円の領域の画像を、中央領域の画像として抽出する。
 ここで、中央領域とは、眼底画像において視神経乳頭と黄斑を含む領域であり、眼底の後極部である。周辺領域とは、中央領域の外側の領域であり、眼底の赤道部、周辺部である。 具体的には、図8Bに示すように、視神経乳頭DDと黄斑MMを含む点線の円で囲まれた領域が中央領域CRであり、点線の円の外側が周辺領域である。
 なお、L*a*b*色空間の画像の中央位置は、被検眼12の眼底と光軸とが交差する位置である。
 ステップ606で、鮮明化処理部2060は、中央領域の画像に対して実行するCLAHE処理のパラメータとして、第1パラメータを設定する。
 ここで、CLAHE(Contrast Limited Adaptive Histogram Equalization)処理とは、画像を複数の領域に分割して、分割された領域毎に局所的にヒストグラム平滑化を実施し、それぞれの領域の境界において、双一次内挿等の補間処理を行うことにより、画像のコントラストを調整する処理である。
 CLAHE処理のパラメータには、タイルサイズがある。CLAHE処理は、画像(L*a*b*色空間の画像)に局所的に実行される。具体的には、当該画像を四角形の複数の領域に分割し、分割した領域毎にCLAHE処理が実行される。この各領域をタイルといい、タイルのサイズのことをタイルサイズという。
 本実施の形態では、ステップ606で、鮮明化処理部2060は、タイルサイズとして、図9に示すように、第1タイルサイズTcを設定する。詳細には後述するが、中央領域の周辺の周辺領域の画像に対しては、第2タイルサイズTpを設定する。中央領域のCLAHE処理に用いる第1タイルサイズTcに対し、周辺領域のCLAHE処理に用いる第2タイルサイズTpはタイルの一辺の長さ(タイルが正方形であるとする)がTcの1.4倍、面積で2倍にするのがよい。すなわち、第1タイルサイズTcは、第2タイルサイズTpよりもサイズが小さい。これは、球状の眼底を撮影するために、中央領域に対して周辺領域が歪を有するからである。
 上記のように内部照射角で160度以上の撮影画角で撮影されて得られたオリジナルのUWF眼底画像G1(図7)では、中央領域より周辺領域のほうが、画像の歪が大きい。換言すると、オリジナルのUWF眼底画像G1における同じ所定面積の部分に対応する実際の眼底の面積は、中央領域より周辺領域のほうが、大きい。
 そこで、本実施の形態では、第2タイルサイズTpは第1タイルサイズTcよりもサイズが大きくしている。
 具体的には、オリジナルのUWF眼底画像G1の中央領域の部分に対応する実際の眼底の面積をScとし、オリジナルのUWF眼底画像G1の周辺領域の部分に対応する実際の眼底の面積をSpとし、Sp=nScとすると、Tp=nTcとしている。
 よって、周辺領域の画像のL*a*b*の各成分に対するCLAHE処理による強調度合を、中央領域の画像のL*a*b*の各成分に対するCLAHE処理による強調度合より大きくしている。
 ステップ608で、鮮明化処理部2060は、中央領域の画像のL*a*b*の各成分に対して第1パラメータでCLAHE処理を実行する。
 ステップ610で、鮮明化処理部2060は、L*a*b*色空間の画像から、中央領域以外の領域の画像を、周辺領域の画像として抽出する。
 ステップ612で、鮮明化処理部2060は、周辺領域の画像に対して実行するCLAHE処理のパラメータとして、第2パラメータを設定する。本実施の形態では、鮮明化処理部2060は、タイルサイズとして、第1タイルサイズTcよりもサイズが大きい第2タイルサイズTpを設定する。
 ステップ614で、鮮明化処理部2060は、周辺領域の画像のL*a*b*の各成分の周辺領域の画像に対して第2パラメータでCLAHE処理を実行する。
 ステップ616で、鮮明化処理部2060は、中央領域および周辺領域の各々の画像の各成分を合成する。ステップ618で、鮮明化処理部2060は、各成分が合成された中央領域および周辺領域の各々の画像を合成する。これによりL*a*b*色空間の鮮明化されたUWF眼底画像が得られる。
 ステップ620で、鮮明化処理部2060は、L*a*b*色空間の鮮明化されたUWF眼底画像を、図10に示すように、RGB色空間の画像G2に変換する。
 RGB色空間の画像G2(図10)では、オリジナルのUWF眼底画像G1(図7)よりも、血管が鮮明になり、オリジナルのUWF眼底画像G1では見えにくかった血管も見えるようになっている。また、出血、白斑、網膜剥離などの病変部分も鮮明になる。
 次に、図6Bを参照して、ステップ506の鮮明化画像の解析処理を説明する。
 ステップ652で、眼底構造解析部2062は、現在対象となっている患者名IDに対応して、病変の情報が登録されているか否かを判断する。
 現在対象となっている患者名IDに対応して、病変の情報が登録されていない場合には、解析処理を終了する。
 現在対象となっている患者名IDに対応して、病変の情報が登録されている場合には、眼底構造解析部2062は、病変部分を強調した強調画像を生成し、解析データとして、記憶装置254に記憶する。
 上記のように、図5のステップ508で解析データもビューワ150に出力(送信)されるので、ビューワ150において、図11に示す病変部分を強調した画像を表示する。これにより、病変部分が可視化される。
 例えば、第1に、硝子体に病変部分があり、当該病変部分が手術されている場合には、図11に示すように、眼底構造解析部2062は、手術部位702の網膜血管の色を変えたり、手術以前の網膜血管を重畳させたりした強調画像を生成する。
 ビューワ150は、被検眼を診察する際の眼科医の指示に従って、強調画像を表示する。ビューワ150は、手術部位702の網膜血管を、色を変えて表示したり、手術部位702の網膜血管と手術以前の網膜血管とを重畳させて表示したりする。これにより、手術部位702の網膜血管と手術以前の網膜血管との位置ずれが確認できるようになる。ビューワ150は、手術部位702の手術後の網膜血管だけを表示したり、手術部位702の手術以前の網膜血管だけを表示したり、これらを交互に表示したり、してもよい。
 第2に、網膜剥離の病変がある場合には、眼底構造解析部2062は、網膜剥離の場所708に、赤枠を重畳させた強調画像を作成する。
 ビューワ150は、被検眼を診察する際の眼科医の指示に従って、強調画像を表示する。この場合、ビューワ150は、網膜剥離の場所708を点滅表示したり、反転点滅表示したり、位置およびサイズを表示したりしてもよい。
 第3に、点状出血の病変がある場合には、眼底構造解析部2062は、点状出血の場所706の色を変えたり、色を変えることに代えまたはこれとともに、点状出血の場所の個数を重畳させたりした強調画像を作成する。
 ビューワ150は、被検眼を診察する際の眼科医の指示に従って、強調画像を表示する。この場合、ビューワ150は、点状出血の場所706を点滅表示したり、反転点滅表示したり、個数のカウント値を表示したり、してもよい。ビューワ150は、点状出血の場所706の近傍がクリックされた場合、虫眼鏡ボタンMを表示し、虫眼鏡ボタンが押されると、点状出血の場所706を拡大表示してもよい。
 第4に、白斑の病変がある場合には、眼底構造解析部2062は、白斑の場所704A、704Bの色を変えたり、色を変えることに代えまたはこれとともに、白斑の個数を重畳させたりした強調画像を作成する。
 ビューワ150は、被検眼を診察する際の眼科医の指示に従って、強調画像を表示する。この場合、ビューワ150は、白斑の場所704A、704Bを点滅表示したり、反転点滅表示したり、してもよい。
 眼科医は、患者の被検眼を診察する際、患者名IDをビューワ150に入力する。ビューワ150はサーバ140に、患者名IDに対応する被検眼の画像データ等を送信するように指示する。サーバ140は、患者名IDに対応する、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、および画像データを、患者名IDと共に、ビューワ150に送信する。
 患者名ID、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、およびの画像データを受信したビューワ150は、図12に示す第1眼底画像表示画面1000Aをディスプレイに表示する。
 図12に示すように、第1眼底画像表示画面1000Aは、患者情報表示欄1002と、第1眼底画像情報表示欄1004Aとを備えている。
 患者情報表示欄1002は、患者名ID、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長を表示するための、各々の表示欄1012から1022と、画面切替ボタン1024とを有する。表示欄1012から1022に、受信した患者名ID、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長が表示される。
 第1眼底画像情報表示欄1004Aは、撮影日表示欄1030、オリジナルのUWF眼底画像表示欄1032A、鮮明化処理後のUWF眼底画像表示欄1032B、および情報表示欄1034、選択ボタン1036Aから1036Dを備えている。
 撮影日表示欄1030に撮影日(YYY/MM/DD)が表示される。情報表示欄1034には、ユーザ(眼科医)の診察時のコメントやメモがテキストとして表示される。
 オリジナルのUWF眼底画像表示欄1032Aには、オリジナルのUWF眼底画像G1(図7)が表示される。鮮明化処理後のUWF眼底画像表示欄1032Bには、鮮明化処理後のUWF眼底画像G2(図10)が表示される。
 選択ボタン1036Aにより選択されるモード1は、色味眼底カメラ風補正モードである。色味眼底カメラ風補正モードは、鮮明化処理後のUWF眼底画像表示欄1032Bに表示された鮮明化処理後のUWF眼底画像G2の色味を、眼底カメラで撮影して得られた画像の色味に変更するモードである。
 選択ボタン1036Bにより選択されるモード2は、ヘイズ除去処理モードである。ヘイズ除去処理モードは、鮮明化処理後のUWF眼底画像G2からヘイズ(例えば、もや等)を除去する処理(ヘイズ除去処理)のモードである。ヘイズ除去処理は、以下の論文及び特許文献などに開示されている。
(論文)
 He, Kaiming. 「Single Image Haze Removal Using Dark Channel Prior.」 Thesis, The Chinese University of Hong Kong, 2011.
(特許文献)
 特許第6225255号公報
 選択ボタン1036Cにより選択されるモード3は、パキコロイド(脈絡膜肥厚)確認モードである。パキコロイド確認モードは、鮮明化処理後のUWF眼底画像表示欄1032Bに表示された鮮明化処理後のUWF眼底画像G2の中で、赤成分の割合を、他の色(緑、青)の成分の割合よりも強調するモードである。例えば、鮮明化処理後のUWF眼底画像G2の中で、赤、緑、青の成分は均等であったものを、モード3の選択ボタン1036Cが操作された場合、赤成分の割合を8割、他の色(緑、青)の成分の各々の割合を1割にする等である。鮮明化処理後のUWF眼底画像G2の中で、赤成分の割合を、他の色(緑、青)の成分の割合よりも強調すると、赤色の光は、網膜を通過して脈絡膜まで到達するので、脈絡膜の血管の部分が、網膜の血管よりも強調される。これによりパキコロイド(脈絡膜肥厚)の状態を確認することができる。
 このようにパキコロイド(脈絡膜肥厚)の状態を確認するために行う画像処理の対象は、鮮明化処理後のUWF眼底画像G2ではなく、以下のようにRGB色空間のUWF眼底画像G1(図7参照)でもよい。具体的には、まず、網膜を通過して脈絡膜まで到達するR光に基づくUWF眼底画像G1の赤(R)成分の情報は、網膜および脈絡膜の各々の血管の情報を含む。網膜までしか到達しないG光に基づくUWF眼底画像G1の緑(G)成分の情報は、脈絡膜の血管の情報を含まず、網膜の血管の情報を含む。上記赤(R)成分の情報と上記緑(G)成分の情報とから、脈絡膜の血管が抽出される。そこで、サーバ140の処理部208は、図5の画像処理とは別に、RGB色空間のUWF眼底画像G1(図7参照)から脈絡膜の血管を抽出し、記憶装置254に記憶しておく。ビューワ150は、モード3の選択ボタン1036Cが操作された場合、脈絡膜血管の情報を、サーバ140から受信し、鮮明化処理後のUWF眼底画像表示欄1032Bに表示された鮮明化処理後のUWF眼底画像G2に重畳させる。
 選択ボタン1036Dにより選択されるモード4は、硝子体手術結果確認モードである。硝子体手術結果確認モードは、鮮明化処理後のUWF眼底画像表示欄1032Bに表示された鮮明化処理後のUWF眼底画像G2の中で、緑成分の割合を、他の色(赤、青)の成分の割合よりも強調するモードである。例えば、鮮明化処理後のUWF眼底画像G2の中で、赤、緑、青の成分は均等であったものを、モード4の選択ボタン1036Dが操作された場合、緑成分の割合を8割、他の色(赤、青)の成分の各々の割合を1割にする等である。鮮明化処理後のUWF眼底画像G2の中で、緑成分の割合を、他の色(赤、青)の成分の割合よりも強調すると、緑色の光は、網膜を通過せず脈絡膜まで到達しないので、網膜の血管のみが強調される。これにより硝子体手術の対象となる網膜の血管の手術後の状態を確認することができる。
 選択ボタン1036Aから1036Dが操作された場合、ビューワ150は、モードに対応する上記処理を、鮮明化処理後のUWF眼底画像表示欄1032Bに表示された鮮明化処理後のUWF眼底画像G2に実行する。ビューワ150は、モードに対応する上記処理が実行された鮮明化処理後のUWF眼底画像を、UWF眼底画像表示欄1032Bに表示する。
 このようにモードに対応する上記処理を、ビューワ150が実行することに限定されず、例えば、まず、ビューワ150がサーバ140に、モードに対応する処理を指示し、サーバ140が当該処理を実行するようにしてもよい。サーバ140が、当該処理後の鮮明化処理後のUWF眼底画像をビューワ150に送信し、ビューワ150が、当該処理後の鮮明化処理後のUWF眼底画像を、UWF眼底画像表示欄1032Bに表示する。
 更に、ビューワ150およびサーバ140以外の、ネットワーク130に更に接続された別の画像処理装置がモードに対応する処理を実行するようにしてもよい。
 なお、モードに対応する上記処理が実行された鮮明化処理後のUWF眼底画像を、鮮明化処理後のUWF眼底画像G2と共に表示してもよい。
 図12の画面切替ボタン1024が操作された場合、ビューワ150は、図13に示す第2眼底画像表示画面1000Bをディスプレイに表示する。
 第1眼底画像表示画面1000Aと第2眼底画像表示画面1000Bとは略同様の内容であるので、同一の部分には同一の符号を付してその説明を省略し、異なる部分のみ説明する。
 第2眼底画像表示画面1000Bは、図12のオリジナルのUWF眼底画像表示欄1032Aおよび鮮明化処理後のUWF眼底画像表示欄1032Bに代えて、オリジナルのUWF眼底画像部分表示欄1032C、鮮明化処理後のUWF眼底画像部分表示欄1032Dを有する。
 オリジナルのUWF眼底画像部分表示欄1032Cと鮮明化処理後のUWF眼底画像部分表示欄1032Dとを合わせた画像表示欄の大きさは、図12のUWF眼底画像表示欄1032A、UWF眼底画像表示欄1032Bと同じである。
 オリジナルのUWF眼底画像部分表示欄1032Cと鮮明化処理後のUWF眼底画像部分表示欄1032Dとの境界には、スライドバー1032Eが設けられている。
 スライドバー1032Eは、矢印1032Fに示すように、オリジナルのUWF眼底画像部分表示欄1032C側(図13の左方向)と、鮮明化処理後のUWF眼底画像部分表示欄1032D側(図13の右方向)とに移動可能である。
 スライドバー1032Eが、図13の左方向に移動された場合には、UWF眼底画像部分表示欄1032Cの範囲が狭くなり、UWF眼底画像部分表示欄1032Dの範囲が広くなる。スライドバー1032Eが、図13の右方向に移動された場合には、UWF眼底画像部分表示欄1032Cの範囲が広くなり、UWF眼底画像部分表示欄1032Dの範囲が狭くなる。
 図13の画面切替ボタン1024が操作された場合、ビューワ150は、図14に示す第2眼底画像表示画面1000Cをディスプレイに表示する。
 第2眼底画像表示画面1000Bと第3眼底画像表示画面1000Cとは略同様の内容であるので、同一の部分には同一の符号を付してその説明を省略し、異なる部分のみ説明する。
 第3眼底画像表示画面1000Cは、図13のオリジナルのUWF眼底画像部分表示欄1032C、鮮明化処理後のUWF眼底画像部分表示欄1032Dに代えて、双方表示欄1032Gを有する。
 双方表示欄1032Gには、枠以外の部分1032G2に、鮮明化処理後のUWF眼底画像G2が表示される。枠で区切られた部分1032G1には、枠で区切られた部分に対応するオリジナルのUWF眼底画像の部分が表示される。
 枠自体は、例えば、枠の角以外の部分をドラッグすれば双方表示欄1032Gを移動可能であり、枠の角をドラッグして移動すると、枠の大きさも拡大および縮小可能である。
 このように枠以外の部分1032G2に、鮮明化処理後のUWF眼底画像G2が表示され、枠で区切られた部分1032G1に、対応するオリジナルのUWF眼底画像の部分が表示される。よって、眼科医は、鮮明化処理後のUWF眼底画像G2を全体的に確認しながら、一部分について画像処理前の内容を確認することができる。
 なお、例えば、双方表示欄1032Gの何れかの部分がクリックされた場合、または、反転ボタンを設け、反転ボタンが操作された場合、枠以外の部分1032G2に、オリジナルのUWF眼底画像の部分が表示され、枠で区切られた部分1032G1には、枠で区切られた部分に対応する鮮明化処理後のUWF眼底画像G2が表示される。
 以上説明したように、本開示の技術では、鮮明化処理部2060は、中央領域と周辺領域との画像のL*a*b*の各成分について、各領域に対応したパラメータでCLAHE処理を実行する。具体的には、鮮明化処理部2060は、中央領域の画像のL*a*b*の各成分に対して第1タイルサイズTcで、また、周辺領域の画像のL*a*b*の各成分に対して第2タイルサイズTpで、CLAHE処理を実行する。
 上記のように内部照射角で160度以上の撮影画角で撮影されて得られたオリジナルのUWF眼底画像G1(図7)では、中央領域より周辺領域のほうが、画像のひずみが大きい。換言すると、オリジナルのUWF眼底画像G1における同じ所定面積の部分に対応する実際の眼底の面積は、中央領域より周辺領域のほうが、大きい。
 そこで、本実施の形態では、第2タイルサイズTpは第1タイルサイズTcよりもサイズを大きくしている。
 具体的には、オリジナルのUWF眼底画像G1の中央領域の部分に対応する実際の眼底の面積をScとし、オリジナルのUWF眼底画像G1の周辺領域の部分に対応する実際の眼底の面積をSpとし、Sp=nScとすると、Tp=nTcとしている。
 よって、周辺領域の画像のL*a*b*の各成分に対するCLAHE処理による強調度合を、中央領域の画像のL*a*b*の各成分に対するCLAHE処理による強調度合より大きくしている。
 このように本実施の形態では、中央領域と周辺領域とに対応したパラメータでCLAHE処理を実行するので、各領域に一定のパラメータで一律にCLAHE処理を実行する場合と比較すると、各領域で強調される血管の太さを統一させることができ、これにより、各領域で画像のコントラストが統一され、画像を鮮明化することができる。
 ところで、本開示の技術では、鮮明化処理部2060は、RGB色空間のUWF眼底画像に鮮明化処理を実行してもよい。しかし、本実施の形態では、鮮明化処理部2060は、RGB色空間のUWF眼底画像をL*a*b*色空間の画像に変換し、L*a*b*色空間の各画像に鮮明化処理を実行する。
 RGB色空間のUWF眼底画像に対する鮮明化処理では、明るさ(明度)についてのみ鮮明化処理が実行される。
 しかし、L*a*b*色空間の画像に対する鮮明化処理では、鮮明化処理部2060は、L*の値(明るさ)ばかりではなく、a*として赤みや緑み、また、b*として黄みや青みについての色相および彩度についても鮮明化処理が実行される。従って、輝度、色相、および彩度が強調される。よって、UWF眼底画像をより鮮明にすることができる。
 次に、図15を参照して、図5のステップ504の鮮明化処理の変形例を説明する。
 前述した実施の形態の鮮明化処理(図6A参照)では、鮮明化処理部2060は、眼底画像から中央領域の画像と周辺領域の画像とを抽出し、抽出した周辺領域の画像と、抽出した中央領域の画像とに、後者より前者のほうが強調度合を大きくしたCLAHE処理を実行する。
 本開示の技術はこれに限定されない。例えば、鮮明化処理部2060は、L*成分の画像G11(図8A参照)、a*成分の画像、およびb*成分の画像の各々に、強調度合が異なるCLAHE処理を実行して、各成分について第1画像及び第2画像を生成し、第1画像と第2画像とを、所定の混合比で合成する。具体的には、鮮明化処理部2060は、各成分について第1画像と第2画像とを、画素が中央から周辺に位置するに従って、第2画像の割合が第1画像の割合より多くなるように 、合成する。より具体的には、次の通りである。
 ステップ602で、鮮明化処理部2060は、RGB色空間のUWF眼底画像G1(図7参照)をL*a*b*色空間の画像に変換する。これにより、L*成分の画像G11(図8A参照)、a*成分の画像、b*成分の画像が得られる。
 ステップ607で、鮮明化処理部2060は、CLAHE処理のパラメータとして、中央領域の画像用の第1パラメータを設定する。なお、第1パラメータは、図6Aのステップ606の第1パラメータと同じである。
 ステップ609で、鮮明化処理部2060は、L*a*b*色空間の画像全体の各成分に対して第1パラメータでCLAHE処理を実行することにより、各成分に対して第1処理済画像を生成する。
 ステップ613で、鮮明化処理部2060は、CLAHE処理のパラメータとして、周辺領域の画像用の第2パラメータを設定する。なお、第2パラメータは、図6Aのステップ612の第2パラメータと同じである。
 ステップ615で、鮮明化処理部2060は、L*a*b*色空間の画像全体の各成分に対して第2パラメータでCLAHE処理を実行することにより、各成分に対して第2処理済画像を生成する。
 ステップ617で、鮮明化処理部2060は、L*a*b*色空間の画像の各成分の第1処理済画像と第2処理済画像とを画素毎に、画素が中央から周辺に位置するに従って、第2処理済画像の割合が第1処理済画像の割合より多くなるように、合成する。
 例えば、中央では、第1処理済画像:第2処理済画像=1:0であり、最も周辺では、第1処理済画像:第2処理済画像=0:1である。中央から最も周辺に位置するに従って、第1処理済画像の割合が1より小さくなりかつ第2処理済画像の割合が0より大きくなる。
 ステップ619で、鮮明化処理部2060は、第1処理済画像と第2処理済画像とが合成されたL*a*b*色空間の画像の各成分を、RGB色空間の画像に変換する。
 以上説明したように図15に示す変形例では、各成分について第1画像と第2画像とを所定の混合比で合成することとして、鮮明化処理部2060は、各成分について第1画像と第2画像とを、画素が中央から周辺に位置するに従って、第2画像の割合が第1画像の割合より多くなるように 、合成する。
 本開示の技術はこれに限定されず、鮮明化処理部2060は、各成分について第1画像と第2画像とを、中央領域では、第1画像の割合が第2画像の割合より多く、周辺領域では、第2画像の割合が第1画像の割合より多くなるように、合成する、ようにしてもよい。
 以上説明した各例では、CLAHE処理のパラメータとして、タイルサイズを用いたが、本開示の技術は、これに限定されず、ストレッチ係数を用いることができる。
 ここで、ストレッチ係数は、画像に対する明暗のコントラスの強調の度合いを定める係数である制限値である。
 ストレッチ係数は、中央領域と周辺領域との各々の領域に応じた値にする。具体的には、ストレッチ係数は、中央領域については第1ストレッチ係数に、周辺領域について第2ストレッチ係数にする。第2ストレッチ係数は第1ストレッチ係数より大きい。中央領域より周辺領域ほど収差の影響が大きいので、UWF眼底画像G1は、中央領域より周辺領域ほど、鮮明度が悪化して見える。そこで、周辺領域ほどコントラスト強調を大きくするため、第2ストレッチ係数を、第1ストレッチ係数より大きくする。
 以上説明した各例では、鮮明化処理として、CLAHE処理を用いたが、本開示の技術はこれに限定されず、例えば、アンシャープマスク処理(周波数処理)でもよい。
 また、CLAHE処理とは別のコントラスト強調処理、例えば、デコンボリューション処理、ヒストグラム平均化処理、ヘイズ除去処理、色味補正処理、デノイズ処理等や、これらを組み合わせた処理を用いてもよい。
 アンシャープマスク処理では、シャープ化パラメータが用いられる。
 シャープ化パラメータは、画像に対する明暗のコントラスの強調の度合いを定める係数である。
 アンシャープマスク処理とは、画像の高周波成分を強調する処理である。原画像を意図的に平滑化し(画像をぼかす)、原画像との差分画像を作成することによって、原画像の鮮鋭成分を作り出す。その差分画像を原画像に加算することにより、原画像の鮮鋭化を行う。差分画像を原画像加算する割合を定める定数がアンシャープ化パラメータである。
 アンシャープマスク処理が採用される場合、図6Aのステップ606では、鮮明化処理部2060は、中央領域の画像に対するアンシャープマスク処理のシャープ化パラメータとして第1シャープ化パラメータを設定する。ステップ608では、鮮明化処理部2060は、中央領域の画像のL*a*b*の各成分に対して第1シャープ化パラメータでアンシャープマスク処理を実行する。
 ステップ612では、鮮明化処理部2060は、周辺領域の画像に対するアンシャープマスク処理のシャープ化パラメータとして第2シャープ化パラメータを設定する。ステップ608では、鮮明化処理部2060は、周辺領域の画像のL*a*b*の各成分に対して第2シャープ化パラメータでアンシャープマスク処理を実行する。第2シャープ化パラメータは第1シャープ化パラメータより大きい。これは、中央領域より周辺領域のほうが収差の影響が大きいから、中央領域より周辺領域のほうの収差の影響をより小さくするため、第2シャープ化パラメータを第1シャープ化パラメータより大きくする。
 更に、鮮明化処理部2060は、鮮明化処理として、CLAHE処理とアンシャープマスク処理との両方を実行してもよい。この場合、CLAHE処理とアンシャープマスク処理との少なくとも一方のパラメータを、中央領域と周辺領域との各々の領域に応じた値にしてもよい。
 例えば、CLAHE処理とアンシャープマスク処理と双方のパラメータを、中央領域と周辺領域との各々の領域に応じた値にしたり、CLAHE処理のパラメータを中央領域と周辺領域とで一定にし、アンシャープマスク処理で、中央領域と周辺領域との各々の領域に応じた値にしたり、してもよい。具体的には、例えば、CLAHE処理のタイルサイズを中央領域と周辺領域とで一定(タイルサイズTcとタイルサイズTpとの中間のサイズ)にし、アンシャープマスク処理で、中央領域については第1シャープ化パラメータに、周辺領域については第2シャープ化パラメータにする。周辺領域は中央領域よりぼけやすくなるため(眼底を撮影する光学系の収差や、眼球の瞳孔への光線の進入角が大きいことなどによる収差などの影響により画像がぼける)、第2シャープ化パラメータは第1シャープ化パラメータより大きくし、より多く鮮鋭成分を付加するようにするのが好ましい。
 更に、CLAHE処理およびアンシャープマスク処理の少なくとも一方に代えてまたは当該少なくとも一方と共に、CLAHE処理以外のコントラスト強調処理等を実行してもよい。当該CLAHE処理以外のコントラスト強調処理では、中央領域と周辺領域との各々の領域に応じ、中央領域より周辺領域のほうが強調の度合いを大きくする。
 以上説明した例では、鮮明化処理でパラメータを変える領域は、中央領域と周辺領域との2つであるが、本開示の技術はこれに限定されず、3以上の複数でもよい。具体的には、鮮明化処理部2060は、3以上の複数の領域について、中心から離れるに従って、大きくなるパラメータで鮮明化処理を実行する。
 以上説明した例では、サーバ140には、SLOシステムを有する眼科装置110からにUWF眼底画像G1が送信されているが、本開示の技術はこれに限定されない。例えば、ネットワーク130に眼底カメラを接続し、当該眼底カメラからサーバ140に、SLOシステムを有する眼科装置110よりも画角が小さい眼底画像も送信されるようにしてもよい。この場合、サーバ140に、眼科装置110は、UWF眼底画像であることを示すフラグに対応してUWF眼底画像G1を送信し、眼底カメラは、UWF眼底画像でないことを示すフラグに対応して眼底画像を送信する。サーバ140は、UWF眼底画像であることを示すフラグおよびUWF眼底画像でないことを示すフラグに基づいて、患者名IDに対応する、処理する対象の画像がUWF眼底画像であるか否かを判断する。サーバ140は、処理する対象の画像がUWF眼底画像であると判断した場合に、図5の画像処理を実行する。
 なお、サーバ140には、眼科装置110が、UWF眼底画像であることを示すフラグに対応してUWF眼底画像G1を送信し、眼底カメラは、フラグに対応しないで眼底画像を送信してもよい。逆に、サーバ140には、眼科装置110は、フラグに対応しないでUWF眼底画像G1を送信し、眼底カメラが、UWF眼底画像でないことを示すフラグに対応して眼底画像を送信してもよい。
 以上説明した例では、図5の画像処理は、サーバ140が実行しているが、本開示の技術の技術はこれに限定されない。例えば、眼科装置110またはビューワ150が実行したり、ネットワーク130に更に別の画像処理装置を接続させ、当該画像処理装置が実行したり、してもよい。
 以上説明した各例では、コンピュータを利用したソフトウェア構成により画像処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
 このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合と、コンピュータを利用したソフトウェア構成でない構成で画像処理が実現される場合とを含むので、以下の第1技術及び第2技術を含む。
 眼底画像を取得する取得部と、
 前記眼底画像の少なくとも中央領域の画像に第1強調処理を実行しかつ前記眼底画像の少なくとも前記中央領域の周辺の周辺領域の画像に前記第1強調処理と異なる第2強調処理を実行する実行部と、
 前記第1強調処理が実行されることにより得られた第1画像と、前記第2強調処理が実行されることにより得られた第2画像とに基づいて、前記眼底画像の強調画像を生成する生成部と、
 を含む画像処理装置。
 なお、上記実施の形態の鮮明化処理部2060は、上記第1技術の「取得部」、「実行部」、および「生成部」の一例である。
 上記のように以上の開示内容から以下の第2技術が提案される
 取得部が、眼底画像を取得することと、
 実行部が、前記眼底画像の少なくとも中央領域の画像に第1強調処理を実行しかつ前記眼底画像の少なくとも前記中央領域の周辺の周辺領域の画像に前記第1強調処理と異なる第2強調処理を実行することと、
 生成部が、前記第1強調処理が実行されることにより得られた第1画像と、前記第2強調処理が実行されることにより得られた第2画像とに基づいて、前記眼底画像の強調画像を生成することと、
 を含む画像処理方法。
 以上の開示内容から以下の第3技術が提案される。
 画像処理するためのコンピュータープログラム製品であって、
 前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
 前記コンピュータ可読記憶媒体には、プログラムが格納されており、
 前記プログラムは、
 コンピュータに、
 眼底画像を取得し、
 前記眼底画像の少なくとも中央領域の画像に第1強調処理を実行しかつ前記眼底画像の少なくとも前記中央領域の周辺の周辺領域の画像に前記第1強調処理と異なる第2強調処理を実行し、
 前記第1強調処理が実行されることにより得られた第1画像と、前記第2強調処理が実行されることにより得られた第2画像とに基づいて、前記眼底画像の強調画像を生成する、
 ことを実行させる、
 コンピュータープログラム製品。
 以上説明した画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
 本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。

Claims (22)

  1.  プロセッサによって実行される画像処理方法であって、
     前記プロセッサが、眼底画像を取得することと、
     前記プロセッサが、前記眼底画像の少なくとも中央領域の画像に第1強調処理を実行し、かつ、前記眼底画像の少なくとも前記中央領域の周辺の周辺領域の画像に前記第1強調処理と異なる第2強調処理を実行することと、
     前記プロセッサが、前記第1強調処理が実行されることにより得られた第1画像と、前記第2強調処理が実行されることにより得られた第2画像とに基づいて、前記眼底画像の強調画像を生成することと、
     を含む画像処理方法。
  2.  前記プロセッサは、前記眼底画像から前記中央領域の画像と前記周辺領域の画像とを抽出し、前記抽出した中央領域の画像に第1強調処理を実行しかつ前記抽出した周辺領域の画像に前記第2強調処理を実行することを特徴とする請求項1に記載の画像処理方法。
  3.  前記プロセッサは、前記眼底画像に前記第1強調処理と前記第2強調処理とを実行し、
     前記プロセッサは、前記第1画像と前記第2画像とを、所定の混合比で合成することにより、前記強調画像を生成する、
     ことを特徴とする請求項1に記載の画像処理方法。
  4.  前記プロセッサは、前記第1画像と前記第2画像とを、画素が中央から周辺に位置するに従って、前記第2画像の割合が前記第1画像の割合より多くなるように 、合成することにより、前記強調画像を生成する、
     ことを特徴とする請求項3に記載の画像処理方法。
  5.  前記プロセッサは、前記第1画像と前記第2画像とを、前記中央領域では、前記第1画像の割合が前記第2画像の割合より多く、前記周辺領域では、前記第2画像の割合が前記第1画像の割合より多くなるように、合成することにより、前記強調画像を生成する、
     ことを特徴とする請求項3に記載の画像処理方法。
  6.  前記眼底画像は、明るさを示す明度成分と異なる2つの色味を示す第1色成分と第2色成分との3つの成分を有する色空間の眼底画像であることを特徴とする請求項1から請求項5の何れか1項に記載の画像処理方法。
  7.  前記第2強調処理のパラメータによる強調の度合いは、前記第1強調処理のためのパラメータによる強調の度合いより大きいことを特徴とする請求項1から請求項4の何れか1項に記載の画像処理方法。
  8.  前記第1強調処理および前記第2強調処理は、画像のコントラストを強調する処理である請求項1から請求項7の何れか1項に記載の画像処理方法。
  9.  前記眼底画像は、内部照射角が所定値以上の第1眼底画像または内部照射角が前記所定値未満の第2眼底画像であり、
     前記プロセッサは、前記眼底画像が前記第1眼底画像の場合にのみ、前記第1強調処理と前記第2強調処理とを実行する、
     ことを特徴とする請求項1から請求項8の何れか1項に記載の画像処理方法。
  10.  前記眼底画像は、RGB色空間の三原色眼底画像から、L*a*b*色空間の補色空間眼底画像に変換した画像であることを特徴とする請求項1から請求項9の何れか1項に記載の画像処理方法。
  11.  プロセッサによって実行される画像処理方法であって、
     前記プロセッサが、眼底画像を取得することと、
     前記プロセッサが、前記眼底画像に対して第1パラメータを用いた第1鮮明化処理を実行し、かつ、前記眼底画像に対し前記第1パラメータとは異なる第2パラメータを用いた第2鮮明化処理を実行することと、
     前記プロセッサが、前記第1鮮明化処理及び前記第2鮮明化処理が実行されてえられた画像に基づいて鮮明化眼底画像を生成することと、
     を含む画像処理方法。
  12.  前記第1鮮明化処理は前記眼底画像の中央領域に対して実行され、
     前記第2鮮明化処理は前記眼底画像の前記中央領域の周辺の周辺領域に対して実行される、
     ことを特徴とする請求項11に記載の画像処理方法。
  13.  前記プロセッサが、前記第1鮮明化処理を前記眼底画像の全領域に対して実行することにより、第1鮮明化画像を生成し、かつ、前記第2鮮明化処理を前記眼底画像の全領域に対して実行することにより、第2鮮明化画像を生成し、
     前記プロセッサが、前記鮮明化眼底画像の中央領域を、前記第1鮮明化画像と前記第2鮮明化画像とを第1混合比で合成することにより生成し、鮮明化眼底画像の前記中央領域の周辺である周辺領域を、前記第1鮮明化画像と前記第2鮮明化画像とを前記第1混合比と異なる第2混合比で合成することにより生成することにより、前記鮮明化眼底画像を生成する、
     ことを特徴とする請求項11に記載の画像処理方法。
  14.  前記第1パラメータおよび前記第2パラメータは、前記第1鮮明化処理及び前記第2鮮明化処理が実行される領域のサイズであり、
     前記第1鮮明化処理及び前記第2鮮明化処理は、前記領域ごとに実行される、
     ことを特徴とする請求項11から請求項13の何れか1項に記載の画像処理方法。
  15.  前記第1鮮明化処理及び前記第2鮮明化処理は、CLAHE処理であることを特徴とする請求項11から請求項14の何れか1項に記載の画像処理方法。
  16.  前記鮮明化眼底画像は補色空間の眼底画像であることを特徴とする請求項11から請求項15の何れか1項に記載の画像処理方法。
  17.  前記補色空間はL*a*b*補色空間であることを特徴とする請求項16に記載の画像処理方法。
  18.  前記鮮明化眼底画像をRGB空間に変換することと、
     前記RGB空間に変換された鮮明化眼底画像を出力することと、
     を更に備える請求項11から請求項17の何れか1項に記載の画像処理方法。
  19.  プロセッサと、前記プロセッサに連結されたメモリとを備え、
     前記プロセッサは、
     眼底画像を取得し、
     前記眼底画像の少なくとも中央領域の画像に第1強調処理を実行しかつ前記眼底画像の少なくとも前記中央領域の周辺の周辺領域の画像に前記第1強調処理と異なる第2強調処理を実行し、
     前記第1強調処理が実行されることにより得られた第1画像と、前記第2強調処理が実行されることにより得られた第2画像とに基づいて、前記眼底画像の強調画像を生成する、
     ように構成されている、
     画像処理装置。
  20.  プロセッサと、前記プロセッサに連結されたメモリとを備え、
     前記プロセッサは、
     眼底画像を取得することと、
     前記眼底画像に対して第1パラメータを用いた第1鮮明化処理を実行し、かつ、前記眼底画像に対し前記第1パラメータとは異なる第2パラメータを用いた第2鮮明化処理を実行することと、
     前記第1鮮明化処理及び前記第2鮮明化処理が実行されてえられた画像に基づいて鮮明化眼底画像を生成することと、
     を含む画像処理装置。
  21.  コンピュータに、
     眼底画像を取得し、
     前記眼底画像の少なくとも中央領域の画像に第1強調処理を実行しかつ前記眼底画像の少なくとも前記中央領域の周辺の周辺領域の画像に前記第1強調処理と異なる第2強調処理を実行し、
     前記第1強調処理が実行されることにより得られた第1画像と、前記第2強調処理が実行されることにより得られた第2画像とに基づいて、前記眼底画像の強調画像を生成する、
     ことを実行させるプログラム。
  22.  コンピュータに、
     眼底画像を取得し、
     前記眼底画像に対して第1パラメータを用いた第1鮮明化処理を実行し、かつ、前記眼底画像に対し前記第1パラメータとは異なる第2パラメータを用いた第2鮮明化処理を実行し、
     前記第1鮮明化処理及び前記第2鮮明化処理が実行されてえられた画像に基づいて鮮明化眼底画像を生成する、
     ことを実行させるプログラム。
PCT/JP2019/034192 2019-08-30 2019-08-30 画像処理方法、画像処理装置、およびプログラム Ceased WO2021038847A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN202511710374.7A CN121526941A (zh) 2019-08-30 2019-08-30 图像处理方法、图像处理装置、以及程序产品
CN201980101567.9A CN114599267B (zh) 2019-08-30 2019-08-30 图像处理方法、图像处理装置、以及程序
EP19942727.9A EP4023140B1 (en) 2019-08-30 2019-08-30 Image processing method, image processing device, and program
PCT/JP2019/034192 WO2021038847A1 (ja) 2019-08-30 2019-08-30 画像処理方法、画像処理装置、およびプログラム
JP2021541936A JP7264254B2 (ja) 2019-08-30 2019-08-30 画像処理方法、画像処理装置、およびプログラム
EP25220966.3A EP4718370A2 (en) 2019-08-30 2019-08-30 Image processing method, image processing device, and program
US17/638,539 US12307639B2 (en) 2019-08-30 2019-08-30 Image processing method, image processing device, and program
CN202511711386.1A CN121526942A (zh) 2019-08-30 2019-08-30 图像处理方法、图像处理装置、以及程序产品
US19/186,977 US20250252543A1 (en) 2019-08-30 2025-04-23 Image processing method, image processing device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/034192 WO2021038847A1 (ja) 2019-08-30 2019-08-30 画像処理方法、画像処理装置、およびプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/638,539 A-371-Of-International US12307639B2 (en) 2019-08-30 2019-08-30 Image processing method, image processing device, and program
US19/186,977 Continuation US20250252543A1 (en) 2019-08-30 2025-04-23 Image processing method, image processing device, and program

Publications (1)

Publication Number Publication Date
WO2021038847A1 true WO2021038847A1 (ja) 2021-03-04

Family

ID=74683328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034192 Ceased WO2021038847A1 (ja) 2019-08-30 2019-08-30 画像処理方法、画像処理装置、およびプログラム

Country Status (5)

Country Link
US (2) US12307639B2 (ja)
EP (2) EP4718370A2 (ja)
JP (1) JP7264254B2 (ja)
CN (3) CN121526941A (ja)
WO (1) WO2021038847A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023084947A (ja) * 2021-12-08 2023-06-20 株式会社トーメーコーポレーション 画像処理装置及びそれを備えた眼科装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022066569A1 (en) * 2020-09-22 2022-03-31 Boston Scientific Scimed, Inc. Image processing systems and methods of using the same
AU2021402243A1 (en) * 2020-12-17 2023-06-15 Alcon Inc. System and method for enhancing visualization of an eye image

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6225255B2 (ja) 1977-12-07 1987-06-02 Cho Eru Esu Ai Gijutsu Kenkyu Kumiai
JP2003299620A (ja) * 2002-04-11 2003-10-21 Canon Inc 眼底画像処理装置
JP2008229157A (ja) 2007-03-22 2008-10-02 Chiba Univ 眼底画像処理装置及び眼底撮影装置
US20120169995A1 (en) * 2010-09-14 2012-07-05 Carl Zeiss Meditec Ag Method and device for producing high-quality fundus images
WO2016103484A1 (ja) 2014-12-26 2016-06-30 株式会社ニコン 眼底像形成装置
WO2016103489A1 (ja) 2014-12-26 2016-06-30 株式会社ニコン 眼底像形成装置
JP2017189530A (ja) * 2016-04-15 2017-10-19 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
WO2019130583A1 (ja) * 2017-12-28 2019-07-04 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204939A (ja) * 2002-01-10 2003-07-22 Canon Inc 眼科撮影装置
US20050231688A1 (en) * 2004-04-01 2005-10-20 Jones Peter W J Retinal screening using a night vision device
JP5366855B2 (ja) * 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
JP2011212432A (ja) * 2010-03-15 2011-10-27 Nidek Co Ltd 眼科撮影装置
TW201406343A (zh) * 2012-08-01 2014-02-16 Altek Corp 眼底攝像裝置及其成像方法
JP6062688B2 (ja) * 2012-08-30 2017-01-18 キヤノン株式会社 眼科装置、眼科装置の制御方法、およびプログラム
US8837862B2 (en) 2013-01-14 2014-09-16 Altek Corporation Image stitching method and camera system
CN103431941B (zh) * 2013-05-27 2015-02-04 宋艳萍 一种眼科激光治疗设备的黄斑回避控制方法及控制系统
AU2014397095B2 (en) 2014-06-12 2018-07-05 Eizo Corporation Haze removal device and image generation method
JP6469387B2 (ja) * 2014-08-26 2019-02-13 株式会社トプコン 眼底解析装置
CN106408564B (zh) * 2016-10-10 2019-04-02 北京新皓然软件技术有限责任公司 一种基于深度学习的眼底图像处理方法、装置及系统
CN110399929B (zh) * 2017-11-01 2023-04-28 腾讯科技(深圳)有限公司 眼底图像分类方法、装置以及计算机可读存储介质
JP2019134896A (ja) * 2018-02-05 2019-08-15 株式会社ニデック 眼科撮影装置
CN110930446B (zh) * 2018-08-31 2024-03-19 福州依影健康科技有限公司 一种眼底图像定量分析的前置处理方法及存储设备
US11200713B2 (en) * 2018-10-05 2021-12-14 Amitabha Gupta Systems and methods for enhancing vision
CN109697716B (zh) * 2018-12-19 2021-04-02 上海鹰瞳医疗科技有限公司 青光眼图像识别方法、设备和筛查系统
JPWO2021106967A1 (ja) * 2019-11-29 2021-06-03

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6225255B2 (ja) 1977-12-07 1987-06-02 Cho Eru Esu Ai Gijutsu Kenkyu Kumiai
JP2003299620A (ja) * 2002-04-11 2003-10-21 Canon Inc 眼底画像処理装置
JP2008229157A (ja) 2007-03-22 2008-10-02 Chiba Univ 眼底画像処理装置及び眼底撮影装置
US20120169995A1 (en) * 2010-09-14 2012-07-05 Carl Zeiss Meditec Ag Method and device for producing high-quality fundus images
WO2016103484A1 (ja) 2014-12-26 2016-06-30 株式会社ニコン 眼底像形成装置
WO2016103489A1 (ja) 2014-12-26 2016-06-30 株式会社ニコン 眼底像形成装置
JP2017189530A (ja) * 2016-04-15 2017-10-19 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
WO2019130583A1 (ja) * 2017-12-28 2019-07-04 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HE, KAIMING: "Thesis", 2011, CHINESE UNIVERSITY OF HONG KONG, article "Single Image Haze Removal Using Dark Channel Prior"
See also references of EP4023140A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023084947A (ja) * 2021-12-08 2023-06-20 株式会社トーメーコーポレーション 画像処理装置及びそれを備えた眼科装置
JP7760159B2 (ja) 2021-12-08 2025-10-27 株式会社トーメーコーポレーション 画像処理装置及びそれを備えた眼科装置
US12543945B2 (en) 2021-12-08 2026-02-10 Tomey Corporation Image processing device and ophthalmic device provided with the same

Also Published As

Publication number Publication date
EP4023140A1 (en) 2022-07-06
US20250252543A1 (en) 2025-08-07
US12307639B2 (en) 2025-05-20
EP4718370A2 (en) 2026-04-01
CN114599267B (zh) 2025-12-09
JPWO2021038847A1 (ja) 2021-03-04
EP4023140A4 (en) 2023-05-24
CN121526942A (zh) 2026-02-13
CN121526941A (zh) 2026-02-13
CN114599267A (zh) 2022-06-07
EP4023140B1 (en) 2026-01-14
US20220398701A1 (en) 2022-12-15
JP7264254B2 (ja) 2023-04-25

Similar Documents

Publication Publication Date Title
US12423784B2 (en) Image processing method, program, ophthalmic device, and choroidal blood vessel image generation method
JP2023009530A (ja) 画像処理方法、画像処理装置、及びプログラム
US20250252543A1 (en) Image processing method, image processing device, and program
JP7306467B2 (ja) 画像処理方法、画像処理装置、及びプログラム
JP6853690B2 (ja) 眼科撮影装置
JP7439981B2 (ja) 画像処理方法
JP6884995B2 (ja) 眼科撮影装置および画像処理プログム
WO2021074960A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP7715186B2 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2023282339A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置及び眼科装置
US20230000337A1 (en) Image processing method, image processing device, and program
JP7051042B2 (ja) 眼科撮影装置
JP7673803B2 (ja) Oct信号処理方法、oct装置、およびプログラム
JP7264177B2 (ja) 画像処理方法、画像表示方法、画像処理装置、画像表示装置、画像処理プログラム、及び画像表示プログラム
JP2026036838A (ja) 眼科装置、眼科装置の制御方法、及びプログラム
WO2023199847A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2021210281A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19942727

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021541936

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019942727

Country of ref document: EP

Effective date: 20220329

WWG Wipo information: grant in national office

Ref document number: 17638539

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 2019942727

Country of ref document: EP