WO2019172206A1 - 眼底画像処理装置、および眼底画像処理プログラム - Google Patents

眼底画像処理装置、および眼底画像処理プログラム Download PDF

Info

Publication number
WO2019172206A1
WO2019172206A1 PCT/JP2019/008478 JP2019008478W WO2019172206A1 WO 2019172206 A1 WO2019172206 A1 WO 2019172206A1 JP 2019008478 W JP2019008478 W JP 2019008478W WO 2019172206 A1 WO2019172206 A1 WO 2019172206A1
Authority
WO
WIPO (PCT)
Prior art keywords
fundus image
fundus
image
image processing
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/008478
Other languages
English (en)
French (fr)
Inventor
佳紀 熊谷
直人 本多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidek Co Ltd
Original Assignee
Nidek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidek Co Ltd filed Critical Nidek Co Ltd
Priority to JP2020505027A priority Critical patent/JP7517147B2/ja
Priority to EP19763780.4A priority patent/EP3763281A4/en
Publication of WO2019172206A1 publication Critical patent/WO2019172206A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]

Definitions

  • SVM is a method of configuring a two-class pattern classifier using linear input elements. For example, the SVM learns the parameters of the linear input element from the training data on the basis of obtaining a margin maximizing hyperplane that maximizes the distance to each data point (hyperplane separation theorem).
  • Mathematical model refers to a structure that expresses the relationship between input data and output data, for example.
  • the mathematical model is optimized based on the training data set.
  • the training data set is a set of input training data and output training data.
  • the input training data is sample data input to the mathematical model.
  • the output training data is sample data of values that the mathematical model should predict for the input training data.
  • a map indicating a region where the findings of the image exist, a label indicating whether the findings exist in the image, or the like is used.
  • the mathematical model is optimized so that the output when certain input training data is input approaches the corresponding output training data. For example, in a neural network, the weight applied when inputting the output of a unit to the next connected unit is updated.
  • the analysis unit may analyze the fundus image using a different mathematical model for each wavelength (each channel) corresponding to the image.
  • the analysis unit may analyze the fundus image using the mathematical model for the surface layer that has learned the image of the first channel and the mathematical model for the deep layer that has learned the image of the second channel different from the first channel. Good.
  • the fundus image may be analyzed using not only two mathematical models for the surface layer of the retina and deep mathematical layers but also three or more mathematical models.
  • mathematical models such as for the retina surface layer, for the retina intermediate layer, and for the deep retina layer may be used.
  • the photographing unit may be a multi-color SLO (hereinafter abbreviated as MCSLO).
  • MCSLO is, for example, a scanning laser ophthalmoscope that can capture a multicolor fundus image based on a light reception signal for each wavelength by scanning measurement light including a plurality of wavelengths with respect to the eye to be examined.
  • the analysis unit may output reference information used for diagnosis of the eye to be examined based on the findings detected for the fundus image.
  • a mathematical model subjected to machine learning may be used to output reference information for diagnosis.
  • the analysis unit may use a mathematical model for diagnosis in which a set of information on the presence or absence of each finding and a diagnosis result of the eye to be examined is learned.
  • the analysis unit may output reference information used for diagnosis of the eye to be examined by inputting information on the presence or absence of each finding into a mathematical model for diagnosis.
  • the processor of the fundus image processing apparatus may execute a fundus image processing program.
  • the fundus image processing program includes, for example, a generation step, an image acquisition step, and an analysis step.
  • a fundus image is obtained based on a light reception signal for each wavelength obtained by scanning measurement light including a plurality of wavelengths with a scanning unit and receiving the measurement light reflected by the fundus of the subject's eye with a light receiving element.
  • the image acquisition step is a step of acquiring the fundus image generated by the generation step.
  • the analysis step is a step of detecting a finding on the fundus image generated based on the light reception signal for each wavelength.
  • the fundus image processing program may be stored in, for example, a storage unit of the fundus image processing apparatus or may be stored in an external storage medium.
  • the analysis unit 2 detects the findings by analyzing the acquired MCSLO image. For example, the analysis unit 2 performs image analysis using a mathematical model trained by a machine learning algorithm. For example, when a MCSLO image is input, the mathematical model is trained to output the presence / absence of each finding and its position. The analysis unit 2 outputs the finding detection result by inputting the MCSLO image to the mathematical model.
  • the findings detected by the analysis unit 2 are sent to the display unit 7 or the storage unit 4 or the like.
  • the storage unit 4 stores various programs related to the control of the fundus image processing apparatus 100, various image data, analysis results, and the like.
  • the display control unit 6 controls the display on the display unit 7.
  • the display unit 7 displays the image acquired by the image acquisition unit 1, the analysis result by the analysis unit 2, and the like.
  • the display unit 7 may be a touch panel display. In this case, the display unit 7 is also used as an operation unit.
  • the fundus image processing apparatus 100 may be a personal computer, for example.
  • a desktop PC, a notebook PC, or a tablet PC may be used as the fundus image processing apparatus 100.
  • it may be a server.
  • the fundus image processing apparatus 100 may be a computer stored inside an ophthalmologic photographing apparatus or the like.
  • the input and output of the neural network are configured using a plurality of units so as to correspond to the input and output formats of the problem to be learned.
  • the model input is a unit corresponding to each pixel of the image of height ⁇ width ⁇ channel.
  • the output is a unit corresponding to each class to be classified, and the value is treated as the probability that the input is classified into the corresponding class.
  • the output is a unit corresponding to the probability that each pixel of an image of height ⁇ width ⁇ class is classified into each class.
  • the irradiation optical system 10 includes at least a scanning unit 16 and an objective lens system 17. As shown in FIG. 2, the irradiation optical system 10 further includes a laser beam emitting unit 11, a collimating lens 12, a perforated mirror 13, and a lens 14 (in this embodiment, a part of the diopter adjusting unit 40). ) And the lens 15.
  • a total of four colors of light of three colors in the visible range of blue, green, and red and one color in the infrared range are emitted from the laser beam emitting unit 11.
  • the light of each color can be emitted simultaneously or alternately.
  • Three colors in the visible range of blue, green, and red are used for color photography, for example.
  • the term “simultaneous” here does not need to be exactly the same, and there may be a time lag in the emission timing of light of each wavelength.
  • the time lag may be a range in which a shift between images due to eye movement is allowed.
  • IA imaging indocyanine green fluorescence contrast imaging
  • infrared fluorescence imaging is known as infrared fluorescence imaging.
  • the infrared light emitted from the laser light source 11 is preferably set in a wavelength range different from the fluorescence wavelength of indocyanine green used in IA imaging.
  • the laser light is guided to the fundus Er through the path of the light beam shown in FIG. That is, the laser light from the laser light emitting unit 11 passes through the collimating lens 12, the opening formed in the perforated mirror 13, passes through the lens 14 and the lens 15, and then travels to the scanning unit 16.
  • the laser beam reflected by the scanning unit 16 passes through the objective lens system 17 and is then applied to the fundus Er of the eye E.
  • the laser light is reflected / scattered by the fundus oculi Er, or excites a fluorescent substance existing on the fundus oculi and generates fluorescence from the fundus.
  • These lights that is, reflected / scattered light, fluorescence, etc.
  • the scanning unit 16 (also referred to as “optical scanner”) is a unit for scanning the fundus with laser light emitted from a light source (laser light emitting unit 11).
  • the scanning unit 16 includes two optical scanners having different scanning directions of laser light unless otherwise specified. That is, an optical scanner 16a for main scanning (for example, scanning in the X direction) and an optical scanner 16b for sub-scanning (for example, scanning in the Y direction) are included.
  • the optical scanner 16a for main scanning is a resonant scanner
  • the optical scanner 16b for sub scanning is a galvanometer mirror.
  • other optical scanners may be applied to each of the optical scanners 16a and 16b.
  • an acousto-optic device that changes the traveling (deflection) direction of light, etc. May be applied.
  • the objective optical system of the MCSLO 200 is not limited to a lens system, and may be a mirror system, a combination of a lens system and a mirror system, or other optical systems. There may be.
  • the laser beam that has passed through the scanning unit 16 passes through the objective lens system 17 and is irradiated on the fundus Er through the turning point P. For this reason, the laser light that has passed through the objective lens system 17 is turned around the turning point P as the scanning unit 16 operates. As a result, in this embodiment, the laser beam is scanned two-dimensionally on the fundus Er.
  • the laser light applied to the fundus Er is reflected at a condensing position (for example, the retina surface). Further, the laser light is scattered by the tissues before and after the condensing position. The reflected light and scattered light are each emitted from the pupil as parallel light.
  • the light receiving optical system 20 has one or a plurality of light receiving elements. For example, as shown in FIG. 2, you may have several light receiving element 25,27,29. In this case, light from the fundus Er due to the laser light irradiated by the irradiation optical system 10 is received by the light receiving elements 25, 27, and 29.
  • the light receiving optical system 20 in the present embodiment may share each member arranged from the objective lens system 17 to the perforated mirror 13 with the irradiation optical system 10.
  • the light from the fundus is guided back to the perforated mirror 13 along the optical path of the irradiation optical system 10.
  • the perforated mirror 13 receives light from the fundus Er while removing at least part of noise light caused by reflection from the cornea of the eye to be examined and an optical system inside the apparatus (for example, a lens surface of an objective lens system).
  • the light is guided to an independent optical path of the optical system 20.
  • optical path branching member that branches the irradiation optical system 10 and the light receiving optical system 20 is not limited to the perforated mirror 13, and other beam splitters may be used.
  • the light receiving optical system 20 of the present embodiment has a lens 21, a pinhole plate 23, and a light separation unit (light separation unit) 30 in the reflected light path of the perforated mirror 13.
  • lenses 24, 26, and 28 are provided between the light separation unit 30 and the light receiving elements 25, 27, and 29.
  • the light separation unit (light separation unit) 30 is used as a spectroscopic unit.
  • the pinhole plate 23 is disposed on the fundus conjugate plane and functions as a confocal stop in the MCSLO 200. That is, when the diopter is appropriately corrected by the diopter adjustment unit 40, the light from the fundus Er that has passed through the lens 21 is focused at the opening of the pinhole plate 23.
  • the pinhole plate 23 removes light from a position other than the condensing point (or focal plane) of the fundus Er, and the remainder (light from the condensing point) is mainly guided to the light receiving elements 25, 27, and 29. .
  • the light separation unit 30 separates light from the fundus Er.
  • the light from the fundus Er is light-selectively separated by the light separation unit 30.
  • the light separation unit 30 may also serve as a light branching unit that branches the optical path of the light receiving optical system 20.
  • the light separation unit 30 may include two dichroic mirrors (dichroic filters) 31 and 32 having different light separation characteristics (wavelength separation characteristics).
  • the optical path of the light receiving optical system 20 is branched into three by the two dichroic mirrors 31 and 32. Further, one of the light receiving elements 25, 27, and 29 is disposed at the tip of each branch optical path.
  • the light separation unit 30 separates the wavelength of light from the fundus Er and causes the three light receiving elements 25, 27, and 29 to receive light in different wavelength ranges.
  • the light receiving elements 25, 27, and 29 may receive light of three colors of blue, green, and red one by one. In this case, a color image can be obtained from the light reception results of the light receiving elements 25, 27, and 29.
  • the light separation unit 30 causes infrared light used in infrared imaging to be received by at least one of the light receiving elements 25, 27, and 29.
  • fluorescence used in fluorescence imaging and infrared light used in infrared imaging may be received by different light receiving elements.
  • each light receiving element 25, 27, 29 has sensitivity may be different from each other.
  • at least two of the light receiving elements 25, 27, and 29 may have sensitivity in a common wavelength range.
  • Each of the light receiving elements 25, 27, 29 outputs a signal corresponding to the intensity of the received light (hereinafter referred to as a light receiving signal).
  • the light reception signal is processed separately for each light receiving element to generate an image. That is, in this embodiment, a maximum of three types of fundus images are generated in parallel.
  • Step S2 Finding findings
  • the analysis unit 2 detects the findings by analyzing the acquired MCSLO image. For example, as described above, the analysis unit 2 analyzes an MCSLO image using a mathematical model trained by a machine learning algorithm. For example, in the mathematical model, a combination of the MCSLO image and the detection result of the finding is learned. The analysis unit 2 detects findings by inputting an MCSLO image to a learned mathematical model.
  • the mathematical model may learn the image of each channel of the red channel, the green channel, and the blue channel, or combine the two channels of the red channel and the green channel, the green channel and the blue channel, and the blue channel and the red channel.
  • a multi-channel image may be learned, or a multi-channel image combining three channels of a red channel, a green channel, and a blue channel may be learned.
  • mathematical models corresponding to each of these input formats may be learned and used to detect findings.
  • 4A and 4B mathematical models corresponding to the entire fundus image 50 and the partial image 50a of the fundus image may be learned, respectively.
  • the analysis unit 2 outputs an observation by inputting an image of each channel, an image of a plurality of channels, an entire image 50 or a partial image 50a into the mathematical model according to the format of the image learned by the mathematical model.
  • images of different sizes may be applied for learning and prediction. For example, it may be possible to preferentially learn the region where the findings exist, using the input at the time of learning the mathematical model as a partial image, or processing only the region of interest of the image as a partial image using the input at the time of prediction You may let them.
  • the analysis unit 2 may detect findings using a surface mathematical model 61 that detects findings on the retina surface layer and a deep mathematical model 62 that detects findings on the deep retina.
  • the surface mathematical model 61 learns the images of the green channel and the blue channel in which the tissue of the retina is mainly photographed, and the mathematical model 62 for deep layer is the red channel in which the tissue of the deep retina is mainly photographed. Images are learned.
  • the analysis unit 2 outputs the findings 81 on the retinal surface layer by inputting the blue channel image 51B and the green channel image 51G into the surface layer mathematical model 61 in the MCSLO image 51 taken from the eye to be examined. Similarly, the analysis unit 2 inputs the red channel image 51 ⁇ / b> R to the deep layer mathematical model 62, thereby outputting the findings 82 of the deep retina. In this way, by using different mathematical models for each channel, even if the retina surface findings 81 and the deep retina findings 82 are overlapped as shown in FIG. Can be detected separately.
  • a map image obtained by segmentation of each finding with respect to the MCSLO image may be output. Further, as shown in FIG. 7, a map image indicating the presence or absence of each finding may be output for each divided region of the image. Further, as shown in FIG. 11, a map image (attention map) indicating a gaze area of a mathematical model for identifying the presence or absence of each finding in the image may be output.
  • a map image (attention map) indicating a gaze area of a mathematical model for identifying the presence or absence of each finding in the image
  • Step S3 Diagnosis
  • the analysis unit 2 diagnoses the eye to be examined based on the detection result of the findings obtained by analyzing the MCSLO image. For example, the analysis unit 2 identifies a disease (diabetic retinopathy, premacular membrane, etc.) predicted therefrom based on the map image of the findings, and obtains an identification result of each disease.
  • the analysis unit 2 may identify a disease using a mathematical model in which the disease identification result has been learned. For example, the analysis unit 2 may output the probability of each disease by inputting the map image of the findings into the mathematical model.
  • Step S4 diagnosis result display
  • the display control unit 6 displays the diagnosis result of each disease obtained in step S3 on the display unit 7.
  • the display control unit 6 may display the map image of the findings obtained in step S2 as confirmation information of the diagnosis result. Thereby, the user can confirm not only the final diagnosis result but also the basis of the diagnosis.
  • the ophthalmologic image processing apparatus 100 automatically performs the finding detection on the MCSLO image. As a result, even a user who is unfamiliar with multi-color fundus images can easily perform interpretation or diagnosis. Further, in the MCSLO image, more information can be acquired by detecting a finding for an image for each wavelength such as red, green, and blue, or a multi-channel image that is a combination thereof.
  • the findings can be detected more accurately by using a mathematical model learned by a machine learning algorithm as in this embodiment.
  • a mathematical model in which images having different wavelengths are learned even if there is an overlap in the findings of each layer, it can be detected well.
  • the fundus image processing apparatus 100 may output only the findings.
  • the user may make a diagnosis of the eye to be examined based on the findings output by the fundus image processing apparatus 100.
  • the user confirms the findings output on the display unit 7 and inputs a diagnosis result through an operation unit such as a touch panel.
  • the findings according to the depth of the fundus can be confirmed, so that information for more accurate diagnosis can be acquired.
  • the findings are detected by the neural network, but the present invention is not limited to this.
  • other machine learning algorithms such as random forest, boosting, and SVM may be used.
  • the image acquisition unit 1 may acquire an image from a server or the like. For example, a plurality of measurement results photographed by a large number of models may be stored in a server via a network, and the image acquisition unit 1 may be able to acquire image data captured by another MCSLO device from the server.
  • the image acquisition unit 1 may acquire an image from an electronic medical record system in which registration information and examination information of the subject are managed.
  • images may be used in image analysis using a mathematical model.
  • a tomographic image, a fundus image, a blood vessel image, an anterior ocular segment image, or the like may be input to the mathematical model.
  • These images are taken by various ophthalmologic photographing apparatuses such as an OCT apparatus, a fundus camera, an anterior ocular segment observation camera, a slit lamp, and a Shine proof camera.
  • the analysis unit 2 may normalize the luminance of each channel of the fundus image before inputting to the mathematical model so that the fundus image captured by different imaging devices can be identified by the same mathematical model.
  • the images are normalized, even if the photographing apparatuses are different, similar images are obtained if the images are photographed at a close wavelength.
  • the fundus image K1 obtained by normalizing the fundus image Q1 photographed by the first photographing apparatus 200A and the fundus image K2 obtained by normalizing the fundus image Q2 photographed by the second photographing apparatus 200B are , It will be similar image.
  • the mathematical model 60 learned from the fundus image K1 obtained by normalizing the fundus image Q1 can identify the fundus image K2 obtained by normalizing the fundus image Q2. That is, if the image is normalized before being input to the mathematical model, even the fundus image of a photographing device different from the photographing device used for learning can be identified by the same mathematical model.
  • a normalization method for example, for each channel of the fundus image, a process of subtracting the average of the channel and dividing the average by the standard deviation of the channel can be considered. Of course, other normalization methods may be used.
  • the resolution of the image may be made uniform.
  • the analysis unit 2 when inputting a fundus image captured by an imaging device different from the imaging device used for learning the mathematical model, applies an appropriate weight to the luminance of the fundus image of each channel and then applies the mathematical model to the mathematical model. You may make it input. For example, as shown in FIG. 10, by multiplying each channel of the fundus image Q2 captured by the second image capturing device 200B by weights wR, wG, and wB, the fundus image Q1 captured by the first image capturing device 200A is applied. The image is converted into a similar fundus image Q3.
  • the weight may be calculated by using the average or variance of the luminance of representative images of the respective photographing devices, or the user may manually set an appropriate weight. Further, if the weight used when the photographing apparatus generates an image for each channel is known, the weight may be used for calculation. In addition to applying a weight, other correction values such as adding an offset value may be used.
  • a fundus photographing apparatus for example, a fundus camera, a scanning fundus photographing apparatus
  • a fundus photographing apparatus that includes a white light source and captures a color fundus image by receiving fundus reflected light from the white light source.
  • the luminance of each pixel of the color fundus image is acquired as a luminance value for each RGB. Therefore, the luminance value for each RGB is normalized or weighted between the first color fundus image captured by the first image capturing device and the second color fundus image captured by the second image capturing device. Processing may be performed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

被検眼の眼底画像を処理する眼底画像処理装置であって、撮影手段によって撮影された前記眼底画像を取得する画像取得手段と、前記眼底画像を解析する解析手段と、を備え、前記撮影手段は、複数の波長を含む測定光を走査手段によって走査し、前記被検眼の眼底によって反射した前記測定光を受光素子によって受光することで得られた波長毎の受光信号に基づいて前記眼底画像を生成し、前記解析手段は、前記波長毎の受光信号に基づいて生成された前記眼底画像に対して所見を検出することを特徴とする。これによって、走査型マルチカラー撮影装置によって撮影されたマルチカラー画像を対象とした画像診断を容易に行うことができる。

Description

眼底画像処理装置、および眼底画像処理プログラム
　被検眼の眼底画像を処理するための眼底画像処理装置、および眼底画像処理プログラムに関する。
　従来の眼科撮影装置としては、例えば、光干渉断層計（Optical Coherence Tomography: OCT）、眼底カメラ、走査型レーザ検眼鏡（Scanning Laser Ophthalmo-scope: SLO）などが知られている。
特開２０１５－１０４５８１号公報
　ところで、複数の波長を含む測定光を走査させて被検眼を撮影することで、マルチカラー画像を取得する走査型のマルチカラー撮影装置がある。例えば、マルチカラーＳＬＯ（MultiColorSLO: MCSLO）などの走査型マルチカラー撮影装置は、従来の眼底画像よりも眼底の微細な変化を捉えることができるため、より正確な診断が可能となることが期待される。しかしながら、走査型マルチカラー撮影装置によって撮影されたマルチカラー画像は、従来の眼底画像とは写り方が異なるため、新たな読影知識を身に付ける必要があった。
　本開示は、従来の問題点に鑑み、走査型マルチカラー撮影装置によって撮影されたマルチカラー画像を対象とした画像診断を容易に行うことができる眼底画像処理装置および眼底画像処理プログラムを提供することを技術課題とする。
　上記課題を解決するために、本開示は以下のような構成を備えることを特徴とする。
　（１）　被検眼の眼底画像を処理する眼底画像処理装置であって、撮影手段によって撮影された前記眼底画像を取得する画像取得手段と、前記眼底画像を解析する解析手段と、を備え、前記撮影手段は、複数の波長を含む測定光を走査手段によって走査し、前記被検眼の眼底によって反射した前記測定光を受光素子によって受光することで得られた波長毎の受光信号に基づいて前記眼底画像を生成し、前記解析手段は、前記波長毎の受光信号に基づいて生成された前記眼底画像に対して所見を検出することを特徴とする。
　（２）　被検眼の眼底画像を処理する眼底画像処理装置において実行される眼底画像処理プログラムであって、前記眼底画像処理装置のプロセッサによって実行されることで、複数の波長を含む測定光を走査手段によって走査し、前記被検眼の眼底によって反射した前記測定光を受光素子によって受光することで得られた波長毎の受光信号に基づいて前記眼底画像を生成する生成ステップと、前記生成ステップによって生成された前記眼底画像を取得する画像取得ステップと、前記波長毎の受光信号に基づいて生成された前記眼底画像に対して所見を検出する解析ステップと、を前記眼底画像処理装置に実行させることを特徴とする。
本実施例に係る眼科撮影装置の構成について説明する概略構成図である。 ＭＣＳＬＯの光学構成を示す図である。 制御動作のフローチャートを示す図である。 ＭＣＳＬＯ画像の一例を示す図である。 ＭＣＳＬＯ画像の一例を示す図である。 数学モデルの学習について説明するための図である。 所見マップを示す図である。 所見の出力結果の一例を示す図である。 異なる撮影装置で撮影された眼底画像の例を示す図である。 異なる撮影装置で撮影された眼底画像の例を示す図である。 数学モデルに入力するデータの正規化について説明する図である。 眼底画像の各チャンネルに重みを掛ける様子を示す図である。 所見の出力結果の一例を示す図である。
＜実施形態＞
　以下、本開示に係る眼底画像処理装置の実施形態について説明する。本実施形態における眼底画像処理装置（例えば、眼底画像処理装置１００）は、被検眼の眼底画像を処理する。眼底画像処理装置は、例えば、画像取得部（例えば、画像取得部１）と、解析部（例えば、解析部２）などを備える。
　画像取得部は、例えば、撮影部（例えば、ＭＣＳＬＯ２００）によって撮影された被検眼のマルチカラー眼底画像を取得する。画像取得部は、例えば、有線（USBケーブル、LANケーブル、IEEE1394ケーブルなど）または無線などの通信手段によって、マルチカラー眼底画像を撮影する撮影部、またはマルチカラー眼底画像を記憶する記憶部などに接続される。画像取得部は、通信手段を介して撮影部または記憶部等からマルチカラー眼底画像を取得する。画像取得部は、例えば、波長ごとに分かれた複数の眼底画像、またはそれらの眼底画像の内２つ以上を組み合わせた多チャンネル画像等のマルチカラー眼底画像を取得する。
　撮影部は、例えば、走査型のマルチカラー撮影装置である。撮影部は、例えば、光源と、走査部と、受光素子を備える。光源は、例えば、複数の波長を含む測定光を出射する。走査部は、例えば、測定光を走査し、被検眼に照射する。走査部は、例えば、ガルバノミラーによって測定光を走査する構成であってもよいし、絞りを移動させることによって測定光を走査する構成などであってもよい。受光素子は、例えば、被検眼の眼底によって反射した測定光の反射光（戻り光）を受光する。
　撮影部は、波長毎の受光信号を取得する。例えば、撮影部は、測定光を波長毎に異なるタイミングで被検眼に照射し、その戻り光を受光素子で受光することによって波長毎の受光信号を取得してもよい。また、撮影部は、複数の波長を含む測定光（例えば、白色光）を被検眼に照射したときの戻り光をダイクロイックミラー等の光分離部によって波長毎に分けてから受光素子で受光してもよい。例えば、撮影部は、波長毎の受光信号に基づいて１チャンネルの眼底画像を生成してもよいし、波長毎の眼底画像の内２つ以上を組み合わせた多チャンネル画像を取得してもよい。
　解析部は、画像取得部によって取得されたマルチカラー眼底画像に対して所見を検出する。所見は、例えば、網膜出血、毛細血管瘤、黄斑前膜、白斑、浮腫、網膜剥離、レーザ痕等の疾患に関係する特徴である。例えば、解析部は、マルチカラー眼底画像に対する画像処理によって、所見の有無、またはその位置等を検出する。
　このように、本実施形態の眼底画像処理装置は、画像取得部によって取得されたマルチカラー眼底画像に対して所見を検出することによって、診断に有用な情報をユーザに提供することができる。
　なお、測定光は、例えば、赤色、緑色または青色等の波長域の可視光線を含んでもよい。赤色、緑色または青色の波長域の測定光で眼底を撮影することによって、網膜表層、血管層、網膜色素上皮（ＲＰＥ）を中心とする網膜深層など、深さの異なる層を良好に撮影することができる。もちろん、その他の波長を含んでもよい。例えば、測定光は、紫外、紫、青緑、黄緑、黄、橙、または赤外等の波長域の光線を含んでもよい。
　なお、解析部は、波長毎に生成された複数の眼底画像のそれぞれに対して所見を検出してもよい。また、解析部は、波長毎に生成された複数の眼底画像の内２つ以上を組み合わせた多チャンネル画像に対して所見を検出してもよい。もちろん、波長毎の眼底画像と多チャンネル画像のすべてに対して所見検出を行ってもよい。このように、マルチカラー眼底画像の種々の形態に対して所見を検出することによって、より多くの情報、または多角的な情報を得ることができる。
　なお、解析部は、機械学習アルゴリズムによって訓練された数学モデルを用いて眼底画像の解析を行ってもよい。機械学習アルゴリズムは、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。
ニューラルネットワークは、入力された信号に何等かの処理を行った結果を出力するユニットを複数接続した数学モデルである。ニューラルネットワークの一種である畳み込みネットワークは画像認識問題に有効な手法である。画像認識問題の代表としては、物体識別、物体検出、セグメンテーションがあり、それぞれの問題に対して様々なモデルが提案されている。物体識別は、画像に何が写っているのかを識別する問題で、AlexNet, GoogLeNet等のモデルが提案されている。物体検出は、物体の位置や姿勢を矩形などとして識別する問題で、YOLO等のモデルが提案されている。セマンティックセグメンテーション(semantic segmentation)は、物体がどこにあるのか画素レベルで識別する問題で、U-Net等のモデルが提案されている。また、この他にも、画像の解像度を高める超解像や、モノクロ画像に色を付けるカラリゼーションといった画像を対象とした様々な問題に対して畳み込みネットワークのモデルが提案されている。畳み込みネットワーク以外のニューラルネットワークモデルの例としては再帰型ニューラルネットワークがある。再帰型ニューラルネットワークは時系列データを扱えるモデルであり、自然言語処理に有効な手法である。
 
　ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習することで、強識別器を構築する。
　ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて、学習を行って多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐をたどり、各決定木から得られる結果を平均（あるいは多数決）する。
　ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で線形入力素子のパラメータを学習する。
　数学モデルは、例えば、入力データと出力データとの関係を表現する構造を指す。数学モデルは、訓練データセットに基づいて最適化される。訓練データセットは、入力訓練データと出力訓練データのセットである。入力訓練データは、数学モデルに入力されるサンプルデータである。例えば、入力訓練データには、過去に撮影された被検眼の画像が用いられる。出力訓練データは、数学モデルが入力訓練データに対して予測するべき値のサンプルデータである。例えば、出力訓練データには、画像の所見が存在する領域を示すマップまたは画像に所見が存在するかを示すラベルなどが用いられる。数学モデルは、ある入力訓練データが入力されたときの出力が、それに対応する出力訓練データに近づくように最適化される。例えばニューラルネットワークでは、ユニットの出力を接続される次のユニットに入力する際に掛けられる重みが更新される。
　例えば、解析部は、数学モデルにマルチカラー眼底画像を入力し、所見を出力させる。例えば、数学モデルからは、所見の有無や所見が存在する領域を示すマップなどが出力される。このように、解析部は、訓練された数学モデルを用いることによって、自動で所見検出を行う。
　なお、解析部は、画像に対応する波長別（チャンネル毎）に異なる数学モデルを用いて眼底画像を解析してもよい。例えば、解析部は、第１チャンネルの画像を学習した表層用数学モデルと、第１チャンネルとは異なる第２チャンネルの画像を学習した深層用数学モデルと、を用いて眼底画像を解析してもよい。このように、チャンネル毎に異なる数学モデルを用いることによって、複数の所見が重なっている場合であっても検出し易い。例えば、上下左右方向の２次元的な位置が同じで、深さ方向だけが互いに異なる複数の所見を検出し易い。もちろん、網膜表層用と網膜深層用の２つの数学モデルだけでなく、３つ以上の数学モデルを用いて眼底画像を解析してもよい。例えば、網膜表層用、網膜中間層用、網膜深層用などの数学モデルを用いてもよい。
　なお、表層用数学モデルは、例えば、緑色光の受光信号に基づく緑チャンネル画像と青色光の受光信号に基づく青チャンネル画像が学習されてもよい。緑色光および青色光などの波長の短い光は主に網膜表層で反射するため、これらの眼底画像は、網膜表層の情報が多い。また、深層用数学モデルは、赤色光の受光信号に基づく赤チャンネル画像が学習されてもよい。赤色光などの波長の長い光は主に網膜深層で反射するため、赤チャンネル画像は、網膜深層の情報が多い。このように、解析部は、波長の短い光の受光信号に基づく画像を学習させた数学モデルは表層用数学モデルとして用い、波長の長い光の受光信号に基づく画像を学習させた数学モデルは深層用学習モデルとして用いてもよい。
　なお、撮影部は、マルチカラーＳＬＯ（以下、ＭＣＳＬＯと略す）であってもよい。ＭＣＳＬＯは、例えば、複数の波長を含む測定光を被検眼に対して走査することによって、波長毎の受光信号に基づくマルチカラー眼底画像を撮影できる走査型レーザ検眼鏡である。
　なお、解析部は、眼底画像に対して検出した所見に基づいて、被検眼の診断に用いられる参考情報を出力してもよい。このとき、診断のための参考情報を出力するために機械学習を行った数学モデルを用いてもよい。例えば、解析部は、各所見の有無の情報と被検眼の診断結果の組が学習された診断用数学モデルを用いてもよい。この場合、解析部は、各所見の有無の情報を診断用の数学モデルに入力することによって、被検眼の診断に用いられる参考情報を出力させてもよい。
　また、所見の検出結果に誤りがある場合、診断用の数学モデルに入力する所見情報をユーザが修正してもよい。このように、数学モデルを用いて被検眼の画像診断を行う際に、所見検出を介することによって、診断の根拠となる情報を確認することが可能となる。ここで用いられる所見情報は、それが検出された原画像よりも診断に有用な情報をより単純により強く示していると考えられる。そのため、数学モデルを用いて被検眼の画像診断を行う際に、所見検出を介することによって、学習データが少ない場合でも診断モデルの学習が適切に行われる可能性が高い。また、所見検出を眼底画像から所見の存在する領域を示すマップを求める問題とすることで、比較的学習データが少ない場合でも良好な所見検出結果が得られる。この場合、所見の存在する領域を示すマップから、画像の所見の有無や、画像を分割した部分領域毎の所見の有無の情報を得ることができ、これらの情報を診断用数学モデルへの入力としてもよい。もちろん、解析部は、所見検出を介さずに、マルチカラー眼底画像から疾患を検出してもよい。
　なお、眼底画像処理装置のプロセッサは、眼底画像処理プログラムを実行してもよい。眼底画像処理プログラムは、例えば、生成ステップと、画像取得ステップと、解析ステップを含む。生成ステップは、例えば、複数の波長を含む測定光を走査手段によって走査し、被検眼の眼底によって反射した測定光を受光素子によって受光することで得られた波長毎の受光信号に基づいて眼底画像を生成するステップである。画像取得ステップは、生成ステップによって生成された眼底画像を取得するステップである。解析ステップは、波長毎の受光信号に基づいて生成された眼底画像に対して所見を検出するステップである。眼底画像処理プログラムは、例えば、眼底画像処理装置の記憶部等に記憶されてもよいし、外部の記憶媒体に記憶されてもよい。
＜実施例＞
　以下、本開示に係る眼底画像処理装置の実施例を説明する。本実施例の眼底画像処理装置１００は、眼底画像を解析処理することによって所見の検出を行う。所見は、例えば、網膜出血、毛細血管瘤、黄斑前膜、白斑、浮腫、網膜剥離、レーザ痕等の疾患に関係する特徴である。
　眼底画像処理装置１００は、例えば、画像取得部１、解析部２、記憶部４、操作部５、表示制御部６、または表示部７などを備える。画像取得部１は、被検眼のマルチカラーＳＬＯ画像を取得する。マルチカラーＳＬＯ画像は、例えば、マルチカラーＳＬＯ（ＭＣＳＬＯと略す）２００によって取得されたＲＧＢ（赤、緑、青）の３チャンネルの画像である。画像取得部１は、ＭＣＳＬＯ２００と有線または無線等の通信手段を介して接続されている。例えば、画像取得部１は、通信手段を介してＭＣＳＬＯ２００からＭＣＳＬＯ画像を受信し、記憶部４等に記憶させる。なお、画像取得部１は、通信手段を介して接続されたＨＤＤ、ＵＳＢメモリ等の外部記憶装置などからＭＣＳＬＯ画像を取得してもよい。
　解析部２は、取得されたＭＣＳＬＯ画像を解析することによって所見を検出する。例えば、解析部２は、機械学習アルゴリズムによって訓練された数学モデルを用いて画像解析を行う。例えば、数学モデルは、ＭＣＳＬＯ画像が入力されると、各所見の有無とその位置等を出力するように訓練される。解析部２は、数学モデルにＭＣＳＬＯ画像を入力することによって所見の検出結果を出力させる。解析部２による所見の検出結果は、表示部７または記憶部４等に送られる。
　記憶部４は、眼底画像処理装置１００の制御に関わる各種プログラム、各種画像データ、および解析結果などを記憶する。表示制御部６は、表示部７の表示を制御する。表示部７は、画像取得部１によって取得された画像、および解析部２による解析結果などを表示する。表示部７は、タッチパネル式のディスプレイであってもよい。この場合、表示部７は、操作部として兼用される。
　なお、画像取得部１、解析部２、記憶部４、表示制御部６は、例えば、画像処理装置１００として用いられるコンピュータのプロセッサ（例えば、ＣＰＵなど）が、各種プログラムを実行することによって実現されてもよいし、それぞれ独立した制御基板として設けられてもよい。
　眼底画像処理装置１００は、例えば、パーソナルコンピュータであってもよい。例えば、眼底画像処理装置１００として、デスクトップＰＣ、ノート型ＰＣ、またはタブレット型ＰＣが用いられてもよい。もちろん、サーバであってもよい。また、眼底画像処理装置１００は、眼科撮影装置等の内部に格納されたコンピュータであってもよい。
＜数学モデルを用いた解析処理＞
　続いて、解析部２の画像解析処理について説明する。解析部２は、機械学習アルゴリズムによって訓練された数学モデルを用いて解析を行う。機械学習アルゴリズムは、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等である。
　上記のような数学モデルは、適切な訓練データセットとアルゴリズムを用いて最適化することで、未知のデータに対して予測を行うことができる。例えば、ニューラルネットワークの場合、誤差逆伝播法を用いてモデルの最適化が行われる。ここで、訓練データセットは、モデルに学習させる問題の入力と出力の正解がペアとなったデータのセットである。最適化では、訓練データセットからデータをサンプルし、サンプルされたデータをモデルに入力して、得られた出力と正解の誤差が小さくなるようにモデル内の値を更新する。ここで更新されるモデル内の値とは、ニューラルネットの各ユニットの接続で掛けられる重みや、足されるバイアス等の値のことである。このような訓練データのサンプルとモデルの更新を行う訓練を繰り返すことで、モデルがより正解に近い値を出力するように最適化される。モデルの訓練の終了は、例えば、検証データセットに対するモデルの評価に基づいて行われる。検証データセットは訓練データセットに含まれないデータから成るデータセットである。訓練を繰り返す度に検証データに対するモデルの評価値を算出し、その評価値が改善されなくなったところで訓練を終了させる。
　ニューラルネットワークの入力と出力は、学習させる問題の入力と出力の形式に対応するように複数のユニットを用いて構成される。例えば、画像を入力とする場合、モデルの入力は高さ×幅×チャンネルの画像の各画素に対応するユニットとなる。また、画像を分類するモデルでは、出力を分類対象の各クラスに対応するユニットとし、その値を入力が対応するクラスに分類される確率として扱う。画像のセグメンテーションを行うモデルでは、出力を高さ×幅×クラスの画像の各画素が各クラスに分類される確率に対応するユニットとする。例えば、被検眼のＭＣＳＬＯ画像からある所見の有無の判定を行う場合、モデルの入力はＭＣＳＬＯ画像の各画素に対応するユニット、出力は検出対象の所見が存在する確率に対応するユニットとなり、訓練データセットはＭＣＳＬＯ画像と所見の有無を示すラベルのペアのセットとなる。
　解析部２は、画像取得部１によって取得されたＭＣＳＬＯ画像を記憶部４から読み出し、数学モデルに入力する。そして、解析部２は、数学モデルの規則に従って算出された各所見の確率を取得する。解析部２は、出力された所見の検出結果を記憶部４に記憶させる。
＜ＭＣＳＬＯ＞
　ＭＣＳＬＯ２００は、複数の波長を含むレーザ光を眼底上で走査し、眼底からのレーザ光の戻り光を受光することによって眼底の正面画像を取得する装置である。ＭＣＳＬＯ２００は、光干渉断層計（Optical Coherence Tomography: OCT）、視野計などの他の眼科装置と一体化された装置であってもよい。
　なお、以下の説明において、ＭＣＳＬＯ２００は、観察面上でスポット上に集光されるレーザ光を、走査部の動作に基づき，２次元的に走査することで眼底画像を得るものとする。
　図２を参照して、ＭＣＳＬＯ２００に設けられた光学系を説明する。図２に示すように、ＭＣＳＬＯ２００は、照射光学系１０と、受光光学系２０と、を有する（まとめて、「撮影光学系」と称す）。ＭＣＳＬＯ２００は、これらの光学系１０，２０を用いて眼底画像を撮影する。
　照射光学系１０は、少なくとも走査部１６と、対物レンズ系１７と、を含む。また、図２に示すように、照射光学系１０は、更に、レーザ光出射部１１、コリメーティングレンズ１２、穴開きミラー１３、レンズ１４（本実施例において、視度調節部４０の一部）、および、レンズ１５を有してもよい。
　レーザ光出射部１１は、照射光学系１０の光源である。本実施例では、レーザ光出射部１１からのレーザ光が、照射光学系１０から眼底Ｅｒへ照射される照明光として利用される。レーザ光出射部１１は、例えば、レーザーダイオード（LD）、および、スーパールミネッセントダイオード（SLD）等を含んでいてもよい。具体的な構造についての説明は省略するが、レーザ光出射部１１は、少なくとも１種類以上の波長域の光を出射する。本実施例では、複数色の光が、同時に、又は選択的に、レーザ光出射部１１から出射されるものとする。例えば、本実施例では、レーザ光出射部１１から、青，緑，赤の可視域の３色と、赤外域の１色と、の計４色の光が出射される。各色の光は、同時に、又は、交互に出射可能である。青，緑，赤の可視域の３色は、例えば、カラー撮影に利用される。ここでいう同時は、厳密に同時である必要はなく、それぞれの波長の光の出射タイミングにタイムラグがあってもよい。タイムラグは、例えば、それぞれの波長の光に基づいて形成される眼底画像において、眼球運動による画像間のずれが許容される範囲であってもよい。
　例えば、光源１１から青，緑，赤の３色が実質的に同時に出射されることによって、カラー撮影が行われる。また、可視域の３色のうち、いずれか１色が、可視蛍光撮影に利用されてもよい。例えば、青色の光が、可視蛍光撮影の一種であるＦＡ撮影（フルオレセイン蛍光造影撮影）に利用されてもよい。また、例えば、緑色の光が、ＦＡＦ撮影（FundusAuto-Fluorescence：自発蛍光）に利用されてもよい。つまり、眼底に蓄積された蛍光物質（例えば、リポフスチン）の励起光として利用されてもよい。また、例えば、赤外域の光は、赤外域の眼底反射光を用いる赤外撮影の他、赤外蛍光撮影に利用されてもよい。例えば、赤外蛍光撮影には、ＩＡ撮影（インドシアニングリーン蛍光造影撮影）が知られている。この場合、レーザ光源１１から出射される赤外光は、ＩＡ撮影で使用されるインドシアニングリーンの蛍光波長とは異なる波長域に設定されていることが好ましい。
　レーザ光は、図２に示した光線の経路にて眼底Ｅｒに導かれる。つまり、レーザ光出射部１１からのレーザ光は、コリメーティングレンズ１２を経て穴開きミラー１３に形成された開口部を通り、レンズ１４およびレンズ１５を介した後、走査部１６に向かう。走査部１６によって反射されたレーザ光は、対物レンズ系１７を通過した後、被検眼Ｅの眼底Ｅｒに照射される。その結果、レーザ光は、眼底Ｅｒで反射・散乱される、或いは、眼底に存在する蛍光物質を励起させ、眼底からの蛍光を生じさせる。これらの光（つまり、反射・散乱光および蛍光等）が、戻り光として、瞳孔から出射される。
　本実施例において、図２に示すレンズ１４は、視度調節部４０の一部である。視度調節部４０は、被検眼Ｅの視度の誤差を矯正（軽減）するために利用される。例えば、レンズ１４は、駆動機構１４ａによって、照射光学系１０の光軸方向へ移動可能である。レンズ１４の位置に応じて、照射光学系１０および受光光学系２０の視度が変わる。このため、レンズ１４の位置が調節されることで、被検眼Ｅの視度の誤差が軽減され、その結果として、レーザ光の集光位置が、眼底Ｅｒの観察部位（例えば、網膜表面）に設定可能となる。なお、視度調節部４０は、例えば、バダール光学系など、図２とは異なる光学系が適用されてもよい。
　走査部１６（「光スキャナ」ともいう）は、光源（レーザー光出射部１１）から発せられたレーザ光を、眼底上で走査するためのユニットである。以下の説明では、特に断りが無い限り、走査部１６は、レーザ光の走査方向が互いに異なる２つの光スキャナを含むものとする。即ち、主走査用（例えば、Ｘ方向への走査用）の光スキャナ１６ａと、副走査用（例えば、Ｙ方向への走査用）の光スキャナ１６ｂと、を含む。以下では、主走査用の光スキャナ１６ａはレゾナントスキャナであり、副走査用の光スキャナ１６ｂはガルバノミラーであるものとして説明する。但し、各光スキャナ１６ａ，１６ｂには、他の光スキャナが適用されてもよい。例えば、各光スキャナ１６ａ，１６ｂに対し、他の反射ミラー（ガルバノミラー、ポリゴンミラー、レゾナントスキャナ、および、ＭＥＭＳ等）の他、光の進行（偏向）方向を変化させる音響光学素子（ＡＯＭ）等が適用されてもよい。
　対物レンズ系１７は、ＳＬＯ２００の対物光学系である。対物レンズ系１７は、走査部１６によって走査されるレーザ光を、眼底Ｅｒに導くために利用される。そのために、対物レンズ系１７は、走査部１６を経たレーザ光が旋回される旋回点Ｐを形成する。旋回点Ｐは、照射光学系１０の光軸Ｌ１上であって、対物レンズ系１７に関して走査部１６と光学的に共役な位置に形成される。なお、本開示において「共役」とは、必ずしも完全な共役関係に限定されるものではなく、「略共役」を含むものとする。即ち、眼底画像の利用目的（例えば、観察、解析等）との関係で許容される範囲で、完全な共役位置からズレて配置される場合も、本開示における「共役」に含まれる。但し、ＭＣＳＬＯ２００の対物光学系は、レンズ系に限定されるものではなく、ミラー系であってもよいし、レンズ系とミラー系とを組み合わせたものでもあってもよいし、その他の光学系であってもよい。
　走査部１６を経たレーザ光は、対物レンズ系１７を通過することによって、旋回点Ｐを経て、眼底Ｅｒに照射される。このため、対物レンズ系１７を通過したレーザ光は、走査部１６の動作に伴って旋回点Ｐを中心に旋回される。その結果として、本実施例では、眼底Ｅｒ上でレーザ光が２次元的に走査される。眼底Ｅｒに照射されたレーザ光は、集光位置（例えば、網膜表面）にて反射される。また、レーザ光は、集光位置の前後の組織にて散乱される。反射光および散乱光は、平行光としてそれぞれ瞳孔から出射する。
　次に、受光光学系２０について説明する。受光光学系２０は、１つ又は複数の受光素子を持つ。例えば、図２に示すように、複数の受光素子２５，２７，２９を有してもよい。この場合、照射光学系１０によって照射されたレーザ光による眼底Ｅｒからの光は、受光素子２５，２７，２９によって受光される。
　図２に示すように、本実施例における受光光学系２０は、対物レンズ系１７から穴開きミラー１３までに配置された各部材を、照射光学系１０と共用してもよい。この場合、眼底からの光は、照射光学系１０の光路を遡って、穴開きミラー１３まで導かれる。穴開きミラー１３は、被検眼の角膜，および，装置内部の光学系（例えば対物レンズ系のレンズ面等）での反射によるノイズ光の少なくとも一部を取り除きつつ、眼底Ｅｒからの光を、受光光学系２０の独立光路へ導く。
　なお、照射光学系１０と受光光学系２０とを分岐させる光路分岐部材は、穴開きミラー１３に限られるものではなく、その他のビームスプリッタが利用されてもよい。
　本実施例の受光光学系２０は、穴開きミラー１３の反射光路に、レンズ２１、ピンホール板２３、および、光分離部（光分離ユニット）３０を有する。また、光分離部３０と各受光素子２５，２７，２９との間に、レンズ２４，２６，２８が設けられている。本実施例において、光分離部（光分離ユニット）３０が、分光部として利用される。
　ピンホール板２３は、眼底共役面に配置されており、ＭＣＳＬＯ２００における共焦点絞りとして機能する。すなわち、視度調節部４０によって視度が適正に補正される場合において、レンズ２１を通過した眼底Ｅｒからの光は、ピンホール板２３の開口において焦点を結ぶ。ピンホール板２３によって、眼底Ｅｒの集光点（あるいは、焦点面）以外の位置からの光が取り除かれ、残り（集光点からの光）が主に受光素子２５，２７，２９へ導かれる。
　光分離部３０は、眼底Ｅｒからの光を分離させる。本実施例では、光分離部３０によって、眼底Ｅｒからの光が波長選択的に光分離される。また、光分離部３０は、受光光学系２０の光路を分岐させる光分岐部を兼用していてもよい。例えば、図２に示すように、光分離部３０は、光分離特性（波長分離特性）が互いに異なる２つのダイクロイックミラー（ダイクロイックフィルター）３１，３２を含んでいてもよい。受光光学系２０の光路は、２つのダイクロイックミラー３１，３２によって、３つに分岐される。また、それぞれの分岐光路の先には、受光素子２５，２７，２９の１つがそれぞれ配置される。
　例えば、光分離部３０は、眼底Ｅｒからの光の波長を分離させ、３つの受光素子２５，２７，２９に、互いに異なる波長域の光を受光させる。例えば、青，緑，赤の３色の光を、受光素子２５，２７，２９に１色ずつ受光させてもよい。この場合、各受光素子２５，２７，２９の受光結果から、カラー画像を得ることができる。
　また、光分離部３０は、赤外撮影で使用される赤外域の光を、受光素子２５，２７，２９の少なくとも１つに受光させる。この場合において、例えば、蛍光撮影で使用される蛍光と、赤外撮影で使用される赤外域の光とが、互いに異なる受光素子に受光されてもよい。
　各受光素子２５，２７，２９が感度を持つ波長帯は、互いに異なっていてもよい。また、受光素子２５，２７，２９のうち、少なくとも２つが、共通の波長域に感度を持っていてもよい。それぞれの受光素子２５，２７，２９は、受光した光の強度に応じた信号（以下、受光信号と称す）をそれぞれ出力する。本実施形態において、受光信号は、受光素子毎に別々に処理されて画像が生成される。つまり、本実施形態では、最大で３種類の眼底画像が、並行して生成される。
＜制御動作＞
　本実施例の眼底画像処理装置１００が画像処理を行うときの制御動作を図３に基づいて説明する。以下の例では、ＭＣＳＬＯ２００によって撮影されたＭＣＳＬＯ画像を解析することによって被検眼の自動診断を行う場合について説明する。
（ステップＳ１：画像の取得）
　まず、画像取得部１は、ＭＣＳＬＯ画像を取得する。画像取得部１は、例えば、無線または有線などの通信手段を介し、ＭＣＳＬＯ２００によって撮影された画像を取得する。ＭＣＳＬＯによって撮影されたＭＣＳＬＯ画像は、ＭＣＳＬＯ２００の記憶部８（図１参照）等に記憶されている。画像取得部１は、記憶部８に記憶されたＭＣＳＬＯ画像をＭＣＳＬＯ２００から受信し、記憶部４に記憶させる。なお、画像取得部１は、ＭＣＳＬＯ２００から直接画像を取得してもよいし、ＵＳＢメモリ等の外部記憶装置に記憶されたＭＣＳＬＯ画像を取得してもよい。
（ステップＳ２：所見検出）
　続いて、解析部２は、取得したＭＣＳＬＯ画像を解析することによって所見を検出する。例えば、前述のように、解析部２は、機械学習アルゴリズムによって訓練された数学モデルを用いてＭＣＳＬＯ画像の解析を行う。例えば、数学モデルには、ＭＣＳＬＯ画像と、所見の検出結果の組み合わせが学習されている。解析部２は、学習済みの数学モデルにＭＣＳＬＯ画像を入力することによって所見検出を行う。
　なお、数学モデルには、赤チャンネル、緑チャンネル、青チャンネルの各チャンネルの画像の種々の組み合わせが学習される。例えば、数学モデルは、赤チャンネル、緑チャンネル、青チャンネルの各チャンネルの画像を学習してもよいし、赤チャンネルと緑チャンネル、緑チャンネルと青チャンネル、青チャンネルと赤チャンネルの２チャンネルを組み合わせた多チャンネル画像を学習してもよいし、赤チャンネル、緑チャンネル、青チャンネルの３チャンネルを組み合わせた多チャンネル画像を学習してもよい。もちろん、これらそれぞれの入力形式に対応した数学モデルをそれぞれ学習させ、所見の検出に用いてもよい。また、図４Ａ、図４Ｂに示すように、眼底画像の全体画像５０や、眼底画像の部分画像５０ａそれぞれに対応した数学モデルがそれぞれ学習されてもよい。解析部２は、数学モデルが学習した画像の形式に応じて、各チャンネルの画像、複数のチャンネルの画像、全体画像５０または部分画像５０ａなどを数学モデルに入力することによって、所見を出力させる。また、数学モデルにセグメンテーションで用いられるような学習と予測で異なるサイズの画像を利用可能なモデルを用いた場合、学習と予測で異なるサイズの画像を適用してもよい。例えば、数学モデルの学習時の入力を部分画像として所見の存在する領域を優先的に学習させるようにしてもよく、予測時の入力を部分画像として画像の関心のある領域のみを数学モデルに処理させてもよい。
　なお、ＭＣＳＬＯ画像は、波長によって撮影される深さが異なる。したがって、学習する画像の波長が異なる数学モデルを複数用意してもよい。例えば、図５に示すように、解析部２は、網膜表層の所見を検出する表層用数学モデル６１と、網膜深層の所見を検出する深層用数学モデル６２を用いて所見を検出してもよい。例えば、表層用数学モデル６１は、網膜表層の組織が主に撮影される緑チャンネルと青チャンネルの画像が学習され、深層用数学モデル６２は、網膜深層の組織が主に撮影される赤チャンネルの画像が学習される。解析部２は、被検眼から撮影されたＭＣＳＬＯ画像５１において、青チャンネルの画像５１Ｂと緑チャンネルの画像５１Ｇを表層用数学モデル６１に入力することによって網膜表層の所見８１を出力させる。同様に、解析部２は、赤チャンネルの画像５１Ｒを深層用数学モデル６２に入力することによって網膜深層の所見８２を出力させる。このように、チャンネル毎に異なる数学モデルを用いることによって、図５に示すように網膜表層の所見８１と網膜深層の所見８２の位置が重なっている場合であっても、所見８１と所見８２を分けて検出できる。
　なお、所見の出力方法としては、例えば、図６に示すように、ＭＣＳＬＯ画像に対する各所見のセグメンテーションによって得られたマップ画像を出力してもよい。また、図７に示すように、画像の分割領域ごとに各所見の有無を示すマップ画像を出力してもよい。また、図１１に示すように、画像の各所見の有無の識別に対する数学モデルの注視領域を示すマップ画像（アテンションマップ）を出力してもよい。
（ステップＳ３：診断）
　解析部２は、ＭＣＳＬＯ画像の解析によって得られた所見の検出結果に基づいて、被検眼の診断を行う。例えば、解析部２は、所見のマップ画像に基づいて、そこから予想される疾患（糖尿病網膜症、黄斑前膜等）の識別を行い、各疾患の識別結果を得る。なお、解析部２は、疾患の識別結果が学習された数学モデルを用いて、疾患の識別を行ってもよい。例えば、解析部２は、所見のマップ画像を数学モデルに入力することによって、各疾患の確率などを出力させてもよい。
（ステップＳ４：診断結果表示）
　表示制御部６は、ステップＳ３で得られた各疾患の診断結果を表示部７に表示する。このとき、表示制御部６は、ステップＳ２で得られた所見のマップ画像を診断結果の確認情報として表示してもよい。これによって、ユーザは、最終的な診断結果だけでなく、診断の根拠を確認することができる。
　上記のように、眼科画像処理装置１００は、ＭＣＳＬＯ画像に対して自動で所見検出を行う。これによって、マルチカラー眼底画像に不慣れなユーザであっても、読影または診断を容易に行うことができる。また、ＭＣＳＬＯ画像において、赤、緑、青などの波長毎の画像、またはそれらを組み合わせた多チャンネル画像に対して所見を検出することによって、より多くの情報を取得することができる。
　なお、本実施例のように、機械学習アルゴリズムによって学習された数学モデルを用いることによって、より正確に所見を検出することができる。また、波長の異なる画像を学習させた数学モデルを用いることによって、各層の所見に重なりがある場合であっても良好に検出することができる。
　なお、一つの数学モデルを作成するために数万枚の画像が必要とされるが、ＭＳＣＬＯ画像などは従来から用いられている眼底写真と比べてまだ普及しておらず、大量の画像を入手することが困難である。このような場合、本実施例のように、まず所見の検出を行う数学モデルを適用し、その結果を用いて診断を行うことによって、比較的小規模なデータセットの学習であっても良好な数学モデルを構築できる。
　なお、眼底画像処理装置１００は、所見の出力のみを行うようにしてもよい。この場合、ユーザは、眼底画像処理装置１００が出力した所見に基づいて被検眼の診断を行ってもよい。例えば、ユーザは、表示部７に出力された所見を確認し、タッチパネルなどの操作部によって診断結果を入力する。このように、ユーザが被検眼の診断を行う場合であっても、眼底の深さに応じた所見を確認することができるため、より正確に診断を行うための情報を取得することができる。
　なお、上記の実施例では、ニューラルネットワークによって所見検出を行ったが、これに限らない。例えば、ランダムフォレスト、ブースティング、ＳＶＭ等の他の機械学習アルゴリズムを用いてもよい。
　なお、画像取得部１は、サーバ等から画像を取得してもよい。例えば、多数の機種で撮影された複数の測定結果がネットワークを介してサーバに記憶され、画像取得部１は、サーバから他のＭＣＳＬＯ装置で撮影された画像データを取得できてもよい。また、画像取得部１は、被検者の登録情報および検査情報等が管理される電子カルテシステムから画像を取得してもよい。
　なお、数学モデルを用いた画像解析において、様々な種類の画像が用いられてもよい。例えば、マルチカラーＳＬＯ画像の他に、断層画像、眼底画像、血管画像、前眼部画像などを数学モデルに入力してもよい。これらの画像は、例えば、ＯＣＴ装置、眼底カメラ、前眼部観察カメラ、スリットランプ、シャインプルーフカメラ等の各種眼科撮影装置によって撮影される。
　なお、図８Ａ、図８Ｂに示すように、異なる撮影装置によって撮影されたマルチカラー眼底画像Ｑ１，Ｑ２は、色のバランスが異なる。このため、例えば、第１撮影装置２００Ａによって撮影された眼底画像を学習した数学モデルでは、第２撮影装置２００Ｂで撮影した画像を正しく識別できない。
　そこで、解析部２は、異なる撮影装置で撮影された眼底画像を同じ数学モデルで識別できるように、数学モデルに入力する前に眼底画像の各チャンネルの輝度を正規化してもよい。画像を正規化すると、撮影装置が異なる場合であっても、近い波長で撮影されていれば同じような画像になる。例えば、図９に示すように、第１撮影装置２００Ａで撮影された眼底画像Ｑ１を正規化した眼底画像Ｋ１と、第２撮影装置２００Ｂで撮影された眼底画像Ｑ２を正規化した眼底画像Ｋ２は、同じような画像になる。このため、眼底画像Ｑ１を正規化した眼底画像Ｋ１で学習された数学モデル６０は、眼底画像Ｑ２を正規化した眼底画像Ｋ２を識別することができる。つまり、数学モデルに入力する前に画像を正規化しておけば、学習に用いた撮影装置とは異なる撮影装置の眼底画像であっても同じ数学モデルで識別することができる。正規化の方法としては、例えば、眼底画像の各チャンネルに対し、そのチャンネルの平均を引いてそのチャンネルの標準偏差で割る処理等が考えられる。もちろん、他の正規化方法を用いてもよい。なお、正規化としては、輝度の他、画像の解像度を揃えるようにしてもよい。
　なお、数学モデルの学習に用いた撮影装置とは異なる撮影装置によって撮影された眼底画像を入力する場合、解析部２は、各チャンネルの眼底画像の輝度に適切な重みを掛けてから数学モデルに入力するようにしてもよい。例えば、図１０に示すように、第２撮影装置２００Ｂによって撮影された眼底画像Ｑ２の各チャンネルにそれぞれ重みｗＲ，ｗＧ，ｗＢを掛けることによって、第１撮影装置２００Ａによって撮影された眼底画像Ｑ１に似た眼底画像Ｑ３に変換する。このように、数学モデルに入力する眼底画像（第２眼底画像）が学習済みの眼底画像（第１眼底画像）の仕様に近付くように重みを掛けることで、異なる撮影装置の画像であっても１つの数学モデルで識別させることができる。重みの計算方法としては、例えば、各撮影装置の代表的な画像の輝度の平均、または分散等を用いて計算してもよいし、ユーザが手動で適切な重みを設定してもよい。また、撮影装置がチャンネル別の画像を生成するときに用いる重みが分かれば、その重みを利用して計算してもよい。なお、重みを掛けるだけでなく、オフセット値を加えるなど他の補正値を用いてもよい。
　なお、異なる撮影装置によって撮影された単色の眼底画像においても、輝度の大きさ等が異なるため、輝度の正規化または重みを掛ける処理等を行ってもよい。
　また、正規化または重みを掛ける処理については、白色光源を備え、白色光源による眼底反射光を受光することによってカラー眼底画像を撮影する眼底撮影装置（例えば、眼底カメラ、走査型眼底撮影装置）に適用可能である。この場合、カラー眼底画像の各画素の輝度は、RGB毎の輝度値として取得される。そこで、RGB毎の輝度値に関して、第１撮影装置によって撮影された第１のカラー眼底画像と、第２撮影装置によって撮影された第２のカラー眼底画像との間で、正規化または重みを掛ける処理を行うようにしてもよい。
　１００　画像処理装置
　１　画像取得部
　２　解析部
　４　記憶部
　６　表示制御部
　７　表示部
　８　記憶部
　２００　マルチカラーＳＬＯ

Claims (12)

  1. 　被検眼の眼底画像を処理する眼底画像処理装置であって、
    　撮影手段によって撮影された前記眼底画像を取得する画像取得手段と、
    　前記眼底画像を解析する解析手段と、を備え、
    　前記撮影手段は、複数の波長を含む測定光を走査手段によって走査し、前記被検眼の眼底によって反射した前記測定光を受光素子によって受光することで得られた波長毎の受光信号に基づいて前記眼底画像を生成し、
    　前記解析手段は、前記波長毎の受光信号に基づいて生成された前記眼底画像に対して所見を検出することを特徴とする眼底画像処理装置。
  2. 　前記測定光は、赤色光、緑色光および青色光の少なくともいずれかを含むことを特徴とする請求項２の眼底画像処理装置。
  3. 　前記解析手段は、前記波長毎に生成された前記眼底画像のそれぞれに対して所見を検出することを特徴とする請求項１または２の眼底画像処理装置。
  4. 　前記解析手段は、前記波長毎に生成された前記眼底画像の内２つ以上を組み合わせた多チャンネル画像に対して所見を検出することを特徴とする請求項１～３のいずれかの眼底画像処理装置。
  5. 　前記解析手段は、機械学習アルゴリズムによって訓練された数学モデルを用いて前記眼底画像を解析することを特徴とする請求項１～４のいずれかの眼底画像処理装置。
  6. 　前記解析手段は、画像に対応する波長別に異なる数学モデルを用いて眼底画像を解析することを特徴とする請求項５の眼底画像処理装置。
  7. 　前記解析手段は、第１チャンネルの眼底画像を学習した前記表層用数学モデルと、前記第１チャンネルとは異なる第２チャンネルの眼底画像を学習した前記深層用数学モデルと、を用いて眼底画像を解析することを特徴とする請求項６の眼底画像処理装置。
  8. 　前記撮影手段は、走査型レーザ検眼鏡であることを特徴とする請求項１～７のいずれかの眼底画像処理装置。
  9. 　前記解析手段は、前記眼底画像に対する所見の検出結果に基づいて、前記被検眼の診断に用いられる参考情報を出力することを特徴とする請求項１～８のいずれかの眼底画像処理装置。
  10. 　前記解析手段は、前記数学モデルに入力する前に、前記眼底画像を正規化することを特徴とする請求項５の眼底画像処理装置。
  11. 　前記解析手段は、前記数学モデルの学習に用いた第１眼底画像を撮影した第１撮影手段とは異なる第２撮影手段によって撮影された第２眼底画像を前記数学モデルに入力する場合、前記第２眼底画像の各チャンネルに重みを掛けることを特徴とする請求項５の眼底画像処理装置。
  12. 　被検眼の眼底画像を処理する眼底画像処理装置において実行される眼底画像処理プログラムであって、前記眼底画像処理装置のプロセッサによって実行されることで、
    　複数の波長を含む測定光を走査手段によって走査し、前記被検眼の眼底によって反射した前記測定光を受光素子によって受光することで得られた波長毎の受光信号に基づいて前記眼底画像を生成する生成ステップと、
    　前記生成ステップによって生成された前記眼底画像を取得する画像取得ステップと、
    　前記波長毎の受光信号に基づいて生成された前記眼底画像に対して所見を検出する解析ステップと、
    を前記眼底画像処理装置に実行させることを特徴とする眼底画像処理プログラム。
PCT/JP2019/008478 2018-03-05 2019-03-04 眼底画像処理装置、および眼底画像処理プログラム Ceased WO2019172206A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020505027A JP7517147B2 (ja) 2018-03-05 2019-03-04 眼底画像処理装置、および眼底画像処理プログラム
EP19763780.4A EP3763281A4 (en) 2018-03-05 2019-03-04 EYE BACKGROUND IMAGING DEVICE AND EYE BACKGROUND IMAGING PROGRAM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-039164 2018-03-05
JP2018039164 2018-03-05
JP2018080131 2018-04-18
JP2018-080131 2018-04-18

Publications (1)

Publication Number Publication Date
WO2019172206A1 true WO2019172206A1 (ja) 2019-09-12

Family

ID=67847249

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008478 Ceased WO2019172206A1 (ja) 2018-03-05 2019-03-04 眼底画像処理装置、および眼底画像処理プログラム

Country Status (3)

Country Link
EP (1) EP3763281A4 (ja)
JP (1) JP7517147B2 (ja)
WO (1) WO2019172206A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172505A1 (ja) * 2020-02-27 2021-09-02 興和株式会社 眼科撮影装置
US20210282640A1 (en) * 2020-03-12 2021-09-16 Samsung Sds Co., Ltd. Apparatus and method for image-based eye disease diagnosis
JP2022064132A (ja) * 2020-10-13 2022-04-25 キヤノン株式会社 医用画像処理装置及びその制御方法、並びにプログラム
JP2022552086A (ja) * 2019-10-15 2022-12-15 ヴェリリー ライフ サイエンシズ エルエルシー 選択的照明帯域を用いる網膜カメラ

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150110348A1 (en) * 2013-10-22 2015-04-23 Eyenuk, Inc. Systems and methods for automated detection of regions of interest in retinal images
JP2015104581A (ja) 2013-11-29 2015-06-08 株式会社ニデック 眼科撮影装置
WO2016132115A1 (en) * 2015-02-16 2016-08-25 University Of Surrey Detection of microaneurysms
CN105996978A (zh) * 2016-05-04 2016-10-12 深圳市斯尔顿科技有限公司 一种多彩线扫描眼底成像设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4909377B2 (ja) 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
JP5649947B2 (ja) * 2010-12-21 2015-01-07 富士フイルム株式会社 光計測システムおよび光計測システムの作動方法
WO2014100678A1 (en) * 2012-12-21 2014-06-26 Tearscience, Inc. Full-eye illumination ocular surface imaging of an ocular tear film for determining tear film thickness and/or providing ocular topography
US20140276025A1 (en) * 2013-03-14 2014-09-18 Carl Zeiss Meditec, Inc. Multimodal integration of ocular data acquisition and analysis
AU2014271202B2 (en) 2013-05-19 2019-12-12 Commonwealth Scientific And Industrial Research Organisation A system and method for remote medical diagnosis
WO2016126556A1 (en) * 2015-02-02 2016-08-11 The Regents Of The University Of California Method and system for objective evaluation of dry eye syndrome
US10130249B2 (en) * 2015-05-01 2018-11-20 Canon Kabushiki Kaisha Inspection apparatus, image processing apparatus, method of operating inspection apparatus, image processing method, and recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150110348A1 (en) * 2013-10-22 2015-04-23 Eyenuk, Inc. Systems and methods for automated detection of regions of interest in retinal images
JP2015104581A (ja) 2013-11-29 2015-06-08 株式会社ニデック 眼科撮影装置
WO2016132115A1 (en) * 2015-02-16 2016-08-25 University Of Surrey Detection of microaneurysms
CN105996978A (zh) * 2016-05-04 2016-10-12 深圳市斯尔顿科技有限公司 一种多彩线扫描眼底成像设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAROCCA, FRANCESCO ET AL.: "True color scanning laser ophthalmoscopy and optical coherence tomography handheld probe", BIOMEDICAL OPTICS EXPRESS, vol. 5, no. 9, 1 September 2014 (2014-09-01), pages 3204 - 3216, XP055636287 *
See also references of EP3763281A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022552086A (ja) * 2019-10-15 2022-12-15 ヴェリリー ライフ サイエンシズ エルエルシー 選択的照明帯域を用いる網膜カメラ
US12478253B2 (en) 2019-10-15 2025-11-25 Verily Life Sciences Llc Retinal camera with selective illumination bands
JP7314410B2 (ja) 2019-10-15 2023-07-25 ヴェリリー ライフ サイエンシズ エルエルシー 選択的照明帯域を用いる網膜カメラ
JPWO2021172505A1 (ja) * 2020-02-27 2021-09-02
WO2021172505A1 (ja) * 2020-02-27 2021-09-02 興和株式会社 眼科撮影装置
JP7748357B2 (ja) 2020-02-27 2025-10-02 興和株式会社 眼科撮影装置
KR20210115196A (ko) * 2020-03-12 2021-09-27 삼성에스디에스 주식회사 영상 기반의 안질환 진단 장치 및 방법
US11800976B2 (en) * 2020-03-12 2023-10-31 Samsung Sds Co., Ltd. Apparatus and method for image-based eye disease diagnosis
KR102779025B1 (ko) * 2020-03-12 2025-03-11 삼성에스디에스 주식회사 영상 기반의 안질환 진단 장치 및 방법
WO2021182889A3 (ko) * 2020-03-12 2021-11-04 삼성에스디에스 주식회사 영상 기반의 안질환 진단 장치 및 방법
US20210282640A1 (en) * 2020-03-12 2021-09-16 Samsung Sds Co., Ltd. Apparatus and method for image-based eye disease diagnosis
JP2022064132A (ja) * 2020-10-13 2022-04-25 キヤノン株式会社 医用画像処理装置及びその制御方法、並びにプログラム
JP7584983B2 (ja) 2020-10-13 2024-11-18 キヤノン株式会社 医用画像処理装置及びその制御方法、並びにプログラム

Also Published As

Publication number Publication date
JPWO2019172206A1 (ja) 2021-02-12
EP3763281A1 (en) 2021-01-13
EP3763281A4 (en) 2021-11-17
JP7517147B2 (ja) 2024-07-17

Similar Documents

Publication Publication Date Title
US20240127446A1 (en) Semi-supervised fundus image quality assessment method using ir tracking
US20220400943A1 (en) Machine learning methods for creating structure-derived visual field priors
US20220160228A1 (en) A patient tuned ophthalmic imaging system with single exposure multi-type imaging, improved focusing, and improved angiography image sequence display
CN100998494B (zh) 光图像计测装置
EP4143781B1 (en) Oct en face pathology segmentation using channel-coded slabs
US10561311B2 (en) Ophthalmic imaging apparatus and ophthalmic information processing apparatus
CN113574542A (zh) 宽场自发荧光图像中患有年龄相关性黄斑变性的患者中地理萎缩模式分割与分类
JP7517147B2 (ja) 眼底画像処理装置、および眼底画像処理プログラム
JP2016002380A (ja) 画像処理装置、その作動方法及びプログラム
JP7106728B2 (ja) 眼科装置
JP6338358B2 (ja) 眼底撮影システム
JP2021037239A (ja) 領域分類方法
US12593977B2 (en) Vision screening device including color imaging
JP2021101965A (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
WO2017020045A1 (en) System and methods for malarial retinopathy screening
JP2022028197A (ja) スリットランプ顕微鏡
US20230143051A1 (en) Real-time ir fundus image tracking in the presence of artifacts using a reference landmark
JP2022064132A (ja) 医用画像処理装置及びその制御方法、並びにプログラム
US12586195B2 (en) Ophthalmic information processing apparatus, ophthalmic apparatus, ophthalmic information processing method, and recording medium
CN115702774A (zh) 使用视觉筛查设备确定色觉能力
Ren et al. Label-free optical fundus angiography based on programmable hyperspectral imaging
CN119073902B (zh) 一种台式眼底相机的成像方法和台式眼底相机
JP2022035168A (ja) スリットランプ顕微鏡システム
WO2022157838A1 (ja) 画像処理方法、プログラム、画像処理装置、眼科システム
CN111528793A (zh) 一种视网膜血管光学造影成像系统及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19763780

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020505027

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019763780

Country of ref document: EP

Effective date: 20201005