WO2023106681A1 - 자가 형광 촬영 장치 및 그 동작 방법, 자가 형광 영상 평가 장치 및 그 평가 방법 - Google Patents

자가 형광 촬영 장치 및 그 동작 방법, 자가 형광 영상 평가 장치 및 그 평가 방법 Download PDF

Info

Publication number
WO2023106681A1
WO2023106681A1 PCT/KR2022/018233 KR2022018233W WO2023106681A1 WO 2023106681 A1 WO2023106681 A1 WO 2023106681A1 KR 2022018233 W KR2022018233 W KR 2022018233W WO 2023106681 A1 WO2023106681 A1 WO 2023106681A1
Authority
WO
WIPO (PCT)
Prior art keywords
autofluorescence
image
eye
examined
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/018233
Other languages
English (en)
French (fr)
Inventor
엄영섭
김성우
서영우
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea University Research and Business Foundation
Original Assignee
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220026607A external-priority patent/KR102773961B1/ko
Application filed by Korea University Research and Business Foundation filed Critical Korea University Research and Business Foundation
Priority to EP22904514.1A priority Critical patent/EP4445828A4/en
Priority to JP2024534416A priority patent/JP7735009B2/ja
Priority to US18/717,395 priority patent/US20250040806A1/en
Publication of WO2023106681A1 publication Critical patent/WO2023106681A1/ko
Anticipated expiration legal-status Critical
Priority to JP2025136793A priority patent/JP2025170323A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/117—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/117—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes
    • A61B3/1173—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes for examining the eye lens
    • A61B3/1176—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes for examining the eye lens for determining lens opacity, e.g. cataract
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission

Definitions

  • the present disclosure relates to an apparatus and operation method for taking an autofluorescence (AF) image of an eye to be examined, an apparatus and an evaluation method for evaluating an autofluorescence image, and more particularly, capable of quantitatively evaluating the degree of ophthalmic disease or presbyopia progression It relates to filter-based AF image shooting and evaluation.
  • AF autofluorescence
  • LOCS Lens Opacities Classification System
  • FAF imaging does not require injection of a fluorescent dye to image the retina, and utilizes the fluorescence properties of lipofuscin in the retinal pigment epithelium (RPE) to generate images. Since an abnormal pattern of autofluorescence (AF) in FAF images acts as a marker for retinal disease, conventional FAF was used to evaluate retinal disease or abnormality, but was not used to evaluate lens abnormality.
  • RPE retinal pigment epithelium
  • Korean Patent Registration No. 10-1643953 (published on July 29, 2016) is a technique for determining an intensity histogram in a patient's FAF image and comparing it with a control group to determine whether there is an abnormality, but this is also a technique for determining retinal disease It is difficult to use for quantitative evaluation of lens abnormalities, including the degree of presbyopia or cataract progression.
  • An embodiment of the present disclosure provides an apparatus and operation method for taking an autofluorescence image of an eye to be examined based on a filter for evaluating crystalline lens abnormalities.
  • Another embodiment of the present disclosure provides an apparatus and method for analyzing and evaluating an autofluorescence image of an eye to be examined based on a filter for evaluating a lens abnormality.
  • Another embodiment of the present disclosure provides a filter usable in an apparatus for taking an autofluorescence image of an eye to be examined for evaluation of crystalline lens abnormalities.
  • An embodiment of the present disclosure provides an apparatus for photographing autofluorescence of an eye to be examined and an operation method thereof.
  • An embodiment of the present disclosure provides an apparatus and method for quantitatively evaluating an autofluorescence image of an eye to be examined.
  • An autofluorescence photographing apparatus includes a light source for illuminating an eye to be examined through a preset optical path, an image sensor for capturing an eye in which at least a portion of autofluorescence is emitted according to illumination of the light source, and an image sensor and an eye to be examined.
  • a filter disposed therebetween may be included, and the filter may include a plurality of portions having different light transmittances.
  • An autofluorescence image evaluation apparatus includes a processor and a memory electrically connected to the processor and storing at least one code executed by the processor, the memory allowing the processor to Stores a code that analyzes the autofluorescence image to determine information related to opacity or cataract grade of the eye to be examined, wherein the autofluorescence image generated by illumination of a light source is disposed between the image sensor and the eye to be examined , It may be an image generated based on an output of an image sensor incident through a filter including a plurality of regions having different light transmittances.
  • a method of operating a self-fluorescence photographing device includes the steps of, by a processor, emitting a light source to illuminate an eye to be examined through a preset optical path;
  • the step of photographing the eye to be examined includes the step of photographing the eye to be examined, wherein the step of photographing the eye passes through a filter including a plurality of regions having different light transmittances and transmits light to the image sensor based on the autofluorescence of the eye to be examined, which is incident on the image sensor. generating an output signal.
  • An evaluation method for an autofluorescence image evaluation apparatus includes the steps of receiving, by a processor, at least a portion of an autofluorescence image of an eye to be examined, and analyzing the autofluorescence image by the processor to obtain information related to opacity or cataract grade of the eye to be examined.
  • autofluorescence image autofluorescence of the eye generated by illumination of a light source passes through a filter disposed between an image sensor and the eye to be examined and includes a plurality of regions having different light transmittances and is incident thereon. It may be an image generated based on an output of an image sensor.
  • the autofluorescence imaging apparatus and method of operating the same may capture an autofluorescence image capable of quantitatively determining whether there is an abnormality in the crystalline lens.
  • the autofluorescence image evaluation apparatus and evaluation method may quantitatively evaluate crystalline lens abnormality including the degree of progression of presbyopia or the degree of progression of cataract based on the autofluorescence image.
  • Embodiments of the present disclosure can quantitatively evaluate patients' crystalline lens abnormalities and prevent unnecessary cataract surgeries, thereby reducing patient discomfort and unnecessary surgical costs.
  • FIG. 1 is a diagram illustrating an environment in which an autofluorescence imaging apparatus according to an embodiment of the present disclosure captures an image using a filter for evaluating whether there is an abnormality in the lens.
  • FIG. 2 is a block diagram schematically illustrating the configuration of an autofluorescence imaging device according to an embodiment of the present disclosure.
  • 3 and 4 are flowcharts illustrating an operating method of a self-fluorescence imaging apparatus according to an exemplary embodiment of the present disclosure.
  • FIGS. 5 and 6 are diagrams illustrating exemplary embodiments of a filter for evaluating whether there is an abnormality in the crystalline lens according to an embodiment of the present disclosure.
  • FIG. 7 is a block diagram schematically showing the configuration of an autofluorescence image evaluation apparatus according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating an evaluation method of an autofluorescence image evaluation apparatus according to an embodiment of the present disclosure.
  • FIG 9 and 10 are diagrams for explaining an evaluation method of an autofluorescence image evaluation apparatus according to an embodiment of the present disclosure.
  • FIGS. 1 and 2 An environment and configuration for driving the autofluorescence imaging device according to an embodiment of the present disclosure will be described with reference to FIGS. 1 and 2 .
  • the self-fluorescence imaging apparatus 100 includes a filter (hereinafter referred to as an 'analysis filter') 150 for evaluating crystalline lens abnormality inside the main body 100a including a camera, or It can be set to be disposed outside the body (100a).
  • the analysis filter 150 is implemented in the form of glasses, and an autofluorescence image can be captured while the subject wears the analysis filter 150 in the form of glasses when capturing an image of the autofluorescence imaging device 100. .
  • the autofluorescence imaging apparatus 100 may be set to illuminate the patient's eye to be examined by emitting a light source that generates excitation light and guiding the excitation light through a preset optical path.
  • the autofluorescence photographing apparatus 100 includes an image sensor 140 into which autofluorescence (AF) emitted as autofluorescence of the eye to be examined by excitation light is incident, and an analysis filter is provided between the image sensor 140 and the eye to be examined. can be placed in
  • the analysis filter may be set to be disposed inside or outside the main body 100a.
  • An embodiment disposed outside includes wearing the analysis filter 150 in the form of glasses by an examinee. That is, autofluorescence generated in the eye to be examined by the excitation light may pass through the analysis filter 150 and be incident on the image sensor 140 .
  • Autofluorescence may be generated in the crystalline lens as well as lipofuscin in the retinal pigment epithelium (RPE) of the eye to be examined.
  • RPE retinal pigment epithelium
  • the present inventors confirmed an increase in the brightness of a part of the image by autofluorescence of the lens, and as a result, based on the change in the gray level of the autofluorescence image corresponding to the figure pattern of the analysis filter according to an embodiment of the present invention, whether or not the lens is abnormal. can be determined quantitatively.
  • This is determined to be a complex phenomenon caused by a part of retinal autofluorescence that is obscured by opacity, a part of retinal autofluorescence incident on the image sensor 140 due to scattering, refraction, and the like, and scattering of crystalline lens autofluorescence. Accordingly, it is possible to quantitatively evaluate the progress of cataract and the progress of presbyopia related to lens opacity based on the analysis filter according to an embodiment of the present invention.
  • the camera of the autofluorescence photographing apparatus 100 may include an image sensor (CCD or CMOS) 140 and may adjust a field of view and focus so as to capture autofluorescence from the eye to be examined.
  • CCD image sensor
  • CMOS complementary metal-oxide-semiconductor
  • the device may include an optical system 130 including a mirror, a lens, and the like to guide light emitted from a light source to the eye to be examined by passing through a first filter set to pass only light of a specific wavelength.
  • an optical system 130 including a mirror, a lens, and the like to guide light emitted from a light source to the eye to be examined by passing through a first filter set to pass only light of a specific wavelength.
  • the first filter may be selected to reduce wavelengths that do not correspond to a wavelength band that excites a particular cell to generate autofluorescence (eg, a wavelength at or near about 470 nm).
  • a wavelength band that excites a particular cell to generate autofluorescence eg, a wavelength at or near about 470 nm.
  • embodiments of the present invention are not limited to a specific band of the excitation wavelength, and other wavelength bands of the excitation light induced to the eye according to other configurations of the autofluorescence imaging apparatus are also irrelevant.
  • the first filter may be omitted.
  • Autofluorescence generated in the eye to be examined by the excitation light may pass through a lens or a mirror of the optical system 130 and be incident on the image sensor 140 of the camera.
  • the autofluorescence photographing apparatus 100 may include a second filter for removing undesirable band light from autofluorescence or non-autofluorescence light.
  • the analysis filter 150 passes autofluorescence generated in the eye to be examined before entering the image sensor 140 and may be set to be disposed before or after the second filter.
  • the analysis filter 150 When the analysis filter 150 is disposed outside the main body 100a, it includes a structure that can be attached to a cradle for holding the patient's forehead and chin, or a camera so that the analysis filter 150 can be selectively used according to the shooting mode. It may include a rotatably deployable structure in the front part (eg, a wheel with an analytical filter 150 mounted thereon and a wheel drive motor).
  • the analysis filter 150 may include a plurality of sites having different light transmittances, which will be described in detail below with reference to FIGS. 5 and 6 .
  • the autofluorescence imaging device 100 may store the autofluorescence image generated based on the output of the image sensor 140 in the memory 120 or transmit it to an external device connected through a communication module.
  • the autofluorescence photographing apparatus 100 may include a processor 110 that performs post-processing of the wavelength and brightness of a light source or the generated autofluorescence image.
  • the autofluorescence imaging device 100 may be connected to an external control computing device, and the control computing device may set the autofluorescence imaging device 100 or post-process the captured autofluorescence image.
  • the processor 110 of the self-fluorescence imaging apparatus 100 may be understood as a concept including a computing device implemented separately from the main body 100a.
  • the controlling computing device may include, for example, a tablet computer, PC, laptop computer, smart phone, or the like.
  • the communication module may include a configuration similar to part or all of the communication unit 210 of the self-fluorescence image evaluation device 200 below, and the main body 100a includes a control computing device and cables, LAN, Wi-Fi, and short-range wireless It can be connected in various ways, such as communication.
  • the autofluorescence photographing apparatus 100 controls a light source to emit light including a wavelength band capable of generating autofluorescence of the eye to be examined (S110).
  • Light generated from the light source may include a wavelength band (eg, a wavelength of about 470 nm or thereabouts) that excites specific cells to generate autofluorescence, or may include only the corresponding wavelength band.
  • a wavelength band eg, a wavelength of about 470 nm or thereabouts
  • Light emitted from the light source may be guided to illuminate the eye to be examined by passing through an optical system 130 such as an optical filter, a mirror, or a lens.
  • the processor 110 may control angles and positions of elements of the optical system 130 .
  • the light emitted from the light source and guided to the eye to be examined through the optical system 130 generates autofluorescence in the retinal cells or lens of the eye to be examined, and the autofluorescence passes through the analysis filter 150 and enters the image sensor 140. (S120).
  • autofluorescence may pass through an optical system 130 such as a mirror, an optical filter, or a lens before or after passing through the analysis filter 150 .
  • an optical system 130 such as a mirror, an optical filter, or a lens
  • the image sensor 140 outputs an electrical signal based on the incident autofluorescence, and the processor 110 generates an autofluorescence image based on the output of the image sensor 140 (S130).
  • the autofluorescence imaging device 100 selects an image type for distinguishing an autofluorescence image generated based on the analysis filter 150 according to an embodiment of the present invention from a conventional autofluorescence image. Significant information may be included in header information of the autofluorescence image (S140).
  • S140 Autofluorescence image
  • the autofluorescence imaging device 100 based on the analysis filter 150 according to an embodiment of the present invention operates as an SCU. It is possible to create a user-defined message meaning to transmit an image.
  • the autofluorescence imaging device 100 stores the autofluorescence image generated based on the analysis filter 150 according to an embodiment of the present invention in a control computing device, or stores the autofluorescence image in a clinical information system (CIS), PACS, or hospital information system (HIS). System) can be transmitted to the server device.
  • CIS clinical information system
  • PACS PACS
  • HIS hospital information system
  • the autofluorescence imaging device 100 checks the location of the analysis filter 150 (S210) to capture an autofluorescence image based on the analysis filter 150 according to an embodiment of the present invention, and After confirming the imaging mode of the fluorescence imaging apparatus 100 (S220), a warning message or a confirmation message may be output through a display, sound, warning light, etc. based on the comparison result (S230).
  • the autofluorescence imaging device 100 When the analysis filter 150 is rotated and positioned by a wheel in a rotary manner, the autofluorescence imaging device 100 has a sensor for determining the location according to rotation, and a sensor for determining whether the filter is coupled when attached to the cradle in a detachable structure. By this, it is possible to determine the position of the analysis filter 150 (including whether or not it is attached or detached). Alternatively, the self-fluorescence imaging device 100 may recognize the output of the RF chip mounted on the analysis filter 150 to determine the position (including attachment/detachment). When the analysis filter 150 is implemented in the form of glasses, it is possible to determine whether or not the subject is wearing it based on a human body sensor (infrared light, etc.).
  • the autofluorescence imaging device 100 may be implemented to be driven in a conventional autofluorescence imaging mode in addition to the autofluorescence imaging mode based on the analysis filter 150 according to the embodiment of the present invention. It may include a mechanical interface for selecting a mode (eg, the rotary lever 160 of FIG. 1 ) or an electrical interface of a display of the main body 150a or a control computing device. Therefore, after checking whether the autofluorescence imaging device 100 is in the autofluorescence imaging mode based on the analysis filter 150 according to the embodiment of the present invention, the analysis filter is set to the conventional autofluorescence imaging mode. A warning message may be output when 150 is in the shooting position or vice versa. Alternatively, regardless of the photographing mode, when the analysis filter 150 is disposed at a photographing position, a message indicating that the analysis filter 150 has been activated may be output.
  • Embodiments of the analysis filter 150 according to an embodiment of the present disclosure will be described with reference to FIGS. 5 and 6 .
  • the analysis filter 150 may include an outer circumferential portion 510 that can be attached to a holder for holding the patient's forehead and chin or coupled to the main body 100a and a filter portion 520 through which autofluorescence generated from the eye to be examined passes.
  • the filter unit 520 may include a plurality of portions 521, 522, and 523 having different light transmittances.
  • the light transmittance of the present specification is a concept that includes a change in luminous intensity or other characteristics of light due to scattering or refraction after light passes through.
  • the filter unit 520 may include a transparent first portion 521 and second portions 522 and 523 formed with a plurality of figures having lower light transmittance than the first portion 521 .
  • the first portion 521 may be transparent or opaque, but may have higher light transmittance than the second portions 522 and 523 .
  • the filter unit 520 is made of glass or plastic, and a film having a different color or material is attached to the second parts 522 and 523 or the surface roughness of the second parts 522 and 523 is changed. It can be.
  • the second portions 522 and 523 may be frosted glass caused by friction or corrosion.
  • the analysis filter 150 is implemented with glass
  • the second parts 522 and 523 may be implemented with a glass etchant or a sand blast that performs pneumatic spraying of etching glass using laser processing, sand, or emery sand.
  • FIG. 11 is a photograph taken after the analysis filter 150, which is an embodiment of the present invention, is implemented in the form of FIG. 6 (c) by a laser processing method and positioned on top of a printed matter. As can be seen in FIG. 11 , it can be seen that the light transmittance of the second portion is lower than the light transmittance of the first portion.
  • the second part 522 of the analysis filter 150 may be implemented as a plurality of figure patterns, and may have a plurality of ring shapes and a plurality of circle shapes. In the case of a ring shape, the inside of the circle inside the ring may be the first part.
  • the autofluorescence image evaluation apparatus 200 determines the gray level in the portion of the autofluorescence image corresponding to the first portion 521 and/or the second portions 522 and 523 of the analysis filter. Based on the measurement result, it is possible to evaluate whether or not the lens is abnormal.
  • the autofluorescence image can be analyzed as the gray level inside the circle inside the ring and the gray level of the ring part as a first part and a second part, respectively. Accordingly, in the case of a ring-shaped figure, a position for analyzing a gray level can be easily specified through figure recognition.
  • a plurality of figure patterns having low light transmittance of the analysis filter 150 may be spaced apart from each other, and the plurality of figures may be disposed in a vertically symmetrical or left-right symmetrical form in the filter unit.
  • FIG. 6 shows exemplary embodiments in which only the filter unit is shown without omitting the outer periphery of the analysis filter 150.
  • the second portions 611 and 612 of the analysis filter 150 have a plurality of rectangular shapes having uniform light transmittance inside and lower light transmittance than other portions (first portion). It can be a shape. Also, the area of the figure of the second part 612 far from the center (located in the periphery, close to the outer circumference) may be larger than that of the figure of the second part 611 close to the center of the filter unit.
  • the horizontal ratio of the figure of the second part 612 far from the center may be greater.
  • the second part in the autofluorescence image is suitable for barrel distortion due to the shape of an eyeball having a larger left-to-right ratio or the spherical shape of the eyeball or the shape of a lens. Parts of the image corresponding to may be displayed on the image in the same size.
  • the shape of the second portion 622 far from the center may be a rectangle having a different shape from the shape 621 of the second portion closer to the center.
  • the shape 621 of the second portion may be a square or rectangle, and the shape of the second portion 622 may be a parallelogram or trapezoid. In this case, you can see the result of more actively reflecting the barrel distortion.
  • the plurality of figures corresponding to the second part of the filter part may have different numbers of figures distributed along the horizontal line and the vertical line crossing the center of the filter part.
  • the number of figures distributed along the vertical line may be smaller, that is, in the distribution of figures along the vertical line, the figure of the second part may not be disposed in the part 623 close to the outer periphery.
  • the shape of the eyeball may be a shape pattern in consideration of a case in which the shape of the eyeball is an earth ellipse with a greater left-to-right ratio or a case in which more left and right parts of the eye to be examined are imaged due to eyelids or the like.
  • a plurality of figures corresponding to the second part of the filter unit may be arranged in a form extending radially from a central point.
  • the plurality of figures corresponding to the second part of the filter part may not be disposed in a part near the central part 631.
  • a point to guide the patient's gaze is required.
  • the patient's gaze may be guided and an appropriate autofluorescence image may be taken.
  • the part where the figure corresponding to the second part is not disposed may be the central part 631 or a position spaced apart from the central part 631 by a predetermined position in a downward or upward direction. Even if it is focused on the center of the eye due to the structure of the human eye, it can be taken differently in autofluorescence fundus photography. A figure corresponding to the part may not be placed.
  • a configuration of an autofluorescence image evaluation apparatus 200 according to an embodiment of the present disclosure will be described with reference to FIG. 7 .
  • the autofluorescence image evaluation device 200 may analyze an autofluorescence image generated based on an analysis filter in the autofluorescence imaging device to quantitatively evaluate whether there is an abnormality in the crystalline lens of the eye to be examined.
  • the autofluorescence image evaluation device 200 may be implemented as a control computing device that controls the autofluorescence imaging device, a server device of CIS/PACS/HIS, or a single computing device.
  • the autofluorescence image evaluation device 200 may be a computing device capable of loading and analyzing an autofluorescence image, such as a tablet computer, a laptop computer, a PC, or a smart phone.
  • the autofluorescence image evaluation apparatus 200 may include a communication unit 210 that receives an autofluorescence image from a CIS/PACS/HIS server device, an autofluorescence imaging device, or a control computing device of the autofluorescence imaging device.
  • the communication unit 210 may include a wireless communication unit or a wired communication unit.
  • the wireless communication unit may include at least one of a mobile communication module, a wireless Internet module, a short-distance communication module, and a location information module.
  • the mobile communication module transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network constructed according to long term evolution (LTE), which is a communication method for mobile communication.
  • LTE long term evolution
  • the wireless Internet module is a module for wireless Internet access, and may be built-in or external to the self-fluorescence image evaluation device 200, and can be used for WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, Digital Living Network Alliance (DLNA), etc. may be used.
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Wi-Fi Wireless Fidelity
  • DLNA Digital Living Network Alliance
  • the short-distance communication module is a module for transmitting and receiving data through short-distance communication, and includes BluetoothTM, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near Field communication), etc.
  • BluetoothTM BluetoothTM
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near Field communication
  • the location information module is a module for acquiring the location of the self-fluorescent image evaluation device 200, and is a GPS (Global Positioning System) module based on satellite navigation technology, or a location based on wireless communication with a wireless communication base station or wireless access point. It may be a module that obtains.
  • the location information module may include a WiFi module.
  • the autofluorescence image evaluation apparatus 200 may include an interface unit 220 for user input, and the interface unit 220 may include an input unit or an output unit.
  • the input unit includes a user interface (UI) including a microphone and a touch interface 221 for receiving information from a user, and the user interface includes a mouse and keyboard as well as mechanical and electronic interfaces implemented in the device. If it can be done and it is possible to input a user's command, the method and form are not particularly limited.
  • the electronic interface includes a display capable of touch input.
  • the output unit is for conveying information to the user by displaying the output of the self-fluorescent image evaluation device 200 to the outside, and displays 222, LED, and speaker 223 for displaying visual, auditory, or tactile output ) and the like.
  • the self-fluorescence image evaluation apparatus 200 may include a peripheral device interface for data transmission with various types of connected external devices, a memory card port, an external device I/O (Input/Output) port ( port), etc.
  • a peripheral device interface for data transmission with various types of connected external devices, a memory card port, an external device I/O (Input/Output) port ( port), etc.
  • the autofluorescence image evaluation apparatus 200 includes a memory 240 that stores an autofluorescence image received or captured by a camera and stores codes for driving the processor 230 .
  • the autofluorescence image evaluation apparatus 200 analyzes the autofluorescence image loaded by the processor 230 to determine information related to opacity or cataract grade of the eye to be examined.
  • the autofluorescence image analyzed by the autofluorescence image evaluation device 200 the autofluorescence of the eye to be examined, generated by the illumination of the light source, is disposed between the image sensor and the eye to be examined, and passes through a filter including a plurality of regions having different light transmittances. It is an image generated based on the output of the image sensor incident on the image.
  • the autofluorescence image evaluation device 200 receives an autofluorescence image captured based on an analysis filter or at least a part thereof from an autofluorescence imaging device, a control computing device of the autofluorescence imaging device, or a server device of CIS/PACS/HIS ( S310).
  • the autofluorescence image evaluation apparatus 200 may receive only a portion of the autofluorescence image corresponding to the first portion and/or the second portion of the analysis filter including a plurality of portions having different light transmittances of the autofluorescence image.
  • the autofluorescence image evaluation apparatus 200 analyzes the gray level of the second part of the analysis filter and/or the autofluorescence image part corresponding to the first and second parts (S320), and determines the opacity or cataract grade of the eye to be examined. It is possible to determine related information (S330).
  • the autofluorescence image evaluation device 200 When the autofluorescence image evaluation device 200 receives the entire autofluorescence image taken based on the analysis filter, it detects a portion of the autofluorescence image corresponding to the second region of the analysis filter based on a machine learning-based learning model.
  • the learning model may be a shape pattern of the second part of the analysis filter or a learning model learned from an image in which a part corresponding to the second part of the analysis filter is labeled in the autofluorescence image.
  • the autofluorescence image evaluation device 200 When the autofluorescence image evaluation device 200 receives all or part of the autofluorescence image captured based on the analysis filter, the autofluorescence image portion corresponding to the second region of the analysis filter is evaluated based on a machine learning-based learning model.
  • the degree of lens opacity, the degree of cataract progression, or the degree of presbyopia may be determined (S330) by inputting the information to a learning model based on machine learning.
  • the learning model may be a learning model learned with an image in which the entire autofluorescence image or a portion corresponding to the second region of the analysis filter is labeled with the degree of lens opacity, the degree of cataract progression, or the degree of presbyopia progression.
  • the learning model based on machine learning is CNN, R-CNN (Region based CNN), C-RNN (Convolutional Recursive Neural Network), Fast R-CNN, Faster R-CNN, R-FCN (Region based Fully Convolutional Network) ), a neural network having a You Only Look Once (YOLO) or Single Shot Multibox Detector (SSD) structure.
  • the learning model may be implemented as hardware, software, or a combination of hardware and software, and when part or all of the learning model is implemented as software, one or more instructions constituting the learning model may be stored in a memory.
  • the autofluorescence image evaluation apparatus 200 is related to opacity or cataract grade of the eye to be examined based on a result of comparing gray levels of autofluorescence image portions corresponding to the first and second regions of the analysis filter. information can be determined.
  • Images 911, 921, 931, and 941 captured based on the analysis filter (FIGS. 6 (c) and 11), which are embodiments, can be checked.
  • the autofluorescence image evaluation apparatus 200 receives the images 911, 921, 931, and 941 captured based on the analysis filter (FIG. 6(c) and FIG. 11) and receives a portion of the autofluorescence image corresponding to the first region.
  • a difference between the gray level of (913, 923, 933, 943) and the gray level of the portion (913, 923, 933, 943) of the autofluorescence image corresponding to the second region is determined, and the opacity of the eye to be examined is determined based on the difference. or information related to cataract grade can be determined.
  • the brightness due to autofluorescence increases in portions 913, 923, 933, and 943 of the autofluorescence image corresponding to the second region in the subject eye having a higher opacity based on LOCS. .
  • the autofluorescence image evaluation apparatus 200 recognizes the optic nerve or blood vessel in the autofluorescence image by a machine learning-based learning model, and the autofluorescence image corresponding to the first region that does not overlap with the optic nerve or blood vessel region
  • the gray level of the part of the autofluorescence image corresponding to the part and the second part may be analyzed.
  • the learning model may be a model learned with an image in which an optic nerve or blood vessel is labeled in an autofluorescence image.
  • the autofluorescence image evaluation apparatus 200 provides a gray level of pixels that do not overlap with an optic nerve or blood vessel region in a portion of an autofluorescence image corresponding to a first region and a portion of an autofluorescence image corresponding to a second region. can be analyzed.
  • gray levels of a plurality of parts corresponding to the second part in the autofluorescence image may be analyzed.
  • the degree of cataract may be quantitatively evaluated based on a difference in gray scale values in an image portion corresponding to two figures corresponding to the second portion of the analysis filter in the autofluorescence image. That is, in the autofluorescence image, a gray level difference between a region corresponding to a figure located at the center of the filter unit of the analysis filter and a region corresponding to the figure located outside the filter unit may be analyzed.
  • the present disclosure described above can be implemented as computer readable codes in a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. there is Also, the computer may include a processor of each device.
  • the program may be specially designed and configured for the present disclosure, or may be known and usable to those skilled in the art in the field of computer software.
  • Examples of programs may include not only machine language codes generated by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • This invention is the result of research conducted with the support of Korea University.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 개시의 일 실시 예에 따른 자가 형광 촬영 장치는 미리 설정된 광학 경로를 통해 피검안을 조명하는 광원, 광원의 조명에 따라 적어도 일부분이 자가 형광으로 발광된 피검안을 촬영하는 영상 센서 및 영상 센서와 피검안 사이에 배치된 필터를 포함하고, 필터는 서로 광 투과도가 다른 복수의 부위를 포함할 수 있다.

Description

자가 형광 촬영 장치 및 그 동작 방법, 자가 형광 영상 평가 장치 및 그 평가 방법
본 개시는 피검안의 자가 형광(Autofluorescence: AF) 영상을 촬영하는 장치 및 동작 방법, 자가 형광 영상을 평가하는 장치 및 평가 방법에 관한 것으로서, 더욱 상세하게는 안과 질환 또는 노안 진행 정도를 정량적으로 평가 가능한 필터에 기반한 AF 영상 촬영 및 평가에 관한 것이다.
종래 핵성 백내장을 분류하는 기준으로서 Lens Opacities Classification System(LOCS)이 존재한다. LOCS는 수정체를 피질, 핵, 후낭(뒤쪽 수정체낭)의 3부분으로 나누고, 피질과 후낭은 혼탁에 따라 5단계, 핵은 혼탁과 색조에 따라 6단계로 구분한다. 의료진은 세극동 현미경으로 수정체의 단층을 눈으로 직접 관찰한 결과를 LOCS에 기반하여 핵성 백내장을 판단한다. 백내장의 제거 수술은 혼탁이 된 수정체를 제거하고 인공 렌즈를 삽입하는 방법으로 진행된다.
하지만, 백내장의 진행 정도에 따라 백내장의 제거 수술이 필요하지 않은 경우가 있으나, 현재 백내장의 진행 정도는 의료진의 직접적인 관찰에 의해서만 판단되고 있으므로, 의료진마다 판단 결과가 다를 수 있는 문제점이 있고, 수술이 불필요한 환자의 경우에도 백내장의 제거 수술을 받게 될 가능성이 있다. 따라서, 정량적으로 백내장의 진행 정도 또는 노안의 진행 정도를 판단할 수 있는 방법이 필요하다.
또한, 종래 안저 자가 형광(Fundus Autofluorescence: FAF) 촬영 기술이 존재한다. FAF 촬영은 형광 혈관 조영술과 달리 망막을 이미지화하기 위해 형광 염료를 주입할 필요가 없고, 망막 색소 상피(RPE) 내의 리포푸신의 형광 특성을 활용하여 이미지를 생성한다. FAF 영상에서 자가형광(AF)의 비정상적인 패턴은 망막 질환의 표지자로 작용하므로, 종래의 FAF는 망막의 질환 또는 이상 여부를 평가하는데 이용되었고, 수정체 이상 여부의 평가에 이용되지는 않았다.
한국 등록특허공보 제10-1643953호(2016.07.29. 공고)는 환자의 FAF 영상에서, 세기 히스토그램을 결정하고, 대조군과 비교하여 이상 여부를 판단하는 기술이지만, 이 역시 망막 질환을 판별하는 기술이고 노안 진행 정도 또는 백내장 진행 정도 등을 포함하는 수정체 이상의 정량적 평가에 이용되기는 어렵다.
본 개시의 일 실시 예는 수정체 이상 여부의 평가를 위한 필터에 기반하여 피검안의 자가 형광 영상을 촬영하는 장치 및 동작 방법을 제공한다.
본 개시의 다른 실시 예는 수정체 이상의 평가를 위한 필터에 기반하여 촬영된 피검안의 자가 형광 영상을 분석하여 평가하는 장치 및 방법을 제공한다.
본 개시의 다른 실시 예는 수정체 이상의 평가를 위해 피검안의 자가 형광 영상을 촬영하는 장치에 사용 가능한 필터를 제공한다.
본 개시의 일 실시 예는 피검안의 자가 형광을 촬영하는 장치 및 그 동작 방법을 제공한다.
본 개시의 일 실시 예는 피검안의 자가 형광 영상을 정량적으로 평가하는 장치 및 그 평가 방법을 제공한다.
본 개시의 일 실시 예에 따른 자가 형광 촬영 장치는 미리 설정된 광학 경로를 통해 피검안을 조명하는 광원, 광원의 조명에 따라 적어도 일부분이 자가 형광으로 발광된 피검안을 촬영하는 영상 센서 및 영상 센서와 피검안 사이에 배치된 필터를 포함하고, 필터는 서로 광 투과도가 다른 복수의 부위를 포함할 수 있다.
본 개시의 일 실시 예에 따른 자가 형광 영상 평가 장치는 프로세서, 및 프로세서와 전기적으로 연결되고, 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고, 메모리는 프로세서로 하여금 피검안의 자가 형광 영상을 분석하여 피검안의 혼탁도 또는 백내장 등급과 관련된 정보를 결정하도록 야기하는 코드를 저장하고, 자가 형광 영상은 광원의 조명에 의해서 발생한 피검안의 자가 형광이 영상 센서와 피검안 사이에 배치되고, 서로 광 투과도가 다른 복수의 부위를 포함하는 필터를 통과하여 입사한 영상 센서의 출력에 기반하여 생성된 영상일 수 있다.
본 개시의 일 실시 예에 따른 자가 형광 촬영 장치의 동작 방법은 프로세서가, 미리 설정된 광학 경로를 통해 피검안을 조명하도록 광원을 발광시키는 단계 및 프로세서가 영상 센서를 제어하여 광원의 조명에 따라 적어도 일부분이 자가 형광으로 발광된 피검안을 촬영하는 단계를 포함하고, 피검안을 촬영하는 단계는, 서로 광 투과도가 다른 복수의 부위를 포함하는 필터를 통과하고 영상 센서에 입사한 피검안의 자가 형광에 기반하여 영상 센서가 출력 신호를 생성하는 단계를 포함한다.
본 개시의 일 실시 예에 따른 자가 형광 영상 평가 장치의 평가 방법은 프로세서가 피검안의 자가 형광 영상의 적어도 일부를 제공 받는 단계 및 프로세서가 자가 형광 영상을 분석하여 피검안의 혼탁도 또는 백내장 등급과 관련된 정보를 결정하는 단계를 포함하고, 자가 형광 영상은 광원의 조명에 의해서 발생한 피검안의 자가 형광이 영상 센서와 피검안 사이에 배치되고, 서로 광 투과도가 다른 복수의 부위를 포함하는 필터를 통과하여 입사한 영상 센서의 출력에 기반하여 생성된 영상일 수 있다.
본 개시의 실시 예에 따른 자가 형광 촬영 장치 및 그 동작 방법은, 수정체 이상 여부를 정량적으로 판단 가능한 자가 형광 영상을 촬영할 수 있다.
본 개시의 실시 예에 따른 자가 형광 영상 평가 장치 및 평가 방법은 자가 형광 영상에 기반하여 정량적으로 노안 진행 정도 또는 백내장 진행 정도 등을 포함하는 수정체 이상 여부를 평가할 수 있다.
본 개시의 실시 예들은 환자들의 수정체 이상 여부를 정량적으로 평가 가능하고 불 필요한 백내장 수술들을 방지 가능함으로써 환자의 불편을 저감시킬 수 있고, 불 필요한 수술 비용을 절감할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 자가 형광 촬영 장치가 수정체 이상 여부 평가를 위한 필터를 이용하여 영상을 촬영하는 환경을 나타낸 도면이다.
도 2는 본 개시의 일 실시 예에 따른 자가 형광 촬영 장치의 구성을 개략적으로 도시한 블록도이다.
도 3 및 도 4는 본 개시의 일 실시 예에 따른 자가 형광 촬영 장치의 동작 방법을 설명하기 위한 순서도이다.
도 5 및 도 6은 본 개시의 일 실시 예에 따른 수정체 이상 여부 평가를 위한 필터의 실시 예들을 설명하는 도면이다.
도 7은 본 개시의 일 실시 예에 따른 자가 형광 영상 평가 장치의 구성을 개력적으로 도시한 불록도이다.
도 8은 본 개시의 일 실시 예에 따른 자가 형광 영상 평가 장치의 평가 방법을 설명하기 위한 순서도이다.
도 9 및 도 10은 본 개시의 일 실시 예에 따른 자가 형광 영상 평가 장치의 평가 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
도 1 및 도 2를 참조하여 본 개시의 일 실시 예에 따른 자가 형광 촬영 장치 장치를 구동하기 위한 환경과 구성을 설명한다.
본 개시의 실시 예에 따른 자가 형광 촬영 장치(100)는 카메라가 포함된 본체(100a)의 내부에 수정체 이상의 평가를 위한 필터(이하에서는 '분석 필터'로 지칭한다.)(150)를 포함하거나 본체(100a)의 외부에 배치되도록 설정할 수 있다. 또한, 다른 실시 예에서 분석 필터(150)를 안경 형태로 구현하고 자가 형광 촬영 장치(100)의 영상 촬영 시 피검자가 안경 형태의 분석 필터(150)를 착용한 상태에서 자가 형광 영상을 촬영할 수 있다.
자가 형광 촬영 장치(100)는 여기광을 발생시키는 광원을 발광시켜 여기광을 미리 설정된 광학 경로를 통하도록 가이드하여 환자의 피검안을 조명하도록 설정할 수 있다.
자가 형광 촬영 장치(100)는 여기광에 의하여 피검안의 자가 형광으로 발광된 자가 형광(Autofluorescence: AF)이 입사되는 영상 센서(140)를 포함하고, 분석 필터는 영상 센서(140)와 피검안 사이에 배치될 수 있다. 분석 필터는 본체(100a)의 내부 또는 외부에 배치되도록 설정될 수 있다. 외부에 배치되는 실시 예는, 안경 형태의 분석 필터(150)를 피검자가 착용하는 것을 포함한다. 즉, 여기광에 의하여 피검안에서 발생한 자가 형광은 분석 필터(150)를 통과하여 영상 센서(140)에 입사될 수 있다.
자가 형광은 피검안의 망막 색소 상피(RPE)의 리포퓨신 뿐만 아니라 수정체에서 발생하는 것일 수 있다.
즉, 도 9와 같은 혼탁도가 서로 다른 수정체를 본 발명의 일 실시 예에 따른 분석 필터에 기반하여 자가 형광 영상을 촬영했을 때, 수정체의 혼탁에 의하여 망막의 자가 형광이 차단될 것이라는 일반적인 예상과 달리 본 발명자들은 수정체의 자가 형광에 의해 영상 일부분의 명도 증가를 확인하였고, 그 결과 본 발명의 일 실시 예에 따른 분석 필터의 도형 패턴에 대응하는 자가 형광 영상의 그레이 레벨 변화에 기반하여 수정체 이상 여부를 정량적으로 판단할 수 있다. 이는 혼탁에 의해 가려지는 망막의 자가 형광 일부, 산란, 굴절 등으로 영상 센서(140)에 입사되는 망막의 자가 형광 일부 및 수정체의 자가 형광의 산란에 의한 복합적인 현상으로 판단된다. 따라서, 본 발명의 일 실시 예에 따른 분석 필터에 기반하여 수정체의 혼탁과 관련된 백내장 진행 정도, 노안 진행 정도를 정량적으로 평가할 수 있다.
자가 형광 촬영 장치(100)의 카메라는 영상 센서(CCD 또는 CMOS)(140)를 포함할 수 있고, 피검안으로부터 자가 형광을 촬영 가능하도록 시야(Field of View) 및 초점을 조절 가능하다.
장치는 광원에서 발광한 광을 특정 파장의 빛만 통과하도록 설정된 제1 필터를 통과하여 피검안으로 가이드 하도록 미러, 렌즈 등을 포함하는 광학계(130)를 포함할 수 있다.
제1 필터는 자가 형광을 발생시키기 위하여 특정 세포를 여기시키는 파장 대역(예를 들어, 약 470 nm 또는 그 근처의 파장)에 상응하지 않는 파장을 감소시키도록 선택될 수 있다. 하지만, 본 발명의 실시 예들은 여기 파장의 특정 대역에 한정되지 않으며, 자가 형광 촬영 장치의 다른 구성에 따른 피검안에 유도되는 여기광의 다른 파장 대역도 무관하다. 광원이 특정 대역의 빛만 발생하도록 설정된 경우 제1 필터는 생략될 수 있다.
여기광에 의하여 피검안에서 발생한 자가 형광은 광학계(130)의 렌즈, 미러 등을 통과하여 카메라의 영상 센서(140)에 입사할 수 있다. 일 실시 예에서, 자가 형광 촬영 장치(100)는 자가 형광에서 원하지 않는 대역의 광 또는 자가 형광이 아닌 광을 제거하기 위한 제2 필터를 포함할 수 있다.
분석 필터(150)는 피검안에서 발생한 자가 형광이 영상 센서(140)에 입사하기 전에 통과하게 되며 제2 필터의 전 또는 후에 배치되도록 설정될 수 있다.
분석 필터(150)가 본체(100a)의 외부에 배치되는 경우, 환자의 이마 및 턱을 거치하는 거치대에 결착 가능한 구조를 포함하거나, 촬영 모드에 따라 선택적으로 분석 필터(150)를 사용 가능하도록 카메라 앞 부분에 회전식으로 배치 가능한 구조(예를 들어, 분석 필터(150)가 장착된 휠 및 휠 구동 모터)를 포함할 수 있다.
분석 필터(150)는 광 투과도가 서로 다른 복수의 부위를 포함할 수 있고, 아래에서 도 5 및 도 6을 참조로 하여 자세히 설명한다.
자가 형광 촬영 장치(100)는 영상 센서(140)의 출력에 기반하여 생성된 자가 형광 영상을 메모리(120)에 저장하거나 통신 모듈을 통해 연결된 외부 장치에 전송할 수 있다. 자가 형광 촬영 장치(100)는 광원의 파장, 밝기 또는 생성된 자가 형광 영상의 후처리를 수행하는 프로세서(110)를 포함할 수 있다. 다른 실시 예에서, 자가 형광 촬영 장치(100)는 외부의 제어 컴퓨팅 장치와 연결되고, 제어 컴퓨팅 장치가 자가 형광 촬영 장치(100)의 설정 또는 촬영된 자가 형광 영상의 후처리를 수행할 수 있다. 본 명세서에서 자가 형광 촬영 장치(100)의 프로세서(110)는 본체(100a)와 별개로 구현된 컴퓨팅 장치를 포함하는 개념으로 이해될 수 있다.
제어 컴퓨팅 장치는 예를 들면, 태블릿 컴퓨터, PC, 랩탑 컴퓨터, 스마트폰 등을 포함할 수 있다.
통신 모듈은 아래의 자가 형광 영상 평가 장치(200)의 통신부(210)의 일부 또는 전부와 유사한 구성을 포함할 수 있고, 본체(100a)는 제어 컴퓨팅 장치와 케이블, LAN, Wi-Fi, 근거리 무선 통신 등의 다양한 방식으로 연결될 수 있다.
도 2 및 도 3을 참조하여 본 개시의 일 실시 예에 따른 자가 형광 촬영 장치(100)의 동작 방법을 설명한다.
자가 형광 촬영 장치(100)는 피검안의 자가 형광 발생이 가능한 파장 대역을 포함하는 광을 발광시키도록 광원을 제어한다(S110).
광원에서 발생되는 광은 자가 형광을 발생시키기 위하여 특정 세포를 여기시키는 파장 대역(예를 들어, 약 470 nm 또는 그 근처의 파장)을 포함할 수 있고, 또는 해당 파장 대역만 포함할 수 있다.
광원에서 발광된 광은 광 필터, 미러, 렌즈 등의 광학계(130)를 통과하여 피검안을 조명하도록 가이드될 수 있다. 프로세서(110)는 광학계(130)의 구성 요소들을 각도, 위치 등을 제어할 수 있다.
광원에서 발광되어 광학계(130)를 거쳐 피검안으로 가이드 된 광은 피검안의 망막 세포 또는 수정체 등에서 자가 형광을 발생시키고, 발생된 자가 형광은 분석 필터(150)를 통과하여 영상 센서(140)에 입사한다(S120).
자가 형광은 일 실시 예에서, 분석 필터(150) 통과 이전 또는 이후에 미러, 광 필터, 렌즈 등의 광학계(130)를 통과할 수 있다.
영상 센서(140)는 입사한 자가 형광에 기반하여 전기적 신호를 출력하고, 프로세서(110)는 영상 센서(140)의 출력에 기반하여 자가 형광 영상을 생성한다(S130).
일 실시 예에서, 자가 형광 촬영 장치(100)는 본 발명의 일 실시 예에 따른 분석 필터(150)에 기반하여 생성된 자가 형광 영상을 종래의 일반적인 자가 형광 영상과 구분하기 위한 영상의 종류 등을 의미하는 정보를 자가 형광 영상의 헤더(header) 정보 등에 포함할 수 있다(S140). 또는, DICOM(Digital Imaging and Communications in Medicine)에 기반하여 PACS(Picture Archiving and Communication System) 서버 장치로 본 발명의 실시 예에 따른 분석 필터(150)에 기반한 자가 형광 촬영 장치(100)가 SCU로서 동작하여 영상을 전송하는 것을 의미하는 사용자 정의 메시지를 생성할 수 있다.
자가 형광 촬영 장치(100)는 본 발명의 일 실시 예에 따른 분석 필터(150)에 기반하여 생성된 자가 형광 영상을 제어 컴퓨팅 장치에 저장하거나, CIS (Clinical Information System), PACS, HIS(Hospital Information System) 서버 장치에 전송할 수 있다.
일 실시 예에서, 자가 형광 촬영 장치(100)는 본 발명의 일 실시 예에 따른 분석 필터(150)에 기반한 자가 형광 영상을 촬영하기 위하여 분석 필터(150)의 위치를 확인(S210)하고, 자가 형광 촬영 장치(100)의 촬영 모드를 확인(S220)한 후, 이를 비교한 결과에 기반하여 경고 메시지 또는 확인 메시지를 디스플레이, 소리, 경고등 등으로 출력할 수 있다(S230).
분석 필터(150)가 휠에 의하여 로터리 식으로 회전하여 위치하는 경우, 자가 형광 촬영 장치(100)는 회전에 따른 위치를 판단하는 센서, 거치대에 착탈 가능한 구조로 결합된 경우 결합 여부를 판단하는 센서에 의해 분석 필터(150)의 위치(착탈 여부를 포함한다)를 판단할 수 있다. 또는, 자가 형광 촬영 장치(100)는 분석 필터(150)에 장착된 RF 칩의 출력을 인식하여 위치(착탈 여부 포함)를 판단할 수 있다. 분석 필터(150)가 안경 형태로 구현되는 경우, 인체 감지 센서(적외선 등) 등에 기반한 피검자 착용 여부를 판단할 수 있다.
자가 형광 촬영 장치(100)는 본 발명의 실시 예에 따른 분석 필터(150)에 기반하여 자가 형광을 촬영하는 모드 이외에도 종래의 자가 형광을 촬영하는 모드에서 구동 가능하도록 구현될 수 있고, 이 경우 촬영 모드를 선택하는 기계적 인터페이스(예를 들어, 도 1의 회전 레버(160)) 또는 본체(150a)의 디스플레이나 제어 컴퓨팅 장치의 전기적 인터페이스를 포함할 수 있다. 따라서, 자가 형광 촬영 장치(100)는 본 발명의 실시 예에 따른 분석 필터(150)에 기반하여 자가 형광을 촬영하는 모드인지 확인한 후, 종래의 자가 형광을 촬영하는 모드로 설정되었음에도 불구하고 분석 필터(150)가 촬영 위치에 있거나 그 반대의 경우에 경고 메시지를 출력할 수 있다. 또는, 촬영 모드에 무관하게 분석 필터(150)가 촬영 위치에 배치되는 경우 분석 필터(150)가 활성화 되었음을 알리는 메시지를 출력할 수 있다.
도 5 및 도 6을 참조하여 본 개시의 일 실시 예에 따른 분석 필터(150)의 실시 예들을 설명한다.
분석 필터(150)는 환자의 이마 및 턱을 거치하는 거치대에 결착하거나 본체(100a)에 결합 가능한 외주부(510) 및 피검안에서 발생한 자가 형광이 통과하는 필터부(520)를 포함할 수 있다. 필터부(520)는 서로 광 투과도가 다른 복수의 부위(521, 522, 523)를 포함할 수 있다. 본 명세서의 광 투과도는 광의 통과 이후에 산란, 굴절으로 인해 광도 또는 다른 빛의 성격이 변화하는 것을 포함하는 개념이다.
예를 들어, 필터부(520)는 투명한 제1 부위(521) 및 제1 부위(521)보다 광 투과도가 낮은 복수의 도형이 형성된 제2 부위(522, 523)를 포함할 수 있다.
제1 부위는(521) 투명하거나, 불 투명하지만 제2 부위(522, 523) 보다 광 투과도가 높을 수 있다. 필터부(520)는 유리 또는 플라스틱으로 구성되고 제2 부위(522, 523)에 색상 또는 재질이 다른 필름이 부착되거나 제2 부위(522, 523)의 표면 거칠기(roughness)를 변화시키는 형태로 구현될 수 있다. 유리인 경우 제2 부위(522, 523)는 마찰 또는 부식에 의한 간유리(frosted glass)일 수 있다. 유리로 분석 필터(150)를 구현하는 경우 제2 부위(522, 523)는 유리 부식액 또는 레이저 가공을 이용한 에칭 유리, 모래 또는 금강사의 공압 분사를 수행하는 샌드 블래스트로 구현될 수 있다. 도 11은 본 발명의 일 실시 예인 분석 필터(150)를 레이저 가공 방법으로 도 6 (c)의 형태로 구현하여 인쇄물 상단에 위치시킨 후 촬영한 사진이다. 도 11에서 확인 가능한 것처럼, 제2 부위의 광 투과도가 제1 부위의 광 투과도보다 낮은 것을 알 수 있다.
일 실시 예에서, 분석 필터(150)의 제2 부위(522)는 복수의 도형 패턴으로 구현될 수 있고, 복수의 링(ring) 형상 및 복수의 원(circle) 형상의 도형일 수 있다. 링 형상인 경우 링 안쪽의 원형 내부는 제1 부위일 수 있다. 아래에서 자세히 설명하겠지만, 자가 형광 영상 평가 장치(200)는 분석 필터의 제1 부위(521) 및/또는 제2 부위(522, 523)에 대응하는 자가 형광 영상의 부분에서 그레이 레벨(gray level)을 측정한 결과에 기반하여 수정체의 이상 여부를 평가할 수 있다. 링 형상의 도형인 경우 링 안쪽의 원형 내부의 그레이 레벨과 링 부분의 그레이 레벨을 각각 제1 부위, 제2 부위로서 자가 형광 영상을 분석할 수 있다. 따라서, 링 형상의 도형인 경우 도형 인식을 통해 그레이 레벨을 분석하기 위한 위치를 용이하게 특정할 수 있다.
일 실시 예에서, 분석 필터(150)의 광 투과도가 낮은 복수의 도형 패턴은 서로 이격되어 배치되고, 복수의 도형들은 필터부에서 상하 대칭 또는 좌우 대칭되는 형태로 배치될 수 있다.
도 6을 참조하여 분석 필터(150)의 다양한 실시 예들을 설명한다. 도 6은 분석 필터(150)의 외주부를 생략하고 필터부만 도시한 실시 예들이다.
도 6(a)를 참조하면, 분석 필터(150)의 제2 부위(611, 612)는 내부가 균일한 광 투과도를 갖고 다른 부위(제1 부위)보다 낮은 광 투과도를 갖는 복수의 사각 형상의 도형일 수 있다. 또한, 필터부의 중심에 근접한 제2 부위(611)의 도형보다 중심으로부터 먼(주변부에 위치한, 외주부에 근접한) 제2 부위(612)의 도형의 면적이 더 클 수 있다.
일 실시예에서, 중심으로부터 먼 제2 부위(612)의 도형의 가로 비율이 더 클 수 있다. 이 경우, 피검안을 스캔하는 방식의 자가 형광 영상 장치의 경우 좌우 비율이 더 큰 안구의 형태 또는 안구의 구형 형상 또는 렌즈의 형태에 의한 배럴 디스토션(barrel distortion)에 적합하게 자가 형광 영상에서 제2 부위에 대응하는 영상의 부분들이 동일한 크기로 영상에 표시될 수 있다.
도 6(b)를 참조하면, 중심으로부터 먼 제2 부위(622)의 도형은 중심으로부터 가까운 제2 부위의 도형(621)과 다른 형태의 사각형일 수 있다. 예를 들어, 제2 부위의 도형(621)은 정사각형 또는 직사각형이고 제2 부위(622)의 도형은 평행 사변형, 사다리꼴 사각형일 수 있다. 이 경우 배럴 디스토션을 더 적극적으로 반영하는 결과를 확인할 수 있다.
도 6(a)~(c)를 참조하면, 일 실시 예에서, 필터부의 제2 부위에 해당하는 복수의 도형들은, 필터부의 중앙을 가로지르는 가로선과 세로선에 따른 도형의 분포 개수가 서로 다를 수 있고, 예를 들어, 세로선에 따른 도형의 분포 개수가 더 적을 수 있고, 즉 세로선에 따른 도형의 분포는 외주부에 근접한 부위(623)에 제2 부위의 도형이 배치되지 않을 수 있다. 안구의 형태가 좌우 비율이 더 큰 지구 타원 형태의 경우거나 눈꺼풀 등으로 피검안의 좌우 부위가 더 많이 영상화되는 경우를 고려한 도형 패턴일 수 있다.
도 6(c)를 참조하면, 필터부의 제2 부위에 해당하는 복수의 도형들은 중심점으로부터 방사 형태로 뻗어 나가는 형태로 도형이 배치될 수 있다.
도 6(c)를 참조하면, 필터부의 제2 부위에 해당하는 복수의 도형들은 중심부(631) 근처 일부에는 배치되지 않을 수 있다. 분석 필터(150)를 이용하여 자가 형광 영상을 촬영하는 경우 환자의 시선을 유도할 지점이 필요하다. 따라서, 중심부(631) 근처 일부에 제2 부위에 해당하는 복수의 도형을 배치하지 않음으로써 환자의 시선을 유도하고 적절한 자가 형광 영상을 촬영할 수 있다. 일 실시 예에서, 제2 부위에 해당하는 도형이 배치되지 않는 부위는 중심부(631) 위치, 또는 중심부(631)로부터 아래쪽 방향 또는 위쪽 방향으로 소정의 위치만큼 이격된 위치일 수 있다. 사람의 안구 구조상 정 중앙을 집중하여 보아도, 자가 형광 안저 사진에서 그와 다르게 촬영될 수 있으므로, 이를 반영하여 패턴의 중심부(631)로부터 아래쪽 방향 또는 위쪽 방향으로 소정의 위치만큼 이격한 위치에 제2 부위에 해당하는 도형을 배치하지 않을 수 있다.
도 7을 참조하여 본 개시의 일 실시 예에 따른 자가 형광 영상 평가 장치(200)의 구성을 설명한다.
자가 형광 영상 평가 장치(200)는 자가 형광 촬영 장치에서 분석 필터에 기반하여 생성한 자가 형광 영상을 분석하여 피검안의 수정체 이상 여부를 정량적으로 평가할 수 있다.
자가 형광 영상 평가 장치(200)는 자가 형광 촬영 장치의 제어를 수행하는 제어 컴퓨팅 장치, CIS/PACS/HIS의 서버 장치이거나 단독 컴퓨팅 장치로 구현될 수 있다. 자가 형광 영상 평가 장치(200)는 태블릿 컴퓨터, 랩탑 컴퓨터, PC, 스마트폰 등 자가 형광 영상을 로딩(loading)하여 분석 가능한 컴퓨팅 장치일 수 있다.
자가 형광 영상 평가 장치(200)는 CIS/PACS/HIS의 서버 장치, 자가 형광 촬영 장치 또는 자가 형광 촬영 장치의 제어 컴퓨팅 장치로부터 자가 형광 영상을 수신하는 통신부(210)를 포함할 수 있다.
통신부(210)는 무선 통신부 또는 유선 통신부를 포함할 수 있다.
무선 통신부는, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
이동통신 모듈은, 이동통신을 위한 통신방식인 LTE(Long Term Evolution) 등에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈로서, 자가 형광 영상 평가 장치(200)에 내장되거나 외장될 수 있고, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance) 등이 사용될 수 있다.
근거리 통신 모듈은 근거리 통신을 통하여 데이터 송수신을 위한 모듈로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등을 사용할 수 수 있다.
위치정보 모듈은 자가 형광 영상 평가 장치(200)의 위치를 획득하기 위한 모듈로서, 위성 항법 기술에 기반한 GPS(Global Positioning System) 모듈이거나, 무선 통신 기지국, 무선 액세스 포인트와의 무선 통신에 기반하여 위치를 획득하는 모듈일 수 있다. 위치정보 모듈은 WiFi 모듈을 포함할 수 있다.
일 실시 예에서, 자가 형광 영상 평가 장치(200)는 사용자의 입력을 위한 인터페이스부(220)를 포함할 수 있고 인터페이스부(220)는 입력부 또는 출력부를 포함할 수 있다.
입력부는 마이크로폰, 사용자로부터 정보를 입력 받기 위한 터치 인터페이스(221)를 포함하는 사용자 인터페이스(UI: User Interface)를 포함하고, 사용자 인터페이스는 마우스, 키보드뿐만 아니라 장치에 구현된 기계식, 전자식 인터페이스 등을 포함할 수 있고 사용자의 명령을 입력 가능한 것이라면 특별히 그 방식과 형태를 한정하지 않는다. 전자식 인터페이스는 터치 입력 가능한 디스플레이를 포함한다.
출력부는 자가 형광 영상 평가 장치(200)의 출력을 외부에 표출하여 사용자에게 정보를 전달하기 위한 것으로서, 시각적 출력, 청각적 출력 또는 촉각적 출력을 표출하기 위한 디스플레이(222), LED, 스피커(223) 등을 포함할 수 있다.
자가 형광 영상 평가 장치(200)는 다양한 종류의 연결된 외부 기기와의 데이터 전송을 위한 주변 장치 인터페이스부를 포함할 수 있고, 메모리 카드(memory card) 포트, 외부 장치 I/O(Input/Output) 포트(port) 등을 포함할 수 있다.
자가 형광 영상 평가 장치(200)는 수신한 또는 카메라로 촬영한 자가 형광 영상을 저장하고, 프로세서(230)를 구동하기 위한 코드를 저장하는 메모리(240)를 포함한다.
자가 형광 영상 평가 장치(200)는 프로세서(230)에서 로딩한 자가 형광 영상을 분석하여 피검안의 혼탁도 또는 백내장 등급과 관련된 정보를 결정한다. 자가 형광 영상 평가 장치(200)에서 분석하는 자가 형광 영상은 광원의 조명에 의해서 발생한 피검안의 자가 형광이 영상 센서와 피검안 사이에 배치되고, 서로 광 투과도가 다른 복수의 부위를 포함하는 필터를 통과하여 입사한 영상 센서의 출력에 기반하여 생성된 영상이다.
도 8을 참조하여 본 개시의 일 실시 예에 따른 자가 형광 영상 평가 장치(200)의 평가 방법을 설명한다.
자가 형광 영상 평가 장치(200)는 자가 형광 촬영 장치, 자가 형광 촬영 장치의 제어 컴퓨팅 장치 또는 CIS/PACS/HIS의 서버 장치로부터 분석 필터에 기반하여 촬영된 자가 형광 영상 또는 적어도 그 일부를 제공 받는다(S310). 자가 형광 영상 평가 장치(200)는 자가 형광 영상의 서로 광 투과도가 다른 복수의 부위를 포함하는 분석 필터의 제1 부위 및/또는 제2 부위에 대응되는 자가 형광 영상의 일부만을 제공 받을 수도 있다.
자가 형광 영상 평가 장치(200)는 분석 필터의 제2 부위 및/또는 제1 부위와 제2 부위에 대응되는 자가 형광 영상 부분의 그레이 레벨을 분석(S320)하여, 피검안의 혼탁도 또는 백내장 등급과 관련된 정보를 결정(S330)할 수 있다.
자가 형광 영상 평가 장치(200)는 분석 필터에 기반하여 촬영된 자가 형광 영상 전체를 제공 받은 경우, 머신 러닝 기반의 학습 모델에 기반하여 분석 필터의 제2 부위에 대응하는 자가 형광 영상 부분을 검출할 수 있다. 이 경우, 학습 모델은 분석 필터의 제2 부위의 도형 패턴으로 학습되거나 자가 형광 영상에서 분석 필터의 제2 부위에 대응되는 부분을 레이블링(labeling)한 영상으로 학습된 학습 모델일 수 있다.
자가 형광 영상 평가 장치(200)는 분석 필터에 기반하여 촬영된 자가 형광 영상 전체 또는 일부를 제공 받은 경우, 머신 러닝 기반의 학습 모델에 기반하여 분석 필터의 제2 부위에 대응하는 자가 형광 영상 부분을 머신 러닝 기반의 학습 모델에 입력하여 수정체 혼탁 정도, 백내장 진행 정도 또는 노안 진행 정도를 결정(S330) 할 수 있다. 이 경우, 학습 모델은 자가 형광 영상의 전체 또는 분석 필터의 제2 부위에 대응되는 부분을 수정체 혼탁 정도, 백내장 진행 정도 또는 노안 진행 정도로 레이블링한 영상으로 학습된 학습 모델일 수 있다.
머신 러닝 기반의 학습 모델은 학습 모델은 CNN 또는 R-CNN(Region based CNN), C-RNN(Convolutional Recursive Neural Network), Fast R-CNN, Faster R-CNN, R-FCN(Region based Fully Convolutional Network), YOLO(You Only Look Once) 또는 SSD(Single Shot Multibox Detector)구조의 신경망을 포함할 수 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있으며, 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어는 메모리에 저장될 수 있다.
일 실시 예에서, 자가 형광 영상 평가 장치(200)는 분석 필터의 제1 부위와 제2 부위에 대응되는 자가 형광 영상 부분의 그레이 레벨을 비교한 결과에 기반하여 피검안의 혼탁도 또는 백내장 등급과 관련된 정보를 결정할 수 있다.
일 실시 예에서, 도 9를 참조하면, LOCS 기준에 의해 혼탁도 등급이 각각 2, 3, 4, 6 등급의 피검안을 컬러로 촬영한 영상(910, 920, 930, 940)과 본 발명의 일 실시 예인 분석 필터(도 6 (c), 도 11)에 기반하여 촬영한 영상(911, 921, 931, 941)을 확인할 수 있다. 자가 형광 영상 평가 장치(200)는 분석 필터(도 6 (c), 도 11)에 기반하여 촬영한 영상(911, 921, 931, 941)을 제공 받아 제1 부위에 대응되는 자가 형광 영상의 부분(913, 923, 933, 943)의 그레이 레벨과 제2 부위에 대응되는 자가 형광 영상의 부분(913, 923, 933, 943)의 그레이 레벨 차이를 결정하고, 그 차이에 기반하여 피검안의 혼탁도 또는 백내장 등급과 관련된 정보를 결정할 수 있다.
도 10은 제2 부위에 대응되는 자가 형광 영상의 부분(913, 923, 933, 943)에서 제1 부위에 대응되는 자가 형광 영상의 부분(913, 923, 933, 943) 사이의 그레이 레벨 변화를 도시한 도면이다.
도 10을 참조하면, LOCS를 기준으로 혼탁도가 높은 피검안일수록 제2 부위에 대응되는 자가 형광 영상의 부분(913, 923, 933, 943)에서 자가 형광으로 인한 밝기가 증가되는 것을 확인할 수 있다.
일 실시 예에서, 자가 형광 영상 평가 장치(200)는 자가 형광 영상에서 머신 러닝 기반의 학습 모델에 의해 시신경이나 혈관을 인식하고, 시신경 또는 혈관 부위와 중첩되지 않는 제1 부위에 대응되는 자가 형광 영상의 부분 및 제2 부위에 대응되는 자가 형광 영상의 부분의 그레이 레벨을 분석할 수 있다. 이 경우, 학습 모델은 자가 형광 영상에서 시신경 또는 혈관이 레이블링된 영상으로 학습된 모델일 수 있다.
다른 실시 예에서, 자가 형광 영상 평가 장치(200)는 제1 부위에 대응되는 자가 형광 영상의 부분 및 제2 부위에 대응되는 자가 형광 영상의 부분에서 시신경 또는 혈관 부위와 중첩되지 않는 픽셀들의 그레이 레벨을 분석할 수 있다.
다른 실시 예에서는 자가 형광 영상에서 제2 부위에 대응되는 복수의 부분의 그레이 레벨을 분석할 수 있다. 예를 들어, 자가 형광 영상에서 분석 필터의 제2 부위에 해당하는 두 개의 도형에 대응되는 영상 부분에서 그레이 스케일 밸류 값의 차이에 기반하여 백내장 정도를 정량적으로 평가할 수 있다. 즉, 자가 형광 영상에서 분석 필터의 필터부 중심에 위치한 도형에 대응하는 부위와 필터부 외곽에 위치한 도형에 대응하는 부위의 그레이 레벨 차이를 분석할 수 있다.
전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 각 장치의 프로세서를 포함할 수도 있다.
한편, 상기 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 인자(factor)에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.
이 발명은 고려 대학교의 지원을 받아 수행된 연구 결과이다.
연구지원: 고려 대학교
과제번호: K2107901
과제명: 백내장 및 각막혼탁으로 인한 시기능 장애의 완화를 위한 홀로그래피 기반의 광학기술 개발

Claims (19)

  1. 미리 설정된 광학 경로를 통해 피검안을 조명하는 광원;
    상기 광원의 조명에 따라 적어도 일부분이 자가 형광으로 발광된 상기 피검안을 촬영하는 영상 센서; 및
    상기 영상 센서와 상기 피검안 사이에 배치된 필터를 포함하고,
    상기 필터는 서로 광 투과도가 다른 복수의 부위를 포함하는,
    자가 형광 촬영 장치.
  2. 제1 항에 있어서,
    상기 영상 센서는,
    상기 광원의 조명에 의해서 발생한 상기 피검안의 자가 형광이 상기 필터를 통과하여 입사하도록 설정된,
    자가 형광 촬영 장치.
  3. 제1 항에 있어서,
    상기 필터는,
    제1 부위 및 상기 제1 부위보다 광 투과도가 낮은 복수의 도형이 형성된 제2 부위를 포함하는,
    자가 형광 촬영 장치.
  4. 제3 항에 있어서,
    상기 제2 부위는 서로 이격되어 배치된 복수의 상기 도형을 포함하고, 복수의 상기 도형은 상하 대칭 또는 좌우 대칭되는 형태인,
    자가 형광 촬영 장치.
  5. 제3 항에 있어서,
    상기 제2 부위는 복수의 링(ring) 형상 및 내부가 균일한 광 투과도를 갖는 복수의 원(circle) 형상의 상기 도형을 포함하는,
    자가 형광 촬영 장치.
  6. 제3 항에 있어서,
    상기 제2 부위는 내부가 균일한 광 투과도를 갖는 복수의 사각 형상의 상기 도형을 포함하는,
    자가 형광 촬영 장치.
  7. 제6 항에 있어서,
    복수의 사각 형상의 상기 도형 중 적어도 두 개는 서로 면적이 다른,
    자가 형광 촬영 장치.
  8. 제7 항에 있어서,
    복수의 사각 형상의 상기 도형 중 적어도 일부는 상기 필터의 중심부에 근접한 상기 도형보다 주변부에 근접한 상기 도형의 면적이 더 넓은,
    자가 형광 촬영 장치.
  9. 제6 항에 있어서,
    복수의 사각 형상의 상기 도형 중 적어도 두 개는 가로와 세로의 비율이 서로 다른,
    자가 형광 촬영 장치.
  10. 프로세서; 및
    상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
    상기 메모리는 상기 프로세서로 하여금 피검안의 자가 형광 영상을 분석하여 상기 피검안의 혼탁도 또는 백내장 등급과 관련된 정보를 결정하도록 야기하는 코드를 저장하고,
    상기 자가 형광 영상은 광원의 조명에 의해서 발생한 상기 피검안의 자가 형광이 영상 센서와 상기 피검안 사이에 배치되고, 서로 광 투과도가 다른 복수의 부위를 포함하는 필터를 통과하여 입사한 상기 영상 센서의 출력에 기반하여 생성된 영상인,
    자가 형광 영상 평가 장치.
  11. 제10 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 자가 형광 영상에서 상기 필터의 서로 광 투과도가 다른 복수의 부위에 대응하는 복수의 영상 부위의 그레이 레벨을 비교한 결과에 기반하여 상기 혼탁도 또는 백내장 등급과 관련된 정보를 결정하도록 야기하는 코드를 더 저장하는,
    자가 형광 영상 평가 장치.
  12. 제11 항에 있어서,
    상기 자가 형광 영상은 상기 필터의 제1 부위 및 상기 제1 부위보다 광 투과도가 낮은 복수의 도형이 형성된 제2 부위에 각각 대응하는 제1 영상 부위 및 제2 영상 부위를 포함하고,
    상기 메모리는 상기 프로세서로 하여금 상기 제1 영상 부위 및 상기 제2 영상 부위의 그레이 레벨을 비교한 결과에 기반하여 상기 혼탁도 또는 백내장 등급과 관련된 정보를 결정하도록 야기하는 코드를 더 저장하는,
    자가 형광 영상 평가 장치.
  13. 제12 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 자가 형광 영상에서 시신경 또는 혈관을 인식하고, 상기 시신경 또는 상기 혈관이 존재하지 않는 상기 제1 영상 부위 및 상기 제2 영상 부위의 그레이 레벨을 비교한 결과에 기반하여 상기 혼탁도 또는 백내장 등급과 관련된 정보를 결정하거나, 또는 상기 제1 영상 부위 및 상기 제2 영상 부위 중 상기 시신경 또는 상기 혈관이 존재하지 않는 부위의 그레이 레벨을 비교한 결과에 기반하여 상기 혼탁도 또는 백내장 등급과 관련된 정보를 결정하도록 야기하는 코드를 더 저장하는,
    자가 형광 영상 평가 장치.
  14. 제12 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 제1 영상 부위 및 상기 제2 영상 부위의 그레이 레벨의 차이에 기반하여 상기 혼탁도 또는 백내장 등급과 관련된 정보를 결정하도록 야기하는 코드를 더 저장하는,
    자가 형광 영상 평가 장치.
  15. 프로세서가, 미리 설정된 광학 경로를 통해 피검안을 조명하도록 광원을 발광시키는 단계; 및
    상기 프로세서가 영상 센서를 제어하여 상기 광원의 조명에 따라 적어도 일부분이 자가 형광으로 발광된 상기 피검안을 촬영하는 단계를 포함하고,
    상기 피검안을 촬영하는 단계는,
    서로 광 투과도가 다른 복수의 부위를 포함하는 필터를 통과하고 상기 영상 센서에 입사한 상기 피검안의 자가 형광에 기반하여 상기 영상 센서가 출력 신호를 생성하는 단계를 포함하는,
    자가 형광 촬영 장치의 동작 방법.
  16. 제15 항에 있어서,
    상기 프로세서가, 상기 필터의 위치를 확인하는 단계;
    상기 프로세서가, 촬영 모드를 확인하는 단계; 및
    상기 프로세서가, 상기 필터의 위치와 상기 촬영 모드가 불 일치하는 경우 메시지를 출력하는 단계를 더 포함하는,
    자가 형광 촬영 장치의 동작 방법.
  17. 제15 항에 있어서,
    상기 프로세서가, 상기 영상 센서의 상기 출력 신호에 기반하여 자가 형광 안저 영상을 생성하는 단계; 및
    상기 프로세서가, 상기 필터에 기반한 촬영을 의미하는 영상 종류 정보를 상기 자가 형광 안저 영상에 추가하는 단계를 더 포함하는,
    자가 형광 촬영 장치의 동작 방법.
  18. 상기 프로세서가, 피검안의 자가 형광 영상의 적어도 일부를 제공 받는 단계; 및
    상기 프로세서가, 상기 자가 형광 영상을 분석하여 상기 피검안의 혼탁도 또는 백내장 등급과 관련된 정보를 결정하는 단계를 포함하고,
    상기 자가 형광 영상은 광원의 조명에 의해서 발생한 상기 피검안의 자가 형광이 영상 센서와 상기 피검안 사이에 배치되고, 서로 광 투과도가 다른 복수의 부위를 포함하는 필터를 통과하여 입사한 상기 영상 센서의 출력에 기반하여 생성된 영상인,
    자가 형광 영상 평가 장치의 평가 방법.
  19. 제18 항에 있어서,
    상기 정보를 결정하는 단계는,
    상기 자가 형광 영상에서 상기 필터의 서로 광 투과도가 다른 복수의 부위에 대응하는 복수의 영상 부위의 그레이 레벨을 비교한 결과에 기반하여 상기 혼탁도 또는 백내장 등급과 관련된 정보를 결정하는 단계를 포함하는,
    자가 형광 영상 평가 장치의 평가 방법.
PCT/KR2022/018233 2021-12-07 2022-11-17 자가 형광 촬영 장치 및 그 동작 방법, 자가 형광 영상 평가 장치 및 그 평가 방법 Ceased WO2023106681A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP22904514.1A EP4445828A4 (en) 2021-12-07 2022-11-17 AUTOFLUORESCENCE IMAGING DEVICE AND ITS OPERATING METHOD, AUTOFLUORESCENCE IMAGE EVALUATION DEVICE AND ITS EVALUATION METHOD
JP2024534416A JP7735009B2 (ja) 2021-12-07 2022-11-17 自家蛍光撮影装置
US18/717,395 US20250040806A1 (en) 2021-12-07 2022-11-17 Autofluorescence imaging device and operation method thereof, autofluorescence image evaluation device and evaluation method thereof
JP2025136793A JP2025170323A (ja) 2021-12-07 2025-08-20 自家蛍光映像評価装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0173813 2021-12-07
KR20210173813 2021-12-07
KR1020220026607A KR102773961B1 (ko) 2021-12-07 2022-03-02 자가 형광 촬영 장치 및 그 동작 방법, 자가 형광 영상 평가 장치 및 그 평가 방법
KR10-2022-0026607 2022-03-02

Publications (1)

Publication Number Publication Date
WO2023106681A1 true WO2023106681A1 (ko) 2023-06-15

Family

ID=86730780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018233 Ceased WO2023106681A1 (ko) 2021-12-07 2022-11-17 자가 형광 촬영 장치 및 그 동작 방법, 자가 형광 영상 평가 장치 및 그 평가 방법

Country Status (5)

Country Link
US (1) US20250040806A1 (ko)
EP (1) EP4445828A4 (ko)
JP (2) JP7735009B2 (ko)
KR (1) KR20250029076A (ko)
WO (1) WO2023106681A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6478424B1 (en) * 1998-07-31 2002-11-12 Yeda Research And Development Co., Ltd. Non-invasive imaging of retinal function
JP2004329890A (ja) * 2003-04-15 2004-11-25 Kowa Co 眼科撮影装置
KR20100106965A (ko) * 2007-11-13 2010-10-04 더 리젠츠 오브 더 유니버시티 오브 미시건 눈과 관련된 질환을 검출하기 위한 방법 및 장치
JP5232221B2 (ja) * 2007-05-01 2013-07-10 スパイド，リチャード 眼底カメラを使用する自己蛍光写真撮影法
JP2020075139A (ja) * 2014-09-30 2020-05-21 株式会社トプコン 眼科装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19907479A1 (de) * 1999-02-15 2000-08-17 Univ Schiller Jena Verfahren und Vorrichtung zur Messung unterschiedlicher Fluoreszenzspektren an einem Objekt
JP2008035944A (ja) * 2006-08-02 2008-02-21 Topcon Corp 眼科撮影システム
GB0903274D0 (en) * 2009-02-26 2009-04-08 Edinburgh Instr Fluoreence method and system
JP5414369B2 (ja) 2009-06-01 2014-02-12 キヤノン株式会社 眼底カメラ及び制御方法
US8989848B2 (en) * 2010-11-05 2015-03-24 Freedom Meditech, Inc. Apparatus and method for non-invasively detecting diseases that affect structural properties in biological tissues
JP6057060B2 (ja) * 2012-08-29 2017-01-11 株式会社ニデック 眼底撮影装置
JP6357851B2 (ja) * 2013-05-01 2018-07-18 株式会社ニデック 眼科装置
US20150238074A1 (en) * 2014-02-24 2015-08-27 Image Technologies Corporation Autofluorescence imaging of macular pigment: image quality criteria and corrections
CN107126189B (zh) * 2016-05-31 2019-11-22 瑞尔明康（杭州）医疗科技有限公司 用于视网膜成像的光学组件和视网膜成像设备
JP6775337B2 (ja) * 2016-06-28 2020-10-28 株式会社トプコン 眼科装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6478424B1 (en) * 1998-07-31 2002-11-12 Yeda Research And Development Co., Ltd. Non-invasive imaging of retinal function
JP2004329890A (ja) * 2003-04-15 2004-11-25 Kowa Co 眼科撮影装置
JP5232221B2 (ja) * 2007-05-01 2013-07-10 スパイド，リチャード 眼底カメラを使用する自己蛍光写真撮影法
KR20100106965A (ko) * 2007-11-13 2010-10-04 더 리젠츠 오브 더 유니버시티 오브 미시건 눈과 관련된 질환을 검출하기 위한 방법 및 장치
KR101643953B1 (ko) 2007-11-13 2016-07-29 더 리젠츠 오브 더 유니버시티 오브 미시건 눈과 관련된 질환을 검출하기 위한 방법 및 장치
JP2020075139A (ja) * 2014-09-30 2020-05-21 株式会社トプコン 眼科装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4445828A4

Also Published As

Publication number Publication date
KR20250029076A (ko) 2025-03-04
JP2025170323A (ja) 2025-11-18
JP7735009B2 (ja) 2025-09-08
EP4445828A4 (en) 2025-11-26
US20250040806A1 (en) 2025-02-06
EP4445828A1 (en) 2024-10-16
JP2024545158A (ja) 2024-12-05

Similar Documents

Publication Publication Date Title
US11741608B2 (en) Assessment of fundus images
US20230200645A1 (en) Device and method for capturing, analyzing, and sending still and video images of the fundus during examination using an ophthalmoscope
US20210275009A1 (en) Self-Illuminated Handheld Lens for Retinal Examination and Photography and Related Method thereof
US20180055351A1 (en) Self-Illuminated Handheld Lens for Retinal Examination and Photography and Related Method thereof
EP3669750B1 (en) Eye image capturing
US20230410306A1 (en) Alignment guidance user interface system
Barikian et al. Smartphone assisted fundus fundoscopy/photography
Sivaraman et al. A novel, smartphone-based, teleophthalmology-enabled, widefield fundus imaging device with an autocapture algorithm
WO2021020880A1 (ko) 자동 초점 조절 기능을 갖는 안저 영상 촬영 장치
KR20220079076A (ko) 인공지능 기반 치매 조기 진단 플랫폼
EP4306037A1 (en) Simple diagnosis assistance device for keratoconus and astigmatism and so forth, and diagnosis assistance system
WO2023106681A1 (ko) 자가 형광 촬영 장치 및 그 동작 방법, 자가 형광 영상 평가 장치 및 그 평가 방법
US20240008740A1 (en) Apparatus and method for ophthalmic imaging
US20180120933A1 (en) Image-based system, having interchangeable vision elements, to observe and document eye responses
US20240065547A1 (en) Systems and methods for assessing eye health
KR20230085805A (ko) 자가 형광 촬영 장치 및 그 동작 방법, 자가 형광 영상 평가 장치 및 그 평가 방법
CN119421656A (zh) 含过采样传感器的视力筛查装置
US20260069120A1 (en) Image capture and analysis of anatomies
CN112603257A (zh) 一种眼科智能检测设备
CN119969932A (zh) 一种便捷式多镜头检测笔
CN120360488A (zh) 眼底相机及控制方法
WO2025155173A1 (ko) 각막의 형상 측정을 통해 인공 수정체의 선택에 도움을 주면서 주시 방향의 추적이 가능한 시스템, 서버 및 방법
KR20190065718A (ko) 홍채 촬영 장치 및 이를 이용한 홍채 분석 시스템
Nabil Smartphone-Based Fundoscopy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22904514

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18717395

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2024534416

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2022904514

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022904514

Country of ref document: EP

Effective date: 20240708