WO2021091282A1 - 3차원 진단 시스템 - Google Patents

3차원 진단 시스템 Download PDF

Info

Publication number
WO2021091282A1
WO2021091282A1 PCT/KR2020/015460 KR2020015460W WO2021091282A1 WO 2021091282 A1 WO2021091282 A1 WO 2021091282A1 KR 2020015460 W KR2020015460 W KR 2020015460W WO 2021091282 A1 WO2021091282 A1 WO 2021091282A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
probe
ultrasound
acquisition unit
ultrasound image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/015460
Other languages
English (en)
French (fr)
Inventor
황재윤
김지훈
류하민
이경수
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daegu Gyeongbuk Institute of Science and Technology
Original Assignee
Daegu Gyeongbuk Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daegu Gyeongbuk Institute of Science and Technology filed Critical Daegu Gyeongbuk Institute of Science and Technology
Priority to EP20885677.3A priority Critical patent/EP4056123B1/en
Publication of WO2021091282A1 publication Critical patent/WO2021091282A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0833—Clinical applications involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Clinical applications involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/445—Details of catheter construction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters

Definitions

  • An object according to an embodiment is to provide a system capable of performing a high-frequency image at the same viewing angle as an optical image.
  • An object according to an embodiment is to provide a system capable of stabilizing ultrasound images acquired according to movement of an endoscope probe in real time.
  • FIG. 3 is a diagram illustrating a probe of a 3D diagnostic system according to an exemplary embodiment.
  • FIG. 11 illustrates a method of a learning model for affine transformation of an ultrasound image based on a plurality of ultrasound images of a 3D diagnosis system according to an exemplary embodiment.
  • FIG. 1 shows a 3D diagnostic system 10 according to an embodiment.
  • the probe 101 may be configured to be positioned on an object to be diagnosed.
  • the color image acquisition unit 102 may be configured to acquire a color image of an object through the probe 101.
  • the spectroscopic image acquisition unit 103 may be configured to acquire a spectroscopic image of the surface information of the object through the probe 101.
  • the ultrasound image acquisition unit 104 may be configured to acquire an ultrasound image for depth information of an object through the probe 101.
  • the inertial measurement unit 105 may detect the movement of the probe 101.
  • the controller 106 may control the driving of the probe 101, the color image acquisition unit 102, the spectroscopic image acquisition unit 103, the ultrasonic image acquisition unit 104, and the inertia measurement unit 105 described above.
  • the control unit 106 receives and processes images or information obtained from the color image acquisition unit 102, the spectral image acquisition unit 103, the ultrasonic image acquisition unit 104, and the inertial measurement unit 105, respectively. And, it is also possible to control the final image to be displayed on a monitor or the like.
  • a 3D diagnosis of an object may be performed through a 3D image generated by matching surface information and depth information of the object.
  • FIG. 2 is a schematic structural diagram of a 3D diagnosis system 10 according to an embodiment configured in a snapshot mode.
  • FIG. 2 shows the components of the probe 101, the color image acquisition unit 102, the spectral image acquisition unit 103, the ultrasonic image acquisition unit 104, and the inertial measurement unit 105 of FIG. 1 in more detail. Shows.
  • the probe 101 may include an optical element 1011, and an ultrasonic transducer 1041 and an inertial measurement element 1051 may be disposed at an end of the probe 101.
  • the ultrasonic transducer 1041 may be disposed to be spaced apart from the optical element 1011, and may be disposed rotatably within the end of the probe 101.
  • the ultrasound transducer 1041 may perform scanning on a region of the object while turning in the first direction D 1 to obtain an ultrasound image regarding depth information of the object.
  • a working channel 1012 may be provided at an end of the probe 101, and tools capable of performing an operation such as gripping or cutting an object may pass through the working channel 1012.
  • the color image acquisition unit 102 may acquire a color image of the object based on the optical signal received by the probe 101. For example, a spectral image, an ultrasound image, and angle information of the ultrasound image may be matched with the color image to finally obtain a 3D image of the object.
  • the spectroscopic image acquisition unit 103 includes an objective lens 1031, an optical fiber 1032, a beam splitter 1033, a lens array 1034, a band pass filter array 1035, a tube lens 1036, and an RGB camera (C ) And a photomultiplier array (P).
  • the objective lens 1031 may be configured to collect an optical signal of an object.
  • the objective lens 1031 may be provided as a fisheye lens.
  • the optical fiber 1032 may transmit an optical signal to the optical element 1011 or transmit an optical signal received from the optical element 1011 to the spectroscopic image acquisition unit 103.
  • the optical fiber 1032 is connected to the optical element 1011 and may be connected to the objective lens 1031 or the collimator 1038 of the spectroscopic image acquisition unit 103, respectively.
  • the optical fiber 1032 connected to the objective lens 1031 may be provided as a plurality of optical fiber bundles.
  • the optical fiber 1032 connected to the collimator 1038 may be provided as a single optical fiber.
  • the optical signal passing through the objective lens 1031 may be transmitted to the RGB camera C and the lens array 1034 by the beam splitter 1033, respectively. Further, the beam splitter 1033 may be manually or automatically placed or removed from the optical path according to the purpose or purpose of use.
  • the lens array 1034 and the bandpass filter array 1035 may separate and receive an optical signal transmitted by the optical fiber 1032 into optical signals having a plurality of different wavelengths. Although the optical signal is separated while passing through the lens array 1034 and the band-pass filter array 1035, the resolution of the obtained spectral image may be lowered, but there is an advantage that spectral imaging is possible in real time.
  • the lens array 1034 and the band pass filter array 1035 may be configured in a detachable manner.
  • optical signal passing through the lens array 1034 and the band pass filter array 1035 may pass through the tube lens 1036 and be transmitted to the photomultiplier array P.
  • the spectroscopic image acquisition unit 103 may acquire a spectroscopic image from an optical signal on the surface of the object while passing through the above-described processes.
  • the light source member 1037 may selectively output white light or ultraviolet light according to a purpose.
  • the light source member 1037 may include a white LED and an ultraviolet LED.
  • White light or ultraviolet light output from the light source member 1037 may pass through at least one collimator 1038 and be irradiated to the object through a single optical fiber 1032.
  • the ultrasonic image acquisition unit 104 may include an ultrasonic transducer 1041, a pulser 1042, a receiver 1043, a switch 1044, and a motor driver M.
  • the ultrasonic transducer 1041 may be rotatably disposed within the end of the probe 101.
  • the ultrasonic transducer 1041 may be configured as, for example, a single transducer, and may transmit and receive ultrasonic signals to and from the object.
  • the ultrasound transducer 1041 may perform scanning on a region of the object while turning in the first direction D 1 inside the probe 101.
  • the first direction D 1 may be a scanning direction of the ultrasonic transducer 1041.
  • one ultrasonic transducer 1041 may be replaced with a plurality of ultrasonic transducers.
  • the pulser 1042 may adjust the pulse of the ultrasonic signal measured from the ultrasonic transducer 1041.
  • the receiver 1043 may be configured to receive an ultrasonic signal.
  • the switch 1044 may open and close signal transmission between the ultrasonic transducer 1041 and the receiver 1043.
  • the switch 1044 may be provided as a T/R switch.
  • several pulsers, receivers, and switches may be configured at the same time.
  • the motor driver M may transmit power to drive the ultrasonic transducer 1041.
  • the ultrasound image acquisition unit 104 configured as described above may acquire an ultrasound image of depth information of an object through the probe 101.
  • the inertial measurement unit 105 may include at least one inertial measurement element 1051.
  • the inertial measurement element 1051 may measure positional information of the end of the probe 101.
  • the inertial measurement element 1051 may be provided with at least one IMU sensor.
  • the next moving angle of the end of the probe 101 may be determined by the control unit 106 based on the positional information of the end of the probe 101 obtained through the inertial measurement unit 1051.
  • the probe 101, the ends may be moved in a first direction (D 1) a second direction (D 2) normal to the. That is, the end of the probe 101 may be moved in a direction perpendicular to the scanning direction of the ultrasonic transducer 1041.
  • the movement of the endoscope probe 101 may be sensed by the inertial measurement unit 105.
  • the inertial measurement unit 105 is used to measure the location information of the end of the probe 101 and at the same time, the probe 101 uses a real-time RGB image acquired when the end of the probe 101 is moved.
  • the moving distance of (101) can be calculated.
  • the controller 106 may control the movement of the probe 101 and driving the color image acquisition unit 102, the spectral image acquisition unit 103, the ultrasonic image acquisition unit 104, and the inertia measurement unit 105.
  • This control unit 106 not only controls the ultrasonic transducer 1041 to rotate, but also moves the end of the probe 101 in a direction (D 2 ) perpendicular to the scanning direction (D 1) of the ultrasonic transducer 1041. I can.
  • the controller 106 is electrically connected to the RGB camera C, so that the color image of the object can be transmitted from the optical signal of the object visible through the imaging channel of the probe 101 through the RGB camera C. have.
  • a spectral image having surface information of an object By processing to match the color image comprehensively, it is possible to finally obtain a 3D image of the object.
  • the spectroscopic image acquisition unit 113 of the 3D diagnosis system 11 of FIG. 4 may be configured with different components from the spectroscopic image acquisition unit 103 of the 3D diagnosis system 10 of FIG. 2.
  • the probe 111 may include an optical element 1111, and an ultrasonic transducer 1141 and an inertial measurement element 1151 may be disposed at an end of the probe 111.
  • the probe 111 is composed of the same elements as the probe 101 of the 3D diagnosis system 10 according to the above-described embodiment, the optical element 1111 of the 3D diagnosis system 11 shown in FIG. 4 In addition, it is the same as the optical element 1011 illustrated in FIG. 2, and a detailed description thereof will be omitted.
  • the color image acquisition unit 112 may include an RGB camera C 1 and a CCD camera C 2 .
  • the objective lens 1131 may be configured to collect an optical signal of an object.
  • the objective lens 1131 may be provided as a fisheye lens.
  • the optical fiber 1132 may transmit an optical signal to the optical element 1111 or may transmit an optical signal received from the optical element 1111 to the spectroscopic image acquisition unit 113.
  • the optical fiber 1132 may be connected to the optical element 1111 and may be connected to the objective lens 1131 or the collimator 10137 of the spectroscopic image acquisition unit 113, respectively.
  • the optical fiber 1132 connected to the objective lens 1131 may be provided as a plurality of optical fiber bundles.
  • the optical fiber 1132 connected to the collimator 1137 may be provided as a single optical fiber.
  • the optical signal passing through the objective lens 1131 may be transmitted to the filter wheel 1133.
  • the filter wheel 1133 may include a plurality of filters for receiving an optical signal by selecting a wavelength of an optical signal transmitted by the optical fiber 1132.
  • the filter wheel 1133 may be connected to the motor driver M and driven to rotate. Having the filter wheel 1133 as described above has a disadvantage in that it may take longer than the spectral imaging in the snapshot mode, but there is an advantage in that a spectral image having a higher resolution can be obtained than in the snapshot mode.
  • the optical signal passing through the filter wheel 1133 may pass through the tube lens 1134 and be transmitted to the beam splitter 1135.
  • the optical signal may be transmitted to the RGB camera C 1 and the CCD camera C 2 , respectively, by the beam splitter 1135.
  • the spectroscopic image acquisition unit 113 may acquire a spectroscopic image from an optical signal on the surface of the object while passing through the above-described processes.
  • the spectroscopic image acquisition unit 113 may further include a light source member 1136 and a collimator 1137.
  • the light source member 1136 is the same as the light source member 1037 of FIG. 2 and the collimator 1137 is the same as the collimator 1038 of FIG. 2, a detailed description thereof will be omitted.
  • the spectroscopic image acquisition unit 113 configured as described above may acquire a spectroscopic image of the surface information of the object through the probe 111 and may selectively irradiate white light or ultraviolet rays toward the object. In addition, a spectral image having a higher resolution than the spectral image acquisition unit 103 of FIG. 2 may be obtained.
  • the ultrasonic image acquisition unit 114 may include an ultrasonic transducer 1141, a pulser 1142, a receiver 1143, a switch 1144, and a motor driver M.
  • the ultrasound image acquisition unit 114 is composed of the same elements as the ultrasound image acquisition unit 104 of the 3D diagnosis system 10 according to the above-described exemplary embodiment, the ultrasound image acquisition unit 114 Transducer 1141, pulser 1142, receiver 1143, switch 1144, and motor driver M, respectively, ultrasonic transducer 1041, pulser 1042, receiver 1043, switch 1044 and It is the same as the motor driver M, and a detailed description thereof will be omitted.
  • the ultrasound image acquisition unit 114 configured as described above may acquire an ultrasound image of depth information of an object through the probe 111.
  • the inertial measurement unit 115 may include at least one inertial measurement element 1151.
  • the inertial measurement unit 115 is composed of the same elements as the inertia measurement unit 115 of the 3D diagnosis system 10 according to the above-described embodiment, the inertial measurement element of the 3D diagnosis system 11 of FIG. 4 (1151) is also the same as the inertial measurement element 1051, and a detailed description thereof will be omitted.
  • the next moving angle of the end of the probe 101 may be determined by the control unit 106 based on the positional information of the end of the probe 111 obtained through the inertial measurement unit 1151.
  • the control unit 116 is electrically connected to the probe 111, the color image acquisition unit 112, the spectral image acquisition unit 113, the ultrasonic image acquisition unit 114, and the inertial measurement unit 115, respectively, and the probe ( The movement of 111 and the driving of the color image acquisition unit 112, the spectral image acquisition unit 113, the ultrasonic image acquisition unit 114, and the inertia measurement unit 115 may be controlled.
  • control unit 116 performs the same function through the same process as the control unit 116 of the 3D diagnosis system 10 according to the above-described embodiment, a detailed description thereof will be omitted.
  • FIG. 6 shows a spectral image of a tissue obtained from the 3D diagnostic system 10 and 11.
  • a cancer distribution area on the tissue surface may be determined through a spectroscopic image.
  • the controllers 106 and 116 apply the first learning model to the multi-spectral image 910 generated by the sensor units 106 and 116, so that the lesion area is distinguished from the other areas, and the multi-spectral image 930 is displayed. ) Can be obtained.
  • the first learning model inputs feature points extracted from a multispectral image 910 and a region of interest (ROI) image such as a lesion region into at least one attention gate 951, 953, 955, and
  • the gates 951, 953, and 955 may be signaled to aggregate a plurality of feature points and output an optimal feature.
  • a memory (not shown) inputs the location information obtained from the plurality of ultrasound images 1111 to 1117 based on an inertial measurement element with respect to an area of the object.
  • a fourth learning model trained to output parameters (pitch, yaw, and roll) capable of affine transformation of ⁇ 1117) may be stored.
  • the fourth learning model may include a neural network including 3D convolution.
  • FIG. 12 is a method of matching and displaying a 3D ultrasound image generated based on a plurality of ultrasound images acquired from an object in a 3D diagnosis system 10 and 11 with a 3D image generated based on a color image acquired from an object Represents.
  • the three-dimensional image is based on photometric stereo imaging, and the surface normal and reflection coefficient (albedo coefficient) calculated at each pixel of color images obtained by illuminating an object with white light from different directions. ) May be a 3D surface image generated for a region in which a color image is obtained.
  • the 3D diagnosis system 10, 11 forfeitures the registration of the 3D ultrasound image and the 3D surface image based on the location information of each ultrasound image obtained by the 3D ultrasound image and the location information of the color image. Conversion parameters can be calculated.
  • control unit 106 control unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

일 실시예에 따른 3차원 진단 시스템은 진단 대상체에 위치하도록 구성된 프로브, 상기 프로브를 통해 대상체의 표면 정보에 대한 분광 이미지를 획득하도록 구성된 분광 이미지 획득부, 및 상기 프로브를 통해 대상체의 깊이 정보에 대한 초음파 이미지를 획득하도록 구성된 초음파 이미지 획득부를 포함하고, 대상체의 표면 정보 및 깊이 정보를 정합하여 생성된 3차원 이미지를 통해 대상체에 대한 3차원 진단이 가능하다.

Description

3차원 진단 시스템
3차원 진단 시스템이 개시된다.
암과 같은 병변을 진단하기 위해 3차원 영상 구현이 가능한 메디컬 영상 시스템이 개발되고 있다. 이러한 영상 장비는 각각의 영상 시스템에 적용된 이미징 기법에 따라 수술 전 또는 절제된 조직의 종양의 표면 분포 또는 침습 깊이를 검사하여 치료 방법을 결정하는데 이점이 있다. 최근의 내시경 기반 영상 시스템은 타겟 조직 표면의 병변 분포 및 조직 내 병변 분포를 3차원으로 진단하기 위해 표면 정보와 깊이 정보를 함께 획득하여 정합하는 것이 요구되고 있다.
일 실시예에 따른 목적은 병변의 표면 정보뿐만 아니라 깊이 방향 정보 또한 제공하는 시스템을 제공하는 것이다.
일 실시예에 따른 목적은 병변의 분포 및 침습 깊이를 검사할 수 있는 시스템을 제공하는 것이다.
일 실시예에 따른 목적은 동일 광시야각 내시 광학 영상 및 초음파 영상이 가능한 시스템을 제공하는 것이다.
일 실시예에 따른 목적은 실시간 분광 영상 및 분석을 통한 조직 표면의 병변 분포 진단 및 영상화 가능한 시스템을 제공하는 것이다.
일 실시예에 따른 목적은 광학 영상과의 동일 시야각에서의 고주파 영상이 가능한 시스템을 제공하는 것이다.
일 실시예에 따른 목적은 내시경 프로브의 움직임을 센싱할 수 있는 시스템을 제공하는 것이다.
일 실시예에 따른 목적은 내시경 프로브의 이동에 따라 획득된 초음파 영상들을 실시간으로 안정화 가능한 시스템을 제공하는 것이다.
일 실시예에 따른 목적은 내시경 프로브의 이동에 따라 획득된 초음파 영상들에 기반하여 획득된 초음파 영상들 사이의 빈 공간을 채우는 유사한 초음파 영상을 생성하는 시스템을 제공하는 것이다.
실시 예들에서 해결하려는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 일 실시예에 따른 3차원 진단 시스템은, 진단 대상체에 위치하도록 구성된 프로브; 상기 프로브를 통해 대상체의 표면 정보에 대한 분광 이미지를 획득하도록 구성된 분광 이미지 획득부; 및 상기 프로브를 통해 대상체의 깊이 정보에 대한 초음파 이미지를 획득하도록 구성된 초음파 이미지 획득부;를 포함하고, 대상체의 표면 정보 및 깊이 정보를 정합하여 생성된 3차원 이미지를 통해 대상체에 대한 3차원 진단이 가능할 수 있다.
일 측에 의하면, 상기 초음파 이미지 획득부는 상기 프로브 단부 내에 배치된 적어도 하나 또는 복수의 초음파 트랜스듀서를 포함하고, 상기 초음파 트랜스듀서는 대상체의 일 영역에 대한 스캐닝을 수행할 수 있다.
일 측에 의하면, 상기 초음파 트랜스듀서는 하나 또는 복수로 구성되고, 상기 초음파 트랜스듀서를 선회시킴으로써 상기 대상체의 일 영역에 대한 스캐닝이 수행될 수 있다.
일 측에 의하면, 상기 프로브의 움직임을 감지하는 관성 측정부를 더 포함하고, 상기 관성 측정부를 통해 획득된 프로브 단부의 위치 정보에 기초하여, 상기 초음파 트랜스듀서의 스캐닝 방향에 수직한 방향으로의 상기 프로브 단부의 이동 각도가 결정될 수 있다.
일 측에 의하면, 상기 초음파 트랜스듀서 및 상기 프로브 단부의 움직임을 제어하는 제어부를 더 포함하고, 상기 제어부는 상기 초음파 트랜스듀서의 스캐닝 방향에 수직한 방향으로 상기 프로브 단부를 이동시키며, 상기 제어부는 상기 일 영역에 대한 상기 초음파 트랜스듀서의 스캐닝이 완료된 후 프로브 단부의 상기 수직 이동이 수행되도록 제어하여, 초음파 이미지가 자동적으로 획득될 수 있다.
일 측에 의하면, 상기 제어부는 관성 측정부를 통해 획득된 상기 프로브 단부의 위치 정보를 기반으로 대상체에 대한 상기 초음파 이미지와 분광 이미지를 정합할 수 있다.
일 측에 의하면, 상기 제어부는 상기 일 영역에 대해서 획득된 복수의 상기 초음파 이미지에 생성적 적대 신경망(Generative Adversarial Network)을 적용하여 복수의 상기 초음파 이미지에 포함되고 서로 인접한 제1 초음파 이미지 및 제2 초음파 이미지의 적어도 일부에 기반하여 상기 제1 초음파 이미지 및 상기 제2 초음파 이미지 사이의 제3 초음파 이미지를 생성할 수 있다.
일 측에 의하면, 상기 제어부는 상기 일 영역에 대해서 획득된 복수의 상기 초음파 이미지 가 획득된 위치 정보에 심층 신경망(Deep Neural Network)을 포함하는 머신 러닝 기반의 제2 학습 모델을 적용하여 획득된 변환 파라미터에 기반하여 상기 제4 초음파 이미지를 아핀 변환(affine transformation)하고, 상기 제2 학습 모델은 초음파 이미지가 획득된 프로브 단부의 위치 정보가 아핀 변환을 위한 변환 파라미터로 레이블링(labeling)된 훈련 데이터에 기반하여 훈련된 학습 모델일 수 있다.
일 측에 의하면, 상기 초음파 이미지 획득부는 상기 초음파 트랜스듀서로부터 측정된 초음파 신호의 펄스를 조절하는 펄서; 상기 초음파 신호를 수신하도록 구성된 리시버; 및 상기 초음파 트랜스듀서 및 상기 리시버 사이의 신호 전달을 개폐하는 스위치;를 더 포함할 수 있다.
일 측에 의하면, 상기 분광 이미지 획득부는, 상기 대상체의 광 신호를 수집하도록 구성된 렌즈; 상기 렌즈에 의한 광 신호를 전달하는 적어도 하나 이상의 광 섬유; 및 상기 광 섬유에 의해 전달된 광 신호를 복수의 상이한 파장의 광 신호로 분리하여 수신하기 위한 렌즈 어레이 및 대역 통과 필터 어레이를 포함할 수 있다.
일 측에 의하면, 상기 분광 이미지 획득부는, 상기 대상체의 광 신호를 수집하도록 구성된 렌즈; 상기 렌즈에 의한 광 신호를 전달하는 적어도 하나 이상의 광 섬유; 및 상기 광 섬유에 의해 전달된 광 신호의 파장을 선택하여 광 신호를 수신하기 위한 복수 개의 필터들을 구비하는 필터 휠을 포함할 수 있다.
일 측에 의하면, 상기 분광 이미지 획득부는 백색광 또는 자외선을 포함하는 광원 부재를 포함하고, 상기 광원 부재는 상기 대상체를 향해 백색광 또는 자외선을 선택적으로 조사할 수 있다.
일 측에 의하면, 상기 멀티 스펙트럴 영상에 컨벌루션 신경망이 포함된 머신 러닝 기반의 제1 학습 모델을 적용하여 상기 멀티 스펙트럴 영상의 각 파장 별 영상에서 적어도 서로 다른 두 개의 영역이 구별된 상기 멀티 스펙트럴 영상을 출력하는 제어부를 포함하고, 상기 학습 모델은 상기 신경망의 어텐션 미캐니즘(attention mechanism)을 상기 멀티 스펙트럴 영상의 각 파장 별 영상에 적용하여 어텐션 맵(attention map)을 생성하고, 상기 어텐션 맵의 적어도 일부에 기반하여 상기 멀티 스펙트럴 영상의 각 파장 별 영상에서 적어도 서로 다른 두 개의 영역을 구별하도록 설정될 수 있다.
일 측에 의하면, 상기 프로브를 통해 대상체의 컬러 이미지를 획득하도록 구성된 컬러 이미지 획득부를 더 포함하고, 상기 분광 이미지, 상기 초음파 이미지 및 상기 초음파 이미지의 각도 정보는 상기 컬러 이미지에 정합되어 대상체에 대한 3차원 이미지가 획득될 수 있다.
상기 목적을 달성하기 위한 일 실시예에 따른 3차원 진단 프로브는, 대상체의 표면 정보에 관한 분광 이미지를 획득하도록 구성된 적어도 하나의 광학 요소; 및 상기 광학 요소와 이격되게 배치되고, 대상체의 깊이 정보에 관한 초음파 이미지를 획득하도록 구성된 적어도 하나의 초음파 트랜스듀서;를 포함하고, 상기 초음파 트랜스듀서는 대상체의 일 영역에 대한 스캐닝을 수행하기 위해 선회될 수 있다.
일 측에 의하면, 상기 프로브 단부의 위치 정보를 측정하는 적어도 하나의 관성 측정 요소를 더 포함할 수 있다.
일 측에 의하면, 상기 프로브의 단부는 상기 초음파 트랜스듀서의 스캐닝 방향에 수직한 방향으로 이동되고, 상기 관성 측정 요소를 통해 획득된 상기 프로브 단부의 위치 정보를 기반으로 대상체에 대한 상기 초음파 이미지와 분광 이미지를 정합할 수 있다.
일 실시예에 따른 3차원 진단 시스템에 의하면, 병변의 표면 정보뿐만 아니라 깊이 방향 정보 또한 제공하는 효과가 있다.
일 실시예에 따른 3차원 진단 시스템에 의하면, 병변의 분포 및 침습 깊이를 검사할 수 있는 효과가 있다.
일 실시예에 따른 3차원 진단 시스템에 의하면, 동일 광시야각 내시 광학 영상 및 초음파 영상이 가능한 효과가 있다.
일 실시예에 따른 3차원 진단 시스템에 의하면, 실시간 분광 영상 및 분석을 통한 조직 표면의 병변 분포 진단 및 영상화 가능한 효과가 있다.
일 실시예에 따른 3차원 진단 시스템에 의하면, 광학 영상과의 동일 시야각에서의 고주파 영상이 가능한 효과가 있다.
일 실시예에 따른 3차원 진단 시스템에 의하면, 내시경 프로브의 움직임을 센싱할 수 있는 효과가 있다.
일 실시예에 따른 3차원 진단 시스템에 의하면, 실시간으로 초음파 영상들의 안정화를 수행 가능한 효과가 있다.
일 실시예에 따른 3차원 진단 시스템에 의하면, 획득된 초음파 영상들에 기반하여 획득된 초음파 영상들 사이의 빈 공간을 채우는 유사한 초음파 영상을 생성할 수 있어 해상도가 향상되는 효과가 있다.
일 실시예에 따른 3차원 진단 시스템의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 3차원 진단 시스템을 도시한다.
도 2는 스냅샷 모드로 구성된 일 실시예에 따른 3차원 진단 시스템의 개략적인 구조도이다.
도 3은 일 실시예에 따른 3차원 진단 시스템의 프로브를 도시한다.
도 4는 필터 휠 모드로 구성된 다른 실시예에 따른 3차원 진단 시스템의 개략적인 구조도이다.
도 5는 일 실시예에 따른 3차원 진단 시스템을 사용하여 스캐닝되는 조직을 도시한다.
도 6은 일 실시예에 따른 3차원 진단 시스템으로부터 획득된 조직의 분광 이미지를 도시한다.
도 7은 일 실시예에 따른 3차원 진단 시스템으로부터 획득된 조직의 초음파 이미지를 도시한다.
도 8은 일 실시예에 따른 3차원 진단 시스템의 영상 정합 과정을 도시한다.
도 9는 일 실시예에 따른 3차원 진단 시스템의 병변(lesion) 영역이 구별된 멀티 스펙트럴 영상을 출력하는 학습 모델의 훈련 방법을 도시한다.
도 10은 일 실시예에 따른 3차원 진단 시스템의 복수의 초음파 영상을 기반으로 초음파 영상들 사이의 대상체에 해당하는 초음파 영상을 생성하는 학습 모델의 방법을 도시한다.
도 11은 일 실시예에 따른 3차원 진단 시스템의 복수의 초음파 영상을 기반으로 초음파 영상을 아핀 변환(affine transformation)하는 학습 모델의 방법을 도시한다.
도 12는 일 실시예에 따른 3차원 진단 시스템의 3차원 초음파 영상과 컬러 영상에 기반하여 생성된 입체 영상을 정합하여 표시하는 방법을 도시한다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
이하, 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 3차원 진단 시스템(10)을 도시한다.
도 1을 참조하여, 일 실시예에 따른 3차원 진단 시스템(10)은 프로브(101), 컬러 이미지 획득부(102), 분광 이미지 획득부(103), 초음파 이미지 획득부(104), 관성 측정부(105) 및 제어부(106)를 포함할 수 있다.
프로브(101)는 진단 대상체에 위치하도록 구성될 수 있다.
컬러 이미지 획득부(102)는 프로브(101)를 통해 대상체의 컬러 이미지를 획득하도록 구성될 수 있다.
분광 이미지 획득부(103)는 프로브(101)를 통해 대상체의 표면 정보에 대한 분광 이미지를 획득하도록 구성될 수 있다.
초음파 이미지 획득부(104)는 프로브(101)를 통해 대상체의 깊이 정보에 대한 초음파 이미지를 획득하도록 구성될 수 있다.
관성 측정부(105)는 프로브(101)의 움직임을 감지할 수 있다.
제어부(106)는 전술한 프로브(101), 컬러 이미지 획득부(102), 분광 이미지 획득부(103), 초음파 이미지 획득부(104) 및 관성 측정부(105)의 구동을 제어할 수 있다. 또한, 제어부(106)는 컬러 이미지 획득부(102), 분광 이미지 획득부(103), 초음파 이미지 획득부(104) 및 관성 측정부(105)로부터 각각 획득된 이미지 또는 정보들을 전달받아 정합하도록 처리하고, 이에 따른 최종 이미지가 모니터 등에 표시되도록 제어하는 것도 가능하다.
이와 같이 구성된 일 실시예에 따른 3차원 진단 시스템(10)을 이용하여, 대상체의 표면 정보 및 깊이 정보를 정합하여 생성된 3차원 이미지를 통해 대상체에 대한 3차원 진단이 가능하다.
도 2는 스냅샷 모드로 구성된 일 실시예에 따른 3차원 진단 시스템(10)의 개략적인 구조도이다. 또한, 도 2는 도 1의 프로브(101), 컬러 이미지 획득부(102), 분광 이미지 획득부(103), 초음파 이미지 획득부(104) 및 관성 측정부(105)의 구성 요소들을 보다 구체적으로 도시한다.
도 2를 참조하여, 프로브(101)는 광학 요소(1011)를 포함할 수 있고, 프로브(101)의 단부에는 초음파 트랜스듀서(1041) 및 관성 측정 요소(1051)가 배치될 수 있다.
상기 프로브(101)는 도 3에 보다 구체적으로 도시되어 있다.
도 3은 일 실시예에 따른 3차원 진단 시스템의 프로브(101)를 나타낸다.
도 3을 참조하여, 프로브(101)의 단부에는 광학 요소(1011), 초음파 트랜스듀서(1041) 및 관성 측정 요소(1051)가 구비될 수 있다.
광학 요소(1011)는 대상체의 표면 정보에 관한 분광 이미지를 획득하도록 구성될 수 있다. 이를 위해 광학 요소(1011)는 이미징 채널 및 조명 채널로 구성될 수 있다. 이미징 채널은 대상체의 광 신호가 들어오는 통로이며, 광 섬유(1032)를 통해 대물 렌즈(1031)와 연결될 수 있다. 조명 채널은 대상체로 백색광 또는 자외선이 조사되는 통로이며, 광 섬유(1032)를 통해 광원 부재(1037)와 연결될 수 있다.
초음파 트랜스듀서(1041)는 광학 요소(1011)와 이격되게 배치될 수 있으며, 프로브(101) 단부 내에 회전 가능하게 배치될 수 있다. 이러한 초음파 트랜스듀서(1041)는 대상체의 깊이 정보에 관한 초음파 이미지를 획득하기 위해 제1 방향(D1)으로 선회하면서 대상체의 일 영역에 대한 스캐닝을 수행할 수 있다.
관성 측정 요소(1051)는 프로브(101) 단부의 일 측에 구비될 수 있다. 이러한 관성 측정 요소(1051)는 프로브(101) 단부의 위치 정보를 측정할 수 있다.
또한, 프로브(101)의 단부에는 워킹 채널(1012)이 구비될 수 있으며, 워킹 채널(1012)을 통해 대상체를 파지 또는 절단하는 등의 작업을 수행할 수 있는 도구들이 통과할 수 있다.
전술한 구성 요소를 포함하는 프로브(101)는 단부가 제2 방향(D2)으로 이동될 수 있다.
따라서, 일 실시예에 따른 3차원 진단 시스템(10)의 프로브(101) 단부는 대상체에 대한 병변의 표면 정보뿐만 아니라 깊이 방향 정보 또한 제공하기 위해 초음파 트랜스듀서(1041)가 선회함과 동시에 초음파 트랜스듀서(1041)의 선회 방향에 수직한 방향으로 이동하는 것이 가능하다.
다시 도 2를 참조하여, 컬러 이미지 획득부(102)는 대상체의 컬러 이미지를 획득하기 위한 카메라를 포함할 수 있다. 예를 들어 카메라는 RGB 카메라(C) 및 포토멀티플라이어 어레이(Photomultiplier array)(P) 등을 포함할 수 있다.
이러한 컬러 이미지 획득부(102)는 프로브(101)에 의해 수신된 광 신호에 기초하여 대상체의 컬러 이미지를 획득할 수 있다. 예를 들어, 상기 컬러 이미지에 분광 이미지, 초음파 이미지 및 상기 초음파 이미지의 각도 정보가 정합되어 최종적으로 대상체에 대한 3차원 이미지가 획득될 수 있다.
분광 이미지 획득부(103)는 대물 렌즈(1031), 광 섬유(1032), 빔 스플리터(1033), 렌즈 어레이(1034), 대역 통과 필터 어레이(1035), 튜브 렌즈(1036), RGB 카메라(C) 및 포토멀티플라이어 어레이(P)를 포함할 수 있다.
대물 렌즈(1031)는 대상체의 광 신호를 수집하도록 구성될 수 있다. 예를 들어, 대물 렌즈(1031)는 어안 렌즈로 마련될 수 있다.
광 섬유(1032)는 광학 요소(1011)로 광 신호를 전달하거나, 광학 요소(1011)로부터 수신한 광 신호를 분광 이미지 획득부(103)로 전달할 수 있다. 광 섬유(1032)는 광학 요소(1011)에 연결되고 분광 이미지 획득부(103)의 대물 렌즈(1031) 또는 콜리메이터(1038)에 각각 연결될 수 있다. 이때, 대물 렌즈(1031)에 연결된 광 섬유(1032)는 복수의 광 섬유 다발로 마련될 수 있다. 또한, 콜리메이터(1038)에 연결된 광 섬유(1032)는 단일 광 섬유로 마련될 수 있다.
대물 렌즈(1031)를 통과한 광 신호는 빔 스플리터(1033)에 의해 각각 RGB 카메라(C) 및 렌즈 어레이(1034)로 전달될 수 있다. 또한, 빔 스플리터(1033)는 사용 목적이나 용도에 따라 수동 또는 자동으로 광 경로에서 배치 또는 제거될 수 있다.
렌즈 어레이(Lens array)(1034) 및 대역 통과 필터 어레이(Bandpass filter array)(1035)는 광 섬유(1032)에 의해 전달된 광 신호를 복수의 상이한 파장의 광 신호로 분리하여 수신할 수 있다. 광 신호가 렌즈 어레이(1034) 및 대역 통과 필터 어레이(1035)를 통과하면서 분리됨으로써 획득되는 분광 이미지의 해상도가 낮아질 수 있는 단점이 있지만, 실시간으로 분광 이미징이 가능한 장점이 있다. 또한, 렌즈 어레이(1034) 및 대역 통과 필터 어레이(1035)는 탈부착식으로 구성될 수 있다.
렌즈 어레이(1034) 및 대역 통과 필터 어레이(1035)를 통과한 광 신호는 튜브 렌즈(1036)를 통과하여 포토멀티플라이어 어레이(P)로 전달될 수 있다.
분광 이미지 획득부(103)는 전술한 과정들을 거치면서 대상체 표면의 광 신호로부터 분광 이미지를 획득할 수 있다.
또한, 분광 이미지 획득부(103)는 광원 부재(1037) 및 콜리메이터(1038)를 더 포함할 수 있다.
광원 부재(1037)는 백색광 또는 자외선을 목적에 따라 선택적으로 출력할 수 있다. 예를 들어, 광원 부재(1037)는 백색광 LED(White LED) 및 자외선 LED(UV Led)를 포함할 수 있다.
광원 부재(1037)로부터 출력된 백색광 또는 자외선은 적어도 하나의 콜리메이터(Collimator)(1038)를 통과하여, 단일 광 섬유(1032)를 통해 대상체로 조사될 수 있다.
이와 같이 구성된 스냅샷 모드의 분광 이미지 획득부(103)는 프로브(101)를 통해 대상체의 표면 정보에 대한 분광 이미지를 획득할 수 있고, 대상체를 향해 백색광 또는 자외선을 선택적으로 조사할 수 있다. 또한, 실시간 분광 영상 및 분석을 통하여 대상체 조직 표면의 병변 분포를 진단하고 영상화가 가능하다.
초음파 이미지 획득부(104)는 초음파 트랜스듀서(1041), 펄서(1042), 리시버(1043), 스위치(1044) 및 모터 드라이버(M)를 포함할 수 있다.
초음파 트랜스듀서(1041)는 프로브(101)의 단부 내에 회전 가능하게 배치될 수 있다. 초음파 트랜스듀서(1041)는 예를 들어 하나의 트랜스듀서로 구성되어, 대상체로 초음파 신호를 송수신할 수 있다. 또한, 초음파 트랜스듀서(1041)는 프로브(101) 내부에서 제1 방향(D1)으로 선회하면서 대상체의 일 영역에 대한 스캐닝을 수행할 수 있다. 이때, 제1 방향(D1)은 초음파 트랜스듀서(1041)의 스캐닝 방향일 수 있다. 또한, 하나의 초음파 트랜스듀서(1041)는 복수의 초음파 트랜스듀서로 대체될 수 있다.
펄서(1042)는 초음파 트랜스듀서(1041)로부터 측정된 초음파 신호의 펄스를 조절할 수 있다.
리시버(1043)는 초음파 신호를 수신하도록 구성될 수 있다.
스위치(1044)는 초음파 트랜스듀서(1041) 및 리시버(1043) 사이의 신호 전달을 개폐할 수 있다. 예를 들어, 스위치(1044)는 T/R 스위치로 마련될 수 있다. 또한, 복수의 초음파 트랜스듀서를 사용하는 경우에는 여러 개의 펄서, 리시버 및 스위치가 동시에 구성될 수 있다.
모터 드라이버(M)는 초음파 트랜스듀서(1041)를 구동시키도록 동력을 전달할 수 있다.
이와 같이 구성된 초음파 이미지 획득부(104)는 프로브(101)를 통해 대상체의 깊이 정보에 대한 초음파 이미지를 획득할 수 있다.
관성 측정부(105)는 적어도 하나의 관성 측정 요소(1051)를 포함할 수 있다.
관성 측정 요소(1051)는 프로브(101) 단부의 위치 정보를 측정할 수 있다. 예를 들어, 관성 측정 요소(1051)는 적어도 하나의 IMU 센서로 마련될 수 있다.
이러한 관성 측정부(1051)를 통해 획득된 프로브(101) 단부의 위치 정보에 기초하여, 제어부(106)에 의해 프로브(101) 단부의 다음 이동 각도가 결정될 수 있다. 이때, 프로브(101) 단부는 제1 방향(D1)에 수직한 제2 방향(D2)으로 이동될 수 있다. 즉, 프로브(101) 단부는 초음파 트랜스듀서(1041)의 스캐닝 방향에 수직한 방향으로 이동될 수 있다.
이러한 관성 측정부(105)에 의해 내시경 프로브(101)의 움직임을 센싱할 수 있다.
또한, 관성 측정부(105)를 이용해 프로브(101) 단부의 위치 정보를 측정함과 동시에, 프로브(101) 단부가 이동 시 획득된 실시간 RGB 영상을 이용하는 멀티뷰 스테레오 스코픽 거리 측정 기반 기법을 통해 프로브(101)의 이동 거리를 산출할 수 있다.
제어부(106)는 프로브(101)의 움직임과 컬러 이미지 획득부(102), 분광 이미지 획득부(103), 초음파 이미지 획득부(104) 및 관성 측정부(105)의 구동을 제어할 수 있다.
특히, 제어부(106)는 초음파 트랜스듀서(1041) 및 프로브(101) 단부의 움직임을 제어하기 위해, 도 2에 도시된 바와 같이 프로브(101)와 전기적으로 연결되어 있고, 모터 드라이버(M)를 통해 초음파 트랜스듀서(1041)와 전기적으로 연결될 수 있다.
이러한 제어부(106)는 초음파 트랜스듀서(1041)가 선회되도록 제어할 뿐만 아니라, 초음파 트랜스듀서(1041)의 스캐닝 방향(D1)에 수직한 방향(D2)으로 프로브(101) 단부를 이동시킬 수 있다.
구체적으로, 제어부(106)는 먼저 초음파 트랜스듀서(1041)를 제1 방향(D1)으로 선회시킴으로써, 초음파 트랜스듀서(1041)가 대상체의 일 영역에 대해 초음파 스캐닝을 수행하게 할 수 있다. 일 영역에 대한 스캐닝이 완료된 후, 제어부(106)는 프로브(101) 단부를 제2 방향(D2)으로 이동시키고, 다시 초음파 트랜스듀서(1041)를 제1 방향(D1)으로 선회시킴으로써, 다음 영역에 대한 초음파 스캐닝을 수행하게 할 수 있다. 이에 따라, 대상체에 대한 초음파 이미지가 자동적으로 획득될 수 있다. 또한, 3차원 초음파 영상 획득을 위한 프로브(101) 단부의 스캐닝동안, 연속적으로 RGB 멀티뷰 영상을 획득할 수 있다. 이에 따라, 획득한 RGB 멀티뷰 영상을 이용해 스테레오 스코픽 기반 깊이 측정 방법으로 프로브(101) 단부의 위치 정보를 측정할 수 있다.
이와 동시에, 제어부(106)는 RGB 카메라(C)와 전기적으로 연결되어 있어, 프로브(101)의 이미징 채널을 통해 보이는 대상체의 광 신호로부터 RGB 카메라(C)를 거쳐 대상체의 컬러 이미지를 전달받을 수 있다.
또한, 제어부(106)는 광원 부재(1037)와 전기적으로 연결되어 있어, 사용자의 목적에 따라 백색광 LED 또는 자외선 LED 중 적어도 하나가 콜리메이터(1038)와 연통되도록 제어할 수 있다. 즉, 제어부(106)는 프로브(101)의 조명 채널을 통해 광원을 선택적으로 조사할 수 있다.
또한, 제어부(106)는 포토멀티플라이어 어레이(P)와 전기적으로 연결되어 있어, 프로브(101)의 이미징 채널을 통해 보이는 대상체의 광 신호로부터 획득된 대상체의 반사 분광 이미지 또는 형광 분광 이미지를 전달받을 수 있다.
또한, 제어부(106)는 관성 측정 요소(1051)와 전기적으로 연결되어 있어, 프로브(101)가 이동과 초음파 트랜스듀서(1041)의 스캐닝이 반복됨에 따라, 관성 측정부(105)를 통해 획득된 프로브(101) 단부의 위치 정보를 전달받을 수 있다.
결국, 제어부(106)는 프로브(101) 단부의 위치 정보를 기반으로 전술한 초음파 이미지 및 분광 이미지를 정합하도록 처리할 수 있다.
또한, 제어부(106)는 정합된 대상체의 최종 3차원 이미지를 출력할 수 있으며, 컬러 이미지 획득부(102), 분광 이미지 획득부(103) 및 초음파 이미지 획득부(104)로부터 각각 획득된 대상체의 컬러 이미지, 분광 이미지 및 초음파 이미지를 개별적으로 모니터 등의 디스플레이 장치에 출력할 수도 있다.
따라서, 스냅샷 모드로 구성된 일 실시예에 따른 3차원 진단 시스템(10)을 이용하여, 대상체의 표면 정보를 갖는 분광 이미지, 대상체의 깊이 정보를 갖는 복수의 초음파 이미지 및 초음파 이미지 각각의 각도 정보를 종합적으로 컬러 이미지에 정합하도록 처리함으로써, 최종적으로 대상체에 대한 3차원 이미지를 획득할 수 있다.
이에 따라, 대상체 표면 및 대상체 내부에 존재하는 병변의 분포 및 침습 깊이를 3차원으로 진단하는 것이 가능하다.
또한, 광학 영상과 동일한 시야각에서의 고주파 영상이 가능하다.
도 4는 필터 휠 모드로 구성된 다른 실시예에 따른 3차원 진단 시스템(11)의 개략적인 구조도이다. 이에 따라, 도 4의 3차원 진단 시스템(11)의 분광 이미지 획득부(113)는 도 2의 3차원 진단 시스템(10)의 분광 이미지 획득부(103)와 다른 구성 요소로 구성될 수 있다.
도 4를 참조하여, 프로브(111)는 광학 요소(1111)를 포함할 수 있고, 프로브(111)의 단부에는 초음파 트랜스듀서(1141) 및 관성 측정 요소(1151)가 배치될 수 있다.
프로브(111)는 전술한 일 실시예에 따른 3차원 진단 시스템(10)의 프로브(101)와 동일한 요소로 구성되어 있으므로, 도 4에 도시된 3차원 진단 시스템(11)의 광학 요소(1111) 또한 도 2에 도시된 광학 요소(1011)와 동일하며, 이에 관한 구체적인 설명은 생략하기로 한다.
컬러 이미지 획득부(112)는 RGB 카메라(C1) 및 CCD 카메라(C2)를 포함할 수 있다.
이러한 컬러 이미지 획득부(102)는 프로브(101)를 통해 대상체의 컬러 이미지를 획득할 수 있다. 또한, 예를 들어, 상기 컬러 이미지에 분광 이미지, 초음파 이미지 및 상기 초음파 이미지의 각도 정보가 정합되어 최종적으로 대상체에 대한 3차원 이미지가 획득될 수도 있다.
분광 이미지 획득부(113)는 대물 렌즈(1131), 광 섬유 (1132), 필터 휠(1133), 튜브 렌즈(1134), 빔 스플리터(1135), RGB 카메라(C1) 및 CCD 카메라(C2)를 포함할 수 있다.
대물 렌즈(1131)는 대상체의 광 신호를 수집하도록 구성될 수 있다. 예를 들어, 대물 렌즈(1131)는 어안 렌즈로 마련될 수 있다.
광 섬유(1132)는 광학 요소(1111)로 광 신호를 전달하거나, 광학 요소(1111)로부터 수신한 광 신호를 분광 이미지 획득부(113)로 전달할 수 있다. 광 섬유(1132)는 광학 요소(1111)에 연결되고 분광 이미지 획득부(113)의 대물 렌즈(1131) 또는 콜리메이터(10137)에 각각 연결될 수 있다. 이때, 대물 렌즈(1131)에 연결된 광 섬유(1132)는 복수의 광 섬유 다발로 마련될 수 있다. 또한, 콜리메이터(1137)에 연결된 광 섬유(1132)는 단일 광 섬유로 마련될 수 있다.
대물 렌즈(1131)를 통과한 광 신호는 필터 휠(1133)로 전달될 수 있다.
필터 휠(1133)은 광 섬유(1132)에 의해 전달된 광 신호의 파장을 선택하여 광 신호를 수신하기 위한 복수 개의 필터들을 구비할 수 있다. 또한, 필터 휠(1133)은 모터 드라이버(M)에 연결되어 회전 구동될 수 있다. 이와 같은 필터 휠(1133)을 구비함으로써, 스냅샷 모드의 분광 이미징보다 시간이 더 걸릴 수 있는 단점이 있지만, 스냅샷 모드보다 높은 해상도의 분광 이미지를 얻을 수 있는 장점이 있다.
필터 휠(1133)을 통과한 광 신호는 튜브 렌즈(1134)를 통과하여 빔 스플리터(1135)로 전달될 수 있다. 또한, 광 신호는 빔 스플리터(1135)에 의해 각각 RGB 카메라(C1) 및 CCD 카메라(C2)로 전달될 수 있다.
분광 이미지 획득부(113)는 전술한 과정들을 거치면서 대상체 표면의 광 신호로부터 분광 이미지를 획득할 수 있다.
또한, 분광 이미지 획득부(113)는 광원 부재(1136) 및 콜리메이터(1137)를 더 포함할 수 있다.
광원 부재(1136)는 도 2의 광원 부재(1037)와 동일하고, 콜리메이터(1137)는 도 2의 콜리메이터(1038)와 동일하므로, 이에 관한 구체적인 설명은 생략하기로 한다.
이와 같이 구성된 분광 이미지 획득부(113)는 프로브(111)를 통해 대상체의 표면 정보에 대한 분광 이미지를 획득할 수 있고, 대상체를 향해 백색광 또는 자외선을 선택적으로 조사할 수 있다. 또한, 도 2의 분광 이미지 획득부(103)보다 높은 해상도의 분광 이미지를 얻을 수 있다.
초음파 이미지 획득부(114)는 초음파 트랜스듀서(1141), 펄서(1142), 리시버(1143), 스위치(1144) 및 모터 드라이버(M)를 포함할 수 있다.
초음파 이미지 획득부(114)는 전술한 일 실시예에 따른 3차원 진단 시스템(10)의 초음파 이미지 획득부(104)와 동일한 요소로 구성되어 있으므로, 도 4의 3차원 진단 시스템(11)의 초음파 트랜스듀서(1141), 펄서(1142), 리시버(1143), 스위치(1144) 및 모터 드라이버(M) 또한 각각 초음파 트랜스듀서(1041), 펄서(1042), 리시버(1043), 스위치(1044) 및 모터 드라이버(M)와 동일하며, 이에 관한 구체적인 설명은 생략하기로 한다.
이와 같이 구성된 초음파 이미지 획득부(114)는 프로브(111)를 통해 대상체의 깊이 정보에 대한 초음파 이미지를 획득할 수 있다.
관성 측정부(115)는 적어도 하나의 관성 측정 요소(1151)를 포함할 수 있다.
관성 측정부(115)는 전술한 일 실시예에 따른 3차원 진단 시스템(10)의 관성 측정부(115)와 동일한 요소로 구성되어 있으므로, 도 4의 3차원 진단 시스템(11)의 관성 측정 요소(1151) 또한 관성 측정 요소(1051)와 동일하며, 이에 관한 구체적인 설명은 생략하기로 한다.
이러한 관성 측정부(1151)를 통해 획득된 프로브(111) 단부의 위치 정보에 기초하여, 제어부(106)에 의해 프로브(101) 단부의 다음 이동 각도가 결정될 수 있다.
제어부(116)는 각각 프로브(111), 컬러 이미지 획득부(112), 분광 이미지 획득부(113), 초음파 이미지 획득부(114) 및 관성 측정부(115)와 전기적으로 연결되어 있으며, 프로브(111)의 움직임과 컬러 이미지 획득부(112), 분광 이미지 획득부(113), 초음파 이미지 획득부(114) 및 관성 측정부(115)의 구동을 제어할 수 있다.
마찬가지로, 제어부(116)는 전술한 일 실시예에 따른 3차원 진단 시스템(10)의 제어부(116)와 동일한 과정을 거쳐 동일한 기능을 수행하므로, 이에 관한 구체적인 설명은 생략하기로 한다.
이하에서는 도 5 내지 도 8을 참조하여, 3차원 진단 시스템(10, 11)에 의해 대상체의 3차원 이미지가 획득되는 과정을 설명하기로 한다.
또한, 여기서 대상체는 암이 분포하는 조직을 예로 하여 설명하기로 한다.
도 5는 3차원 진단 시스템(10, 11)을 사용하여 스캐닝되는 조직을 나타낸다.
도 5를 참조하여, 3차원 진단 시스템(10, 11)을 사용하여 조직의 컬러 이미지가 획득될 수 있다.
동시에, 분광 이미지 획득부(103, 113)는 광원 부재(1037, 1136)로부터 조직으로 백색광 또는 자외선을 조사하고, 조직으로부터 전달된 광 신호를 제어부(106, 116)로 전달할 수 있다.
동시에, 초음파 트랜스듀서(1041, 1141)는 도 5에 도시된 스캐닝 방향을 따라 선회하면서 조직의 내부로 초음파 신호를 송신하고, 조직으로부터 수신된 초음파 신호를 제어부(106, 116)로 전달할 수 있다.
도 6은 3차원 진단 시스템(10, 11)으로부터 획득된 조직의 분광 이미지를 나타낸다.
도 6을 참조하여, 3차원 진단 시스템(10, 11)을 사용하여 조직의 표면 정보에 대한 반사 분광 이미지 또는 형광 분광 이미지가 획득될 수 있다.
이때, 도 6에 도시된 바와 같이, 분광 이미지를 통해 조직 표면의 암 분포 영역이 판별될 수 있다.
도 7은 3차원 진단 시스템(10, 11)으로부터 획득된 조직의 초음파 이미지를 나타낸다.
도 7을 참조하여, 3차원 진단 시스템(10, 11)을 사용하여 조직의 깊이 정보에 대한 초음파 이미지가 획득될 수 있다.
이때, 도 7에 도시된 바와 같이, 초음파 이미지를 통해 조직 내부의 암 분포가 판별될 수 있다.
도 8은 3차원 진단 시스템(10, 11)의 영상 정합 과정을 나타낸다.
제어부(106, 116)에 의해 초음파 트랜스듀서(1041, 1141) 및 프로브(101, 111) 단부의 이동이 반복됨과 동시에, 관성 측정 요소(1051, 1151)는 매 스캔 과정 시 프로브(101) 단부의 위치 정보를 측정할 수 있다.
도 8을 참조하여, 제어부(106, 116)는 프로브(101, 111) 단부의 위치 정보를 기반으로 분광 이미지와 초음파 이미지를 정합하도록 처리할 수 있다.
따라서, 전술한 3차원 진단 시스템(10, 11)을 이용하여, 대상체의 표면 정보를 갖는 분광 이미지, 대상체의 깊이 정보를 갖는 초음파 이미지 및 초음파 이미지의 각도 정보를 종합적으로 컬러 이미지에 정합하도록 처리함으로써, 최종적으로 대상체에 대한 3차원 이미지를 획득할 수 있다.
이에 따라, 타겟 조직 표면 및 조직 내의 암 분포를 동시에 3차원으로 진단하는 것이 가능하다.
도 9는 3차원 진단 시스템(10, 11)의 병변(lesion) 영역이 구별된 멀티 스펙트럴 영상(910) 또는 병변 영역의 악성 병변 분포 확률로 구별된 입체 영상(940)을 출력하는 학습 모델의 훈련 방법을 나타낸다.
3차원 진단 시스템(10, 11)의 센서부는 포토멀티플라이어 어레이(P) 또는 CCD 카메라(C2)일 수 있고, 대역 통과 필터 어레이(1035) 또는 빔 스플리터(1135)를 포함하는 스펙트럴 필터링 구성요소로부터 출력된 복수의 상이한 파장의 광 신호를 각 파장 별로 영상화한 멀티 스펙트럴 영상을 생성할 수 있다.
메모리(미도시)는 멀티 스펙트럴 영상을 입력으로 하여 멀티 스펙트럴 영상의 각 파장 별 영상에서 적어도 서로 다른 두 개의 영역이 구별된 멀티 스펙트럴 영상을 출력하도록 훈련된 제1 학습 모델이 저장될 수 있다.
제어부(106, 116)는 제1 학습 모델을 센서부(106, 116)에서 생성한 멀티 스펙트럴 영상(910)에 적용하여 병변(lesion) 영역이 다른 영역과 구별되어 표시된 멀티 스펙트럴 영상(930)을 획득할 수 있다.
제1 학습 모델은 3D 컨벌루션을 포함한 신경망을 포함할 수 있고, 어텐션 미캐니즘(attention mechanism)이 적용된 학습 모델일 수 있다. 어텐션은 입력된 정보 중 일부 정보를 강조하여 주요 정보를 부각하기 위하여 수행되는 연산을 의미할 수 있다. 제1 학습 모델은 멀티 스펙트럴 영상에서 병변 영역에 어텐션이 가해질 수 있도록 훈련될 수 있다. 제1 학습 모델은 어텐션 미캐니즘(예를 들면 병변 영역의 특징점을 가진 영역에 어텐션을 적용하는 미캐니즘)을 제공하는 어텐션 게이트(attention gate)(951, 953, 955)를 포함할 수 있다.
일 실시 예에서, 제1 학습 모델은 병변 영상(911)에 기초하여 생성된 적어도 하나의 특징 맵을 포함할 수 있다. 제1 학습 모델은 특징 맵과 멀티 스펙트럴 영상 사이의 채널별 곱셈 연산에 기초하여 멀티 스펙트럴 영상에 대한 어텐션을 적용할 수 있다.
일 실시 예에서, 제1 학습 모델은 학습 모델 내부의 값들에 기초하여 게이팅 시그널(965, 963)을 생성할 수 있고, 게이팅 시그널은 특징값을 보정하는 가중치일 수 있다.
일 실시 예에서, 제1 학습 모델은 멀티 스펙트럴 영상(910) 및 병변 영역 등의 관심 영역(ROI) 영상으로부터 추출된 특징점들을 적어도 하나의 어텐션 게이트(951, 953, 955)에 입력하여, 어텐션 게이트(951, 953, 955)로 하여금 다수의 특징점들을 종합(aggregation)하여 최적 특징을 출력하도록 시그널링할 수 있다.
일 실시예에서, 어텐션 게이트(951, 953, 955)는 각 특징들에 대응하는 점수를 생성하고, 생성된 점수에 기반하여 다수의 특징점들에 가중 계수를 적용하여 합산한 후 최적 특징점을 출력할 수 있다.
일 실시 예에서, 제2 학습 모델은 대상체의 관심 영역에 서로 다른 방향에서 백색광을 조명하여 얻어진 복수의 컬러 영상의 각 픽셀에서 표면 수선(surface normal) 및 반사 계수(알베도 계수)를 계산하여 3D 영상을 생성하는 측광 입체 시법으로 생성된 입체 영상(920)과 병변 영역이 구별된 멀티 스펙트럴 영상(930)을 입력으로 하여 입체 영상(920)의 표면 입체에서 악성 병변이 분포한 가중치를 구별하여 표시한 악성 병변 분포 가중치 맵(940)을 생성할 수 있다.
도 10은 3차원 진단 시스템(10, 11)의 복수의 초음파 영상을 기반으로 초음파 영상들 사이의 대상체에 해당하는 초음파 영상을 생성하는 학습 모델의 방법을 나타낸다.
메모리(미도시)는 복수의 초음파 영상을 입력으로 하여 복수의 초음파 영상에 포함되고 서로 인접한 적어도 서로 다른 두 개의 초음파 영상에 기반하여 상기 서로 다른 두 개의 초음파 영상 사이의 초음파 영상을 생성하도록 생성적 적대 신경망(Generative Adversarial Network)에 기반하여 훈련된 제2 학습 모델이 저장될 수 있다.
일 실시 예에서, 제3 학습 모델은 3차원 컨벌루션을 포함하는 복수의 신경망을 포함할 수 있다. 제3 학습 모델은 복수의 초음파 영상(1000)을 입력 받아 인접한 초음파 영상들(1010, 1030, 1050, 1070) 사이의 초음파 영상(1020, 2040, 1060)을 생성하도록 훈련된 신경망을 포함하는 생성 모델 및 생성된 초음파 영상(1020, 2040, 1060)이 실제 초음파 영상인지 생성된 초음파 영상인지 판별 하도록 훈련된 신경망을 포함하는 판별 모델을 포함할 수 있다. 일 실시 예에서, 생성 모델은 변환을 위해 입력된 초음파 영상 셋의 특징점을 추출하는 다운 샘플링과 추출된 특징점을 기반으로 이미지를 재구성하기 위한 업 샘플링으로 구성될 수 있고, 다운 샘플링과 업 샘플링은 컨벌루션 레이어를 포함할 수 있다. 원본 초음파 영상의 정보 손실을 방지하기 위하여 스킵(skip) 연결을 사용하여 고주파 성분의 정보를 공유할 수 있고, 예를 들어 다운 샘플링 프로세스의 특정 레이어의 정보를 업 샘플링 프로세스의 특정 레이어의 정보와 연결할 수 있다.
도 11은 3차원 진단 시스템(10, 11)의 복수의 초음파 영상을 기반으로 초음파 영상을 아핀 변환(affine transformation)하는 학습 모델의 방법을 나타낸다.
3차원 진단 시스템(10, 11)은 프로브(101, 111) 단부의 이동에 따라 복수의 초음파 영상(1110)을 획득할 수 있고, 그 중 일부의 영상(1112)은 프로브(101, 111) 단부의 국지적인 급격한 이동 또는 진동으로 인하여 프로브(101, 111) 단부의 안정적인 이동 위치에서 획득된 다른 초음파 영상들(1111, 1113~1117)에 비하여 대상체의 다른 영역에서 획득될 수 있고, 이 경우 3차원 초음파 영상의 영상 질이 훼손될 수 있다.
일 실시 예에서, 메모리(미도시)는 대상체의 일 영역에 대해서 관성 측정 요소에 기반하여 복수의 초음파 영상들(1111~1117)이 획득된 위치 정보를 입력으로 하여 상기 복수의 초음파 영상들(1111~1117)을 아핀 변환 가능한 파라미터들(pitch, yaw, roll)을 출력하도록 훈련된 제4 학습 모델이 저장될 수 있다.
일 실시 예에서, 메모리(미도시)는 대상체의 일 영역에 대해서 관성 측정 요소에 기반하여 복수의 초음파 영상들(1111~1117)이 획득된 위치 정보 및 복수의 초음파 영상들(1111~1117)을 입력으로 하여 상기 복수의 초음파 영상들(1111~1117)을 아핀 변환 가능한 파라미터들(pitch, yaw, roll) 또는 상기 복수의 초음파 영상들(1111~1117)을 아핀 변환한 복수의 초음파 영상들(1121~1127)을 출력하도록 훈련된 제4 학습 모델이 저장될 수 있다.
일 실시 예에서, 제4 학습 모델은 3차원 컨볼루션을 포함하는 신경망을 포함할 수 있다.
종래의 초음파 영상 안정화 기술은 초음파 영상들간의 유사성을 검사하는 함수에서 함수의 값을 최대로 만드는 파라미터를 찾는 방법에 기반한 연산량으로 인해 실시간으로 적용하기 어려웠으나, 본 방법을 통하여 실시간으로 초음파 영상들의 안정화를 수행 가능한 효과가 있다.
도 12는 3차원 진단 시스템(10, 11)의 대상체에서 획득한 복수의 초음파 영상을 기반으로 생성된 3차원 초음파 영상에 대상체에서 획득한 컬러 영상에 기반하여 생성된 입체 영상을 정합하여 표시하는 방법을 나타낸다.
입체 영상은 측광입체시법(photometric stereo imaging)에 기반하여 대상체를 서로 다른 방향에서 백색광으로 조명(illuminating)하여 획득한 컬러 영상들의 각 픽셀에서 계산된 표면 법선(surface normal) 및 반사 계수(알베도 계수)에 기반하여 컬러 영상이 획득된 영역에 대해 생성된 3차원 표면 영상일 수 있다.
일 실시 예에서, 3차원 진단 시스템(10, 11)은 3차원 초음파 영상의 각 초음파 영상들이 획득된 위치 정보와 컬러 영상의 위치 정보에 기반하여 3차원 초음파 영상과 3차원 표면 영상의 정합을 위환 변환 파라미터를 계산할 수 있다.
일 실시 예에서, 3차원 진단 시스템(10, 11)은 초음파 영상들과 3차원 표면 영상의 영상 유사성에 기반한 SIFT(Scale Invariant Feature Transform) 알고리듬을 적용하여 3차원 초음파 영상과 3차원 표면 영상을 정합하고 블렌딩하여 오버레이 표시할 수 있다.
이상과 같이 본 발명의 실시예에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 구조, 장치 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
한편, 본 발명은 아래와 같이 기재된 국가연구개발사업에 의해 지원을 받는다.
과제 1)
[과제고유번호] 2019010049
[정부 부처명] 과학기술정보통신부
[연구관리전문기관] 한국연구재단
[연구사업명] 뇌기능 항상성 유지를 위한 멀티 모달 뇌기능 센싱 및 제어 기술 개발
[연구과제명] 뇌기능 항상성 유지를 위한 멀티 모달 뇌기능 센싱 및 제어 기술 개발
[기여율] 4/10
[주관기관] 대구경북과학기술원
[연구기간] 2019.01.01 ~ 2019.12.31
과제 2)
[과제고유번호] 2019060033
[정부 부처명] 산업통상자원부
[연구관리전문기관] 한국산업기술평가관리원
[연구사업명] 정형용 인공고관절 임플란트 라이너의 스마트 모니터링 시스템 개발
[연구과제명] 정형용 인공고관절 임플란트 라이너의 스마트 모니터링 시스템 개발
[기여율] 3/10
[주관기관] (주)올소테크
[연구기간] 2019.06.01 ~ 2019.12.31
과제 3)
[과제고유번호] 2018030046
[정부 부처명] 과학기술정보통신부
[연구관리전문기관] 한국연구재단
[연구사업명] 부유/배양세포의 기계적 특성 측정을 위한 초음파 방사력 기반 비접촉 세포 탄성 영상 시스템 개발 연구
[연구과제명] 부유/배양세포의 기계적 특성 측정을 위한 초음파 방사력 기반 비접촉 세포 탄성 영상 시스템 개발 연구
[기여율] 3/10
[주관기관] 대구경북과학기술원
[연구기간] 2018.03.01 ~ 2019.02.28
[도면부호]
10: 3차원 진단 시스템
101: 프로브
1011: 광학 요소
1012: 워킹 채널
102: 컬러 이미지 획득부
103: 분광 이미지 획득부:
1031: 대물 렌즈
1032: 광 섬유
1033: 빔 스플리터
1034: 렌즈 어레이
1035: 대역 통과 필터 어레이
1036: 튜브 렌즈
1037: 광원 부재
1038: 콜리메이터
104: 초음파 이미지 획득부
1041: 초음파 트랜스듀서
1042: 펄서
1043: 리시버
1044: 스위치
105: 관성 측정부
1051: 관성 측정 요소
106: 제어부
910: 멀티 스펙트럴 영상
911: 병변 영상
920, 1210: 표면 입체 영상
951, 953, 955: 어텐션 게이트
1220: 3차원 초음파 영상

Claims (19)

  1. 진단 대상체에 위치하도록 구성된 프로브;
    상기 프로브를 통해 대상체의 표면 정보에 대한 분광 이미지를 획득하도록 구성된 분광 이미지 획득부; 및
    상기 프로브를 통해 대상체의 깊이 정보에 대한 초음파 이미지를 획득하도록 구성된 초음파 이미지 획득부;
    를 포함하고,
    대상체의 표면 정보 및 깊이 정보를 정합하여 생성된 3차원 이미지를 통해 대상체에 대한 3차원 진단이 가능한, 3차원 진단 시스템.
  2. 제1항에 있어서,
    상기 초음파 이미지 획득부는 상기 프로브 단부 내에 배치된 적어도 하나 또는 복수의 초음파 트랜스듀서를 포함하고,
    상기 초음파 트랜스듀서는 대상체의 일 영역에 대한 스캐닝을 수행하는, 3차원 진단 시스템.
  3. 제2항에 있어서,
    상기 초음파 트랜스듀서는 하나 또는 복수로 구성되고, 상기 초음파 트랜스듀서를 선회시킴으로써 상기 대상체의 일 영역에 대한 스캐닝이 수행되는, 3차원 진단 시스템.
  4. 제2항 또는 제3항에 있어서,
    상기 프로브의 움직임을 감지하는 관성 측정부를 더 포함하고,
    상기 관성 측정부를 통해 획득된 프로브 단부의 위치 정보에 기초하여, 상기 초음파 트랜스듀서의 스캐닝 방향에 수직한 방향으로의 상기 프로브 단부의 이동 각도가 결정되는, 3차원 진단 시스템.
  5. 제4항에 있어서,
    상기 초음파 트랜스듀서 및 상기 프로브 단부의 움직임을 제어하는 제어부를 더 포함하고,
    상기 제어부는 상기 초음파 트랜스듀서의 스캐닝 방향에 수직한 방향으로 상기 프로브 단부를 이동시키며,
    상기 제어부는 상기 일 영역에 대한 상기 초음파 트랜스듀서의 스캐닝이 완료된 후 프로브 단부의 수직 이동이 수행되도록 제어하여, 초음파 이미지가 자동적으로 획득되는, 3차원 진단 시스템.
  6. 제5항에 있어서,
    상기 제어부는 상기 관성 측정부를 통해 획득된 상기 프로브 단부의 위치 정보를 기반으로 대상체에 대한 상기 초음파 이미지와 분광 이미지를 정합하는, 3차원 진단 시스템.
  7. 제2항에 있어서,
    상기 초음파 이미지 획득부는
    상기 초음파 트랜스듀서로부터 측정된 초음파 신호의 펄스를 조절하는 펄서;
    상기 초음파 신호를 수신하도록 구성된 리시버; 및
    상기 초음파 트랜스듀서 및 상기 리시버 사이의 신호 전달을 개폐하는 스위치;
    를 더 포함하는, 3차원 진단 시스템.
  8. 제1항에 있어서,
    상기 분광 이미지 획득부는,
    상기 대상체의 광 신호를 수집하도록 구성된 렌즈;
    상기 렌즈에 의한 광 신호를 전달하는 적어도 하나 이상의 광 섬유; 및
    상기 광 섬유에 의해 전달된 광 신호를 복수의 상이한 파장의 광 신호로 분리하여 수신하기 위한 렌즈 어레이 및 대역 통과 필터 어레이를 포함하는, 3차원 진단 시스템.
  9. 제1항에 있어서,
    상기 분광 이미지 획득부는,
    상기 대상체의 광 신호를 수집하도록 구성된 렌즈;
    상기 렌즈에 의한 광 신호를 전달하는 적어도 하나 이상의 광 섬유; 및
    상기 광 섬유에 의해 전달된 광 신호의 파장을 선택하여 광 신호를 수신하기 위한 복수 개의 필터들을 구비하는 필터 휠을 포함하는, 3차원 진단 시스템.
  10. 제1항에 있어서,
    상기 분광 이미지 획득부는 백색광 또는 자외선을 포함하는 광원 부재를 포함하고,
    상기 광원 부재는 상기 대상체를 향해 백색광 또는 자외선을 선택적으로 조사하는, 3차원 진단 시스템.
  11. 제1항에 있어서,
    상기 프로브를 통해 대상체의 컬러 이미지를 획득하도록 구성된 컬러 이미지 획득부를 더 포함하고,
    상기 분광 이미지, 상기 초음파 이미지 및 상기 초음파 이미지의 각도 정보는 상기 컬러 이미지에 정합되어 대상체에 대한 3차원 이미지가 획득되는, 3차원 진단 시스템.
  12. 제1항에 있어서,
    상기 분광 이미지 획득부는,
    상기 대상체의 광 신호를 수집하도록 구성된 렌즈;
    상기 렌즈에 의한 광 신호를 전달하는 적어도 하나 이상의 광 섬유;
    상기 광 섬유에 의해 전달된 광 신호를 복수의 상이한 파장의 광 신호로 분리하는 스펙트럴 필터링 구성요소; 및
    상기 복수의 상이한 파장의 광 신호를 각 파장 별로 영상화한 멀티 스펙트럴 영상을 생성하는 센서부를 포함하는, 3차원 진단 시스템.
  13. 제12항에 있어서,
    상기 멀티 스펙트럴 영상에 컨벌루션 신경망이 포함된 머신 러닝 기반의 제1 학습 모델을 적용하여 상기 멀티 스펙트럴 영상의 각 파장 별 영상에서 적어도 서로 다른 두 개의 영역이 구별된 상기 멀티 스펙트럴 영상을 출력하는 제어부를 포함하고,
    상기 학습 모델은 상기 신경망의 어텐션 미캐니즘(attention mechanism)을 상기 멀티 스펙트럴 영상의 각 파장 별 영상에 적용하여 어텐션 맵(attention map)을 생성하고, 상기 어텐션 맵의 적어도 일부에 기반하여 상기 멀티 스펙트럴 영상의 각 파장 별 영상에서 적어도 서로 다른 두 개의 영역을 구별하도록 설정된, 3차원 진단 시스템.
  14. 제5항에 있어서,
    상기 제어부는 상기 일 영역에 대해서 획득된 복수의 상기 초음파 이미지에 생성적 적대 신경망(Generative Adversarial Network)을 적용하여 복수의 상기 초음파 이미지에 포함되고 서로 인접한 제1 초음파 이미지 및 제2 초음파 이미지의 적어도 일부에 기반하여 상기 제1 초음파 이미지 및 상기 제2 초음파 이미지 사이의 제3 초음파 이미지를 생성하는, 3차원 진단 시스템.
  15. 제5항에 있어서,
    상기 제어부는 상기 일 영역에 대해서 획득된 복수의 상기 초음파 이미지 가 획득된 위치 정보에 심층 신경망(Deep Neural Network)을 포함하는 머신 러닝 기반의 제2 학습 모델을 적용하여 획득된 변환 파라미터에 기반하여 상기 제4 초음파 이미지를 아핀 변환(affine transformation)하고,
    상기 제2 학습 모델은 초음파 이미지가 획득된 프로브 단부의 위치 정보가 아핀 변환을 위한 변환 파라미터로 레이블링(labeling)된 훈련 데이터에 기반하여 훈련된 학습 모델인, 3차원 진단 시스템.
  16. 제5항에 있어서,
    상기 제어부는 대상체를 복수의 방향에서 조명한 광원에 기반하여 복수의 컬러 영상을 획득하고, 복수의 상기 컬러 영상의 표면 수선과 반사 계수에 기반하여 생성된 입체 영상을 이미지 유사성에 기반하여 대상체에 대한 상기 초음파 이미지와 정합하는, 3차원 진단 시스템.
  17. 대상체의 표면 정보에 관한 분광 이미지를 획득하도록 구성된 적어도 하나의 광학 요소; 및
    상기 광학 요소와 이격되게 배치되고, 대상체의 깊이 정보에 관한 초음파 이미지를 획득하도록 구성된 적어도 하나의 초음파 트랜스듀서;
    를 포함하고,
    상기 초음파 트랜스듀서는 대상체의 일 영역에 대한 스캐닝을 수행하기 위해 선회되는, 3차원 진단 프로브.
  18. 제17항에 있어서,
    상기 프로브 단부의 위치 정보를 측정하는 적어도 하나의 관성 측정 요소를 더 포함하는, 3차원 진단 프로브.
  19. 제18항에 있어서,
    상기 프로브의 단부는 상기 초음파 트랜스듀서의 스캐닝 방향에 수직한 방향으로 이동되고,
    상기 관성 측정 요소를 통해 획득된 상기 프로브 단부의 위치 정보를 기반으로 대상체에 대한 상기 초음파 이미지와 분광 이미지를 정합하는, 3차원 진단 프로브.
PCT/KR2020/015460 2019-11-06 2020-11-06 3차원 진단 시스템 Ceased WO2021091282A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP20885677.3A EP4056123B1 (en) 2019-11-06 2020-11-06 Three-dimensional diagnostic system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190141198A KR102379481B1 (ko) 2019-11-06 2019-11-06 3차원 진단 시스템
KR10-2019-0141198 2019-11-06

Publications (1)

Publication Number Publication Date
WO2021091282A1 true WO2021091282A1 (ko) 2021-05-14

Family

ID=75848934

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/015460 Ceased WO2021091282A1 (ko) 2019-11-06 2020-11-06 3차원 진단 시스템

Country Status (3)

Country Link
EP (1) EP4056123B1 (ko)
KR (1) KR102379481B1 (ko)
WO (1) WO2021091282A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820731A (zh) * 2022-03-10 2022-07-29 青岛海信医疗设备股份有限公司 Ct影像和三维体表图像的配准方法及相关装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117204796B (zh) * 2023-11-09 2024-02-13 哈尔滨海鸿基业科技发展有限公司 一种腹腔内窥镜多光谱成像方法及装置
NL2036383B1 (en) * 2023-11-29 2025-06-05 Stichting Het Nederlands Kanker Inst Antoni Van Leeuwenhoek Ziekenhuis Imaging scanner and optical scanner in a medical device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014124309A (ja) * 2012-12-26 2014-07-07 Toshiba Corp 超音波診断装置
KR101744110B1 (ko) * 2016-03-23 2017-06-07 연세대학교 산학협력단 초음파와 적외선을 이용한 암 진단 시스템
JP2018514748A (ja) * 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンＴｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｋｒｏｎ 光学撮像システムおよびその方法
JP6538956B2 (ja) * 2007-01-19 2019-07-03 サニーブルック・ヘルス・サイエンシズ・センター 超音波と光学を複合した画像手段を有する撮像プローブ
KR102001980B1 (ko) * 2016-12-29 2019-07-19 울산과학기술원 광음향-초음파 미니 내시경 프로브

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184367B2 (en) 2006-02-15 2012-05-22 University Of Central Florida Research Foundation Dynamically focused optical instrument
WO2007123518A1 (en) 2006-04-21 2007-11-01 Cedars-Sinai Medical Center Multiple imaging and/or spectroscopic modality probe
US8460195B2 (en) * 2007-01-19 2013-06-11 Sunnybrook Health Sciences Centre Scanning mechanisms for imaging probe
US11123047B2 (en) * 2008-01-28 2021-09-21 The General Hospital Corporation Hybrid systems and methods for multi-modal acquisition of intravascular imaging data and counteracting the effects of signal absorption in blood
US20160022244A1 (en) 2013-03-15 2016-01-28 Colibri Technologies Inc. Medical probes having internal hydrophilic surfaces
KR102047247B1 (ko) 2017-12-27 2019-11-21 재단법인대구경북과학기술원 다중 모달 융합 내시경 시스템
LT6670B (lt) 2018-02-09 2019-10-10 Kauno technologijos universitetas Spektrofotometrijos ir ultragarso vaizdų ir duomenų kompleksinės analizės sistema automatinei ankstyvajai piktybinių odos navikų diagnostikai atlikti

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6538956B2 (ja) * 2007-01-19 2019-07-03 サニーブルック・ヘルス・サイエンシズ・センター 超音波と光学を複合した画像手段を有する撮像プローブ
JP2014124309A (ja) * 2012-12-26 2014-07-07 Toshiba Corp 超音波診断装置
JP2018514748A (ja) * 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンＴｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｋｒｏｎ 光学撮像システムおよびその方法
KR101744110B1 (ko) * 2016-03-23 2017-06-07 연세대학교 산학협력단 초음파와 적외선을 이용한 암 진단 시스템
KR102001980B1 (ko) * 2016-12-29 2019-07-19 울산과학기술원 광음향-초음파 미니 내시경 프로브

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAEGU GYEONGBUK, INSTITUTE OF SCIENCE & TECHNOLOGY, 1 January 2019 (2019-01-01)
DAEGU GYEONGBUK, INSTITUTE OF SCIENCE & TECHNOLOGY, 1 March 2019 (2019-03-01)
See also references of EP4056123A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820731A (zh) * 2022-03-10 2022-07-29 青岛海信医疗设备股份有限公司 Ct影像和三维体表图像的配准方法及相关装置

Also Published As

Publication number Publication date
KR20210054919A (ko) 2021-05-14
EP4056123B1 (en) 2026-01-07
EP4056123A4 (en) 2023-12-06
KR102379481B1 (ko) 2022-03-25
EP4056123C0 (en) 2026-01-07
EP4056123A1 (en) 2022-09-14

Similar Documents

Publication Publication Date Title
WO2021091282A1 (ko) 3차원 진단 시스템
EP3638120A1 (en) X-ray imaging apparatus and control method thereof
WO2021145584A1 (ko) 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법
WO2013058567A1 (en) X-ray imaging apparatus and method for controlling the same
WO2022203229A1 (ko) 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
WO2015152692A1 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2016200013A1 (ko) 광학 장치 및 깊이 정보 생성 방법
WO2020101380A1 (ko) 광학식 피부질환 진단장치
WO2012141392A1 (ko) 컴퓨터 단층촬영 장치와 표준시료를 이용한 시료 공극 측정 시스템 및 그 방법
WO2018066868A1 (ko) 3차원 형상 측정 장치 및 그의 측정 방법
WO2022055194A1 (ko) 스캔 거울과 트랜슬레이션 스테이지를 사용한 플라잉 오버 빔 패턴 스캐닝 홀로그램 현미경 장치
WO2021010784A2 (ko) 객체 영상 생성, 객체 인식과 이동 로봇의 환경 학습을 수행하는 장치 및 방법
WO2015080522A1 (en) Method and ultrasound apparatus for marking tumor on ultrasound elastography image
EP3073930A1 (en) Method and ultrasound apparatus for marking tumor on ultrasound elastography image
WO2020004837A1 (ko) 자동 편광 조절 장치 및 방법
WO2022139465A1 (ko) 인공지능 라만 분석 기법을 이용한 췌장암 조기진단 방법
WO2022145999A1 (ko) 인공지능 기반의 자궁경부암 검진 서비스 시스템
WO2016098929A1 (ko) 초음파 영상 장치 및 그 제어방법
WO2018101623A1 (ko) 광단층 영상을 이용한 비초점 광음향 영상 왜곡 보정 방법 및 장치
WO2020105954A1 (ko) 가변파장의 피부 영상 정보를 이용한 휴대용 피부질환 진단장치
WO2017082625A1 (ko) 프로브 장치 및 그 제어 방법
WO2022177181A1 (ko) 치아 분석 서버, 치아 분석 단말, 및 치아 분석 프로그램
WO2022102995A1 (ko) 전자 장치 및 그 제어 방법
WO2025089842A1 (ko) 대상 영역에 대한 촬영 이미지를 이용하여 공간 맵을 생성하는 방법 및 이를 수행하기 위한 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20885677

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020885677

Country of ref document: EP

Effective date: 20220607

WWG Wipo information: grant in national office

Ref document number: 2020885677

Country of ref document: EP