WO2024063560A1 - 스캐너, 데이터 처리 장치 및 데이터 처리 방법 - Google Patents

스캐너, 데이터 처리 장치 및 데이터 처리 방법 Download PDF

Info

Publication number
WO2024063560A1
WO2024063560A1 PCT/KR2023/014381 KR2023014381W WO2024063560A1 WO 2024063560 A1 WO2024063560 A1 WO 2024063560A1 KR 2023014381 W KR2023014381 W KR 2023014381W WO 2024063560 A1 WO2024063560 A1 WO 2024063560A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image data
scanner
pattern
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/014381
Other languages
English (en)
French (fr)
Inventor
조은길
장광진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medit Corp
Original Assignee
Medit Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230121914A external-priority patent/KR20240040634A/ko
Application filed by Medit Corp filed Critical Medit Corp
Priority to US19/113,495 priority Critical patent/US20260083534A1/en
Priority to EP23868612.5A priority patent/EP4591783A4/en
Priority to CN202380067567.8A priority patent/CN119907638A/zh
Publication of WO2024063560A1 publication Critical patent/WO2024063560A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance

Definitions

  • the disclosed embodiments relate to a scanner, a data processing device, and a data processing method, and more specifically, to a device and method for processing or processing an oral image.
  • Scanners are used for dental treatment of patients.
  • a scanner can acquire scan data on the surface of an object using light reflected from the object.
  • a data processing device such as a PC connected to a scanner can create a 3D virtual model using scan data acquired by the scanner.
  • the scanner may not be able to obtain accurate 2D scan data for the object.
  • the object is an internal metal structure such as a crown, prosthesis, orthodontic device
  • the reflectance of light is high and the accurate shape is not scanned.
  • the 3D virtual model created from inaccurate scan data also becomes inaccurate.
  • a scanner includes a communication unit that transmits and receives information to and from a data processing device, a projector that emits pattern light generated based on pattern data, and a data acquisition unit that acquires two-dimensional image data for an object, and the data acquisition unit It includes a first camera and a second camera spaced apart from each other, wherein at least one of the first camera and the second camera acquires image data for the object on which the pattern light is projected, wherein the first camera is the first camera.
  • the second camera acquires the second image data, the optical path of the pattern light projected to the object coincides in the opposite direction to the optical path of the incident light incident to the second camera, and the communication unit Along with the first image data, at least one of the second image data and the pattern data may be transmitted to the data processing device.
  • FIG. 1 is a diagram for explaining an oral image processing system according to an embodiment.
  • Figure 2 is a diagram for explaining a method by which a scanner acquires surface data, according to an embodiment.
  • Figure 3 is a diagram showing the optical path of the scanner.
  • Figure 4 shows an optical path of a scanner according to an embodiment.
  • Figure 5 shows a scanner acquiring different data depending on the object, according to an embodiment.
  • FIG. 6 illustrates a scanner acquiring two-dimensional image data for an object by scanning an object, according to an embodiment.
  • Figure 7 is a diagram showing that the projector and the second camera included in the scanner are coaxially formed according to an embodiment.
  • Figure 8 shows some of the components of a scanner according to an embodiment.
  • FIG. 9 shows a three-dimensional oral model of an object obtained using image data acquired with the scanner shown in FIG. 8.
  • FIG. 10 is a diagram illustrating information being transmitted and received between a scanner and a data processing device, according to an embodiment.
  • Figure 11 is a block diagram showing a data processing system according to an embodiment.
  • Figure 12 is a flowchart showing a data processing method according to an embodiment.
  • Figure 13 is a flowchart showing a data processing method according to an embodiment.
  • the scanner alternately operates in a first scan mode and a second scan mode during a scan operation, and the data acquisition unit generates a two-dimensional image at the first luminance when the scanner operates in the first scan mode.
  • two-dimensional image data may be acquired at a second luminance, and the second luminance may be lower than the first luminance.
  • the scanner further includes a processor, wherein the processor turns on and/or turns off the second camera based on at least one of a control signal from the data processing device and a scan mode of the scanner. (off) can be controlled.
  • the projector includes a near ultraviolet (NUV) light source
  • at least one of the first camera and the second camera is a color camera including a color sensor or a black and white camera provided with a color filter
  • the first camera and the second camera acquire image data about the light reflected from the object by the near-ultraviolet rays
  • the communication unit The near-ultraviolet rays may transmit image data about light reflected from the object to the data processing device.
  • a data processing device includes a scanner including a projector, a first camera, and a second camera, a communication unit for transmitting and receiving information, and a processor executing at least one instruction, wherein the processor Receive, from a scanner, at least one of first image data acquired by the first camera, second image data acquired by the second camera, and pattern data of the projector, generated based on the pattern data, and The optical path of the pattern light projected to the object coincides in the opposite direction to the optical path of the incident light incident on the second camera, and the pattern included in the first image data is compared with the pattern corresponding to the pattern data to determine the object.
  • a 3D oral model can be created.
  • the processor may generate a three-dimensional oral model for the object by finding a matching point between a pattern included in the first image data and a pattern corresponding to the pattern data and obtaining depth information.
  • the processor is based on at least one of a user control signal, an identification signal that the object is metal, and the failure of a three-dimensional oral model for the object to be obtained from the first image data and the second image data.
  • a three-dimensional oral model for the object can be generated by comparing a pattern included in the first image data with a pattern corresponding to the pattern data.
  • the processor receives image data from the scanner, through the communication unit, at a first luminance when the scanner is in a first scan mode, and image data acquired at a second luminance when the scanner is in a second scan mode.
  • Image data the second luminance is lower than the first luminance, and using image data acquired by the first camera among the image data acquired at the second luminance as the first image data, the 3 A dimensional oral model can be created.
  • the processor applies a second camera lens distortion to the pattern data, compares a pattern corresponding to the pattern data to which the second camera lens distortion is applied with a pattern included in the first image data, and A 3D oral model can be created.
  • At least one of the first camera and the second camera is a color camera including a color sensor or a black-and-white camera equipped with a color filter
  • the communication unit transmits a signal from the scanner to the projector as a NUV light source.
  • a three-dimensional oral model in which an area of a predetermined wavelength band is identified can be created from image data.
  • a data processing method includes the steps of emitting pattern light generated based on pattern data using a projector included in the scanner, using a first camera included in the scanner to target the object onto which the pattern light is projected. Obtaining first image data and comparing a pattern included in the first image data with a pattern corresponding to the pattern data to generate a three-dimensional oral model for the object, and projected to the object.
  • the optical path of the pattern light may coincide in the opposite direction to the optical path of the incident light incident on the second camera included in the scanner.
  • the step of generating a 3D oral model for the object is to obtain depth information by finding a match between a pattern included in the first image data and a pattern corresponding to the pattern data, thereby creating a 3D model for the object. It may include the step of creating an oral model.
  • the step of generating a three-dimensional oral model for the object includes obtaining a three-dimensional oral model for the object from a user control signal, an identification signal that the object is metal, and the first image data and the second image data.
  • the method may include generating a three-dimensional oral model for the object by comparing a pattern included in the first image data with a pattern corresponding to the pattern data, based on at least one of the following:
  • acquiring the first image data and the second image data includes acquiring image data at a first luminance when the scanner is in a first scan mode and at a second luminance when the scanner is in a second scan mode.
  • Obtaining image data at a luminance, wherein the second luminance is lower than the first luminance, and generating a three-dimensional oral model for the object includes selecting the first luminance among the image data obtained at the second luminance. It may include generating the three-dimensional oral model by using image data acquired by a camera as the first image data.
  • the method further includes applying a second camera lens distortion to the pattern data, and generating a three-dimensional oral model for the object corresponds to the pattern data to which the second camera lens distortion has been applied. It may include generating a three-dimensional oral model for the object by comparing the pattern included in the first image data.
  • one of the first camera and the second camera is a color camera including a color sensor or a black-and-white camera equipped with a color filter
  • the method is such that the projector uses a near ultraviolet (NUV) light source. Projecting near-ultraviolet rays, obtaining image data for light reflected from the near-ultraviolet ray using the first camera and the second camera, and obtaining image data for the light reflected from the object for the near-ultraviolet ray.
  • a step of generating a three-dimensional oral model in which an area of a predetermined wavelength band is identified from image data may be further included.
  • a recording medium includes the steps of emitting pattern light generated based on pattern data using a projector included in a scanner; Obtaining first image data and comparing a pattern included in the first image data with a pattern corresponding to the pattern data to generate a three-dimensional oral model for the object, and projected to the object.
  • the optical path of the pattern light coincides in the opposite direction to the optical path of the incident light incident on the second camera included in the scanner, and may be a computer-readable recording medium on which a program capable of performing a data processing method by a computer is recorded. there is.
  • the data processing device and data processing method may acquire image data about light in which near-ultraviolet rays are reflected from an object using a NUV light source and a color camera or a black-and-white camera equipped with a color filter.
  • an image may include an image representing at least one tooth, an oral cavity including at least one tooth, or a plaster cast of the oral cavity (hereinafter referred to as an 'oral image').
  • an image may include a two-dimensional image of an object or a three-dimensional oral image representing the object in three dimensions. Since a 3D oral image can be created by modeling the structure of the oral cavity in 3D based on raw data, it may also be called a 3D oral model. Additionally, the 3D oral model may also be referred to as a 3D scan model or 3D scan data.
  • oral image will be used to refer to a model or image representing the oral cavity in two or three dimensions.
  • data may refer to information necessary to express an object in two or three dimensions, for example, raw data acquired using at least one camera.
  • raw data is data acquired to generate an oral image, and is data acquired from at least one image sensor included in the scanner when scanning an object using a scanner (e.g., two-dimensional data ) can be.
  • Raw data acquired from a scanner may be referred to as a two-dimensional image, image data, or two-dimensional image data.
  • Raw data may refer to two-dimensional images from different viewpoints acquired by a plurality of cameras when scanning an object using a scanner.
  • the raw data is described as a two-dimensional image, but the raw data is not limited thereto and may be three-dimensional image data.
  • an object is a subject of photography and may include a part of the body or a model modeled after a part of the body.
  • the light projected by the projector is reflected from the object and enters the two cameras included in the scanner. If the object has a high reflectivity, such as a metal, the amount of light reflected from the object and incident on the two cameras may vary. In this case, the scanner is unable to obtain accurate 2D scan data for the object, and the 3D virtual model created from inaccurate 2D scan data also becomes inaccurate.
  • the disclosed embodiment is intended to overcome the above-mentioned problems and to provide a method and device that can generate an accurate three-dimensional virtual model of an object even when the object has a high reflectivity.
  • FIG. 1 is a diagram for explaining an oral image processing system according to an embodiment.
  • the oral image processing system may include a scanner 110 and a data processing device 120 coupled to the scanner 110 and a communication network 130.
  • the scanner 110 may be a medical device that acquires an image of an object.
  • scanner 110 may be an optical 3D scanner.
  • the optical 3D scanner 110 can acquire 3D surface shape information using light reflected from an object.
  • the scanner 110 may acquire an image of at least one of the mouth, ear, nose, artificial structure, or a plaster cast modeled after the mouth, ear, nose, or artificial structure.
  • the scanner 110 may be an oral scanner that is inserted into the oral cavity and scans teeth to obtain an oral image of the oral cavity including at least one tooth.
  • the scanner 110 is an oral scanner will be described as an example, but the present invention is not limited thereto.
  • the scanner 110 may be a handheld type that scans an object while a user holds it with his hand and moves it.
  • the scanner 110 can be inserted into the ear or nose to scan the inside of the ear or nose in a non-contact manner.
  • the scanner 110 may be implemented as a table scanner.
  • an object may mean a scan target.
  • the object may be a part of the body or may include a model modeled after a part of the body.
  • the object may include the oral cavity, a plaster model or impression model that imitates the oral cavity, an artificial structure that can be inserted into the oral cavity, or a plaster model or impression model that imitates an artificial structure, dentiform, etc.
  • the object is at least one of teeth and gingiva, is a plaster model or impression model of at least one of teeth and gingiva, and/or includes an artificial structure that can be inserted into the oral cavity, or a plaster model or impression model of such artificial structure. can do.
  • the artificial structure insertable into the oral cavity may include, for example, at least one of orthodontic devices, implants, crowns, inlays, onlays, artificial teeth, and orthodontic auxiliary tools inserted into the oral cavity.
  • the orthodontic device may include at least one of a bracket, an attachment, an orthodontic screw, a lingual orthodontic device, and a removable orthodontic retainer.
  • the scanner 110 may include a body and a tip.
  • the tip is a part that is inserted into the oral cavity and can be mounted on the body in a detachable structure.
  • the light emitted from the main body is directed to the object through the tip, and the light received from the object is directed to the main body through the tip.
  • the main body may include an optical unit.
  • the optical unit may include a light irradiation unit that projects light and a camera that acquires an image by photographing an object.
  • the light emitting unit may include a projector.
  • the light irradiation unit may radiate patterned light to the object.
  • the pattern light may be light having a pattern shape that the projector radiates to the outside of the projector.
  • scanner 110 may include a first camera and a second camera.
  • the first camera and the second camera may be formed to be symmetrically spaced apart.
  • the first camera and the second camera may acquire first image data and second image data having different points of view with respect to the object on which the pattern light is projected.
  • the first camera and the second camera included in the scanner 110 may capture surface information about the object as raw data by photographing the object to which pattern light is irradiated. In an embodiment, the first camera and the second camera may respectively acquire first image data and second image data for the object.
  • the optical path of the pattern light projected onto the object may coincide in the opposite direction to the optical path of the incident light incident on the second camera.
  • the scanner 110 may transmit the acquired raw data to the data processing device 120 through the communication network 130.
  • the scanner 110 transmits the first image data acquired by the first camera and at least one of the pattern light and the second image data acquired by the second camera to the data processing device 120 through the communication network 130. ) can be transmitted.
  • the data processing device 120 may be connected to the scanner 110 through a wired or wireless communication network 130.
  • the data processing device 120 may be any electronic device capable of receiving raw data from the scanner 110 and generating, processing, displaying, and/or transmitting an oral image based on the received raw data.
  • the data processing device 120 may be a computing device such as a smart phone, laptop computer, desktop computer, PDA, or tablet PC, but is not limited thereto.
  • the data processing device 120 may exist in the form of a server (or server device) for processing oral images.
  • the data processing device 120 uses at least one of the first image data acquired by the first camera from the scanner 110, the second image data acquired by the second camera, and the pattern light projected from the projector. You can receive it.
  • the data processing device 120 may generate a 3D oral image, that is, 3D scan data, based on raw data received from the scanner 110.
  • the data processing device 120 may generate a three-dimensional oral model for an object using the first image data and one of the second image data and pattern light.
  • objects with low reflectance such as enamel contained in teeth or plaster models
  • objects with high reflectivity such as inlays, onlays, crowns, prosthetics, and orthodontic devices.
  • the object may be a mixture of objects with high reflectance and objects with low reflectance.
  • the object may be tooth enamel, and may have a shape such as when a metal crown is attached to a part of the enamel.
  • the data processing device 120 may obtain a 3D oral model for the object from the first image data and the second image.
  • the data processing device 120 may generate a three-dimensional oral model for the object using first image data and pattern light.
  • the data processing device 120 can display a 3D oral image through a display, or output or transmit it to an external device.
  • the scanner 110 may acquire raw data through an oral scan, process the acquired raw data to generate three-dimensional information, and transmit this to the data processing device 120.
  • the scanner 110 may obtain three-dimensional information about an object using various methods.
  • the scanner 110 may acquire three-dimensional information about an object using a confocal method.
  • the scanner 110 may acquire three-dimensional information about the object using an optical triangulation technique.
  • the scanner 110 may obtain three-dimensional information from raw data using various methods other than the confocal method or optical triangulation method and transmit it to the data processing device 120.
  • the data processing device 120 may analyze, process, process, display, and/or transmit the received three-dimensional information to an external device.
  • the data processing device 120 may generate a three-dimensional oral model of the object using the image of the object received from the scanner 110, that is, the frame.
  • Figure 2 is a diagram for explaining a method by which a scanner acquires surface data, according to an embodiment.
  • FIG. 2 is a diagram for explaining how the scanner 110 described in FIG. 1 acquires 3D data by photographing an object.
  • the scanner 110 may acquire 3D data about an object using various methods.
  • the scanner 110 may acquire three-dimensional data on an object using a confocal method.
  • the confocal method is a method of acquiring three-dimensional information about an object based on the location of the point found through the maximum intensity of the reflected light according to the refractive index of the lens that passes the light irradiated to the object.
  • the scanner 110 can acquire an optical cross-sectional image with high spatial resolution using a pinhole structure.
  • the scanner 110 can acquire 3D data by stacking 2D images obtained along the axial direction.
  • the scanner 110 may acquire three-dimensional information of the object using an optical triangulation technique.
  • Optical trigonometry is a technology that obtains three-dimensional information about an object through trigonometric calculations using a triangle formed by a light source, an object onto which light is radiated from the light source, and an image sensor where light reflected from the object is input.
  • the scanner 110 can acquire 3D data in various ways other than the confocal method or optical triangulation method.
  • the scanner 110 may acquire images using at least one camera and acquire 3D data based on the acquired images.
  • scanner 110 may be an optical three-dimensional scanner.
  • the scanner 110 may use a structured light with stereo vision method to acquire three-dimensional data on the surface of the object 210.
  • the scanner 110 may include two or more cameras and a projector 220 capable of projecting structured light 225.
  • the scanner 110 projects structured light 225 onto the object 210, and uses an L camera 230 corresponding to the left field of view and an R camera corresponding to the right field of view ( 240) In each case, an L image 235 corresponding to the left eye field of view and an R image 245 corresponding to the right eye field of view can be obtained.
  • the L image 235 and the R image 245 may be images of an object onto which structured light (patterned light) is projected.
  • the L image 235 and the R image 245 may be reconstructed into a three-dimensional image frame representing the surface of the object 210.
  • the scanner 110 may continuously acquire two-dimensional image frames including an L image 235 and an R image 245 for the object 210.
  • the scanner 110 or the data processing device 120 may obtain a three-dimensional image frame representing the surface shape of the object 210 from a two-dimensional image frame including the L image 235 and the R image 245. .
  • FIG. 2 it is explained that the scanner 110 acquires 3D data from two images acquired using two cameras 230 and 240, but this is one embodiment, and the scanner 110 uses two cameras. An image may be acquired using only one of the cameras (230, 240).
  • the scanner 110 may acquire a plurality of two-dimensional frames by scanning the surroundings of the object 210 at regular time intervals (for example, 10 to 30 frames per second).
  • the scanner 110 or the data processing device 120 may acquire a plurality of 3D image frames from a plurality of 2D image frames.
  • the data processing device 120 may obtain a 3D oral model of the entire object 210 by merging or aligning a plurality of 3D image frames.
  • the data processing device 120 receives the image from the scanner 110 using only one of the cameras 230 and 240.
  • a three-dimensional oral model of an object can be obtained using an image obtained using only the image and pattern light.
  • the scanner 110 scans the object in the manner shown in FIG. 2 , there is difficulty in scanning the shape.
  • 3D shape information can be acquired only when a pattern is visible on the surface of the object.
  • the amount of reflected light among the irradiated pattern light is large, making it difficult to distinguish between patterns, making it difficult to measure three-dimensional shape information.
  • the object is a metal
  • Figure 3 is a diagram showing the optical path of the scanner.
  • the scanner may include a pair of lenses 21 and 22 spaced apart from each other.
  • the projector 70 may be located in the central portion of the pair of lenses 21 and 22.
  • the exit light emitted from the projector 70 sequentially passes through the exit light path portion 53 formed in the camera mounting portion 50 to reach the tip, and the path is changed by the reflection mirror 60 included in the tip. and is projected onto the object through the opening of the tip.
  • the light reflected from the object may sequentially enter the inside of the tip through the opening, contrary to the projected light projected on the object.
  • the light incident on the tip may change its path through the reflection mirror 60 and enter each of the pair of lenses 21 and 22.
  • the two incident light path portions 51 and 52 are formed to transmit the incident light incident from the pair of lenses 21 and 22, and may be formed to open to one side and the other side of the camera mounting portion 50. .
  • the incident light that has passed through the pair of lenses 21 and 22 is rerouted by the optical path changing units 41 and 42 and is sent to the image sensors 31a and 32a integrated on the imaging boards 31b and 32b, respectively. can be investigated.
  • the image sensors 31a and 32a may generate two image data by performing imaging processing on the irradiated light.
  • the image sensors 31a and 32a may be black-and-white image sensors.
  • the object or part of the object is a metal structure such as an inlay, onlay, crown, prosthesis, orthodontic device, an accurate image can be obtained even if the object is scanned using a scanner of the type shown in FIG. 3. This is not obtained.
  • the metal material has a high reflectivity and a large amount of light is reflected from the metal material. Not only is the pattern difficult to distinguish in the image obtained by scanning the metal, but also the light reflected from the metal surface is included in the pair of cameras. This is because there are cases where light does not enter the pair of lenses 21 and 22 at the same time.
  • the light reflected from one point of the object may not be incident on the two cameras at the same time, making it difficult to find a matching point in the two image data acquired by the two cameras, making it difficult to measure 3D shape information.
  • Figure 4 shows an optical path of a scanner according to an embodiment.
  • Figure 4 shows some of the components included in the optical unit among the components of the scanner according to the embodiment.
  • Figure 4 shows the components inside the scanner as simple figures for convenience of explanation, but this is just one embodiment, and the components inside the scanner may be implemented in various shapes suitable for the operation or function of each component.
  • the scanner 110 may include an optical unit.
  • the optical unit may include a light irradiation unit that projects light and a data acquisition unit that acquires an image by photographing an object.
  • the light emitting unit may generate patterned light and irradiate it to an object.
  • the data acquisition unit may include a first camera and a second camera.
  • the first camera and the second camera may be placed side by side on a horizontal plane.
  • the first camera and the second camera may be formed to be symmetrically spaced apart.
  • the first camera and the second camera may include a first camera lens 405-1 and a second camera lens 405-2 at one end, respectively.
  • the first camera lens 405-1 and the second camera lens 405-2 may be formed to be spaced apart from each other in a direction toward the tip.
  • the light reflected from the object and incident on the tip may change its path through the reflection mirror inside the tip and enter each of the first camera lens 405-1 and the second camera lens 405-2.
  • the path of the incident light passing through the first camera lens 405-1 and the second camera lens 405-2 may be changed by the light path changing units 406-1 and 406-2.
  • the optical path changing units 406-1 and 406-2 may include a total reflection mirror capable of total reflection of light. However, it is not limited to this, and the optical path changing units 406-1 and 406-2 may include any optical element capable of total reflection.
  • Light whose path has been changed by the optical path changing units 406-1 and 406-2 may be irradiated to the image sensors 407-1 and 407-2.
  • the image sensors 407-1 and 407-2 may generate two image data by performing imaging processing on the irradiated light.
  • first image data the image data acquired by the image sensor 407-1 included in the first camera
  • second image data the image data acquired by the image sensor 407-2 included in the second camera
  • both image sensors 407-1 and 407-2 may be monochrome image sensors. That is, in an embodiment, the first camera and the second camera may be black-and-white cameras. Image data acquired by a black-and-white camera has a higher resolution than image data acquired by a color camera that divides pixels into red, green, and blue. For example, image data acquired with a black-and-white camera may have four times higher resolution than image data acquired with a color camera. Accordingly, the data processing device 120 can more accurately find feature points in image data acquired with a black-and-white camera, thereby obtaining accurate scan data for the object.
  • the scanner 110 may need to acquire a color image of an object. Accordingly, in the embodiment, among the two image sensors 407-1 and 407-2, the image sensor 407-1 included in the first camera is a black-and-white image sensor, and the image sensor 407-1 included in the second camera is a black-and-white image sensor. 2) may be a color image sensor. In this case, the scanner 110 can acquire high-resolution image data using the first camera and color image data using the second camera.
  • the two image sensors 407-1 and 407-2 are both monochrome, black-and-white image sensors, and the image sensor 407-1 included in the second camera may be additionally equipped with a color filter.
  • the scanner 110 can use a color filter to obtain an image displaying a signal of a specific wavelength band that has passed through the color filter among the light reflected from the object.
  • the first camera and the second camera may acquire first image data and second image data having different points of view at the same time with respect to the object on which the pattern light is projected. there is.
  • the first camera and the second camera may be arranged such that the optical path of the first camera and the optical path of the second camera maintain a constant angle.
  • the optical path of the first camera may refer to the optical path of the incident light incident on the first camera
  • the optical path of the second camera may refer to the optical path of the incident light incident on the second camera.
  • the first camera Considering a triangle whose vertices are the center point of each of the first camera lens 405-1 and the second camera lens 405-2 and the center point of the reflection mirror inside the tip, among the interior angles of the triangle, the first camera
  • the side connecting the center point of the lens 405-1 and the center point of the reflecting mirror represents the optical path of the first camera
  • the side connecting the center point of the second camera lens 405-2 and the center point of the reflecting mirror represents the light path of the second camera. It can represent the optical path of the camera.
  • the angle between the optical path of the first camera and the optical path of the second camera is referred to as the angle (triangulation) between the two cameras.
  • Resolving power is the ability of a lens, screen, etc. to transmit, record, or display fine images, and can refer to how detailed an object can be displayed.
  • the present disclosure discloses a technology for generating an accurate three-dimensional oral model of an object by using one image data acquired by one of two cameras and pattern data of the projector 401.
  • the scanner 110 according to the embodiment may have a projector 401 placed near one of the two cameras. That is, rather than the projector 70 being located at the center of the pair of lenses 21 and 22 as shown in FIG. 3, the scanner 110 according to the embodiment has the projector 401 as shown in FIG. 4.
  • One of the first camera and the second camera may be placed near the second camera.
  • the projector 401 may be placed above or below the second camera.
  • the projector 401 may be disposed on the side of the second camera, and may have a structure in which the projector 401, the second camera, and the first camera are arranged in a line in that order.
  • the scanner 110 can project images in various projection methods, for example, a cathode-ray tube (CRT) method, a liquid crystal display (LCD) method, a digital light processing (DLP) method, a laser method, etc. You can.
  • CTR cathode-ray tube
  • LCD liquid crystal display
  • DLP digital light processing
  • the light emitting unit included in the scanner 110 is a component for projecting light and may include components such as a projector 401 and a reflector.
  • the projector 401 may include a light source, a digital micromirror device (DMD), and a projector lens.
  • DMD digital micromirror device
  • scanner 110 may include various types of light sources.
  • the scanner 110 may include at least one light source among a lamp, LED, and laser.
  • Figure 4 shows that the scanner 110 uses an RGB LED light source as a light source.
  • the scanner 110 may provide colors through a combination of red LED, green LED, and blue LED using an RGB LED light source.
  • the scanner 110 may use a white light source instead of a red LED, green LED, or blue LED as a light source.
  • scanner 110 may include a digital micromirror device (DMD).
  • DMD digital micromirror device
  • the scanner 110 can form a pattern by controlling each of the plurality of mirrors included in the DMD.
  • DMD is a collection of fine mirrors, and tens of thousands of mirrors are arranged like a checkerboard, so each mirror can act as a pixel.
  • the scanner 110 can control mirrors included in the DMD to be either on or off. Each mirror has a different inclination in the on and off states, and through this, the brightness can be adjusted by allowing light to go out or not.
  • the projector 401 of the scanner 110 may include a spatial light modulator (SLM) other than a DMD.
  • SLM spatial light modulator
  • the projector 401 may include Liquid Crystal on Silicon (LCoS), Liquid Crystal Device (LCD), and microelectromechanical system (MEMS).
  • LCD Liquid Crystal on Silicon
  • MEMS microelectromechanical system
  • the projector 401 may generate patterned light having a predetermined pattern.
  • the pattern may be a shape or pattern of pattern light that the projector 401 seeks to generate using a DMD.
  • the pattern data may be data corresponding to a pattern that the projector 401 wants to generate.
  • the projector 401 may generate pattern light based on pattern data and irradiate the pattern light to the outside of the projector 401.
  • the patterned light may have various patterns, such as a straight pattern, a diagonal pattern, or a grid pattern.
  • the projector 401 may sequentially emit pattern light of a red LED, a green LED, and a blue LED through a projector lens provided at one end of the projector 401. .
  • the emitted light emitted from the projector lens may be totally reflected by the mirror 403.
  • the emitted light whose path has been changed by being totally reflected by the mirror 403 is directed to a beam splitter 404 and may be split by the beam splitter 404 into a transmitted beam and a reflected beam.
  • the reflected beam split by the beam splitter 404 may be irradiated in the tip direction and projected onto the object.
  • the light path of the light emitted from the projector 401 may be changed by the mirror 403 and the beam splitter 404. Accordingly, although the positions of the projector 401 and the second camera are different, the optical path of the projected light projected to the object may coincide in the opposite direction to the optical path of the second camera.
  • the projector 401 is arranged to have the same optical path as one of the two cameras, so that the angle between the optical path of the projector 401 and the optical path of the first camera is, The optical path of the camera and the optical path of the second camera become equal to the angle (triangulation) between the two cameras.
  • the depth resolution is the same as when the 3D oral cavity model is formed using the first image data and the second image data. can be maintained.
  • the scanner 110 sends at least one of the first image data acquired by the first camera, the second image data acquired by the second camera, and the pattern data of the projector 401 to the data processing device 210. It can be sent to .
  • the data processing device 120 may generate a three-dimensional oral model based on data received from the scanner 110. In an embodiment, the data processing device 120 may obtain a three-dimensional oral model for the object by using one of the second image data and the pattern data of the projector 401 along with the first image data.
  • the data processing device 120 may obtain a three-dimensional oral model for the object using first image data acquired from the first camera and second image data acquired from the second camera.
  • the data processing device 120 when the data processing device 120 receives a control signal indicating that the object is metal from a user or identifies the object as metal using an artificial intelligence model, the data processing device 120 uses the pattern included in the first image data and the projector 401 ) By comparing the pattern data, a 3D oral model for the object can be created.
  • the data processing device 120 uses the first image data and the pattern data of the projector 401 By comparison, a 3D oral model of the object can be created.
  • FIG. 5 illustrates that the scanner 110 acquires different data depending on the object, according to an embodiment.
  • the left diagram of FIG. 5 generally shows the scanner 110 acquiring data by scanning an object.
  • the scanner 110 may project pattern light to an object using the projector 401.
  • the scanner 110 may acquire two-dimensional image data for an object onto which pattern light is projected using a first camera and a second camera.
  • the scanner 110 may acquire first image data about an object using a first camera and acquire second image data about an object using a second camera.
  • the first image data and the second image data may be image data acquired at the same time and from different viewpoints/points of view with respect to the object onto which the pattern light is projected.
  • the scanner 110 may transmit first image data and second image data to the data processing device 120.
  • the data processing device may receive first image data and second image data from the scanner 110 and detect key feature points from the two image data. In an embodiment, a data processing device may match feature points of two image data. In an embodiment, the data processing device may calculate depth information according to the matched feature point pair. In an embodiment, the data processing device may generate a depth map based on the calculated depth information. In a depth map, a depth value is assigned to each pixel location, through which 3D information can be obtained.
  • the right diagram of FIG. 5 shows the scanner 110 acquiring data used to create a 3D oral model for an object when the object is metal.
  • the scanner 110 may project patterned light onto an object.
  • the scanner 110 may irradiate pattern light to an object using the projector 401 and scan the object irradiated with the pattern light, thereby obtaining two-dimensional image data about the pattern formed on the object.
  • the scanner 110 may control the second camera not to operate when the object is metal, as shown in the right drawing of FIG. 5 .
  • the scanner 110 may turn off the operation of the second camera corresponding to the fact that the object is metal, so that the second camera does not acquire second data about the object.
  • the scanner 110 may receive a control signal to turn off the operation of the second camera from the data processing device 120. For example, when the data processing device 120 identifies that the object is metal, the data processing device 120 transmits a control signal indicating that the object is metal to the scanner 110, or instructs the scanner 110 to turn off the operation of the second camera. Control signals can be transmitted.
  • the scanner 110 operates the second camera in response to receiving a control signal indicating that the object is metal from the data processing device 120, or receiving a control signal to turn off the operation of the second camera. It is possible to prevent the second camera from acquiring second image data by controlling it not to do so.
  • the scanner 110 may acquire first image data for an object using a first camera regardless of whether the object is metal.
  • the first image data about the object acquired by the first camera may be a patterned image in which a pattern is formed on the object. Since the pattern formed on the object is caused by the pattern light projected from the projector 401, feature points corresponding to the pattern included in the first image data are necessarily present in the pattern data of the projector 401.
  • the scanner 110 may transmit first image data to the data processing device 120. In an embodiment, the scanner 110 may transmit pattern data of the projector 401 to the data processing device 120 along with the first image data.
  • the data processing device 120 receives first image data and pattern data of the projector 401 from the scanner 110 and creates feature points using the first image data and the pattern data of the projector 401. It can be detected. That is, the data processing device 120 uses the projector 401 as if it were a virtual camera, uses the pattern data of the projector 401 instead of the second image data, and combines the pattern included in the first image data with the projector 401. ) You can compare the corresponding pattern to the pattern data.
  • the data processing device 120 may detect corresponding feature points in the pattern of the first image data and the pattern corresponding to the pattern data of the projector 401, and match the detected feature points with each other. In an embodiment, the data processing device may match similar feature points using information such as the pattern, color, and texture of each feature point.
  • the data processing device may calculate depth information according to the matched feature points.
  • One of the methods used to calculate depth is to use the distance difference (disparity) between pixels, and the greater the distance difference, the farther the depth can be calculated.
  • the data processing device may generate a depth map based on the calculated depth information.
  • a depth map a depth value is assigned to each pixel location, through which 3D information can be obtained.
  • the scanner 110 may obtain second image data for the object using the second camera even when the object is metal, but may not transmit the second image data to the data processing device 120.
  • the scanner 110 may acquire second image data about the object using a second camera and transmit it to the data processing device 120 even when the object is metal.
  • the data processing device 120 may not use the second image data corresponding to the fact that the object is metal.
  • the scanner 110 may not acquire the second image data or may not transmit the second image data to the data processing device 120.
  • the data processing device 120 can generate an accurate 3D oral model according to the type of object by generating a 3D oral model for the object using different data. there is.
  • FIG. 6 illustrates that the scanner 110 scans an object to obtain two-dimensional image data about the object, according to an embodiment.
  • Figure 6 shows how the scanner 110 acquires image data of one set of scans.
  • 1 set of scans may refer to a set of image data for the same point required to create a 3D oral model.
  • Reference numeral 610 indicates that, according to an embodiment, when the scanner 110 performs a scanning operation, image data for an object is acquired under the same conditions without distinction between scanning modes.
  • the scanner 110 projects pattern light on an object, and generates first image data and second images having different points of view with respect to the object on which the pattern light is projected by using a first camera and a second camera. Data can be obtained.
  • the scanner 110 acquires 100 first image data per second for the object using the first camera, and simultaneously acquires 100 frames per second for the object using the second camera. Second image data can be obtained.
  • the scanner 100 may acquire image data for the object using the method shown in reference numeral 610 regardless of the type of the object, that is, regardless of whether the object is metal.
  • the scanner 110 may transmit all acquired image data to the data processing device 120.
  • the data processing device 120 may generate a three-dimensional oral model for the object based on image data for the object received from the scanner 110. Specifically, the data processing device 120 selects data suitable for creating a 3D oral model for the object among the image data about the object received from the scanner 110, and combines the selected data to generate a 3D oral model. can do.
  • two-dimensional image data about the object may include pixels that have reached a brightness limit.
  • Limiting brightness may mean a state in which data cannot be expressed because the brightness of a pixel is too bright.
  • the data processing device 120 cannot generate a 3D oral model for a point on the object corresponding to the pixel.
  • the object is a metal
  • the light reflected from the metal surface does not enter the lens of the first camera and the lens of the second camera at the same time, and the first image data and the second image data do not include a matching point. There may be.
  • the data processing device 120 cannot create a 3D oral model for points where a matching point is not found in the first image data and the second image data.
  • the data processing device 120 may generate a three-dimensional oral model for the object using the first image data and the pattern data of the projector 401.
  • the first image data may be a patterned image in which a pattern is formed on the object. Since the projector 401 generates pattern light based on pattern data and projects the generated pattern light, feature points corresponding to the pattern included in the first image data exist in the pattern data.
  • the data processing device 120 detects corresponding feature points from the pattern of the first image data and the pattern data of the projector 401, matches the detected feature points, calculates depth information according to the feature points, and provides depth information. By creating a depth map, a three-dimensional oral model of the object can be created.
  • a user such as a dentist, may scan an object, identify that the object is metal, and transmit a control signal for the type of object to the data processing device 120 through a user input unit, etc.
  • the data processing device 120 may generate a three-dimensional oral model for the object using the first image data and pattern data.
  • the data processing device 120 may identify the type of object.
  • the data processing device 120 may identify the type of object from the image data received from the scanner 110 using artificial intelligence (AI) technology. For example, the data processing device 120 analyzes the frame received from the scanner 110 to identify the class of pixels included in the frame, and determines whether the percentage of pixels identified as a predetermined class among all pixels included in the frame is greater than or equal to the reference value. Based on this, it is possible to identify whether the frame or the class of the object included in the frame is metal. In an embodiment, the data processing device 120 may select data to be used to create a 3D oral model based on the type of object.
  • AI artificial intelligence
  • Reference numeral 620 indicates that, according to an embodiment, when the scanner 110 performs a scanning operation, it operates in different scanning modes to acquire image data for an object.
  • the scanner 110 projects pattern light to an object, and uses a first camera and a second camera in different modes to project pattern light onto the object, and has different points of view with the first camera and the second camera.
  • Image data and second image data may be obtained.
  • the scanner 110 may alternately operate in a first scan mode and a second scan mode during a scan operation.
  • the first scan mode may also be referred to as a normal mode or an enamel mode.
  • the second scan mode may also be referred to as metal mode.
  • the first scan mode and the second scan mode may be distinguished depending on the environment in which the two-dimensional image data is acquired.
  • the scanner 110 can acquire 70 frames out of a total of 100 frames in the first scan mode and the remaining 30 frames in the second scan mode.
  • the scanner 110 may acquire two-dimensional image data at a first luminance while operating in the first scan mode. For example, while operating in the first scan mode, the scanner 110 uses the first camera and the second camera to generate 1-1 image data and 2-1 image data for the object at the first luminance, respectively. It can be obtained.
  • the scanner 110 may acquire two-dimensional image data at a second luminance while operating in the second scan mode.
  • the second luminance may be lower than the first luminance.
  • the scanner 110 uses the first camera and the second camera to generate 1-2 image data and second image data for the object at a second luminance that is darker than the first luminance, respectively.
  • -2 Image data can be acquired.
  • the two-dimensional image data acquired at the second brightness has a lower brightness than the two-dimensional image data acquired at the first brightness.
  • the scanner 110 when scanning an object, the scanner 110 performs a scanning operation by alternating between the first scan mode and the second scan mode and adjusting the surrounding brightness, assuming that the object is metal, Image data can be acquired in different environments.
  • the scanner 110 may use the projector 401 to project light sources of different luminance in the first scan mode and the second scan mode.
  • the first camera and the second camera may acquire image data with different brightnesses by adjusting the exposure time in the first scan mode and the second scan mode.
  • the scanner 110 can acquire image data of different brightnesses by controlling the light entering the lens by adjusting the time that the camera's shutter is open in the first scan mode and the second scan mode.
  • the scanner 110 may include 1-1 image data, 2-1 image data, 1-2 image data, and 2-2 image data acquired in a first scan mode. All can be transmitted to the data processing device 120.
  • the scanner 110 may control the second camera not to operate while operating in the second scan mode, so that only the 1-2 image data can be acquired using the first camera.
  • the scanner 110 uses only the 1-1 image data acquired in the first scan mode, the 2-1 image data, and the 1-2 image data acquired in the second scan mode to the data processing device 120. Can be transmitted.
  • the data processing device 120 may select data suitable for creating a 3D oral model for an object among the data received from the scanner 110 and generate a 3D oral model by combining the selected data. .
  • the data processing device 120 may generally generate a three-dimensional oral model for the object using 1-1 image data and 2-1 image data acquired in the first scan mode.
  • the data processing device 120 operates on the pixel.
  • a three-dimensional oral model for the object is not created, but the 1-2 image data acquired by the first camera at a darker luminance and the projector 401
  • a 3D oral model of the object can be created using the pattern data.
  • a three-dimensional oral model of the object can be created using the first-second image data and the pattern data of the projector 401.
  • the data processing device 120 when the data processing device 120 directly identifies the type of object, if the object is not metal, the data processing device 120 uses image data acquired in the first scan mode to identify the object.
  • a three-dimensional oral model is created for the object, and if the object is metal, among the image data acquired in the second scan mode, 1-2 image data acquired by the first camera is compared with the pattern data of the projector 401 to attach the object to the object.
  • a 3D oral model can be created.
  • FIG. 7 is a side view of the projector 401 and the second camera included in the scanner 110 according to an embodiment.
  • the scanner 110 may have a projector 401 placed near one of two cameras.
  • the projector 401 may be placed on top of the second camera.
  • all of the components included in the projector 401 or some of the components included in the projector 401, such as a projector lens, may be disposed on top of the second camera.
  • the projector 401 may sequentially irradiate pattern light of red LED, green LED, and blue LED generated using an RGB LED light source and DMD through a projector lens. .
  • the patterned light emitted from the projector 401 may be totally reflected by the mirror 403.
  • the emitted light whose path has been changed by being totally reflected by the mirror 403 is directed to a beam splitter 404 and may be split by the beam splitter 404 into a transmitted beam and a reflected beam.
  • the reflected beam split by the beam splitter 404 may be irradiated in the tip direction and projected onto the object.
  • the patterned light projected onto the object may be reflected from the object and enter the tip through the opening.
  • Incident light incident on the tip may pass through the beam splitter 404 and enter the second camera.
  • the incident light incident on the second camera has its path changed by the optical path changing unit 406-2 and is irradiated to the image sensor 407-2, and is imaged by the image sensor 407-2 to produce second image data. can be created.
  • the pattern light from the projector 401 and the incident light incident on the second camera may have opposite directions and have the same optical path. That is, the pattern light and the incident light are formed coaxially.
  • the projector 401 is arranged to have the same optical path as the second camera, so that the angle between the optical path of the projector 401 and the optical path of the first camera is adjusted to the angle between the optical path of the second camera and the optical path of the first camera. 1
  • the optical path of the camera becomes equal to the angle between the two cameras formed. Therefore, even when a 3D oral cavity model is formed based on the pattern data of the first camera and the projector 401, when the 3D oral cavity model is formed based on image data acquired by the first camera and the second camera, It has the same depth resolution.
  • the camera lens included in the camera may have radial distortion due to the inherent characteristics of the lens. Due to lens distortion, the shape of the actual object may be distorted and expressed in image data about the object acquired with a camera. For example, in image data, the shape around the object may be distorted, and straight components may appear rounder as they go outward. This lens distortion increases as the angle of view increases.
  • wide-angle lenses have the characteristic of depicting the distance between the object and the camera differently from reality, so objects in front of the camera are recorded larger than they actually are, and objects further away from the camera are recorded smaller than they actually are by expanding the distance between them. It has the characteristic of exaggerating perspective.
  • the data processing device 120 when the object is metal, the data processing device 120 generates a three-dimensional oral model for the object using the first image data and the pattern data of the projector 401.
  • the pattern data of the projector 401 is data corresponding to the pattern used to generate pattern light, unlike the pattern light emitted to the outside through the projector lens, and therefore does not have lens distortion, unlike the first image data.
  • the first image data has lens distortion caused by the first camera lens, but the pattern data to be compared with the first image data does not have lens distortion, so the first image data and the pattern data cannot be accurately compared.
  • the distortion of the second camera can be applied to the pattern data of the projector 401.
  • the pattern light from the projector 401 and the incident light incident on the second camera have opposite directions and have the same optical path, so that the projector lens and the lens of the second camera have the same viewpoint. Therefore, if the projector lens and the second camera lens are lenses with the same specifications, the distortion of the second camera lens can be applied to the pattern data of the projector 401.
  • the data processing device 120 may analyze the second camera lens distortion and apply the second camera lens distortion to the pattern data of the projector 401. In an embodiment, the data processing device 120 may find out at which pixel of the pattern data of the projector 401 the pattern encrypted on the object included in the second image data acquired by the second camera is located.
  • the encrypted pattern may mean assigning an ID to the pattern. In stereo vision, finding a matching point on an object can mean finding in which pixel an object with the same ID is located in image data acquired by both cameras.
  • the data processing device 120 may compare pattern data of the projector 401 to which the second camera lens distortion is applied with the pattern included in the first image data.
  • the distortion of the second camera lens is applied to the pattern data of the projector 401, and the pattern data of the projector 401 to which the distortion is applied is applied to the pattern data.
  • the pattern data of the projector 401 to which the distortion is applied is applied to the pattern data.
  • Figure 8 shows some of the components of the scanner 110 according to an embodiment.
  • the scanner 110 shown in FIG. 8 may be an example of the scanner 110 shown in FIG. 4. Hereinafter, descriptions that overlap with those described in FIG. 4 will be omitted.
  • the scanner 110 shown in FIG. 8 may further include a NUV light source 801.
  • the NUV light source 801 may be a light source that emits near ultraviolet (NUV) rays.
  • Near-ultraviolet rays are the part of ultraviolet rays that are close to visible light, and represent the part of ultraviolet rays whose wavelength is close to light rays.
  • near-ultraviolet rays emitted by the NUV light source 801 may have a wavelength of 370 nm to 430 nm.
  • the scanner 110 may project near-ultraviolet rays to an object using a NUV light source included in the projector 401.
  • the scanner 110 may receive image data about light in which near-ultraviolet rays are reflected from the object, acquired by the first camera and the second camera, corresponding to the projection of near-ultraviolet rays onto the object.
  • Cavity-causing bacteria cannot be identified with the naked eye, but when light of a certain wavelength is shined on them, they appear red through a fluorescence reaction.
  • the caries bacteria and the light when near-ultraviolet rays with a wavelength of 370 nm to 430 nm are irradiated to teeth with dental caries, the caries bacteria and the light react fluorescently to emit light with a wavelength of 620 nm to 640 nm. . Red is the color of the spectrum where the wavelength ranges from 630 to 700 nm.
  • At least one of the first camera and the second camera included in the scanner 110 may be a color camera including a color sensor.
  • a color camera can distinguish colors by detecting the wavelength of light emitted or emitted by an object.
  • image data for an object onto which near-ultraviolet rays are projected, acquired by the second camera may be expressed in red according to the wavelength of light emitted by the object.
  • users such as dentists can use image data showing caries bacteria to evaluate the degree of caries, activity of bacteria, etc. to evaluate whether the subject needs treatment.
  • both the first camera and the second camera may be black-and-white cameras.
  • a black-and-white camera can acquire image data with higher resolution than a color camera, a more accurate three-dimensional oral model can be created when using image data acquired by a black-and-white camera.
  • one of the first camera and the second camera may have a color filter.
  • the color filter may be a color filter that passes a red wavelength band. For example, if the second camera is a black-and-white camera equipped with a color filter, only the portion fluorescently reacted by the caries bacteria is displayed in the image data acquired by the second camera.
  • Caries mode The mode in which the scanner 110 emits near-ultraviolet rays and acquires an image of an object irradiated with near-ultraviolet rays will be referred to as Caries mode.
  • the scanner 110 may operate in a carize mode separate from the scan mode in which a scan operation is performed.
  • scanner 110 may receive a control signal to operate in carize mode from a user and/or a data processing device. For example, while the scanner 110 is not operating in scan mode, the user and/or the data processing device may transmit a control signal to the scanner 110 to operate in carize mode.
  • the scanner 110 when the scanner 110 receives a control signal to operate in carize mode, it emits near-ultraviolet rays to the object using the NUV light source 801 and uses at least one of the first camera and the second camera. Image data for an object irradiated with near-ultraviolet rays can be obtained.
  • the scanner 110 may acquire image data capable of identifying cavity bacteria using a color camera including a color sensor or a black-and-white camera equipped with a color filter among the first camera and the second camera.
  • the scanner 110 generates image data for an object irradiated with near-ultraviolet rays using the first camera and the second camera and transmits the image data to the data processing device 120, and the data processing device 120 generates image data for the object irradiated with near-ultraviolet rays.
  • image data for an object irradiated with near-ultraviolet rays may be acquired using only image data acquired by a color camera or a black-and-white camera equipped with a color filter.
  • the scanner 110 may operate in scan mode and carize mode at the same time. That is, the user can simultaneously scan the object with the scanner 110 and simultaneously examine whether the object contains cavity-causing bacteria.
  • the user and/or the data processing device may transmit a control signal to the scanner 110 to operate the scanner 110 in a scan mode and simultaneously operate in a carize mode.
  • the scanner 110 when the scanner 110 receives a control signal to operate in the scan mode and carize mode simultaneously, the scanner 110 uses the projector 401 to display a red LED, a green LED, a blue LED, Near-ultraviolet rays can be irradiated sequentially.
  • the scanner 110 may use a white light source instead of the red LED, green LED, or blue LED.
  • a white light source color information about the object can be obtained without separately using red LED, green LED, or blue LED.
  • the scanner 110 can sequentially irradiate white light and near-ultraviolet rays using a white light source and a NUV light source 801 using the projector 401.
  • the scanner 110 may operate in the first scan mode and simultaneously operate in the carize mode.
  • the scanner 110 may acquire first image data and second image data for an object onto which pattern light is projected using a first camera and a second camera. Additionally, the scanner 110 may acquire at least one of first image data and second image data for an object irradiated with near-ultraviolet rays using at least one of the first camera and the second camera.
  • the data processing device 120 may generate a three-dimensional oral model for the object using the first image data and the second image data received from the scanner 110.
  • the three-dimensional oral model generated by the data processing device 120 may be a model in which the portion reacted with fluorescence by caries bacteria is displayed.
  • the scanner 110 may operate in a caries mode while simultaneously operating in a second scan mode.
  • the data processing device 120 may generate a three-dimensional oral model for the object using image data and pattern data obtained at the second luminance when the scanner 110 is in the second scan mode.
  • the data processing device 120 generates a three-dimensional oral model for the object while using at least one of the first image data and the second image data acquired for the object irradiated with near-ultraviolet rays, A three-dimensional oral model can be created for metals labeled with phagocytes.
  • the scanner 110 may operate in carize mode separately from the scan mode.
  • the scanner 110 may operate simultaneously in scan mode and carize mode.
  • the data processing device 120 generates a three-dimensional oral model for the object using first image data and second image data for the object onto which pattern light is projected, or using first image data and pattern data, and simultaneously , image data acquired for an object irradiated with near-ultraviolet rays can also be used to create a three-dimensional oral model capable of identifying caries bacteria.
  • FIG. 9 shows image data acquired by the scanner 110 of FIG. 8.
  • the scanner 110 may radiate near-ultraviolet rays to an object using the scanner 110 of FIG. 8 .
  • the first camera and the second camera included in the scanner 110 may acquire image data for an object irradiated with near-ultraviolet rays.
  • Reference numeral 910 denotes image data obtained when there are no caries bacteria, that is, caries bacteria, in the object.
  • Reference numeral 920 denotes an image obtained when an object contains cavity-causing bacteria.
  • the part with the caries bacteria reacts fluorescently with near-ultraviolet rays and radiates light in a predetermined wavelength band, so as shown in reference numeral 920, it is expressed differently from the part without the caries bacteria.
  • FIG. 10 is a diagram illustrating information transmission and reception between the scanner 110 and the data processing device 120, according to an embodiment.
  • the data processing device 120 may transmit a control signal to the scanner 110.
  • the data processing device 120 may control the scanner 110 by transmitting a control signal that controls the operation of the projector 401 or the data acquisition unit provided in the scanner 110 to the scanner 110.
  • the data processing device 120 may transmit a control signal to turn off the second camera to the scanner 110 when the object is metal.
  • the data processing device 120 may transmit a control signal to operate in scan mode or transmit a control signal to operate in carize mode to the scanner 110.
  • the data processing device 120 may operate in scan mode with the scanner 110 and simultaneously transmit a control signal to perform carize mode.
  • the scanner 110 may transmit scan data to the data processing device 120.
  • the scan data may include at least one of first image data about the object, second image data, and pattern light projected by the projector 401.
  • the data processing device 120 receives first image data from the scanner 110, at least one of pattern data and second image data of the projector 401, and scans the scan received from the scanner 110.
  • a three-dimensional oral model of an object can be created using data.
  • the data processing device 120 may generate a three-dimensional oral model for an object from first image data and second image data.
  • the data processing device 120 is unable to receive a user control signal, identify that the object is metal, or obtain a three-dimensional oral model for the object from the first image data and the second image data.
  • a three-dimensional oral model of the object may be generated by comparing the pattern included in the first image data with the pattern data of the projector 401.
  • the data processing device 120 may generate a 3D oral model 1020 using image data or pattern data received from the scanner 110 and output the model 1020 through the display 1010.
  • Figure 11 is a block diagram showing a data processing system according to an embodiment.
  • the data processing system may include a scanner 110, a data processing device 120, and a communication network 130.
  • the scanner 110 of FIG. 11 may be an example of the scanner 110 described in FIGS. 1, 2, and 4 to 10.
  • the scanner 110 can acquire raw data by scanning an object.
  • the object may include, for example, a patient's mouth or a tooth cast model, but is not limited thereto.
  • the scanner 110 can transmit the acquired raw data to the data processing device 120 through the communication network 130, or process the raw data to create a three-dimensional virtual model and transmit it to the data processing device 120. .
  • the scanner 110 may include a processor 111, a memory 112, a communication unit 113, an optical unit 114, a user input unit 115, and a power unit 116.
  • Memory 112 may store at least one instruction. Additionally, the memory 112 may store at least one instruction that the processor 111 executes. Additionally, the memory 112 may store at least one program that the processor 111 executes.
  • the communication unit 113 may communicate with the data processing device 120 through a wired or wireless communication network.
  • the communication unit 113 may transmit and receive control signals to and from the data processing device 120. Additionally, the communication unit 113 can transmit information about the operating status of the scanner 110 to the data processing device 120. Additionally, the communication unit 113 may transmit the raw data acquired by the optical unit 114 to the data processing device 120.
  • the communication unit 113 includes at least one short-range communication module that performs communication according to communication standards such as Bluetooth, Wi-Fi, BLE (Bluetooth Low Energy), NFC/RFID, Wifi Direct, UWB, or ZIGBEE, and long-distance communication According to the standard, it may include a long-distance communication module that performs communication with a server to support long-distance communication, and at least one port for connecting to an external electronic device with a wired cable for wired communication.
  • communication standards such as Bluetooth, Wi-Fi, BLE (Bluetooth Low Energy), NFC/RFID, Wifi Direct, UWB, or ZIGBEE
  • long-distance communication According to the standard, it may include a long-distance communication module that performs communication with a server to support long-distance communication, and at least one port for connecting to an external electronic device with a wired cable for wired communication.
  • the optical unit 114 may include a light irradiation unit that projects light and at least one camera that receives light reflected from the object.
  • the light irradiation unit may include a projector 401 that projects light from the light source.
  • the optical unit 114 can project pattern light or structured light using the projector 401.
  • the optical unit 114 can form a pattern by irradiating light from a light source and controlling each of the fine mirrors included in the DMD.
  • the optical unit 114 can irradiate light by controlling mirrors included in the DMD to turn on or off.
  • the optical unit 114 can acquire three-dimensional data representing the shape of the object by irradiating pattern light to the object and scanning the object irradiated with the pattern light.
  • the optical unit 114 may include a first camera and a second camera that are symmetrically spaced apart.
  • the first camera and the second camera may acquire first image data and second image data having different points of view with respect to the object on which the pattern light is projected.
  • the projector 401 is formed on the top or bottom, or on one side of the second camera, so that the optical path of the patterned light projected to the object is aligned in the opposite direction to the optical path of the incident light incident on the second camera. You can.
  • the optical unit 114 may include a near ultraviolet (NUV) light source and project near-ultraviolet rays to an object using the NUV light source.
  • NUV near ultraviolet
  • At least one of the first camera and the second camera may be a color camera including a color sensor or a black-and-white camera provided with a color filter.
  • the first camera and the second camera may acquire image data about the light in which the near-ultraviolet rays are reflected from the object. .
  • the communication unit 113 may transmit first image data and second image data about light in which near-ultraviolet rays are reflected from the object to the data processing device 120.
  • the scanner 110 may operate alternately in a first scan mode and a second scan mode.
  • the first camera and the second camera may acquire two-dimensional image data at the first luminance.
  • the first camera and the second camera may acquire two-dimensional image data at the second luminance.
  • the projector 401 may project a light source with different luminance in the first scan mode and the second scan mode.
  • the first camera and the second camera may acquire image data with different brightnesses by adjusting the exposure time in the first scan mode and the second scan mode.
  • the user input unit 115 may receive user input for controlling the scanner 110.
  • the user input unit 115 may also be called a user interface.
  • the user input unit 115 may include a touch panel that detects the user's touch, a button that receives the user's push operation, and a voice recognition device including a microphone.
  • the user input unit 115 may further include at least one of a wheel or a dome switch that receives the user's rotation operation, and a sensor (not shown) capable of motion recognition.
  • the user may use the user input unit 115 to control the scanner to operate in scan mode or to input a control signal to operate in carize mode.
  • the user may use the user input unit 115 to input a control signal that prevents the second camera from operating when the object is metal.
  • the power supply unit 116 can receive power and provide it to each component of the scanner 110.
  • the processor 111 can control the entire scanner 110.
  • the processor 111 may control at least one component included in the scanner 110 so that the intended operation is performed. Therefore, even if the case in which the processor 111 performs certain operations is used as an example, it may mean that the processor 111 controls at least one component included in the scanner 110 so that certain operations are performed.
  • the processor 111 may control the optical unit 214 to obtain 3D data about the object.
  • the processor 111 may receive a control signal for the operation of the second camera from the data processing device 120 and control the on and off of the second camera accordingly.
  • the processor 111 may prevent the second image data from being acquired by preventing the second camera from operating when the scanner operates in the second scan mode, based on the scan mode of the scanner.
  • the data processing device 120 may also be called an oral image processing device.
  • the data processing device 120 may include a processor 121, a memory 122, a user input unit 123, a communication unit 124, a display 125, and an image processing unit 126.
  • the user input unit 123 may receive user input for controlling the data processing device 120.
  • the user input unit 123 includes a touch panel that detects the user's touch, a button that receives the user's push operation, and a mouse or keyboard for designating or selecting a point on the user input unit screen. It may include a user input device, and may also include a voice recognition device for voice recognition or a motion sensor for motion recognition.
  • the communication unit 124 may communicate with at least one external electronic device through a wired or wireless communication network.
  • the communication unit 124 may communicate with the scanner 110 under the control of the processor 121.
  • the communication unit 124 is at least one short-range communication module that performs communication according to communication standards such as Bluetooth, Wi-Fi, BLE (Bluetooth Low Energy), NFC/RFID, Wifi Direct, UWB, or ZIGBEE. may include. Additionally, the communication unit 124 may further include a long-distance communication module that communicates with a server to support long-distance communication according to long-distance communication standards.
  • communication standards such as Bluetooth, Wi-Fi, BLE (Bluetooth Low Energy), NFC/RFID, Wifi Direct, UWB, or ZIGBEE.
  • the communication unit 124 may further include a long-distance communication module that communicates with a server to support long-distance communication according to long-distance communication standards.
  • the communication unit 124 may include at least one port for connection to an external electronic device, for example, the scanner 110, etc., via a wired cable.
  • the communication unit 124 may transmit a control signal to the scanner 110.
  • the control signal transmitted to the scanner 110 may include at least one of a power-on command or a power-off command of the scanner 110, a command for the scanner 110 to enter the scan mode, or a command to turn off the operation of the second camera. You can.
  • the display 125 can display a predetermined screen under the control of the processor 121.
  • the display 125 may output a user interface screen for user input.
  • the display 125 may display a screen containing an image of the oral cavity generated based on data obtained by scanning the patient's mouth or a plaster model of the oral cavity in the scanner 110. Additionally, the display 125 may output a 3D oral model generated from 2D image data received from the scanner 110.
  • the image processing unit 126 may perform operations for generating and/or processing images. Specifically, the image processing unit 126 may receive raw data obtained from the scanner 110 and create a three-dimensional virtual model based on the received data.
  • Memory 122 may store at least one instruction. Additionally, the memory 122 may store at least one instruction executed by the processor. Additionally, the memory may store at least one program that the processor 121 executes. Additionally, the memory 122 may store data received from the scanner 110 (eg, raw data obtained through an oral scan, etc.). Alternatively, the memory may store an oral image representing the oral cavity in three dimensions. According to one embodiment, the memory 122 may include one or more instructions for obtaining a 3D oral cavity model from 2D image data.
  • the processor 121 executes at least one instruction stored in the memory 122 and controls the intended operation to be performed.
  • at least one instruction may be stored in the internal memory included in the processor 121 or in the memory 122 included in the data processing device separately from the processor 121.
  • the processor 121 may transmit a control signal to the scanner 110 by executing one or more instructions stored in the memory 122, so that the scanner 110 is controlled according to the control signal.
  • the processor 121 may generate a three-dimensional oral model for the object using first and second image data received from the scanner 110.
  • the processor 121 is based on at least one of a user control signal, an identification signal that the object is metal, and the failure of a three-dimensional oral model for the object to be obtained from the first image data and the second image data, A three-dimensional oral model of an object can be created using the first image data and pattern light.
  • the processor 121 may generate a three-dimensional oral model for the object by finding a matching point between the pattern included in the first image data and the pattern of the pattern light and obtaining depth information.
  • the processor 121 may analyze the distortion of the second camera by using the fact that the second camera and the projector 401 are coaxial, and apply this to the pattern data of the projector 401. In an embodiment, the processor 121 may compare distorted pattern data from the second camera with a pattern included in the first image data to generate a three-dimensional oral model for the object.
  • the processor 121 receives image data obtained from the scanner 110 through the communication unit 124 at a first luminance when the scanner 110 is in the first scan mode, and the image data obtained at the first luminance when the scanner 110 is in the second scan mode.
  • image data acquired at the second luminance is received in the scan mode, using the first image data acquired by the first camera at the second luminance and the pattern data of the projector 401, a three-dimensional oral image of the object A model can be created.
  • the communication unit 124 obtains the near-ultraviolet rays from the scanner 110 with the first camera and the second camera, and the near-ultraviolet rays are reflected from the object.
  • the processor 121 may generate a three-dimensional oral model in which an area of a predetermined wavelength band is identified from image data for light in which near-ultraviolet rays are reflected from an object.
  • the processor 121 performing operations such as 'extraction', 'acquisition', and 'generation' means that the processor 121 executes at least one instruction and directly performs the above operations. Rather, it may include controlling other components so that the above-described operations are performed.
  • the scanner 110 and the data processing device 120 may include only some of the components shown in FIG. 11, or may include more components in addition to the components shown in FIG. 11. It may also include .
  • the data processing device 120 can store and execute dedicated software linked to the scanner 110.
  • dedicated software may be referred to as a dedicated program, dedicated tool, or dedicated application.
  • the dedicated software stored in the data processing device 120 is connected to the scanner 110 to receive data obtained through oral scanning in real time. You can.
  • the dedicated software may transmit and receive control signals to and from the scanner 110, and may also perform at least one operation for acquiring, processing, storing, and/or transmitting an oral image.
  • dedicated software may be stored in the processor.
  • Figure 12 is a flowchart showing a data processing method according to an embodiment.
  • the scanner 110 may project patterned light onto an object (step 1210).
  • the scanner 110 may generate pattern light based on pattern data corresponding to the pattern that the projector 401 wants to generate and project the pattern light onto the object.
  • the scanner 110 may acquire first image data for an object onto which pattern light is projected (step 1220).
  • the scanner 110 includes a first camera and a second camera that are spaced apart, and the projector 401 may be located above or below one of the two cameras, for example, the second camera.
  • the first camera and the second camera may acquire image data having different points of view with respect to the object onto which the pattern light is projected.
  • the optical path of the pattern light projected onto the object may coincide in the opposite direction to the optical path of the incident light incident on the second camera.
  • the scanner 110 may transmit pattern data and first image data about the object to the data processing device 120.
  • the data processing device 120 may generate a three-dimensional oral model for the object using the pattern data and first image data received from the scanner 110 (step 1230).
  • the data processing device 120 may generate a three-dimensional oral model for the object using pattern data and first image data for the object. In an embodiment, the data processing device 120 may generate a three-dimensional oral model for an object by finding a matching point between a pattern included in the first image data and a pattern corresponding to the pattern data and obtaining depth information.
  • Figure 13 is a flowchart showing a data processing method according to an embodiment.
  • the scanner 110 may project patterned light onto an object (step 1310).
  • the scanner 110 may acquire first image data and second image data for an object onto which pattern light is projected (step 1320).
  • the scanner 110 may transmit at least one of pattern data and second image data to the data processing device 120 along with first image data about the object.
  • the scanner 110 may transmit pattern data, first image data for the object, and second image data to the data processing device 120 (step 1330).
  • the data processing device 120 may identify whether a three-dimensional oral model for the object can be obtained using the first image data and the second image data received from the scanner 110 ( Step 1340).
  • the data processing device 120 uses the first image data and the second image data when it is possible to obtain a three-dimensional oral model for the object using the first image data and the second image data.
  • a 3D oral model of the object can be created (step 1350).
  • the data processing device 120 when the data processing device 120 fails to obtain a three-dimensional oral model for the object using the first image data and the second image data, the data processing device 120 uses the pattern data and the first image data to obtain a three-dimensional oral model for the object.
  • a three-dimensional oral model can be created (step 1360).
  • the data processing method according to an embodiment of the present disclosure may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. Additionally, an embodiment of the present disclosure may be a computer-readable storage medium on which one or more programs including at least one instruction for executing a data processing method are recorded.
  • the data processing method includes emitting pattern light generated based on pattern data using a projector included in the scanner, and projecting the pattern light using a first camera included in the scanner. Obtaining first image data for an object onto which light is projected, and comparing a pattern included in the first image data with a pattern corresponding to the pattern data to generate a three-dimensional oral model for the object. and a computer-readable record containing a program for implementing a data processing method, wherein the optical path of the pattern light projected to the object coincides in the opposite direction to the optical path of the incident light incident to the second camera included in the scanner. It may be implemented as a computer program product including media.
  • the computer-readable storage medium may include program instructions, data files, data structures, etc., singly or in combination.
  • examples of computer-readable storage media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and floptical disks.
  • Magneto-optical media such as magneto-optical media, and hardware devices configured to store and perform program instructions such as ROM, RAM, flash memory, etc. may be included.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' may mean that the storage medium is a tangible device.
  • the 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • the data processing method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • the computer program product may be distributed on a machine-readable storage medium (e.g., compact disc read only memory (CD-ROM)). Alternatively, it may be distributed (e.g., downloaded or uploaded) online, through an application store (e.g., Play Store, etc.) or directly between two user devices (e.g., smartphones).
  • the computer program product according to the disclosed embodiment may include a storage medium on which a program including at least one instruction for performing the data processing method according to the disclosed embodiment is recorded.

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

데이터 처리 장치와 정보를 송수신하는 통신부, 패턴 데이터에 기반하여 생성된 패턴광을 출사하는 프로젝터 및 대상체에 대한 2차원 이미지 데이터를 획득하는 데이터 획득부를 포함하고, 데이터 획득부는 이격된 제1 카메라 및 제2 카메라를 포함하고, 제1 카메라 및 카메라 중 적어도 하나는 패턴광이 투사된 대상체에 대한 이미지 데이터를 획득하고, 여기서, 제1 카메라는 제1 이미지 데이터를 획득하고, 제2 카메라는 제2 이미지 데이터를 획득함, 대상체로 투사되는 패턴광의 광 경로는 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치하고, 통신부는 제1 이미지 데이터와 함께, 제2 이미지 데이터 및 패턴 데이터 중 적어도 하나를 데이터 처리 장치로 전송하는, 스캐너가 개시된다.

Description

스캐너, 데이터 처리 장치 및 데이터 처리 방법
개시된 실시 예는 스캐너, 데이터 처리 장치, 및 데이터 처리 방법에 대한 것으로, 보다 구체적으로, 구강 이미지를 처리 또는 가공하기 위한 장치 및 그 방법에 관한 것이다.
환자의 치과 치료를 위해서 스캐너가 이용되고 있다. 스캐너는 대상체로부터 반사되는 빛을 이용하여 대상체의 표면에 대한 스캔 데이터를 획득할 수 있다.
스캐너와 연결된 PC 등의 데이터 처리 장치는, 스캐너가 획득한 스캔 데이터를 이용하여 3차원 가상 모델을 생성할 수 있다.
대상체가 금속 등과 같이 반사율이 높은 경우, 스캐너는 대상체에 대해 정확한 2차원 스캔 데이터를 획득하지 못할 수 있다. 예컨대, 대상체가, 크라운, 보철, 교정 장치 등과 같은 내 금속 구조물인 경우, 빛의 반사율이 높아 정확한 형상이 스캔되지 않는다. 이 경우, 정확하지 않은 스캔 데이터로 생성된 3차원 가상 모델 또한 부정확해지는 문제가 있다.
이에, 반사율이 높은 대상체에 대해서도 정확한 3차원 가상 모델을 생성하는 방법 및 장치가 요구된다.
실시 예에 따른 스캐너는 데이터 처리 장치와 정보를 송수신하는 통신부, 패턴 데이터에 기반하여 생성된 패턴광을 출사하는 프로젝터 및 대상체에 대한 2차원 이미지 데이터를 획득하는 데이터 획득부를 포함하고, 상기 데이터 획득부는 이격된 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 상기 패턴광이 투사된 대상체에 대한 이미지 데이터를 획득하고, 여기서, 상기 제1 카메라는 제1 이미지 데이터를 획득하고, 상기 제2 카메라는 제2 이미지 데이터를 획득함, 상기 대상체로 투사되는 패턴광의 광 경로는 상기 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치하고, 상기 통신부는 상기 제1 이미지 데이터와 함께, 상기 제2 이미지 데이터 및 상기 패턴 데이터 중 적어도 하나를 상기 데이터 처리 장치로 전송할 수 있다.
도 1은 실시 예에 따른 구강 이미지 처리 시스템을 설명하기 위한 도면이다.
도 2는 실시 예에 따라, 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 3은 스캐너의 광 경로를 나타내는 도면이다.
도 4는 실시 예에 따른 스캐너의 광 경로를 도시한다.
도 5는 실시 예에 따라, 스캐너가 대상체에 따라 다른 데이터를 획득하는 것을 도시한다.
도 6은 실시 예에 따라, 스캐너가 대상체를 스캔하여 대상체에 대한 2차원 이미지 데이터를 획득하는 것을 도시한다.
도 7은 실시 예에 따라 스캐너에 포함된 프로젝터와 제2 카메라가 동축으로 형성된 것을 나타낸 도면이다.
도 8은 실시 예에 따른 스캐너의 구성 요소들 중 일부를 도시한다.
도 9는 도 8에 도시된 스캐너로 획득한 이미지 데이터로 획득한 대상체에 대한 3차원 구강 모델을 도시한다.
도 10은 실시 예에 따라, 스캐너와 데이터 처리 장치가 정보를 송수신하는 것을 나타내는 도면이다.
도 11은 실시 예에 따른 데이터 처리 시스템을 블록도로 도시한 도면이다.
도 12는 실시 예에 따른 데이터 처리 방법을 도시한 순서도이다.
도 13은 실시 예에 따른 데이터 처리 방법을 도시한 순서도이다.
실시 예에서, 상기 스캐너는 스캔 동작 시, 교대로 제1 스캔 모드 및 제2 스캔 모드로 동작하고, 상기 데이터 획득부는 상기 스캐너가 상기 제1 스캔 모드로 동작할 때, 제1 휘도에서 2차원 이미지 데이터를 획득하고, 상기 스캐너가 상기 제2 스캔 모드로 동작할 때, 제2 휘도에서 2차원 이미지 데이터를 획득하고, 상기 제2 휘도는 상기 제1 휘도보다 낮을 수 있다.
실시 예에서, 상기 스캐너는 프로세서를 더 포함하고, 상기 프로세서는 상기 데이터 처리 장치로부터의 제어 신호 및 상기 스캐너의 스캔 모드 중 적어도 하나에 기반하여, 상기 제2 카메라의 온(on) 및/또는 오프(off)를 제어할 수 있다.
실시 예에서, 상기 프로젝터는 NUV(near ultraviolet) 광원을 포함하고, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는, 컬러 센서를 포함하는 컬러 카메라이거나, 또는 컬러 필터가 구비된 흑백 카메라이고, 상기 프로젝터가 상기 NUV 광원을 이용하여 대상체에 근자외선을 투사한 것에 상응하여, 상기 제1 카메라 및 상기 제2 카메라는 상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 획득하고, 상기 통신부는 상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 상기 데이터 처리 장치로 전송할 수 있다.
실시 예에 따른 데이터 처리 장치는, 프로젝터, 제1 카메라, 및 제2 카메라를 포함하는 스캐너와 정보를 송수신하는 통신부 및 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 통신부를 통해 상기 스캐너로부터, 상기 제1 카메라로 획득된 제1 이미지 데이터와 함께, 상기 제2 카메라로 획득된 제2 이미지 데이터 및 상기 프로젝터의 패턴 데이터 중 적어도 하나를 수신하고, 상기 패턴 데이터에 기반하여 생성되고 상기 대상체로 투사되는 패턴광의 광 경로는 상기 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치하고, 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴을 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 상기 프로세서는 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴 간 일치점을 찾아 뎁쓰 정보를 획득함으로써, 상기 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 상기 프로세서는 사용자 제어 신호, 상기 대상체가 금속이라는 식별 신호, 및 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터로부터 대상체에 대한 3차원 구강 모델이 획득되지 못하는 것, 중 적어도 하나에 기반하여, 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴을 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 상기 프로세서는 상기 통신부를 통해, 상기 스캐너로부터, 상기 스캐너가 제1 스캔 모드일 때 제1 휘도에서 획득한 이미지 데이터, 및 상기 스캐너가 제2 스캔 모드일 때 제2 휘도에서 획득한 이미지 데이터를 수신하고, 상기 제2 휘도는 상기 제1 휘도보다 낮고, 상기 제2 휘도에서 획득한 이미지 데이터 중에 상기 제1 카메라에 의해 획득한 이미지 데이터를 상기 제1 이미지 데이터로 이용하여, 상기 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 상기 프로세서는 제2 카메라 렌즈 왜곡을 상기 패턴 데이터에 적용하고, 상기 제2 카메라 렌즈 왜곡이 적용된 패턴 데이터에 상응하는 패턴을 상기 제1 이미지 데이터에 포함된 패턴과 비교하여, 상기 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 컬러 센서를 포함하는 컬러 카메라이거나, 또는 컬러 필터가 구비된 흑백 카메라이고, 상기 통신부는 상기 스캐너로부터, 상기 프로젝터가 NUV 광원으로 근자외선을 투사하는 것에 상응하여 상기 제1 카메라 및 상기 제2 카메라가 획득한, 상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 수신하고, 상기 프로세서는 상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터로부터 소정 파장 대역의 영역이 식별된 3차원 구강 모델을 생성할 수 있다.
실시 예에 다른 데이터 처리 방법은 스캐너에 포함된 프로젝터를 이용하여 패턴 데이터에 기반하여 생성된 패턴광을 출사하는 단계, 상기 스캐너에 포함된 제1 카메라를 이용하여 상기 패턴광이 투사된 대상체에 대한 제1 이미지 데이터를 획득하는 단계 및 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴을 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계를 포함하고, 상기 대상체로 투사되는 패턴광의 광 경로는 상기 스캐너에 포함된 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치할 수 있다.
실시 예에서, 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계는 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴 간 일치점을 찾아 뎁쓰 정보를 획득함으로써, 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계를 포함할 수 있다.
실시 예에서, 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계는 사용자 제어 신호, 대상체가 금속이라는 식별 신호, 및 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터로부터 대상체에 대한 3차원 구강 모델이 획득되지 못하는 것, 중 적어도 하나에 기반하여, 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴을 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계를 포함할 수 있다.
실시 예에서, 상기 제1 이미지 데이터 및 제2 이미지 데이터를 획득하는 단계는 상기 스캐너가 제1 스캔 모드일 때 제1 휘도에서 이미지 데이터를 획득하는 단계 및 상기 스캐너가 제2 스캔 모드일 때 제2 휘도에서 이미지 데이터를 획득하는 단계를 포함하고, 상기 제2 휘도는 상기 제1 휘도보다 낮음, 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계는 상기 제2 휘도에서 획득한 이미지 데이터 중에 상기 제1 카메라에 의해 획득한 이미지 데이터를 상기 제1 이미지 데이터로 이용하여, 상기 3차원 구강 모델을 생성하는 단계를 포함할 수 있다.
실시 예에서, 상기 방법은 제2 카메라 렌즈 왜곡을 상기 패턴 데이터에 적용하는 단계를 더 포함하고, 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계는 상기 제2 카메라 렌즈 왜곡이 적용된 패턴 데이터에 상응하는 패턴을 상기 제1 이미지 데이터에 포함된 패턴과 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계를 포함할 수 있다.
실시 예에서, 상기 제1 카메라 및 상기 제2 카메라 중 하나는 컬러 센서를 포함하는 컬러 카메라이거나, 또는 컬러 필터가 구비된 흑백 카메라이고, 상기 방법은 상기 프로젝터가 NUV(near ultraviolet) 광원을 이용하여 근자외선을 투사하는 단계, 상기 제1 카메라 및 상기 제2 카메라를 이용하여, 상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 획득하는 단계, 및 상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터로부터 소정 파장 대역의 영역이 식별된 3차원 구강 모델을 생성하는 단계를 더 포함할 수 있다.
실시 예에 따른 기록 매체는, 스캐너에 포함된 프로젝터를 이용하여 패턴 데이터에 기반하여 생성된 패턴광을 출사하는 단계, 상기 스캐너에 포함된 제1 카메라를 이용하여 상기 패턴광이 투사된 대상체에 대한 제1 이미지 데이터를 획득하는 단계 및 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴을 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계를 포함하고, 상기 대상체로 투사되는 패턴광의 광 경로는 상기 스캐너에 포함된 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치하는, 데이터 처리 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.
일 실시 예에 따른 데이터 처리 장치 및 데이터 처리 방법은 NUV 광원 및 컬러 카메라 또는 컬러 필터가 구비된 흑백 카메라를 이용하여 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 획득할 수 있다.
본 명세서는 본 출원의 권리범위를 명확히 하고, 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자가 본 출원을 실시할 수 있도록, 본 출원의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 출원이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 출원의 작용 원리 및 실시 예들에 대해 설명한다.
본 명세서에서 이미지는 적어도 하나의 치아, 또는 적어도 하나의 치아를 포함하는 구강, 또는 구강에 대한 석고 모형을 나타내는 이미지(이하, '구강 이미지')를 포함할 수 있다.
또한, 본 명세서에서 이미지는 대상체에 대한 2차원 이미지 또는 대상체를 입체적으로 나타내는 3차원 구강 이미지를 포함할 수 있다. 3차원 구강 이미지는 로우 데이터에 근거하여 구강의 구조를 3차원적으로 모델링(modeling)하여 생성될 수 있으므로, 3차원 구강 모델로 호칭될 수도 있다. 또한, 3차원 구강 모델은 3차원 스캔 모델 또는 3차원 스캔 데이터로도 호칭될 수 있다.
이하, 본 명세서에서 구강 이미지는 구강을 2차원 또는 3차원적으로 나타내는 모델 또는 이미지를 통칭하는 의미로 사용하기로 한다.
또한, 본 명세서에서 데이터는 대상체를 2차원 또는 3차원적으로 표현하기 위해서 필요한 정보, 예를 들어, 적어도 하나의 카메라를 이용하여 획득된 로우 데이터(raw data) 등을 의미할 수 있다.
구체적으로, 로우 데이터는 구강 이미지를 생성하기 위해서 획득되는 데이터로, 스캐너를 이용하여 대상체를 스캔(scan)할 때 스캐너에 포함되는 적어도 하나의 이미지 센서에서 획득되는 데이터(예를 들어, 2차원 데이터)가 될 수 있다. 스캐너에서 획득되는 로우 데이터는, 2차원 이미지, 이미지 데이터, 또는 2차원 이미지 데이터로 언급될 수 있다. 로우 데이터는, 스캐너를 이용하여 대상체를 스캔할 때 복수의 카메라들에 의해 획득되는 서로 다른 시점의 2차원 이미지들을 의미할 수 있다.
위에서는, 로우 데이터가 2차원 이미지인 것으로 서술하였으나, 이에 제한하지 않고 로우 데이터는 3차원 이미지 데이터일 수도 있다.
본 명세서에서 대상체(object)는 촬영의 대상이 되는 것으로서 신체의 일부이거나, 또는 신체의 일부를 본뜬 모형을 포함할 수 있다.
프로젝터가 투사한 광은 대상체에서 반사되어 스캐너에 포함된 두 개의 카메라로 입사된다. 대상체가 금속 등과 같이 반사율이 높은 경우에는, 대상체에서 반사되어 두 개의 카메라로 입사되는 광 량이 달라지는 경우가 있다. 이 경우, 스캐너는 대상체에 대해 정확한 2차원 스캔 데이터를 획득하지 못하게 되고, 부정확한 2차원 스캔 데이터로 생성된 3차원 가상 모델 또한 부정확해지는 문제가 있다.
개시된 실시 예는 전술한 문제점을 극복하기 위한 것으로, 대상체가 반사율이 높은 경우에도 대상체에 대한 정확한 3차원 가상 모델을 생성할 수 있는 방법 및 장치를 제공하기 위한 것이다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 실시 예에 따른 구강 이미지 처리 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 구강 이미지 처리 시스템은 스캐너(110), 및 스캐너(110)와 통신망(130)을 통해 결합된 데이터 처리 장치(120)를 포함할 수 있다.
스캐너(110)는 대상체의 이미지를 획득하는 의료 장치일 수 있다. 실시 예에서, 스캐너(110)는 광학식 3차원 스캐너일 수 있다. 광학식 3차원 스캐너(110)는 대상체로부터 반사되는 빛을 이용하여 3차원 표면 형상 정보를 획득할 수 있다.
스캐너(110)는 구강이나 귀, 코, 인공 구조물, 또는 구강이나 귀, 코, 인공 구조물을 본 뜬 석고 모형 중 적어도 하나에 대한 이미지를 획득할 수 있다. 또는 스캐너(110)는 구강 내에 삽입되어 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 구강 이미지를 획득하는 구강 스캐너일 수 있다. 이하, 설명의 편의를 위해, 스캐너(110)가 구강 스캐너인 경우를 예로 들어 설명하나, 이에 한정되는 것은 아니다.
실시 예에서, 스캐너(110)는 사용자가 손으로 잡고 이동하면서 대상체를 스캔하는 핸드헬드(handheld)형일 수 있다. 스캐너(110)는 귀나 코 속에 삽입되어 비 접촉식으로 귀나 코 속을 스캐닝할 수 있다. 다만, 이에 한정되는 것은 아니며, 스캐너(110)는 테이블 스캐너로 구현될 수도 있다.
본 개시에서 대상체(object)는 스캔 대상을 의미할 수 있다. 대상체는 신체의 일부이거나, 또는 신체의 일부를 본뜬 모형을 포함할 수 있다. 대상체는 구강, 구강을 본 뜬 석고 모델이나 임프레션 모델, 구강에 삽입 가능한 인공 구조물, 또는 인공 구조물을 본 뜬 석고 모델이나 임프레션 모델, 덴티폼 등을 포함할 수 있다. 예컨대, 대상체는 치아 및 치은 중 적어도 하나이거나, 치아 및 치은 중 적어도 하나에 대한 석고 모델이나 임프레션 모델이거나, 및/또는 구강 내에 삽입 가능한 인공 구조물, 또는 이러한 인공 구조물에 대한 석고 모델이나 임프레션 모델을 포함할 수 있다. 여기서, 구강에 삽입 가능한 인공 구조물은 예를 들어, 교정 장치, 임플란트, 크라운, 인레이, 온레이, 인공 치아, 구강 내 삽입되는 교정 보조 도구 중 적어도 하나를 포함할 수 있다. 또한, 교정 장치는 브라켓, 어태치먼트(attachment), 교정용 나사, 설측 교정 장치, 및 가철식 교정 유지 장치 중 적어도 하나를 포함할 수 있다.
스캐너(110)는 본체와 팁을 포함할 수 있다. 팁은 구강 내에 삽입되는 부분으로, 탈부착이 가능한 구조로 본체에 장착될 수 있다. 본체로부터 조사된 광은 팁을 통해 대상체로 향하고, 대상체로부터 수신된 광은 팁을 통해 본체로 향하게 된다.
본체는 광학부를 포함할 수 있다. 광학부는 광을 투사하는 광 조사부와 대상체를 촬영하여 이미지를 획득하는 카메라를 포함할 수 있다.
실시 예에서, 광 조사부는 프로젝터를 포함할 수 있다. 광 조사부는 대상체에 패턴광을 조사할 수 있다. 실시 예에서, 패턴광은 프로젝터가 프로젝터의 외부로 조사하는, 패턴 형태를 가진 광일 수 있다.
실시 예에서, 스캐너(110)는 제1 카메라 및 제2 카메라를 포함할 수 있다. 실시 예에서, 제1 카메라 및 제2 카메라는 대칭적으로 이격되도록 형성될 수 있다. 제1 카메라 및 제2 카메라는 패턴광이 투사된 대상체에 대해 다른 시점(point of view)을 갖는 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다.
실시 예에서, 스캐너(110)에 포함된 제1 카메라 및 제2 카메라는 패턴광이 조사된 대상체를 촬영하여 대상체에 대한 표면 정보를 로우 데이터(raw data)로 획득할 수 있다. 실시 예에서, 제1 카메라 및 제2 카메라는 각각 대상체에 대한 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다.
실시 예에서, 대상체로 투사되는 패턴광의 광 경로는 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치할 수 있다.
스캐너(110)는 획득한 로우 데이터를 통신망(130)를 통하여 데이터 처리 장치(120)로 전송할 수 있다.
실시 예에서, 스캐너(110)는 제1 카메라가 획득한 제1 이미지 데이터와 함께, 패턴광 및 제2 카메라가 획득한 제2 이미지 데이터 중 적어도 하나를 통신망(130)을 통하여 데이터 처리 장치(120)로 전송할 수 있다.
데이터 처리 장치(120)는 스캐너(110)와 유선 또는 무선 통신망(130)을 통하여 연결될 수 있다. 데이터 처리 장치(120)는 스캐너(110)로부터 로우 데이터를 수신하고, 수신된 로우 데이터에 근거하여 구강 이미지를 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 예컨대, 데이터 처리 장치(120)는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으나, 이에 한정되지 않는다. 또한, 데이터 처리 장치(120)는 구강 이미지를 처리하기 위한 서버(또는 서버 장치) 등의 형태로 존재할 수도 있다.
실시 예에서, 데이터 처리 장치(120)는 스캐너(110)로부터 제1 카메라가 획득한 제1 이미지 데이터와 함께, 제2 카메라가 획득한 제2 이미지 데이터 및 프로젝터에서 투사되는 패턴광 중 적어도 하나를 수신할 수 있다.
데이터 처리 장치(120)는 스캐너(110)에서 수신한 로우 데이터에 근거하여 3차원 구강 이미지, 즉, 3차원 스캔 데이터를 생성할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 제1 이미지 데이터와 함께, 제2 이미지 데이터 및 패턴광 중 하나를 이용하여, 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
대상체 중에는 치아에 포함된 법랑질(enamel, 에나멜)이나 석고 모델 등과 같이 반사율이 낮은 물체도 있고, 인레이(inlay), 온레이(onlay), 크라운, 보철, 교정 장치 등과 같이 반사율이 높은 물체도 있다.
또는, 대상체는 반사율이 높은 물체와 반사율이 낮은 물체가 혼재된 형태일 수도 있다. 예컨대, 대상체는 치아의 법랑질이고, 법랑질의 일부에 금속의 크라운이 부착된 경우와 같은 형태일 수 있다.
실시 예에서, 데이터 처리 장치(120)는 대상체가 반사율이 높은 물체가 아닌 경우에는 제1 이미지 데이터 및 제2 이미지로부터 대상체에 대한 3차원 구강 모델을 획득할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 대상체가 반사율이 높은 물체인 경우에는 제1 이미지 데이터 및 패턴광을 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
데이터 처리 장치(120)는 3차원 구강 이미지를 디스플레이를 통하여 디스플레이 하거나, 이를 외부 장치로 출력하거나 전송할 수 있다.
또 다른 예로, 스캐너(110)가 구강 스캔을 통하여 로우 데이터를 획득하고, 획득된 로우 데이터를 가공하여 3차원적 정보를 생성하고, 이를 데이터 처리 장치(120)로 전송할 수 있다.
실시 예에서, 스캐너(110)는 다양한 방법을 이용하여 대상체에 대한 3차원적 정보를 획득할 수 있다. 예컨대, 스캐너(110)는 공초점 (confocal) 방식을 이용하여 대상체에 대한 3차원적 정보를 획득할 수 있다. 또는 실시 예에서, 스캐너(110)는 광 삼각법 (triangulation technique) 방식을 이용하여 대상체에 대한 3차원적 정보를 획득할 수도 있다. 다만, 이는 실시 예로, 스캐너(110)는 공초점 방식 또는 광 삼각법 방식 외에도 다양한 방식을 이용하여 로우 데이터로부터 3차원적 정보를 획득하고, 이를 데이터 처리 장치(120)로 전송할 수 있다.
데이터 처리 장치(120)는 수신된 3차원적 정보를 분석, 처리, 가공, 디스플레이 및/또는 외부 장치로 전송할 수 있다.
데이터 처리 장치(120)는 스캐너(110)로부터 수신한 대상체의 이미지, 즉, 프레임을 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
도 2는 실시 예에 따라, 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 2는 도 1에서 설명한 스캐너(110)가 대상체를 촬영하여 3차원 데이터를 획득하는 것을 설명하기 위한 도면이다.
실시 예에서, 스캐너(110)는 다양한 방법을 이용하여 대상체에 대한 3차원 데이터를 획득할 수 있다. 예컨대, 스캐너(110)는 공초점 (confocal) 방식을 이용하여 대상체에 대한 3차원 데이터를 획득할 수 있다. 공초점 방식은 대상체에 조사되는 빛을 통과시키는 렌즈의 굴절률에 따라서, 반사된 빛의 최대 강도를 통해 알아낸 점의 위치를 기초로 대상체의 3차원적 정보를 획득하는 방식이다. 스캐너(110)는 핀홀 구조를 이용하여 공간해상도가 높은 광학 단면 이미지를 획득할 수 있다. 스캐너(110)는 축 방향을 따라 획득한 2차원 이미지를 스택(stack)하여 3차원 데이터를 획득할 수 있다.
또는 다른 실시 예에서, 스캐너(110)는 광 삼각법 (triangulation technique) 방식을 이용하여 대상체의 3차원적 정보를 획득할 수도 있다. 광 삼각법은 광원, 광원으로부터 조사된 빛이 조사되는 대상체, 대상체로부터 반사된 빛이 입력되는 이미지 센서에 의해 형성되는 삼각형을 이용하여 삼각 계산을 통해 대상체의 3차원적 정보를 획득하는 기술이다. 다만, 이는 하나의 실시 예로, 스캐너(110)는 공초점 방식 또는 광 삼각법 방식 외에도 다양한 방식으로 3차원 데이터를 획득할 수 있다.
이하, 하나의 실시 예로, 스캐너(110)가 광 삼각법을 이용하여 대상체에 대한 3차원 데이터를 획득하는 방식에 대해 보다 자세히 설명하기로 한다.
실시 예에서, 스캐너(110)는 적어도 하나 이상의 카메라를 이용하여 이미지를 획득하고, 획득한 이미지에 기반하여 3차원 데이터를 획득할 수 있다.
실시 예에서, 스캐너(110)는 광학식 3차원 스캐너일 수 있다. 스캐너(110)는 대상체(210)의 표면에 대한 3차원 데이터를 획득하기 위해, 양안시 구조광(structured light with stereo vision) 방식을 이용할 수 있다.
스캐너(110)는 두 개 이상의 카메라와 구조광(structured light)(225)을 투사할 수 있는 프로젝터(220)를 포함할 수 있다.
스캐너(110)는 대상체(210)에 구조광(225)을 투사하고, 좌안 시야(left Field of View)에 대응되는 L 카메라(230)과 우안 시야(Right Field of View)에 대응되는 R 카메라(240) 각각에서 좌안 시야에 대응되는 L 이미지(235) 및 우안 시야에 대응되는 R 이미지(245)를 획득할 수 있다. L 이미지(235) 및 R 이미지(245)는 구조광(패턴광)이 투사된 대상체에 대한 이미지일 수 있다. L 이미지(235) 및 R 이미지(245)는, 대상체(210)의 표면을 나타내는 3차원 이미지 프레임으로 재구성될 수 있다.
스캐너(110)는 대상체(210)에 대한 L 이미지(235) 및 R 이미지(245)를 포함하는 2차원 이미지 프레임을 연속적으로 획득할 수 있다. 스캐너(110) 또는 데이터 처리 장치(120)는, L 이미지(235) 및 R 이미지(245)를 포함하는 2차원 이미지 프레임으로부터 대상체(210)의 표면 형상을 나타내는 3차원 이미지 프레임을 획득할 수 있다. 도 2에서는, 스캐너(110)가 두 개의 카메라(230, 240)를 이용하여 획득한 두 개의 이미지로부터 3차원 데이터를 획득하는 것을 설명하였으나, 이는 하나의 실시 예로, 스캐너(110)는 두 개의 카메라(230, 240) 중 어느 하나의 카메라만을 이용하여 이미지를 획득할 수도 있다.
스캐너(110)는, 대상체(210) 주위를 일정한 시간 간격(예를 들어, 초당 10~30 프레임)으로 스캔함으로써 복수의 2차원 프레임들을 획득할 수 있다. 스캐너(110) 또는 데이터 처리 장치(120)는 복수의 2차원 이미지 프레임들로부터 복수의 3차원 이미지 프레임들을 획득할 수 있다.
데이터 처리 장치(120)는, 복수의 3차원 이미지 프레임들을 병합(merge) 또는 위치 정렬(align)함으로써 대상체(210) 전체에 대한 3차원 구강 모델을 획득할 수 있다.
실시 예에서, 스캐너(110)는 두 개의 카메라(230, 240) 중 어느 하나의 카메라만을 이용하여 이미지를 획득한 경우, 데이터 처리 장치(120)는 스캐너(110)로부터 수신한, 어느 하나의 카메라만을 이용하여 획득한 이미지와, 패턴광을 이용하여, 대상체에 대한 3차원 구강 모델을 획득할 수 있다.
대상체, 또는 대상체의 일부가 인레이(inlay), 온레이(onlay), 크라운, 보철, 교정 장치 등의 구강 내 금속 구조물인 경우, 스캐너(110)가 도 2에 도시된 방식으로 대상체를 스캔하는 경우, 그 형상을 스캔하는 것에 어려움이 있다.
패턴광을 대상체에 조사하여 대상체 표면의 3차원 형상 정보를 획득하는 3차원 데이터 획득 방법에 의하면, 패턴이 대상체 표면 상에서 보여야 3차원 형상 정보를 획득할 수 있다. 그러나, 금속 구조물의 경우 조사된 패턴광 중에서 반사되는 빛의 양이 많기 때문에 패턴 구분이 어려워 3차원 형상 정보의 측정에 어려움이 있다.
또한, 대상체가 금속인 경우에는, 금속에서 반사된 빛이 L 카메라(230)와 R 카메라(240)에 동시에 입사되지 않는 경우가 있을 수 있다. 예컨대, 대상체의 한 지점에서 반사된 빛이 L 카메라(230)와 R 카메라(240) 중 어느 하나의 카메라로만 입사되는 경우, 그 지점에 대해서는 3차원 데이터를 획득하지 못하게 된다.
도 3은 스캐너의 광 경로를 나타내는 도면이다.
도 3을 참조하면, 스캐너에는 한 쌍의 렌즈(21, 22)가 이격되어 포함될 수 있다.
프로젝터(70)는 한 쌍의 렌즈(21, 22)의 중앙 부분에 위치할 수 있다. 프로젝터(70)에서 출사된 출사광은, 순차적으로 카메라 마운팅부(50)에 형성된 출사광 경로부(53)를 경유하여 팁까지 도달하고, 팁에 포함된 반사 미러(60)에 의하여 경로가 변경되어 팁의 개구부를 통해 대상체에 투사된다.
대상체에서 반사된 광은 대상체에 투사된 투사 광과는 반대로 순차적으로 개구부를 통해 팁 내부로 입사할 수 있다. 팁으로 입사된 광은 반사 미러(60)를 통해 경로가 변경되어 한 쌍의 렌즈(21, 22) 각각으로 입사될 수 있다. 두 개의 입사광 경로부(51, 52)는 한 쌍의 렌즈(21, 22)로부터 입사되는 입사 광이 투광되도록 형성되고, 카메라 마운팅부(50)의 일측면 및 타측면으로 개구되도록 형성될 수 있다. 한 쌍의 렌즈(21, 22)를 투과한 입사 광은 광경로 변경부(41, 42)에 의해 경로가 변경되어 이미징 보드(31b, 32b)에 각각 집적되어 있는 이미지 센서(31a, 32a)로 조사될 수 있다. 이미지 센서(31a, 32a)는 조사된 광을 이미징 처리하여 두 개의 이미지 데이터를 생성할 수 있다. 이미지 센서(31a, 32a)는 흑백 이미지 센서일 수 있다.
대상체, 또는 대상체의 일부가 인레이(inlay), 온레이(onlay), 크라운, 보철, 교정 장치 등과 같이 금속 구조물인 경우에는, 도 3에 도시된 형태의 스캐너를 이용하여 대상체를 스캔하여도 정확한 영상이 획득되지 않는다. 이는, 금속 재질이 반사율이 높아 금속 재질에서 반사되는 빛의 양이 많기 때문에 금속을 스캔하여 획득한 이미지에서 패턴이 잘 구분되지 않을 뿐 아니라, 금속 표면에서 반사된 광이 한 쌍의 카메라에 포함된 한 쌍의 렌즈(21, 22)에 동시에 입사하지 않는 경우가 있기 때문이다. 즉, 금속의 경우 대상체의 한 지점에서 반사된 빛이 두 카메라로 동시에 입사되지 않는 경우가 있으므로 두 개의 카메라로 획득된 두 개의 이미지 데이터에서 일치점을 찾기 어렵기 때문에 3차원 형상 정보 측정에 어려움이 있다.
도 4는 실시 예에 따른 스캐너의 광 경로를 도시한다.
도 4는, 실시 예에 따른 스캐너의 구성 요소들 중 광학부에 포함된 구성 요소 일부를 도시한다. 도 4는 설명의 편의를 위하여 스캐너 내부의 구성 요소를 단순한 도형으로 도시하고 있으나, 이는 하나의 실시 예로, 스캐너 내부의 구성 요소는 각 구성 요소의 동작이나 기능에 맞는 다양한 형상으로 구현될 수 있다.
도 4를 참조하면, 실시 예에 따른 스캐너(110)는 광학부를 포함할 수 있다. 광학부는 광을 투사하는 광 조사부와 대상체를 촬영하여 이미지를 획득하는 데이터 획득부를 포함할 수 있다.
실시 예에서, 광 조사부는 패턴광을 생성하고 이를 대상체로 조사할 수 있다.
실시 예에서, 데이터 획득부는 제1 카메라 및 제2 카메라를 포함할 수 있다. 실시 예에서, 제1 카메라와 제2 카메라는 수평면 상에 나란히 배치될 수 있다. 실시 예에서, 제1 카메라와 제2 카메라는 대칭적으로 이격되어 형성될 수 있다.
실시 예에서, 제1 카메라와 제2 카메라는 일단에 각각 제1 카메라 렌즈(405-1) 및 제2 카메라 렌즈(405-2)를 포함할 수 있다. 실시 예에서, 제1 카메라 렌즈(405-1) 및 제2 카메라 렌즈(405-2)는 팁을 향하는 방향으로 서로 이격되어 형성될 수 있다.
대상체에서 반사되어 팁으로 입사된 광은 팁 내부의 반사 미러를 통해 경로가 변경되어 제1 카메라 렌즈(405-1) 및 제2 카메라 렌즈(405-2) 각각으로 입사될 수 있다. 제1 카메라 렌즈(405-1) 및 제2 카메라 렌즈(405-2)를 투과한 입사 광은 광 경로 변경부(406-1, 406-2)에 의해 경로가 변경될 수 있다. 광 경로 변경부(406-1, 406-2)는 광의 전반사가 가능한 전반사 거울(mirror)를 포함할 수 있다. 다만, 이에 한정되는 것은 아니고, 광 경로 변경부(406-1, 406-2)는 전반사가 가능한 임의의 광학 요소를 포함할 수 있다.
광 경로 변경부(406-1, 406-2)에 의해 경로가 변경된 광은 이미지 센서(407-1, 407-2)로 조사될 수 있다. 이미지 센서(407-1, 407-2)는 조사된 광을 이미징 처리하여 두 개의 이미지 데이터를 생성할 수 있다.
이하, 제1 카메라에 포함된 이미지 센서(407-1)가 획득한 이미지 데이터를 제1 이미지 데이터로 호칭하고, 제2 카메라에 포함된 이미지 센서(407-2)가 획득한 이미지 데이터를 제2 이미지 데이터로 호칭하기로 한다.
실시 예에서, 두 개의 이미지 센서(407-1, 407-2)는 모두 모노크롬(monochrome) 이미지 센서일 수 있다. 즉, 실시 예에서, 제1 카메라 및 제2 카메라는 흑백 카메라일 수 있다. 흑백 카메라에 의해 획득된 이미지 데이터는 픽셀을 레드, 그린, 블루로 나누어 사용하는 컬러 카메라로 획득된 이미지 데이터보다 해상도가 높다. 예컨대, 흑백 카메라로 획득된 이미지 데이터는 컬러 카메라로 획득된 이미지 데이터보다 해상도가 4배 높을 수 있다. 따라서, 데이터 처리 장치(120)는 흑백 카메라로 획득된 이미지 데이터에서, 보다 정확하게 특징 점을 찾을 수 있으므로, 대상체에 대해 정확한 스캔 데이터를 획득할 수 있다.
경우에 따라, 스캐너(110)가 대상체에 대한 컬러 이미지를 획득해야 하는 경우가 있을 수 있다. 이에, 실시 예에서, 두 개의 이미지 센서(407-1, 407-2) 중 제1 카메라에 포함된 이미지 센서(407-1)는 흑백 이미지 센서이고, 제2 카메라에 포함된 이미지 센서(407-2)는 컬러 이미지 센서일 수 있다. 이 경우, 스캐너(110)는 제1 카메라를 이용하여 해상도 높은 이미지 데이터를 획득하고, 제2 카메라를 이용하여 컬러 이미지 데이터를 획득할 수 있게 된다.
또는, 두 개의 이미지 센서(407-1, 407-2)는 모두 모노크롬(monochrome) 의 흑백 이미지 센서이고, 제2 카메라에 포함된 이미지 센서(407-1)에는 컬러 필터가 추가로 더 구비될 수 있다. 이 경우, 스캐너(110)는 컬러 필터를 이용하여 대상체에서 반사된 광 중 컬러 필터를 통과한 특정 파장 대역의 신호가 표시된 이미지를 획득할 수 있게 된다.
실시 예에서, 제1 카메라 및 제2 카메라는 패턴광이 투사된 대상체에 대해 동시(at the same time)에 다른 시점(point of view)을 갖는 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다.
실시 예에서, 제1 카메라와 제2 카메라는, 제1 카메라의 광 경로와 제2 카메라의 광 경로가 일정한 각도를 유지하도록 배치될 수 있다. 제1 카메라의 광 경로는 제1 카메라로 입사되는 입사 광의 광 경로이고, 제2 카메라의 광 경로는 제2 카메라로 입사되는 입사 광의 광 경로를 의미할 수 있다.
제1 카메라 렌즈(405-1) 및 제2 카메라 렌즈(405-2) 각각의 중심 지점과 팁 내부의 반사 미러의 중심 지점을 각각 꼭짓점으로 하는 삼각형을 고려할 때, 삼각형의 내각 중에, 제1 카메라 렌즈(405-1)의 중심 지점과 반사 미러 중심 지점을 연결하는 변이 제1 카메라의 광 경로를 나타내고, 제2 카메라 렌즈(405-2)의 중심 지점과 반사 미러 중심 지점을 연결하는 변이 제2 카메라의 광 경로를 나타낼 수 있다. 여기서, 제1 카메라의 광 경로와 제2 카메라의 광 경로 사이의 각을, 두 카메라 사이의 각도(triangulation)로 호칭하기로 한다.
스테레오 비전 방식에서, 두 카메라 사이의 각도가 커지면, 두 카메라로 획득된 이미지 데이터로 3차원 구강 모델을 형성할 때 뎁쓰(depth)의 해상력이 높아지게 된다. 반대로, 두 카메라 사이의 각도가 작아지면 뎁쓰의 해상력이 낮아진다. 해상력(resolving power)은 렌즈, 화면 등이 미세한 화상을 전달, 기록 또는 표시하는 능력으로, 대상체를 얼마나 디테일하게 표시할 수 있는지를 의미할 수 있다.
두 카메라 사이의 각도에 따라 뎁쓰의 해상력 달라지기 때문에, 두 카메라 사이의 각도는 기 정해진 일정한 각도를 유지하는 것이 필요하다.
전술한 바와 같이, 대상체가 금속인 경우에는, 두 개의 카메라로 획득된 두 개의 이미지 데이터를 이용하여서는 정확한 3차원 구강 모델을 생성하는 것이 어렵다.
이에, 본 개시에서는 두 개의 카메라 중 하나의 카메라로 획득한 하나의 이미지 데이터와, 프로젝터(401)의 패턴 데이터를 이용함으로써 대상체에 대한 정확한 3차원 구강 모델을 생성하는 기술을 개시한다.
이를 위해, 실시 예에 따른 스캐너(110)는 두 개의 카메라 중 하나의 카메라 부근에 프로젝터(401)가 배치될 수 있다. 즉, 도 3에 개시된 것처럼 프로젝터(70)가 한 쌍의 렌즈(21, 22)의 중앙 부분에 위치한 것이 아니라, 실시 예에 따른 스캐너(110)는 도 4에 도시된 바와 같이 프로젝터(401)가 제1 카메라와 제2 카메라 중 하나의 카메라, 예컨대, 제2 카메라의 부근에 배치될 수 있다.
실시 예에서, 프로젝터(401)는 제2 카메라의 상부나 하부에 배치될 수 있다. 또는, 프로젝터(401)는 제2 카메라의 측면에 배치되어, 프로젝터(401), 제2 카메라, 제1 카메라가 순서대로 일렬로 배치되는 구조를 가질 수도 있다.
실시 예에서, 스캐너(110)는 다양한 투사 방식, 예를 들어, CRT(cathode-ray tube) 방식, LCD(Liquid Crystal Display) 방식, DLP(Digital Light Processing) 방식, 레이저 방식 등으로 영상을 투사할 수 있다.
실시 예에서, 스캐너(110)에 포함된 광 조사부는 광을 투사하기 위한 구성 요소로, 프로젝터(401) 및 반사체 등의 구성 요소를 포함할 수 있다.
실시 예에서, 프로젝터(401)는 광원, DMD(digital micromirror device) 및 프로젝터 렌즈를 포함할 수 있다.
실시 예에서, 스캐너(110)는 다양한 유형의 광원을 포함할 수 있다. 예를 들어, 스캐너(110)는 램프, LED, 레이저 중 적어도 하나의 광원을 포함할 수 있다.
도 4는 스캐너(110)가 광원으로 RGB LED 광원을 이용하는 것을 도시한다. 실시 예에서, 스캐너(110)는 RGB LED 광원을 이용하여 적색(Red) LED, 녹색(Green) LED, 청색(Blue) LED의 조합으로 색상을 제공할 수 있다.
다만, 이에 한정되는 것은 아니고, 스캐너(110)는 광원으로 적색(Red) LED, 녹색(Green) LED, 청색(Blue) LED 대신, 화이트 광원을 이용할 수도 있다.
실시 예에서, 스캐너(110)는 DMD(digital micromirror device)를 포함할 수 있다. 스캐너(110)는 DMD에 포함된 복수의 미러들 각각을 제어해서 패턴을 형성할 수 있다. DMD는 미세한 미러들의 집합체로 수만개의 미러들이 바둑판처럼 배치되어 각각의 미러가 픽셀의 역할을 할 수 있다. 스캐너(110)는 DMD에 포함된 미러들을 온(on)이나 오프(off) 중 하나로 제어할 수 있다. 각각의 미러는 온 상태와 오프상태에서 서로 다른 경사를 가지며 이를 통해 빛이 나가거나 나가지 못하게 되어 하여 밝기가 조절될 수 있다.
실시 예에서, 스캐너(110)의 프로젝터(401)는 DMD 외에 다른 공간광변조기(SLM, Spatial Light Modulator)를 포함할 수도 있다. 예컨대, 프로젝터(401)는 LCoS(Liquid Crystal on Silicon), LCD(Liquid Crystal Device), MEMS(microelectromechanical system) 등을 포함할 수 있다.
실시 예에서, 프로젝터(401)는 소정 패턴을 갖는 패턴광을 생성할 수 있다. 실시 예에서, 패턴은 프로젝터(401)가 DMD를 이용하여 생성하려는 패턴광의 형태나 무늬일 수 있다. 실시 예에서, 패턴 데이터는 프로젝터(401)가 생성하려는 패턴에 상응하는 데이터일 수 있다.
실시 예에서, 프로젝터(401)는 패턴 데이터에 기반하여 패턴광을 생성하고, 패턴광을 프로젝터(401)의 외부로 조사할 수 있다. 실시 예에서, 패턴광은 직선형 무늬, 사선형 무늬, 격자형 무늬 등 다양한 패턴의 무늬를 가질 수 있다.
실시 예에서, 프로젝터(401)는 프로젝터(401)의 일단에 구비된 프로젝터 렌즈를 통해, 적색(Red) LED, 녹색(Green) LED, 청색(Blue) LED의 패턴광을 순차적으로 출사할 수 있다.
실시 예에서, 프로젝터 렌즈에서 출사된 출사 광은 미러(403)에 의해 전반사될 수 있다. 실시 예에서, 미러(403)에 의해 전반사되어 경로가 변경된 출사 광은 빔 스플리터(Beam Splitter, 404)로 향하고, 빔 스플리터(404)에 의해 투과 빔과 반사 빔으로 분할될 수 있다. 빔 스플리터(404)에 의해 분할된 반사 빔은 팁 방향으로 조사되어 대상체로 투사될 수 있다.
이와 같이, 실시 예에 따르면, 프로젝터(401)에서 출사된 출사 광은 미러(403)와 빔 스플리터(404)에 의해 광 경로가 변경될 수 있다. 따라서, 프로젝터(401)와 제2 카메라의 위치는 다르지만, 대상체로 투사되는 투사 광의 광 경로는 제2 카메라의 광 경로와 반대 방향으로 일치할 수 있다.
또한, 실시 예에 따르면, 프로젝터(401)가 두 개의 카메라 중 하나의 카메라와 동일한 광 경로를 가지도록 배치됨으로써, 프로젝터(401)의 광 경로와 제1 카메라의 광 경로 사이의 각도가, 제1 카메라의 광 경로 및 제2 카메라의 광 경로가 형성하는 두 카메라 사이의 각도(triangulation)와 같아지게 된다.
따라서, 프로젝터(401)의 패턴 데이터와 제1 이미지 데이터를 이용하여 3차원 구강 모델이 형성되는 경우에도, 제1 이미지 데이터와 제2 이미지 데이터로 3차원 구강 모델이 형성될 때와 마찬가지의 뎁쓰 해상력을 유지할 수 있다.
실시 예에서, 스캐너(110)는 제1 카메라로 획득한 제1 이미지 데이터와 함께, 제2 카메라로 획득한 제2 이미지 데이터 및 프로젝터(401)의 패턴 데이터 중 적어도 하나를 데이터 처리 장치(210)로 전송할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 스캐너(110)로부터 수신한 데이터를 기반으로 3차원 구강 모델을 생성할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 제1 이미지 데이터와 함께, 제2 이미지 데이터 및 프로젝터(401)의 패턴 데이터 중 하나를 이용함으로써 대상체에 대한 3차원 구강 모델을 획득할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 제1 카메라에서 획득된 제1 이미지 데이터와 제2 카메라에서 획득된 제2 이미지 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 획득될 수 있다.
실시 예에서, 데이터 처리 장치(120)는 사용자로부터, 대상체가 금속이라는 제어 신호를 수신하거나, 인공 지능 모델을 이용하여 대상체가 금속임을 식별한 경우에는 제1 이미지 데이터에 포함된 패턴과 프로젝터(401)의 패턴 데이터를 비교하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
또는, 실시 예에서, 데이터 처리 장치(120)는 제1 이미지 데이터 및 상기 제2 이미지 데이터로부터 대상체에 대한 3차원 구강 모델이 획득되지 못하는 경우, 제1 이미지 데이터와 프로젝터(401)의 패턴 데이터를 비교하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
도 5는 실시 예에 따라, 스캐너(110)가 대상체에 따라 다른 데이터를 획득하는 것을 도시한다.
도 5의 좌측 도면은, 일반적으로 스캐너(110)가 대상체를 스캔하여 데이터를 획득하는 것을 도시한다.
실시 예에서, 스캐너(110)는 프로젝터(401)를 이용하여 대상체로 패턴광을 투사할 수 있다. 스캐너(110)는 제1 카메라 및 제2 카메라를 이용하여 패턴광이 투사된 대상체에 대한 2차원 이미지 데이터를 획득할 수 있다. 스캐너(110)는 제1 카메라를 이용하여 대상체에 대한 제1 이미지 데이터를 획득하고, 제2 카메라를 이용하여 대상체에 대한 제2 이미지 데이터를 획득할 수 있다. 제1 이미지 데이터와 제2 이미지 데이터는 패턴광이 투사된 대상체에 대해, 동일 시각에, 서로 다른 관점/시점에서 획득된 이미지 데이터일 수 있다.
실시 예에서, 스캐너(110)는 제1 이미지 데이터와 제2 이미지 데이터를 데이터 처리 장치(120)로 전송할 수 있다.
실시 예에서, 데이터 처리 장치는 스캐너(110)로부터 제1 이미지 데이터 및 제2 이미지 데이터를 수신하고, 두 개의 이미지 데이터에서 주요 특징 점을 검출할 수 있다. 실시 예에서, 데이터 처리 장치는 두 이미지 데이터의 특징점들을 서로 매칭할 수 있다. 실시 예에서, 데이터 처리 장치는 매칭된 특징점 쌍에 따라 깊이(뎁쓰, depth) 정보를 계산할 수 있다. 실시 예에서, 데이터 처리 장치는 계산된 깊이 정보를 바탕으로 뎁쓰 맵을 생성할 수 있다. 뎁쓰 맵에서는 각 픽셀 위치마다 깊이 값이 할당되어 있어, 이를 통해 3차원 정보가 획득될 수 있다.
도 5의 우측 도면은, 대상체가 금속일 때 대상체에 대한 3차원 구강 모델 생성에 이용되는 데이터를 스캐너(110)가 획득하는 것을 도시한다.
실시 예에서, 스캐너(110)는 대상체에 패턴광을 투사할 수 있다. 실시 예에서, 스캐너(110)는 프로젝터(401)를 이용하여 대상체에 패턴광을 조사하고, 패턴광이 조사된 대상체를 스캔함으로써, 대상체에 형성된 패턴에 대한 2차원 이미지 데이터를 획득할 수 있다.
실시 예에서, 스캐너(110)는 대상체가 금속인 경우에는 도 5의 우측 도면에 도시된 바와 같이, 제2 카메라가 동작하지 않도록 제어할 수 있다. 예컨대, 스캐너(110)는 대상체가 금속인 것에 상응하여, 제2 카메라의 동작을 오프(off)시켜, 제2 카메라가 대상체에 대해 제2 데이터를 획득하지 않도록 할 수 있다.
실시 예에서, 스캐너(110)는 데이터 처리 장치(120)로부터 제2 카메라의 동작을 오프시키라는 제어 신호를 수신할 수 있다. 예컨대, 데이터 처리 장치(120)가 대상체가 금속임을 식별한 경우, 데이터 처리 장치(120)는 스캐너(110)로 대상체가 금속임을 나타내는 제어 신호를 전송하거나, 또는 제2 카메라의 동작을 오프시키라는 제어 신호를 전송할 수 있다.
실시 예에서, 스캐너(110)는 데이터 처리 장치(120)로부터 대상체가 금속임을 나타내는 제어 신호를 수신하거나, 또는 제2 카메라의 동작을 오프하라는 제어 신호를 수신한 것에 상응하여, 제2 카메라가 동작하지 않도록 제어하여 제2 카메라가 제2 이미지 데이터를 획득하지 않도록 할 수 있다.
실시 예에서, 스캐너(110)는 대상체가 금속인지 여부와 무관하게 제1 카메라를 이용하여 대상체에 대해 제1 이미지 데이터를 획득할 수 있다. 제1 카메라로 획득한 대상체에 대한 제1 이미지 데이터는 대상체에 패턴이 형성된, 패턴화된 이미지일 수 있다. 대상체에 형성된 패턴은 프로젝터(401)에서 투사한 패턴광에 의한 것이기 때문에, 제1 이미지 데이터에 포함된 패턴에 대응하는 특징 점이 반드시 프로젝터(401)의 패턴 데이터에 존재하게 된다.
실시 예에서, 스캐너(110)는 제1 이미지 데이터를 데이터 처리 장치(120)로 전송할 수 있다. 실시 예에서, 스캐너(110)는 제1 이미지 데이터와 함께, 프로젝터(401)의 패턴 데이터를 데이터 처리 장치(120)로 전송할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 스캐너(110)로부터 제1 이미지 데이터 및 프로젝터(401)의 패턴 데이터를 수신하고, 제1 이미지 데이터와 프로젝터(401)의 패턴 데이터를 이용하여 특징 점을 검출할 수 있다. 즉, 데이터 처리 장치(120)는 프로젝터(401)를 마치 가상의 카메라로 이용하고, 프로젝터(401)의 패턴 데이터를 제2 이미지 데이터 대신 이용하여, 제1 이미지 데이터에 포함된 패턴과 프로젝터(401)의 패턴 데이터에 상응하는 패턴을 비교할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 제1 이미지 데이터의 패턴과 프로젝터(401)의 패턴 데이터에 상응하는 패턴에서 대응하는 특징 점을 검출하고, 검출된 특징 점들을 서로 매칭할 수 있다. 실시 예에서, 데이터 처리 장치는 각 특징 점들의 패턴, 색감, 질감 등의 정보를 사용하여 유사한 특징 점들끼리 매칭할 수 있다.
실시 예에서, 데이터 처리 장치는 매칭된 특징 점에 따라 깊이(뎁쓰, depth) 정보를 계산할 수 있다. 깊이 계산에 사용되는 방식 중 하나는 픽셀 간의 거리 차이(disparity)를 이용하는 방식으로, 거리 차가 클수록 깊이가 멀어지는 것으로 계산할 수 있다.
실시 예에서, 데이터 처리 장치는 계산된 깊이 정보를 바탕으로 뎁쓰 맵을 생성할 수 있다. 뎁쓰 맵에서는 각 픽셀 위치마다 깊이 값이 할당되어 있어, 이를 통해 3차원 정보가 획득될 수 있다.
다른 실시 예에서, 스캐너(110)는 대상체가 금속인 경우에도 제2 카메라로 대상체에 대한 제2 이미지 데이터를 획득하되, 데이터 처리 장치(120)로 제2 이미지 데이터를 전송하지 않을 수 있다.
또 다른 실시 예에서, 스캐너(110)는 대상체가 금속인 경우에도 제2 카메라로 대상체에 대한 제2 이미지 데이터를 획득하고, 이를 데이터 처리 장치(120)로 전송할 수 있다. 이 경우, 데이터 처리 장치(120)는 3차원 구강 모델 생성 시, 대상체가 금속인 것에 상응하여 제2 이미지 데이터를 이용하지 않을 수 있다.
이와 같이, 실시 예에 의하면, 대상체가 금속인지 여부에 따라, 스캐너(110)는 제2 이미지 데이터를 획득하지 않거나, 또는 제2 이미지 데이터를 데이터 처리 장치(120)로 전송하지 않을 수 있다.
실시 예에 의하면, 대상체가 금속인지 여부에 따라, 데이터 처리 장치(120)는 서로 다른 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성함으로써 대상체의 종류에 따라 정확한 3차원 구강 모델을 생성할 수 있다.
도 6은 실시 예에 따라, 스캐너(110)가 대상체를 스캔하여 대상체에 대한 2차원 이미지 데이터를 획득하는 것을 도시한다.
도 6은 스캐너(110)가 스캔 1set의 이미지 데이터를 획득하는 방법을 도시한다. 스캔 1set은 3차원 구강 모델 생성에 요구되는 동일한 지점에 대한 이미지 데이터 세트를 의미할 수 있다.
도면 부호 610은, 실시 예에 따라, 스캐너(110)가 스캔 동작을 수행할 때 스캔 모드 구분 없이 동일한 조건으로 대상체에 대한 이미지 데이터를 획득하는 것을 도시한다.
실시 예에서, 스캐너(110)는 대상체에 패턴광을 투사하고, 패턴광이 투사된 대상체에 대해 제1 카메라 및 제2 카메라로 다른 시점(point of view)을 갖는 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다.
예컨대, 스캔 1set가 초당 100개의 프레임이라고 하면, 스캐너(110)는 제1 카메라를 이용하여 대상체에 대해 초당 100개의 제1 이미지 데이터를 획득하고, 동시에, 제2 카메라를 이용하여 대상체에 대해 초당 100개의 제2 이미지 데이터를 획득할 수 있다.
실시 예에서, 스캐너(100)는 대상체의 종류와 무관하게, 즉, 대상체가 금속인지 여부와 관계 없이 도면 부호 610에 도시된 방법으로 대상체에 대한 이미지 데이터를 획득할 수 있다. 스캐너(110)는 획득한 이미지 데이터를 모두 데이터 처리 장치(120)로 전송할 수 있다.
데이터 처리 장치(120)는 스캐너(110)로부터 수신한 대상체에 대한 이미지 데이터를 기반으로, 대상체에 대한 3차원 구강 모델을 생성할 수 있다. 구체적으로, 데이터 처리 장치(120)는 스캐너(110)로부터 수신한 대상체에 대한 이미지 데이터 중에 대상체에 대한 3차원 구강 모델 생성에 적합한 데이터를 선별하고, 선별된 데이터를 조합하여 3차원 구강 모델을 생성할 수 있다.
예컨대, 대상체가 금속인 경우 대상체에 대한 이차원 이미지 데이터에는 한계 밝기에 도달한 픽셀이 포함될 수 있다. 한계 밝기는, 픽셀의 밝기가 너무 밝아서 데이터가 표현되지 못하는 상태를 의미할 수 있다. 따라서, 데이터 처리 장치(120)는 제1 이미지 데이터나 제2 이미지 데이터에 한계 밝기를 갖는 픽셀이 포함되어 있는 경우, 그 픽셀에 대응하는 대상체의 지점에 대해서는 3차원 구강 모델을 생성하지 못하게 된다. 또는, 대상체가 금속인 경우, 금속 표면에서 반사된 광이 제1 카메라의 렌즈와 제2 카메라의 렌즈로 동시에 입사하지 않는 경우, 제1 이미지 데이터와 제2 이미지 데이터에 일치점이 포함되지 않는 경우가 있을 수 있다. 데이터 처리 장치(120)는 제1 이미지 데이터와 제2 이미지 데이터에서 일치점을 찾지 못하는 지점에 대해서는 3차원 구강 모델을 생성하지 못한다.
이 경우, 데이터 처리 장치(120)는 제1 이미지 데이터와 프로젝터(401)의 패턴 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다. 제1 이미지 데이터는 대상체에 패턴이 형성된, 패턴화된 이미지일 수 있다. 프로젝터(401)는 패턴 데이터에 기반하여 패턴광을 생성하고, 생성된 패턴광을 투사하기 때문에 패턴 데이터에는, 제1 이미지 데이터에 포함된 패턴에 대응하는 특징 점이 존재한다. 데이터 처리 장치(120)는 제1 이미지 데이터의 패턴과 프로젝터(401)의 패턴 데이터에서 대응하는 특징 점을 검출하고, 검출된 특징 점들을 매칭하여 특징 점에 따라 깊이 정보를 계산하고, 깊이 정보를 이용하여 뎁쓰 맵을 생성함으로써 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
또는, 실시 예에서, 치과의 등의 사용자는 대상체를 스캔하다가 대상체가 금속임을 식별하고, 사용자 입력부 등을 통해 데이터 처리 장치(120)로 대상체의 종류에 대한 제어 신호를 전송할 수 있다. 데이터 처리 장치(120)는 사용자로부터 제어 신호를 수신한 것에 상응하여, 제1 이미지 데이터와 패턴 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
또는, 실시 예에서, 데이터 처리 장치(120)가 대상체의 종류를 식별할 수도 있다. 실시 예에서, 데이터 처리 장치(120)는 인공지능 기술(Artificial Intelligence, AI)을 이용하여 스캐너(110)로부터 수신한 이미지 데이터에서 대상체의 종류를 식별할 수 있다. 예컨대, 데이터 처리 장치(120)는 스캐너(110)로부터 수신한 프레임을 분석하여 프레임에 포함된 픽셀들의 클래스를 식별하고, 프레임에 포함된 전체 픽셀들 중 소정 클래스로 식별된 픽셀들의 퍼센트가 기준치 이상인 것에 기반하여, 프레임 내지는 프레임에 포함된 대상체의 클래스가 금속인지 여부를 식별할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 대상체의 종류에 기반하여 3차원 구강 모델 생성에 이용될 데이터를 선택할 수 있다.
도면 부호 620은, 실시 예에 따라, 스캐너(110)가 스캔 동작을 수행할 때 서로 다른 스캔 모드로 동작하여 대상체에 대해 이미지 데이터를 획득하는 것을 도시한다.
실시 예에서, 스캐너(110)는 대상체에 패턴광을 투사하고, 패턴광이 투사된 대상체에 대해, 서로 다른 모드에서, 제1 카메라 및 제2 카메라로 다른 시점(point of view)을 갖는 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다.
실시 예에서, 스캐너(110)는 스캔 동작 시, 교대로 제1 스캔 모드 및 제2 스캔 모드로 동작할 수 있다. 실시 예에서, 제1 스캔 모드는 일반 모드, 또는 에나멜 모드(enamel mode)로도 호칭될 수 있다. 실시 예에서, 제2 스캔 모드는 메탈 모드(metal mode)로도 호칭될 수 있다.
실시 예에서, 제1 스캔 모드와 제2 스캔 모드는 2차원 이미지 데이터가 획득되는 환경에 따라 구분될 수 있다.
예컨대, 스캔 1set가 초당 100개의 프레임이라고 하면, 스캐너(110)는 제1 스캔 모드에서는 총 100개의 프레임 중에 70개의 프레임을 획득하고, 제2 스캔 모드에서는 나머지 30개의 프레임을 획득할 수 있다.
실시 예에서, 스캐너(110)는 제1 스캔 모드로 동작하는 동안, 제1 휘도에서 2차원 이미지 데이터를 획득할 수 있다. 예컨대, 스캐너(110)는 제1 스캔 모드로 동작하는 동안, 제1 카메라 및 제2 카메라를 이용하여, 제1 휘도에서, 대상체에 대해 각각 제1-1 이미지 데이터, 제2-1 이미지 데이터를 획득할 수 있다.
실시 예에서, 스캐너(110)는 제2 스캔 모드로 동작하는 동안, 제2 휘도에서 2차원 이미지 데이터를 획득할 수 있다. 여기서, 제2 휘도는 제1 휘도보다 낮은 휘도일 수 있다. 예컨대, 스캐너(110)는 제2 스캔 모드로 동작하는 동안, 제1 카메라 및 제2 카메라를 이용하여, 제1 휘도보다 어두운 제2 휘도에서, 대상체에 대해 각각 제1-2 이미지 데이터, 제2-2 이미지 데이터를 획득할 수 있다. 제2 휘도에서 획득된 2차원 이미지 데이터는 제1 휘도에서 획득된 2차원 이미지 데이터보다 휘도가 낮다.
대상체가 금속과 같이 반사율이 높은 경우, 밝은 환경보다 어두운 환경에서 대상체에 투사된 패턴광이 보다 잘 인식되게 된다. 따라서, 실시 예에서, 스캐너(110)는 대상체를 스캔할 때 대상체가 금속일 경우를 가정하여, 제1 스캔 모드와 제2 스캔 모드로 번갈아 가면서, 주변의 밝기를 조절하여 스캔 동작을 수행함으로써, 다른 환경에서 이미지 데이터를 획득할 수 있다.
실시 예에서, 스캐너(110)는 프로젝터(401)를 이용하여 제1 스캔 모드와 제2 스캔 모드에서 서로 다른 휘도의 광원을 투사할 수 있다. 또는, 실시 예에서, 제1 카메라 및 제2 카메라는 제1 스캔 모드와 제2 스캔 모드에서 노출 시간을 조절하여 서로 다른 밝기로 이미지 데이터를 획득할 수도 있다. 스캐너(110)는 제1 스캔 모드와 제2 스캔 모드에서 카메라의 셔터가 열려있는 시간을 조절함으로써 렌즈로 들어오는 빛을 조절하여 서로 다른 밝기의 이미지 데이터를 획득할 수 있다.
실시 예에서, 스캐너(110)는 제1 스캔 모드에서 획득한 제1-1 이미지 데이터, 제2-1 이미지 데이터, 제2 스캔 모드에서 획득한 제1-2 이미지 데이터, 제2-2 이미지 데이터를 모두 데이터 처리 장치(120)로 전송할 수 있다.
또는 실시 예에서, 스캐너(110)는 제2 스캔 모드로 동작하는 동안에는 제2 카메라가 동작하지 않도록 제어하여, 제1 카메라로 제1-2 이미지 데이터만을 획득할 수도 있다. 이 경우, 스캐너(110)는 제1 스캔 모드에서 획득한 제1-1 이미지 데이터, 제2-1 이미지 데이터, 제2 스캔 모드에서 획득한 제1-2 이미지 데이터만을 데이터 처리 장치(120)로 전송할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 스캐너(110)로부터 수신한 데이터 중에 대상체에 대한 3차원 구강 모델 생성에 적합한 데이터를 선별하고, 선별된 데이터를 조합하여 3차원 구강 모델을 생성할 수 있다.
예컨대, 데이터 처리 장치(120)는 일반적으로는 제1 스캔 모드에서 획득된, 제1-1 이미지 데이터와 제2-1 이미지 데이터로 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
데이터 처리 장치(120)는 대상체가 금속이어서 대상체에 대해 제1 스캔 모드에서 획득된 제1-1 이미지 데이터, 제2-1 이미지 데이터에, 한계 밝기에 도달한 픽셀이 포함되어 있는 경우, 해당 픽셀에 대해서는 제1-1 이미지 데이터와 제2-1 이미지 데이터로 대상체에 대한 3차원 구강 모델을 생성하지 않고, 보다 어두운 휘도에서 제1 카메라에 의해 획득된 제1-2 이미지 데이터와 프로젝터(401)의 패턴 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
또는, 실시 예에서, 치과의 등의 사용자가, 데이터 처리 장치(120)로 대상체의 종류에 대한 제어 신호를 전송하는 경우, 데이터 처리 장치(120)는 사용자로부터 제어 신호를 수신한 것에 상응하여, 제1-2 이미지 데이터와 프로젝터(401)의 패턴 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
또는, 실시 예에서, 데이터 처리 장치(120)가 직접 대상체의 종류를 식별한 경우, 데이터 처리 장치(120)는 대상체가 금속이 아닌 경우에는 제1 스캔 모드에서 획득한 이미지 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성하고, 대상체가 금속인 경우에는 제2 스캔 모드에서 획득한 이미지 데이터 중에, 제1 카메라로 획득한 1-2 이미지 데이터를 프로젝터(401)의 패턴 데이터와 비교하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
도 7은 실시 예에 따라 스캐너(110)에 포함된 프로젝터(401)와 제2 카메라를 측면에서 바라본 도면이다.
실시 예에서, 스캐너(110)는 두 개의 카메라 중 하나의 카메라 부근에 프로젝터(401)가 배치될 수 있다. 예컨대, 도 7에 개시된 것처럼 프로젝터(401)는 제2 카메라의 상부에 배치될 수 있다. 실시 예에서, 프로젝터(401)에 포함된 구성 요소 전부 또는 프로젝터(401)에 포함된 구성 요소 중 일부, 예컨대, 프로젝터 렌즈가 제2 카메라의 상부에 배치될 수 있다.
실시 예에서, 프로젝터(401)는 RGB LED 광원과 DMD를 이용하여 생성된 적색(Red) LED, 녹색(Green) LED, 청색(Blue) LED의 패턴광을 프로젝터 렌즈를 통해 순차적으로 조사할 수 있다.
실시 예에서, 프로젝터(401)에서 출사된 패턴광은 미러(403)에 의해 전반사될 수 있다. 실시 예에서, 미러(403)에 의해 전반사되어 경로가 변경된 출사 광은 빔 스플리터(Beam Splitter, 404)로 향하고, 빔 스플리터(404)에 의해 투과 빔과 반사 빔으로 분할될 수 있다. 빔 스플리터(404)에 의해 분할된 반사 빔은 팁 방향으로 조사되어 대상체로 투사될 수 있다.
실시 예에서, 대상체로 투사된 패턴광은, 대상체에서 반사되어 개구부를 통해 팁 내부로 입사할 수 있다. 팁으로 입사된 입사 광은 빔 스플리터(404)를 투과하여 제2 카메라로 입사될 수 있다. 제2 카메라로 입사한 입사 광은 광 경로 변경부(406-2)에 의해 경로가 변경되어 이미지 센서(407-2)로 조사되고, 이미지 센서(407-2)에서 이미징 처리되어 제2 이미지 데이터가 생성될 수 있다. 이와 같이, 실시 예에 따르면, 프로젝터(401)의 패턴광과 제2 카메라로 입사되는 입사 광은 방향이 반대이면서 동일한 광 경로를 가질 수 있다. 즉, 패턴광과 입사 광이 동축으로 형성되게 된다.
실시 예에 따르면, 프로젝터(401)가 제2 카메라와 동일한 광 경로를 가지도록 배치됨으로써, 프로젝터(401)의 광 경로와 제1 카메라의 광 경로 사이의 각도가, 제2 카메라의 광 경로 및 제1 카메라의 광 경로가 형성하는 두 카메라 사이의 각도와 같아지게 된다. 따라서, 제1 카메라와 프로젝터(401)의 패턴 데이터에 기반하여 3차원 구강 모델이 형성되는 경우에도, 제1 카메라와 제2 카메라로 획득한 이미지 데이터에 기반하여 3차원 구강 모델이 형성되는 경우와 동일한 뎁쓰 해상력을 갖게 된다.
카메라에 포함된 카메라 렌즈는 렌즈 고유의 특성에 의한 렌즈 왜곡(radial distortion)을 가질 수 있다. 렌즈 왜곡에 의해, 카메라로 획득된 대상체에 대한 이미지 데이터에는 실제 대상체의 형상이 왜곡되어 표현될 수 있다. 예컨대 이미지 데이터에는 대상체 주위의 형태가 왜곡되어, 바깥쪽으로 갈수록 직선 성분이 둥글게 표현될 수 있다. 이러한 렌즈 왜곡은 화각이 커짐에 따라 커진다. 또한 광각 렌즈는 대상체와 카메라의 거리를 실제와 다르게 묘사하는 특성을 갖기 때문에 카메라 앞에 있는 물체는 실제보다 더 크게 기록하고, 카메라와 떨어져 있는 물체는 물체와의 거리를 확장시킴으로써 실제보다 더 작게 기록하여 원근감을 과장하는 특성을 갖는다.
이러한 왜곡을 수정하기 위해서는, 카메라로 획득한 이미지 데이터와 이상적인 이미지 데이터의 차이를 통해 왜곡을 해석하고, 해석된 왜곡을 보정하는 과정이 필요하다. 이 때, 카메라로 획득한 이미지 데이터와 이상적인 이미지 데이터는 동일 시점에서 획득된 것이어야 하며, 시점이 다르면 보정된 이미지가 다르기 때문에 동일한 왜곡 해석을 적용할 수 없다.
실시 예에서, 대상체가 금속인 경우, 데이터 처리 장치(120)는 제1 이미지 데이터와 프로젝터(401)의 패턴 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성하게 된다. 이 때, 프로젝터(401)의 패턴 데이터는, 프로젝터 렌즈를 통해 외부로 출사되는 패턴광과 달리 패턴광 생성에 이용되는 패턴에 상응하는 데이터이기 때문에, 제1 이미지 데이터와 달리 렌즈 왜곡을 가지고 있지 않다. 제1 이미지 데이터는 제1 카메라 렌즈에 의한 렌즈 왜곡을 갖지만, 제1 이미지 데이터와 비교 대상인 패턴 데이터는 렌즈 왜곡을 가지고 있지 않기 때문에, 제1 이미지 데이터와 패턴 데이터를 정확히 비교할 수 없게 된다.
실시 예에서, 프로젝터(401)와 제2 카메라는 동일한 광 경로를 가지도록 동축으로 형성되기 때문에, 프로젝터(401)의 패턴 데이터에 제2 카메라의 왜곡을 적용할 수 있다.
실시 예에 따르면, 프로젝터(401)의 패턴광과 제2 카메라로 입사되는 입사 광은 방향이 반대이면서 동일한 광 경로를 가지므로 프로젝터 렌즈와 제2 카메라의 렌즈가 동일 시점을 갖게 된다. 따라서, 프로젝터 렌즈와 제 2 카메라 렌즈가 동일한 사양의 렌즈인 경우, 제 2 카메라 렌즈의 왜곡을 프로젝터(401)의 패턴 데이터에 적용할 수 있게 된다.
실시 예에서, 데이터 처리 장치(120)는 제2 카메라 렌즈 왜곡을 해석하고, 제2 카메라 렌즈 왜곡을 프로젝터(401)의 패턴 데이터에 적용할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 제2 카메라로 획득한 제2 이미지 데이터에 포함된, 대상체 위에 암호화된 패턴이 프로젝터(401)의 패턴 데이터의 몇 번째 픽셀에 위치하는지를 찾아낼 수 있다. 여기서, 암호화된 패턴은, 패턴에 아이디를 부여하는 것을 의미할 수 있다. 스테레오 비전에서 물체 위의 일치점을 찾는다는 것은 같은 아이디를 가진 물체가 양쪽 카메라로 획득된 이미지 데이터에서 어느 픽셀에 있는지를 찾는 것을 의미할 수 있다.
데이터 처리 장치(120)는 제2 카메라 렌즈 왜곡이 적용된 프로젝터(401)의 패턴 데이터를 제1 이미지 데이터에 포함된 패턴과 비교할 수 있다.
따라서, 실시 예에 의하면, 프로젝터(401)와 제2 카메라를 동축에 위치시킴으로써, 제2 카메라 렌즈의 왜곡을 프로젝터(401)의 패턴 데이터에 적용하고, 왜곡이 적용된 프로젝터(401)의 패턴 데이터를 제1 이미지 데이터의 패턴과 비교함으로써 보다 정확한 3차원 구강 모델을 생성할 수 있다.
도 8은 실시 예에 따른 스캐너(110)의 구성 요소들 중 일부를 도시한다.
도 8에 도시된 스캐너(110)는 도 4에 도시된 스캐너(110)의 일 예일 수 있다. 이하, 도 4에서 설명한 내용과 중복되는 설명은 생략한다.
도 8에 도시된 스캐너(110)는 도 4에 도시된 스캐너(110)와 달리, NUV 광원(801)을 더 포함할 수 있다.
실시 예에서, NUV 광원(801)은 근자외선(near ultraviolet, NUV)을 방출하는 광원일 수 있다. 근자외선은 자외선 가운데 가시광선에 가까운 부분으로 자외선 중 파장이 광선에 가까운 부분을 나타낸다. 예컨대, 본 개시에서, NUV 광원(801)에 의해 방출되는 근자외선은 370 nm ~ 430 nm의 파장을 가질 수 있다.
실시 예에서, 스캐너(110)는 프로젝터(401)에 포함된 NUV 광원을 이용하여 근자외선을 대상체에 투사할 수 있다. 실시 예에서, 스캐너(110)는 근자외선을 대상체에 투사한 것에 상응하여, 제1 카메라 및 제2 카메라가 획득한, 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 수신할 수 있다.
충치균은 육안으로는 식별이 안되지만, 특정 파장의 빛을 비추면 형광 반응을 통해 육안으로 붉게 보이게 된다.
실시 예에서, 파장 370 nm ~ 430 nm인 근자외선을 우식(충치, dental caries)이 있는 치아에 조사하면 충치균(우식균)과 빛이 형광 반응을 하여 파장 620 nm ~ 640 nm인 빛을 발산한다. 빨강은 스펙트럼의 파장이 630~700nm에 달하는 위치의 색이다.
따라서, 대상체에 근자외선을 조사하고 컬러 센서를 포함하는 컬러 카메라로 대상체에 대한 이미지 데이터를 획득하면, 이미지 데이터에 충치균이 빨간 색으로 표시되게 된다.
실시 예에서, 스캐너(110)에 포함된 제1 카메라 및 제2 카메라 중 적어도 하나는 컬러 센서를 포함하는 컬러 카메라일 수 있다. 컬러 카메라는 물체가 방사 또는 발산하는 빛의 파장을 감지하여 색을 구별할 수 있다.
예컨대, 제2 카메라가 컬러 센서를 포함하는 컬러 카메라인 경우, 제2 카메라에 의해 획득된, 근자외선이 투사된 대상체에 대한 이미지 데이터는 대상체가 방사하는 빛의 파장에 따라 붉은 색으로 표현될 수 있다.
이에, 치과의 등의 사용자는 충치균이 표시된 이미지 데이터를 이용하여 우식 정도, 세균의 활성도 등을 평가해서 대상체가 치료가 필요한지 여부 등을 평가할 수 있다.
또는, 실시 예에서, 제1 카메라 및 제2 카메라는 모두 흑백 카메라일 수 있다. 전술한 바와 같이, 흑백 카메라는 컬러 카메라보다 해상도가 높은 이미지 데이터를 획득할 수 있기 때문에, 흑백 카메라에 의해 획득된 이미지 데이터를 이용할 경우, 보다 정확한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 스캐너(110)가 NUV 광원(801)을 포함하고, 제1 카메라와 제2 카메라가 모두 흑백 카메라인 경우, 제1 카메라 및 제2 카메라 중 하나는 컬러 필터를 구비할 수 있다. 실시 예에서, 컬러 필터는 빨간색의 파장 대역을 통과시키는 컬러 필터일 수 있다. 예컨대, 제2 카메라가 컬러 필터가 구비된 흑백 카메라인 경우, 제2 카메라에 의해 획득된 이미지 데이터에는 우식균에 의해 형광 반응한 부분만이 표시되게 된다.
스캐너(110)가 근자외선을 방출하고, 근자외선이 조사된 대상체에 대한 이미지를 획득하는 모드를, 캐리즈 모드(Caries mode)라고 호칭하기로 한다.
실시 예에서, 스캐너(110)는 스캔 동작을 수행하는 스캔 모드와 별개로 캐리즈 모드로 동작할 수 있다. 실시 예에서, 스캐너(110)는 사용자 및/또는 데이터 처리 장치로부터 캐리즈 모드로 동작하라는 제어 신호를 수신할 수 있다. 예컨대, 스캐너(110)가 스캔 모드로 동작하지 않는 중에, 사용자 및/또는 데이터 처리 장치는 캐리즈 모드로 동작하라는 제어 신호를 스캐너(110)로 전송할 수 있다.
실시 예에서, 스캐너(110)는 캐리즈 모드로 동작하라는 제어 신호를 수신하면, NUV 광원(801)을 이용하여 대상체에 근자외선을 방출하고, 제1 카메라 및 제2 카메라 중 적어도 하나를 이용하여 근자외선이 조사된 대상체에 대한 이미지 데이터를 획득할 수 있다. 실시 예에서, 스캐너(110)는 제1 카메라 및 제2 카메라 중, 컬러 센서를 포함하는 컬러 카메라 또는 컬러 필터가 구비된 흑백 카메라를 이용하여 충치균 식별이 가능한 이미지 데이터를 획득할 수 있다. 또는 스캐너(110)는 제1 카메라 및 제2 카메라를 이용하여 근자외선이 조사된 대상체에 대한 이미지 데이터를 생성하고 이를 데이터 처리 장치(120)로 전송하면, 데이터 처리 장치(120)가 제1 카메라 및 제2 카메라 중 컬러 카메라 또는 컬러 필터가 구비된 흑백 카메라로 획득한 이미지 데이터만을 이용하여 근자외선이 조사된 대상체에 대한 이미지 데이터를 획득할 수 있다.
실시 예에서, 스캐너(110)는 스캔 모드로 동작하면서, 동시에 캐리즈 모드로 동작할 수도 있다. 즉, 사용자는 스캐너(110)로 대상체를 스캔하면서 동시에 대상체에 충치균이 있는지 여부를 함께 검사할 수 있다. 예컨대, 사용자 및/또는 데이터 처리 장치는 스캐너(110)가 스캔 모드로 동작하면서 동시에 캐리즈 모드로도 동작하라는 제어 신호를 스캐너(110)로 전송할 수 있다.
실시 예에서, 스캐너(110)는 스캔 모드와 캐리즈 모드로 동시에 동작하라는 제어 신호를 수신하면, 프로젝터(401)를 이용하여 적색(Red) LED, 녹색(Green) LED, 청색(Blue) LED, 근자외선을 순차적으로 조사할 수 있다.
또는, 실시 예에서, 스캐너(110)는 적색(Red) LED, 녹색(Green) LED, 청색(Blue) LED 대신 화이트 광원을 이용할 수도 있다. 화이트 광원을 이용할 경우, 별도로 적색(Red) LED, 녹색(Green) LED, 청색(Blue) LED를 이용하지 않아도, 대상체에 대한 색상 정보가 획득될 수 있다. 이 경우, 스캐너(110)는 프로젝터(401)를 이용하여 화이트 광원과 NUV 광원(801)을 이용하여 순차적으로 화이트 광과 근자외선을 조사할 수 있다.
실시 예에서, 스캐너(110)는 제1 스캔 모드로 동작하면서 동시에 캐리즈 모드로 동작할 수 있다. 실시 예에서, 스캐너(110)는 제1 카메라 및 제2 카메라를 이용하여 패턴광이 투사된 대상체에 대해 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다. 또한, 스캐너(110)는 제1 카메라 및 제2 카메라 중 적어도 하나를 이용하여 근자외선이 조사된 대상체에 대해 제1 이미지 데이터 및 제2 이미지 데이터 중 적어도 하나를 획득할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 스캐너(110)로부터 수신한 제1 이미지 데이터 및 제2 이미지 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다. 여기서, 데이터 처리 장치(120)에 의해 생성된 3차원 구강 모델은 우식균에 의해 형광 반응한 부분이 표시된 모델일 수 있다.
실시 예에서, 스캐너(110)는 제2 스캔 모드로 동작하면서 동시에 캐리즈 모드로 동작할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 스캐너(110)가 제2 스캔 모드일 때 제2 휘도에서 획득한 이미지 데이터 및 패턴 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 대상체에 대한 3차원 구강 모델을 생성하면서, 근자외선이 조사된 대상체에 대해 획득한 제1 이미지 데이터 및 제2 이미지 데이터 중 적어도 하나를 함께 이용함으로써, 우식균이 표시된 금속에 대한 3차원 구강 모델을 생성할 수 있다.
이와 같이, 실시 예에 따르면 스캐너(110)는 스캔 모드와 별개로 캐리즈 모드로 동작할 수 있다.
또는, 실시 예에 따르면 스캐너(110)는 스캔 모드와 캐리즈 모드로 동시에 동작할 수 있다. 데이터 처리 장치(120)는 패턴광이 투사된 대상체에 대한 제1 이미지 데이터 및 제2 이미지 데이터를 이용하거나 또는 제1 이미지 데이터와 패턴 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성하면서, 동시에, 근자외선이 조사된 대상체에 대해 획득된 이미지 데이터도 함께 이용하여, 충치균 식별이 가능한 3차원 구강 모델을 생성할 수 있다.
도 9는 도 8의 스캐너(110)로 획득한 이미지 데이터를 도시한다.
도 9를 참조하면, 스캐너(110)는 도 8의 스캐너(110)를 이용하여 대상체에 근자외선을 방사할 수 있다. 스캐너(110)에 포함된 제1 카메라 및 제2 카메라는 근자외선이 조사된 대상체에 대한 이미지 데이터를 획득할 수 있다.
도면 부호 910은 대상체에 우식균, 즉, 충치균이 없을 때 획득되는 이미지 데이터를 도시한다.
도면 부호 920은 대상체에 충치균이 있을 때 획득되는 이미지를 도시한다. 충치균이 있는 부분은 근자외선과 만나 형광 반응을 하여 소정 파장 대역의 빛을 방사하므로, 도면 부호 920에 도시된 바와 같이, 충치균이 없는 부분과는 다르게 표현된다.
도 10은 실시 예에 따라, 스캐너(110)와 데이터 처리 장치(120)가 정보를 송수신하는 것을 나타내는 도면이다.
실시 예에서, 데이터 처리 장치(120)는 스캐너(110)로 제어 신호를 전송할 수 있다. 데이터 처리 장치(120)는 스캐너(110)에 구비된 프로젝터(401)나 데이터 획득부의 동작 등을 제어하는 제어 신호를 스캐너(110)로 전송하여 스캐너(110)를 제어할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 대상체가 금속인 경우 스캐너(110)로 제2 카메라를 오프하라는 제어 신호를 전송할 수 있다.
실시 예에서, 데이터 처리 장치(120는 스캐너(110)로 스캔 모드로 동작하라는 제어 신호를 전송하거나, 캐리즈 모드로 동작하라는 제어 신호를 전송할 수 있다. 또는, 실시 예에서, 데이터 처리 장치(120)는 스캐너(110)로 스캔 모드로 동작하면서 동시에 캐리즈 모드를 수행하라는 제어 신호를 전송할 수도 있다.
스캐너(110)는 데이터 처리 장치(120)로 스캔 데이터를 전송할 수 있다. 실시 예에서, 스캔 데이터는 대상체에 대한 제1 이미지 데이터와 함께, 제2 이미지 데이터 및 프로젝터(401)가 투사하는 패턴광 중 적어도 하나를 포함할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 스캐너(110)로부터 제1 이미지 데이터와 함께, 프로젝터(401)의 패턴 데이터 및 제2 이미지 데이터 중 적어도 하나를 수신하고, 스캐너(110)로부터 수신한 스캔 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 제1 이미지 데이터 및 제2 이미지 데이터로부터 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 사용자 제어 신호를 수신하거나, 또는 대상체가 금속이라는 것을 식별하거나, 또는 제1 이미지 데이터 및 제2 이미지 데이터로부터 대상체에 대한 3차원 구강 모델을 획득할 수 없는 경우, 제1 이미지 데이터에 포함된 패턴과 프로젝터(401)의 패턴 데이터를 비교하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 스캐너(110)로부터 수신된 이미지 데이터나 패턴 데이터를 이용하여 3차원 구강 모델(1020)을 생성하고 이를 디스플레이(1010)를 통해 출력할 수 있다.
도 11은 실시 예에 따른 데이터 처리 시스템을 블록도로 도시한 도면이다.
실시 예에서, 데이터 처리 시스템은 스캐너(110), 데이터 처리 장치(120) 및 통신 네트워크(130)를 포함할 수 있다. 도 11의 스캐너(110)는 도 1, 도 2, 도 4 내지 도 10에서 설명한 스캐너(110)의 일 예일 수 있다.
스캐너(110)는 대상체를 스캔하여 로우 데이터를 획득할 수 있다. 대상체는 예컨대, 환자의 구강이나 치아 캐스트 모델 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 스캐너(110)는 획득한 로우 데이터를 통신 네트워크(130)를 통해 데이터 처리 장치(120)로 전송하거나 또는 로우 데이터를 처리하여 3차원 가상 모델을 생성하고 이를 데이터 처리 장치(120)로 전송할 수 있다.
스캐너(110)는 프로세서(111), 메모리(112), 통신부(113), 광학부(114), 사용자 입력부(115) 및 전원부(116)를 포함할 수 있다.
메모리(112)는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리(112)는 프로세서(111)가 실행하는 적어도 하나의 인스트럭션을 저장하고 있을 수 있다. 또한, 메모리(112)는 프로세서(111)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다.
통신부(113)은 데이터 처리 장치(120)와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다.
실시 예에서, 통신부(113)은 데이터 처리 장치(120)와 제어 신호를 송수신할 수 있다. 또한, 통신부(113)은 데이터 처리 장치(120)로, 스캐너(110)의 동작 상태 등에 대한 정보를 전송할 수 있다. 또한, 통신부(113)은 광학부(114)가 획득한 로우 데이터를 데이터 처리 장치(120)로 전송할 수 있다.
통신부(113)은 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 근거리 통신 모듈, 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버와 통신을 수행하는 원거리 통신 모듈, 유선으로 통신하기 위해서, 외부 전자 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다.
광학부(114)는 광을 투사하는 광 조사부와 대상체로부터 반사된 광을 수용하는 적어도 하나 이상의 카메라를 포함할 수 있다. 광 조사부는 광원으로부터의 광을 투사하는 프로젝터(401)를 포함할 수 있다.
광학부(114)는 프로젝터(401)를 이용하여 패턴광이나 구조 광 등을 투영할 수 있다. 광학부(114)는 광원으로 광을 조사하고, DMD에 포함된 미세한 미러들 각각을 제어해서 패턴을 형성할 수 있다. 광학부(114)는 DMD에 포함된 미러들을 온 또는 오프로 제어하여 광을 조사할 수 있다. 광학부(114)는 대상체에 패턴광을 조사하고, 패턴광이 조사된 대상체를 스캔함으로써, 대상체의 형상을 나타내는 3차원 데이터를 획득할 수 있다.
실시 예에서, 광학부(114)에는 대칭적으로 이격된 제1 카메라 및 제2 카메라가 포함될 수 있다. 제1 카메라 및 제2 카메라는 패턴광이 투사된 대상체에 대해 다른 시점(point of view)을 갖는 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다.
실시 예에서, 프로젝터(401)는 제2 카메라의 상부나 하부, 또는 일 측면에 형성되어, 대상체로 투사되는 패턴광의 광 경로가 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치되도록 할 수 있다.
실시 예에서, 광학부(114)는 NUV(near ultraviolet) 광원을 포함하여, NUV 광원을 이용하여 대상체에 근자외선을 투사할 수 있다.
실시 예에서, 제1 카메라 및 제2 카메라 중 적어도 하나는, 컬러 센서를 포함하는 컬러 카메라이거나, 또는 컬러 필터가 구비된 흑백 카메라일 수 있다.
실시 예에서, 프로젝터(401)가 NUV 광원을 이용하여 대상체에 근자외선을 투사한 것에 상응하여, 제1 카메라 및 제2 카메라는 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 획득할 수 있다.
이 경우, 통신부(113)는 근자외선이 대상체에서 반사된 광에 대한 제1 이미지 데이터 및 제2 이미지 데이터를 데이터 처리 장치(120)로 전송할 수 있다.
실시 예에서, 스캐너(110)는 제1 스캔 모드 및 제2 스캔 모드로 교대로 동작할 수 있다. 스캐너(110)가 제1 스캔 모드로 동작할 때, 제1 카메라 및 제2 카메라는 제1 휘도에서 2차원 이미지 데이터를 획득할 수 있다. 또한, 스캐너(110)가 제2 스캔 모드로 동작할 때, 제1 카메라 및 제2 카메라는 제2 휘도에서 2차원 이미지 데이터를 획득할 수 있다.
실시 예에서, 프로젝터(401)는 제1 스캔 모드와 제2 스캔 모드에서 서로 다른 휘도로 광원을 투사할 수 있다. 또는, 실시 예에서, 제1 카메라 및 제2 카메라는 제1 스캔 모드와 제2 스캔 모드에서 노출 시간을 조절하여 서로 다른 밝기를 갖는 이미지 데이터를 획득할 수도 있다.
사용자 입력부(115)는 스캐너(110)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(115)는 사용자 인터페이스로도 호칭될 수 있다.
사용자 입력부(115)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 마이크로폰을 포함하는 음성 인식 장치 등을 포함할 수 있다. 또는 사용자 입력부(115)는 사용자의 회전 조작을 수신하는 휠이나 돔 스위치 (dome switch), 및 모션 인식이 가능한 센서(미도시) 중 적어도 하나를 더 포함할 수 있다.
실시 예에서, 사용자는 사용자 입력부(115)를 이용하여, 스캐너가 스캔 모드로 동작하도록 제어하거나 또는 캐리즈 모드로 동작하라는 제어 신호를 입력할 수 있다.
실시 예에서, 사용자는 사용자 입력부(115)를 이용하여, 대상체가 금속인 경우, 제2 카메라가 동작하지 않도록 하는 제어 신호를 입력할 수 있다.
전원부(116)는 전원을 공급받아 이를 스캐너(110)의 각 구성 요소로 제공할 수 있다.
프로세서(111)는 스캐너(110) 전반을 제어할 수 있다. 프로세서(111)는 의도하는 동작이 수행되도록 스캐너(110) 내부에 포함된 적어도 하나의 구성 요소들을 제어할 수 있다. 따라서, 프로세서(111)가 소정 동작들을 수행하는 경우를 예로 들어 설명하더라도, 프로세서(111)가 소정 동작들이 수행되도록 스캐너(110) 내부에 포함하는 적어도 하나의 구성들을 제어하는 것을 의미할 수 있다. 프로세서(111)는 광학부(214)를 제어하여 대상체에 대한 3차원 데이터를 획득하도록 할 수 있다.
실시 예에서, 프로세서(111)는 데이터 처리 장치(120)로부터의 제2 카메라의 동작에 대한 제어 신호를 수신하고, 그에 따라 제2 카메라의 온(on), 오프(off)를 제어할 수 있다.
실시 예에서, 프로세서(111)는 스캐너의 스캔 모드에 기반하여, 스캐너가 제2 스캔 모드로 동작하는 경우에는 제2 카메라가 동작하지 않도록 하여 제2 이미지 데이터가 획득되지 않도록 할 수 있다.
이하, 데이터 처리 장치(120)를 설명한다. 데이터 처리 장치(120)는 구강 이미지 처리 장치로도 호칭될 수 있다.
데이터 처리 장치(120)는 프로세서(121), 메모리(122), 사용자 입력부(123), 통신부(124), 디스플레이(125) 및 영상 처리부(126)를 포함할 수 있다.
사용자 입력부(123)는 데이터 처리 장치(120)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(123)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자 입력부 화면 상의 일 지점을 지정 또는 선택하기 위한 마우스(mouse) 또는 키보드(key board) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으며, 음성 인식을 위한 음성 인식 장치나 모션 인식을 위한 모션 센서 등을 포함할 수도 있다.
통신부(124)은 적어도 하나의 외부 전자 장치와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 통신부(124)은 프로세서(121)의 제어에 따라서 스캐너(110)와 통신을 수행할 수 있다.
구체적으로, 통신부(124)은 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 근거리 통신 모듈을 포함할 수 있다. 또한, 통신부(124)은 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버와 통신을 수행하는 원거리 통신 모듈을 더 포함할 수 있다.
또한, 통신부(124)은 외부 전자 장치, 예를 들어, 스캐너(110) 등과 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다.
실시 예에서, 통신부(124)은 스캐너(110)로 제어 신호를 전송할 수 있다. 스캐너(110)로 전송하는 제어 신호는 스캐너(110)의 전원 온 명령이나 전원 오프 명령, 스캐너(110)가 스캔 모드로 진입하라는 명령이나 제2 카메라의 동작을 오프하라는 명령 중 적어도 하나를 포함할 수 있다.
디스플레이(125)는 프로세서(121)의 제어에 따라서 소정 화면을 디스플레이 할 수 있다. 디스플레이(125)는 사용자 입력을 위한 사용자 인터페이스 화면을 출력할 수 있다. 디스플레이(125)는 스캐너(110)에서 환자의 구강이나 구강에 대한 석고 모형을 스캔하여 획득한 데이터에 근거하여 생성된 구강 이미지를 포함하는 화면을 디스플레이 할 수 있다. 또한, 디스플레이(125)는 스캐너(110)로부터 수신한 2차원 이미지 데이터로부터 생성된 3차원 구강 모델을 출력할 수 있다.
영상 처리부(126)는 이미지의 생성 및/또는 처리를 위한 동작들을 수행할 수 있다. 구체적으로, 영상 처리부(126)는 스캐너(110)로부터 획득된 로우 데이터를 수신하고, 수신된 데이터에 근거하여 3차원 가상 모델을 생성할 수 있다.
메모리(122)는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리(122)는 프로세서가 실행하는 적어도 하나의 인스트럭션을 저장하고 있을 수 있다. 또한, 메모리는 프로세서(121)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한, 메모리(122)는 스캐너(110)로부터 수신되는 데이터(예를 들어, 구강 스캔을 통하여 획득된 로우 데이터 등)를 저장할 수 있다. 또는, 메모리는 구강을 3차원적으로 나타내는 구강 이미지를 저장할 수 있다. 일 실시 예에 따라 메모리(122)는 2차원 이미지 데이터로부터 3차원 구강 모델을 획득하기 위한 하나 이상의 인스트럭션을 포함할 수 있다.
프로세서(121)는 메모리(122)에 저장된 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 제어한다. 여기서, 적어도 하나의 인스트럭션은 프로세서(121)내에 포함되는 내부 메모리 또는 프로세서(121)와 별도로 데이터 처리 장치 내에 포함되는 메모리(122)에 저장되어 있을 수 있다.
실시 예에서, 프로세서(121)는 메모리(122)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 스캐너(110)로 제어 신호를 전송하여, 스캐너(110)가 제어 신호에 따라 제어되도록 할 수 있다.
실시 예에서, 프로세서(121)는 스캐너(110)로부터 수신한 제1 이미지 데이터와 제2 이미지 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 프로세서(121)는 사용자 제어 신호, 대상체가 금속이라는 식별 신호, 제1 이미지 데이터 및 제2 이미지 데이터로부터 대상체에 대한 3차원 구강 모델이 획득되지 못하는 것, 중 적어도 하나에 기반하여, 제1 이미지 데이터와 패턴광을 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 프로세서(121)는 제1 이미지 데이터에 포함된 패턴과 패턴광의 패턴 간 일치점을 찾아 뎁쓰 정보를 획득함으로써, 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 프로세서(121)는 제2 카메라와 프로젝터(401)가 동축인 것을 이용하여 제2 카메라의 왜곡을 해석하고, 이를 프로젝터(401)의 패턴 데이터에 적용할 수 있다. 실시 예에서, 프로세서(121)는 제2 카메라의 왜곡이 적용된 패턴 데이터를 제1 이미지 데이터에 포함된 패턴과 비교하여, 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 프로세서(121)는 통신부(124)를 통해, 스캐너(110)로부터, 스캐너(110)가 제1 스캔 모드일 때 제1 휘도에서 획득한 이미지 데이터, 및 스캐너(110)가 제2 스캔 모드일 때 제2 휘도에서 획득한 이미지 데이터를 수신한 경우, 제2 휘도에서 제1 카메라에 의해 획득된 제1 이미지 데이터와 프로젝터(401)의 패턴 데이터를 이용하여, 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
실시 예에서, 프로젝터(401)가 NUV 광원으로 근자외선을 투사하는 것에 상응하여, 통신부(124)가 스캐너(110)로부터 제1 카메라 및 제2 카메라로 획득한, 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 수신한 경우, 프로세서(121)는 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터로부터 소정 파장 대역의 영역이 식별된 3차원 구강 모델을 생성할 수 있다.
실시 예에 따라서, 프로세서(121)가 '추출', '획득', '생성' 등의 동작을 수행한다는 것은, 프로세서(121)에서 적어도 하나의 인스트럭션을 실행하여 전술한 동작들을 직접 수행하는 경우뿐만 아니라, 전술한 동작들이 수행되도록 다른 구성 요소들을 제어하는 것을 포함할 수 있다.
본 개시서에 개시된 실시예들을 구현하기 위해서 스캐너(110) 및 데이터 처리 장치(120)는 도 11에 도시된 구성요소들의 일부만을 포함할 수도 있고, 도 11에 도시된 구성요소 외에 더 많은 구성요소를 포함할 수도 있다.
또한, 데이터 처리 장치(120)는 스캐너(110)에 연동되는 전용 소프트웨어를 저장 및 실행할 수 있다. 여기서, 전용 소프트웨어는 전용 프로그램, 전용 툴(tool), 또는 전용 어플리케이션으로 호칭될 수 있다. 데이터 처리 장치(120)가 스캐너(110)와 상호 연동되어 동작하는 경우, 데이터 처리 장치(120)에 저장되는 전용 소프트웨어는 스캐너(110)와 연결되어 구강 스캔을 통하여 획득되는 데이터들을 실시간을 수신할 수 있다.
또한, 전용 소프트웨어는 제어 신호를 스캐너(110)와 송수신하고, 또한, 구강 이미지를 획득, 처리, 저장, 및/또는 전송하기 위한 적어도 하나의 동작들을 수행할 수 있다. 여기서, 전용 소프트웨어는 프로세서에 저장될 수 있다.
도 12는 실시 예에 따른 데이터 처리 방법을 도시한 순서도이다.
도 12를 참조하면, 실시 예에서, 스캐너(110)는 대상체에 패턴광을 투사할 수 있다(단계 1210). 실시 예에서, 스캐너(110)는 프로젝터(401)가 생성하려는 패턴에 상응하는 패턴 데이터에 기반하여 패턴광을 생성하고 이를 대상체에 투사할 수 있다.
실시 예에서, 스캐너(110)는 패턴광이 투사된 대상체에 대한 제1 이미지 데이터를 획득할 수 있다(단계 1220).
실시 예에서, 스캐너(110)는 이격된 제1 카메라 및 제2 카메라를 포함하고, 두 카메라 중 하나의 카메라, 에컨대, 제2 카메라 상부 또는 하부에 프로젝터(401)가 위치할 수 있다. 제1 카메라 및 제2 카메라는 패턴광이 투사된 대상체에 대해 다른 시점(point of view)을 갖는 이미지 데이터를 획득할 수 있다.
실시 예에서, 대상체로 투사되는 패턴광의 광 경로는 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치할 수 있다.
실시 예에서, 스캐너(110)는 패턴 데이터와 대상체에 대한 제1 이미지 데이터를 데이터 처리 장치(120)로 전송할 수 있다.
실시 예에서, 데이터 처리 장치(120)는 스캐너(110)로부터 수신한 패턴 데이터와 제1 이미지 데이터를 이용하여, 대상체에 대한 3차원 구강 모델을 생성할 수 있다(단계 1230).
실시 예에서, 데이터 처리 장치(120)는 대상체가 금속인 경우, 패턴 데이터와 대상체에 대한 제1 이미지 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다. 실시 예에서, 데이터 처리 장치(120)는 제1 이미지 데이터에 포함된 패턴과 패턴 데이터에 상응하는 패턴 간 일치점을 찾아 뎁쓰 정보를 획득함으로써, 대상체에 대한 3차원 구강 모델을 생성할 수 있다.
도 13은 실시 예에 따른 데이터 처리 방법을 도시한 순서도이다.
도 13을 참조하면, 실시 예에서, 스캐너(110)는 대상체에 패턴광을 투사할 수 있다(단계 1310).
실시 예에서, 스캐너(110)는 패턴광이 투사된 대상체에 대한 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다(단계 1320).
실시 예에서, 스캐너(110)는 대상체에 대한 제1 이미지 데이터와 함께, 패턴 데이터 및 제2 이미지 데이터 중 적어도 하나를 데이터 처리 장치(120)로 전송할 수 있다. 예컨대, 실시 예에서, 스캐너(110)는 패턴 데이터, 대상체에 대한 제1 이미지 데이터 및 제2 이미지 데이터를 데이터 처리 장치(120)로 전송할 수 있다(단계 1330).
실시 예에서, 데이터 처리 장치(120)는 스캐너(110)로부터 수신한 제1 이미지 데이터 및 제2 이미지 데이터를 이용하여, 대상체에 대한 3차원 구강 모델을 획득할 수 있는지 여부를 식별할 수 있다(단계 1340).
실시 예에서, 데이터 처리 장치(120)는 제1 이미지 데이터 및 제2 이미지 데이터를 이용하여, 대상체에 대한 3차원 구강 모델을 획득할 수 있는 경우에는, 제1 이미지 데이터 및 제2 이미지 데이터를 이용하여, 대상체에 대한 3차원 구강 모델을 생성할 수 있다(단계 1350).
실시 예에서, 데이터 처리 장치(120)는 제1 이미지 데이터 및 제2 이미지 데이터를 이용하여, 대상체에 대한 3차원 구강 모델을 획득하지 못하는 경우, 패턴 데이터와 제1 이미지 데이터를 이용하여 대상체에 대한 3차원 구강 모델을 생성할 수 있다(단계 1360).
본 개시의 일 실시 예에 따른 데이터 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시 예는, 데이터 처리 방법을 실행하는 적어도 하나의 인스트럭션을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 될 수 있다.
또한, 전술한 본 개시의 실시 예에 따른 데이터 처리 방법은 스캐너에 포함된 프로젝터를 이용하여 패턴 데이터에 기반하여 생성된 패턴광을 출사하는 단계, 상기 스캐너에 포함된 제1 카메라를 이용하여 상기 패턴광이 투사된 대상체에 대한 제1 이미지 데이터를 획득하는 단계 및 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴을 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계를 포함하고, 상기 대상체로 투사되는 패턴광의 광 경로는 상기 스캐너에 포함된 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치하는, 데이터 처리 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.
상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 데이터 처리 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또는, 어플리케이션 스토어(예: 플레이 스토어 등)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 구체적으로, 개시된 실시 예에 따른 컴퓨터 프로그램 제품은 개시된 실시 예에 따른 데이터 처리 방법을 수행하기 위해 적어도 하나의 인스트럭션을 포함하는 프로그램이 기록된 저장 매체를 포함할 수 있다.
이상에서 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (16)

  1. 스캐너에 있어서,
    데이터 처리 장치와 정보를 송수신하는 통신부;
    패턴 데이터에 기반하여 생성된 패턴광을 출사하는 프로젝터; 및
    대상체에 대한 2차원 이미지 데이터를 획득하는 데이터 획득부를 포함하고,
    상기 데이터 획득부는 이격된 제1 카메라 및 제2 카메라를 포함하고,
    상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 상기 패턴광이 투사된 대상체에 대한 이미지 데이터를 획득하고, 여기서, 상기 제1 카메라는 제1 이미지 데이터를 획득하고, 상기 제2 카메라는 제2 이미지 데이터를 획득함,
    상기 대상체로 투사되는 패턴광의 광 경로는 상기 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치하고,
    상기 통신부는 상기 제1 이미지 데이터와 함께, 상기 제2 이미지 데이터 및 상기 패턴 데이터 중 적어도 하나를 상기 데이터 처리 장치로 전송하는, 스캐너.
  2. 제1 항에 있어서, 상기 스캐너는 스캔 동작 시, 교대로 제1 스캔 모드 및 제2 스캔 모드로 동작하고,
    상기 데이터 획득부는
    상기 스캐너가 상기 제1 스캔 모드로 동작할 때, 제1 휘도에서 2차원 이미지 데이터를 획득하고,
    상기 스캐너가 상기 제2 스캔 모드로 동작할 때, 제2 휘도에서 2차원 이미지 데이터를 획득하고,
    상기 제2 휘도는 상기 제1 휘도보다 낮은, 스캐너.
  3. 제1 항에 있어서, 프로세서를 더 포함하고,
    상기 프로세서는 상기 데이터 처리 장치로부터의 제어 신호 및 상기 스캐너의 스캔 모드 중 적어도 하나에 기반하여, 상기 제2 카메라의 온(on) 및/또는 오프(off)를 제어하는, 스캐너.
  4. 제1 항에 있어서, 상기 프로젝터는 NUV(near ultraviolet) 광원을 포함하고,
    상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는, 컬러 센서를 포함하는 컬러 카메라이거나, 또는 컬러 필터가 구비된 흑백 카메라이고,
    상기 프로젝터가 상기 NUV 광원을 이용하여 대상체에 근자외선을 투사한 것에 상응하여, 상기 제1 카메라 및 상기 제2 카메라는 상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 획득하고,
    상기 통신부는 상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 상기 데이터 처리 장치로 전송하는, 스캐너.
  5. 데이터 처리 장치에 있어서,
    프로젝터, 제1 카메라, 및 제2 카메라를 포함하는 스캐너와 정보를 송수신하는 통신부; 및
    적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는
    상기 통신부를 통해 상기 스캐너로부터, 상기 제1 카메라로 획득된 제1 이미지 데이터와 함께, 상기 제2 카메라로 획득된 제2 이미지 데이터 및 상기 프로젝터의 패턴 데이터 중 적어도 하나를 수신하고,
    상기 패턴 데이터에 기반하여 생성되고 상기 대상체로 투사되는 패턴광의 광 경로는 상기 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치하고,
    상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴을 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성하는, 데이터 처리 장치.
  6. 제5 항에 있어서, 상기 프로세서는 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴 간 일치점을 찾아 뎁쓰 정보를 획득함으로써, 상기 대상체에 대한 3차원 구강 모델을 생성하는, 데이터 처리 장치.
  7. 제5 항에 있어서, 상기 프로세서는
    사용자 제어 신호, 상기 대상체가 금속이라는 식별 신호, 및 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터로부터 대상체에 대한 3차원 구강 모델이 획득되지 못하는 것, 중 적어도 하나에 기반하여, 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴을 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성하는, 데이터 처리 장치.
  8. 제5 항에 있어서, 상기 프로세서는 상기 통신부를 통해, 상기 스캐너로부터, 상기 스캐너가 제1 스캔 모드일 때 제1 휘도에서 획득한 이미지 데이터, 및 상기 스캐너가 제2 스캔 모드일 때 제2 휘도에서 획득한 이미지 데이터를 수신하고, 상기 제2 휘도는 상기 제1 휘도보다 낮고,
    상기 제2 휘도에서 획득한 이미지 데이터 중에 상기 제1 카메라에 의해 획득한 이미지 데이터를 상기 제1 이미지 데이터로 이용하여, 상기 3차원 구강 모델을 생성하는, 데이터 처리 장치.
  9. 제5 항에 있어서, 상기 프로세서는 제2 카메라 렌즈 왜곡을 상기 패턴 데이터에 적용하고,
    상기 제2 카메라 렌즈 왜곡이 적용된 패턴 데이터에 상응하는 패턴을 상기 제1 이미지 데이터에 포함된 패턴과 비교하여, 상기 대상체에 대한 3차원 구강 모델을 생성하는, 데이터 처리 장치.
  10. 제5 항에 있어서, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 컬러 센서를 포함하는 컬러 카메라이거나, 또는 컬러 필터가 구비된 흑백 카메라이고,
    상기 통신부는 상기 스캐너로부터, 상기 프로젝터가 NUV 광원으로 근자외선을 투사하는 것에 상응하여 상기 제1 카메라 및 상기 제2 카메라가 획득한, 상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 수신하고,
    상기 프로세서는 상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터로부터 소정 파장 대역의 영역이 식별된 3차원 구강 모델을 생성하는, 데이터 처리 장치.
  11. 데이터 처리 방법에 있어서,
    스캐너에 포함된 프로젝터를 이용하여 패턴 데이터에 기반하여 생성된 패턴광을 출사하는 단계;
    상기 스캐너에 포함된 제1 카메라를 이용하여 상기 패턴광이 투사된 대상체에 대한 제1 이미지 데이터를 획득하는 단계; 및
    상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴을 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계를 포함하고,
    상기 대상체로 투사되는 패턴광의 광 경로는 상기 스캐너에 포함된 제2 카메라로 입사되는 입사 광의 광 경로와 반대 방향으로 일치하는, 데이터 처리 방법.
  12. 제11 항에 있어서, 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계는 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴 간 일치점을 찾아 뎁쓰 정보를 획득함으로써, 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계를 포함하는, 데이터 처리 방법.
  13. 제11 항에 있어서, 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계는
    사용자 제어 신호, 대상체가 금속이라는 식별 신호, 및 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터로부터 대상체에 대한 3차원 구강 모델이 획득되지 못하는 것, 중 적어도 하나에 기반하여, 상기 제1 이미지 데이터에 포함된 패턴과 상기 패턴 데이터에 상응하는 패턴을 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계를 포함하는, 데이터 처리 방법.
  14. 제11 항에 있어서, 상기 제1 이미지 데이터 및 제2 이미지 데이터를 획득하는 단계는
    상기 스캐너가 제1 스캔 모드일 때 제1 휘도에서 이미지 데이터를 획득하는 단계; 및
    상기 스캐너가 제2 스캔 모드일 때 제2 휘도에서 이미지 데이터를 획득하는 단계를 포함하고, 상기 제2 휘도는 상기 제1 휘도보다 낮음,
    상기 대상체에 대한 3차원 구강 모델을 생성하는 단계는 상기 제2 휘도에서 획득한 이미지 데이터 중에 상기 제1 카메라에 의해 획득한 이미지 데이터를 상기 제1 이미지 데이터로 이용하여, 상기 3차원 구강 모델을 생성하는 단계를 포함하는, 데이터 처리 방법.
  15. 제11 항에 있어서, 제2 카메라 렌즈 왜곡을 상기 패턴 데이터에 적용하는 단계를 더 포함하고,
    상기 대상체에 대한 3차원 구강 모델을 생성하는 단계는
    상기 제2 카메라 렌즈 왜곡이 적용된 패턴 데이터에 상응하는 패턴을 상기 제1 이미지 데이터에 포함된 패턴과 비교하여 상기 대상체에 대한 3차원 구강 모델을 생성하는 단계를 포함하는, 데이터 처리 방법.
  16. 제11 항에 있어서, 상기 제1 카메라 및 상기 제2 카메라 중 하나는 컬러 센서를 포함하는 컬러 카메라이거나, 또는 컬러 필터가 구비된 흑백 카메라이고,
    상기 방법은 상기 프로젝터가 NUV(near ultraviolet) 광원을 이용하여 근자외선을 투사하는 단계;
    상기 제1 카메라 및 상기 제2 카메라를 이용하여, 상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터를 획득하는 단계; 및
    상기 근자외선이 대상체에서 반사된 광에 대한 이미지 데이터로부터 소정 파장 대역의 영역이 식별된 3차원 구강 모델을 생성하는 단계를 더 포함하는, 데이터 처리 방법.
PCT/KR2023/014381 2022-09-21 2023-09-21 스캐너, 데이터 처리 장치 및 데이터 처리 방법 Ceased WO2024063560A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US19/113,495 US20260083534A1 (en) 2022-09-21 2023-09-21 Scanner, data processing device and data processing method
EP23868612.5A EP4591783A4 (en) 2022-09-21 2023-09-21 SCANNING DEVICE, DATA PROCESSING DEVICE AND DATA PROCESSING METHOD
CN202380067567.8A CN119907638A (zh) 2022-09-21 2023-09-21 扫描仪、数据处理装置及数据处理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220119517 2022-09-21
KR10-2022-0119517 2022-09-21
KR10-2023-0121914 2023-09-13
KR1020230121914A KR20240040634A (ko) 2022-09-21 2023-09-13 스캐너, 데이터 처리 장치 및 데이터 처리 방법

Publications (1)

Publication Number Publication Date
WO2024063560A1 true WO2024063560A1 (ko) 2024-03-28

Family

ID=90455007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/014381 Ceased WO2024063560A1 (ko) 2022-09-21 2023-09-21 스캐너, 데이터 처리 장치 및 데이터 처리 방법

Country Status (4)

Country Link
US (1) US20260083534A1 (ko)
EP (1) EP4591783A4 (ko)
CN (1) CN119907638A (ko)
WO (1) WO2024063560A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008052092A2 (en) * 2006-10-25 2008-05-02 D4D Technologies, Llc 3d photogrammetry using projected patterns
KR101628158B1 (ko) * 2014-12-05 2016-06-09 주식회사 미르기술 3차원 형상 측정 장치
KR20180010252A (ko) * 2015-05-22 2018-01-30 시로나 덴탈 시스템스 게엠베하 치아 객체의 3차원 측정을 위한 카메라 및 방법
JP6800871B2 (ja) * 2015-10-16 2020-12-16 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、および記録媒体
KR20210024469A (ko) * 2018-06-22 2021-03-05 얼라인 테크널러지, 인크. 다수의 소형 카메라 및 다수의 소형 패턴 프로젝터를 사용하는 구강 내 3d 스캐너

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019021285A1 (en) * 2017-07-26 2019-01-31 Dentlytec G.P.L. Ltd Intraoral scanner
US10386177B1 (en) * 2018-10-09 2019-08-20 Dentsply Sirona Inc. Device and method for determining surface topology and associated color
WO2022031022A1 (ko) * 2020-08-05 2022-02-10 주식회사 메디트 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008052092A2 (en) * 2006-10-25 2008-05-02 D4D Technologies, Llc 3d photogrammetry using projected patterns
KR101628158B1 (ko) * 2014-12-05 2016-06-09 주식회사 미르기술 3차원 형상 측정 장치
KR20180010252A (ko) * 2015-05-22 2018-01-30 시로나 덴탈 시스템스 게엠베하 치아 객체의 3차원 측정을 위한 카메라 및 방법
JP6800871B2 (ja) * 2015-10-16 2020-12-16 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、および記録媒体
KR20210024469A (ko) * 2018-06-22 2021-03-05 얼라인 테크널러지, 인크. 다수의 소형 카메라 및 다수의 소형 패턴 프로젝터를 사용하는 구강 내 3d 스캐너

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4591783A4 *

Also Published As

Publication number Publication date
EP4591783A4 (en) 2025-12-31
EP4591783A1 (en) 2025-07-30
US20260083534A1 (en) 2026-03-26
CN119907638A (zh) 2025-04-29

Similar Documents

Publication Publication Date Title
WO2022103153A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2016076658A1 (en) X-ray imaging apparatus and collimator
WO2014208969A1 (en) Method and apparatus for providing information related to location of target object on medical apparatus
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2020153703A1 (ko) 카메라 장치 및 그의 오토포커싱 방법
WO2022203354A1 (ko) 삼차원 구강 모델 처리 장치 및 삼차원 구강 모델 처리 방법
WO2023080421A1 (ko) 전자 장치 및 그 제어 방법
WO2022119363A1 (ko) 치과 치료를 위한 스캐너 및 그의 데이터 전송 방법
WO2019164380A1 (ko) 웨어러블 글래스 장치
WO2022025435A1 (ko) 프로젝터 및 그 제어 방법
WO2022216008A1 (ko) 웨어러블 전자 장치 및 그를 충전하는 전자 장치
WO2024063560A1 (ko) 스캐너, 데이터 처리 장치 및 데이터 처리 방법
WO2022182081A1 (ko) 전자 장치 및 그 동작 방법
WO2023018148A1 (ko) 무선 스캐닝 시스템 및 무선 스캐닝 시스템의 페어링 방법
WO2022203305A1 (ko) 데이터 처리 장치 및 데이터 처리 방법
WO2022102995A1 (ko) 전자 장치 및 그 제어 방법
WO2022031022A1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2023182820A1 (ko) 스캐너에 전원을 공급하는 장치 및 방법
WO2024085351A1 (ko) Hud 고스트 이미지 측정 방법 및 장치
WO2024204895A1 (ko) 전자 기기를 위한 쉐이드 가이드와 편광필터 탈부착형 마운트 장치 및 이를 이용한 치아 이미지 획득 방법과 환자 맞춤으로 인공치아 색상 제조를 하기 위한 치아 색정보 획득 및 공유 시스템 및 이를 이용하는 방법
WO2022060133A1 (ko) 이미지 처리 장치 및 이미지 처리 방법
WO2024043460A1 (ko) 전자 장치 및 그 제어 방법
WO2023063714A1 (ko) 이미지 처리 장치 및 이를 이용한 이미지 처리 방법
WO2023249232A1 (ko) 전자 장치 및 그 제어 방법
WO2022182121A1 (ko) 데이터 처리 장치 및 데이터 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23868612

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380067567.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023868612

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023868612

Country of ref document: EP

Effective date: 20250422

WWP Wipo information: published in national office

Ref document number: 202380067567.8

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2023868612

Country of ref document: EP