WO2025009924A1 - 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체 - Google Patents

구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체 Download PDF

Info

Publication number
WO2025009924A1
WO2025009924A1 PCT/KR2024/009552 KR2024009552W WO2025009924A1 WO 2025009924 A1 WO2025009924 A1 WO 2025009924A1 KR 2024009552 W KR2024009552 W KR 2024009552W WO 2025009924 A1 WO2025009924 A1 WO 2025009924A1
Authority
WO
WIPO (PCT)
Prior art keywords
tooth
library
teeth
oral cavity
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2024/009552
Other languages
English (en)
French (fr)
Inventor
고승희
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medit Corp
Original Assignee
Medit Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020240088170A external-priority patent/KR20250008695A/ko
Application filed by Medit Corp filed Critical Medit Corp
Priority to CN202480054722.7A priority Critical patent/CN121752222A/zh
Publication of WO2025009924A1 publication Critical patent/WO2025009924A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Definitions

  • the present disclosure relates to a method for processing a scan image of an oral scanner, a device thereof, and a recording medium recording a command thereof.
  • a 3D image of the oral cavity refers to data scanned using a 3D scanner of teeth, the oral cavity, or a model or reconstruction of them.
  • prosthetic treatments such as inlays, onlays, crowns, and implants
  • 3D images of the patient's oral cavity can be obtained and used for designing prosthetic devices or implants, manufacturing braces, etc. during other dental treatments such as orthodontics.
  • the problem to be solved in the present disclosure is to provide a method for displaying a plurality of first library teeth selected by a user by overlapping them on a three-dimensional image of the oral cavity.
  • the problem to be solved in the present disclosure is to provide a method for determining positional information of a plurality of library teeth and aligning the library teeth by using segmentation and/or margin lines that separate a tooth region and a gingival region in a three-dimensional image of the oral cavity.
  • the problem to be solved in the present disclosure is to provide a method for enabling a user to edit a plurality of library teeth without switching screens by displaying the plurality of library teeth in a superimposed manner on a three-dimensional image of the oral cavity.
  • the problem to be solved in the present disclosure is to provide a method for forming customized library teeth using actual dental data of a patient (a three-dimensional image of the oral cavity).
  • an image processing method performed by an electronic device may include: a step of arranging a three-dimensional image of a target oral cavity in a three-dimensional space; a step of receiving an input for selecting a plurality of teeth of the target oral cavity; a step of arranging first library teeth corresponding to the three-dimensional image of the target oral cavity in the three-dimensional space; a step of moving a plurality of second library teeth in the three-dimensional space such that a plurality of teeth among the first library teeth are arranged in a space corresponding to the plurality of teeth among the three-dimensional image of the target oral cavity; and a step of superimposing and displaying the three-dimensional image of the target oral cavity and the plurality of second library teeth.
  • the method further comprises the step of obtaining a plurality of margin lines, each corresponding to a plurality of teeth, wherein the step of arranging the first library tooth in the three-dimensional space comprises the step of arranging the first library tooth in the three-dimensional space based on the plurality of margin lines, wherein each of the plurality of margin lines may represent a boundary at which an intact tooth begins to be exposed in a gingival region of a three-dimensional image of the target oral cavity.
  • the step of obtaining a plurality of margin lines may include the step of obtaining a plurality of margin lines based on a boundary between a tooth region and a gingival region obtained as a result of segmentation; or the step of obtaining a plurality of margin lines based on a user input.
  • the step of arranging the first library tooth in the three-dimensional space may include the step of identifying a tooth number corresponding to a tooth region obtained as a result of segmentation; and the step of arranging the first library tooth in the three-dimensional space based on the tooth number.
  • the method may further comprise the step of generating a first library tooth.
  • the step of generating the first library tooth may include the step of increasing the first library tooth in the direction of the gingival region based on mesh information of at least a portion of the first library tooth corresponding to the tooth region among the tooth region and the gingival region included in the three-dimensional image of the target oral cavity.
  • the step of generating the first library tooth may further include the step of machining an increased area in the increased first library tooth based on a plurality of margin lines.
  • the step of receiving an input for selecting a plurality of teeth in the target oral cavity may include the step of receiving an input for selecting a tooth number for each of the plurality of teeth in the target oral cavity.
  • the step of moving the plurality of second library teeth in three-dimensional space may include the steps of: generating first position information including a center point of a first bounding box for each of the plurality of second library teeth based on each of the plurality of margin lines; generating second position information including a center point of a second bounding box for each of the teeth of a three-dimensional image of the target oral cavity; and generating a correlation between the first position information and the second position information for each of the plurality of second library teeth based on an origin located in a dental arch of the target oral cavity.
  • the step of generating the correlation may include the step of generating a tooth-wise transformation matrix indicating a correlation between first positional information of each of the plurality of second library teeth with respect to the origin and second positional information having the same tooth number as each of the plurality of second library teeth.
  • the step of superimposing and displaying the three-dimensional image of the target oral cavity and the plurality of second library teeth may include the step of superimposing and displaying the plurality of second library teeth on the three-dimensional image of the target oral cavity, each of which has the same tooth number as each of the plurality of second library teeth in three-dimensional space, based on a tooth-by-teeth transformation matrix.
  • the origin may be a point between two central incisors in the arch.
  • the step of superimposing and displaying a three-dimensional image of the target oral cavity and a plurality of second library teeth may include the step of superimposing and displaying a library tooth corresponding to the deleted tooth on the three-dimensional image of the target oral cavity based on a tooth-specific transformation matrix corresponding to the deleted tooth.
  • a tooth-by-tooth transformation matrix corresponding to a deleted tooth is generated based on second position information including a point in the arch corresponding to a tooth number, and a library tooth corresponding to the deleted tooth may include a prosthesis corresponding to the deleted tooth.
  • the step of superimposing and displaying a three-dimensional image of the target oral cavity and a plurality of second library teeth may include the step of superimposing and displaying a library tooth corresponding to a prep tooth on the three-dimensional image of the target oral cavity based on a tooth-by-tooth transformation matrix corresponding to the prep tooth.
  • a tooth-by-tooth transformation matrix corresponding to a prep tooth is generated based on second position information in which a center point of a second bounding box is changed based on a difference between an uppermost height of the prep tooth and an uppermost height of a library tooth corresponding to the prep tooth, and the library tooth corresponding to the prep tooth may include a prosthesis corresponding to the prep tooth.
  • the step of displaying a three-dimensional image of the target oral cavity and a plurality of second library teeth in an overlapping manner may include the step of displaying connectors between the plurality of second library teeth based on a determination that the plurality of second library teeth corresponding to the plurality of teeth are connected by connectors.
  • an electronic device in another embodiment, includes a processor; a network interface in communication with an oral scanner; a display; a memory; and a computer program loaded into the memory and executed by the processor, wherein the computer program is configured to: place a three-dimensional image of a target oral cavity in three-dimensional space; receive an input for selecting a plurality of teeth of the target oral cavity; place first library teeth corresponding to the three-dimensional image of the target oral cavity in the three-dimensional space; move a plurality of second library teeth in the three-dimensional space such that a plurality of teeth among the first library teeth are placed in spaces corresponding to the plurality of teeth among the three-dimensional image of the target oral cavity; and display the three-dimensional image of the target oral cavity and the plurality of second library teeth so as to be superimposed.
  • a non-transitory computer-readable recording medium having recorded thereon a computer program to be executed by a processor
  • the computer program may include instructions for arranging a three-dimensional image of a target oral cavity in a three-dimensional space; instructions for receiving an input for selecting a plurality of teeth of the target oral cavity; instructions for arranging first library teeth corresponding to the three-dimensional image of the target oral cavity in the three-dimensional space; instructions for moving a plurality of second library teeth in the three-dimensional space such that a plurality of teeth among the first library teeth are arranged in spaces corresponding to the plurality of teeth among the three-dimensional image of the target oral cavity; and instructions for superimposing and displaying the three-dimensional image of the target oral cavity and the plurality of second library teeth.
  • a method for displaying a plurality of first library teeth selected by a user by overlapping them on a three-dimensional image of an oral cavity can be provided.
  • a method for determining positional information of a plurality of library teeth and aligning the library teeth can be provided by using segmentation and/or margin lines that separate a tooth region and a gingival region in a three-dimensional image of an oral cavity.
  • a method can be provided that allows a user to edit a plurality of library teeth without switching screens by displaying the plurality of library teeth in an overlapping manner on a three-dimensional image of an oral cavity.
  • a method for forming a customized library tooth using actual tooth data of a patient can be provided.
  • FIG. 1 is an exemplary diagram illustrating a scanning environment according to some embodiments of the present disclosure.
  • FIG. 2 is an exemplary block diagram showing each of the electronic device and the oral scanner illustrated in FIG. 1.
  • FIG. 3 is an exemplary drawing of the oral scanner described with reference to FIG. 2.
  • FIGS. 4A and 4B are drawings for explaining a three-dimensional image of the target concept of the present disclosure.
  • FIG. 4c is a drawing for explaining the first library tooth of the present disclosure.
  • Figure 5 is a drawing for explaining the margin line of the present disclosure.
  • FIG. 6 is a drawing for explaining a method for selecting multiple teeth of the present disclosure.
  • FIG. 7 is a drawing for explaining second position information in a three-dimensional image of the oral cavity of the present disclosure.
  • Fig. 8 is a drawing for explaining the first position information of the library teeth of the present disclosure.
  • FIG. 9 is an exemplary drawing illustrating how the library teeth described with reference to FIG. 8 are superimposed on the three-dimensional image of the oral cavity described with reference to FIG. 7.
  • FIG. 10 is a flowchart illustrating a method in which a server displays library teeth by overlaying them on a three-dimensional image of an oral cavity in the present disclosure.
  • unit means software or a hardware component such as a field-programmable gate array (FPGA) or an application specific integrated circuit (ASIC).
  • FPGA field-programmable gate array
  • ASIC application specific integrated circuit
  • the "unit” is not limited to hardware and software, and the “unit” may be configured to be in an addressable storage medium, and may be configured to play back one or more processors.
  • the "unit” includes components such as software components, object-oriented software components, class components, and task components, as well as processors, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
  • the functionality provided within a component and a "unit” may be combined into a smaller number of components and “units” or further separated into additional components and “units.”
  • the expression "based on” as used in this disclosure is used to describe one or more factors affecting a decision, act of judgment, or action described in a phrase or sentence containing the expression, and the expression does not exclude additional factors affecting the decision, act of judgment, or action.
  • a component is “connected” or “connected” to another component, it should be understood that the component can be directly connected or connected to the other component, or can be connected or connected via another new component.
  • FIG. 1 is an exemplary diagram illustrating a scanning environment according to some embodiments of the present disclosure.
  • the scanning environment illustrated in FIG. 1 is an environment for obtaining an image of a patient's oral cavity using an oral scanner (200) according to some embodiments of the present disclosure, wherein the oral scanner (200) may be a dental medical device for obtaining an image of the oral cavity of a subject (20) (e.g., a patient).
  • a user (10) may obtain an image of the oral cavity of the subject (20) from the subject (20) using an oral scanner (200).
  • the user (10) may obtain an image of the oral cavity of the subject (20) from a diagnostic model (e.g., a plaster model, an impression model) that mimics the shape of the oral cavity of the subject (20).
  • a diagnostic model e.g., a plaster model, an impression model
  • an example of obtaining an image of the oral cavity of the subject (20) will be described, but the scope of the present disclosure is not limited due to such an example.
  • the area to be imaged is not limited to the oral cavity of the subject (20), and it is also possible to obtain an image of any other area of the subject (20) (e.g., the ear of the subject (20)).
  • the electronic device (100) illustrated in FIG. 1 can receive a two-dimensional image of the oral cavity of the subject (20) from the oral scanner (200).
  • the electronic device (100) can communicate with the oral scanner (200) through a wired or wireless communication network.
  • the electronic device (100) can generate a three-dimensional image of the oral cavity by three-dimensionally modeling the internal structure of the oral cavity based on the received two-dimensional image of the oral cavity, and specific operations related thereto will be described later with reference to FIG. 4.
  • the three-dimensional image of the oral cavity thus generated can be displayed to the user (10) or the subject (20) through the display of the electronic device (100).
  • the user (10) can provide appropriate medical services, etc. to the subject (20) by referring to the three-dimensional image displayed on the display of the electronic device (100).
  • the electronic device (100) may receive a three-dimensional image of the oral cavity generated by the oral scanner (200).
  • the oral scanner (200) may scan the oral cavity of the subject (20) to obtain a two-dimensional image of the oral cavity, and may generate a three-dimensional image of the oral cavity based on the obtained two-dimensional image of the oral cavity. That is, it should be noted that the operation of generating a three-dimensional image is included in the scope of the present disclosure regardless of the location where it is processed.
  • the electronic device (100) may be connected to a cloud server (not shown).
  • the electronic device (100) may transmit a two-dimensional image of the oral cavity of the object (20) or a three-dimensional image of the oral cavity to the cloud server, and the cloud server may store the two-dimensional image of the oral cavity of the object (20) or the three-dimensional image of the oral cavity received from the electronic device (100).
  • the electronic device (100) described so far can be implemented as a computing device, and an example of such a computing device will be described in detail later with reference to FIG. 2.
  • the oral scanner (200) illustrated in FIG. 1 may have a form that can be inserted and withdrawn into the oral cavity, and may be a handheld scanner in which the user (10) can freely adjust the scan distance and scan angle.
  • Such an oral scanner (200) can obtain an image of the oral cavity by being inserted into the oral cavity and scanning the inside of the oral cavity in a non-contact manner.
  • the image of the oral cavity can include at least one tooth, gingiva, or an artificial structure that can be inserted into the oral cavity (e.g., an orthodontic device including a bracket and a wire, an implant, a denture, an orthodontic auxiliary tool inserted into the oral cavity, etc.).
  • the oral scanner (200) can irradiate light into the oral cavity of the subject (20) using a light source (or a projector), and can receive light reflected from the oral cavity of the subject (20) through a camera (or at least one image sensor).
  • the oral scanner (200) can obtain a surface image of the oral cavity of the subject (20) as a two-dimensional image based on information received through the camera.
  • the surface image of the oral cavity of the subject (20) can include at least one of the teeth, gums, artificial structures, cheeks, tongue, or lips of the subject (20).
  • the oral scanner (200) may scan the oral cavity to obtain a two-dimensional image of the oral cavity, and may also generate a three-dimensional image of the oral cavity based on the obtained two-dimensional image of the oral cavity.
  • the oral scanner (200) described so far can be implemented as a computing device, and an example of such a computing device will be specifically described below with reference to FIG. 2.
  • FIG. 2 is an exemplary block diagram showing each of the electronic device (100) and the oral scanner (200) shown in FIG. 1.
  • the block diagram shown in FIG. 2 only shows a preferred embodiment for achieving the purpose of the present disclosure, and some components may be added or deleted as needed.
  • the components of the block diagram shown in FIG. 2 represent functionally distinct functional elements, and a plurality of different components may be implemented in an integrated form in an actual physical environment.
  • each component shown in the block diagram will be described in detail.
  • the electronic device (100) illustrated in FIG. 2 may include one or more processors (101), one or more memories (103), a communication circuit (105), a display (107), and/or an input device (109).
  • processors 101
  • memories 103
  • a communication circuit 105
  • display 107
  • an input device 109
  • at least one of the components included in the electronic device (100) may be omitted, or other components may be added to the electronic device (100).
  • some of the components may be implemented in an integrated manner or implemented as a single or multiple entities.
  • At least some of the components within the electronic device (100) may be connected to each other via a bus, a GPIO (general purpose input/output), an SPI (serial peripheral interface), or a MIPI (mobile industry processor interface), and may exchange data and/or signals.
  • a bus a GPIO (general purpose input/output), an SPI (serial peripheral interface), or a MIPI (mobile industry processor interface)
  • One or more processors (101) of the electronic device (100) may be configured to perform calculations or data processing related to control and/or communication of each component (e.g., memory (103)) of the electronic device (100).
  • the one or more processors (101) may be operatively connected to, for example, components of the electronic device (100).
  • the one or more processors (101) may load commands or data received from other components of the electronic device (100) into one or more memories (103), process commands or data stored in the one or more memories (103), and store result data.
  • one or more memories (103) of the electronic device (100) can store various data, commands, and/or information.
  • one or more memories (103) can store instructions for the operation of the processor (101) as a computer program.
  • one or more memories (103) can store correlation models built according to a machine learning algorithm.
  • one or more memories (103) can store data received from the oral scanner (200) (e.g., a two-dimensional image of the oral cavity, a three-dimensional image of the oral cavity).
  • the communication circuit (network interface, 105) of the electronic device (100) can establish a wired or wireless communication channel with an external device (e.g., an oral scanner (200), a cloud server (not shown)) and transmit and receive various data with the external device.
  • the communication circuit (105) can include at least one port for connecting to the external device with a wired cable in order to communicate with the external device through a wire.
  • the communication circuit (105) can perform communication with the external device connected through a wire through the at least one port.
  • the communication circuit (105) can be configured to be connected to a cellular network (e.g., 3G, LTE, 5G, Wibro or Wimax) by including a cellular communication module.
  • the communication circuit (105) can include a short-range communication module to transmit and receive data with the external device using short-range communication (e.g., Wi-Fi, Bluetooth, Bluetooth Low Energy (BLE), UWB).
  • the communication circuitry (105) may include a contactless communication module for contactless communication.
  • the contactless communication may include at least one contactless proximity communication technology, such as, for example, near field communication (NFC) communication, radio frequency identification (RFID) communication, or magnetic secure transmission (MST) communication.
  • NFC near field communication
  • RFID radio frequency identification
  • MST magnetic secure transmission
  • the display (107) of the electronic device (100) can display various screens based on the control of the processor (101).
  • a two-dimensional image of the oral cavity of the object (20) received from the oral scanner (200) and/or a three-dimensional image of the oral cavity that is a three-dimensional model of the internal structure of the oral cavity can be displayed through the display (107).
  • a web browser or a dedicated application can be installed in the electronic device (100).
  • the aforementioned web browser or dedicated application can be implemented to provide the user (10) with an editing function, a saving function, and a deleting function of the two-dimensional image and/or the three-dimensional image of the oral cavity through a user interface.
  • the input device (109) of the electronic device (100) can receive commands or data to be used for components of the electronic device (100) (e.g., the processor (101)) from an external source (e.g., a user) of the electronic device (100).
  • the input device (109) can include, for example, a microphone, a mouse, or a keyboard.
  • the input device (109) can be implemented in the form of a touch sensor panel that is coupled with the display (107) and can recognize contact or proximity of various external objects.
  • the scope of the present disclosure is not limited to the examples described above, and various known input devices (109) can be included in the scope of the present disclosure for the convenience of the user.
  • the oral scanner (200) illustrated in FIG. 2 may include a processor (201), a memory (202), a communication circuit (203), a light source (204), a camera (205), and/or an input device (206).
  • a processor 201
  • a memory 202
  • a communication circuit 203
  • a light source 204
  • a camera 205
  • an input device 206
  • at least one of the components included in the oral scanner (200) may be omitted, or other components may be added to the oral scanner (200).
  • some of the components may be implemented in an integrated manner or implemented as a single or multiple entities.
  • At least some of the components within the oral scanner (200) may be connected to each other via a bus, a general purpose input/output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI), and may exchange data and/or signals.
  • GPIO general purpose input/output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the processor (201) of the oral scanner (200) is a configuration capable of performing calculations or data processing related to control and/or communication of each component of the oral scanner (200) and can be operatively connected to the components of the oral scanner (200).
  • the processor (201) can load commands or data received from other components of the oral scanner (200) into the memory (202), process the commands or data stored in the memory (202), and store result data.
  • the memory (202) of the oral scanner (200) can store instructions for the operation of the processor (201) described above.
  • the communication circuit (203) of the oral scanner (200) can establish a wired or wireless communication channel with an external device (e.g., an electronic device (100)) and transmit and receive various data with the external device.
  • the communication circuit (203) can include at least one port for being connected to the external device with a wired cable in order to communicate with the external device through a wire.
  • the communication circuit (203) can perform communication with the external device connected through a wire through the at least one port.
  • the communication circuit (203) can be configured to be connected to a cellular network (e.g., 3G, LTE, 5G, Wibro, or Wimax) by including a cellular communication module.
  • a cellular network e.g., 3G, LTE, 5G, Wibro, or Wimax
  • the communication circuit (203) can include a short-range communication module to transmit and receive data with the external device using short-range communication (e.g., Wi-Fi, Bluetooth, Bluetooth Low Energy (BLE), UWB).
  • the communication circuit (203) may include a contactless communication module for contactless communication.
  • the contactless communication may include at least one contactless proximity communication technology, such as, for example, near field communication (NFC) communication, radio frequency identification (RFID) communication, or magnetic secure transmission (MST) communication.
  • NFC near field communication
  • RFID radio frequency identification
  • MST magnetic secure transmission
  • the light source (204) of the oral scanner (200) can irradiate light toward the oral cavity of the subject (20).
  • the light irradiated from the light source (204) can be structured light having a predetermined pattern (e.g., a stripe pattern in which straight lines of different colors appear continuously).
  • the pattern of the structured light can be generated using, for example, a pattern mask or a DMD (digital micro-mirror device), but is not limited thereto.
  • the camera (205) of the oral scanner (200) can obtain a three-dimensional image of the oral cavity of the subject (20) by receiving the reflected light reflected by the oral cavity of the subject (20).
  • the camera (205) may include, for example, a left camera corresponding to the left eye field of view and a right camera corresponding to the right eye field of view, in order to construct a three-dimensional image according to an optical triangulation method.
  • the camera (205) may include at least one image sensor, such as a CCD sensor or a CMOS sensor.
  • the input device (206) of the oral scanner (200) can receive user input for controlling the oral scanner (200).
  • the input device (206) can include a button for receiving a push operation of the user (10), a touch panel for detecting a touch of the user (10), and a voice recognition device including a microphone.
  • the user (10) can control the start or stop of scanning using the input device (206).
  • the oral scanner (200) may receive a user input for starting a scan via the input device (206) of the oral scanner (200) or the input device (206) of the electronic device (100), and may start a scan according to processing in the processor (201) of the oral scanner (200) or the processor (201) of the electronic device (100).
  • the oral scanner (200) may generate a two-dimensional image of the oral cavity of the subject (20) and transmit the two-dimensional image of the oral cavity of the subject (20) to the electronic device (100) in real time.
  • the electronic device (100) may display the received two-dimensional image of the oral cavity of the subject (20) via the display (107).
  • the electronic device (100) can generate (build) a three-dimensional image of the oral cavity of the object (20) based on a two-dimensional image of the oral cavity of the object (20), and display the three-dimensional image of the oral cavity through the display (107).
  • the electronic device (100) can also display the three-dimensional image being generated in real time through the display (107).
  • the sensor module (207) of the oral scanner (200) can detect the operating status of the oral scanner (200) or the external environmental status (e.g., the user's movement) and generate an electric signal corresponding to the detected status.
  • the sensor module (207) can include, for example, at least one of a gyro sensor, an acceleration sensor, a gesture sensor, a proximity sensor, or an infrared sensor.
  • the user (10) can control the start or stop of scanning using the sensor module (207).
  • the oral scanner (200) can control the processor (201) to start a scanning operation when the angular velocity measured by the sensor module (207) exceeds a set value.
  • FIG. 3 is an exemplary drawing of the oral scanner (200) described with reference to FIG. 2.
  • the oral scanner (200) illustrated in FIG. 3 may include a main body (210) and a probe tip (220).
  • the main body (210) of the oral scanner (200) may be formed in a shape that is easy for a user (10) to grip with his or her hand and use
  • the probe tip (220) may be formed in a shape that is easy to insert into and extract from the oral cavity of the subject (20).
  • the main body (210) may be combined with and separated from the probe tip (220).
  • components of the oral scanner (200) described in FIG. 2 may be arranged inside the main body (210). An opening may be formed at one end of the main body (210) so that light output from a light source (204) may be irradiated to the subject (20).
  • the light irradiated through the opening may be reflected by the subject (20) and may be introduced again through the opening.
  • the reflected light entering through the opening can be captured by the camera to generate an image of the object (20).
  • the user (10) can start scanning by using the input device (206) (e.g., button) of the oral scanner (200). For example, when the user (10) touches or presses the input device (206), light from the light source (204) can be irradiated onto the object (20).
  • a library tooth is a sample tooth (standard tooth) used to manufacture a prosthesis, implant, braces, etc., and may have a typical tooth shape.
  • the library tooth is expressed as a three-dimensional image and may be displayed based on mesh information.
  • the library tooth may have one sample tooth (standard tooth) for each tooth number.
  • Each sample tooth may include general features of the shape of a natural tooth of the corresponding tooth number. For example, when a specific tooth of a patient is lost or removed for treatment and a prosthesis needs to be manufactured to replace it, a prosthesis with a natural shape can be efficiently manufactured by utilizing the shape of the corresponding sample tooth.
  • the three-dimensional image of the oral cavity is captured by an oral scanner (200), and the mesh may have a somewhat low degree of completion, and when the mesh has a low degree of completion, it may be inappropriate to manufacture a prosthesis, implant, braces, etc. by 3D printing.
  • the library tooth may be a tooth model with a high degree of completion of the mesh. Therefore, when modifying library teeth to manufacture prosthetics, implants, braces, etc., it may be very suitable to use the 3D printing method.
  • the library teeth can become an appropriate intermediate model for digitally manufacturing prosthetics, implants, braces, etc.
  • the library teeth may be generated based on a three-dimensional image of the oral cavity.
  • the library teeth may be generated based on mesh information corresponding to the tooth region among the gum region and tooth region separated through segmentation in the three-dimensional image of the oral cavity.
  • the electronic device (100) may generate a library tooth similar to the teeth of an actual patient.
  • the library tooth may be generated based on a three-dimensional image of a past oral cavity of a particular subject. For example, a three-dimensional image of the oral cavity obtained before a particular tooth of the patient was lost or removed may be stored in the memory (103).
  • the electronic device (100) may also generate the library tooth based on the three-dimensional image of the oral cavity including such an intact particular tooth.
  • the library tooth may include the shape of the patient's natural teeth as is.
  • the library teeth can be utilized in the production of prosthetics, implants, braces, dental treatment devices, etc.
  • the effort and time for the production of prosthetics, implants, braces, dental treatment devices, etc. can be reduced, the accuracy and productivity of prosthetics, implants, braces, dental treatment devices, etc. can be improved, and the consumption of computing resources to obtain the same results can be reduced.
  • library teeth that are designed to some extent in advance by tooth number (dental type) can be used.
  • the library teeth can be displayed by being superimposed (or aligned) on a three-dimensional image of the oral cavity in order to produce prosthetics, implants, and braces. If the process of superimposing or aligning the library teeth on a three-dimensional image of the oral cavity is performed manually, the work fatigue of a dentist or dental technician increases, the accuracy and productivity of the results may decrease, and accordingly, the consumption of computing resources to obtain the same results may increase.
  • the electronic device (100) can place a three-dimensional image of the target oral cavity in three-dimensional space.
  • FIGS. 4A and 4B are drawings for explaining a three-dimensional image of the target concept of the present disclosure.
  • FIG. 4A illustrates a three-dimensional image (400) of an oral cavity as an example.
  • the three-dimensional image (400) of the oral cavity may include a gingival region and a tooth region.
  • the electronic device (100) may distinguish the gingival region and the tooth region in the three-dimensional image (400) through segmentation.
  • the segmentation may be image segmentation.
  • Image segmentation is a technical process of dividing a digital image into individually distinct parts or objects. This process aims to divide an image into several meaningful regions so that each part can be more easily analyzed and processed. Specifically, image segmentation is accomplished by classifying pixels into groups that share the same properties or classes. The regions thus divided may include, for example, object boundaries, surfaces, and other important elements.
  • FIG. 4b illustrates, as an example, only a tooth region (420) derived from a three-dimensional image (400) of an oral cavity.
  • the electronic device (100) can generate a library tooth using the tooth region (420). By generating a library tooth from a three-dimensional image of an oral cavity scanned of a specific object, the electronic device (100) can generate a library tooth that matches the individual characteristics of the object. In one embodiment, the electronic device (100) can generate a surface of the library tooth using the tooth region (420). The surface of the library tooth can be configured as a mesh. In one embodiment, the interior of the library tooth can be expressed in the form of an empty space. In another embodiment, the interior of the library tooth can be expressed in a filled form based on mesh information related to the tooth.
  • FIG. 4c is a drawing for explaining the first library tooth of the present disclosure.
  • the library tooth may be a sample tooth shape having a typical tooth shape and/or a tooth shape generated based on a three-dimensional image of the oral cavity of a specific target. Accordingly, the electronic device (100) may obtain a library tooth having a sample tooth shape from the memory (103), or may obtain a newly generated library tooth based on a three-dimensional image of the oral cavity of a specific target.
  • FIG. 4c illustrates a first library tooth (440) generated based on a tooth region (420) acquired from a three-dimensional image (400) of an oral cavity.
  • the first library tooth (440) may be a three-dimensional image including all library teeth corresponding to the three-dimensional image of the oral cavity.
  • the first library tooth (440) may be a three-dimensional image including all library teeth from tooth numbers 1 to 32.
  • the second library tooth may include at least some library teeth from the first library tooth, and is distinguished for convenience of description.
  • the second library tooth may be a library tooth corresponding to a plurality of selected teeth.
  • the electronic device (100) may generate a first library tooth.
  • the tooth may be composed of a crown region (e.g., a region exposed from the gingiva) and a root region (e.g., a region covered by the gingiva and not exposed).
  • the electronic device (100) may increase the library tooth in the direction of the gingiva region based on mesh information of the crown region of the library tooth. Since an actual tooth exists not only in the crown region but also in the root region, the electronic device (100) may form a root region by extending in the direction of the gingiva region so that the library tooth has a shape similar to that of an actual tooth.
  • the three-dimensional image of the oral cavity may not include the root region.
  • the electronic device (100) may acquire the tooth region and the gingiva region as a result of segmentation from the three-dimensional image of the oral cavity.
  • the tooth region in the three-dimensional image of the oral cavity may be a crown region of the tooth.
  • the electronic device (100) can generate a crown area of a library tooth based on a tooth area of a three-dimensional image of the oral cavity.
  • the first library tooth can be increased in the direction of the gingival area based on mesh information of a part of the crown area. Through this, the electronic device (100) can express a root area while generating the first library tooth.
  • the electronic device (100) can increase the library tooth in the direction of the gingival region based on the mesh information of the region (461), which is at least a portion of the library tooth among the tooth regions.
  • the electronic device (100) can form a root region by elongating the mesh of the region (461) in the direction of the gingival region based on the central axis penetrating the tooth upward and downward.
  • the mesh information of the increased region (462) can be the same as the mesh information of the region (461).
  • the increased region (462) can be for expressing the root region of the library tooth.
  • the empty space between the tooth region and the gingival region can be made invisible.
  • a realistic simulation can be made possible through the three-dimensional image of the oral cavity where the library tooth is superimposed, and the confusion of the worker can be reduced, leading to high work productivity, and the consumption of computing resources for obtaining the same result can be reduced.
  • the library tooth may represent the crown area but not the root area. If the library tooth represents only the crown area, the height of the prosthesis included in the library tooth may be lower than the prosthesis that should actually be installed. In such a case, the user needs to arbitrarily modify the height of the prosthesis. Therefore, the electronic device may augment the library tooth based on the mesh information of the crown area of the library tooth so that the library tooth can represent not only the crown area of the library tooth but also the root area for realistic simulation.
  • the electronic device (100) can process an increased area in an increased first library tooth based on a plurality of margin lines. For example, the electronic device (100) can change mesh information of the corresponding margin line (450) so as to distinguish an increased area from an existing area based on the margin line (450).
  • the electronic device (100) can smoothly express a shape extending from the crown area to the root area of the library tooth through an implicit surfacing technique.
  • Implied surfacing is a technique for defining a surface through a mathematical function, particularly a point where a function value at an arbitrary point (x, y, z) becomes a specific value. This method can ensure the continuity and smoothness of the surface because the surface is mathematically defined.
  • the implicit surfacing method can efficiently process local details of the model.
  • the electronic device (100) can cut the area of the library tooth in the direction of the gum area based on the margin line to create a tooth shape of an actually required length. And, the battery device (100) can process the library tooth similar to an actual tooth shape.
  • the electronic device (100) may generate a library tooth including a prosthesis corresponding to the plurality of teeth based on a determination that the plurality of teeth include at least one of a deleted tooth or a prep tooth.
  • a deleted tooth may be removed by an external factor or a dental procedure.
  • a prep tooth refers to a tooth that has been prepared in advance for restoration or surgery of the tooth. The prep involves cutting or sculpting the tooth in various shapes to create a shape that meets a specific need. The prep tooth is essential for mounting various dental prostheses such as crowns, bridges, and veneers.
  • a dental prosthesis refers to a medical device designed to replace a deleted tooth or restore a damaged tooth.
  • Prostheses include crowns, bridges, and dentures, each of which is manufactured according to a specific purpose and design.
  • a crown surrounds and protects a damaged tooth, and a bridge fills a missing portion using adjacent teeth.
  • a denture is used to restore function and aesthetics when a tooth is partially or completely missing.
  • the electronic device (100) can recognize whether a tooth corresponding to a specific tooth number is a deleted tooth or a prep tooth through a three-dimensional image of the oral cavity. As another example, the electronic device (100) can determine that a plurality of teeth are at least one of a deleted tooth or a prep tooth based on a user input.
  • the electronic device (100) may receive an input for selecting a plurality of teeth of a target oral cavity.
  • the user may view the three-dimensional images of FIGS. 4A and 4B and determine which teeth to create and align library teeth for.
  • the input for selecting a plurality of teeth is described below in FIG. 6.
  • Figure 5 is a drawing for explaining the margin line of the present disclosure.
  • the margin line represents the boundary where an intact tooth begins to be exposed in the gingival region of the three-dimensional image of the target oral cavity.
  • the margin line may also mean a boundary line between the gingival region and the tooth region in the three-dimensional image of the oral cavity.
  • a margin line (510) may be displayed in the three-dimensional image (400) of the oral cavity.
  • the margin line may be generated assuming that an intact tooth exists at the corresponding location.
  • the electronic device (100) can obtain a plurality of margin lines corresponding to a plurality of teeth, respectively.
  • the electronic device (100) can obtain the margin lines based on the boundaries between the tooth region and the gingival region obtained as a result of segmentation.
  • the electronic device (100) can set on a three-dimensional image of the oral cavity corresponding to a plurality of teeth, respectively, based on a user input. Through this, the user can edit the margin lines automatically set by the electronic device (100).
  • the electronic device (100) may place the first library tooth (440) in a three-dimensional space.
  • the first library tooth (440) may be located in the same three-dimensional space as the three-dimensional image (400) of the oral cavity, but may be placed apart from the three-dimensional image (400) of the oral cavity.
  • the first library tooth (440) may be omitted from the screen, or may be displayed.
  • the electronic device (100) can place the first library teeth in a three-dimensional space based on a plurality of margin lines.
  • the electronic device (100) can use the plurality of margin lines so that the first library teeth (440) can be placed in the three-dimensional space in the same manner as the oral structure in the three-dimensional image (400) of the oral cavity.
  • Each of the plurality of margin lines can correspond to a tooth number. For example, there can be a margin line A corresponding to tooth number 1 in the three-dimensional image of the oral cavity, a margin line B corresponding to tooth number 2, etc.
  • Each of the margin lines can include arrangement information of the plurality of teeth in the three-dimensional image of the oral cavity.
  • the positions of the margin lines in the three-dimensional image of the oral cavity can indicate the positions of the teeth in the dental arch. Therefore, the electronic device (100) can place the first library teeth in the three-dimensional space by corresponding the margin lines corresponding to the tooth numbers of the library teeth. For example, in the library teeth, margin line A may be corresponded to tooth number 1, and margin line B may be corresponded to tooth number 2. Accordingly, the electronic device (100) may store the margin lines corresponding to each of the first library teeth as position information of the three-dimensional tooth image. The position information may include the center point of the margin lines. Then, the electronic device (100) may place the first library teeth in the three-dimensional space based on the position information (e.g., margin lines) corresponding to each of the first library teeth.
  • the position information e.g., margin lines
  • the electronic device (100) can generate a two-dimensional image of the oral cavity based on a three-dimensional image of the oral cavity.
  • the electronic device (100) can generate a two-dimensional image of the oral cavity corresponding to the tooth region by using a tooth region obtained as a result of segmentation in the three-dimensional image of the oral cavity.
  • the electronic device (100) can identify a plurality of teeth included in the two-dimensional image by using a tooth number identification model, and determine a two-dimensional center coordinate of each tooth. For example, the electronic device (100) can determine a two-dimensional center coordinate of tooth number 6, a two-dimensional center coordinate of tooth number 7, etc.
  • the tooth number identification model can be an artificial neural network model, and can receive a two-dimensional image of the oral cavity and perform an inference process for identifying teeth in the two-dimensional image of the oral cavity.
  • the electronic device (100) can identify each of the plurality of teeth in the two-dimensional image by using the tooth number identification model.
  • the electronic device (100) can determine a tooth number of each of the plurality of teeth in the two-dimensional image by using the tooth number identification model.
  • the tooth number can be determined based on any system that classifies a plurality of teeth (e.g., Federation Dentaire International (FDI) or a universal numbering system).
  • FDI Federation Dentaire International
  • the tooth number identification model can receive a two-dimensional image and output a plurality of tooth numbers from the two-dimensional image based on at least one of colors indicating a shape and curvature of a tooth in the two-dimensional image.
  • the tooth number identification model can be a model in which a correlation between the two-dimensional image and the tooth number is learned.
  • the electronic device (100) can identify a plurality of teeth from the two-dimensional image based on the inference result of the tooth number identification model including the tooth number of each tooth.
  • the electronic device (100) can arrange the first library teeth in a three-dimensional space using the positional information corresponding to the tooth number in the two-dimensional image.
  • the electronic device (100) may place the first library tooth in a three-dimensional space using the tooth region obtained as a result of segmentation.
  • the electronic device (100) may identify a tooth number corresponding to the tooth region obtained as a result of segmentation.
  • the electronic device (100) may compare the first tooth shape corresponding to the tooth region of the three-dimensional image of the oral cavity with the second tooth shape corresponding to the tooth number using the tooth number identification model, and may identify the tooth number having the tooth shape most similar to the first tooth shape.
  • the tooth number identification model may be a model learned to obtain similarity between images.
  • the tooth number identification model may identify the second tooth shape similar to the first tooth shape, which is an input three-dimensional image, and output a specific tooth number corresponding to the second tooth shape.
  • the tooth number identification model may be a model learned to determine the correlation between the tooth shape, which is a three-dimensional image, and the tooth number.
  • the electronic device (100) may place the first library tooth in a three-dimensional space based on the tooth number.
  • the tooth number can indicate the position information of the teeth in the arch. Accordingly, the electronic device (100) can know the position information corresponding to a specific tooth number. For example, the electronic device (100) can know where the tooth number 6 is located in the arch and where the tooth number 7 is located in the arch.
  • the electronic device (100) can place the first library teeth in a three-dimensional space using the position information corresponding to the tooth number. Through this, the first library teeth (440) can be placed in the three-dimensional space in the same manner as the oral structure in the three-dimensional image (400) of the oral cavity.
  • FIG. 6 is a drawing for explaining a method for selecting multiple teeth of the present disclosure.
  • the screen (600) may display a tooth arrangement and tooth numbers.
  • the user may select multiple tooth numbers.
  • the electronic device (100) may receive an input for selecting a tooth number for each of multiple teeth in the target oral cavity. For example, the user may select tooth numbers 6 (610), 7 (620), 8 (630), and 9 (640), which are adjacent teeth. For another example, the user may select tooth numbers 1, 5, 14, and 19, which are not adjacent to each other.
  • the electronic device (100) may receive an input for selecting multiple teeth and display library teeth corresponding to the selected tooth numbers by overlaying them on a three-dimensional image (400) of the oral cavity.
  • the user can select what type of prosthesis he or she wants to create for the selected tooth number. For example, if the user selects a tooth number and then selects a crown, then subsequent processing can be performed to place a corresponding library tooth on the corresponding tooth to create data for fabricating a crown. For another example, if the user selects an inlay after selecting a tooth number, then subsequent processing can be performed to place a corresponding library tooth on the corresponding tooth to create data for fabricating an inlay. Additionally, the user can also add a connector (650) for the selected tooth number.
  • FIG. 7 is a drawing for explaining second position information in a three-dimensional image of the oral cavity of the present disclosure.
  • the second library teeth and the three-dimensional image of the oral cavity may be arranged on different planes. Accordingly, the electronic device (100) may move the second library teeth so that the second library teeth corresponding to the plurality of teeth are arranged in a space corresponding to the plurality of teeth in the three-dimensional image of the oral cavity. To this end, the electronic device (100) may use the first position information corresponding to each of the second library teeth and the second position information for each tooth of the three-dimensional image of the oral cavity.
  • the electronic device (100) can move a plurality of second library teeth in a three-dimensional space such that a plurality of second library teeth corresponding to a plurality of teeth among the first library teeth are arranged in a space corresponding to a plurality of teeth among the three-dimensional image of the oral cavity.
  • the electronic device (100) may generate second position information including the center of the second bounding box for each tooth of the three-dimensional image of the target oral cavity.
  • the second position information may be generated for each tooth included in the three-dimensional image of the oral cavity.
  • tooth number 6 (610), tooth number 8 (630), and tooth number 9 (640) may respectively correspond to the second bounding box A (710), the second bounding box C (730), and the second bounding box D (740).
  • a bounding box refers to a minimum rectangular outline that includes an object and is mainly used in computer graphics and data analysis.
  • a three-dimensional bounding box is an extension of this concept to a three-dimensional space. It may be defined as a three-dimensional rectangular solid that includes a specified object as narrowly as possible.
  • the first bounding box is for a library tooth
  • the second bounding box is for a tooth included in the three-dimensional image of the oral cavity.
  • the electronic device (110) may cause the second position information of the deleted tooth to include a point in the arch corresponding to the tooth number.
  • the deleted tooth may not generate a second bounding box. Therefore, the electronic device (110) may determine a point at which a tooth number corresponding to the deleted tooth is located in the arch as the second position information of the deleted tooth. For example, if tooth number 7 (620) is the deleted tooth, the electronic device (100) may determine a point (725) corresponding to tooth number 7 in the arch to include the second position information. By locating the point corresponding to the deleted tooth in the arch, the electronic device (100) may express the library tooth corresponding to the deleted tooth by overlaying it on a three-dimensional image of the oral cavity in a normal position.
  • the arch can be expressed as a curve.
  • the electronic device (100) can determine the arch based on the center of the second bounding box for each tooth of the three-dimensional image of the oral cavity.
  • the arch can be positioned and shaped to pass through the center of as many second bounding boxes as possible.
  • the curve representing the arch may not be displayed on the screen.
  • the electronic device (110) can store the second position information by changing the midpoint of the second bounding box of the prep tooth.
  • the electronic device (100) can store the second position information in which the midpoint of the second bounding box is changed based on the difference between the top height of the prep tooth and the top height of the library tooth corresponding to the prep tooth.
  • tooth number 6 (610), tooth number 8 (630), and tooth number 9 (640) may be prep teeth, respectively.
  • the midpoints of the second bounding box A (710), the second bounding box C (730), and the second bounding box D (740) may be 713, 733, and 743, respectively.
  • the size or height may be smaller than that of a normal tooth.
  • the electronic device (100) may change the second position information of the prep tooth to include a corrected point rather than the midpoint of the second bounding box. For example, the electronic device (100) may move the midpoint of the second bounding box by the amount of the difference between the uppermost height of the prep tooth and the uppermost height of the library tooth corresponding to the prep tooth.
  • the electronic device (100) may move the midpoints 713, 733, and 743 of the second bounding box A (710), the second bounding box C (730), and the second bounding box D (740), respectively, to positions 715, 735, and 745, and include the corresponding points in the second position information.
  • the height difference between point (713) and point (715) may be the difference between the top height of tooth number 6 (610) and the top height of tooth number 6 library tooth.
  • Fig. 8 is a drawing for explaining the first position information of the library teeth of the present disclosure.
  • the electronic device (100) can generate first position information including a center of a first bounding box for each of the plurality of library teeth based on each of the plurality of margin lines.
  • the first position information can mean position information of the library tooth in a three-dimensional space.
  • the first library teeth can be aligned based on the plurality of margin lines.
  • the plurality of library teeth can be arranged in the three-dimensional space to be identical to a tooth structure in a three-dimensional image of the oral cavity.
  • each library tooth can have a coordinate in the three-dimensional space.
  • a bounding box can be used to determine the coordinate of the library tooth.
  • the electronic device (100) can generate a first bounding box for each of the plurality of library teeth (e.g., the second library tooth).
  • the electronic device (100) may generate a first bounding box A (810), a first bounding box B (820), a first bounding box C (830), and a first bounding box D (840) for each of tooth number 6 (610), tooth number 7 (620), tooth number 8 (630), and tooth number 9 (640).
  • the electronic device (100) may include the midpoint of the first bounding box in the first location information.
  • the electronic device (100) may include the midpoint (815) of the first bounding box A (810) of the 6th library tooth (611) corresponding to tooth number 6 (610) in the first location information.
  • the first location information of the 7th library tooth (621) may include the center point (825) of the first bounding box B (820)
  • the first location information of the 8th library tooth (631) may include the center point (835) of the first bounding box C (830)
  • the first location information of the 9th library tooth (641) may include the center point (845) of the first bounding box D (840).
  • a library tooth corresponding to a deleted tooth may be the basis for the shape of a prosthesis corresponding to the deleted tooth.
  • tooth number 7 (620) may be the deleted tooth.
  • library tooth number 7 (621) may be the basis for the shape of a prosthesis corresponding to the deleted tooth.
  • the library teeth corresponding to the prep teeth can be the basis of the shape of the prosthesis corresponding to the prep teeth.
  • the 6th tooth (610), the 8th tooth (630), and the 9th tooth (640) can be the prep teeth.
  • the 6th library tooth (611), the 8th library tooth (631), and the 9th library tooth (641) can be the basis of the shape of the prosthesis corresponding to the above prep teeth.
  • the electronic device (100) may include connectors between the library teeth. For example, upon determining that a sixth library tooth (611), a seventh library tooth (621), an eighth library tooth (631), and a ninth library tooth (641) are connected by connectors, the electronic device (100) may represent a connector between each library tooth as a three-dimensional image. The connector may be represented based on mesh information. A bridge is one of the dental treatments used to replace a deleted tooth.
  • a bridge is usually configured as a structure that fixes an artificial tooth using an adjacent tooth as a support.
  • a bridge may include a connector that connects a prosthesis to a prosthesis.
  • a bridge may be made of metal, porcelain, or a composite material thereof, and is provided in various forms depending on the needs and oral condition of a patient.
  • FIG. 9 is an exemplary drawing illustrating how the library teeth described with reference to FIG. 8 are superimposed on the three-dimensional image of the oral cavity described with reference to FIG. 7.
  • the electronic device (100) can move a library tooth (e.g., a second library tooth) to a location in a three-dimensional image of the oral cavity of a tooth having the same tooth number relative to an origin (e.g., an origin located in the arch of the oral cavity).
  • a library tooth e.g., a second library tooth
  • an origin e.g., an origin located in the arch of the oral cavity
  • the electronic device (100) may generate a correlation between the first position information and the second position information of each of a plurality of second library teeth based on an origin located in an arch of the oral cavity.
  • the correlation between the first position information and the second position information may be generated for each tooth.
  • a correlation between the first position information and the second position information for each of teeth numbered 1, 2, . . . 32 may be generated.
  • the arch of the teeth refers to an anatomical structure related to the row of teeth in which the teeth of the upper and lower jaws are arranged, and includes a form in which the teeth are arranged continuously in an arch shape.
  • the upper and lower jaws are each divided into a maxillary arch and a mandibular arch, and each arch has a characteristic of being arranged symmetrically left and right based on a midline.
  • the origin located in the arch may be determined as a point between two central incisors in the arch.
  • the point between the teeth numbers 8 and 9 may be determined as the origin
  • the point between the teeth numbers 24 and 25 may be determined as the origin.
  • the origin may be the intersection of the maxillary arch and the midline. The origin may exist differently in the maxilla and the mandible, respectively.
  • the electronic device (1000) may generate a correlation based on the origin of the maxilla.
  • the electronic device (100) may generate a correlation based on the origin of the mandible.
  • the electronic device (100) may generate a tooth-by-tooth transformation matrix indicating a correlation between first position information of each of a plurality of library teeth with respect to the origin and second position information having the same tooth number as each of a plurality of second library teeth.
  • the tooth-by-tooth transformation matrix may be a matrix that moves a point included in the first position information to the origin and then moves the point to a point included in the second position information.
  • the transformation matrix of the tooth number 6 tooth (610) can indicate a correlation between the first position information of the library tooth (611) number 6 with respect to the origin (601) of the maxillary arch and the second position information of the tooth number 6 (610) in the three-dimensional image of the oral cavity.
  • the transformation matrix of the tooth number 8 tooth (630) can indicate a correlation between the first position information of the library tooth (631) number 8 with respect to the origin of the maxillary arch and the second position information of the tooth number 8 (630) in the three-dimensional image of the oral cavity.
  • the electronic device (100) can display a three-dimensional image of the target oral cavity and a plurality of second library teeth by overlapping them.
  • the electronic device (100) can display the plurality of second library teeth by overlapping them on a three-dimensional image of the oral cavity, each of which has the same tooth number as each of the plurality of second library teeth, in a three-dimensional space based on a tooth-by-teeth transformation matrix.
  • the electronic device (100) can apply the tooth-by-teeth transformation matrix to all points of the mesh included in the second library teeth to position all points of the mesh included in the second library teeth to the three-dimensional image of the oral cavity.
  • the electronic device (100) can apply the tooth-by-teeth transformation matrix to all points of the mesh included in the sixth library tooth (611) to move all points of the mesh included in the sixth library tooth (611) to a location where the sixth tooth is located in the three-dimensional image of the oral cavity.
  • the electronic device (100) can display the 6th library tooth (611) by overlapping the position of the 6th tooth (610) in the three-dimensional image of the oral cavity (e.g., the position based on the second position information).
  • the electronic device (100) can display the 7th, 8th, and 9th library teeth (621, 631, 641) by overlapping the positions of the 7th, 8th, and 9th teeth (620, 630, 640) in the three-dimensional image of the oral cavity, respectively.
  • the operation of displaying a plurality of library teeth by overlapping them on a three-dimensional image of the oral cavity is to display the library teeth by overlapping them while maintaining the three-dimensional image of the oral cavity, so that when the library teeth are moved, teeth of an existing three-dimensional image of the oral cavity can be displayed.
  • the electronic device (100) can display a library tooth corresponding to the deleted tooth by overlaying it on a three-dimensional image of the target oral cavity based on a tooth-specific transformation matrix corresponding to the deleted tooth. For example, if the deleted tooth is tooth number 7 (620), the electronic device (100) can move library tooth number 7 (621) to the position of tooth number 7 (620) based on the transformation matrix of tooth number 7 (620).
  • the electronic device (100) can display a library tooth corresponding to the prep tooth by overlaying it on a three-dimensional image of the target oral cavity based on a tooth-specific transformation matrix corresponding to the prep tooth. For example, if the prep tooth is tooth number 6 (610), the electronic device (100) can move library tooth number 6 (611) to the position of tooth number 6 (610) based on the transformation matrix of tooth number 6 (610).
  • the electronic device (100) may display connectors between the plurality of library teeth based on a determination that the plurality of library teeth corresponding to the plurality of adjacent teeth are connected by connectors. For example, the electronic device (100) may display a connector (910) to connect between the seventh library tooth (621) and the eighth library tooth (631) based on a determination that the seventh library tooth (621) and the eighth library tooth (631) are connected by connectors.
  • FIG. 10 is a flowchart illustrating a method in which a server displays library teeth by overlaying them on a three-dimensional image of an oral cavity in the present disclosure.
  • the server can place a three-dimensional image of the target oral cavity in a three-dimensional space (S1010).
  • the server may receive an input for selecting a plurality of teeth in a target oral cavity (S1020).
  • the server can place a first library tooth corresponding to a three-dimensional image of a target oral cavity in a three-dimensional space (S1030).
  • the server can move a plurality of second library teeth in a three-dimensional space so that a plurality of second library teeth corresponding to a plurality of teeth among the first library teeth are placed in a space corresponding to a plurality of teeth among the three-dimensional image of the target oral cavity (S1040).
  • the server can display a three-dimensional image of the target oral cavity and a plurality of second library teeth by overlapping them (S1050).
  • a computer program implemented as a code may include at least one instruction that causes a processor of the computing device to perform operations according to various embodiments of the present disclosure when loaded into a memory of the computing device.
  • Such a computer-readable recording medium may be, for example, a removable recording medium (e.g., a CD, a DVD, a Blu-ray disc, a USB storage device, a removable hard disk, etc.) or a fixed recording medium (e.g., a ROM, a RAM, a computer-attached hard disk, etc.).
  • the recording medium may be a non-transitory recording medium.
  • a non-transitory recording medium means a tangible medium that exists regardless of whether data is stored semi-permanently or temporarily, and may not include a signal that is transmitted transitively.
  • a computer program recorded on a recording medium can be transmitted to another computing device through a network such as the Internet and installed on the other computing device, thereby allowing the computer program to be used on the other computing device.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

본 개시의 방법은 대상 구강의 복수의 치아를 선택하는 입력을 수신하는 단계; 제1 라이브러리 치아를 3차원 공간 상에 배치하는 단계; 제1 라이브러리 치아 중 복수의 치아에 대응하는 복수의 제2 라이브러리 치아가 대상 구강의 3차원 이미지 중 복수의 치아에 대응하는 공간에 배치되도록, 복수의 제2 라이브러리 치아를 3차원 공간 상에서 이동시키는 단계; 및 대상 구강의 3차원 이미지 및 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 단계를 포함할 수 있다.

Description

구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체
본 개시는 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체에 관한 것이다.
구강의 3차원 이미지는 치아 및 구강 혹은 그것을 본뜨거나 재구성한 대상을 3차원 스캐너로 스캔한 데이터를 의미한다. 인레이(in-ray), 온레이(on-ray), 크라운(crown), 임플란트(implant) 등의 보철 치료는 물론, 교정 등의 다른 치과 치료를 하는 과정에서 환자의 구강의 3차원 이미지를 획득하여 보철물 혹은 임플란트 디자인, 교정기 제작 등에 이용할 수 있다.
종래에는 알지네이트 등을 이용하여 구강을 직접 본을 뜬 후 수작업으로 보철물, 임플란트 및 교정기 등을 제작하는 방식이 주로 이용되었다. 최근에는 3차원 스캐너를 이용하여 환자의 3차원 구강 스캔 데이터를 획득하고, 컴퓨터를 이용하여 보철물, 임플란트 및 교정기 등을 디자인하고, 이를 3차원 프린팅하는 디지털 방식의 이용이 확산되고 있다.
본 개시에서 해결하고자 하는 과제는 구강의 3차원 이미지에 사용자가 선택한 복수의 제1 라이브러리 치아를 중첩하여 디스플레이하는 방법을 제공하는 것이다.
본 개시에서 해결하고자 하는 과제는 구강의 3차원 이미지에서 치아 영역과 치은 영역을 구분하는 세그멘테이션 및/또는 마진 라인을 이용하여 복수의 라이브러리 치아의 위치 정보를 결정하고 라이브러리 치아를 정렬하는 방법을 제공하는 것이다.
본 개시에서 해결하고자 하는 과제는 복수의 라이브러리 치아를 구강의 3차원 이미지에 중첩하여 표시함으로써, 사용자가 복수의 라이브러리 치아를 화면 전환 없이 편집할 수 있도록 하는 방법을 제공하는 것이다.
본 개시에서 해결하고자 하는 과제는 환자의 실제 치아 데이터(구강의 3차원 이미지)를 이용하여 커스터마이즈된 라이브러리 치아를 형성하는 방법을 제공하는 것이다.
본 개시에서 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 다른 과제들은 아래의 기재로부터 본 개시의 기술 분야에서의 통상의 기술자에게 명확하게 이해될 수 있다.
일 실시예에서, 전자 장치에 의해 수행되는 이미지 처리 방법은, 대상 구강의 3차원 이미지를 3차원 공간 상에 배치하는 단계; 대상 구강의 복수의 치아를 선택하는 입력을 수신하는 단계; 대상 구강의 3차원 이미지에 대응하는 제1 라이브러리 치아를 3차원 공간 상에 배치하는 단계; 제1 라이브러리 치아 중 복수의 치아에 대응하는 복수의 제2 라이브러리 치아가 대상 구강의 3차원 이미지 중 복수의 치아에 대응하는 공간에 배치되도록, 복수의 제2 라이브러리 치아를 3차원 공간 상에서 이동시키는 단계; 및 대상 구강의 3차원 이미지 및 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 방법은 복수의 치아에 제각기 대응하는 복수의 마진 라인을 획득하는 단계를 더 포함하고, 제1 라이브러리 치아를 3차원 공간 상에 배치하는 단계는, 복수의 마진 라인에 기초하여 제1 라이브러리 치아를 3차원 공간 상에 배치하는 단계를 포함하고, 복수의 마진 라인 각각은 대상 구강의 3차원 이미지의 치은 영역에서 온전한 치아가 노출되기 시작할 경계를 나타낼 수 있다.
일 실시예에서, 복수의 마진 라인을 획득하는 단계는 세그멘테이션의 결과로 획득한 치아 영역과 치은 영역 사이의 경계를 기초로 복수의 마진 라인을 획득하는 단계; 또는 사용자 입력에 기초하여 복수의 마진 라인을 획득하는 단계를 포함할 수 있다.
일 실시예에서, 제1 라이브러리 치아를 3차원 공간 상에 배치하는 단계는, 세그멘테이션의 결과로 획득한 치아 영역에 대응하는 치아 번호를 식별하는 단계; 및 치아 번호에 기초하여 제1 라이브러리 치아를 3차원 공간 상에 배치하는 단계를 포함할 수 있다.
일 실시예에서, 방법은 제1 라이브러리 치아를 생성하는 단계를 더 포함할 수 있다.
일 실시예에서, 제1 라이브러리 치아를 생성하는 단계는, 대상 구강의 3차원 이미지에 포함된 치아 영역 및 치은 영역 중 치아 영역에 대응하는 제1 라이브러리 치아의 적어도 일부의 메쉬 정보에 기초하여 치은 영역의 방향으로 제1 라이브러리 치아를 증가시키는 단계를 포함할 수 있다.
일 실시예에서, 제1 라이브러리 치아를 생성하는 단계는, 증가된 제1 라이브러리 치아에서 증가된 영역을 복수의 마진 라인에 기초하여 가공하는 단계를 더 포함할 수 있다.
일 실시예에서, 대상 구강의 복수의 치아를 선택하는 입력을 수신하는 단계는, 대상 구강의 복수의 치아 각각에 대한 치아 번호를 선택하는 입력을 수신하는 단계를 포함할 수 있다.
일 실시예에서, 복수의 제2 라이브러리 치아를 3차원 공간 상에서 이동시키는 단계는, 복수의 마진 라인 각각에 기초하여 복수의 제2 라이브러리 치아 각각의 치아별 제1 바운딩 박스의 중점을 포함하는 제1 위치 정보를 생성하는 단계; 대상 구강의 3차원 이미지의 치아별 제2 바운딩 박스의 중점을 포함하는 제2 위치 정보를 생성하는 단계; 및 대상 구강의 악궁에 위치한 원점을 기준으로 복수의 제2 라이브러리 치아 각각의 제1 위치 정보와 제2 위치 정보 사이의 상관 관계를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상관 관계를 생성하는 단계는, 원점을 기준으로 복수의 제2 라이브러리 치아 각각의 제1 위치 정보와 복수의 제2 라이브러리 치아 각각과 동일한 치아 번호를 가지는 제2 위치 정보 사이의 상관 관계를 지시하는 치아별 변환 행렬을 생성하는 단계를 포함할 수 있다.
일 실시예에서, 대상 구강의 3차원 이미지 및 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 단계는, 치아별 변환 행렬에 기초하여 복수의 제2 라이브러리 치아를 3차원 공간 상에서 복수의 제2 라이브러리 치아 각각과 동일한 치아 번호를 가지는 대상 구강의 3차원 이미지에 중첩하여 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 원점은 악궁에서 2개의 중절치 사이의 점일 수 있다.
일 실시예에서, 대상 구강의 3차원 이미지 및 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 단계는, 삭제된 치아에 대응하는 치아별 변환 행렬에 기초하여 삭제된 치아에 대응하는 라이브러리 치아를 대상 구강의 3차원 이미지에 중첩하여 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 삭제된 치아에 대응하는 치아별 변환 행렬은, 치아 번호에 대응하는 악궁에서의 점을 포함하는 제2 위치 정보에 기초하여 생성되고, 삭제된 치아에 대응하는 라이브러리 치아는 삭제된 치아에 대응하는 보철물을 포함할 수 있다.
일 실시예에서, 대상 구강의 3차원 이미지 및 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 단계는, 프렙(Prep) 치아에 대응하는 치아별 변환 행렬에 기초하여 프렙 치아에 대응하는 라이브러리 치아를 대상 구강의 3차원 이미지에 중첩하여 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 프렙 치아에 대응하는 치아별 변환 행렬은, 프렙 치아의 최상단 높이와 프렙 치아에 대응하는 라이브러리 치아의 최상단 높이의 차이에 기초하여 제2 바운딩 박스의 중점이 변경된 제2 위치 정보에 기초하여 생성되고, 프렙 치아에 대응하는 라이브러리 치아는 프렙 치아에 대응하는 보철물을 포함할 수 있다.
일 실시예에서, 대상 구강의 3차원 이미지 및 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 단계는, 복수의 치아에 대응하는 복수의 제2 라이브러리 치아가 커넥터로 연결되었다는 결정에 따라, 복수의 제2 라이브러리 치아 사이에 커넥터를 표시하는 단계를 포함할 수 있다.
다른 실시예에서, 전자 장치는 프로세서; 구강 스캐너와 통신 연결되는 네트워크 인터페이스; 디스플레이; 메모리; 및 메모리에 로드(load)되고, 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 컴퓨터 프로그램은, 대상 구강의 3차원 이미지를 3차원 공간 상에 배치하고, 대상 구강의 복수의 치아를 선택하는 입력을 수신하고, 대상 구강의 3차원 이미지에 대응하는 제1 라이브러리 치아를 3차원 공간 상에 배치하고, 제1 라이브러리 치아 중 복수의 치아에 대응하는 복수의 제2 라이브러리 치아 가 대상 구강의 3차원 이미지 중 복수의 치아에 대응하는 공간에 배치되도록, 복수의 제2 라이브러리 치아를 3차원 공간 상에서 이동시키고, 그리고 대상 구강의 3차원 이미지 및 복수의 제2 라이브러리 치아를 중첩하여 디스플레이할 수 있다.
다른 실시예에서, 프로세서에 의해 실행되기 위한 컴퓨터 프로그램을 기록한 비일시적 컴퓨터 판독 가능 기록 매체에 있어서, 컴퓨터 프로그램은, 대상 구강의 3차원 이미지를 3차원 공간 상에 배치하는 인스트럭션; 대상 구강의 복수의 치아를 선택하는 입력을 수신하는 인스트럭션; 대상 구강의 3차원 이미지에 대응하는 제1 라이브러리 치아를 3차원 공간 상에 배치하는 인스트럭션; 제1 라이브러리 치아 중 복수의 치아에 대응하는 복수의 제2 라이브러리 치아 가 대상 구강의 3차원 이미지 중 복수의 치아에 대응하는 공간에 배치되도록, 복수의 제2 라이브러리 치아를 3차원 공간 상에서 이동시키는 인스트럭션; 및 대상 구강의 3차원 이미지 및 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 인스트럭션을 포함할 수 있다.
본 개시의 다양한 실시예에 따르면, 구강의 3차원 이미지에 사용자가 선택한 복수의 제1 라이브러리 치아를 중첩하여 디스플레이하는 방법을 제공할 수 있다.
본 개시의 다양한 실시예에 따르면, 구강의 3차원 이미지에서 차원 이미지에서 치아 영역과 치은 영역을 구분하는 세그멘테이션 및/또는 마진 라인을 이용하여 복수의 라이브러리 치아의 위치 정보를 결정하고 라이브러리 치아를 정렬하는 방법을 제공할 수 있다.
본 개시의 다양한 실시예에 따르면, 복수의 라이브러리 치아를 구강의 3차원 이미지에 중첩하여 표시함으로써, 사용자가 복수의 라이브러리 치아를 화면 전환 없이 편집할 수 있도록 하는 방법을 제공할 수 있다.
본 개시의 다양한 실시예에 따르면, 환자의 실제 치아 데이터(구강의 3차원 이미지)를 이용하여 커스터마이즈된 라이브러리 치아를 형성하는 방법을 제공할 수 있다.
도 1은 본 개시의 몇몇 실시예에 따른 스캐닝 환경을 도시한 예시적인 도면이다.
도 2는 도 1에 도시된 전자 장치 및 구강 스캐너 각각을 나타내는 예시적인 블록 도면이다.
도 3은 도 2를 참조하여 설명된 구강 스캐너의 예시적인 도면이다.
도 4a 내지 4b는 본 개시의 대상 구상의 3차원 이미지를 설명하기 위한 도면이다.
도 4c는 본 개시의 제1 라이브러리 치아를 설명하기 위한 도면이다.
도 5는 본 개시의 마진 라인을 설명하기 위한 도면이다.
도 6은 본 개시의 복수의 치아를 선택하는 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 구강의 3차원 이미지에서 제2 위치 정보를 설명하기 위한 도면이다.
도 8은 본 개시의 라이브러리 치아의 제1 위치 정보를 설명하기 위한 도면이다.
도 9는 도 8을 참조하여 설명된 라이브러리 치아가 도 7을 참조하여 설명된 구강의 3차원 이미지에 중첩되는 방법을 설명하는 예시적인 도면이다.
도 10은 본 개시에서 서버가 라이브러리 치아를 구강의 3차원 이미지에 중첩하여 표시하는 방법을 설명하는 흐름도이다.
본 개시의 실시예들은 본 개시의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 따라서, 본 개시에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것은 아니다.
본 개시에 사용되는 모든 기술적 용어들 및 과학적 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 개시에 사용되는 모든 용어들은 본 개시를 더욱 명확히 설명하기 위한 목적으로 선택된 것이며 본 개시에 따른 권리범위를 제한하기 위해 선택된 것이 아니다.
본 개시에서 사용되는 "포함하는", "구비하는", "갖는" 등과 같은 표현은, 해당 표현이 포함되는 어구 또는 문장에서 달리 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 개시에서 기술된 단수형의 표현은 달리 언급하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구범위에 기재된 단수형의 표현에도 마찬가지로 적용된다. 또한, 본 개시에서 사용되는 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용되며, 해당 구성요소들의 순서 또는 중요도를 한정하는 것은 아니다.
본 개시에서 사용되는 용어 "부"는, 소프트웨어, 또는 FPGA(field-programmable gate array), ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미한다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니고, "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, "부"가 의미할 수 있는 예시들로써, "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함한다. 또한, 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 더 분리될 수 있다.
본 개시에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되며, 이 표현은 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.
본 개시에서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 표현된 경우, 어떤 구성요소가 다른 구성요소에 직접적으로 연결될 수 있거나 접속될 수 있는 것으로, 또는 새로운 또 다른 구성요소를 매개로 하여 연결될 수 있거나 접속될 수 있는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 개시의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
도 1은 본 개시의 몇몇 실시예에 따른 스캐닝 환경을 도시한 예시적인 도면이다. 구체적으로, 도 1에 도시된 스캐닝 환경은, 본 개시의 몇몇 실시예 따른 구강 스캐너(200)를 이용하여 환자의 구강에 대한 이미지를 획득하는 환경이며, 여기서, 구강 스캐너(200)는 대상체(20)(예: 환자)의 구강 내의 이미지를 획득하기 위한 치과용 의료 기기일 수 있다.
도 1에 도시된 것처럼 사용자(10)(예: 치과 의사, 치과위생사)가 구강 스캐너(200)를 이용하여 대상체(20)로부터 대상체(20)의 구강에 대한 이미지를 획득할 수 있다. 다른 예로써, 사용자(10)가 대상체(20)의 구강의 모양을 본뜬 진단 모델(예: 석고 모델, 인상(impression) 모델)로부터 대상체(20)의 구강에 대한 이미지를 획득할 수도 있다. 이하에서는 설명의 편의를 위하여, 대상체(20)의 구강에 대한 이미지를 획득하는 일례를 기준으로 설명하겠으나, 이러한 예시로 인하여 본 개시의 범위가 제한되지 않는다. 또한, 이미지 획득의 대상이 되는 부위는 대상체(20)의 구강에 한정되는 것은 아니고, 얼마든지 대상체(20)의 다른 부위(예: 대상체(20)의 귀)에 대한 이미지를 획득하는 것도 가능하다.
이하, 도 1에 도시된 구성요소의 동작에 대해 구체적으로 설명하기로 한다.
도 1에 도시된 전자 장치(100)는, 구강 스캐너(200)로부터 대상체(20)의 구강에 대한 2차원 이미지를 수신할 수 있다. 여기서, 전자 장치(100)는, 구강 스캐너(200)와 유선 또는 무선 통신 네트워크를 통해 통신할 수 있다. 또한, 전자 장치(100)는, 수신한 구강에 대한 2차원 이미지에 기초하여 구강의 내부 구조를 3차원적으로 모델링(modeling)하여 구강의 3차원 이미지를 생성할 수 있으며, 이와 관련된 구체적인 동작은 추후 도 4를 참조하여 설명하기로 한다. 이렇게 생성된 구강의 3차원 이미지는, 전자 장치(100)의 디스플레이를 통해 사용자(10) 또는 대상체(20)에게 표시될 수 있다. 이때, 사용자(10)는 전자 장치(100)의 디스플레이에 표시된 3차원 이미지를 참조하여, 대상체(20)에게 적절한 진료 서비스 등을 제공할 수 있다.
몇몇 실시예에서 전자 장치(100)는, 구강 스캐너(200)가 생성한 구강의 3차원 이미지를 수신할 수 있다. 여기서, 구강 스캐너(200)는 대상체(20)의 구강을 스캔하여 구강에 대한 2차원 이미지를 획득하고, 획득한 구강에 대한 2차원 이미지에 기초하여 구강의 3차원 이미지를 생성할 수 있다. 즉, 3차원 이미지의 생성 동작이 처리되는 위치와 무관하게 본 개시의 범위에 포함됨을 유의해야 한다.
또한, 전자 장치(100)는, 클라우드 서버(미도시)와 통신 연결될 수 있다. 이 경우, 전자 장치(100)는 대상체(20)의 구강에 대한 2차원 이미지 또는 구강의 3차원 이미지를 클라우드 서버에 전송할 수 있고, 클라우드 서버는 전자 장치(100)로부터 수신한 대상체(20)의 구강에 대한 2차원 이미지 또는 구강에 대한 3차원 이미지를 저장할 수 있다.
지금까지 설명된 전자 장치(100)는 컴퓨팅 장치로 구현될 수 있으며, 이러한 컴퓨팅 장치의 일례에 대해서는 추후 도 2를 참조하여 구체적으로 설명하기로 한다.
도 1에 도시된 구강 스캐너(200)는, 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 스캔 거리와 스캔 각도를 사용자(10)가 자유롭게 조절할 수 있는 핸드헬드형 스캐너(handheld scanner)일 수 있다.
이러한 구강 스캐너(200)는, 구강 내에 삽입되어 비 접촉식으로 구강 내부를 스캐닝함으로써, 구강에 대한 이미지를 획득할 수 있다. 구강에 대한 이미지는 적어도 하나의 치아, 치은 또는 구강 내에 삽입 가능한 인공 구조물(예: 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 의치(denture), 구강 내 삽입되는 교정 보조 도구 등)을 포함할 수 있다. 구체적으로, 구강 스캐너(200)는 광원(또는 프로젝터)을 이용하여 대상체(20)의 구강에 광을 조사할 수 있고, 대상체(20)의 구강으로부터 반사된 광을 카메라(또는, 적어도 하나의 이미지 센서)를 통해 수신할 수 있다.
또한, 구강 스캐너(200)는 카메라를 통해 수신한 정보에 기초하여, 대상체(20)의 구강에 대한 표면 이미지를 2차원 이미지로서 획득할 수 있다. 여기서, 대상체(20)의 구강에 대한 표면 이미지는 대상체(20)의 치아, 치은, 인공 구조물, 볼, 혀 또는 입술 중 적어도 하나를 포함할 수 있다.
앞서 설명된 바와 같이, 몇몇 실시예에서 구강 스캐너(200)는, 구강을 스캔하여 구강에 대한 2차원 이미지를 획득하고, 획득한 구강에 대한 2차원 이미지에 기초하여 구강의 3차원 이미지를 생성할 수도 있다.
지금까지 설명된 구강 스캐너(200)는 컴퓨팅 장치로 구현될 수 있으며, 이러한 컴퓨팅 장치의 일례에 대해서는 이하 도 2를 참조하여 구체적으로 설명하기로 한다.
도 2는 도 1에 도시된 전자 장치(100) 및 구강 스캐너(200) 각각을 나타내는 예시적인 블록 도면이다. 도 2에 도시된 블록 도면은 본 개시의 목적을 달성하기 위한 바람직한 실시예를 도시하고 있을 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있다. 또한, 도 2에 도시된 블록 도면의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로써, 복수의 서로 다른 구성 요소가 실제 물리적 환경에서는 통합되는 형태로 구현될 수도 있음을 유의해야 한다. 이하, 블록 도면에 도시된 각 구성 요소에 대해 구체적으로 설명하기로 한다.
도 2에 도시된 전자 장치(100)는, 하나 이상의 프로세서(101), 하나 이상의 메모리(103), 통신 회로(105), 디스플레이(107) 및/또는 입력 장치(109)를 포함할 수 있다. 앞서 설명된 바와 같이 얼마든지, 전자 장치(100)에 포함된 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 전자 장치(100)에 추가될 수 있다. 또한, 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 이러한, 전자 장치(100) 내의 적어도 일부의 구성요소들은 버스(bus), GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.
전자 장치(100)의 하나 이상의 프로세서(101)는, 전자 장치(100)의 각 구성요소들(예: 메모리(103))의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성일 수 있다. 하나 이상의 프로세서(101)는, 예를 들어, 전자 장치(100)의 구성요소들과 작동적으로 연결될 수 있다. 또한, 하나 이상의 프로세서(101)는 전자 장치(100)의 다른 구성요소로부터 수신된 명령 또는 데이터를 하나 이상의 메모리(103)에 로드(load)하고, 하나 이상의 메모리(103)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다.
다음으로, 전자 장치(100)의 하나 이상의 메모리(103)는, 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 구체적인 예로써, 하나 이상의 메모리(103)는 프로세서(101)의 동작에 대한 인스트럭션들을 컴퓨터 프로그램으로서, 저장할 수 있다. 또한, 하나 이상의 메모리(103)는 기계 학습 알고리즘에 따라 구축된 상관 모델들을 저장할 수 있다. 또한, 하나 이상의 메모리(103)는 구강 스캐너(200)로부터 수신되는 데이터(예: 구강에 대한 2차원 이미지, 구강의 3차원 이미지)를 저장할 수 있다.
다음으로, 전자 장치(100)의 통신 회로(네트워크 인터페이스, 105)는, 외부 장치(예: 구강 스캐너(200), 클라우드 서버(미도시))와 유선 또는 무선 통신 채널을 설립하고, 그 외부 장치와 다양한 데이터를 송수신할 수 있다. 몇몇 실시예에서, 통신 회로(105)는 외부 장치와 유선으로 통신하기 위해서, 외부 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 이 경우, 통신 회로(105)는 적어도 하나의 포트를 통하여 유선 연결된 외부 장치와 통신을 수행할 수 있다. 다른 몇몇 실시예에서, 통신 회로(105)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성될 수 있다. 또 다른 몇몇 실시예에서, 통신 회로(105)는 근거리 통신 모듈을 포함하여 근거리 통신(예를 들면, Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 장치와 데이터 송수신을 할 수 있다. 또 다른 몇몇 실시예에서, 통신 회로(105)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 여기서 비접촉식 통신은, 예를 들면, NFC(near field communication) 통신, RFID(radio frequency identification) 통신 또는 MST(magnetic secure transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다. 앞서 설명된 다양한 예시들 외에도, 외부 장치와 통신하기 위한 공지된 다양한 방식으로 전자 장치(100)가 구현될 수 있으며, 앞서 설명된 예시들에 본 개시의 범위가 제한되는 것은 아님을 유의해야 한다.
다음으로, 전자 장치(100)의 디스플레이(107)는, 프로세서(101)의 제어에 기반하여 다양한 화면을 표시할 수 있다. 여기서, 프로세서(101)의 제어에 기반하여, 구강 스캐너(200)로부터 수신한 대상체(20)의 구강에 대한 2차원 이미지 및/또는 구강의 내부 구조를 3차원적으로 모델링한 구강에 대한 3차원 이미지는 디스플레이(107)를 통해 표시될 수 있다. 이때, 구강에 대한 2차원 이미지 및/또는 3차원 이미지를 디스플레이(107)에 표시하기 위해서, 예를 들어, 웹 브라우저(Web browser) 또는 전용 애플리케이션이 전자 장치(100)에 설치될 수 있다. 몇몇 실시예에서, 전술한 웹 브라우저 또는 전용 애플리케이션은, 구강에 대한 2차원 이미지 및/또는 3차원 이미지의 편집 기능, 저장 기능 및 삭제 기능을 사용자 인터페이스를 통해 사용자(10)에게 제공하도록 구현될 수 있다.
다음으로, 전자 장치(100)의 입력 장치(109)는, 전자 장치(100)의 구성요소(예: 프로세서(101))에 사용될 명령 또는 데이터를 전자 장치(100)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(109)는, 예를 들면, 마이크, 마우스 또는 키보드 등을 포함할 수 있다. 몇몇 실시예에서, 입력 장치(109)는 디스플레이(107)와 결합되어 다양한 외부 객체의 접촉 또는 근접을 인식할 수 있는 터치 센서 패널의 형태로 구현될 수 있다. 다만, 앞서 설명된 예시들에 본 개시의 범위가 제한되는 것은 아니고, 공지된 다양한 입력 장치(109)가 사용자의 편의를 위해 얼마든지 본 개시의 범위에 포함될 수 있다.
도 2에 도시된 구강 스캐너(200)는, 프로세서(201), 메모리(202), 통신 회로(203), 광원(204), 카메라(205) 및/또는 입력 장치(206)를 포함할 수 있다. 앞서 설명된 바와 같이 얼마든지, 구강 스캐너(200)에 포함된 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 구강 스캐너(200)에 추가될 수 있다. 또한, 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 이러한, 구강 스캐너(200) 내의 적어도 일부의 구성요소들은 버스(bus), GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.
구강 스캐너(200)의 프로세서(201)는, 구강 스캐너(200)의 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로써, 구강 스캐너(200)의 구성요소들과 작동적으로 연결될 수 있다. 또한, 프로세서(201)는 구강 스캐너(200)의 다른 구성요소로부터 수신된 명령 또는 데이터를 메모리(202)에 로드하고, 메모리(202)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다.
다음으로, 구강 스캐너(200)의 메모리(202)는, 앞서 설명된 프로세서(201)의 동작에 대한 인스트럭션들을 저장할 수 있다.
다음으로, 구강 스캐너(200)의 통신 회로(203)는, 외부 장치(예: 전자 장치(100))와 유선 또는 무선 통신 채널을 설립하고, 외부 장치와 다양한 데이터를 송수신할 수 있다. 몇몇 실시예에서, 통신 회로(203)는 외부 장치와 유선으로 통신하기 위해서, 외부 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 이 경우, 통신 회로(203)는 적어도 하나의 포트를 통하여 유선 연결된 외부 장치와 통신을 수행할 수 있다. 다른 몇몇 실시예에서, 통신 회로(203)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성할 수 있다. 또 다른 몇몇 실시예에서, 통신 회로(203)는 근거리 통신 모듈을 포함하여 근거리 통신(예를 들면, Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 장치와 데이터 송수신을 할 수 있다. 또 다른 몇몇 실시예에서, 통신 회로(203)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 여기서, 비접촉식 통신은, 예를 들면, NFC(near field communication) 통신, RFID(radio frequency identification) 통신 또는 MST(magnetic secure transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다. 앞서 설명된 다양한 예시들 외에도, 외부 장치와 통신하기 위한 공지된 다양한 방식으로 구강 스캐너(200)가 구현될 수 있으며, 앞서 설명된 예시들에 본 개시의 범위가 제한되는 것은 아님을 유의해야 한다.
다음으로, 구강 스캐너(200)의 광원(204)은, 대상체(20)의 구강을 향해 광을 조사할 수 있다. 예를 들어, 광원(204)으로부터 조사되는 광은 소정 패턴(예: 서로 다른 색상의 직선 무늬가 연속적으로 나타나는 스트라이프 패턴)을 갖는 구조광일 수 있다. 여기서, 구조광의 패턴은, 예를 들어, 패턴 마스크 또는 DMD(digital micro-mirror device)를 이용하여 생성될 수 있지만, 이에 제한되는 것은 아니다.
다음으로, 구강 스캐너(200)의 카메라(205)는, 대상체(20)의 구강에 의해 반사된 반사광을 수신함으로써, 대상체(20)의 구강의 3차원 이미지를 획득할 수 있다. 여기서, 카메라(205)는, 예를 들어, 광 삼각 측량 방식에 따라서 3차원 이미지를 구축하기 위하여, 좌안 시야에 대응되는 좌측 카메라 및 우안 시야에 대응되는 우측 카메라를 포함할 수 있다. 또한 여기서, 카메라(205)는, CCD 센서 또는 CMOS 센서와 같은 적어도 하나의 이미지 센서를 포함할 수 있다.
다음으로, 구강 스캐너(200)의 입력 장치(206)는, 구강 스캐너(200)를 제어하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 입력 장치(206)는 사용자(10)의 푸시 조작을 수신하는 버튼, 사용자(10)의 터치를 감지하는 터치 패널, 마이크를 포함하는 음성 인식 장치를 포함할 수 있다. 이때, 사용자(10)는 입력 장치(206)를 이용하여 스캐닝 시작 또는 정지를 제어할 수 있다.
입력 장치(206)를 통해 제어되는 구강 스캐너(200)의 동작을 보다 구체적으로 설명하면, 구강 스캐너(200)는, 구강 스캐너(200)의 입력 장치(206) 또는 전자 장치(100)의 입력 장치(206)를 통해 스캔을 시작하기 위한 사용자 입력을 수신하고, 구강 스캐너(200)의 프로세서(201) 또는 전자 장치(100)의 프로세서(201)에서의 처리에 따라, 스캔을 시작할 수 있다. 여기서, 사용자(10)가 구강 스캐너(200)를 통해 대상체(20)의 구강 내부를 스캔하는 경우, 구강 스캐너(200)는 대상체(20)의 구강에 대한 2차원 이미지를 생성할 수 있고, 실시간으로 대상체(20)의 구강에 대한 2차원 이미지를 전자 장치(100)로 전송할 수 있다. 이때, 전자 장치(100)는 수신한 대상체(20)의 구강에 대한 2차원 이미지를 디스플레이(107)를 통해 표시할 수 있다. 또한, 전자 장치(100)는 대상체(20)의 구강에 대한 2차원 이미지에 기초하여, 대상체(20)의 구강의 3차원 이미지를 생성(구축)할 수 있으며, 구강에 대한 3차원 이미지를 디스플레이(107)를 통해 표시할 수 있다. 이때, 전자 장치(100)는 생성되고 있는 3차원 이미지를 실시간으로 디스플레이(107)를 통해 표시할 수도 있다.
다음으로, 구강 스캐너(200)의 센서 모듈(207)은, 구강 스캐너(200)의 작동 상태 또는 외부의 환경 상태(예: 사용자의 동작)을 감지하고, 감지된 상태에 대응하는 전기 신호를 생성할 수 있다. 센서 모듈(207)은, 예를 들어, 자이로 센서, 가속도 센서, 제스처 센서, 근접 센서 또는 적외선 센서 중 적어도 하나를 포함할 수 있다. 여기서, 사용자(10)는 센서 모듈(207)을 이용하여 스캐닝 시작 도는 정지를 제어할 수 있다. 구체적인 예를 들어, 사용자(10)가 구강 스캐너(200)를 손에 쥐고 움직이는 경우, 구강 스캐너(200)는 센서 모듈(207)을 통해 측정된 각속도가 설정 값을 초과할 때, 프로세서(201) 스캐닝 동작을 시작하도록 제어할 수 있다.
이하 도 3을 참조하여, 지금까지 설명된 구강 스캐너(200)를 보다 구체적으로 설명하기로 한다. 도 3은 도 2를 참조하여 설명된 구강 스캐너(200)의 예시적인 도면이다.
도 3에 도시된 구강 스캐너(200)는, 본체(210) 및 프로브 팁(220)을 포함할 수 있다. 여기서, 구강 스캐너(200)의 본체(210)는, 사용자(10)가 손으로 그립하여 사용하기 용이한 모양으로 형성될 수 있고, 프로브 팁(220)은, 대상체(20)의 구강으로 인입 및 인출이 용이한 모양으로 형성될 수 있다. 또한, 본체(210)는 프로브 팁(220)과 결합 및 분리될 수 있다. 또한, 본체(210) 내부에는, 도 2에서 설명된 구강 스캐너(200)의 구성요소들이 배치될 수 있다. 이러한, 본체(210)의 일측 단부에는 광원(204)로부터 출력된 광이 대상체(20)에 조사될 수 있도록 개구된 개구부가 형성될 수 있다. 이렇게 개구부를 통해 조사된 광은, 대상체(20)에 의해 반사되어 다시 개구부를 통해 유입될 수 있다. 여기서, 개구부를 통해 유입된 반사광은 카메라에 의해 캡쳐되어 대상체(20)에 대한 이미지를 생성할 수 있다. 또한, 사용자(10)는 구강 스캐너(200)의 입력 장치(206)(예: 버튼)를 이용하여 스캔을 시작할 수 있다. 예를 들어, 사용자(10)가 입력 장치(206)를 터치하거나 가압하는 경우, 광원(204)으로부터 광이 대상체(20)에 조사될 수 있다.
지금까지 도 1 내지 도 3을 참조하여, 본 개시의 몇몇 실시예에 따른 스캐닝 환경 및 그에 포함된 구성요소들을 구체적으로 설명하였다.
본 개시에서 라이브러리 치아는 보철물, 임플란트, 교정기 등을 제조하기 위해 사용되는 샘플 치아(표준 치아)이며, 전형적인 치아 형태를 가질 수 있다. 라이브러리 치아는 3차원 이미지로 표현되는 것이며, 메쉬 정보에 기초하여 디스플레이될 수 있다. 라이브러리 치아는 각 치아 번호 별로 1개의 샘플 치아(표준 치아)를 가질 수 있다. 각각의 샘플 치아는 해당 치아 번호의 자연 치아 형상의 일반적인 특징들을 포함할 수 있다. 예를 들어, 환자의 특정 치아가 유실되거나 치료를 위해 제거되어 이를 대신하는 보철물을 만들어야 하는 경우, 대응하는 샘플 치아의 형상을 활용하면 자연스러운 형상의 보철물을 효율적으로 제작할 수 있다. 또한, 구강의 3차원 이미지는 구강 스캐너(200)에 의해 촬영된 것으로, 메쉬의 완성도가 다소 낮을 수 있으며, 메쉬의 완성도가 낮은 경우 3D 프린팅으로 보철물, 임플란트, 교정기 등을 제조하기에 부적절할 수 있다. 반대로, 라이브러리 치아는 메쉬의 완성도가 높은 치아 모델일 수 있다. 따라서, 라이브러리 치아를 변형하여 보철물, 임플란트, 교정기 등을 제조하는 경우, 3D 프린팅 방식을 이용하기에 매우 적합할 수 있다. 라이브러리 치아를 환자의 구강의 3차원 이미지에 정렬할 경우, 라이브러리 치아는 디지털 방식으로 보철물, 임플란트, 교정기 등을 제조하기에 적절한 중간 모델이 될 수 있다.
다른 실시예에서, 라이브러리 치아는 구강의 3차원 이미지에 기초하여 생성될 수도 있다. 라이브러리 치아는 구강의 3차원 이미지에서 세그멘테이션을 통해 구분된 치은 영역과 치아 영역 중 치아 영역에 대응하는 메쉬 정보에 기초하여 생성될 수 있다. 이를 통해, 전자 장치(100)는 실제 환자의 치아와 유사한 라이브러리 치아를 생성할 수 있다.
다른 실시예에서, 라이브러리 치아는 특정 대상의 과거 구강의 3차원 이미지에 기초하여 생성될 수 있다. 예를 들어, 환자의 특정 치아가 유실 또는 제거되기 전에 획득한 구강의 3차원 이미지가 메모리(103)에 저장되어 있을 수 있다. 전자 장치(100)는 이러한 온전한 특정 치아를 포함하는 구강의 3차원 이미지에 기초하여 라이브러리 치아를 생성할 수도 있다. 이러한 경우, 라이브러리 치아는 해당 환자의 자연 치아 형상을 그대로 포함할 수 있다.
라이브러리 치아는 보철물, 임플란트, 교정기, 치과 치료용 기구 등의 제작에 활용될 수 있으므로, 보철물, 임플란트, 교정기, 치과 치료용 기구 등의 제작을 위한 노력과 시간을 감소시킬 수 있고, 보철물, 임플란트, 교정기, 치과 치료용 기구 등의 정확도 및 생산성을 향상시킬 수 있으며, 동일한 결과를 얻기 위한 컴퓨팅 리소스의 소모가 감소할 수 있다.
본 개시에서는 치아 번호(치식) 별로 어느 정도 미리 디자인 되어 있는 라이브러리 치아가 사용될 수 있다. 보철물, 임플란트 및 교정기 등을 제작하기 위해 라이브러리 치아가 구강의 3차원 이미지에 중첩(또는 정렬)되어 디스플레이될 수 있다. 라이브러리 치아를 구강의 3차원 이미지에 중첩하거나 정렬하는 과정이 수작업으로 이루어지는 경우 치과 의사 또는 치기공사의 작업 피로도가 증가하며, 결과물의 정확도 및 생산성이 감소할 수 있고, 그에 따라 동일한 결과를 얻기 위한 컴퓨팅 리소스의 소모가 증가할 수 있다.
또한, 작업 대상이 되는 라이브러리 치아가 2개 이상인 경우, 라이브러리 치아를 1개씩 선택하여 별도의 편집 화면에서 라이브러리 치아를 편집하여 수작업으로 정렬해야 할 수 있다. 따라서, 구강의 3차원 이미지에 2개 이상의 라이브러리 치아를 정렬하여 디스플레이하고, 별도의 화면 전환 없이 동일 화면에서 2개 이상의 라이브러리 치아를 동시에 편집할 수 있는 방법이 이하에서 구체적으로 설명된다.
일 실시예에서, 전자 장치(100)는 대상 구강의 3차원 이미지를 3차원 공간 상에 배치할 수 있다.
도 4a 내지 4b는 본 개시의 대상 구상의 3차원 이미지를 설명하기 위한 도면이다.
도 4a는 일 예시로서 구강의 3차원 이미지(400)를 도시한 것이다. 구강의 3차원 이미지(400)는 치은 영역과 치아 영역을 포함할 수 있다. 전자 장치(100)는 세그멘테이션을 통해 3차원 이미지(400)에서 치은 영역과 치아 영역을 구분할 수 있다. 세그멘테이션은 이미지 세그멘테이션일 수 있다. 이미지 세그멘테이션(image segmentation)은 디지털 이미지를 개별적으로 구분된 부분 또는 객체로 나누는 기술적 프로세스이다. 이 과정은 각 부분이 더 쉽게 분석되고 처리될 수 있도록 이미지를 여러 개의 의미 있는 영역으로 분할하는 것을 목표로 한다. 구체적으로, 이미지 세그멘테이션은 픽셀을 동일한 속성 또는 클래스를 공유하는 그룹으로 분류함으로써 이루어진다. 이렇게 나뉜 영역은 예를 들어 물체 경계, 표면, 그리고 다른 중요 요소를 포함할 수 있다.
도 4b는 일 예시로서 구강의 3차원 이미지(400)에서 치아 영역(420)만을 도출한 것을 도시한 것이다. 전자 장치(100)는 치아 영역(420)을 이용하여 라이브러리 치아를 생성할 수 있다. 특정 대상체의 구강을 스캔한 구강의 3차원 이미지로부터 라이브러리 치아를 생성함으로써, 전자 장치(100)는 대상체의 개별 특성에 맞는 라이브러리 치아를 생성할 수 있다. 일 실시예에서, 전자 장치(100)는 치아 영역(420)을 이용하여 라이브러리 치아의 표면을 생성할 수 있다. 라이브러리 치아의 표면은 메쉬로 구성될 수 있다. 일 실시예에서, 라이브러리 치아의 내부는 빈 공간의 형태로 표현될 수 있다. 다른 실시예에서, 라이브러리 치아의 내부는 치아와 관련된 메쉬 정보에 기초하여 채워진 형태로 표현될 수도 있다.
도 4c는 본 개시의 제1 라이브러리 치아를 설명하기 위한 도면이다.
라이브러리 치아는 전형적인 치아 형태를 가지는 샘플 치아 형태 및/또는 특정 대상체의 구강의 3차원 이미지에 기초하여 생성된 치아 형태일 수 있다. 따라서, 전자 장치(100)는 샘플 치아 형태를 가지는 라이브러리 치아를 메모리(103)로부터 획득할 수도 있고, 특정 대상 구강의 3차원 이미지에 기초하여 새롭게 생성된 라이브러리 치아를 획득할 수 있다.
도 4c는 구강의 3차원 이미지(400)에서 획득한 치아 영역(420)에 기초하여 생성된 제1 라이브러리 치아(440)를 도시한 것이다. 제1 라이브러리 치아(440)는 구강의 3차원 이미지에 대응하는 모든 라이브러리 치아를 포함하는 3차원 이미지일 수 있다. 예를 들어, 제1 라이브러리 치아(440)는 치아 번호 1번부터 32번까지 모든 라이브러리 치아를 포함하는 3차원 이미지일 수 있다.
본 개시에서 제2 라이브러리 치아는 제1 라이브러리 치아에서 적어도 일부의 라이브러리 치아를 포함할 수 있으며, 설명의 편의를 위해 구분한 것이다. 제2 라이브러리 치아는 선택된 복수의 치아들에 대응하는 라이브러리 치아일 수 있다.
일 실시예에서, 전자 장치(100)는 제1 라이브러리 치아를 생성할 수 있다. 치아는 크라운 영역(예: 치은으로부터 노출되는 영역)과 치근 영역(예: 치은에 의해 가려져 노출되지 않는 영역)으로 구성될 수 있다. 전자 장치(100)는 라이브러리 치아의 크라운 영역의 메쉬 정보에 기초하여 치은 영역의 방향으로 라이브러리 치아를 증가시킬 수 있다. 실제 치아는 크라운 영역 뿐만 아니라 치근 영역까지 존재하므로, 전자 장치(100)는 라이브러리 치아가 실제 치아의 형상과 유사한 형상을 가지도록 하기 위해 치은 영역 방향으로 연장하여 치근 영역을 형성할 수 있다. 구강의 3차원 이미지는 치근 영역을 포함하지 않을 수 있다. 실제 치아는 치은에 의해 치근 영역이 가려져 있기 때문에 스캔 결과 치근 영역이 포함되지 않을 수 있다. 따라서, 전자 장치(100)는 구강의 3차원 이미지에서 세그멘테이션된 결과로 치아 영역과 치은 영역을 획득할 수 있다. 이 때 구강의 3차원 이미지에서 치아 영역은 치아에서 크라운 영역일 수 있다. 전자 장치(100)는 구강의 3차원 이미지의 치아 영역에 기초하여 라이브러리 치아의 크라운 영역을 생성할 수 있다. 그리고, 크라운 영역의 일부의 메쉬 정보에 기초하여 치은 영역 방향으로 제1 라이브러리 치아를 증가시킬 수 있다. 이를 통해, 전자 장치(100)는 제1 라이브러리 치아를 생성하면서 치근 영역도 표현할 수 있다.
전자 장치(100)는 치아 영역 중 라이브러리 치아의 적어도 일부 영역인 영역(461)의 메쉬 정보에 기초하여 치은 영역 방향으로 라이브러리 치아를 증가시킬 수 있다. 예를 들어, 전자 장치(100)는 영역(461)의 메쉬를 치아를 상하로 관통하는 중심축을 기준으로 치은 영역 방향으로 길게 늘려 치근 영역을 형성할 수 있다. 증가된 영역(462)의 메쉬 정보는 영역(461)의 메쉬 정보와 동일할 수 있다. 증가된 영역(462)은 라이브러리 치아의 치근 영역을 표현하기 위한 것일 수 있다. 전자 장치(100)가 라이브러리 치아를 증가시킴으로써, 라이브러리 치아가 구강의 3차원 이미지(400)에 중첩되었을 때, 치아 영역과 치은 영역 사이의 빈 공간이 보이지 않게 할 수 있다. 이를 통해, 라이브러리 치아가 중첩된 구강의 3차원 이미지를 통해 사실적인 시뮬레이션이 가능할 수 있고, 작업자의 혼동을 줄여 높은 작업 생산성으로 이어질 수 있으며, 동일한 결과를 얻기 위한 컴퓨팅 리소스의 소모가 감소할 수 있다.
다른 실시예에서, 라이브러리 치아가 크라운 영역을 표현하면서, 치근 영역을 표현하지 않을 수도 있다. 라이브러리 치아가 크라운 영역만을 표현하는 경우, 라이브러리 치아가 포함하는 보철물의 높이가 실제 설치되어야 할 보철물보다 낮을 수 있다. 그런 경우, 사용자는 보철물의 높이를 임의로 수정할 필요가 있다. 따라서, 전자 장치는 사실적인 시뮬레이션을 위해, 라이브러리 치아의 크라운 영역 뿐만 아니라, 치근 영역도 표현할 수 있도록 라이브러리 치아의 크라운 영역의 메쉬 정보에 기초하여 라이브러리 치아를 증가시킬 수 있다.
일 실시예에서, 전자 장치(100)는 증가된 제1 라이브러리 치아에서 증가된 영역을 복수의 마진 라인에 기초하여 가공할 수 있다. 예를 들어, 전자 장치(100)는 마진 라인(450)에 기초하여 증가된 영역과 기존에 있던 영역을 구분할 수 있도록 해당 마진 라인(450)의 메쉬 정보를 변경할 수 있다. 전자 장치(100)는 라이브러리 치아의 크라운 영역과 치근 영역을 임플리싯 서피싱(implicit surfacing) 기법을 통해 크라운 영역에서 치근 영역으로 이어지는 형태가 매끄럽게 표현될 수 있도록 할 수 있다. 임플리싯 서피싱은 수학적 함수, 특히 임의의 점 (x, y, z)에서의 함수값이 특정 값이 되는 지점을 통해 표면을 정의하는 기법이다. 이 방식은 표면이 수학적으로 정의되므로 표면의 연속성 및 매끄러움(smoothness)을 보장할 수 있다. 또한, 임플리싯 서피싱 방식을 사용하면 모델의 국소적 세부사항(local details)을 효율적으로 처리할 수 있다.
예를 들어, 전자 장치(100)는 라이브러리 치아를 마진 라인을 기준으로 치은 영역 방향의 라이브러리 치아의 영역을 잘라 실제로 필요한 길이의 치아 형상으로 만들 수 있다. 그리고, 전지 장치(100)는 라이브러리 치아를 실제 치아 형태와 유사하게 가공할 수 있다.
일 실시예에서, 전자 장치(100)는 복수의 치아가 삭제된 치아 또는 프렙 치아 중 적어도 하나를 포함한다는 결정에 따라, 복수의 치아에 대응하는 보철물을 포함하는 라이브러리 치아를 생성할 수 있다. 치과 치료에서 삭제된 치아는 외부 요인이나 치과적 절차를 통해 제거된 것일 수 있다. 프렙 치아는 치아의 수복 또는 수술을 위해 미리 준비된 상태의 치아를 의미한다. 프렙은 다양한 형태로 치아를 깎거나 조각하여 특정 요구에 맞는 형태로 만드는 것을 포함한다. 프렙 치아는 크라운, 브릿지, 베니어 등 여러 치과 보철물을 장착하기 위해 필수적이다. 치아 보철물은, 삭제된 치아를 대체하거나 손상된 치아를 복구하기 위해 설계된 의료 기구를 의미한다. 보철물에는 크라운, 브릿지, 의치 등이 포함되며, 각기 특정한 용도와 디자인에 따라 제작된다. 크라운은 손상된 치아를 감싸 보호하며, 브릿지는 인접한 치아를 이용하여 결손 부위를 메우는 역할을 한다. 의치는 부분적 또는 전체적으로 치아가 없는 경우, 기능과 심미성을 회복하기 위해 사용된다. 전자 장치(100)는 구강의 3차원 이미지를 통해 특정 치아 번호에 해당하는 치아가 삭제된 치아인지 프렙 치아인지 인식할 수 있다. 다른 예를 들어, 전자 장치(100)는 사용자 입력에 기초하여 복수의 치아가 삭제된 치아 또는 프렙 치아 중 적어도 하나라는 결정을 할 수 있다.
일 실시예에서, 전자 장치(100)는 대상 구강의 복수의 치아를 선택하는 입력을 수신할 수 있다. 사용자는 도 4a 내지 4b의 3차원 이미지를 보고, 어떤 치아에 대해 라이브러리 치아를 생성하여 정렬시킬지 결정할 수 있다. 복수의 치아를 선택하는 입력은 도 6에서 후술된다.
도 5는 본 개시의 마진 라인을 설명하기 위한 도면이다.
마진 라인은 대상 구강의 3차원 이미지의 치은 영역에서 온전한 치아가 노출되기 시작할 경계를 나타낸다. 대상 구강의 온전한 치아에 대해서는, 마진 라인은 구강의 3차원 이미지에서 치은 영역과 치아 영역 사이의 경계 라인을 의미할 수도 있다. 예를 들어, 도 5에 도시된 바와 같이, 마진 라인(510)이 구강의 3차원 이미지(400)에 표시될 수 있다. 반면, 대상 구강의 삭제된 치아나 프렙 치아의 경우, 해당 위치에 온전한 치아가 있는 경우를 가정하여 마진 라인이 생성될 수 있다.
일 실시예에서, 전자 장치(100)는 복수의 치아에 제각기 대응하는 복수의 마진 라인을 획득할 수 있다. 전자 장치(100)는 세그멘테이션의 결과로 획득한 치아 영역과 치은 영역 사이의 경계를 기초로 마진 라인을 획득할 수 있다. 다른 실시예에서, 전자 장치(100)는 사용자 입력에 기초하여 복수의 치아에 제각기 대응하는 구강의 3차원 이미지 상에 설정할 수 있다. 이를 통해, 사용자는 전자 장치(100)가 자동으로 설정한 마진 라인을 편집할 수 있다.
일 실시예에서, 전자 장치(100)는 제1 라이브러리 치아(440)를 3차원 공간 상에 배치할 수 있다. 제1 라이브러리 치아(440)는 구강의 3차원 이미지(400)와 동일 3차원 공간에 위치하나, 구강의 3차원 이미지(400)로부터 이격되어 배치된 것일 수 있다. 그리고, 화면에는 제1 라이브러리 치아(440)가 생략될 수도 있고, 표시될 수도 있다.
일 실시예에서, 전자 장치(100)는 복수의 마진 라인에 기초하여 제1 라이브러리 치아를 3차원 공간 상에 배치할 수 있다. 전자 장치(100)는 3차원 공간 상에서 제1 라이브러리 치아(440)가 구강의 3차원 이미지(400)에서의 구강 구조와 동일하게 배치될 수 있도록, 복수의 마진 라인을 이용할 수 있다. 복수의 마진 라인 각각은 치아 번호에 대응할 수 있다. 예를 들어, 구강의 3차원 이미지에서 치아번호 1번에 대응하는 마진 라인 A, 치아 번호 2번에 대응하는 마진 라인 B 등이 있을 수 있다. 각각의 마진 라인들은 구강의 3차원 이미지에서 복수의 치아들의 배치 정보를 포함할 수 있다. 예를 들어, 구강의 3차원 이미지에서 마진 라인들의 위치는 악궁에서 치아들의 위치를 나타낼 수 있다. 따라서, 전자 장치(100)는 라이브러리 치아의 치아 번호에 대응하는 마진 라인을 대응시켜 제1 라이브러리 치아를 3차원 공간 상에 배치할 수 있다. 예를 들어, 라이브러리 치아에서 치아 번호 1번에는 마진 라인 A를 대응시키고, 치아 번호 2번에는 마진 라인 B를 대응시킬 수 있다. 따라서, 전자 장치(100)는 제1 라이브러리 치아 각각에 대응하는 마진 라인을 3차원 치아 이미지의 위치 정보로 저장할 수 있다. 위치 정보는 마진 라인의 중심점을 포함할 수 있다. 그리고, 전자 장치(100)는 제1 라이브러리 치아 각각에 대응하는 위치 정보(예: 마진 라인)에 기초하여 제1 라이브러리 치아를 3차원 공간 상에 배치할 수 있다.
다른 실시예에서, 전자 장치(100)는 구강의 3차원 이미지에 기초하여 구강의 2차원 이미지를 생성할 수 있다. 전자 장치(100)는 구강의 3차원 이미지에서 세그멘테이션의 결과로 획득한 치아 영역을 이용하여 치아 영역에 대응하는 구강의 2차원 이미지를 생성할 수 있다. 전자 장치(100)는 치아 번호 식별 모델을 이용하여 2차원 이미지에 포함된 복수의 치아를 식별하고, 각 치아의 2차원 중심 좌표를 결정할 수 있다. 예를 들어, 전자 장치(100)는 치아 번호 6번의 2차원 중심 좌표, 7번의 2차원 중심 좌표 등을 결정할 수 있다. 치아 번호 식별 모델은 인공 신경망(artificial neural network) 모델일 수 있으며, 구강의 2차원 이미지를 입력 받고, 구강의 2차원 이미지에서 치아를 식별하는 추론 과정을 수행할 수 있다. 전자 장치(100)는 치아 번호 식별 모델을 이용하여 2차원 이미지에서 복수의 치아 각각을 식별할 수 있다. 전자 장치(100)는 치아 번호 식별 모델을 이용하여 2차원 이미지에서 복수의 치아 각각의 치아 번호를 결정할 수 있다. 치아 번호는 복수의 치아를 분류하는 임의의 체계(예: 국제치아표기법(Federation Dentaire International, FDI) 또는 유니버셜 넘버링 시스템(universal numbering system))에 기초하여 결정될 수 있다. 예를 들어, 치아 번호 식별 모델은 2차원 이미지를 수신하고, 2차원 이미지에서 치아의 형상 및 곡률을 지시하는 색상 중 적어도 하나에 기초하여 2차원 이미지에서 복수의 치아 번호를 출력할 수 있다. 치아 번호 식별 모델은 2차원 이미지와 치아 번호 사이의 상관 관계가 학습된 모델일 수 있다. 전자 장치(100)는 각 치아의 치아 번호를 포함하는 치아 번호 식별 모델의 추론 결과에 기초하여, 2차원 이미지에서 복수의 치아를 식별할 수 있다. 전자 장치(100)는 2차원 이미지에서 치아 번호에 대응하는 위치 정보를 이용하여 제1 라이브러리 치아를 3차원 공간 상에 배치할 수 있다.
다른 실시예에서, 전자 장치(100)는 세그멘테이션의 결과로 획득한 치아 영역을 이용하여 제1 라이브러리 치아를 3차원 공간 상에 배치할 수 있다. 전자 장치(100)는 세그멘테이션의 결과로 획득한 치아 영역에 대응하는 치아 번호를 식별할 수 있다. 전자 장치(100)는 치아 번호 식별 모델을 이용하여, 구강의 3차원 이미지의 치아 영역에 대응하는 제1 치아 형상과 치아 번호에 대응하는 제2 치아 형상을 비교하여, 제1 치아 형상과 가장 유사한 치아 형상을 가지는 치아 번호를 식별할 수 있다. 치아 번호 식별 모델은 이미지 간의 유사도를 획득하도록 학습된 모델일 수 있다. 치아 번호 식별 모델은 입력되는 3차원 이미지인 제1 치아 형상과 유사한 제2 치아 형상을 식별하여, 제2 치아 형상에 대응하는 특정 치아 번호를 출력할 수 있다. 치아 번호 식별 모델은 3차원 이미지인 치아 형상과 치아 번호 사이의 상관 관계를 학습한 모델일 수 있다. 일 실시예에서, 전자 장치(100)는 치아 번호에 기초하여 제1 라이브러리 치아를 3차원 공간 상에 배치할 수 있다. 치아 번호는 악궁에서 치아들의 위치 정보를 지시할 수 있다. 따라서, 전자 장치(100)는 특정 치아 번호에 대응하는 위치 정보를 알 수 있다. 예를 들어, 전자 장치(100)는 치아 번호 6번이 악궁에서 어디에 위치하고, 치아 번호 7번이 악궁에서 어디에 위치하는지 알 수 있다. 전자 장치(100)는 치아 번호에 대응하는 위치 정보를 이용하여 제1 라이브러리 치아를 3차원 공간 상에 배치할 수 있다. 이를 통해, 3차원 공간 상에서 제1 라이브러리 치아(440)가 구강의 3차원 이미지(400)에서의 구강 구조와 동일하게 배치될 수 있다.
도 6은 본 개시의 복수의 치아를 선택하는 방법을 설명하기 위한 도면이다.
화면(600)에는 치아 배열과 치아 번호가 표시될 수 있다. 사용자는 복수의 치아 번호를 선택할 수 있다. 전자 장치(100)는 대상 구강의 복수의 치아 각각에 대한 치아 번호를 선택하는 입력을 수신할 수 있다. 예를 들어, 사용자는 서로 인접한 치아인 치아번호 6(610), 7(620), 8(630) 및 9(640)을 선택할 수 있다. 다른 예를 들어, 사용자는 서로 인접하지 않은 치아번호 1, 5, 14 및 19를 선택할 수도 있다.
일 실시예에서, 전자 장치(100)는 복수의 치아를 선택하는 입력을 수신하여, 선택된 치아 번호에 대응하는 라이브러리 치아를 구강의 3차원 이미지(400)에 중첩하여 디스플레이 할 수 있다.
화면(600)을 통해, 사용자는 선택한 치아 번호에 대해 어떤 유형의 보철물을 생성하기를 원하는지 선택할 수 있다. 예를 들어, 사용자가 치아 번호를 선택한 후, 크라운을 선택하면, 대응하는 라이브러리 치아를 해당 치아에 배치하여 크라운 제조를 위한 데이터를 생성할 수 있게 하는 후속 처리가 이어질 수 있다. 다른 예를 들어, 사용자가 치아 번호를 선택한 후, 인레이를 선택하면, 대응하는 라이브러리 치아를 해당 치아에 배치하여 인레이 제조를 위한 데이터를 생성할 수 있게 하는 후속 처리가 이어질 수 있다. 또한, 사용자는 선택한 치아 번호에 대하여 커넥터(650)를 추가할 수도 있다.
도 7은 본 개시의 구강의 3차원 이미지에서 제2 위치 정보를 설명하기 위한 도면이다.
제2 라이브러리 치아와 구강의 3차원 이미지는 서로 다른 평면 상에 배치된 상태일 수 있다. 따라서, 전자 장치(100)는 복수의 치아에 대응하는 제2 라이브러리 치아를 구강의 3차원 이미지 중 복수의 치아에 대응하는 공간에 배치되도록 제2 라이브러리 치아를 이동시킬 수 있다. 이를 위해, 전자 장치(100)는 제2 라이브러리 치아 각각에 대응하는 제1 위치 정보와 구강의 3차원 이미지의 치아별 제2 위치 정보를 이용할 수 있다.
일 실시예에서, 전자 장치(100)는 제1 라이브러리 치아 중 복수의 치아에 대응하는 복수의 제2 라이브러리 치아가 구강의 3차원 이미지 중 복수의 치아에 대응하는 공간에 배치되도록, 복수의 제2 라이브러리 치아를 3차원 공간 상에서 이동시킬 수 있다.
일 실시예에서, 전자 장치(100)는 대상 구강의 3차원 이미지의 치아별 제2 바운딩 박스의 중점을 포함하는 제2 위치 정보를 생성할 수 있다. 제2 위치 정보는 구강의 3차원 이미지에 포함된 치아별로 생성될 수 있다. 예를 들어, 치아 번호 6번 치아(610), 8번 치아(630) 및 9번 치아(640) 각각은 제2 바운딩 박스 A(710), 제2 바운딩 박스 C(730) 및 제2 바운딩 박스 D(740)에 대응할 수 있다. 바운딩 박스(Bounding Box)란 객체를 포함하는 최소한의 직사각형 외곽선을 의미하는 것으로, 주로 컴퓨터 그래픽스 및 데이터 분석에서 사용된다. 3차원 바운딩 박스는 이러한 개념을 3차원 공간으로 확장한 것이다. 이는 지정된 객체를 최대한 좁게 포함하는 3차원의 직육면체로 정의될 수 있다. 제1 바운딩 박스는 라이브러리 치아에 대한 것이고, 제2 바운딩 박스는 구강의 3차원 이미지에 포함된 치아에 대한 것이다.
다른 실시예에서, 전자 장치(110)는 삭제된 치아의 제2 위치 정보가 치아 번호에 대응하는 악궁에서의 점을 포함하도록 할 수 있다. 삭제된 치아는 제2 바운딩 박스가 생성되지 않을 수 있다. 따라서, 전자 장치(110)는 악궁에서 삭제된 치아에 대응하는 치아 번호가 위치하는 점을 삭제된 치아의 제2 위치 정보로 결정할 수 있다. 예를 들어, 치아 번호 7번 치아(620)가 삭제된 치아인 경우, 전자 장치(100)는 악궁에서 치아 번호 7번에 대응하는 점(725)을 제2 위치 정보가 포함하도록 결정할 수 있다. 악궁에서 삭제된 치아에 대응하는 점을 위치시킴으로써, 전자 장치(100)는 삭제된 치아에 대응하는 라이브러리 치아를 정상적인 위치에 구강의 3차원 이미지에 중첩하여 표현할 수 있다.
악궁은 곡선으로 표현될 수 있다. 전자 장치(100)는 구강의 3차원 이미지의 치아별 제2 바운딩 박스의 중점에 기초하여 악궁을 결정할 수 있다. 악궁은 최대한 많은 제2 바운딩 박스의 중점을 지나도록 위치 및 형상이 결정될 수 있다. 악궁을 표현하는 곡선은 화면에 디스플레이 되지 않을 수 있다.
다른 실시예에서, 전자 장치(110)는 프렙 치아의 제2 바운딩 박스의 중점을 변경하여 제2 위치 정보를 저장할 수 있다. 전자 장치(100)는 프렙 치아의 최상단 높이와 프렙 치아에 대응하는 라이브러리 치아의 최상단 높이의 차이에 기초하여 제2 바운딩 박스의 중점이 변경된 제2 위치 정보를 저장할 수 있다. 예를 들어, 치아 번호 6번 치아(610), 8번 치아(630) 및 9번 치아(640) 각각은 프렙 치아일 수 있다. 그리고 제2 바운딩 박스 A(710), 제2 바운딩 박스 C(730) 및 제2 바운딩 박스 D(740)의 중점은 각각 713, 733 및 743일 수 있다. 하지만, 프렙 치아의 특성상 정상 치아보다는 크기가 작거나 높이가 낮을 수 있다. 따라서, 프렙 치아의 제2 바운딩 박스의 중점을 기준으로 라이브러리 치아의 제1 위치 정보를 변경하면, 라이브러리 치아의 많은 영역이 치은 영역에 가려지게 될 수 있다. 따라서, 전자 장치(100)는 프렙 치아의 제2 위치 정보를 제2 바운딩 박스의 중점이 아닌 보정된 점을 포함하도록 변경할 수 있다. 예를 들어, 전자 장치(100)는 프렙 치아의 최상단 높이와 프렙 치아에 대응하는 라이브러리 치아의 최상단 높이 차이만큼 제2 바운딩 박스의 중점을 이동시킬 수 있다. 예를 들어, 전자 장치(100)는 제2 바운딩 박스 A(710), 제2 바운딩 박스 C(730) 및 제2 바운딩 박스 D(740)의 각각의 중점인 713, 733 및 743을 715, 735, 745의 위치로 이동시키고 해당 점들을 제2 위치 정보에 포함시킬 수 있다. 예를 들어, 점(713)과 점(715)의 높이 차이는 치아 번호 6번 치아(610)의 최상단 높이와 치아 번호 6번 라이브러리 치아의 최상단 높이 차이일 수 있다.
도 8은 본 개시의 라이브러리 치아의 제1 위치 정보를 설명하기 위한 도면이다.
일 실시예에서, 전자 장치(100)는 복수의 마진 라인 각각에 기초하여 복수의 라이브러리 치아 각각의 치아별 제1 바운딩 박스의 중점을 포함하는 제1 위치 정보를 생성할 수 있다. 제1 위치 정보는 3차원 공간에서 라이브러리 치아의 위치 정보를 의미할 수 있다. 복수의 마진 라인에 기초하여 제1 라이브러리 치아가 정렬될 수 있다. 따라서, 복수의 라이브러리 치아는 3차원 공간에서 구강의 3차원 이미지에서 치아 구조와 동일하도록 배치될 수 있다. 배치된 결과, 3차원 공간 상에서 각각의 라이브러리 치아는 좌표를 가질 수 있다. 하나의 예시로, 라이브러리 치아의 좌표를 결정하기 위해 바운딩 박스가 사용될 수 있다. 복수의 라이브러리 치아(예: 제2 라이브러리 치아) 각각에 대해 전자 장치(100)는 제1 바운딩 박스를 생성할 수 있다. 예를 들어, 전자 장치(100)는 치아 번호 6번 치아(610), 7번 치아(620), 8번 치아(630) 및 9번 치아(640) 각각에 대해 제1 바운딩 박스 A(810), 제1 바운딩 박스 B(820), 제1 바운딩 박스 C(830) 및 제1 바운딩 박스 D(840)을 생성할 수 있다. 전자 장치(100)는 제1 바운딩 박스의 중점을 제1 위치 정보에 포함시킬 수 있다. 예를 들어, 전자 장치(100)는 치아 번호 6번 치아(610)에 대응하는 6번 라이브러리 치아(611)의 제1 바운딩 박스 A(810)의 중점(815)을 제1 위치 정보에 포함시킬 수 있다. 마찬가지로, 7번 라이브러리 치아(621)의 제1 위치 정보는 제1 바운딩 박스 B(820)의 중점(825)을 포함하고, 8번 라이브러리 치아(631)의 제1 위치 정보는 제1 바운딩 박스 C(830)의 중점(835)을 포함하고, 9번 라이브러리 치아(641)의 제1 위치 정보는 제1 바운딩 박스 D(840)의 중점(845)을 포함할 수 있다.
일 실시예에서, 삭제된 치아에 대응하는 라이브러리 치아는 삭제된 치아에 대응하는 보철물의 형상의 기초가 될 수 있다. 예를 들어, 도 7을 참조하면, 7번 치아(620)는 삭제된 치아일 수 있다. 따라서, 7번 라이브러리 치아(621)는 삭제된 치아에 대응하는 보철물의 형상의 기초가 될 수 있다.
일 실시예에서, 프렙 치아에 대응하는 라이브러리 치아는 프렙 치아에 대응하는 보철물의 형상의 기초가 될 수 있다. 예를 들어, 도 7을 참조하면 6번 치아(610), 8번 치아(630) 및 9번 치아(640)가 프렙 치아들일 수 있다. 따라서, 6번 라이브러리 치아(611), 8번 라이브러리 치아(631) 및 9번 라이브러리 치아(641)는 위 프렙 치아들에 대응하는 보철물의 형상의 기초가 될 수 있다.
일 실시예에서, 복수의 치아에 대응하는 복수의 라이브러리 치아가 커넥터로 연결되었다는 결정에 따라, 전자 장치(100)는 라이브러리 치아 사이에 커넥터를 포함시킬 수 있다. 예를 들어, 6번 라이브러리 치아(611), 7번 라이브러리 치아(621), 8번 라이브러리 치아(631) 및 9번 라이브러리 치아(641)가 커넥터로 연결되었다는 결정에 따라, 전자 장치(100)는 각각의 라이브러리 치아 사이에 커넥터를 3차원 이미지로 표현할 수 있다. 커넥터는 메쉬 정보에 기초하여 표현될 수 있다. 브릿지는 삭제된 치아를 대체하기 위하여 사용되는 치과 치료법 중 하나이다. 프렙 치아와 달리 삭제된 치아의 경우 보철물을 부착할 대상이 없으므로, 브릿지는 대개 인접한 치아를 지지대로 하여 인공 치아를 고정하는 구조로 구성된다. 브릿지는 보철물과 보철물 사이를 연결하는 커넥터를 포함할 수 있다. 브릿지는 재료에 따라 금속, 도재 또는 이들의 복합 재질로 제작될 수 있으며, 환자의 필요와 구강 상태에 따라 다양한 형태로 제공된다.
도 9는 도 8을 참조하여 설명된 라이브러리 치아가 도 7을 참조하여 설명된 구강의 3차원 이미지에 중첩되는 방법을 설명하는 예시적인 도면이다.
일 실시예에서, 전자 장치(100)는 원점(예: 구강의 악궁에 위치한 원점)을 기준으로 라이브러리 치아(예: 제2 라이브러리 치아)를 동일한 치아 번호를 가지는 구강의 3차원 이미지에서의 치아의 위치로 이동시킬 수 있다.
일 실시예에서, 전자 장치(100)는 구강의 악궁에 위치한 원점을 기준으로 복수의 제2 라이브러리 치아 각각의 제1 위치 정보와 제2 위치 정보 사이의 상관 관계를 생성할 수 있다. 제1 위치 정보와 제2 위치 정보 사이의 상관 관계는 치아별로 생성될 수 있다. 예를 들어, 치아 번호 1번, 2번, .. 32번 각각에 대한 제1 위치 정보와 제2 위치 정보 사이의 상관 관계가 생성될 수 있다. 치아의 악궁은 상악과 하악의 치아가 배열되는 치열과 관련된 해부학적 구조를 의미하는 것으로서, 치아가 아치 형태로 연속적으로 배열되어 있는 형태를 포함한다. 상악과 하악은 각각 상악악궁(maxillary arch)과 하악악궁(mandibular arch)으로 구분되며, 각 악궁은 중간선을 기준으로 좌우 대칭적으로 배열되는 특징을 가진다. 악궁에 위치한 원점은 악궁에서 2개의 중절치 사이의 점으로 결정될 수 있다. 예를 들어, 상악악궁에서는 치아 번호 8번과 9번 사이의 점이 원점으로 결정되고, 하악악궁에서는 치아 번호 24번과 25번 사이의 점이 원점으로 결정될 수 있다. 다른 예를 들어, 원점은 악궁과 중간선의 교차점이 될 수 있다. 원점은 상악과 하악 각각 달리 존재할 수 있다. 예를 들어, 전자 장치(1000는 치아가 상악에 위치한 경우, 상악의 원점을 기준으로 상관 관계를 생성할 수 있다. 전자 장치(100)는 치아가 하악에 위치한 경우, 하악의 원점을 기준으로 상관 관계를 생성할 수 있다.
일 실시예에서, 전자 장치(100)는 원점을 기준으로 복수의 라이브러리 치아 각각의 제1 위치 정보와 복수의 제2 라이브러리 치아 각각과 동일한 치아 번호를 가지는 제2 위치 정보 사이의 상관 관계를 지시하는 치아별 변환 행렬을 생성할 수 있다. 치아별 변환 행렬은 제1 위치 정보에 포함된 점을 원점으로 이동시킨 후, 해당 점을 제2 위치 정보에 포함된 점으로 이동시키는 행렬일 수 있다.
예를 들어, 치아 번호 6번 치아(610)의 변환 행렬은 상악악궁의 원점(601)을 기준으로 6번 라이브러리 치아(611)의 제1 위치 정보와 구강의 3차원 이미지에서의 6번 치아(610)의 제2 위치 정보 사이의 상관 관계를 지시할 수 있다. 다른 예를 들어, 치아 번호 8번 치아(630)의 변환 행렬은 상악악궁의 원점을 기준으로 8번 라이브러리 치아(631)의 제1 위치 정보와 구강의 3차원 이미지에서의 8번 치아(630)의 제2 위치 정보 사이의 상관 관계를 지시할 수 있다.
일 실시예에서, 전자 장치(100)는 대상 구강의 3차원 이미지 및 복수의 제2 라이브러리 치아를 중첩하여 디스플레이 할 수 있다. 전자 장치(100)는 치아별 변환 행렬에 기초하여 복수의 제2 라이브러리 치아를 3차원 공간 상에서 복수의 제2 라이브러리 치아 각각과 동일한 치아 번호를 가지는 구강의 3차원 이미지에 중첩하여 디스플레이 할 수 있다. 구체적으로, 제2 라이브러리 치아에 포함된 메쉬의 모든 점들에 치아별 변환 행렬을 적용하여 제2 라이브러리 치아의 포함된 메쉬의 모든 점들을 구강의 3차원 이미지에 위치시킬 수 있다. 예를 들어, 전자 장치(100)는 6번 라이브러리 치아(611)에 포함된 메쉬의 모든 점들에 6번 치아 변환 행렬을 적용하여 6번 라이브러리 치아(611)에 포함된 메쉬의 모든 점들을 구강의 3차원 이미지에서 6번 치아가 위치한 곳으로 이동시킬 수 있다.
이를 통해, 전자 장치(100)는 구강의 3차원 이미지에서의 6번 치아(610)의 위치(예: 제2 위치 정보에 기초한 위치)에 6번 라이브러리 치아(611)를 중첩하여 디스플레이할 수 있다. 마찬가지로, 전자 장치(100)는 구강의 3차원 이미지에서의 7, 8, 9번 치아(620, 630, 640) 각각의 위치에 7, 8, 9번 라이브러리 치아(621, 631, 641)를 중첩하여 디스플레이할 수 있다.
본 개시에서 구강의 3차원 이미지에 복수의 라이브러리 치아를 중첩하여 디스플레이하는 동작은, 구강의 3차원 이미지는 유지한 상태에서 라이브러리 치아를 중첩하여 표시하는 것으로서, 라이브러리 치아를 이동시키면, 기존 구강의 3차원 이미지의 치아가 디스플레이될 수 있다.
일 실시예에서, 전자 장치(100)는 삭제된 치아에 대응하는 치아별 변환 행렬에 기초하여 삭제된 치아에 대응하는 라이브러리 치아를 대상 구강의 3차원 이미지에 중첩하여 디스플레이 할 수 있다. 예를 들어, 삭제된 치아가 7번 치아(620)인 경우, 전자 장치(100)는 7번 치아(620)의 변환 행렬에 기초하여 7번 라이브러리 치아(621)를 7번 치아(620)의 위치로 이동시킬 수 있다.
일 실시예에서, 전자 장치(100)는 프렙 치아에 대응하는 치아별 변환 행렬에 기초하여 프렙 치아에 대응하는 라이브러리 치아를 대상 구강의 3차원 이미지에 중첩하여 디스플레이 할 수 있다. 예를 들어, 프렙 치아가 6번 치아(610)인 경우, 전자 장치(100)는 6번 치아(610)의 변환 행렬에 기초하여 6번 라이브러리 치아(611)를 6번 치아(610)의 위치로 이동시킬 수 있다.
일 실시예에서, 전자 장치(100)는 복수의 인접한 치아에 대응하는 복수의 라이브러리 치아가 커넥터로 연결되었다는 결정에 따라, 복수의 라이브러리 치아 사이에 커넥터를 표시할 수 있다. 예를 들어, 전자 장치(100)는 7번 라이브러리 치아(621) 및 8번 라이브러리 치아(631) 사이가 커넥터로 연결되었다는 결정에 따라, 커넥터(910)를 7번 라이브러리 치아(621) 및 8번 라이브러리 치아(631) 사이를 연결하도록 디스플레이 할 수 있다.
도 10은 본 개시에서 서버가 라이브러리 치아를 구강의 3차원 이미지에 중첩하여 표시하는 방법을 설명하는 흐름도이다.
일 실시예에서, 서버는 대상 구강의 3차원 이미지를 3차원 공간 상에 배치할 수 있다(S1010).
일 실시예에서, 서버는 대상 구강의 복수의 치아를 선택하는 입력을 수신할 수 있다(S1020).
일 실시예에서, 서버는 대상 구강의 3차원 이미지에 대응하는 제1 라이브러리 치아를 3차원 공간 상에 배치할 수 있다(S1030).
일 실시예에서, 서버는 제1 라이브러리 치아 중 복수의 치아에 대응하는 복수의 제2 라이브러리 치아가 대상 구강의 3차원 이미지 중 복수의 치아에 대응하는 공간에 배치되도록, 복수의 제2 라이브러리 치아를 3차원 공간 상에서 이동시킬 수 있다(S1040).
일 실시예에서, 서버는 대상 구강의 3차원 이미지 및 복수의 제2 라이브러리 치아를 중첩하여 디스플레이 할 수 있다(S1050).
지금까지 도 1 내지 도 10을 참조하여 본 개시의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 명세서의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
또한, 지금까지 도 1 내지 도 10를 참조하여 설명된 본 개시의 기술적 사상은 컴퓨팅 장치(예: 전자 장치)가 읽을 수 있는 기록 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 여기서, 코드로 구현된 컴퓨터 프로그램은 컴퓨팅 장치의 메모리에 로드될 때, 컴퓨팅 장치의 프로세서로 하여금 본 개시의 다양한 실시예에 따른 동작을 수행하도록 하는 적어도 하나의 인스트럭션(instruction)을 포함할 수 있다. 이러한 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어, 이동형 기록 매체(예: CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크 등)이거나 고정식 기록 매체(예: ROM, RAM, 컴퓨터 구비 형 하드 디스크 등)일 수 있다. 또한, 기록 매체는 비일시적(non-transitory) 기록 매체일 수 있다. 여기서, 비일시적 기록 매체는 데이터가 반영구적 또는 임시적으로 저장되는 것과 무관하게 실재하는 매체(tangible medium)을 의미하며, 일시적(transitory)으로 전파되는 신호(signal)을 포함하지 않을 수 있다. 나아가, 기록 매체에 기록된 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 다른 컴퓨팅 장치에서 사용될 수 있다.
이상 일부 실시예들과 첨부된 도면에 도시된 예에 의해 본 개시의 기술적 사상이 설명되었지만, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 본 개시의 기술적 범위를 벗어나지 않는 범위에서 다양한 치환, 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 속하는 것으로 생각되어야 한다.

Claims (19)

  1. 전자 장치에 의해 수행되는 이미지 처리 방법에 있어서,
    대상 구강의 3차원 이미지를 3차원 공간 상에 배치하는 단계;
    상기 대상 구강의 복수의 치아를 선택하는 입력을 수신하는 단계;
    상기 대상 구강의 3차원 이미지에 대응하는 제1 라이브러리 치아를 상기 3차원 공간 상에 배치하는 단계;
    상기 제1 라이브러리 치아 중 상기 복수의 치아에 대응하는 복수의 제2 라이브러리 치아가 상기 대상 구강의 3차원 이미지 중 상기 복수의 치아에 대응하는 공간에 배치되도록, 상기 복수의 제2 라이브러리 치아를 상기 3차원 공간 상에서 이동시키는 단계; 및
    상기 대상 구강의 3차원 이미지 및 상기 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 복수의 치아에 제각기 대응하는 복수의 마진 라인을 획득하는 단계
    를 더 포함하고,
    상기 제1 라이브러리 치아를 상기 3차원 공간 상에 배치하는 단계는,
    상기 복수의 마진 라인에 기초하여 상기 제1 라이브러리 치아를 상기 3차원 공간 상에 배치하는 단계를 포함하고,
    상기 복수의 마진 라인 각각은 상기 대상 구강의 3차원 이미지의 치은 영역에서 온전한 치아가 노출되기 시작할 경계를 나타내는, 방법.
  3. 제2항에 있어서,
    상기 복수의 마진 라인을 획득하는 단계는
    세그멘테이션의 결과로 획득한 치아 영역과 치은 영역 사이의 경계를 기초로 상기 복수의 마진 라인을 획득하는 단계; 또는
    사용자 입력에 기초하여 상기 복수의 마진 라인을 획득하는 단계
    를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 제1 라이브러리 치아를 상기 3차원 공간 상에 배치하는 단계는,
    세그멘테이션의 결과로 획득한 치아 영역에 대응하는 치아 번호를 식별하는 단계; 및
    상기 치아 번호에 기초하여 상기 제1 라이브러리 치아를 상기 3차원 공간 상에 배치하는 단계
    를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 제1 라이브러리 치아를 생성하는 단계
    를 더 포함하는, 방법.
  6. 제5항에 있어서,
    상기 제1 라이브러리 치아를 생성하는 단계는,
    상기 대상 구강의 3차원 이미지에 포함된 치아 영역 및 치은 영역 중 상기 치아 영역에 대응하는 상기 제1 라이브러리 치아의 적어도 일부의 메쉬 정보에 기초하여 상기 치은 영역의 방향으로 상기 제1 라이브러리 치아를 증가시키는 단계
    를 포함하는, 방법.
  7. 제6항에 있어서,
    상기 제1 라이브러리 치아를 생성하는 단계는,
    상기 증가된 제1 라이브러리 치아에서 증가된 영역을 복수의 마진 라인에 기초하여 가공하는 단계
    를 더 포함하는, 방법.
  8. 제1항에 있어서,
    상기 대상 구강의 복수의 치아를 선택하는 입력을 수신하는 단계는,
    상기 대상 구강의 복수의 치아 각각에 대한 치아 번호를 선택하는 입력을 수신하는 단계
    를 포함하는, 방법.
  9. 제1항에 있어서,
    상기 복수의 제2 라이브러리 치아를 상기 3차원 공간 상에서 이동시키는 단계는,
    복수의 마진 라인 각각에 기초하여 상기 복수의 제2 라이브러리 치아 각각의 치아별 제1 바운딩 박스의 중점을 포함하는 제1 위치 정보를 생성하는 단계;
    상기 대상 구강의 3차원 이미지의 치아별 제2 바운딩 박스의 중점을 포함하는 제2 위치 정보를 생성하는 단계; 및
    상기 대상 구강의 악궁에 위치한 원점을 기준으로 상기 복수의 제2 라이브러리 치아 각각의 제1 위치 정보와 상기 제2 위치 정보 사이의 상관 관계를 생성하는 단계
    를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 상관 관계를 생성하는 단계는,
    상기 원점을 기준으로 상기 복수의 제2 라이브러리 치아 각각의 제1 위치 정보와 상기 복수의 제2 라이브러리 치아 각각과 동일한 치아 번호를 가지는 제2 위치 정보 사이의 상관 관계를 지시하는 치아별 변환 행렬을 생성하는 단계;
    를 포함하는, 방법.
  11. 제10항에 있어서,
    상기 대상 구강의 3차원 이미지 및 상기 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 단계는,
    상기 치아별 변환 행렬에 기초하여 상기 복수의 제2 라이브러리 치아를 상기 3차원 공간 상에서 상기 복수의 제2 라이브러리 치아 각각과 동일한 치아 번호를 가지는 상기 대상 구강의 3차원 이미지에 중첩하여 디스플레이하는 단계;
    를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 원점은 상기 악궁에서 2개의 중절치 사이의 점인,
    방법.
  13. 제1항에 있어서,
    상기 대상 구강의 3차원 이미지 및 상기 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 단계는,
    삭제된 치아에 대응하는 치아별 변환 행렬에 기초하여 상기 삭제된 치아에 대응하는 라이브러리 치아를 상기 대상 구강의 3차원 이미지에 중첩하여 디스플레이하는 단계를 포함하는, 방법.
  14. 제13항에 있어서,
    상기 삭제된 치아에 대응하는 상기 치아별 변환 행렬은,
    상기 치아 번호에 대응하는 악궁에서의 점을 포함하는 제2 위치 정보에 기초하여 생성되고,
    상기 삭제된 치아에 대응하는 라이브러리 치아는 상기 삭제된 치아에 대응하는 보철물을 포함하는,
    방법.
  15. 제1항에 있어서,
    상기 대상 구강의 3차원 이미지 및 상기 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 단계는,
    프렙(Prep) 치아에 대응하는 치아별 변환 행렬에 기초하여 상기 프렙 치아에 대응하는 라이브러리 치아를 상기 대상 구강의 3차원 이미지에 중첩하여 디스플레이하는 단계
    를 포함하는, 방법.
  16. 제15항에 있어서,
    상기 프렙 치아에 대응하는 상기 치아별 변환 행렬은,
    상기 프렙 치아의 최상단 높이와 상기 프렙 치아에 대응하는 라이브러리 치아의 최상단 높이의 차이에 기초하여 제2 바운딩 박스의 중점이 변경된 제2 위치 정보에 기초하여 생성되고,
    상기 프렙 치아에 대응하는 라이브러리 치아는 상기 프렙 치아에 대응하는 보철물을 포함하는,
    방법.
  17. 제1항에 있어서,
    상기 대상 구강의 3차원 이미지 및 상기 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 단계는,
    상기 복수의 치아에 대응하는 복수의 제2 라이브러리 치아가 커넥터로 연결되었다는 결정에 따라, 상기 복수의 제2 라이브러리 치아 사이에 상기 커넥터를 표시하는 단계를 포함하는, 방법.
  18. 프로세서;
    구강 스캐너와 통신 연결되는 네트워크 인터페이스;
    디스플레이;
    메모리; 및
    상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
    상기 컴퓨터 프로그램은,
    대상 구강의 3차원 이미지를 3차원 공간 상에 배치하고,
    상기 대상 구강의 복수의 치아를 선택하는 입력을 수신하고,
    상기 대상 구강의 3차원 이미지에 대응하는 제1 라이브러리 치아를 상기 3차원 공간 상에 배치하고,
    상기 제1 라이브러리 치아 중 상기 복수의 치아에 대응하는 복수의 제2 라이브러리 치아 가 상기 대상 구강의 3차원 이미지 중 상기 복수의 치아에 대응하는 공간에 배치되도록, 상기 복수의 제2 라이브러리 치아를 상기 3차원 공간 상에서 이동시키고, 그리고
    상기 대상 구강의 3차원 이미지 및 상기 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는,
    전자 장치.
  19. 프로세서에 의해 실행되기 위한 컴퓨터 프로그램을 기록한 비일시적 컴퓨터 판독 가능 기록 매체에 있어서,
    상기 컴퓨터 프로그램은,
    대상 구강의 3차원 이미지를 3차원 공간 상에 배치하는 인스트럭션;
    상기 대상 구강의 복수의 치아를 선택하는 입력을 수신하는 인스트럭션;
    상기 대상 구강의 3차원 이미지에 대응하는 제1 라이브러리 치아를 상기 3차원 공간 상에 배치하는 인스트럭션;
    상기 제1 라이브러리 치아 중 상기 복수의 치아에 대응하는 복수의 제2 라이브러리 치아 가 상기 대상 구강의 3차원 이미지 중 상기 복수의 치아에 대응하는 공간에 배치되도록, 상기 복수의 제2 라이브러리 치아를 상기 3차원 공간 상에서 이동시키는 인스트럭션; 및
    상기 대상 구강의 3차원 이미지 및 상기 복수의 제2 라이브러리 치아를 중첩하여 디스플레이하는 인스트럭션을 포함하는,
    컴퓨터 판독 가능 기록 매체.
PCT/KR2024/009552 2023-07-06 2024-07-05 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체 Ceased WO2025009924A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202480054722.7A CN121752222A (zh) 2023-07-06 2024-07-05 口腔扫描仪的扫描图像处理方法、其装置以及记录有其指令的记录介质

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20230087607 2023-07-06
KR10-2023-0087607 2023-07-06
KR10-2024-0088170 2024-07-04
KR1020240088170A KR20250008695A (ko) 2023-07-06 2024-07-04 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체

Publications (1)

Publication Number Publication Date
WO2025009924A1 true WO2025009924A1 (ko) 2025-01-09

Family

ID=94172378

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/009552 Ceased WO2025009924A1 (ko) 2023-07-06 2024-07-05 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체

Country Status (2)

Country Link
CN (1) CN121752222A (ko)
WO (1) WO2025009924A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101631258B1 (ko) * 2015-05-28 2016-06-16 주식회사 디오 디지털 스캔바디를 이용한 3차원 구강컨펌모델 제조방법
KR20210106754A (ko) * 2020-02-21 2021-08-31 주식회사 디오 디지털 라이브러리를 이용한 치과 임플란트용 보철물 제조방법
KR20220054095A (ko) * 2020-10-23 2022-05-02 주식회사 메디트 구강 이미지 처리 장치 및 구강 이미지 처리 방법
KR20230037434A (ko) * 2021-09-09 2023-03-16 주식회사 메디트 데이터 처리 장치 및 데이터 처리 방법
KR102522720B1 (ko) * 2022-03-04 2023-04-25 이마고웍스 주식회사 3차원 구강 스캔 데이터에 3차원 치아 라이브러리 모델을 자동 정렬하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101631258B1 (ko) * 2015-05-28 2016-06-16 주식회사 디오 디지털 스캔바디를 이용한 3차원 구강컨펌모델 제조방법
KR20210106754A (ko) * 2020-02-21 2021-08-31 주식회사 디오 디지털 라이브러리를 이용한 치과 임플란트용 보철물 제조방법
KR20220054095A (ko) * 2020-10-23 2022-05-02 주식회사 메디트 구강 이미지 처리 장치 및 구강 이미지 처리 방법
KR20230037434A (ko) * 2021-09-09 2023-03-16 주식회사 메디트 데이터 처리 장치 및 데이터 처리 방법
KR102522720B1 (ko) * 2022-03-04 2023-04-25 이마고웍스 주식회사 3차원 구강 스캔 데이터에 3차원 치아 라이브러리 모델을 자동 정렬하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Also Published As

Publication number Publication date
CN121752222A (zh) 2026-03-27

Similar Documents

Publication Publication Date Title
WO2021137573A2 (ko) 마진라인 설정 장치 및 방법
WO2020209496A1 (ko) 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치
WO2023214607A1 (ko) 3차원 구강 스캔 데이터에 3차원 단일 치아 모델을 자동 정렬하는 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2022085966A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2021025296A1 (ko) 크라운 모델 자동 추천방법 및 이를 수행하는 보철 캐드 장치
WO2021133120A2 (ko) 구조물 데이터 매칭 방법 및 이를 이용한 구조물 데이터 매칭 시스템
WO2018066764A1 (ko) 임플란트 진단용 영상 생성 시스템 및 그 생성방법
WO2022260442A1 (ko) 구강 이미지를 처리하는 데이터 처리 장치 및 구강 이미지 처리 방법
WO2019088343A1 (ko) 아크라인에 기초한 보철물 디자인 방법 및 시스템
WO2022065756A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2018066763A1 (ko) 임플란트 진단용 영상 생성 시스템 및 그 생성방법
WO2020185015A1 (ko) 치아 보철 제조를 위한 3차원 스캔 데이터 처리 방법
WO2022270903A1 (ko) 구강에 대한 마진 라인 정보를 제공하는 방법 및 그를 수행하는 전자 장치
WO2019124846A1 (ko) 치과용 임플란트 시술 가이드장치, 치과용 임플란트 시술 가이드장치 제작시스템 및 그 제작방법
WO2025009924A1 (ko) 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체
WO2023003192A1 (ko) 이미지 처리 장치, 및 이미지 처리 방법
WO2024014912A1 (ko) 이미지 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체
WO2022197016A1 (ko) 데이터 처리 방법
WO2022225332A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2023003399A1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
WO2022197153A1 (ko) 데이터 처리 방법
WO2022092594A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
KR20250008695A (ko) 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체
WO2023008872A1 (ko) 골 이식량 결정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
WO2021137652A2 (ko) 통합 라이브러리 사용 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24836371

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024836371

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024836371

Country of ref document: EP

Effective date: 20260206