WO2024253058A1 - 歯垢検出装置、歯垢検出方法及びプログラム - Google Patents

歯垢検出装置、歯垢検出方法及びプログラム Download PDF

Info

Publication number
WO2024253058A1
WO2024253058A1 PCT/JP2024/020180 JP2024020180W WO2024253058A1 WO 2024253058 A1 WO2024253058 A1 WO 2024253058A1 JP 2024020180 W JP2024020180 W JP 2024020180W WO 2024253058 A1 WO2024253058 A1 WO 2024253058A1
Authority
WO
WIPO (PCT)
Prior art keywords
plaque
image
rgb image
tartar
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/020180
Other languages
English (en)
French (fr)
Inventor
岳史 浜崎
泰雄 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to EP24819288.2A priority Critical patent/EP4725390A1/en
Priority to CN202480003912.6A priority patent/CN119947632A/zh
Priority to JP2025526099A priority patent/JP7784630B2/ja
Publication of WO2024253058A1 publication Critical patent/WO2024253058A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue

Definitions

  • This disclosure relates to a plaque detection device, a plaque detection method, and a program.
  • Patent document 1 discloses a device that detects plaque based on photographs taken of teeth inside the oral cavity.
  • plaque detection devices It is desirable for such plaque detection devices to be able to detect the condition of plaque in more detail.
  • the present disclosure therefore provides a plaque detection device or method that can detect the condition of teeth in detail.
  • a plaque detection device includes an acquisition unit that acquires a first RGB image from reflected light and fluorescence from teeth, plaque, and tartar in an oral cavity irradiated with irradiation light of a predetermined wavelength that excites fluorescent substances contained in plaque and tartar, and generates a second RGB image by performing image processing including a first image processing on the first RGB image, and detects the content per unit area of the fluorescent substances contained in the plaque and tartar attached to the teeth based on the fluorescence intensity value of the fluorescent reaction of the fluorescent substances in the second RGB image.
  • the first image processing is a process of extracting a natural tooth region free of plaque and tartar from the first RGB image, and adjusting the gain of at least two color components of the red, green, and blue components of the first RGB image so that a first red pixel average value of multiple red pixel values of multiple first pixels constituting the natural tooth region, a first green pixel average value of multiple green pixel values of the multiple first pixels, and a first blue pixel average value of multiple blue pixel values of the multiple first pixels are equal.
  • the present disclosure can provide a plaque detection device or method that can detect the condition of teeth in detail.
  • FIG. 1 is a perspective view of an intraoral camera in an intraoral camera system according to an embodiment.
  • FIG. 2 is a cross-sectional view illustrating a schematic imaging optical system incorporated in the intraoral camera in the intraoral camera system according to the embodiment.
  • FIG. 3 is a schematic configuration diagram of an intraoral camera system according to an embodiment.
  • FIG. 4 is a diagram showing an operation flow of the intraoral camera system according to the embodiment.
  • FIG. 5 is a functional block diagram of a mobile terminal according to an embodiment.
  • FIG. 6 is a diagram showing an example of teeth in an oral cavity according to an embodiment.
  • FIG. 7 is a diagram illustrating an example of a layered model according to the embodiment.
  • FIG. 8 is a diagram for explaining the illuminance of fluorescent light at a depth D according to the embodiment.
  • FIG. 9 is a diagram for explaining the illuminance of fluorescent light observed from dental plaque having a thickness D0 according to the embodiment.
  • FIG. 10 is a flowchart of a process for detecting the concentration distribution of a fluorescent material according to the embodiment.
  • FIG. 11 is a diagram showing an example of a fourth RGB image according to the embodiment.
  • FIG. 12 is a diagram showing an example of a fourth RGB image according to the embodiment.
  • FIG. 13 is a diagram showing the relationship between the fluorescence intensity, MIN, and k according to the embodiment.
  • FIG. 14 is a diagram showing the relationship between the fluorescence intensity, S (saturation), and k according to the embodiment.
  • FIG. 15 is a diagram showing the relationship between the fluorescence intensity, L (brightness), and k according to the embodiment.
  • FIG. 16 is a diagram showing an example of pixel values in each image when the blue light region is attenuated by the signal processing according to the embodiment.
  • FIG. 17 is a diagram showing an example of pixel values in each image when the blue light region is attenuated by the signal processing according to the embodiment.
  • a plaque detection device includes an acquisition unit that acquires a first RGB image from reflected light and fluorescence from teeth, plaque, and tartar in an oral cavity irradiated with irradiation light of a predetermined wavelength that excites fluorescent substances contained in plaque and tartar, and generates a second RGB image by performing image processing including a first image processing on the first RGB image, and detects the content per unit area of the fluorescent substances contained in the plaque and tartar attached to the teeth based on the fluorescence intensity value of the fluorescent reaction of the fluorescent substances in the second RGB image.
  • the first image processing is a process for extracting a natural tooth region free of plaque or tartar from the first RGB image, and adjusting the gain of at least two color components of the red, green, and blue components of the first RGB image so that a first red pixel average value of multiple red pixel values of multiple first pixels constituting the natural tooth region, a first green pixel average value of multiple green pixel values of the multiple first pixels, and a first blue pixel average value of multiple blue pixel values of the multiple first pixels are equal.
  • the plaque detection device can detect the amount of fluorescent substance contained in plaque and tartar attached to the teeth per unit area, thereby enabling detailed detection of the condition of the teeth. Furthermore, by performing the first image processing, the plaque detection device can adjust the white balance of the first RGB image in which the fluorescently reacting teeth are photographed. As a result, the plaque detection device can generate a second RGB image that makes it easy to distinguish the plaque region, which is the region on the tooth where plaque is attached. Therefore, the plaque detection device can improve the detection accuracy of the amount of fluorescent substance contained in plaque and tartar attached to the teeth per unit area. Furthermore, the plaque detection device can improve the accuracy of the white balance adjustment process by performing the first image processing using pixels of the natural tooth region where plaque and tartar are not attached.
  • a first region may be detected in which (i) in the entire pixel region of the first RGB image, the luminance value is equal to or greater than a predetermined first threshold value, or (ii) in the entire pixel region of the first RGB image, the green pixel value is equal to or greater than a predetermined second threshold value, and the natural tooth region may be extracted based on the first region.
  • the plaque detection device can accurately detect the natural tooth region using the luminance value or the green pixel value.
  • an area obtained by excluding areas of plaque and tartar from the first region may be extracted as the natural tooth region. This allows the plaque detection device to improve the accuracy of the white balance adjustment process.
  • the first RGB image may be an image in which at least a portion of the blue light region is attenuated from the reflected light and fluorescence from the teeth and plaque in the oral cavity.
  • the plaque detection device can improve the detection accuracy of the content per unit area of fluorescent substances contained in plaque and tartar attached to the teeth by using a first image in which at least a portion of the blue light region is attenuated from the reflected light and fluorescence from the teeth, plaque, and tartar in the oral cavity irradiated with irradiation light of a predetermined wavelength that excites fluorescent substances contained in plaque and tartar.
  • the detection unit may generate an HSV image from the second RGB image, and detect the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area from the brightness value of the HSV image.
  • the plaque detection device can accurately detect the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area based on the brightness value of the HSV image.
  • the detection unit may identify a specific pixel area in which one or more fourth pixels of the HSV image that have saturation within a first predetermined range, hue within a second predetermined range, and brightness within at least one of a third predetermined range are located, and detect the amount of the fluorescent substance contained in the plaque and tartar attached to the tooth per unit area from the brightness value in the specific pixel area.
  • the plaque detection device can improve the detection accuracy of the amount by detecting the amount of the fluorescent substance contained in the plaque and tartar attached to the tooth per unit area after identifying the plaque area in the tooth image.
  • the detection unit may generate an HSL image from the second RGB image, and detect the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area from the luminance value of the HSL image.
  • the plaque detection device can accurately detect the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area based on the luminance value of the HSL image.
  • the detection unit may identify a specific pixel area in which one or more fifth pixels of the HSL image that have at least one of a saturation within a fourth predetermined range, a hue within a fifth predetermined range, and a luminance within a sixth predetermined range are located, and detect the amount of the fluorescent substance contained in the plaque and tartar attached to the tooth per unit area from the luminance value in the specific pixel area.
  • the plaque detection device can improve the detection accuracy of the amount by detecting the amount of the fluorescent substance contained in the plaque and tartar attached to the tooth per unit area after identifying the plaque area in the tooth image.
  • the fluorescent substance may be porphyrin.
  • the detection unit may assign the content per unit area of the fluorescent substance contained in the plaque and tartar attached to the tooth to three or more gradations, and generate a third image by superimposing the content per unit area of the fluorescent substance contained in the plaque and tartar attached to the tooth displayed in gradations on a second image based on the first RGB image. In this way, for example, the generated third image can notify the user of the content per unit area of the fluorescent substance contained in the plaque and tartar attached to the tooth.
  • the plaque detection device may further include an identification unit that identifies the type of photographed tooth, and a storage unit that stores the amount of fluorescent substance contained in the plaque and tartar adhering to the tooth detected from the photographed tooth per unit area in association with the identified type of tooth. In this way, the plaque detection device can manage the amount of fluorescent substance contained in the plaque and tartar adhering to each tooth per unit area.
  • a plaque detection method includes obtaining a first RGB image from reflected light and fluorescence from teeth, plaque, and tartar in an oral cavity irradiated with irradiation light of a predetermined wavelength that excites fluorescent substances contained in plaque and tartar, performing image processing including a first image processing on the first RGB image to generate a second RGB image, and calculating the content per unit area of the fluorescent substances contained in the plaque and tartar attached to the teeth based on the value of the fluorescence intensity of the fluorescent reaction of the fluorescent substances in the second RGB image.
  • the first image processing is a process of extracting a natural tooth region free of plaque and tartar from the first RGB image, and adjusting the gain of at least two of the red, green, and blue color components of the first RGB image so that a first red pixel average value of multiple red pixel values of multiple first pixels constituting the natural tooth region, a first green pixel average value of multiple green pixel values of the multiple first pixels, and a first blue pixel average value of multiple blue pixel values of the multiple first pixels are equal.
  • the plaque detection method can detect the amount of fluorescent substance contained in plaque and tartar attached to the teeth per unit area, and thus can detect the condition of the teeth in detail. Furthermore, the plaque detection method can adjust the white balance of the first RGB image in which the fluorescently reacting teeth are photographed by performing the first image processing. Therefore, the plaque detection method can generate a second RGB image that makes it easy to distinguish the plaque region, which is the region of the tooth where plaque is attached. Therefore, the plaque detection method can improve the detection accuracy of the amount of fluorescent substance contained in plaque and tartar attached to the teeth per unit area. Furthermore, the plaque detection method can improve the accuracy of the white balance adjustment process by performing the first image processing using pixels of the natural tooth region where plaque and tartar are not attached.
  • a program according to one aspect of the present disclosure is a program for causing a computer to execute the plaque detection method.
  • FIG. 1 is a perspective view of an intraoral camera in an intraoral camera system according to the present embodiment.
  • an intraoral camera 10 has a toothbrush-like housing that can be handled with one hand, and the housing includes a head portion 10a that is placed in a user's oral cavity when photographing a dentition, a handle portion 10b that the user holds, and a neck portion 10c that connects the head portion 10a and the handle portion 10b.
  • FIG 2 is a cross-sectional view that shows a schematic of the imaging optical system 12 incorporated in the intraoral camera 10.
  • the imaging optical system 12 of the intraoral camera 10 is incorporated in the head portion 10a and the neck portion 10c.
  • the imaging optical system 12 includes an image sensor 14 and a lens 16 arranged on its optical axis LA.
  • the imaging element 14 is a photographing device such as a C-MOS (Complementary Metal-Oxide-Semiconductor) sensor or a CCD (Charge Coupled Device) element, and an image of the tooth D is formed by the lens 16.
  • the imaging element 14 outputs a signal (image data) corresponding to the formed image to the outside.
  • the lens 16 is, for example, a focusing lens, and forms an image of the tooth D that is incident on the imaging element 14.
  • the lens 16 may be a single lens or a lens group consisting of multiple lenses.
  • the imaging optical system 12 further includes a mirror 18 that reflects the image of the tooth D toward the lens 16, a blue light cut filter (blue light blocking element) 20 arranged between the mirror 18 and the lens 16, and an aperture 24 arranged between the lens 16 and the image sensor 14.
  • a mirror 18 that reflects the image of the tooth D toward the lens 16
  • a blue light cut filter (blue light blocking element) 20 arranged between the mirror 18 and the lens 16
  • an aperture 24 arranged between the lens 16 and the image sensor 14.
  • the mirror 18 is positioned on the optical axis LA of the imaging optical system 12 so as to reflect the image of the tooth D that passes through the entrance 12a of the imaging optical system 12 toward the lens 16.
  • the blue light cut filter 20 is a filter that cuts out the blue wavelength light components contained in the light that enters the image sensor 14.
  • the blue light cut filter 20 cuts out light including the blue wavelength range from the light before it enters the image sensor 14.
  • the aperture 24 is a plate-shaped member with a through hole on the optical axis LA of the imaging optical system 12, and achieves a deep focal depth. This allows the focus to be adjusted in the depth direction within the oral cavity, and an image of the dentition with clear contours can be obtained.
  • the intraoral camera 10 is also equipped with a number of first to fourth LEDs 26A to 26D as lighting devices that irradiate light onto the tooth D to be photographed during photography.
  • the first to fourth LEDs 26A to 26D are, for example, blue LEDs (Light Emitting Diodes). As shown in FIG. 1, in this embodiment, the first to fourth LEDs 26A to 26D are arranged to surround the entrance 12a.
  • a translucent cover 28 that covers the first to fourth LEDs 26A to 26D and the entrance 12a is provided on the head portion 10a to prevent the gums G, etc. from coming into contact with the first to fourth LEDs 26A to 26D and causing a shortage of illumination light.
  • Some of the first to fourth LEDs 26A to 26D may be white LEDs. By using white LEDs for some of the first through fourth LEDs 26A-26D, the first RGB image can be brightened and the balance of blue pixel values relative to red and green pixel values can be improved.
  • the intraoral camera 10 has a composition adjustment mechanism 30 and a focus adjustment mechanism 32, as shown in FIG. 2.
  • the composition adjustment mechanism 30 is composed of a housing 34 that holds the image sensor 14 and lens 16, and an actuator 36 that moves the housing 34 in the direction in which the optical axis LA extends.
  • the actuator 36 adjusts the position of the housing 34 to adjust the angle of view, i.e., the size of the row of teeth imaged on the image sensor 14.
  • the composition adjustment mechanism 30 automatically adjusts the position of the housing 34 so that, for example, an entire tooth is captured in the captured image.
  • the composition adjustment mechanism 30 also adjusts the position of the housing 34 based on the user's operation so that the angle of view desired by the user is achieved.
  • the focus adjustment mechanism 32 is held within the housing 34 of the composition adjustment mechanism 30 and is composed of a lens holder 38 that holds the lens 16, and an actuator 40 that moves the lens holder 38 in the extension direction of the optical axis LA.
  • the actuator 40 adjusts the relative position of the lens holder 38 with respect to the image sensor 14, thereby adjusting the focus, i.e., the focal point.
  • the focus adjustment mechanism 32 automatically adjusts the position of the lens holder 38 so that, for example, a tooth located in the center of the captured image is brought into focus.
  • the focus adjustment mechanism 32 also adjusts the position of the lens holder 38 based on the user's operation.
  • the components of the imaging optical system 12, except for the mirror 18, may be provided on the handle portion 10b of the intraoral camera 10.
  • the image output by the imaging element 14 is an RGB image in which each of the multiple pixels that make up the image has RGB sub-pixels.
  • the intraoral camera 10 is also equipped with multiple first to fourth LEDs 26A to 26D as lighting devices that irradiate light onto the teeth to be photographed during photography.
  • the first to fourth LEDs 26A to 26D are, for example, blue LEDs that irradiate blue light with a wavelength that peaks at 405 nm. Note that the first to fourth LEDs 26A to 26D are not limited to blue LEDs and may be any light source that irradiates light that includes the wavelength range of blue light.
  • FIG. 3 is a schematic diagram of an intraoral camera system according to this embodiment.
  • the intraoral camera system according to this embodiment is generally configured to capture an image of the dentition using an intraoral camera 10 and perform image processing on the captured image.
  • the intraoral camera system includes an intraoral camera 10, a mobile terminal 70, and a cloud server 80.
  • the mobile terminal 70 is, for example, a smartphone or tablet terminal capable of wireless communication.
  • the mobile terminal 70 is equipped with, as an input device and an output device, a touch screen 72 capable of displaying, for example, an image of a dentition.
  • the mobile terminal 70 functions as a user interface for the intraoral camera system.
  • the cloud server 80 is a server that can communicate with the mobile terminal 70 via the Internet or the like, and provides the mobile terminal 70 with an application for using the intraoral camera 10. For example, a user downloads an application from the cloud server 80 and installs it on the mobile terminal 70. The cloud server 80 also acquires dentition images captured by the intraoral camera 10 via the mobile terminal 70.
  • the intraoral camera 10 includes a central control unit 50 as the main part that controls the system, an LED control unit 54 that controls the multiple LEDs 26A-26D, a lens driver 56 that controls the actuator 36 of the composition adjustment mechanism 30 and the actuator 40 of the focus adjustment mechanism 32, and a position sensor 90.
  • the intraoral camera 10 also has a wireless communication module 58 that communicates wirelessly with the mobile terminal 70, and a power supply control unit 60 that supplies power to the central control unit 50 and other components.
  • the central control unit 50 of the intraoral camera 10 is mounted, for example, on the handle unit 10b of the intraoral camera 10.
  • the central control unit 50 also includes a controller 62 such as a CPU (Central Processing Unit) or MPU (Micro Processing Unit) that executes various processes described below, and a memory 64 such as a RAM (Random Access Memory) or ROM (Read Only Memory) that stores programs for causing the controller 62 to execute various processes.
  • the memory 64 also stores a dentition image (image data) captured by the imaging element 14 and various setting data.
  • the dentition image captured by the imaging element 14 is an example of a first RGB image.
  • the controller 62 transmits the dentition image output from the imaging element 14 to the mobile terminal 70 via the wireless communication module 58.
  • the mobile terminal 70 displays the transmitted dentition image on the touch screen 72, thereby presenting the dentition image to the user.
  • the LED control unit 54 is mounted, for example, on the handle portion 10b of the intraoral camera 10, and turns on and off the first to fourth LEDs 26A to 26D based on a control signal from the controller 62.
  • the LED control unit 54 is composed of, for example, a circuit. For example, when a user performs an operation on the touch screen 72 of the mobile terminal 70 to start the intraoral camera 10, a corresponding signal is sent from the mobile terminal 70 to the controller 62 via the wireless communication module 58. Based on the received signal, the controller 62 sends a control signal to the LED control unit 54 to turn on the first to fourth LEDs 26A to 26D.
  • the lens driver 56 is mounted, for example, on the handle portion 10b of the intraoral camera 10, and controls the actuator 36 of the composition adjustment mechanism 30 and the actuator 40 of the focus adjustment mechanism 32 based on a control signal from the controller 62 of the central control unit 50.
  • the lens driver 56 is, for example, composed of a circuit.
  • a corresponding signal is transmitted from the mobile terminal 70 to the central control unit 50 via the wireless communication module 58.
  • the controller 62 of the central control unit 50 transmits a control signal to the lens driver 56 to perform composition adjustment or focus adjustment.
  • the controller 62 calculates the control amount of the actuator 36 or 40 required for composition adjustment or focus adjustment based on the dentition image from the imaging element 14, and a control signal corresponding to the calculated control amount is transmitted to the lens driver 56.
  • the wireless communication module 58 is mounted, for example, on the handle portion 10b of the intraoral camera 10, and performs wireless communication with the mobile terminal 70 based on a control signal from the controller 62.
  • the wireless communication module 58 performs wireless communication with the mobile terminal 70 that complies with existing communication standards such as WiFi (registered trademark) or Bluetooth (registered trademark).
  • WiFi registered trademark
  • Bluetooth registered trademark
  • the power supply control unit 60 is mounted on the handle portion 10b of the intraoral camera 10, and distributes power from a battery 66 to the central control unit 50, the LED control unit 54, the lens driver 56, and the wireless communication module 58.
  • the power supply control unit 60 is composed of, for example, a circuit.
  • the battery 66 is a rechargeable secondary battery, and is wirelessly charged by an external charger 69 connected to a commercial power source via a coil 68 mounted on the intraoral camera 10.
  • the position sensor 90 is a sensor for detecting the posture and position of the intraoral camera 10, and is, for example, a multi-axis (here, three axes: x, y, and z) acceleration sensor.
  • the position sensor 90 may be a six-axis sensor having a three-axis acceleration sensor and a three-axis gyro sensor.
  • the z-axis coincides with the optical axis LA.
  • the y-axis is parallel to the imaging surface and extends in the longitudinal direction of the intraoral camera 10.
  • the x-axis is parallel to the imaging surface and perpendicular to the y-axis.
  • the output of each axis of the position sensor 90 may be transmitted to the mobile terminal 70 via the central control unit 50 and the wireless communication module 58.
  • the position sensor 90 may be a piezoresistance type, capacitance type, or heat detection type MEMS (Micro Electro Mechanical Systems) sensor.
  • a correction circuit may be provided to correct the balance of sensitivity of the sensors for each axis, the temperature characteristics of sensitivity, or temperature drift.
  • a band-pass filter (low-pass filter) may also be provided to remove dynamic acceleration components or noise. Noise may also be reduced by smoothing the output waveform of the acceleration sensor.
  • Figure 4 is a diagram showing the flow of operation in the intraoral camera system. Note that the process shown in Figure 4 is, for example, a process that is performed in real time, and is performed each time one frame or multiple frames of image data are obtained.
  • Image data is generated when a user uses the intraoral camera 10 to capture images of the teeth and gums in their oral cavity (S101). This image data is obtained, for example, by irradiating the teeth with light including a wavelength range of blue light and capturing images of the teeth that are undergoing a fluorescent reaction.
  • the intraoral camera 10 transmits the captured image data to the mobile terminal 70 (S102).
  • the image data may be a video or one or more still images.
  • the sensor data may be transmitted for each frame of the video or for each still image.
  • the image data is a video, the sensor data may be transmitted for each multiple frames.
  • image data may be transmitted in real time, or may be transmitted all at once after a series of photographs (e.g., photographs of all teeth in the oral cavity) have been taken.
  • the mobile terminal 70 performs image processing on the received image data (S103), and detects the concentration distribution of the fluorescent substance using the processed image data (S104). Next, the mobile terminal 70 generates an image in which the detected concentration distribution of the fluorescent substance is superimposed on an image of the oral cavity (S105), and displays the generated image (S106).
  • the user can take an image of the inside of their own oral cavity with the intraoral camera 10 and check the condition of the oral cavity displayed on the mobile terminal 70. Furthermore, the concentration distribution of the fluorescent substance is shown in the displayed image, so that the user can easily check the health condition of their own teeth.
  • the mobile terminal 70 may also generate a three-dimensional model of multiple teeth in the oral cavity from multiple captured image data.
  • the mobile terminal 70 may also display an image based on the generated three-dimensional model.
  • the mobile terminal 70 processes images of teeth, some or all of this processing may be performed by the intraoral camera 10.
  • the mobile terminal 70 is an example of a plaque detection device.
  • FIG. 5 is a functional block diagram of the mobile terminal 70.
  • the mobile terminal 70 includes an acquisition unit 101, a detection unit 102, a display unit 103, an identification unit 104, and a storage unit 105.
  • the acquisition unit 101 acquires image data (first RGB image) transmitted from the intraoral camera 10.
  • the acquisition unit 101 may acquire sensor data in addition to image data from the intraoral camera 10.
  • the first RGB image is an image obtained by the intraoral camera 10 photographing teeth that are undergoing a fluorescent reaction by irradiating the teeth with light that includes a wavelength range of blue light.
  • blue light is an example of irradiation light of a specific wavelength that excites fluorescent substances contained in dental plaque.
  • the fluorescent substance is, for example, porphyrin.
  • the detection unit 102 may generate a third RGB image by performing an exposure control process (second image processing) on the first RGB image, and generate a second RGB image by performing a white balance adjustment process (first image processing) on the third RGB image.
  • the detection unit 102 first extracts a plurality of pixels whose RGB values satisfy the following formulas 1 and 2 from among a plurality of first RGB pixels (third pixels) constituting the first RGB image.
  • min(R,G,B) indicates the minimum of the pixel values of the three RGB subpixels (i.e., the red pixel value, green pixel value, and blue pixel value) of the first RGB pixel.
  • Ths is a threshold value for removing areas in the first RGB image that are strongly affected by the reflection of the irradiated light (e.g., glossy areas). Ths is, for example, 900 in 10-bit representation.
  • max(R,G,B) indicates the maximum pixel value of the three RGB subpixels (i.e., the red pixel value, the green pixel value, and the blue pixel value) that the first RGB pixel has.
  • Thmax indicates the maximum value that a pixel value can take.
  • Thmax is expressed as 1023 in 10-bit representation.
  • Thmax is an example of a first threshold value.
  • Gmax is the maximum value of the multiple green pixel values in the first RGB image. In other words, it is the pixel value of the green pixel with the maximum pixel value among the multiple first RGB green pixels that make up the first RGB image.
  • Thb is a threshold value for extracting the second green pixel from the first RGB pixels. If the Thb value is made large, the image will become too bright, so for example, it is set to a value of 10 or less in 10-bit representation.
  • Equation 1 excludes glossy regions, and equation 2 extracts the tooth region in the first RGB image.
  • the multiple pixels extracted by equations 1 and 2 are the multiple second pixels that make up the tooth region.
  • the multiple second pixels are pixels that, among the multiple first RGB pixels (third pixels) that make up the first RGB image, satisfy the following: the pixel value max (R, G, B) of the maximum color component is smaller than the first threshold value (Thmax), and the pixel value min (R, G, B) of the minimum color component is equal to or smaller than the second threshold value (Ths).
  • the detection unit 102 calculates an average value of the green pixels of the second pixels, and determines a gain to be multiplied to the pixel values of the three RGB subpixels according to the calculated average value of the green pixels.
  • the detection unit 102 determines a gain to be multiplied to the pixel values of the three RGB subpixels, for example, using the following formula 3.
  • the gain is obtained by dividing the target pixel value by the average value of the green pixels.
  • the detection unit 102 generates a third RGB image by multiplying each of the first RGB pixels constituting the first RGB image by the determined gain. More specifically, the detection unit 102 generates a third RGB image by multiplying the pixel values of the three subpixels of each of the first RGB pixels by the determined gain.
  • the pixel values of the multiple third RGB pixels constituting the third RGB image are pixel values calculated by multiplying the pixel values of the multiple first RGB pixels constituting the first RGB image by the determined gain. Note that if the pixel value exceeds the maximum value (1023 in the case of 10-bit representation) as a result of multiplying the gain, the detection unit 102 replaces the pixel value with 1023.
  • the average value of the green pixels of the multiple second pixels extracted from the first RGB pixel is calculated using Equation 2, and the gain to be multiplied to the pixel values of the three RGB subpixels is determined according to the calculated average value of the green pixels, but this is not limited to the above.
  • the average value of the red pixels of the multiple second pixels extracted from the first RGB pixel may be calculated, and the gain to be multiplied to the pixel values of the three RGB subpixels may be determined according to the calculated average value of the red pixels.
  • the average value of the blue pixels of the multiple second pixels extracted from the first RGB pixel may be calculated, and the gain to be multiplied to the pixel values of the three RGB subpixels may be determined according to the calculated average value of the blue pixels.
  • the exposure control process is a process for generating a third RGB image by determining a gain for multiple second pixel values so that the average value of multiple index values calculated from multiple second pixel values owned by each of multiple second pixels (pixels corresponding to the tooth area) included in the RGB image to be processed (here, the first RGB image) becomes a predetermined value, and applying the determined gain to multiple first RGB pixel values owned by multiple first RGB pixels in the first RGB image.
  • the index value may be a value calculated from the pixel values of the three RGB subpixels that make up one pixel, or it may be the pixel value of any one of the three subpixels.
  • the average value of the multiple index values is the average value of the color component having the maximum pixel value among the red, green, and blue components of the first RGB image.
  • the color component having the maximum average value is the color component having the maximum average value among the three average values: the first red pixel average value of the multiple red pixel values of the multiple first pixels constituting the first RGB image, the first green pixel average value of the multiple green pixel values of the multiple first pixels, and the first blue pixel average value of the multiple blue pixel values of the multiple first pixels. Note that the color component having the maximum average value does not need to be determined by calculating and comparing the first red pixel average value, the first green pixel average value, and the first blue pixel average value, and may be fixed to the green component.
  • the detection unit 102 calculates the average value of the green pixels of the second pixels in determining the gain, and determines the gain according to the calculated average value of the green pixels.
  • the detection unit 102 may calculate the average value of the luminance values of the second pixels as the average value of the index values, and determine the gain according to the calculated average value of the luminance values.
  • the index value may be the pixel value of any one of the three RGB subpixels constituting one pixel, or may be a value calculated from the pixel values of the three subpixels.
  • the detection unit 102 calculates the luminance value of each of the second pixels using the subpixel values of the three subpixels of the second pixel. For example, the detection unit 102 calculates the luminance value using the following formula 3.
  • Equation 3 Y is the luminance value, R is the red pixel value, G is the green pixel value, and B is the blue pixel value.
  • multiple luminance values may be obtained for each of multiple pixel values by calculating them based on the red pixel value, the green pixel value, and the blue pixel value contained in the pixel value.
  • the detection unit 102 extracts a plurality of pixels whose RGB values satisfy Expression 1 and the following Expression 4 from among a plurality of third RGB pixels constituting the third RGB image to be processed.
  • Thl is a threshold value indicating the lower limit of the tooth area
  • Thu is a threshold value indicating the upper limit of the tooth area.
  • the tooth area in the third RGB image is extracted using equation 4.
  • the multiple pixels extracted using equations 1 and 4 are the multiple second pixels that make up the tooth area.
  • the detection unit 102 calculates a first red pixel average value Rave, which is the average value of multiple red pixel values in the tooth region that satisfies Equations 1 and 4, a first green pixel average value Gave, which is the average value of multiple green pixel values in the tooth region, and a first blue pixel average value Bave, which is the average value of multiple blue pixel values in the tooth region. Then, the detection unit 102 adjusts the gains of at least two color components, the red component, the green component, and the blue component, of the RGB image to be processed so that the first red pixel average value Rave, the first green pixel average value Gave, and the first blue pixel average value Bave are equal.
  • the detection unit 102 calculates the gains of the multiple red pixel values (gain for red pixels) by dividing the first green pixel average value Gave by the first red pixel average value Rave.
  • the detection unit 102 also calculates the gains of the multiple blue pixel values (gain for blue pixels) by dividing the first green pixel average value Gave by the first blue pixel average value Bave.
  • the detection unit 102 then multiplies each red pixel of the multiple third RGB pixels constituting the third RGB image by the gain for red pixels, and multiplies each blue pixel of the multiple third RGB pixels by the gain for blue pixels, to generate a second RGB image.
  • the pixel values of the multiple second RGB pixels constituting the second RGB image are pixel values calculated by multiplying the red pixel values of the multiple third RGB pixels constituting the third RGB image by the gain for red pixels, and multiplying the blue pixel values of the multiple third RGB pixels by the gain for blue pixels.
  • the detection unit 102 performs white balance adjustment by calculating the red pixel gain and the blue pixel gain based on the green pixel average value and multiplying each gain by the pixel value of the corresponding color component, but this is not limited to the above.
  • the green pixel gain and the blue pixel gain may be calculated based on the red pixel average value, or the red pixel gain and the green pixel gain may be calculated based on the blue pixel average value.
  • the detection unit 102 replaces the pixel value with 1023.
  • the detection unit 102 may emphasize the plaque area within the tooth area in the second RGB image by performing a third image process as described below on the second RGB image. Specifically, the detection unit 102 generates an HSV image by converting the color space of the second RGB image into an HSV space.
  • the detection unit 102 identifies, as the plaque area, a specific pixel area in which one or more fourth pixels are located that satisfy at least one of the following conditions among the multiple fourth pixels in the HSV image: a saturation within a first predetermined range (e.g., 30 to 80 in 8-bit representation), a hue within a second predetermined range (e.g., 140 to 170 in 8-bit representation), and a brightness within a third predetermined range (e.g., 100 to 180 in 8-bit representation).
  • the first, second, and third predetermined ranges can be determined by comparing the actual plaque and tooth areas with the HSV image, and are not limited to the numerical ranges listed above.
  • the range of saturation, hue, and brightness values can be determined by administering a plaque stain and comparing the degree of staining caused by the plaque stain.
  • the detection unit 102 detects the concentration distribution of the fluorescent material using the HSV image. Specifically, the detection unit 102 detects the concentration distribution of the fluorescent material using the value of luminance V of the HSV image.
  • FIG. 6 is a diagram showing an example of teeth in the oral cavity.
  • teeth 301, gums 302, and plaque 303 are shown.
  • FIG. 7 is a diagram showing an example of a layered model of the structure of region 304 shown in FIG. 6.
  • plaque 303 is made up of layered layers of mature plaque (tartar) 305 and young plaque 306.
  • the porphyrins in the plaque are excited, generating red fluorescence. Furthermore, the intensity of the fluorescence does not reflect the current bacterial flora, but is thought to indicate the accumulation of fluorescent substances (porphyrins). In other words, the more fluorescent substances are accumulated, the stronger the red fluorescence becomes. In other words, the level of porphyrin accumulation increases as the plaque matures. Therefore, the fluorescence intensity of mature plaque 305 is stronger than that of young plaque 306.
  • the detection unit 102 detects the accumulation level (concentration or density) of the fluorescent substance by comparing the intensity of the red fluorescence per unit area of the plaque region. In other words, the detection unit 102 detects the amount of fluorescent substance contained in the plaque and tartar attached to the teeth per unit area.
  • a plaque region is extracted from one or more fourth pixels from the HSV image that satisfy at least one of the following: saturation S within a first predetermined range, hue H within a second predetermined range, and brightness V within a third predetermined range.
  • Equations 5, 6, and 7 hold true in the cylindrical model of HSV space.
  • the second RGB image is an image after white balance adjustment processing
  • MAX R
  • MIN G or B. That is, in the plaque region, the brightness V is determined by the value of R, regardless of the saturation S and hue H.
  • the fluorescent wavelength of porphyrin a fluorescent substance found in dental plaque
  • the concentration of porphyrin accumulated in the plaque region can be evaluated by detecting the brightness V value of the HSV image of the plaque region.
  • FIG. 8 is a diagram for explaining the illuminance of fluorescent light at depth D.
  • the LED light and plaque fluorescence attenuate as they travel through the plaque. Attenuation of the LED light and plaque fluorescence outside the plaque (i.e. in the atmosphere) can be ignored.
  • the brightness of the plaque fluorescence is proportional to the illuminance of the LED light that hits the plaque.
  • Equation 8 the spectral transmittance T d ⁇ 1 is expressed by Equation 9, and therefore Equation 10 can be obtained from Equations 8 and 9.
  • the luminance E ⁇ 2 of the fluorescence from the dental plaque at the depth D is expressed by Equation 11 using a proportionality constant k.
  • Equation 12 the luminance E ⁇ 2 of the fluorescence emitted by plaque is constant regardless of location if the depth D is the same. It is assumed that the density of plaque is uniformly distributed, and the attenuation rate ⁇ ⁇ 2 of the fluorescence due to plaque is constant regardless of the depth D.
  • Equation 12 the illuminance E ⁇ 2 (D) of the fluorescence observed from plaque at depth D is expressed by Equation 12.
  • the spectral transmittance T d ⁇ 2 is expressed by Equation 13, so Equation 14 can be obtained from Equations 12 and 13.
  • Equation 15 can be obtained from Equations 10, 11, and 14.
  • E ⁇ 2_t (D0) is a diagram for explaining the illuminance E ⁇ 2_t (D0) of the fluorescence observed from the plaque having a thickness D0.
  • the illuminance E ⁇ 2_t (D0) of the fluorescence observed from the plaque having a thickness D0 can be expressed as an integral value of E ⁇ 2 (D).
  • E ⁇ 2_t (D0) is expressed by Equation 16.
  • the red fluorescence intensity from a plaque layer (biofilm) of thickness D0 reflects the accumulation level of porphyrin in the plaque layer (biofilm).
  • the porphyrin concentration in the plaque layer was assumed to be constant, but the fluorescence reaction can be explained when the lower layer in the biofilm model is tartar with a high porphyrin concentration and the upper layer is young plaque with a low porphyrin concentration. That is, as shown in Figure 7, when the lower layer of mature plaque 305 (tartar) is covered by the upper layer of young plaque 306, the red fluorescence in the area with the lower layer of mature plaque 305 is stronger than the red fluorescence in the area without the lower layer of mature plaque 305.
  • the fluorescence changes depending on the thickness D (the greater the thickness D, the stronger the fluorescence).
  • the intensity of the fluorescence indicates the accumulation level, which is proportional to the concentration and amount (thickness) of the fluorescent substance.
  • FIG. 10 is a flowchart of the process of detecting the concentration distribution of fluorescent substances by the detection unit 102.
  • the detection unit 102 detects the accumulation level for each pixel by performing the process shown in FIG. 10 for each pixel in the plaque region included in the HSV image.
  • the detection unit 102 may also detect the accumulation level for each unit pixel by performing the process shown in FIG. 10 for each unit pixel made up of multiple pixels. In this case, for example, the average brightness value of the multiple pixels included in the unit pixel may be used.
  • the detection unit 102 determines whether the brightness of the target pixel is less than the first threshold (S121). If the brightness of the target pixel is less than the first threshold (Yes in S121), the detection unit 102 determines that the accumulation level of the target pixel is accumulation level 0 (e.g., no plaque) (S122).
  • the detection unit 102 determines that the accumulation level of the target pixel is accumulation level 1 (e.g., young plaque) (S124).
  • accumulation level 1 e.g., young plaque
  • the detection unit 102 determines that the accumulation level of the target pixel is accumulation level 2 (e.g., mature plaque (tartar)) (S125).
  • accumulation level 2 e.g., mature plaque (tartar)
  • the detection unit 102 detects the distribution of accumulation levels (concentration of fluorescent material) by determining the accumulation level for each pixel.
  • the distribution of accumulation levels is information that indicates the accumulation level for each two-dimensional position (e.g., pixel) on the xy plane.
  • the detection unit 102 then assigns the three accumulation levels 0 to 2 to different gradations, and generates, for example, a fourth RGB image by superimposing the distribution of accumulation levels displayed in gradations on the second RGB image.
  • FIG. 11 is a diagram showing an example of a fourth RGB image. For example, as shown in FIG. 11, a pattern of a first gradation (e.g., 0.5) is superimposed on the area of young plaque 306, and a pattern of a second gradation (e.g., 1.0) is superimposed on the area of mature plaque 305.
  • a first gradation e.g., 0.5
  • a second gradation e.g., 1.0
  • the accumulation levels may be four or more.
  • the second image onto which the accumulation level distribution is superimposed may be something other than the second RGB image.
  • the second image may be the first RGB image, or an image generated by performing image processing on the first RGB image or the second RGB image.
  • FIG. 12 is a diagram showing an example of teeth after intraoral care has been performed on the teeth in the state shown in FIG. 11. As shown in FIG. 12, by performing intraoral care (tooth brushing, etc.), young plaque 306 is removed, but mature plaque 305 is not removed.
  • intraoral care teeth brushing, etc.
  • the detection unit 102 may determine an oral care score (whether there is any area left unbrushed) based on the state of the young plaque 306.
  • the detection unit 102 may also recommend that the user have a checkup at a dentist based on the state of the mature plaque 305.
  • the detection unit 102 calculates the ratio of the area of young plaque 306 to the area of the tooth region. That is, the detection unit 102 calculates (area of young plaque 306)/(area of tooth region) ⁇ 100 ⁇ % ⁇ as a first area ratio of young plaque 306.
  • the detection unit 102 also calculates the ratio of the area of mature plaque 305 to the area of the tooth region. That is, the detection unit 102 calculates (area of mature plaque 305)/(area of tooth region) ⁇ 100 ⁇ % ⁇ as a second area ratio of mature plaque 305.
  • the detection unit 102 may use the calculated first area ratio to determine an oral care score.
  • the detection unit 102 may also use the calculated second area ratio to recommend that the user see a dentist. For example, when the second area ratio is greater than a predetermined threshold, the detection unit 102 may display a message to the user recommending that the user see a dentist.
  • the calculation and determination of the area ratio may be performed collectively for all teeth in the oral cavity.
  • the area ratio may be the ratio between the area of the total dental region of all teeth and the total area of plaque (young plaque 306 or mature plaque 305).
  • the calculation and determination of the area ratio may be performed individually for each of multiple teeth in the oral cavity.
  • the area ratio may be the ratio between the area of the dental region of one tooth and the area of plaque of one tooth.
  • the calculation and determination of the area ratio may be performed individually for each of the dental regions into which multiple teeth in the oral cavity are divided.
  • a dental region is, for example, a region that includes two or more teeth, such as the right back of the upper jaw or the left front of the lower jaw.
  • the identification unit 104 shown in FIG. 5 also identifies the types of multiple teeth in the image data based on the image data.
  • the type of tooth is information that can uniquely identify a tooth in the oral cavity, such as a maxillary right central incisor or a mandibular left lateral incisor.
  • the identification unit 104 acquires reference data corresponding to multiple tooth types from the cloud server 80, and identifies the types of each of the multiple teeth included in the image data by comparing features, etc., using the image data and the acquired reference data.
  • the identification unit 104 stores the concentration distribution (accumulation level) of the fluorescent material detected by the detection unit 102 in the memory unit 105 in association with multiple tooth types.
  • the memory unit 105 stores the concentration distribution (accumulation level) of the fluorescent material for each tooth. Furthermore, the area ratio and judgment process for each tooth described above may be performed using this information for each tooth.
  • the display unit 103 is a display device provided in the mobile terminal 70, and displays a fourth RGB image in which the distribution of accumulation levels is superimposed on the image data.
  • the display unit 103 also displays the above-mentioned determination results and messages based on the determination results.
  • the display unit 103 may also display the above-mentioned area ratio, etc.
  • the detection unit 102 performs exposure control processing on the first RGB image and performs white balance adjustment processing on the third RGB image generated by the exposure control processing, but the present invention is not limited to this and the exposure control processing may not be performed. For example, if a first RGB image in which the occurrence of variations in the luminance distribution is reduced is obtained, the exposure control processing may not be performed. For example, the variation in the luminance distribution of the obtained first RGB image may be reduced by controlling the illumination so that the shooting conditions are constant.
  • the accumulation level is detected using image data after image processing (exposure control processing, white balance adjustment processing, etc.), but some or all of the image processing may not be performed.
  • image processing exposure control processing, white balance adjustment processing, etc.
  • an HSV image may be generated from the first RGB image, and the accumulation level may be detected using the HSV image.
  • the accumulation level is detected using the brightness of the HSV image, but the method of determining the accumulation level is not limited to this.
  • the saturation or hue of the HSV image may be used, or a combination of the brightness and at least one of the saturation and hue may be used.
  • an evaluation value calculated from the brightness and at least one of the saturation and hue may be compared with a threshold value.
  • the accumulation level may be detected using an RGB image.
  • the R value of the RGB image may be used, or a combination of the R value and at least one of the G value and B value may be used.
  • an evaluation value calculated from the R value and at least one of the G value and B value may be compared with a threshold value.
  • the intraoral camera 10 transmits the first RGB image to the mobile terminal 70, and the first RGB image is processed in the mobile terminal 70, but this is not limited thereto.
  • the first RGB image may be transmitted to the cloud server 80, the cloud server 80 performs the above processing, and the second RGB image or the fourth RGB image as the processing result may be transmitted to the mobile terminal 70.
  • the first RGB image may be transmitted from the intraoral camera 10 to the cloud server 80 without passing through the mobile terminal 70, or may be transmitted from the intraoral camera 10 to the cloud server 80 via the mobile terminal 70.
  • the accumulation level is detected using an HSV image, but the method of determining the accumulation level is not limited to this.
  • an HSL image may be used instead of an HSV image.
  • the detection unit 102 generates an HSL image by converting the color space of the second RGB image into an HSL space. Then, the detection unit 102 identifies, as a plaque region, a specific pixel region in which one or more fifth pixels that satisfy at least one of the following conditions is located among the multiple fifth pixels in the HSL image: saturation within a fourth predetermined range, hue within a fifth predetermined range, and luminance within a sixth predetermined range.
  • the detection unit 102 detects the fluorescent substance concentration distribution using the HSL image. Specifically, the detection unit 102 detects the fluorescent substance concentration distribution using the luminance L value of the HSL image.
  • the HSL color space (also called the HLS color space) is a color space consisting of three components: H (hue), S (saturation), and L (luminance), and is obtained by nonlinear transformation of the RGB color space.
  • H (hue) of the HSL image is calculated using formula 5 above.
  • L (brightness) is calculated using formula 17 below.
  • S (saturation) is calculated using formula 18 below when a cylindrical model is used, and is calculated using formula 19 below when a biconical model is used.
  • FIG. 13 is a diagram showing the relationship between fluorescence intensity, MIN, and k.
  • FIG. 14 is a diagram showing the relationship between fluorescence intensity, S (saturation), and k.
  • FIG. 15 is a diagram showing the relationship between fluorescence intensity, L (brightness), and k. Note that this example is an example when a cylindrical model is used.
  • L changes linearly between 0 and 0.65, so the value of L is proportional to the amount of porphyrin. Therefore, the concentration distribution of the fluorescent substance (the amount of fluorescent substance contained in plaque and tartar attached to the teeth per unit area) can be detected based on the value of L.
  • a blue light cut filter 20 is used as a method for generating a first RGB image in which at least a portion of the blue light region is attenuated from reflected light and fluorescence from the teeth, plaque, and tartar in the oral cavity that is irradiated with irradiation light of a predetermined wavelength that excites fluorescent substances contained in plaque and tartar.
  • at least a portion of the blue light region may also be attenuated by signal processing without using the blue light cut filter 20.
  • FIG. 16 is a diagram showing an example of pixel values in each image when the blue light region is attenuated by signal processing.
  • the detection unit 102 generates a fifth RGB image by performing blue color cutting processing on the first RGB image, which is image data obtained by the image sensor 14, as shown in FIG. 16.
  • the detection unit 102 may replace the blue pixel values with a predetermined value (for example, 0), or clip them to a predetermined value or less.
  • the detection unit 102 generates a third RGB image by performing the above-mentioned exposure control process on the fifth RGB image thus generated. For example, the detection unit 102 multiplies R, G, and B by equal gains so that max(R, G, B) is a predetermined level.
  • the detection unit 102 generates a second RGB image by performing the above-mentioned white balance adjustment process on the third RGB image. For example, the detection unit 102 multiplies R and B individually by a gain so that R and B are at the same level as G. Note that, when performing blue cut processing, the detection unit 102 does not need to multiply B by a gain in the white balance adjustment process. In addition, the above-mentioned fluorescent material concentration distribution detection process is performed using this second RGB image.
  • an image (fifth RGB image) can be generated in which at least a portion of the blue light region is attenuated, just as in the case of using the blue light cutting filter 20.
  • Figure 17 shows an example of pixel values in each image when the blue light region is attenuated by signal processing in this case.
  • the detection unit 102 performs the same blue cut processing as described above on the second RGB image after the white balance adjustment processing to generate a sixth RGB image.
  • the sixth RGB image is used to perform the above-mentioned fluorescent material concentration distribution detection processing.
  • the second RGB image shown in Figure 16 is closer to the state where blue light has been cut using an optical filter, and the remaining R and G levels are also greater, resulting in a brighter image.
  • the blue light cutting process may be digital or analog. Although the above describes an example in which the detection unit 102 (mobile terminal 70) performs the blue light cutting process, it may also be performed by the intraoral camera 10. In addition, in a typical image sensor used in an RGB camera, the output order of the R, G, and B pixel values is determined according to the RGB color filter array. Therefore, the B pixel value can be identified in the blue light cutting process.
  • the detection unit 102 may extract a natural tooth region free of plaque from the first RGB image, and perform the white balance adjustment process using a plurality of pixels of the extracted natural tooth region.
  • the first image processing may be a process of extracting a natural tooth region free of plaque and tartar from the first RGB image, and adjusting the gains of at least two color components of the red component, the green component, and the blue component of the first RGB image so that a first red pixel average value of a plurality of red pixel values of a plurality of first pixels constituting the natural tooth region, a first green pixel average value of a plurality of green pixel values of a plurality of first pixels, and a first blue pixel average value of a plurality of blue pixel values of a plurality of first pixels are equal to each other.
  • the natural tooth region refers to the tooth region excluding the artificial tooth region.
  • the artificial tooth is, for example, an artificial tooth or prosthesis made of metal (gold or silver, etc.), ceramic, zirconia, etc.
  • the accuracy of the white balance adjustment process can be improved by performing the white balance adjustment process using pixel information of the natural tooth area excluding the artificial tooth area.
  • the detection unit 102 detects a first natural tooth region in the first RGB image where the green pixel value (G) is equal to or greater than a first predetermined threshold value.
  • excitation light blue light
  • excitation fluorescence is emitted from the dentin. This excitation fluorescence passes through the enamel. This causes the natural tooth to fluoresce green.
  • blue light is irradiated onto a filling in a caries treatment scar, it appears dark (low brightness) in the image captured by the camera, unlike when white light is irradiated.
  • a natural tooth covered with enamel appears bright (high brightness) in the image. Therefore, by extracting areas where the green pixel value (G) is equal to or greater than a predetermined first threshold and extracting this green fluorescence, it is possible to identify the areas of natural teeth and exclude the areas of artificial teeth.
  • a luminance value (Y) may be used instead of the green pixel value (G).
  • the luminance value (Y) is calculated using the above formula 3. As shown in formula 3, the ratio of green pixel values to luminance values is high, so even when luminance values are used, detection can be performed in the same way as when green pixel values are used.
  • the detection unit 102 may perform white balance adjustment processing using information on the first natural tooth area detected in this manner, or may detect a second natural tooth area by further excluding areas of plaque and tartar from the first natural tooth area, and perform white balance adjustment processing using information on the detected second natural tooth area.
  • the detection unit 102 generates an HSV image from the first RGB image, and extracts areas where the H, S, and V values of the HSV image fall within a predetermined range as plaque or tartar areas.
  • the detection unit 102 may also generate an HSL image from the first RGB image, and extract areas where the H, S, and L values of the HSL image fall within a predetermined range as plaque or tartar areas.
  • the detection unit 102 detects the second natural tooth region by excluding the plaque or tartar region from the first natural tooth region.
  • the plaque detection device (e.g., mobile terminal 70) according to this embodiment includes an acquisition unit 101 that acquires a first image (e.g., a first RGB image) in which at least a portion of the blue light region is attenuated from the reflected light and fluorescence from the teeth, plaque, and tartar in the oral cavity irradiated with irradiation light of a predetermined wavelength that excites the fluorescent substances contained in the plaque and tartar, and a detection unit 102 that detects the content per unit area of the fluorescent substances contained in the plaque and tartar attached to the teeth (e.g., the concentration distribution of the fluorescent substances) from the first image (e.g., based on the value of the fluorescence intensity of the fluorescent reaction of the fluorescent substances in the first image).
  • a first image e.g., a first RGB image
  • a detection unit 102 that detects the content per unit area of the fluorescent substances contained in the plaque and tartar attached to the teeth (e.g., the concentration distribution of the fluorescent substances) from
  • the plaque detection device can detect the content per unit area of the fluorescent substances contained in the plaque and tartar attached to the teeth, and therefore can detect the condition of the teeth in detail. Furthermore, the plaque detection device can improve the detection accuracy of the amount of fluorescent substances contained in plaque and tartar attached to the teeth per unit area by using a first image in which at least a portion of the blue light region is attenuated from the reflected light and fluorescence from the teeth, plaque, and tartar in the oral cavity irradiated with irradiation light of a specific wavelength that excites the fluorescent substances contained in plaque and tartar.
  • the detection unit 102 generates an HSV image from the first image, and detects the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area from the brightness value of the HSV image.
  • the plaque detection device can accurately detect the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area based on the brightness value of the HSV image.
  • the first image is a first RGB image
  • the detection unit 102 generates a second RGB image by performing image processing including a first image processing on the first RGB image.
  • the first image processing is a process of adjusting the gain of at least two color components of the red, green, and blue components of the RGB image to be processed so that a first red pixel average value of multiple red pixel values of multiple first pixels constituting a tooth region in the RGB image to be processed, a first green pixel average value of multiple green pixel values of the multiple first pixels, and a first blue pixel average value of multiple blue pixel values of the multiple first pixels are equal.
  • the detection unit 102 generates an HSV image by converting the color space of the second RGB image into an HSV space.
  • the plaque detection device can adjust the white balance of the first RGB image in which the fluorescently reacting teeth are captured. This allows the plaque detection device to generate a second RGB image that makes it easy to distinguish plaque regions, which are areas on the teeth where plaque is attached. This allows the plaque detection device to improve the detection accuracy of the amount of fluorescent substance contained in plaque and tartar attached to the teeth per unit area.
  • the detection unit 102 identifies a specific pixel area in which one or more fourth pixels of the multiple fourth pixels in the HSV image are located, the saturation of which falls within a first predetermined range, the hue of which falls within a second predetermined range, and the brightness of which falls within at least one of a third predetermined range, and detects the amount of fluorescent substance contained in the plaque and tartar adhering to the teeth per unit area from the brightness value in the specific pixel area of the HSV image.
  • the plaque detection device can improve the detection accuracy of the amount of fluorescent substance contained in the plaque and tartar adhering to the teeth per unit area by identifying the plaque area in the tooth image and then detecting the amount of fluorescent substance contained in the plaque and tartar adhering to the teeth.
  • the detection unit 102 generates an HSL image from the first image, and detects the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area from the brightness value of the HSL image.
  • the plaque detection device can accurately detect the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area based on the brightness value of the HSL image.
  • the first image is a first RGB image
  • the detection unit 102 generates a second RGB image by performing image processing including a first image processing on the first RGB image.
  • the first image processing is a process of adjusting the gain of at least two color components of the red, green, and blue components of the RGB image to be processed so that a first red pixel average value of multiple red pixel values of multiple first pixels constituting a tooth region in the RGB image to be processed, a first green pixel average value of multiple green pixel values of the multiple first pixels, and a first blue pixel average value of multiple blue pixel values of the multiple first pixels are equal.
  • the detection unit 102 generates an HSL image by converting the color space of the second RGB image into an HSL space.
  • the plaque detection device can adjust the white balance of the first RGB image in which the fluorescently reacting teeth are captured. This allows the plaque detection device to generate a second RGB image that makes it easy to distinguish plaque regions, which are areas on the teeth where plaque is attached. This allows the plaque detection device to improve the detection accuracy of the amount of fluorescent substance contained in plaque and tartar attached to the teeth per unit area.
  • the detection unit 102 identifies a specific pixel area in which one or more fifth pixels that are included in the HSL image and that have at least one of a fourth predetermined range for saturation, a fifth predetermined range for hue, and a sixth predetermined range for luminance are located, and detects the amount of fluorescent substance contained in plaque and tartar adhering to the teeth per unit area from the luminance value in the specific pixel area.
  • the plaque detection device can improve the detection accuracy of the amount by detecting the amount of fluorescent substance contained in plaque and tartar adhering to the teeth per unit area after identifying the plaque area in the tooth image.
  • the fluorescent substance is porphyrin.
  • the detection unit 102 assigns the amount of fluorescent substance contained in the plaque and tartar attached to the teeth per unit area to three or more gradations, and generates a third image (for example, a fourth RGB image) in which the amount of fluorescent substance contained in the plaque and tartar attached to the teeth per unit area displayed in gradations is superimposed on a second image (for example, the first RGB image or the second RGB image) based on the first image.
  • the generated third image can inform the user of the amount of fluorescent substance contained in the plaque and tartar attached to the teeth per unit area.
  • the plaque detection device further includes an identification unit 104 that identifies the type of the photographed tooth, and a memory unit 105 that stores the amount of fluorescent substance contained in the plaque and tartar adhering to the tooth detected from the photographed tooth per unit area in association with the identified tooth type. This allows the plaque detection device to manage the amount of fluorescent substance contained in the plaque and tartar adhering to each tooth per unit area.
  • the plaque detection device e.g., mobile terminal 70
  • the plaque detection device is equipped with an acquisition unit 101 that acquires a first RGB image from reflected light and fluorescence from the teeth, plaque, and tartar in the oral cavity that is irradiated with irradiation light of a predetermined wavelength that excites fluorescent substances contained in the plaque and tartar, and a detection unit 102 that generates a second RGB image by performing image processing including a first image processing on the first RGB image, and detects the content per unit area of the fluorescent substances contained in the plaque and tartar attached to the teeth based on the fluorescence intensity value of the fluorescent reaction of the fluorescent substances in the second RGB image.
  • an acquisition unit 101 that acquires a first RGB image from reflected light and fluorescence from the teeth, plaque, and tartar in the oral cavity that is irradiated with irradiation light of a predetermined wavelength that excites fluorescent substances contained in the plaque and tartar
  • a detection unit 102 that generates a second RGB image by performing image processing including
  • the first image processing is a process of extracting a natural tooth region free of plaque and tartar from the first RGB image, and adjusting the gain of at least two of the red, green, and blue color components of the first RGB image so that a first red pixel average value of the multiple red pixel values of the multiple first pixels constituting the natural tooth region, a first green pixel average value of the multiple green pixel values of the multiple first pixels, and a first blue pixel average value of the multiple blue pixel values of the multiple first pixels are equal.
  • the plaque detection device can detect the amount of fluorescent substance contained in plaque and tartar attached to the teeth per unit area, and can therefore detect the condition of the teeth in detail. Furthermore, the plaque detection device can adjust the white balance of the first RGB image in which the fluorescently reacting teeth are photographed by performing the first image processing. Therefore, the plaque detection device can generate a second RGB image that makes it easy to distinguish the plaque region, which is the region on the tooth where plaque is attached. Therefore, the plaque detection device can improve the detection accuracy of the amount of fluorescent substance contained in plaque and tartar attached to the teeth per unit area. Furthermore, the plaque detection device can improve the accuracy of the white balance adjustment process by performing the first image processing using pixels of the natural tooth region where plaque and tartar are not attached.
  • a first region e.g., a first natural tooth region
  • a first region is detected that is (i) a region in the entire pixel region of the first RGB image where the luminance value is equal to or greater than a predetermined first threshold value, or (ii) a region in the entire pixel region of the first RGB image where the green pixel value is equal to or greater than a predetermined second threshold value, and the natural tooth region is extracted based on the first region.
  • the plaque detection device can accurately detect the natural tooth region using the luminance value or the green pixel value.
  • the region obtained by excluding the regions of plaque and tartar from the first region is extracted as the natural tooth region. This allows the plaque detection device to improve the accuracy of the white balance adjustment process.
  • the first RGB image is an image in which at least a portion of the blue light region is attenuated from the reflected light and fluorescence from the teeth and plaque in the oral cavity.
  • the plaque detection device can improve the detection accuracy of the content per unit area of fluorescent substances contained in plaque and tartar attached to the teeth by using the first image in which at least a portion of the blue light region is attenuated from the reflected light and fluorescence from the teeth, plaque, and tartar in the oral cavity that is irradiated with irradiation light of a specific wavelength that excites the fluorescent substances contained in the plaque and tartar.
  • the detection unit 102 generates an HSV image from the second RGB image, and detects the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area from the brightness value of the HSV image.
  • the plaque detection device can accurately detect the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area based on the brightness value of the HSV image.
  • the detection unit 102 identifies a specific pixel area in which one or more fourth pixels of the multiple fourth pixels in the HSV image are located, the saturation of which falls within a first predetermined range, the hue of which falls within a second predetermined range, and the brightness of which falls within at least one of a third predetermined range, and detects the amount of fluorescent substance contained in the plaque and tartar adhering to the teeth per unit area from the brightness value in the specific pixel area.
  • the plaque detection device can improve the detection accuracy of the amount by detecting the amount of fluorescent substance contained in the plaque and tartar adhering to the teeth per unit area after identifying the plaque area in the tooth image.
  • the detection unit 102 generates an HSL image from the second RGB image, and detects the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area from the luminance value of the HSL image.
  • the plaque detection device can accurately detect the amount of fluorescent material contained in the plaque and tartar adhering to the teeth per unit area based on the luminance value of the HSL image.
  • the detection unit 102 identifies a specific pixel area in which one or more fifth pixels that are included in the HSL image and that have at least one of a fourth predetermined range for saturation, a fifth predetermined range for hue, and a sixth predetermined range for luminance are located, and detects the amount of fluorescent substance contained in plaque and tartar adhering to the teeth per unit area from the luminance value in the specific pixel area.
  • the plaque detection device can improve the detection accuracy of the amount by detecting the amount of fluorescent substance contained in plaque and tartar adhering to the teeth per unit area after identifying the plaque area in the tooth image.
  • the fluorescent substance is porphyrin.
  • the detection unit 102 assigns the amount of fluorescent substance contained in the plaque and tartar attached to the teeth per unit area to three or more gradations, and generates a third image (for example, a fourth RGB image) in which the amount of fluorescent substance contained in the plaque and tartar attached to the teeth per unit area displayed in gradations is superimposed on a second image (for example, the first RGB image or the second RGB image) based on the first RGB image.
  • the generated third image can inform the user of the amount of fluorescent substance contained in the plaque and tartar attached to the teeth per unit area.
  • the plaque detection device further includes an identification unit 104 that identifies the type of the photographed tooth, and a memory unit 105 that stores the amount of fluorescent substance contained in the plaque and tartar adhering to the tooth detected from the photographed tooth per unit area in association with the identified tooth type. This allows the plaque detection device to manage the amount of fluorescent substance contained in the plaque and tartar adhering to each tooth per unit area.
  • the intraoral camera system according to the embodiment of the present disclosure has been described above, but the present disclosure is not limited to this embodiment.
  • the intraoral camera 10 is used primarily for photographing teeth, but the intraoral camera 10 may also be an oral care device equipped with a camera.
  • the intraoral camera 10 may also be an oral irrigator equipped with a camera.
  • each processing unit included in the intraoral camera system according to the above embodiment is typically realized as an LSI, which is an integrated circuit. These may be individually implemented as single chips, or may be integrated into a single chip that includes some or all of them.
  • the integrated circuit is not limited to LSI, but may be realized by a dedicated circuit or a general-purpose processor. It is also possible to use an FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connections and settings of the circuit cells inside the LSI.
  • FPGA Field Programmable Gate Array
  • each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • the present disclosure may also be realized as an image display method executed by an intraoral camera system.
  • the present disclosure may also be realized as an intraoral camera, a mobile terminal, or a cloud server included in an intraoral camera system.
  • the division of functional blocks in the block diagram is one example, and multiple functional blocks may be realized as one functional block, one functional block may be divided into multiple blocks, or some functions may be transferred to other functional blocks. Furthermore, the functions of multiple functional blocks having similar functions may be processed in parallel or in a time-shared manner by a single piece of hardware or software.
  • This disclosure can be applied to intraoral camera systems.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

歯垢検出装置は、所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から第１ＲＧＢ画像を取得する取得部（１０１）と、第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成し、第２ＲＧＢ画像に基づき、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する検出部（１０２）と、を備え、第１画像処理は、第１ＲＧＢ画像から歯垢及び歯石が付着していない天然歯牙領域を抽出し、天然歯牙領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。

Description

歯垢検出装置、歯垢検出方法及びプログラム
　本開示は、歯垢検出装置、歯垢検出方法及びプログラムに関する。
　口腔内の歯牙を撮影した撮影に基づき歯垢を検出する装置が特許文献１に開示されている。
特開２０１３－２４８２２０号公報
　このような、歯垢検出装置では、歯垢の状態をより詳細に検出できることが望まれている。
　そこで、本開示は、歯牙の状態を詳細に検出できる歯垢検出装置又は歯垢検出方法を提供する。
　本開示の一態様に係る歯垢検出装置は、歯垢及び歯石に含まれる蛍光物質を励起する所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から第１ＲＧＢ画像を取得する取得部と、前記第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成し、前記第２ＲＧＢ画像における前記蛍光物質の蛍光反応の蛍光強度の値に基づき、前記歯牙に付着した前記歯垢及び前記歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する検出部と、を備え、前記第１画像処理は、前記第１ＲＧＢ画像から歯垢及び歯石が付着していない天然歯牙領域を抽出し、前記天然歯牙領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。
　本開示は、歯牙の状態を詳細に検出できる歯垢検出装置又は歯垢検出方法を提供できる。
図１は、実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。 図２は、実施の形態に係る口腔内カメラシステムにおける口腔内カメラに組み込まれた撮影光学系を概略的に示す断面図である。 図３は、実施の形態に係る口腔内カメラシステムの概略的構成図である。 図４は、実施の形態に係る口腔内カメラシステムにおける動作の流れを示す図である。 図５は、実施の形態に係る携帯端末の機能ブロック図である。 図６は、実施の形態に係る口腔内の歯牙の一例を示す図である。 図７は、実施の形態に係る積層モデルの例を示す図である。 図８は、実施の形態に係る深さＤにおける蛍光の照度を説明するための図である。 図９は、実施の形態に係る厚さＤ０の歯垢から観測される蛍光の照度を説明するための図である。 図１０は、実施の形態に係る蛍光物質の濃度分布検出処理のフローチャートである。 図１１は、実施の形態に係る第４ＲＧＢ画像の例を示す図である。 図１２は、実施の形態に係る第４ＲＧＢ画像の例を示す図である。 図１３は、実施の形態に係る蛍光強度と、ＭＩＮと、ｋとの関係を示す図である。 図１４は、実施の形態に係る蛍光強度と、Ｓ（彩度）と、ｋとの関係を示す図である。 図１５は、実施の形態に係る蛍光強度と、Ｌ（輝度）と、ｋとの関係を示す図である。 図１６は、実施の形態に係る信号処理により青色光領域を減衰する場合の各画像における画素値の例を示す図である。 図１７は、実施の形態に係る信号処理により青色光領域を減衰する場合の各画像における画素値の例を示す図である。
　また、本開示の一態様に係る歯垢検出装置は、歯垢及び歯石に含まれる蛍光物質を励起する所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から第１ＲＧＢ画像を取得する取得部と、前記第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成し、前記第２ＲＧＢ画像における前記蛍光物質の蛍光反応の蛍光強度の値に基づき、前記歯牙に付着した前記歯垢及び前記歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する検出部と、を備え、前記第１画像処理は、前記第１ＲＧＢ画像から歯垢及び歯石が付着していない天然歯牙領域を抽出し、前記天然歯牙領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。
　これによれば、歯垢検出装置は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出できるので、歯牙の状態を詳細に検出できる。さらに、歯垢検出装置は、第１画像処理を行うことで、蛍光反応している歯牙が撮影されている第１ＲＧＢ画像のホワイトバランスを調整することができる。このため、当該歯垢検出装置は、歯牙において歯垢が付着している領域である歯垢領域を区別しやすい第２ＲＧＢ画像を生成することができる。よって、当該歯垢検出装置は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量の検出精度を向上できる。さらに、歯垢検出装置は、第１画像処理を歯垢及び歯石が付着していない天然歯牙領域の画素を用いて行うことでホワイトバランス調整処理の精度を向上できる。
　例えば、前記天然歯牙領域の抽出では、（ｉ）前記第１ＲＧＢ画像の全画素領域において、輝度値が予め定められた第１閾値以上の領域、又は、（ｉｉ）前記第１ＲＧＢ画像の全画素領域において、緑画素値が予め定められた第２閾値以上の領域、である第１領域が検出され、前記第１領域に基づき前記天然歯牙領域が抽出されてもよい。これによれば、歯垢検出装置は、輝度値又は緑画素値を用いて精度よく天然歯牙領域を検出できる。
　例えば、前記天然歯牙領域の抽出では、前記第１領域から、歯垢及び歯石の領域を除外した領域が前記天然歯牙領域として抽出されてもよい。これによれば、歯垢検出装置は、ホワイトバランス調整処理の精度を向上できる。
　例えば、前記第１ＲＧＢ画像は、前記口腔内の前記歯牙及び前記歯垢からの反射光及び蛍光から青色光領域の少なくとも一部を減衰した画像であってもよい。これによれば、歯垢検出装置は、歯垢及び歯石に含まれる蛍光物質を励起する所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から青色光領域の少なくとも一部を減衰した第１画像を用いることで歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量の検出精度を向上できる。
　例えば、前記検出部は、前記第２ＲＧＢ画像からＨＳＶ画像を生成し、前記ＨＳＶ画像の明度の値から前記歯牙に付着した前記歯垢及び前記歯石に含まれる蛍光物質の前記単位面積当たりの含有量を検出してもよい。これによれば、当該歯垢検出装置は、ＨＳＶ画像の明度の値に基づき精度よく歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出できる。
　例えば、前記検出部は、前記ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲内、色相が第２の所定範囲内、及び、明度が第３の所定範囲内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を特定し、前記特定画素領域における前記明度の値から前記歯牙に付着した前記歯垢及び前記歯石に含まれる前記蛍光物質の前記単位面積当たりの含有量を検出してもよい。これによれば、歯垢検出装置は、歯牙の画像における歯垢領域を特定したうえで歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出することで、当該含有量の検出精度を向上できる。
　例えば、前記検出部は、前記第２ＲＧＢ画像からＨＳＬ画像を生成し、前記ＨＳＬ画像の輝度の値から前記歯牙に付着した前記歯垢及び前記歯石に含まれる蛍光物質の前記単位面積当たりの含有量を検出してもよい。これによれば、当該歯垢検出装置は、ＨＳＬ画像の輝度の値に基づき精度よく歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出できる。
　例えば、前記検出部は、前記ＨＳＬ画像が有する複数の第５画素のうち彩度が第４の所定範囲内、色相が第５の所定範囲内、及び、輝度が第６の所定範囲内の少なくとも１つを満たす１以上の第５画素が位置する特定画素領域を特定し、前記特定画素領域における前記輝度の値から前記歯牙に付着した前記歯垢及び前記歯石に含まれる前記蛍光物質の前記単位面積当たりの含有量を検出してもよい。これによれば、歯垢検出装置は、歯牙の画像における歯垢領域を特定したうえで歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出することで、当該含有量の検出精度を向上できる。
　例えば、蛍光物質はポルフィリンであってもよい。例えば、前記検出部は、前記歯牙に付着した前記歯垢及び前記歯石に含まれる前記蛍光物質の前記単位面積当たりの含有量を３以上の階調に割り付け、前記第１ＲＧＢ画像に基づく第２画像に、階調表示した前記歯牙に付着した前記歯垢及び前記歯石に含まれる前記蛍光物質の前記単位面積当たりの含有量を重ねた第３画像を生成してもよい。これによれば、例えば、生成された第３画像により、ユーザに歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を通知できる。
　例えば、前記歯垢検出装置は、さらに、撮影された歯牙の種類を識別する識別部と、前記撮影された歯牙から検出した歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を、識別された前記歯牙の種類と対応付けて記憶する記憶部と、を備えてもよい。これによれば、歯垢検出装置は、歯牙毎の歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を管理できる。
　また、本開示の一態様に係る歯垢検出方法は、歯垢及び歯石に含まれる蛍光物質を励起する所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から第１ＲＧＢ画像を取得し、前記第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成し、前記第２ＲＧＢ画像における前記蛍光物質の蛍光反応の蛍光強度の値に基づき、前記歯牙に付着した前記歯垢及び前記歯石に含まれる蛍光物質の単位面積当たりの含有量を検出し、前記第１画像処理は、前記第１ＲＧＢ画像から歯垢及び歯石が付着していない天然歯牙領域を抽出し、前記天然歯牙領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。
　これによれば、歯垢検出方法は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出できるので、歯牙の状態を詳細に検出できる。さらに、歯垢検出方法は、第１画像処理を行うことで、蛍光反応している歯牙が撮影されている第１ＲＧＢ画像のホワイトバランスを調整することができる。このため、当該歯垢検出方法は、歯牙において歯垢が付着している領域である歯垢領域を区別しやすい第２ＲＧＢ画像を生成することができる。よって、当該歯垢検出方法は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量の検出精度を向上できる。さらに、歯垢検出方法は、第１画像処理を歯垢及び歯石が付着していない天然歯牙領域の画素を用いて行うことでホワイトバランス調整処理の精度を向上できる。
　また、本開示の一態様に係るプログラムは、前記歯垢検出方法をコンピュータに実行させるためのプログラムである。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するものであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態）
　図１は、本実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。図１に示すように、口腔内カメラ１０は、片手で取り扱うことが可能な歯ブラシ状の筺体を備え、その筺体は、歯列撮影時にユーザの口腔内に配置されるヘッド部１０ａと、ユーザが把持するハンドル部１０ｂと、ヘッド部１０ａとハンドル部１０ｂとを接続するネック部１０ｃとを含んでいる。
　図２は、口腔内カメラ１０に組み込まれた撮影光学系１２を概略的に示す断面図である。図２に示すように、本実施の形態の場合、口腔内カメラ１０の撮影光学系１２は、ヘッド部１０ａとネック部１０ｃとに組み込まれている。撮影光学系１２は、その光軸ＬＡ上に配置された撮像素子１４とレンズ１６とを含んでいる。
　撮像素子１４は、例えばＣ－ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサまたはＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）素子などの撮影デバイスであって、レンズ１６によって歯牙Ｄの像が結像される。その結像した像に対応する信号（画像データ）を、撮像素子１４は外部に出力する。
　レンズ１６は、例えば集光レンズであって、入射した歯牙Ｄの像を撮像素子１４に結像する。なお、レンズ１６は、１つのレンズであってもよいし、複数のレンズから構成されるレンズ群であってもよい。
　本実施の形態の場合、撮影光学系１２はさらに、歯牙Ｄの像をレンズ１６に向かって反射するミラー１８と、ミラー１８とレンズ１６との間に配置された青色光カットフィルタ（青色遮断要素）２０と、レンズ１６と撮像素子１４との間に配置された絞り２４とを含んでいる。
　ミラー１８は、撮影光学系１２の入射口１２ａを通過した歯牙Ｄの像をレンズ１６に向かって反射するように、撮影光学系１２の光軸ＬＡ上に配置されている。
　青色光カットフィルタ２０は、撮像素子１４に入射する光に含まれる青色波長の光成分をカットするフィルタである。青色光の波長域を含む光を歯牙に照射し、歯垢を検出する場合、歯垢の励起蛍光を強くするため青色光の波長域を含む光を強くすると第１ＲＧＢ画像の全体が青色を帯びる。この状態は、青画素値が赤画素値及び緑画素値に比べて支配的になるため、後述する画像処理（露出制御処理及びホワイトバランス調整処理）を行うことで歯垢領域を区別しやすくできる効果が小さくなる場合がある。この対処として、青色光カットフィルタ２０が撮像素子１４に入射する前の光から青色光の波長域を含む光をカットする。
　絞り２４は、撮影光学系１２の光軸ＬＡ上に貫通穴を備える板状部材であって、深い焦点深度を実現する。これにより、口腔内の奥行方向についてピントを合わせることができ、輪郭が明瞭な歯列画像を得ることができる。
　また、口腔内カメラ１０は、撮影時に撮影対象の歯牙Ｄに対して光を照射する照明デバイスとして、複数の第１～第４のＬＥＤ２６Ａ～２６Ｄを搭載している。第１～第４のＬＥＤ２６Ａ～２６Ｄは、例えば青色ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）である。また、図１に示すように、本実施の形態の場合、第１～第４のＬＥＤ２６Ａ～２６Ｄが、入射口１２ａを囲むように配置されている。なお、歯茎Ｇなどが第１～第４のＬＥＤ２６Ａ～２６Ｄに当接して照明光が不足しないように、第１～第４のＬＥＤ２６Ａ～２６Ｄと入射口１２ａとを覆う透光性のカバー２８がヘッド部１０ａに設けられている。なお、第１～第４のＬＥＤ２６Ａ～２６Ｄの一部を白色ＬＥＤとしてもよい。第１～第４のＬＥＤ２６Ａ～２６Ｄの一部を白色ＬＥＤとすることで、第１ＲＧＢ画像を明るくすることができ、青画素値の赤画素値及び緑画素値に対するバランスを改善することができる。
　さらに、本実施の形態の場合、口腔内カメラ１０は、図２に示すように、構図調節機構３０と焦点調節機構３２とを有する。
　構図調節機構３０は、撮像素子１４とレンズ１６とを保持する筺体３４と、筺体３４を光軸ＬＡの延在方向に移動させるアクチュエータ３６とから構成される。アクチュエータ３６が筺体３４の位置を調節することにより、画角が調節される、すなわち撮像素子１４に結像する歯列の大きさが調節される。なお、構図調節機構３０は、例えば１つの歯牙全体が撮影画像に写るように筺体３４の位置を自動的に調節する。また、構図調節機構３０は、ユーザの操作に基づいて、ユーザが所望する画角になるように筺体３４の位置を調節する。
　焦点調節機構３２は、構図調節機構３０の筺体３４内に保持され、レンズ１６を保持するレンズホルダ３８と、レンズホルダ３８を光軸ＬＡの延在方向に移動させるアクチュエータ４０とから構成される。アクチュエータ４０が撮像素子１４に対するレンズホルダ３８の相対位置を調節することにより、焦点が調節される、すなわちピントが調節される。なお、焦点調節機構３２は、例えば撮影画像の中央に位置する歯牙にピントが合うようにレンズホルダ３８の位置を自動的に調節する。また、焦点調節機構３２は、ユーザの操作に基づいて、レンズホルダ３８の位置を調節する。
　なお、ミラー１８を除く撮影光学系１２の構成要素は、口腔内カメラ１０のハンドル部１０ｂに設けられてもよい。
　撮像素子１４により出力される画像は、当該画像を構成する複数の画素のそれぞれがＲＧＢのサブ画素を有するＲＧＢ画像である。
　また、口腔内カメラ１０は、撮影時に撮影対象の歯牙に対して光を照射する照明デバイスとして、複数の第１～第４のＬＥＤ２６Ａ～２６Ｄを搭載している。第１～第４のＬＥＤ２６Ａ～２６Ｄは、例えば、４０５ｎｍをピークとする波長を有する青色光を照射する青色ＬＥＤである。なお、第１～第４のＬＥＤ２６Ａ～２６Ｄは、青色光の波長域を含む光を照射する光源であればよく、青色ＬＥＤに限るものではない。
　図３は、本実施の形態に係る口腔内カメラシステムの概略的構成図である。図３に示すように、本実施の形態に係る口腔内カメラシステムは、概略的には、口腔内カメラ１０を用いて歯列を撮影し、その撮影画像に対して画像処理を実行するように構成されている。
　図３に示すように、口腔内カメラシステムは、口腔内カメラ１０と、携帯端末７０と、クラウドサーバ８０とを含んでいる。携帯端末７０は、例えば、無線通信可能なスマートフォン又はタブレット端末等である。携帯端末７０は、入力デバイス及び出力デバイスとして、例えば歯列画像を表示可能なタッチスクリーン７２を備える。携帯端末７０は、口腔内カメラシステムのユーザインタフェースとして機能する。
　クラウドサーバ８０は、携帯端末７０に対してインターネットなどを介して通信可能なサーバであって、携帯端末７０に口腔内カメラ１０を使用するためのアプリケーションを提供する。例えば、ユーザがアプリケーションをクラウドサーバ８０からダウンロードして携帯端末７０にインストールする。また、クラウドサーバ８０は、口腔内カメラ１０によって撮影された歯列画像を、携帯端末７０を介して取得する。
　口腔内カメラ１０は、システムの制御を行う主要部分として中央制御部５０と、複数のＬＥＤ２６Ａ～２６Ｄを制御するＬＥＤ制御部５４と、構図調節機構３０のアクチュエータ３６と焦点調節機構３２のアクチュエータ４０を制御するレンズドライバ５６と、位置センサ９０とを含んでいる。
　また、口腔内カメラ１０は、携帯端末７０と無線通信を行う無線通信モジュール５８と、中央制御部５０などに電力供給を行う電源制御部６０とを有する。
　口腔内カメラ１０の中央制御部５０は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載されている。例えば、また、中央制御部５０は、後述する様々な処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのコントローラ６２と、コントローラ６２に様々な処理を実行させるためのプログラムを記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などのメモリ６４とを含んでいる。なお、メモリ６４には、プログラム以外に、撮像素子１４によって撮影された歯列画像（画像データ）及び種々の設定データなどが記憶される。撮像素子１４によって撮影された歯列画像は、第１ＲＧＢ画像の一例である。
　コントローラ６２は、撮像素子１４から出力された歯列画像を、無線通信モジュール５８を介して携帯端末７０に送信する。携帯端末７０は、その送信された歯列画像をタッチスクリーン７２に表示し、それによりユーザに歯列画像を提示する。
　ＬＥＤ制御部５４は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄの点灯および消灯を実行する。ＬＥＤ制御部５４は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して口腔内カメラ１０を起動させる操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介してコントローラ６２に送信される。コントローラ６２は、受信した信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄを点灯させるようにＬＥＤ制御部５４に制御信号を送信する。
　レンズドライバ５６は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０のコントローラ６２からの制御信号に基づいて、構図調節機構３０のアクチュエータ３６と焦点調節機構３２のアクチュエータ４０を制御する。レンズドライバ５６は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して構図調節又はピント調節に関する操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介して中央制御部５０に送信される。中央制御部５０のコントローラ６２は、受信した信号に基づいて、構図調節又はピント調節を実行するようにレンズドライバ５６に制御信号を送信する。また例えば、コントローラ６２が撮像素子１４からの歯列画像に基づいて構図調節又はピント調節に必要なアクチュエータ３６又は４０の制御量を演算し、その演算された制御量に対応する制御信号がレンズドライバ５６に送信される。
　無線通信モジュール５８は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、携帯端末７０と無線通信を行う。無線通信モジュール５８は、例えばＷｉＦｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの既存の通信規格に準拠した無線通信を携帯端末７０との間で実行する。無線通信モジュール５８を介して、口腔内カメラ１０から歯牙Ｄが写る歯列画像が携帯端末７０に送信されたり、携帯端末７０から口腔内カメラ１０に操作信号が送信される。
　電源制御部６０は、本実施の形態の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０、ＬＥＤ制御部５４、レンズドライバ５６、および無線通信モジュール５８に、電池６６の電力を分配する。電源制御部６０は、例えば回路で構成される。なお、本実施の形態の場合、電池６６は、充電可能な二次電池であって、口腔内カメラ１０に搭載されたコイル６８を介して、商用電源に接続された外部の充電器６９によってワイヤレス充電される。
　位置センサ９０は、口腔内カメラ１０の姿勢及び位置を検出するためのセンサであり、例えば、多軸（ここではｘ，ｙ，ｚの三軸）の加速度センサである。例えば、位置センサ９０は、三軸の加速度センサと三軸のジャイロセンサとを有する六軸センサであってもよい。例えば、図１に示すように、ｚ軸は光軸ＬＡに一致する。ｙ軸は、撮像面と平行であり、かつ口腔内カメラ１０の長手方向に延びる。また、ｘ軸は、撮像面と平行であり、ｙ軸と直交する。位置センサ９０の各軸の出力は、中央制御部５０及び無線通信モジュール５８を介して、携帯端末７０に送信されてもよい。
　位置センサ９０としては、ピエゾ抵抗タイプ、静電容量タイプ、もしくは熱検知タイプのＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）センサが用いられてもよい。また特に図示しないが、各軸のセンサの感度のバランス、感度の温度特性、又は温度ドリフトなどを補正するための補正回路を設けるとよい。また、動加速度成分又はノイズを除去するためのバンドパスフィルタ（ローパスフィルタ）を設けてもよい。また、加速度センサの出力波形を平滑化することによりノイズを低減してもよい。
　次に、口腔内カメラシステムにおける動作について説明する。図４は、口腔内カメラシステムにおける動作の流れを示す図である。なお、図４に示す処理は、例えば、リアルタイムに行われる処理であり、１フレーム又は複数フレームの画像データが得られる毎に行われる。
　ユーザが口腔内カメラ１０を用いて、自身の口腔内の歯牙及び歯茎を撮影することで画像データが生成される（Ｓ１０１）。この画像データは、例えば、青色光の波長域を含む光を歯牙に照射することで蛍光反応している歯牙を撮影することで得られた画像データである。次に、口腔内カメラ１０は、撮影された画像データを携帯端末７０に送信する（Ｓ１０２）。なお、ここで、画像データは、動画であってもよいし、１又は複数の静止画であってもよい。また、画像データが動画又は複数の静止画である場合には、動画のフレーム毎、又は静止画毎に、センサデータが送信されてもよい。なお、画像データが動画である場合において複数フレーム毎にセンサデータが送信されてもよい。
　また、画像データの送信は、リアルタイムで行われてもよいし、一連の撮影（例えば口腔内の全ての歯牙の撮影）が行われた後にまとめて送信されてもよい。
　携帯端末７０は、受信した画像データに対して画像処理し（Ｓ１０３）、画像処理後の画像データを用いて蛍光物質の濃度分布を検出する（Ｓ１０４）。次に、携帯端末７０は、検出した蛍光物質の濃度分布を口腔内の画像に重畳した画像を生成し（Ｓ１０５）、生成された画像を表示する（Ｓ１０６）。
　このような、口腔内カメラシステムを用いることで、ユーザは、口腔内カメラ１０でユーザ自身の口腔内の画像を撮影し、携帯端末７０に表示された口腔内の状態を確認できる。さらに、表示される画像に蛍光物質の濃度分布が示されることで、ユーザは自身の歯牙の健康状態の確認などを容易に行うことができる。
　また、携帯端末７０は、例えば、撮影された複数の画像データから、口腔内の複数の歯牙の三次元モデルを生成してもよい。また、携帯端末７０は、生成された三次元モデルに基づく画像を表示してもよい。
　なお、ここでは、携帯端末７０が歯牙の画像の処理を行う例を述べるが、この処理の一部又は全てを口腔内カメラ１０が行ってもよい。携帯端末７０は、歯垢検出装置の一例である。
　図５は、携帯端末７０の機能ブロック図である。携帯端末７０は、取得部１０１と、検出部１０２と、表示部１０３と、識別部１０４と、記憶部１０５とを備える。
　取得部１０１は、口腔内カメラ１０から送信された画像データ（第１ＲＧＢ画像）を取得する。取得部１０１は、口腔内カメラ１０から、画像データの他にセンサデータを取得してもよい。第１ＲＧＢ画像は、口腔内カメラ１０が青色光の波長域を含む光を歯牙に照射することで蛍光反応している歯牙を撮影することで得られた画像である。ここで、青色光は、歯垢に含まれる蛍光物質を励起する所定波長の照射光の一例である。また、蛍光物質は、例えばポルフィリンである。
　検出部１０２は、第１ＲＧＢ画像に対して、露出制御処理（第２画像処理）を行うことで第３ＲＧＢ画像を生成し、第３ＲＧＢ画像に対してホワイトバランス調整処理（第１画像処理）を行うことで第２ＲＧＢ画像を生成してもよい。
　（露出制御処理）
　露出制御処理では、検出部１０２は、まず、第１ＲＧＢ画像を構成する複数の第１ＲＧＢ画素（第３画素）のうちで、ＲＧＢの値が下記の式１及び式２を満たす複数の画素を抽出する。
　ｍｉｎ（Ｒ，Ｇ，Ｂ）≦Ｔｈｓ、ａｎｄ、ｍａｘ（Ｒ，Ｇ，Ｂ）＜Ｔｈｍａｘ　　（式１）
　Ｇｍａｘ－Ｇ≦Ｔｈｂ　　（式２）
　ｍｉｎ（Ｒ，Ｇ，Ｂ）は、第１ＲＧＢ画素が有するＲＧＢそれぞれの３つのサブピクセルの画素値（つまり、赤画素値、緑画素値、及び、青画素値）のうちの最小値を示す。
　Ｔｈｓは、第１ＲＧＢ画像において照射している光による反射の影響を強く受けている領域（例えば、光沢領域）を除外するための閾値である。Ｔｈｓは、例えば、１０ｂｉｔ表現において９００である。
　ｍａｘ（Ｒ，Ｇ，Ｂ）は、第１ＲＧＢ画素が有するＲＧＢの３つのサブピクセルの画素値（つまり、赤画素値、緑画素値、及び、青画素値）のうちの最大値を示す。
　Ｔｈｍａｘは、画素値が取り得る最大値を示す。Ｔｈｍａｘは、例えば、１０ｂｉｔ表現において１０２３で表される。Ｔｈｍａｘは、第１閾値の一例である。
　Ｇｍａｘは、第１ＲＧＢ画像中の複数の緑画素値の最大値である。つまり、第１ＲＧＢ画像を構成する複数の第１ＲＧＢ画素の緑画素のうち、最大の画素値を有する緑画素の画素値である。Ｔｈｂは、第１ＲＧＢ画素中から第２画素の緑画素を抽出するための閾値である。Ｔｈｂの値を大きくすると画像が明るくなり過ぎるため、例えば、１０ｂｉｔ表現において１０以下の値に設定される。
　式１により、光沢領域が除外され、式２により、第１ＲＧＢ画像中の歯牙の領域が抽出される。つまり、式１及び式２により抽出される複数の画素は、歯牙の領域を構成する複数の第２画素である。このように、複数の第２画素は、第１ＲＧＢ画像を構成する複数の第１ＲＧＢ画素（第３画素）のうち、最大の色成分の画素値ｍａｘ（Ｒ，Ｇ，Ｂ）が第１閾値（Ｔｈｍａｘ）より小さく、かつ、最小の色成分の画素値ｍｉｎ（Ｒ，Ｇ，Ｂ）が第２閾値（Ｔｈｓ）以下であることを満たす画素である。
　検出部１０２は、複数の第２画素の緑画素の平均値を算出し、算出した緑画素の平均値に応じて、ＲＧＢの３つのサブピクセルの画素値に乗ずるゲインを決定する。検出部１０２は、例えば、下記の式３を用いて、ＲＧＢの３つのサブピクセルの画素値に乗ずるゲインを決定する。ゲインは、目標画素値を緑画素の平均値で除算することで得られる。検出部１０２は、第１ＲＧＢ画像を構成する複数の第１ＲＧＢ画素のそれぞれに決定したゲインを乗じることで、第３ＲＧＢ画像を生成する。より具体的には、検出部１０２は、複数の第１ＲＧＢ画素のそれぞれについて、当該第１ＲＧＢ画素が有する３つのサブピクセルの画素値に、決定したゲインを乗じることで、第３ＲＧＢ画像を生成する。言い換えると、第３ＲＧＢ画像を構成する複数の第３ＲＧＢ画素の画素値は、第１ＲＧＢ画像を構成する複数の第１ＲＧＢ画素の画素値に、決定したゲインを乗じて算出された画素値である。なお、検出部１０２は、ゲインを乗じることで画素値が最大値（１０ｂｉｔ表現の場合は１０２３）を超える場合、当該画素値を１０２３に置き換える。
　上記説明では、式２で第１ＲＧＢ画素中から抽出した複数の第２画素の緑画素の平均値を算出し、算出した緑画素の平均値に応じて、ＲＧＢの３つのサブピクセルの画素値に乗ずるゲインを決定したが、これに限定されない。第１ＲＧＢ画素中から抽出した複数の第２画素の赤画素の平均値を算出し、算出した赤画素の平均値に応じて、ＲＧＢの３つのサブピクセルの画素値に乗ずるゲインを決定してもよい。同様に、第１ＲＧＢ画素中から抽出した複数の第２画素の青画素の平均値を算出し、算出した青画素の平均値に応じて、ＲＧＢの３つのサブピクセルの画素値に乗ずるゲインを決定してもよい。
　以上のように、露出制御処理は、処理対象のＲＧＢ画像（ここでは、第１ＲＧＢ画像）に含まれる複数の第２画素（歯牙の領域に対応する画素）がそれぞれ有する複数の第２画素値から算出した複数の指標値の平均値が所定値になるように複数の第２画素値に対するゲインを決定し、決定したゲインを第１ＲＧＢ画像が備える複数の第１ＲＧＢ画素が有する複数の第１ＲＧＢ画素値に適用することで、第３ＲＧＢ画像を生成する処理である。なお、指標値は、１つの画素を構成するＲＧＢの３つのサブピクセルの画素値から算出された値であってもよいし、３つのサブピクセルのいずれか１つの画素値であってもよい。ここで、複数の指標値の平均値は、第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの最大画素値を有する色成分の平均値である。また、最大平均値を有する色成分は、第１ＲＧＢ画像を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、複数の第１画素が有する複数の青画素値の第１青画素平均値との３つの平均値のうちで最大の平均値を有する色成分である。なお、最大平均値を有する色成分は、第１赤画素平均値と、第１緑画素平均値と、第１青画素平均値とを算出して比較しなくてもよく、緑成分に固定で決定されていてもよい。
　なお、検出部１０２は、ゲインの決定において、複数の第２画素の緑画素の平均値を算出し、算出した緑画素の平均値に応じてゲインを決定するとしたが、これに限らない。検出部１０２は、複数の第２画素の輝度値の平均値を複数の指標値の平均値として算出し、算出した輝度値の平均値に応じてゲインを決定してもよい。このように、指標値は、１つの画素を構成するＲＧＢの３つのサブピクセルのいずれか１つの画素値であってもよいし、当該３つのサブピクセルの画素値から算出された値であってもよい。具体的には、検出部１０２は、複数の第２画素のそれぞれについて、当該第２画素が有する３つのサブピクセルのサブ画素値を用いて当該第２画素の輝度値を算出する。例えば、検出部１０２は、下記の式３を用いて輝度値を算出する。
　Ｙ＝０．２１＊Ｒ＋０．７２＊Ｇ＋０．０７＊Ｂ　　　　　（式３）
　式３においてＹは輝度値であり、Ｒは赤画素値であり、Ｇは緑画素値であり、Ｂは青画素値である。
　このように、複数の輝度値は、複数の画素値のそれぞれについて、当該画素値に含まれる赤画素値、緑画素値、及び、青画素値に基づいて算出することで得られてもよい。
　（ホワイトバランス調整処理）
　ホワイトバランス調整処理では、検出部１０２は、処理対象の第３ＲＧＢ画像を構成する複数の第３ＲＧＢ画素の内で、ＲＧＢの値が式１及び下記の式４を満たす複数の画素を抽出する。
　Ｔｈｌ≦Ｙ≦Ｔｈｕ　　　　　　　　　　　　　　　　　　　（式４）
　式４においてＴｈｌは歯牙の領域の下限値を示す閾値であり、Ｔｈｕは歯牙の領域の上限値を示す閾値である。
　式４により、第３ＲＧＢ画像中の歯牙の領域が抽出される。つまり、式１及び式４により抽出される複数の画素は、歯牙の領域を構成する複数の第２画素である。
　そして、検出部１０２は、式１及び式４を満たす歯牙の領域における複数の赤画素値の平均値である第１赤画素平均値Ｒａｖｅと、当該歯牙の領域における複数の緑画素値の平均値である第１緑画素平均値Ｇａｖｅと、当該歯牙の領域における複数の青画素値の平均値である第１青画素平均値Ｂａｖｅとを算出する。そして、検出部１０２は、第１赤画素平均値Ｒａｖｅと、第１緑画素平均値Ｇａｖｅと、第１青画素平均値Ｂａｖｅとが等しくなるように、処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分の少なくとも２つの色成分のゲインを調整する。
　具体的には、検出部１０２は、複数の赤画素値のゲイン（赤画素用ゲイン）を、第１緑画素平均値Ｇａｖｅを第１赤画素平均値Ｒａｖｅで除すことで算出する。また、検出部１０２は、複数の青画素値のゲイン（青画素用ゲイン）を、第１緑画素平均値Ｇａｖｅを第１青画素平均値Ｂａｖｅで除すことで算出する。そして、検出部１０２は、第３ＲＧＢ画像を構成する複数の第３ＲＧＢ画素のそれぞれの赤画素に赤画素用ゲインを乗じ、かつ、複数の第３ＲＧＢ画素のそれぞれの青画素に青画素用ゲインを乗じることで、第２ＲＧＢ画像を生成する。言い換えると、第２ＲＧＢ画像を構成する複数の第２ＲＧＢ画素の画素値は、第３ＲＧＢ画像を構成する複数の第３ＲＧＢ画素の赤画素値に赤画素用ゲインを乗じ、かつ、複数の第３ＲＧＢ画素の青画素値に青画素用ゲインを乗じて算出された画素値である。なお、検出部１０２は、緑画素平均値を基準として、赤画素用ゲイン及び青画素用ゲインを算出し各ゲインを対応する色成分の画素値に乗算することでホワイトバランス調整を行うとしたがこれに限らずに、赤画素平均値を基準として、緑画素用ゲイン及び青画素用ゲインを算出してもよいし、青画素平均値を基準として、赤画素用ゲイン及び緑画素用ゲインを算出してもよい。
　なお、検出部１０２は、ゲインを乗じることで画素値が最大値（１０ｂｉｔ表現の場合は１０２３）を超える場合、当該画素値を１０２３に置き換える。
　また、検出部１０２は、以下のような第３画像処理を第２ＲＧＢ画像に対して行うことで、第２ＲＧＢ画像における歯牙の領域内の歯垢領域を強調してもよい。具体的には、検出部１０２は、第２ＲＧＢ画像の色空間をＨＳＶ空間に変換することでＨＳＶ画像を生成する。そして、検出部１０２は、ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲（例えば、８ｂｉｔ表現で３０以上８０以下）内、色相が第２の所定範囲（例えば、８ｂｉｔ表現で１４０以上１７０以下）内、及び、明度が第３の所定範囲（例えば、８ｂｉｔ表現で１００以上１８０以下）内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を歯垢領域として特定する。なお、第１の所定範囲、第２の所定範囲及び第３の所定範囲は、実際の歯垢領域と歯牙の領域とＨＳＶ画像とを比較することで特定されればよく、上記の数値範囲に限るものではない。
　なお、彩度、色相、明度の値の範囲は、歯垢染色剤を投与し、歯垢染色剤による染色の度合と比較して決めることができる。
　（蛍光物質の濃度分布検出処理）
　検出部１０２は、ＨＳＶ画像を用いて蛍光物質の濃度分布を検出する。具体的には、検出部１０２は、ＨＳＶ画像の明度Ｖの値を用いて、蛍光物質の濃度分布を検出する。
　図６は、口腔内の歯牙の一例を示す図である。図６では、歯牙３０１と、歯肉３０２と、歯垢３０３とが図示されている。図７は、図６に示す領域３０４の構造を積層モデル化した例を示す図である。図７に示すように、歯垢３０３は、熟成歯垢（歯石）３０５と、若い歯垢３０６とが積層されている。
　青色光が各層を透過する過程で歯垢のポルフィリンが励起され赤色蛍光が発生する。また蛍光強度は現在の菌叢を反映しているのではなく、蛍光物質（ポルフィリン）の蓄積を示すと考えられる。つまり、蛍光物質の蓄積が多いほど、赤色蛍光が濃くなる。すなわち、歯垢の成熟に伴いポルフィリンの蓄積レベルが高まる。よって、熟成歯垢３０５の蛍光強度は、若い歯垢３０６の蛍光強度より強い。
　検出部１０２は、歯垢領域の単位面積当たりの赤色蛍光の強度を比較することで、蛍光物質の蓄積レベル（濃度又は密度）を検出する。つまり、検出部１０２は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する。
　上述したように、ＨＳＶ画像から彩度Ｓが第１の所定範囲内、色相Ｈが第２の所定範囲内、及び、明度Ｖが第３の所定範囲内の少なくとも１つを満たす１以上の第４画素から歯垢領域が抽出される。
　また、Ｒ、Ｇ、Ｂの３つの値の内、最大のものをＭＡＸ、最小のものをＭＩＮとすると、ＨＳＶ空間の円柱モデルにおいて、以下の式５、式６及び式７が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　ここで、第２ＲＧＢ画像はホワイトバランス調整処理後の画像なので、ＭＡＸ＝Ｒ、ＭＩＮ＝Ｇ又はＢである。すなわち、歯垢領域では、彩度Ｓ及び色相Ｈに依らず明度ＶはＲの値で決まる。
　また、歯垢内の蛍光物質ポルフィリン蛍光波長は６００ｎｍ～７４０ｎｍであり、ピーク蛍光波長が６３０ｎｍであることが知られている。すなわち、歯垢領域に蓄積されたポルフィリン濃度を、歯垢領域のＨＳＶ画像の明度Ｖの値を検出することで評価できる。
　また、図７に示す積層モデル化にバイオフィルム積層モデルを用いることができる。図８は、深さＤにおける蛍光の照度を説明するための図である。
　バイオフィルムモデルでは、ＬＥＤ光及び歯垢の蛍光は歯垢の中を減衰しながら進む。ＬＥＤ光及び歯垢の蛍光の、歯垢の外（つまり大気中）での減衰は無視できる。歯垢の蛍光の輝度は歯垢に当たるＬＥＤ光の照度に比例する。歯垢の蛍光はＬＥＤ光が当たった面でＬＥＤ光の到来方向（反射方向）に向かって発光する。深さ方向への検討として、簡便のため、ＬＥＤ光及び歯垢の蛍光は、一様な面光源であると仮定する（つまり、輝度＝照度）。
　具体的には、ＬＥＤ光が輝度Ｅλ１で一様に照射されるとする。歯垢は密度が一様に分布し、歯垢によるＬＥＤ光の減衰率σλ１は深さＤによらず一定とする。この場合、深さＤにおけるＬＥＤ光の照度Ｅλ１（Ｄ）は、式８で表される。ここで、分光透過率Ｔｄλ１は式９で表されるので、式８及び式９から式１０が得られる。
Figure JPOXMLDOC01-appb-M000002
　また、深さＤにおける歯垢の蛍光の輝度Ｅλ２は、比例定数ｋを用いて式１１で表される。
Figure JPOXMLDOC01-appb-M000003
　また、歯垢が発する蛍光の輝度Ｅλ２は深さＤが同じであれば場所によらず等しいとする。歯垢は密度が一様に分布し、歯垢による蛍光の減衰率σλ２は深さＤによらず一定とする。この場合、深さＤの歯垢から観測される蛍光の照度Ｅλ２（Ｄ）は、式１２で表される。ここで、分光透過率Ｔｄλ２は式１３で表されるので、式１２及び式１３から式１４が得られる。さらに、式１０、式１１及び式１４から式１５が得られる。
Figure JPOXMLDOC01-appb-M000004
　図９は厚さＤ０の歯垢から観測される蛍光の照度Ｅλ２＿ｔ（Ｄ０）を説明するための図である。厚さＤ０の歯垢から観測される蛍光の照度Ｅλ２＿ｔ（Ｄ０）は、Ｅλ２（Ｄ）の積分値として表現できる。具体的には、Ｅλ２＿ｔ（Ｄ０）は、式１６で表される。
Figure JPOXMLDOC01-appb-M000005
　このように、厚さＤ０の歯垢層（バイオフィルム）からの赤色蛍光輝度は、歯垢層（バイオフィルム）に蓄積されたポルフィリンの蓄積レベルを反映している。なお、上記説明では、歯垢層内のポルフィリン濃度は一定としたが、バイオフィルムモデルで下層が歯石でポルフィリン濃度が高く、上層が若い歯垢でポルフィリン濃度が低い場合の蛍光反応を説明できる。すなわち、図７に示すように、下層の熟成歯垢３０５（歯石）を、上層の若い歯垢３０６が被覆している場合、下層に熟成歯垢３０５がある部位の赤色蛍光は、下層に熟成歯垢３０５のない部位よりも赤色蛍光が強くなる。
　また、式１６より、厚さＤにより蛍光が変化する（厚さＤが大きいほど蛍光が強くなる）ことが分かる。つまり、蛍光の強さは、蛍光物質の濃度及び量（厚さ）に比例する蓄積レベルを示す。
　図１０は、検出部１０２による蛍光物質の濃度分布検出処理のフローチャートである。例えば、検出部１０２はＨＳＶ画像に含まれる歯垢領域の各画素に対して、図１０に示す処理を行うことで画素毎の蓄積レベルを検出する。なお、検出部１０２は、複数画素で構成される単位画素毎に図１０に示す処理を行うことで単位画素毎の蓄積レベルを検出してもよい。この場合、例えば、単位画素に含まれる複数画素の明度の平均値が用いられてもよい。
　まず、検出部１０２は、対象画素の明度が第１閾値未満であるかを判定する（Ｓ１２１）。対象画素の明度が第１閾値未満である場合（Ｓ１２１でＹｅｓ）、検出部１０２は、対象画素の蓄積レベルを蓄積レベル０（例えば歯垢無し）と判定する（Ｓ１２２）。
　一方、対象画素の明度が第１閾値以上である場合（Ｓ１２１でＮｏ）、対象画素の明度が第２閾値未満であるかを判定する（Ｓ１２３）。ここで第２閾値は第１閾値より大きい。対象画素の明度が第２閾値未満である場合（Ｓ１２３でＹｅｓ）、つまり、対象画素の明度が第１閾値以上、かつ、第２閾値未満の範囲に含まれる場合、検出部１０２は、対象画素の蓄積レベルを蓄積レベル１（例えば若い歯垢）と判定する（Ｓ１２４）。
　一方、対象画素の明度が第２閾値以上である場合（Ｓ１２３でＮｏ）、検出部１０２は、対象画素の蓄積レベルを蓄積レベル２（例えば熟成歯垢（歯石））と判定する（Ｓ１２５）。
　このように、検出部１０２は、画素毎に、蓄積レベルを判定することで、蓄積レベル（蛍光物質の濃度）の分布を検出する。ここで蓄積レベルの分布とは、ｘｙ平面の二次元位置（例えば画素）毎の蓄積レベルを示す情報である。
　次に、検出部１０２は、３つの蓄積レベル０～２を、異なる階調に割り付け、例えば、第２ＲＧＢ画像に、階調表示した蓄積レベルの分布を重ねた第４ＲＧＢ画像を生成する。図１１は、第４ＲＧＢ画像の例を示す図である。例えば、図１１に示すように、若い歯垢３０６の領域に第１階調（例えば０．５）のパターンが重畳され、熟成歯垢３０５の領域に第２階調（例えば１．０）のパターンが重畳される。
　なお、上記説明では、蓄積レベルが３段階の例を示したが、蓄積レベルは４段階以上であってもよい。また、蓄積レベルの分布を重ねる対象の第２画像は、第２ＲＧＢ画像以外であってもよい。例えば、第２画像は、第１ＲＧＢ画像であってもよいし、第１ＲＧＢ画像又は第２ＲＧＢ画像に画像処理を行うことで生成された画像であってもよい。
　図１２は、図１１に示す歯牙の状態に対して口腔内ケアを行った後の歯牙の例を示す図である。図１２に示すように、口腔内ケア（歯磨き等）を行うことで、若い歯垢３０６が除去されているが、熟成歯垢３０５は除去されない。
　よって、検出部１０２は、若い歯垢３０６の状態に基づき、口腔内ケアのスコア（磨き残しがないか）を判定してもよい。また、検出部１０２は、熟成歯垢３０５の状態に基づき、ユーザに歯科医での検診を推奨してもよい。
　例えば、検出部１０２は、歯牙領域の面積のうちの若い歯垢３０６の領域の面積の割合を算出する。つまり、検出部１０２は、（若い歯垢３０６の領域の面積）／（歯牙領域の面積）×１００｛％｝を若い歯垢３０６の第１面積比として算出する。また、検出部１０２は、歯牙領域の面積のうちの熟成歯垢３０５の領域の面積の割合を算出する。つまり、検出部１０２は、（熟成歯垢３０５の領域の面積）／（歯牙領域の面積）×１００｛％｝を熟成歯垢３０５の第２面積比として算出する。
　検出部１０２は、算出した第１面積比を用いて、口腔内ケアのスコアを判定してもよい。また、検出部１０２は、算出した第２面積比を用いて、ユーザに歯科医での検診を推奨してもよい。例えば、検出部１０２は、第２面積比が予め定められた閾値より大きい場合に、ユーザに歯科医での検診を推奨するメッセージを表示してもよい。
　なお、上記の面積比の算出及び判定は、口腔内の全ての歯牙に対して一括で行われてもよい。つまり、面積比は、全ての歯牙の合計の歯牙領域の面積と、歯垢（若い歯垢３０６又は熟成歯垢３０５）の合計の面積との比であってもよい。または、上記の面積比の算出及び判定は、口腔内の複数の歯牙の各々に対して個別に行われてもよい。つまり、面積比は、１つの歯牙の歯牙領域の面積と、１つの歯牙の歯垢の面積との比であってもよい。または、上記の面積比の算出及び判定は、口腔内の複数の歯牙を区分した歯牙領域の各々に対して個別に行われてもよい。歯牙領域とは、例えば、上顎右奥、又は下顎左前等といった、各々が２以上の歯牙を含む領域である。
　また、図５に示す識別部１０４は、画像データに基づき、画像データ内の複数の歯牙の種類を識別する。ここで、歯牙の種類とは、例えば、上顎右の中切歯、下顎左の側切歯等の口腔内の歯牙を一意に特定可能な情報である。
　例えば、識別部１０４は、クラウドサーバ８０から、複数の歯牙の種類に対応する参照データを取得し、画像データと、取得した参照データとを用いて、特徴量の比較等により、画像データに含まれる複数の歯牙の各々の種類を識別する。
　識別部１０４は、検出部１０２で検出された蛍光物質の濃度分布（蓄積レベル）を、複数の歯牙の種類と対応付けて記憶部１０５に記憶する。つまり、記憶部１０５は、歯牙毎の蛍光物質の濃度分布（蓄積レベル）を記憶する。また、この歯牙毎の情報を用いて、上述した歯牙毎の面積比及び判定処理が行われてもよい。
　表示部１０３は、携帯端末７０が備える表示デバイスであり、画像データに蓄積レベルの分布が重畳された第４ＲＧＢ画像を表示する。また、表示部１０３は、上記の判定結果、及び判定結果に基づくメッセージ等を表示する。また、表示部１０３は、上記面積比等を表示してもよい。
　以下、上述した実施の形態の変形例について説明する。
　（変形例１）
　上記実施の形態では、検出部１０２は、第１ＲＧＢ画像に対して露出制御処理を行い、露出制御処理で生成された第３ＲＧＢ画像に対してホワイトバランス調整処理を行うとしたが、これに限らずに、露出制御処理を行わなくてもよい。例えば、輝度分布にバラツキが生じることを低減された第１ＲＧＢ画像が得られていれば、露出制御処理は行われなくてもよい。例えば、撮影条件が一定になるように照明制御を行うことで、得られる第１ＲＧＢ画像の輝度分布のバラツキを低減してもよい。
　（変形例２）
　上記実施の形態では、画像処理（露出制御処理及びホワイトバランス調整処理等）が行われた後の画像データを用いて、蓄積レベルの検出が行われているが、画像処理の一部又は全てが行わなくてもよい。例えば、第１ＲＧＢ画像からＨＳＶ画像が生成され、当該ＨＳＶ画像を用いて蓄積レベルの検出が行われてもよい。
　（変形例３）
　上記実施の形態では、ＨＳＶ画像の明度を用いて、蓄積レベルの検出が行われているが、蓄積レベルの判定方法は、これに限らない。例えば、ＨＳＶ画像の彩度又は色相が用いられてもよいし、明度と、彩度及び色相の少なくとも一方との組み合わせが用いられてもよい。例えば、明度と、彩度及び色相の少なくとも一方とから演算された評価値と閾値とが比較されてもよい。
　また、ＲＧＢ画像を用いて、蓄積レベルの検出が行われてもよい。例えば、ＲＧＢ画像のＲ値が用いられてもよいし、Ｒ値と、Ｇ値及びＢ値の少なくとも一方との組み合わせが用いられてもよい。例えば、Ｒ値と、Ｇ値及びＢ値の少なくとも一方とから演算された評価値と閾値とが比較されてもよい。
　（変形例４）
　上記実施の形態では、口腔内カメラ１０は、携帯端末７０に第１ＲＧＢ画像を送信し、携帯端末７０において第１ＲＧＢ画像に対する処理が行われるとしたが、これに限らない。第１ＲＧＢ画像は、クラウドサーバ８０に送信され、クラウドサーバ８０が上記処理を行い、処理結果の第２ＲＧＢ画像または第４ＲＧＢ画像を携帯端末７０へ送信する構成であってもよい。この場合、第１ＲＧＢ画像は、口腔内カメラ１０から携帯端末７０を経由せずにクラウドサーバ８０へ送信されてもよいし、口腔内カメラ１０から携帯端末７０を経由してクラウドサーバ８０へ送信されてもよい。
　（変形例５）
　上記実施の形態では、ＨＳＶ画像を用いて、蓄積レベルの検出が行われているが、蓄積レベルの判定方法は、これに限らない。例えば、ＨＳＶ画像の代わりにＨＳＬ画像が用いられてもよい。
　例えば、上述した第３画像処理において、検出部１０２は、第２ＲＧＢ画像の色空間をＨＳＬ空間に変換することでＨＳＬ画像を生成する。そして、検出部１０２は、ＨＳＬ画像が有する複数の第５画素のうち彩度が第４の所定範囲内、色相が第５の所定範囲内、及び、輝度が第６の所定範囲内の少なくとも１つを満たす１以上の第５画素が位置する特定画素領域を歯垢領域として特定する。
　また、上述した蛍光物質の濃度分布検出処理において、検出部１０２は、ＨＳＬ画像を用いて蛍光物質の濃度分布を検出する。具体的には、検出部１０２は、ＨＳＬ画像の輝度Ｌの値を用いて、蛍光物質の濃度分布を検出する。
　ここで、ＨＳＬ色空間（ＨＬＳ色空間とも呼ばれる）は、Ｈ（色相）と、Ｓ（彩度）と、Ｌ（輝度）との３つの成分からなる色空間であり、ＲＧＢ色空間の非線形変換により得られる。
　Ｒ、Ｇ、Ｂの３つの値の内、最大のものをＭＡＸ、最小のものをＭＩＮとすると、ＨＳＬ画像のＨ（色相）は、上述した式５を用いて算出される。また、Ｌ（輝度）は、下記式１７を用いて算出される。Ｓ（彩度）は、円柱モデルが用いられる場合には下記式１８を用いて算出され、双円錐モデルが用いられる場合には下記式１９を用いて算出される。
Figure JPOXMLDOC01-appb-M000006
　このように、ＨＳＬ空間では、ＭＡＸ（ｍａｘ（Ｒ，Ｇ，Ｂ））とＭＩＮ（ｍｉｎ（Ｒ，Ｇ，Ｂ））とからＨ、Ｓ、Ｌが算出されるが、歯垢の蛍光領域では、ＭＩＮ＝ｋ×ＭＡＸとした場合、ｋ＝０～０．３程度となる。
　図１３は、蛍光強度と、ＭＩＮと、ｋとの関係を示す図である。図１４は、蛍光強度と、Ｓ（彩度）と、ｋとの関係を示す図である。図１５は、蛍光強度と、Ｌ（輝度）と、ｋとの関係を示す図である。なお、この例は、円柱モデルが用いられる場合の例である。
　図１３～図１５において実線で示すｋ＝０～０．３の特性が歯垢の蛍光領域の特性に対応する。また、図１４に示すように、ｋ＝０～０．３の場合にはＳ＝０．５～１となる。また、図１５に示すように、ｋ＝０～０．３の場合にはＬ＝０～０．６５となる。
　したがって、歯垢検出においてＳが０．５～１の範囲内に含まれる場合、Ｌは０～０．６５でリニアに変化するので、Ｌの値がポルフィリンの量に比例する。よって、Ｌの値に基づいて蛍光物質の濃度分布（歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量）を検出できる。
　（変形例６）
　上記説明では、歯垢及び歯石に含まれる蛍光物質を励起する所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から青色光領域の少なくとも一部を減衰した第１ＲＧＢ画像を生成する方法として、青色光カットフィルタ２０が用いられる例を示したが、青色光カットフィルタ２０を用いずに信号処理により青色光領域の少なくとも一部を減衰してもよい。
　図１６は、信号処理により青色光領域を減衰する場合の各画像における画素値の例を示す図である。例えば、検出部１０２は、図１６に示すように撮像素子１４で得られた画像データである第１ＲＧＢ画像に対して青色カット処理を行うことで第５ＲＧＢ画像を生成する。例えば、検出部１０２は、第１ＲＧＢ画像の青画素値にゲイン＝０を乗算することで第５ＲＧＢ画像を生成する。なお、検出部１０２は、ゲイン＝０に限らず、１より小さい予め定められたゲインを青画素値に乗算してもよい。または、検出部１０２は、青画素値を予め定められた値（例えば０）に置き換えてもよいし、予め定められた値以下にクリップしてもよい。
　検出部１０２は、このように生成された第５ＲＧＢ画像に上述した露出制御処理を行うことで第３ＲＧＢ画像を生成する。例えば、検出部１０２は、ｍａｘ（Ｒ，Ｇ，Ｂ）が所定レベルとなるようにＲ、Ｇ、Ｂに等しいゲインを乗算する。
　次に、検出部１０２は、第３ＲＧＢ画像に上述したホワイトバランス調整処理を行うことで第２ＲＧＢ画像を生成する。例えば、検出部１０２は、Ｒ、ＢがＧと同レベルとなるようにＲ、Ｂに個別にゲインを乗算する。なお、青色カット処理を行う場合には、検出部１０２は、ホワイトバランス調整処理においてＢに対してはゲインを乗算しなくてもよい。また、この第２ＲＧＢ画像を用いて上述した蛍光物質の濃度分布検出処理が行われる。
　このように信号処理により青色カット処理を行う場合であっても、青色光カットフィルタ２０を用いる場合と同様に青色光領域の少なくとも一部を減衰した画像（第５ＲＧＢ画像）を生成できる。
　なお、青色カット処理は、第１ＲＧＢ画像でなく、第２ＲＧＢ画像に対して行われてもよい。図１７は、この場合の、信号処理により青色光領域を減衰する場合の各画像における画素値の例を示す図である。
　図１７に示す例では、検出部１０２は、ホワイトバランス調整処理後の第２ＲＧＢ画像に、上記と同様の青色カット処理を行うことで、第６ＲＧＢ画像を生成する。この第６ＲＧＢ画像を用いて上述した蛍光物質の濃度分布検出処理が行われる。
　図１６に示す第２ＲＧＢ画像と、図１７に示す第６ＲＧＢ画像とを比較すると、図１６に示す第２ＲＧＢ画像のほうが、光学フィルタを用いて青色カットを行った状態に近く、残留するＲ、Ｇのレベルも大きくなり、画像が明るくなる。
　なお、青色カット処理はデジタル処理であってもよいし、アナログ処理であってもよい。また、上記では、検出部１０２（携帯端末７０）が青色カット処理を行う例を述べたが、口腔内カメラ１０で行われてもよい。なお、ＲＧＢカメラに用いられる一般的なイメージセンサーでは、ＲＧＢカラーフィルタ配列に応じて、Ｒ、Ｇ、Ｂの各画素値の出力順は定められている。よって、青色カット処理において、Ｂの画素値を特定できる。
　（変形例７）
　検出部１０２は、ホワイトバランス調整処理（第１画像処理）において、第１ＲＧＢ画像から歯垢が付着していない天然歯牙領域を抽出し、抽出した天然歯牙領域の複数の画素を用いてホワイトバランス調整処理を行ってもよい。つまり、第１画像処理は、第１ＲＧＢ画像から歯垢及び歯石が付着していない天然歯牙領域を抽出し、天然歯牙領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理であってもよい。
　ここで天然歯牙領域とは、歯牙領域のうち、人工歯牙の領域を除いた領域である。人工歯牙は、例えば、金属（金或いは銀等）、セラミック又はジルコニア等で構成される人工の歯牙又は補綴物である。
　このように、人工歯牙領域を除いた天然歯牙領域の画素の情報を用いてホワイトバランス調整処理を行うこと、ホワイトバランス調整処理の精度を向上できる。
　具体的には、検出部１０２は、第１ＲＧＢ画像において、緑画素値（Ｇ）が予め定められた第１閾値以上である第１天然歯牙領域を検出する。
　ここで、天然歯牙に励起光（青色光）を照射した場合、象牙質から励起蛍光が発せられる。この励起蛍光は、エナメル質を透過する。これにより、天然歯牙は緑色に蛍光する。また、齲歯治療痕の詰め物は、青色光が照射されている状態では、白色光が照射されている状態とは異なり、カメラで撮影された画像において暗く（低輝度に）なる。一方で、エナメル質で覆われた天然の歯牙は画像において明るく（高輝度に）なる。よって、緑画素値（Ｇ）が予め定められた第１閾値以上である領域を抽出し、この緑色の蛍光を抽出することで天然歯牙の領域を判別するとともに人工歯牙の領域を除外することができる。
　なお、緑画素値（Ｇ）の代わりに輝度値（Ｙ）が用いられもよい。輝度値（Ｙ）は、上記の式３を用いて算出される。式３に示すように、輝度値は緑画素値の割合が大きいため、輝度値を用いても緑画素値を用いた場合と同様の検出を行うことができる。
　なお、検出部１０２は、このように検出された第１天然歯牙領域の情報を用いてホワイトバランス調整処理をおこなってもよいし、第１天然歯牙領域から、さらに、歯垢及び歯石の領域を除外することで第２天然歯牙領域を検出し、検出された第２天然歯牙領域の情報を用いてホワイトバランス調整処理をおこなってもよい。
　具体的には、検出部１０２は、第１ＲＧＢ画像からＨＳＶ画像を生成し、ＨＳＶ画像のＨ、Ｓ、Ｖのそれぞれの値が、予め定められた範囲内に含まれる領域を歯垢又は歯石領域として抽出する。なお、検出部１０２は、第１ＲＧＢ画像からＨＳＬ画像を生成し、ＨＳＬ画像のＨ、Ｓ、Ｌのそれぞれの値が、予め定められた範囲内に含まれる領域を歯垢又は歯石領域として抽出してもよい。
　次に、検出部１０２は、第１天然歯牙領域から、歯垢又は歯石領域を除外することで第２天然歯牙領域を検出する。
　以上のように、本実施の形態に係る歯垢検出装置（例えば、携帯端末７０）は、歯垢及び歯石に含まれる蛍光物質を励起する所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から青色光領域の少なくとも一部を減衰した第１画像（例えば第１ＲＧＢ画像）を取得する取得部１０１と、第１画像から（例えば第１画像における蛍光物質の蛍光反応の蛍光強度の値に基づき）歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量（例えば蛍光物質の濃度分布）を検出する検出部１０２と、を備える。これによれば、歯垢検出装置は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出できるので、歯牙の状態を詳細に検出できる。さらに、当該歯垢検出装置は、歯垢及び歯石に含まれる蛍光物質を励起する所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から青色光領域の少なくとも一部を減衰した第１画像を用いることで歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量の検出精度を向上できる。
　例えば、検出部１０２は、第１画像からＨＳＶ画像を生成し、ＨＳＶ画像の明度の値から歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する。これによれば、当該歯垢検出装置は、ＨＳＶ画像の明度の値に基づき精度よく歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出できる。
　例えば、第１画像は、第１ＲＧＢ画像であり、検出部１０２は、第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成する。第１画像処理は、処理対象のＲＧＢ画像のうちの歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。検出部１０２は、第２ＲＧＢ画像の色空間をＨＳＶ空間に変換することでＨＳＶ画像を生成する。
　これによれば、歯垢検出装置は、第１画像処理を行うことで、蛍光反応している歯牙が撮影されている第１ＲＧＢ画像のホワイトバランスを調整することができる。このため、当該歯垢検出装置は、歯牙において歯垢が付着している領域である歯垢領域を区別しやすい第２ＲＧＢ画像を生成することができる。よって、当該歯垢検出装置は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量の検出精度を向上できる。
　例えば、検出部１０２は、ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲内、色相が第２の所定範囲内、及び、明度が第３の所定範囲内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を特定し、ＨＳＶ画像の特定画素領域における明度の値から歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する。これによれば、歯垢検出装置は、歯牙の画像における歯垢領域を特定したうえで歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出することで、当該含有量の検出精度を向上できる。
　例えば、検出部１０２は、第１画像からＨＳＬ画像を生成し、ＨＳＬ画像の輝度の値から歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する。これによれば、当該歯垢検出装置は、ＨＳＬ画像の輝度の値に基づき精度よく歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出できる。
　例えば、第１画像は、第１ＲＧＢ画像であり、検出部１０２は、第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成する。第１画像処理は、処理対象のＲＧＢ画像のうちの歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。検出部１０２は、第２ＲＧＢ画像の色空間をＨＳＬ空間に変換することでＨＳＬ画像を生成する。
　これによれば、歯垢検出装置は、第１画像処理を行うことで、蛍光反応している歯牙が撮影されている第１ＲＧＢ画像のホワイトバランスを調整することができる。このため、当該歯垢検出装置は、歯牙において歯垢が付着している領域である歯垢領域を区別しやすい第２ＲＧＢ画像を生成することができる。よって、当該歯垢検出装置は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量の検出精度を向上できる。
　例えば、検出部１０２は、ＨＳＬ画像が有する複数の第５画素のうち彩度が第４の所定範囲内、色相が第５の所定範囲内、及び、輝度が第６の所定範囲内の少なくとも１つを満たす１以上の第５画素が位置する特定画素領域を特定し、特定画素領域における輝度の値から歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する。これによれば、歯垢検出装置は、歯牙の画像における歯垢領域を特定したうえで歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出することで、当該含有量の検出精度を向上できる。
　例えば、蛍光物質はポルフィリンである。例えば、検出部１０２は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を３以上の階調に割り付け、第１画像に基づく第２画像（例えば第１ＲＧＢ画像又は第２ＲＧＢ画像）に、階調表示した歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を重ねた第３画像（例えば第４ＲＧＢ画像）を生成する。これによれば、例えば、生成された第３画像により、ユーザに歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を通知できる。
　例えば、歯垢検出装置は、さらに、撮影された歯牙の種類を識別する識別部１０４と、撮影された歯牙から検出した歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を、識別された歯牙の種類と対応付けて記憶する記憶部１０５と、を備える。これによれば、歯垢検出装置は、歯牙毎の歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を管理できる。
　また、本実施の形態に係る歯垢検出装置（例えば、携帯端末７０）は、歯垢及び歯石に含まれる蛍光物質を励起する所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から第１ＲＧＢ画像を取得する取得部１０１と、第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成し、第２ＲＧＢ画像における蛍光物質の蛍光反応の蛍光強度の値に基づき、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する検出部１０２と、を備える。第１画像処理は、第１ＲＧＢ画像から歯垢及び歯石が付着していない天然歯牙領域を抽出し、天然歯牙領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。
　これによれば、当該歯垢検出装置は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出できるので、歯牙の状態を詳細に検出できる。さらに、当該歯垢検出装置は、第１画像処理を行うことで、蛍光反応している歯牙が撮影されている第１ＲＧＢ画像のホワイトバランスを調整することができる。このため、当該歯垢検出装置は、歯牙において歯垢が付着している領域である歯垢領域を区別しやすい第２ＲＧＢ画像を生成することができる。よって、当該歯垢検出装置は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量の検出精度を向上できる。さらに、当該歯垢検出装置は、第１画像処理を歯垢及び歯石が付着していない天然歯牙領域の画素を用いて行うことでホワイトバランス調整処理の精度を向上できる。
　例えば、天然歯牙領域の抽出では、（ｉ）第１ＲＧＢ画像の全画素領域において、輝度値が予め定められた第１閾値以上の領域、又は、（ｉｉ）第１ＲＧＢ画像の全画素領域において、緑画素値が予め定められた第２閾値以上の領域、である第１領域（例えば第１天然歯牙領域）が検出され、第１領域に基づき天然歯牙領域が抽出される。これによれば、当該歯垢検出装置は、輝度値又は緑画素値を用いて精度よく天然歯牙領域を検出できる。
　例えば、天然歯牙領域の抽出では、第１領域から、歯垢及び歯石の領域を除外した領域が天然歯牙領域として抽出される。これによれば、当該歯垢検出装置は、ホワイトバランス調整処理の精度を向上できる。
　例えば、第１ＲＧＢ画像は、口腔内の歯牙及び歯垢からの反射光及び蛍光から青色光領域の少なくとも一部を減衰した画像である。これによれば、歯垢検出装置は、歯垢及び歯石に含まれる蛍光物質を励起する所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から青色光領域の少なくとも一部を減衰した第１画像を用いることで歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量の検出精度を向上できる。
　例えば、検出部１０２は、第２ＲＧＢ画像からＨＳＶ画像を生成し、ＨＳＶ画像の明度の値から歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する。これによれば、当該歯垢検出装置は、ＨＳＶ画像の明度の値に基づき精度よく歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出できる。
　例えば、検出部１０２は、ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲内、色相が第２の所定範囲内、及び、明度が第３の所定範囲内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を特定し、特定画素領域における明度の値から歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する。これによれば、歯垢検出装置は、歯牙の画像における歯垢領域を特定したうえで歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出することで、当該含有量の検出精度を向上できる。
　例えば、検出部１０２は、第２ＲＧＢ画像からＨＳＬ画像を生成し、ＨＳＬ画像の輝度の値から歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する。これによれば、当該歯垢検出装置は、ＨＳＬ画像の輝度の値に基づき精度よく歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出できる。
　例えば、検出部１０２は、ＨＳＬ画像が有する複数の第５画素のうち彩度が第４の所定範囲内、色相が第５の所定範囲内、及び、輝度が第６の所定範囲内の少なくとも１つを満たす１以上の第５画素が位置する特定画素領域を特定し、特定画素領域における輝度の値から歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する。これによれば、歯垢検出装置は、歯牙の画像における歯垢領域を特定したうえで歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を検出することで、当該含有量の検出精度を向上できる。
　例えば、蛍光物質はポルフィリンである。例えば、検出部１０２は、歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を３以上の階調に割り付け、第１ＲＧＢ画像に基づく第２画像（例えば第１ＲＧＢ画像又は第２ＲＧＢ画像）に、階調表示した歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を重ねた第３画像（例えば第４ＲＧＢ画像）を生成する。これによれば、例えば、生成された第３画像により、ユーザに歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を通知できる。
　例えば、歯垢検出装置は、さらに、撮影された歯牙の種類を識別する識別部１０４と、撮影された歯牙から検出した歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を、識別された歯牙の種類と対応付けて記憶する記憶部１０５と、を備える。これによれば、歯垢検出装置は、歯牙毎の歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を管理できる。
　以上、本開示の実施の形態に係る口腔内カメラシステムについて説明したが、本開示は、この実施の形態に限定されるものではない。
　例えば、上記説明では、歯牙を撮影することを主目的とした口腔内カメラ１０を用いる例を説明したが、口腔内カメラ１０は、カメラを備える口腔内ケア機器であってもよい。例えば、口腔内カメラ１０は、カメラを備える口腔内洗浄機等であってもよい。
　また、上記実施の形態に係る口腔内カメラシステムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、本開示は、口腔内カメラシステムにより実行される画像表示方法等として実現されてもよい。また、本開示は、口腔内カメラシステムに含まれる口腔内カメラ、携帯端末、又はクラウドサーバとして実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係る口腔内カメラシステム等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、口腔内カメラシステムに適用できる。
　１０　口腔内カメラ
　１０ａ　ヘッド部
　１０ｂ　ハンドル部
　１０ｃ　ネック部
　１２　撮影光学系
　１２ａ　入射口
　１４　撮像素子
　１６　レンズ
　１８　ミラー
　２０　青色光カットフィルタ
　２４　絞り
　２６Ａ　第１のＬＥＤ
　２６Ｂ　第２のＬＥＤ
　２６Ｃ　第３のＬＥＤ
　２６Ｄ　第４のＬＥＤ
　２８　カバー
　３０　構図調節機構
　３２　焦点調節機構
　３４　筺体
　３６、４０　アクチュエータ
　３８　レンズホルダ
　５０　中央制御部
　５４　ＬＥＤ制御部
　５６　レンズドライバ
　５８　無線通信モジュール
　６０　電源制御部
　６２　コントローラ
　６４　メモリ
　６６　電池
　６８　コイル
　６９　充電器
　７０　携帯端末
　７２　タッチスクリーン
　８０　クラウドサーバ
　９０　位置センサ
　１０１　取得部
　１０２　検出部
　１０３　表示部
　１０４　識別部
　１０５　記憶部
　３０１　歯牙
　３０２　歯肉
　３０３　歯垢
　３０４　領域
　３０５　熟成歯垢
　３０６　若い歯垢

Claims (13)

  1. 　歯垢及び歯石に含まれる蛍光物質を励起する所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から第１ＲＧＢ画像を取得する取得部と、
    　前記第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成し、前記第２ＲＧＢ画像における前記蛍光物質の蛍光反応の蛍光強度の値に基づき、前記歯牙に付着した前記歯垢及び前記歯石に含まれる蛍光物質の単位面積当たりの含有量を検出する検出部と、を備え、
    　前記第１画像処理は、前記第１ＲＧＢ画像から歯垢及び歯石が付着していない天然歯牙領域を抽出し、前記天然歯牙領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である
    　歯垢検出装置。
  2. 　前記天然歯牙領域の抽出では、
    　（ｉ）前記第１ＲＧＢ画像の全画素領域において、輝度値が予め定められた第１閾値以上の領域、又は、（ｉｉ）前記第１ＲＧＢ画像の全画素領域において、緑画素値が予め定められた第２閾値以上の領域、である第１領域が検出され、前記第１領域に基づき前記天然歯牙領域が抽出される
    　請求項１記載の歯垢検出装置。
  3. 　前記天然歯牙領域の抽出では、
    　前記第１領域から、歯垢及び歯石の領域を除外した領域が前記天然歯牙領域として抽出される
    　請求項２記載の歯垢検出装置。
  4. 　前記第１ＲＧＢ画像は、前記口腔内の前記歯牙及び前記歯垢からの反射光及び蛍光から青色光領域の少なくとも一部を減衰した画像である
    　請求項１～３のいずれか一項に記載の歯垢検出装置。
  5. 　前記検出部は、前記第２ＲＧＢ画像からＨＳＶ画像を生成し、前記ＨＳＶ画像の明度の値から前記歯牙に付着した前記歯垢及び前記歯石に含まれる蛍光物質の前記単位面積当たりの含有量を検出する
    　請求項１～４のいずれか一項に記載の歯垢検出装置。
  6. 　前記検出部は、
    　　前記ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲内、色相が第２の所定範囲内、及び、明度が第３の所定範囲内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を特定し、
    　　前記特定画素領域における前記明度の値から前記歯牙に付着した前記歯垢及び前記歯石に含まれる前記蛍光物質の前記単位面積当たりの含有量を検出する
    　請求項５記載の歯垢検出装置。
  7. 　前記検出部は、前記第２ＲＧＢ画像からＨＳＬ画像を生成し、前記ＨＳＬ画像の輝度の値から前記歯牙に付着した前記歯垢及び前記歯石に含まれる蛍光物質の前記単位面積当たりの含有量を検出する
    　請求項１～４のいずれか一項に記載の歯垢検出装置。
  8. 　前記検出部は、
    　　前記ＨＳＬ画像が有する複数の第５画素のうち彩度が第４の所定範囲内、色相が第５の所定範囲内、及び、輝度が第６の所定範囲内の少なくとも１つを満たす１以上の第５画素が位置する特定画素領域を特定し、
    　　前記特定画素領域における前記輝度の値から前記歯牙に付着した前記歯垢及び前記歯石に含まれる前記蛍光物質の前記単位面積当たりの含有量を検出する
    　請求項７記載の歯垢検出装置。
  9. 　前記蛍光物質はポルフィリンである
    　請求項１～８のいずれか一項に記載の歯垢検出装置。
  10. 　前記検出部は、
    　前記歯牙に付着した前記歯垢及び前記歯石に含まれる前記蛍光物質の前記単位面積当たりの含有量を３以上の階調に割り付け、
    　前記第１ＲＧＢ画像に基づく第２画像に、階調表示した前記歯牙に付着した前記歯垢及び前記歯石に含まれる前記蛍光物質の前記単位面積当たりの含有量を重ねた第３画像を生成する
    　請求項１～９のいずれか一項に記載の歯垢検出装置。
  11. 　前記歯垢検出装置は、さらに、
    　撮影された歯牙の種類を識別する識別部と、
    　前記撮影された歯牙から検出した歯牙に付着した歯垢及び歯石に含まれる蛍光物質の単位面積当たりの含有量を、識別された前記歯牙の種類と対応付けて記憶する記憶部と、を備える
    　請求項１～１０のいずれか一項に記載の歯垢検出装置。
  12. 　歯垢及び歯石に含まれる蛍光物質を励起する所定波長の照射光が照射されている口腔内の歯牙、歯垢及び歯石からの反射光及び蛍光から第１ＲＧＢ画像を取得し、
    　前記第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成し、前記第２ＲＧＢ画像における前記蛍光物質の蛍光反応の蛍光強度の値に基づき、前記歯牙に付着した前記歯垢及び前記歯石に含まれる蛍光物質の単位面積当たりの含有量を検出し、
    　前記第１画像処理は、前記第１ＲＧＢ画像から歯垢及び歯石が付着していない天然歯牙領域を抽出し、前記天然歯牙領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である
    　歯垢検出方法。
  13. 　請求項１２記載の歯垢検出方法をコンピュータに実行させるためのプログラム。
PCT/JP2024/020180 2023-06-08 2024-06-03 歯垢検出装置、歯垢検出方法及びプログラム Ceased WO2024253058A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP24819288.2A EP4725390A1 (en) 2023-06-08 2024-06-03 Dental plaque detection device, dental plaque detection method, and program
CN202480003912.6A CN119947632A (zh) 2023-06-08 2024-06-03 牙垢检测装置、牙垢检测方法及程序
JP2025526099A JP7784630B2 (ja) 2023-06-08 2024-06-03 歯垢検出装置、歯垢検出方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-094470 2023-06-08
JP2023094470 2023-06-08

Publications (1)

Publication Number Publication Date
WO2024253058A1 true WO2024253058A1 (ja) 2024-12-12

Family

ID=93795964

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2024/020178 Ceased WO2024253057A1 (ja) 2023-06-08 2024-06-03 歯垢検出装置、歯垢検出方法及びプログラム
PCT/JP2024/020180 Ceased WO2024253058A1 (ja) 2023-06-08 2024-06-03 歯垢検出装置、歯垢検出方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/020178 Ceased WO2024253057A1 (ja) 2023-06-08 2024-06-03 歯垢検出装置、歯垢検出方法及びプログラム

Country Status (4)

Country Link
EP (2) EP4725389A1 (ja)
JP (2) JP7784629B2 (ja)
CN (2) CN119947632A (ja)
WO (2) WO2024253057A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120598940B (zh) * 2025-08-05 2025-10-17 陕西省第二人民医院(陕西省老年病医院) 一种口腔牙菌斑标记检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013248220A (ja) 2012-06-01 2013-12-12 Sony Corp 歯用装置、画像取得方法及び情報処理装置
JP2014004329A (ja) * 2012-06-01 2014-01-16 Sony Corp 歯用装置、医療用装置及び算出方法
JP2014133029A (ja) * 2013-01-11 2014-07-24 Panasonic Corp 歯垢検知システム及び歯垢検知方法
WO2016140199A1 (ja) * 2015-03-02 2016-09-09 シチズンホールディングス株式会社 光測定装置及びこれを備えた歯ブラシ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013248220A (ja) 2012-06-01 2013-12-12 Sony Corp 歯用装置、画像取得方法及び情報処理装置
JP2014004329A (ja) * 2012-06-01 2014-01-16 Sony Corp 歯用装置、医療用装置及び算出方法
JP2014133029A (ja) * 2013-01-11 2014-07-24 Panasonic Corp 歯垢検知システム及び歯垢検知方法
WO2016140199A1 (ja) * 2015-03-02 2016-09-09 シチズンホールディングス株式会社 光測定装置及びこれを備えた歯ブラシ

Also Published As

Publication number Publication date
JPWO2024253058A1 (ja) 2024-12-12
EP4725389A1 (en) 2026-04-15
JPWO2024253057A1 (ja) 2024-12-12
JP7784630B2 (ja) 2025-12-12
JP7784629B2 (ja) 2025-12-12
CN119947632A (zh) 2025-05-06
CN119768102A (zh) 2025-04-04
WO2024253057A1 (ja) 2024-12-12
EP4725390A1 (en) 2026-04-15

Similar Documents

Publication Publication Date Title
JP4527166B2 (ja) 双方向歯科治療ネットワーク
WO2024106391A1 (ja) 画像処理方法、画像処理装置、及び、プログラム
CN102327156A (zh) 牙齿色度映射
JP2002529122A (ja) 歯のシェードを解析するシステムならびに方法
US10876972B2 (en) Full scale Raman imaging for early caries detection
KR20230153430A (ko) 치과용 영상 시스템 및 이미지 분석
JP7784630B2 (ja) 歯垢検出装置、歯垢検出方法及びプログラム
CN101331519A (zh) 图像组合装置
Moussa Dental Shade Matching: Recent technologies and future smart applications
JP6319980B2 (ja) 歯牙測色方法、歯牙測色装置、及び歯牙測色プログラム
WO2023163051A1 (ja) 口腔洗浄装置、制御装置、口腔洗浄方法、及び、プログラム
EP4254936B1 (en) Dentition image capturing system and dentition image capturing method
JP6030651B2 (ja) 歯科用シェード合わせのための適応型照明方法および装置
EP3459494B1 (en) Dental health assessment assisting system
WO2025079525A1 (ja) 画像処理方法、画像処理装置及びプログラム
JP2009195495A (ja) 歯科用測色装置
WO2025182844A1 (ja) 画像処理方法、画像処理装置、及び、プログラム
JP7675374B2 (ja) 口腔内カメラ、照明制御装置及び照明制御方法
CN122003202A (zh) 图像处理方法、图像处理装置以及程序
WO2025173550A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2025173551A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2025197670A1 (ja) 歯周疾患検出システム、歯周疾患検出方法及びプログラム
WO2025115505A1 (ja) 歯列画像生成装置、歯列画像生成方法及びプログラム
WO2025115504A1 (ja) 歯列画像生成装置、歯列画像生成方法及びプログラム
WO2025197661A1 (ja) 歯周疾患検出システム、歯周疾患検出方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24819288

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2025526099

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202480003912.6

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202480003912.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2024819288

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024819288

Country of ref document: EP

Effective date: 20260108

ENP Entry into the national phase

Ref document number: 2024819288

Country of ref document: EP

Effective date: 20260108

ENP Entry into the national phase

Ref document number: 2024819288

Country of ref document: EP

Effective date: 20260108

ENP Entry into the national phase

Ref document number: 2024819288

Country of ref document: EP

Effective date: 20260108

ENP Entry into the national phase

Ref document number: 2024819288

Country of ref document: EP

Effective date: 20260108