WO2021132023A1 - 医用画像処理装置、医用画像処理方法及びプログラム - Google Patents

医用画像処理装置、医用画像処理方法及びプログラム Download PDF

Info

Publication number
WO2021132023A1
WO2021132023A1 PCT/JP2020/047179 JP2020047179W WO2021132023A1 WO 2021132023 A1 WO2021132023 A1 WO 2021132023A1 JP 2020047179 W JP2020047179 W JP 2020047179W WO 2021132023 A1 WO2021132023 A1 WO 2021132023A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
specific scene
recognition
display
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/047179
Other languages
English (en)
French (fr)
Inventor
正明 大酒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2021567366A priority Critical patent/JP7648540B2/ja
Priority to EP20905063.2A priority patent/EP4082421A4/en
Priority to CN202080086065.6A priority patent/CN114845624B/zh
Publication of WO2021132023A1 publication Critical patent/WO2021132023A1/ja
Priority to US17/752,403 priority patent/US12283367B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres

Definitions

  • the present invention relates to a medical image processing apparatus, a medical image processing method and a program.
  • Diagnosis and medical examination using the endoscopic device is performed by displaying the endoscopic image acquired by the endoscopic device on the monitor and observing the endoscopic image displayed on the monitor by the doctor.
  • Patent Document 1 a technique for assisting a doctor's observation by image-processing an endoscopic image to estimate a lesion and superimposing a mark on the lesion and displaying it on a monitor.
  • a recognizer made by deep learning may be used. Specifically, a specific scene has been observed by automatically recognizing a specific scene from an endoscopic image with a recognizer created by deep learning and presenting the recognized specific scene to a user (doctor, etc.). Notify that.
  • the recognizer may recognize a specific scene even if a specific scene is momentarily shot when the endoscope scope is moved quickly, and in that case, the user recognizes the specific scene. Notification is made as completed.
  • the user momentarily shoots a specific scene, the user does not observe the specific scene. In this way, there may be a discrepancy between the recognition of the specific scene by the recognizer and the actual observation by the user.
  • the recognizer since the recognizer notifies the user that the specific scene has been observed, the user mistakenly recognizes the specific scene as observed by looking at the notification display even though the specific scene is not originally observed. There is a fear.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a medical image processing apparatus, a medical image processing method, and a program capable of reducing the discrepancy between the recognition of the recognizer and the recognition of the user. That is.
  • the medical image processing apparatus for achieving the above object is a medical image processing apparatus including a processor, and the processor sequentially acquires a plurality of medical images in chronological order, and the acquired medical image is used. Based on the image, the specific scene of the medical image is recognized, the recognition frequency of the recognized specific scene is acquired, and a notification display indicating the degree of recognition that changes in two or more stages according to the recognition frequency is displayed on the monitor. ..
  • a notification display indicating the degree of recognition that changes in two or more stages according to the recognition frequency of the specific scene of the medical image is displayed on the monitor, so that the user is notified of the recognition frequency of the specific scene in the processor. It is possible to reduce the discrepancy between the observation of the user's specific scene and the recognition of the processor's specific scene.
  • the processor displays a different color on the monitor as a notification display according to the recognition frequency.
  • the processor displays a different line type on the monitor as a notification display according to the recognition frequency.
  • the processor displays on the monitor a different degree of blurring as a notification display according to the recognition frequency.
  • the processor acquires the recognition frequency based on the number of recognized medical images of the specific scene.
  • the processor acquires the recognition frequency based on the number of chronologically continuous medical images of the recognized specific scene.
  • the processor recognizes the specific scene by calculating the feature amount of the medical image of the specific scene and classifying the medical image based on the feature amount of the specific scene.
  • the processor calculates the feature amount of the medical image of the specific scene and recognizes the specific scene based on the similarity between the feature amount and the medical image.
  • the processor switches the notification display from the initial display to the first display and displays it on the monitor.
  • the processor switches the notification display from the first display to the second display and displays it on the monitor.
  • the processor displays a plurality of reference images having each of the plurality of specific scenes on the monitor to perform the first display and the second display.
  • the processor displays a model image including a portion corresponding to a plurality of specific scenes on the monitor, and makes the recognized specific scene correspond to the model image to perform the first display and the second display.
  • the processor associates the position where the specific scene is recognized with the position on the model image, superimposes the notification display on the model image, and displays it on the monitor.
  • the processor displays an initial display different from the notification display on the monitor when the specific scene has not been recognized yet.
  • the medical image processing method includes a medical image acquisition step of sequentially acquiring a plurality of medical images in chronological order, and a specific scene recognition that recognizes a specific scene of the medical image based on the acquired medical image.
  • a display control that displays on the monitor a notification display indicating the degree of recognition that changes in two or more stages according to the step, the frequency acquisition step of acquiring the recognition frequency of the specific scene recognized by the specific scene recognition step, and the recognition frequency.
  • a program includes a medical image acquisition step of sequentially acquiring a plurality of medical images in chronological order, a specific scene recognition step of recognizing a specific scene of a medical image based on the acquired medical image, and a specific scene recognition step.
  • a frequency acquisition step for acquiring the recognition frequency of a specific scene recognized by the specific scene recognition step, a display control step for displaying a notification display indicating the degree of recognition that changes in two or more stages according to the recognition frequency on the monitor, and a display control step.
  • FIG. 1 is an external view of the endoscope system.
  • FIG. 2 is a block diagram showing a main configuration of an endoscope system.
  • FIG. 3 is a functional block diagram of the medical image processing apparatus in the image processing unit.
  • FIG. 4 is a diagram showing the configuration of CNN.
  • FIG. 5 is a schematic view showing a configuration example of the intermediate layer.
  • FIG. 6 is a flowchart showing a medical image processing method.
  • FIG. 7 is a flow chart for acquiring the recognition frequency.
  • FIG. 8 is a diagram showing an example of a notification display.
  • FIG. 9 is a flow chart of a medical image processing method.
  • FIG. 10 is a flow chart for acquiring the recognition frequency.
  • FIG. 11 is a diagram showing a specific example of the first modification 1.
  • FIG. 1 is an external view of the endoscope system.
  • FIG. 2 is a block diagram showing a main configuration of an endoscope system.
  • FIG. 3 is a functional block diagram of the medical
  • FIG. 12 is a diagram showing a specific example of the second modification 1.
  • FIG. 13 is a diagram showing a specific example of the third modification 1.
  • FIG. 14 is a diagram showing a specific example of the fourth modification 1.
  • FIG. 15 is a diagram showing a specific example of the fifth modification 1.
  • FIG. 16 is a diagram showing a first modification 2.
  • FIG. 17 is a diagram showing a second modification 2.
  • FIG. 18 is a diagram showing a case where display is performed on two monitors.
  • FIG. 1 is an external view of the endoscope system 10
  • FIG. 2 is a block diagram showing a main configuration of the endoscope system 10.
  • the endoscope system 10 includes an endoscope scope 100, an endoscope processor device 200, a light source device 300, and a monitor 400.
  • the endoscope processor device 200 is equipped with the medical image processing device of the present invention.
  • the endoscope scope 100 includes a hand operation unit 102 and an insertion unit 104 connected to the hand operation unit 102.
  • the operator grips and operates the hand operation unit 102, inserts the insertion unit 104 into the body of the subject (living body), and observes it.
  • the hand operation unit 102 is provided with an air supply / water supply button 141, a suction button 142, a function button 143 to which various functions can be assigned, and a shooting button 144 for receiving a shooting instruction operation (still image, moving image). ..
  • the insertion portion 104 is composed of a soft portion 112, a curved portion 114, and a tip hard portion 116 in this order from the hand operation portion 102 side.
  • the curved portion 114 is connected to the base end side of the hard tip portion 116, and the soft portion 112 is connected to the base end side of the curved portion 114.
  • the hand operation unit 102 is connected to the base end side of the insertion unit 104. The user can bend the curved portion 114 and change the direction of the hard tip portion 116 up, down, left and right by operating the hand operating portion 102.
  • the tip rigid portion 116 is provided with a photographing optical system 130, an illumination portion 123, a forceps opening 126, and the like (see FIGS. 1 and 2).
  • white light and / or narrow band light (red narrow band light, green narrow band light, etc.) are transmitted from the illumination lenses 123A and 123B of the illumination unit 123.
  • narrow band light red narrow band light, green narrow band light, etc.
  • One or more of blue narrow band light and purple narrow band light can be irradiated.
  • cleaning water is discharged from a water supply nozzle (not shown), and the photographing lens 132 of the photographing optical system 130 and the illumination lenses 123A and 123B can be washed.
  • a conduit (not shown) communicates with the forceps opening 126 opened by the hard tip 116, and a treatment tool (not shown) for removing a tumor or the like is inserted into this conduit, and the patient moves back and forth as appropriate to the subject. You can take the necessary measures.
  • a photographing lens 132 is arranged on the tip end surface 116A of the tip rigid portion 116.
  • a CMOS (Complementary Metal-Oxide Semiconductor) type image sensor 134, a drive circuit 136, and an AFE 138 (AFE: Analog Front End) are arranged behind the photographing lens 132, and an image signal is output by these elements.
  • the image pickup element 134 is a color image pickup element, and is composed of a plurality of light receiving elements arranged in a matrix (two-dimensional arrangement) in a specific pattern arrangement (Bayer arrangement, X-Trans (registered trademark) arrangement, honeycomb arrangement, etc.). It has a plurality of pixels.
  • Each pixel of the image sensor 134 includes a microlens, a red (R), green (G), or blue (B) color filter and a photoelectric conversion unit (photodiode or the like).
  • the photographing optical system 130 can also generate a color image from pixel signals of three colors of red, green, and blue, and generate an image from a pixel signal of any one or two colors of red, green, and blue. You can also do it.
  • the image sensor 134 may be a CCD (Charge Coupled Device) type. Further, each pixel of the image sensor 134 may further include a purple color filter corresponding to a purple light source 310V and / or an infrared filter corresponding to an infrared light source.
  • the optical image of the subject is imaged on the light receiving surface (imaging surface) of the image sensor 134 by the photographing lens 132, converted into an electric signal, and output to the endoscope processor device 200 via a signal cable (not shown) to form an image. Converted to a signal.
  • the endoscope image (medical image) of the subject is displayed on the screen on the monitor 400 connected to the endoscope processor device 200.
  • the illumination lenses 123A and 123B of the illumination portion 123 are provided adjacent to the photographing lens 132.
  • the ejection ends of the light guide 170 which will be described later, are arranged behind the illumination lenses 123A and 123B, and the light guide 170 is inserted into the insertion portion 104, the hand operation portion 102, and the universal cable 106 to form the light guide 170.
  • the incident end is arranged within the light guide connector 108.
  • the user sequentially captures time-series endoscopic images in the living body by taking pictures at a predetermined frame rate while inserting or removing the endoscopic scope 100 having the above-described configuration into the living body which is the subject. can do.
  • the light source device 300 includes a light source 310 for illumination, a diaphragm 330, a condenser lens 340, a light source control unit 350, and the like, and causes observation light to enter the light guide 170.
  • the light source 310 includes a red light source 310R, a green light source 310G, a blue light source 310B, and a purple light source 310V that irradiate narrow band light of red, green, blue, and purple, respectively, and is narrow in red, green, blue, and purple. It can irradiate band light.
  • the illuminance of the observation light by the light source 310 is controlled by the light source control unit 350, and the illuminance of the observation light can be changed (increased or decreased) and the illumination can be stopped as needed.
  • the light source 310 can emit red, green, blue, and purple narrow-band light in any combination.
  • narrow-band light of red, green, blue, and purple can be emitted at the same time to irradiate white light (normal light) as observation light, or one or two of them can be emitted to emit narrow-band light. It is also possible to irradiate light (special light).
  • the light source 310 may further include an infrared light source that irradiates infrared light (an example of narrow band light).
  • white light or narrow band light may be irradiated as observation light by a light source that irradiates white light and a filter that transmits white light and each narrow band light.
  • the light source 310 may be a light source having a white band or a light source having a plurality of wavelength bands as the light having a white band, or a light source having a specific wavelength band narrower than the white wavelength band.
  • the specific wavelength band may be a blue band or a green band in the visible region, or a red band in the visible region.
  • a specific wavelength band is a visible blue band or green band, it includes a wavelength band of 390 nm or more and 450 nm or less, or 530 nm or more and 550 nm or less, and peaks in a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less. It may have a wavelength.
  • the light in the specific wavelength band includes the wavelength band of 585 nm or more and 615 nm or less, or 610 nm or more and 730 nm or less, and the light in the specific wavelength band is 585 nm or more and 615 nm or less or 610 nm or more. It may have a peak wavelength in the wavelength band of 730 nm or less.
  • the specific wavelength band described above includes a wavelength band in which the oxidation hemoglobin and the reduced hemoglobin have different absorption coefficients and has a peak wavelength in the wavelength band in which the oxidation hemoglobin and the reduced hemoglobin have different absorption coefficients.
  • the specific wavelength band includes a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm, and 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm. It may have a peak wavelength in the following wavelength band.
  • the light generated by the light source 310 may include a wavelength band of 790 nm or more and 820 nm or less, or 905 nm or more and 970 nm or less, and may have a peak wavelength in a wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less.
  • the light source 310 may include a light source that irradiates excitation light having a peak of 390 nm or more and 470 nm or less. In this case, it is possible to acquire an endoscopic image having information on the fluorescence emitted by the fluorescent substance in the subject (living body).
  • a dye for the fluorescence method fluorestin, acridine orange, etc. may be used.
  • the light source type (laser light source, xenon light source, LED light source (LED: Light-Emitting Diode), etc.), wavelength, presence / absence of filter, etc. of the light source 310 are preferably configured according to the type of subject, the part, the purpose of observation, and the like.
  • switching the wavelength for example, by rotating a disk-shaped filter (rotary color filter) arranged in front of the light source and provided with a filter that transmits or blocks light of a specific wavelength, the wavelength of the emitted light is switched. May be good.
  • the image sensor used in carrying out the present invention is not limited to the color image sensor in which the color filter is arranged for each pixel like the image sensor 134, and may be a monochrome image sensor.
  • the wavelength of the observation light can be sequentially switched to perform surface-sequential (color-sequential) imaging.
  • the wavelength of the emitted observation light may be sequentially switched between (purple, blue, green, red), or a rotary color filter (red, green, blue, purple, etc.) is irradiated with broadband light (white light). You may switch the wavelength of the observation light emitted by.
  • the wavelength of the observation light emitted by the rotary color filter (green, blue, purple, etc.) by irradiating one or a plurality of narrow band lights (green, blue, purple, etc.) may be switched.
  • the narrow-band light may be infrared light having two or more wavelengths (first narrow-band light, second narrow-band light) having different wavelengths.
  • the observation light emitted from the light source device 300 is transmitted to the illumination lenses 123A and 123B via the light guide 170, and the illumination lens
  • the observation range is irradiated from 123A and 123B.
  • the configuration of the endoscope processor device 200 will be described with reference to FIG.
  • the endoscope processor device 200 inputs an image signal output from the endoscope scope 100 via the image input controller 202, performs necessary image processing in the image processing unit 204, and outputs the image signal via the video output unit 206. To do. As a result, the endoscopic image is displayed on the monitor 400.
  • These processes are performed under the control of the CPU 210 (CPU: Central Processing Unit).
  • the CPU 210 functions as a processor of a medical image processing device.
  • the communication control unit 205 controls communication with respect to the acquisition of medical images, etc. between an in-hospital system (HIS: Hospital Information System), an in-hospital LAN (Local Area Network), and / or an external system or network (not shown). I do.
  • the image processing unit 204 calculates the feature amount of the endoscopic image, processes to emphasize or reduce the components of a specific frequency band, and emphasizes or makes a specific target (area of interest, blood vessel of a desired depth, etc.) inconspicuous. Processing can be performed.
  • the image processing unit 204 acquires special light having information in a specific wavelength band based on a normal light image obtained by irradiating light in a white band or light in a plurality of wavelength bands as light in the white band.
  • An image acquisition unit (not shown) may be provided.
  • the signal of a specific wavelength band is used for RGB (R: red, G: green, B: blue) or CMY (C: cyan, M: magenta, Y: yellow) color information included in a normal optical image. It can be obtained by the calculation based on.
  • the image processing unit 204 includes a normal light image obtained by irradiating light in a white band or light in a plurality of wavelength bands as light in the white band, and a special light image obtained by irradiating light in a specific wavelength band.
  • a feature amount image generation unit (not shown) that generates a feature amount image by an operation based on at least one of the above is provided, and a feature amount image as an endoscopic image may be acquired and displayed. The above-mentioned processing is performed under the control of the CPU 210.
  • the image processing unit 204 has each function in the medical image processing device as described below.
  • FIG. 3 is a functional block diagram of the medical image processing device in the image processing unit 204.
  • the image processing unit 204 includes a medical image acquisition unit 220, a specific scene recognition unit 222, a frequency acquisition unit 224, and a display control unit 226.
  • Various processors include, for example, a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) to realize various functions.
  • the various processors described above include programmable logic devices (PLCs) such as GPUs (Graphics Processing Units) and FPGAs (Field Programmable Gate Arrays), which are specialized processors for image processing, whose circuit configurations can be changed after manufacturing.
  • PLCs programmable logic devices
  • GPUs Graphics Processing Units
  • FPGAs Field Programmable Gate Arrays
  • PLD Programmable Logic Device
  • the above-mentioned various processors also include a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • each part may be realized by one processor, or may be realized by a plurality of processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. As an example of configuring a plurality of functions with one processor, first, as represented by a computer, one processor is configured by a combination of one or more CPUs and software, and this processor is used as a plurality of functions. There is a form to be realized.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system with one IC (Integrated Circuit) chip
  • various functions are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • These electric circuits may be electric circuits that realize the above-mentioned functions by using logical sum, logical product, logical denial, exclusive logical sum, and logical operations combining these.
  • the processor or electric circuit executes software (program), it can be read by a computer of the software (for example, various processors and electric circuits constituting the image processing unit 204, and / or a combination thereof).
  • the code is stored in a non-temporary recording medium such as ROM 211 (ROM: Read Only Memory), and the computer refers to the software.
  • the software stored in the non-temporary recording medium is a program for executing the operation method of the medical image processing apparatus according to the present invention and data used for execution (data related to acquisition of medical images, notification conditions, and notification modes). Includes data used for identification, parameters used in the recognition unit, etc.).
  • the code may be recorded on a non-temporary recording medium such as various optical magnetic recording devices or semiconductor memories instead of the ROM 211.
  • a non-temporary recording medium such as various optical magnetic recording devices or semiconductor memories instead of the ROM 211.
  • RAM212 RAM: Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the recording unit 207 may be used as the “non-temporary recording medium”.
  • the ROM 211 (ROM: Read Only Memory) is a non-volatile storage element (non-temporary recording medium), and is a computer-readable code of a program that causes the CPU 210 and / or the image processing unit 204 to execute various image processing methods. Is remembered.
  • the RAM 212 (RAM: Random Access Memory) is a storage element for temporary storage during various processes, and can also be used as a buffer for image acquisition.
  • the voice processing unit 209 outputs voice and sound from the speaker 209A under the control of the CPU 210.
  • the operation unit 208 can be configured by a device such as a keyboard and a mouse (not shown), and the user can specify the execution instruction of the process and the conditions necessary for the execution via the operation unit 208.
  • the recording unit 207 records the acquired endoscopic image. In addition, programs and information for controlling the medical image processing apparatus are recorded.
  • the recording unit 207 functions as a memory of the medical image processing device.
  • the specific scene recognition unit 222 in the image processing unit 204 described above recognizes a specific scene configured by using a trained model such as a neural network (a model learned using an image set composed of images of a living body). It is composed of recognizers.
  • the specific scenes are, for example, the esophagus, duodenum, cardia, pylorus, angular incisure, fundus, body of stomach, vestibule, small bowl, large bowl and the like.
  • a CNN Convolutional Neural Network
  • FIG. 4 is a diagram showing the configuration of CNN232 (neural network).
  • the CNN 232 has an input layer 232A, an intermediate layer 232B, and an output layer 232C.
  • the input layer 232A inputs the endoscopic image acquired by the medical image acquisition unit 220 and outputs the feature amount.
  • the intermediate layer 232B includes the convolution layer 234 and the pooling layer 235, and the feature amount output by the input layer 232A is input to calculate other feature amounts.
  • These layers have a structure in which a plurality of "nodes” are connected by “edges”, and the weighting coefficient applied to the input image is associated with the node and the edge and stored in a weighting coefficient storage unit (not shown). It is remembered. The value of the weighting factor changes as the learning progresses.
  • the intermediate layer 232B calculates the feature amount by the convolution calculation and the pooling process.
  • the convolution operation performed in the convolution layer 234 is a process of acquiring a feature map by a convolution operation using a filter, and plays a role of feature extraction such as edge extraction from an image. By the convolution operation using this filter, one channel (one sheet) of "feature map” is generated for one filter. The size of the "feature map”, if downscaled by convolution, becomes smaller as each layer is convolved.
  • the pooling process performed in the pooling layer 235 is a process of reducing (or enlarging) the feature map output by the convolution operation to make a new feature map, so that the extracted features are not affected by translation or the like. Plays the role of giving robustness to.
  • the intermediate layer 232B can be composed of one or a plurality of layers that perform these processes.
  • the CNN232 may be configured without the pooling layer 235.
  • CNN232 may include a fully bonded layer 236 as in the example shown in part (b) of FIG.
  • the layer structure of CNN232 is not limited to the case where the convolution layer 234 and the pooling layer 235 are repeated one by one, and any one layer (for example, the convolution layer 234) may be continuously included.
  • FIG. 5 is a schematic view showing a configuration example of the intermediate layer 232B of the CNN 232 shown in FIG.
  • the image set is composed of N images (N channels) having an image size of H in the vertical direction and W in the horizontal direction.
  • the images constituting the image set are three-channel images of R (red), G (green), and B (blue). Since the image set of the filter F 1 to be convolved with this image set has N channels (N sheets), for example, in the case of a filter of size 5 (5 ⁇ 5), the filter size is 5 ⁇ 5 ⁇ N. Become.
  • the filter F 2 used in the second convolution layer has a filter size of 3 ⁇ 3 ⁇ M, for example, in the case of a size 3 (3 ⁇ 3) filter.
  • the second to nth convolution layers perform convolution operations using filters F 2 to F n.
  • the size of the "feature map" in the nth convolution layer is smaller than the size of the "feature map” in the second convolution layer because it is downscaled by the convolution layer or pooling layer up to the previous stage. Is.
  • low-order feature extraction (edge extraction, etc.) is performed in the convolution layer near the input side, and higher-order feature extraction (features related to the shape, structure, etc. of the recognition target) is performed as the intermediate layer 232B approaches the output side. Extraction) is performed.
  • the intermediate layer 232B may include a layer for batch normalization in addition to the convolution layer 234 and the pooling layer 235.
  • the batch normalization process is a process of normalizing the distribution of data in units of mini-batch when learning, and plays a role of advancing learning quickly, reducing dependence on initial values, suppressing overfitting, and the like.
  • the output layer 232C outputs the feature amount calculated by the intermediate layer 232B in a format suitable for specific scene recognition.
  • the output layer 232C may include a fully connected layer.
  • FIG. 6 is a flowchart showing a medical image processing method. Each step will be described below with reference to FIG.
  • the medical image acquisition unit 220 sequentially acquires a plurality of medical images in chronological order (step S10).
  • the medical image acquisition unit 220 may acquire a medical image of the body cavity taken by the endoscope scope 100, or may acquire a medical image of the body cavity recorded by the recording unit 207.
  • the specific scene recognition unit 222 recognizes a specific scene in the acquired medical image.
  • the specific scene recognition unit 222 receives the medical image, inputs the medical image to the above-mentioned CNN, and extracts the feature amount from the medical image step by step.
  • the specific scene recognition unit 222 finally utilizes its features to classify (for example, esophagus, duodenum, cardia, pyorrhea, angular incisure, fundus, body of stomach, vestibule, small bowl, large bowl). , Other 11 class classifications) to recognize a specific scene.
  • This recognition method can be found in the following documents (B. Zhou, A. Lapedriza, J. Xiao, A.
  • Torralba and A. Oliva. Learning deep features for scene recognition using places database). .
  • NIPS Neural Information Processing Systems
  • the specific scene recognition unit 222 recognizes the specific scene by comparing the finally extracted feature amount with the feature amount previously stored in the recording unit 207 (for example, the feature amount of the duodenum) and calculating the similarity. You can also do it.
  • FaceNet A Unified Embedding for Face Recognition and Clustering https://arxiv.org/abs/1503.03832)).
  • step S11 When the specific scene cannot be recognized by the medical image received by the specific scene recognition unit 222 (in the case of No in step S11), the medical image acquisition unit 220 has the next medical image (in step S19). (In the case of Yes), the next medical image is acquired (step S10). On the other hand, when the specific scene recognition unit 222 can recognize the specific scene in the medical image (Yes in step S11), the process proceeds to the frequency acquisition step (step S12) for updating the recognition frequency record.
  • the frequency acquisition unit 224 updates the recognition frequency record when the specific scene recognition unit 222 recognizes the specific scene in the medical image (step S12). For example, when the duodenum, which is a specific scene, is recognized by the specific scene recognition unit 222, the recognition frequency of the duodenum is updated from 0 to 1. Various modes can be considered for updating the recognition frequency, and may be updated from 0 to 64, for example. The update of the recognition frequency will be described in detail later.
  • the recognition frequency is equal to or higher than the first threshold value (in the case of Yes in step S13)
  • the initial display is displayed on the monitor 400
  • the first display is one of the notification displays. If the display of is not yet displayed on the monitor 400 (in the case of No in step S14), the initial display is changed to the first display (step S15).
  • the display control unit 226 is a case where the recognition frequency is equal to or higher than the first threshold value (in the case of Yes in step S13) and the first display is already displayed on the monitor 400 on the monitor 400 (step S13).
  • the recognition frequency is equal to or higher than the second threshold value (in the case of Yes in step S16)
  • the initial display is changed to the second display.
  • the first threshold value and the second threshold value are appropriately set by the user. In this way, the user recognizes the initial display, the first screen, or the second screen by displaying the initial display, the first screen, or the second screen on the monitor 400 by gradually changing the recognition frequency of the specific scene of the specific scene recognition unit 222. You can know the frequency.
  • the recognition frequency is less than the first threshold value (when No in step S13), the recognition frequency is less than the second threshold value (when No in step S16), or the second display is already displayed on the monitor 400. If so (in the case of Yes in step S17), if there is a next medical image, the medical image acquisition unit 220 acquires the next medical image (step S10).
  • FIG. 7 is a flow chart for acquiring the recognition frequency.
  • FIG. 7 describes a case where the recognition frequency is updated according to the number of images in which a specific scene (for example, a pylorus) is recognized in the endoscopic image.
  • n is the number of images recognizing a specific scene
  • N is the frequency update threshold value, which is appropriately set by the user.
  • the medical image acquisition unit 220 receives the medical image (step S21).
  • the specific scene recognition unit 222 recognizes the specific scene in the medical image (Yes in step S22)
  • the number of images n that recognize the specific scene is updated to n + 1 (step S23).
  • the medical image acquisition unit 220 acquires the next medical image.
  • the specific scene recognized by the specific scene recognition unit 222 may be one place or a plurality of places.
  • a frequency threshold value is set for each specific scene, and the recognition frequency is updated for each specific scene.
  • FIG. 8 is a diagram showing an example of notification display on the monitor 400 performed by the display control unit 226.
  • the endoscopic image (medical image) 301 captured in real time is displayed in the main display area of the monitor 400. Further, in the sub display area of the monitor 400, the notification display 303 composed of the reference image is displayed.
  • the notification display 303 is composed of reference images (303A to 303I) of specific scenes 1 to 9.
  • the notification display is switched and displayed on the monitor 400 according to the recognition frequency of the specific scene of the medical image, so that the user can specify the medical image in the medical image processing device (specific scene recognition unit 222). You can know the recognition frequency of the scene. Therefore, this embodiment can reduce the discrepancy between the recognition of the medical image processing device (specific scene recognition unit 222) and the recognition of the user.
  • FIG. 9 is a flow chart of the medical image processing method in this example.
  • the value of m in FIG. 9 indicates a screen number in the notification display.
  • a threshold value is set corresponding to each notification display. Therefore, the th-th display is displayed when the recognition frequency is equal to or higher than the m-th threshold value.
  • step S32 When the specific scene recognition unit 222 cannot recognize the specific scene (No in step S32), when the display is changed to the mth display (step S36), and when there is the next medical image (step). (In the case of Yes in S38), the medical image acquisition unit 220 acquires a medical image.
  • the change is not limited to the first display and the change to the second display, but the change to the third display or higher is performed. As a result, the user can more accurately grasp the recognition frequency of a specific scene in the medical image processing device.
  • n is the number of images recognizing a specific scene
  • N is the frequency update threshold value, which is appropriately set by the user.
  • FIG. 10 is a flow chart of acquisition of the recognition frequency by the frequency acquisition unit 224 of this example.
  • the medical image acquisition unit 220 continuously acquires medical images in chronological order (step S41).
  • the specific scene recognition unit 222 recognizes the specific scene in the medical image (Yes in step S42)
  • the number of images n that recognize the specific scene is updated to n + 1 (step S44).
  • step S45 When the number n of images recognizing the updated specific scene is equal to or greater than the frequency threshold value N (Yes in step S45), the recognition frequency is updated (step S46). After that, the display control step (step S13 to step S18: step S47) described with reference to FIG. 7 is performed. After that, if there is a next medical image (in the case of Yes in step S48), the process proceeds to the next endoscopic image processing.
  • the recognition frequency is updated. Therefore, it is possible to output the recognition result of the specific scene recognition unit 222 by accurately reflecting what the user is observing.
  • IMGB is an initial display
  • IMG1 is a first display that can be switched from the initial display
  • IMG2 is a second display that can be switched from the first display.
  • the color of the border changes according to the recognition frequency.
  • the border 311 is black, in IMG1, the border 313 is white, and in IMG2, the border 315 is red.
  • the user who sees the notification display of this example can grasp the recognition frequency of the specific scene recognition unit 222 from the color of the frame line.
  • the type of border changes according to the recognition frequency.
  • the frame line 321 is a fine dotted line
  • the frame line 323 is a rougher dotted line than the frame line 321
  • the frame line 325 is a solid line.
  • the background color of the reference image changes according to the recognition frequency.
  • the background 331 is white, in IMG1, the background 333 is gray, and in IMG2, the background 335 is black.
  • the user who sees the notification display of this example can grasp the recognition frequency of the specific scene recognition unit 222 from the background color.
  • the periphery 341 of the reference image is white
  • the periphery 343 of the reference image is pink
  • the periphery 345 of the reference image is red.
  • the reference image is not displayed and the plain image 351 is displayed, in the IMG1 the unclear (blurred) reference image 353 is displayed, and in the IMG2 the clear reference image 355 is displayed.
  • the user who sees the notification display of this example can grasp the recognition frequency of the specific scene recognition unit 222 based on the sharpness (blurring degree) of the reference image.
  • FIG. 16 is a diagram showing the first modification 2.
  • the model image 361 includes a portion corresponding to a plurality of specific scenes. Then, when each specific scene is recognized, a band display in which the color is changed according to the recognition frequency is performed as a notification display.
  • the band display 363A which is the first display for the specific scene A
  • the band display 363D which is the first display for the specific scene D
  • the band display 363B which is the second display for the specific scene B
  • the band display 363C which is the second display for the specific scene C
  • the band display 363E which is the second display for the specific scene E
  • the band displays 363A and 363D which are the first displays, are displayed in the same color
  • the band displays 363B, 363C, and 363E which are the second displays, are displayed in the same color. In this way, the user who sees the notification display of this example can grasp the recognition frequency of the specific scene recognition unit 222 from the color of the band display superimposed on the model image.
  • FIG. 17 is a diagram showing a second modification 2.
  • the model image 371 includes parts corresponding to a plurality of specific scenes.
  • the recognition mark 373 is displayed as a notification display at a position corresponding to the recognized specific scene.
  • the recognition marks 373 are displayed with overlap depending on the position of the specific scene, and the color of the overlapped recognition marks changes according to the degree of overlap.
  • the recognition mark 373 is displayed so as to become brighter each time it overlaps. In this way, the user who has seen the notification display of this example can grasp the recognition frequency of the specific scene recognition unit 222 by displaying the recognition mark 373 which is displayed on the model image 371 and whose color changes each time it overlaps.
  • ⁇ Modification example of monitor display> Next, a modified example of the monitor display will be described. In this example, the display is performed on two first monitors and a second monitor.
  • FIG. 18 is a diagram showing a case where display is performed on two monitors (first monitor and second monitor).
  • the medical image 301 acquired in real time is displayed on the first monitor 400A.
  • the notification display 303 described with reference to FIG. 8 is performed. By performing the notification display 303 using the two monitors in this way, it is possible to perform a display with improved visibility.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Abstract

認識器の認識とユーザの認識との乖離を軽減することができる医用画像処理装置、医用画像処理方法及びプログラムを提供する。医用画像処理装置は、プロセッサ（２１０）、メモリ（２０７）、及びモニタ（４００）を備える医用画像処理装置であって、プロセッサ（２０４）は、時系列に複数の医用画像を順次取得し、取得した医用画像に基づいて、医用画像の特定シーンを認識し、認識された特定シーンの認識頻度を取得し、認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示をモニタに表示する。

Description

医用画像処理装置、医用画像処理方法及びプログラム
　本発明は、医用画像処理装置、医用画像処理方法及びプログラムに関する。
　内視鏡装置を使用した診断及び診察は、内視鏡装置で取得した内視鏡画像をモニタに表示させ、医師がモニタに表示された内視鏡画像を観察することにより行われる。
　特許文献１に記載されているように、内視鏡画像を画像処理して病変部を推定し、その病変部にマークを重畳してモニタに表示させることにより、医師の観察を補助する技術が知られている。
特開２０１１－８７７９３号公報
　さらに近年、深層学習により画像内の対象物の高精度な自動認識が可能となっている。内視鏡装置への深層学習の応用例の一つとして、深層学習によって作られた認識器を用いることがある。具体的には、深層学習で作られた認識器で内視鏡画像から特定シーンの認識を自動で行い、認識した特定シーンをユーザ（医師等）に提示することで特定シーンが観察済みであることを報知する。
　しかしながら、認識器が特定シーンを認識することと実際にユーザが観察済みであることとには乖離が発生する場合がある。例えば、認識器は、内視鏡スコープを速く移動させた際に瞬間的に特定シーンが撮影された場合であっても、その特定シーンを認識してしまう場合があり、その場合ユーザには認識済みとして報知が行われる。一方ユーザは、瞬間的に特定シーンを撮影した場合には、その特定シーンの観察を行っていない。このように、認識器が特定シーンを認識することと実際にユーザが観察することとには乖離が発生する場合がある。
　さらに、認識器は観察済みであることをユーザに報知するので、ユーザは、本来その特定シーンは観察していないにもかかわらず、報知表示を見て特定シーンを観察済みと誤認識してしまう恐れがある。
　本発明はこのような事情に鑑みてなされたもので、その目的は、認識器の認識とユーザの認識との乖離を軽減することができる医用画像処理装置、医用画像処理方法及びプログラムを提供することである。
　上記目的を達成するための本発明の一の態様である医用画像処理装置は、プロセッサを備える医用画像処理装置であって、プロセッサは、時系列に複数の医用画像を順次取得し、取得した医用画像に基づいて、医用画像の特定シーンを認識し、認識された特定シーンの認識頻度を取得し、認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示をモニタに表示させる。
　本態様によれば、医用画像の特定シーンの認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示がモニタに表示されるので、ユーザにプロセッサにおける特定シーンの認識頻度を報知することができ、ユーザの特定シーンを観察したとすることとプロセッサの特定シーンの認識との乖離を軽減することができる。
　好ましくは、プロセッサは、認識頻度に応じて、報知表示として異なる色を、モニタに表示させる。
　好ましくは、プロセッサは、認識頻度に応じて、報知表示として異なる線種を、モニタに表示させる。
　好ましくは、プロセッサは、認識頻度に応じて、報知表示として異なるボケ具合を、モニタに表示させる。
　好ましくは、プロセッサは、認識された特定シーンの医用画像の枚数に基づいて、認識頻度を取得する。
　好ましくは、プロセッサは、認識された特定シーンの時系列的に連続する医用画像の枚数に基づいて、認識頻度を取得する。
　好ましくは、プロセッサは、特定シーンの医用画像の特徴量を算出し、特定シーンの特徴量に基づいて医用画像をクラス分類することにより、特定シーンを認識する。
　好ましくは、プロセッサは、特定シーンの医用画像の特徴量を算出し、特徴量と医用画像との類似度に基づいて特定シーンを認識する。
　好ましくは、プロセッサは、認識頻度が第１の閾値以上の場合には、報知表示を初期表示から第１の表示に切り替えて、モニタに表示させる。
　好ましくは、プロセッサは、認識頻度が第１の閾値よりも大きい第２の閾値以上の場合には、報知表示を第１の表示から第２の表示に切り替えて、モニタに表示させる。
　好ましくは、プロセッサは、モニタに、複数の特定シーンの各々を有する複数の参照画像を表示して、第１の表示及び第２の表示を行う。
　好ましくは、プロセッサは、モニタに、複数の特定シーンに対応する部位を含むモデル画像を表示し、モデル画像に認識された特定シーンを対応させて、第１の表示及び第２の表示を行う。
　好ましくは、プロセッサは、特定シーンが認識された位置とモデル画像上の位置とを対応させて、報知表示をモデル画像に重畳させて、モニタに表示させる。
　好ましくは、プロセッサは、特定シーンの認識が未だなされていない場合には、報知表示とは異なる初期表示を、モニタに表示させる。
　本発明の他の態様である医用画像処理方法は、時系列に複数の医用画像を順次取得する医用画像取得ステップと、取得した医用画像に基づいて、医用画像の特定シーンを認識する特定シーン認識ステップと、特定シーン認識ステップにより認識された特定シーンの認識頻度を取得する頻度取得ステップと、認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、を含む。
　本発明の他の態様であるプログラムは、時系列に複数の医用画像を順次取得する医用画像取得ステップと、取得した医用画像に基づいて、医用画像の特定シーンを認識する特定シーン認識ステップと、特定シーン認識ステップにより認識された特定シーンの認識頻度を取得する頻度取得ステップと、認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、を含む医用画像処理方法をコンピュータに実行させる。
　本発明によれば、認識器の認識とユーザの認識との乖離を軽減することができる。
図１は、内視鏡システムの外観図である。 図２は、内視鏡システムの要部構成を示すブロック図である。 図３は、画像処理部における医用画像処理装置における機能ブロック図である。 図４は、ＣＮＮの構成を示す図である。 図５は、中間層の構成例を示す模式図である。 図６は、医用画像処理方法を示すフローチャートである。 図７は、認識頻度の取得のフロー図である。 図８は、報知表示の例を示す図である。 図９は、医用画像処理方法のフロー図である。 図１０は、認識頻度の取得のフロー図である。 図１１は、第１の変形例１の具体例を示す図である。 図１２は、第２の変形例１の具体例を示す図である。 図１３は、第３の変形例１の具体例を示す図である。 図１４は、第４の変形例１の具体例を示す図である。 図１５は、第５の変形例１の具体例を示す図である。 図１６は、第１の変形例２を示す図である。 図１７は、第２の変形例２を示す図である。 図１８は、２つのモニタに表示が行われる場合を示す図である。
　以下、添付図面に従って本発明に係る医用画像処理装置、医用画像処理方法及びプログラムの好ましい実施の形態について説明する。
　＜内視鏡システムの構成＞
　図１は、内視鏡システム１０の外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１、２に示すように、内視鏡システム１０は、内視鏡スコープ１００、内視鏡プロセッサ装置２００、光源装置３００、及びモニタ４００から構成される。なお、内視鏡プロセッサ装置２００は、本発明の医用画像処理装置を搭載する。
　＜内視鏡スコープの構成＞
　内視鏡スコープ１００は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端硬質部１１６で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０、照明部１２３、鉗子口１２６等が設けられる（図１、２参照）。
　観察及び処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
　図１及び図２に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤、緑、青の３色の画素信号からカラー画像を生成することもできるし、赤、緑、青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。また、撮像素子１３４の各画素は紫色光源３１０Ｖに対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。
　被検体の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ装置２００に出力されて映像信号に変換される。これにより、内視鏡プロセッサ装置２００に接続されたモニタ４００に被写体の内視鏡画像（医用画像）が画面表示される。
　また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
　ユーザは、上述した構成の内視鏡スコープ１００を被検体である生体内に挿入または抜去しながら決められたフレームレートで撮影を行うことにより、生体内の時系列の内視鏡画像を順次撮影することができる。
　＜光源装置の構成＞
　図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を変更する（上げる、または下げる）こと、及び照明を停止することができる。
　光源３１０は赤色、緑色、青色、及び紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、及び紫色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。
　＜光源の波長帯域＞
　光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
　上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
　また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
　また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する内視鏡画像を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。
　光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、部位、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、部位、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
　また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（紫色、青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色、紫色等）を照射してロータリカラーフィルタ（緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。
　ライトガイドコネクタ１０８（図１、２参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
　＜内視鏡プロセッサ装置の構成＞
　図２に基づき内視鏡プロセッサ装置２００の構成を説明する。内視鏡プロセッサ装置２００は、内視鏡スコープ１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００に内視鏡画像が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。なおＣＰＵ２１０は、医用画像処理装置のプロセッサとして機能する。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）や病院内ＬＡＮ（Local Area Network）、及び／または外部のシステムやネットワークとの間で医用画像の取得等についての通信制御を行う。
　＜画像処理部の機能＞
　画像処理部２０４は、内視鏡画像の特徴量の算出、特定の周波数帯域の成分を強調または低減する処理、特定の対象（注目領域、所望の深さの血管等）を強調または目立たなくする処理を行うことができる。画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部（不図示）を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって特徴量画像を生成する特徴量画像生成部（不図示）を備え、内視鏡画像としての特徴量画像を取得及び表示してもよい。なお、上述した処理はＣＰＵ２１０の制御下で行われる。
　さらに、画像処理部２０４は医用画像処理装置における各機能を以下に記載するように有する。
　図３は画像処理部２０４における医用画像処理装置における機能ブロック図である。画像処理部２０４は、医用画像取得部２２０、特定シーン認識部２２２、頻度取得部２２４、及び表示制御部２２６を備える。
　＜各種のプロセッサによる機能の実現＞
　上述した画像処理部２０４の各部の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。本発明のように画像の学習や認識を行う場合は、ＧＰＵを用いた構成が効果的である。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、画像処理部２０４を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭ２１１（ＲＯＭ：Read Only Memory）等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る医用画像処理装置の作動方法を実行するためのプログラム及び実行に際して用いられるデータ（医用画像の取得に関するデータ、報知条件及び報知態様の特定に用いられるデータ、認識部で用いられるパラメータ等）を含む。ＲＯＭ２１１ではなく各種の光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ２１２（ＲＡＭ：Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。「非一時的記録媒体」として記録部２０７を用いてもよい。
　また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、各種の画像処理方法をＣＰＵ２１０及び／または画像処理部２０４に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。音声処理部２０９は、ＣＰＵ２１０の制御により、スピーカ２０９Ａから音声及び音を出力する。
　操作部２０８は図示せぬキーボード、マウス等のデバイスにより構成することができ、ユーザは操作部２０８を介して処理の実行指示や実行に必要な条件の指定を行うことができる。
　記録部２０７は、取得された内視鏡画像が記録される。また、医用画像処理装置を制御するためのプログラム及び情報が記録されている。記録部２０７は、医用画像処理装置のメモリとして機能する。
　＜ニューラルネットワークによる特定シーン認識部＞
　上述した画像処理部２０４における特定シーン認識部２２２は、ニューラルネットワーク等の学習済みモデル（生体を撮影した画像から構成される画像セットを用いて学習したモデル）を用いて構成する、特定シーンを認識する認識器で構成される。ここで特定シーンとは、例えば食道、十二指腸、噴門、幽門、胃角部、胃底部、胃体部、前庭部、小わん、大わん等である。以下、ニューラルネットワークとしてＣＮＮ（Convolutional Neural Network）を用いる場合の構成について説明する。
　＜認識部の構成の例＞
　図４はＣＮＮ２３２（ニューラルネットワーク）の構成を示す図である。図４の（ａ）部分に示す例では、ＣＮＮ２３２は、入力層２３２Ａ、中間層２３２Ｂ、及び出力層２３２Ｃを有する。入力層２３２Ａは医用画像取得部２２０が取得した内視鏡画像を入力して特徴量を出力する。中間層２３２Ｂは畳み込み層２３４及びプーリング層２３５を含み、入力層２３２Ａが出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、入力した画像に適用される重み係数が、ノード及びエッジに関連付けられて、図示せぬ重み係数記憶部に記憶されている。重み係数の値は、学習が進むにつれて変化していく。
　＜中間層における処理＞
　中間層２３２Ｂは、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層２３４で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル（１枚）の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされる場合は、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層２３５で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層２３２Ｂは、これらの処理を行う１または複数の層により構成することができる。なお、ＣＮＮ２３２はプーリング層２３５なしで構成されていてもよい。
　ＣＮＮ２３２は、図４の（ｂ）部分に示す例のように全結合層２３６を含んでいてもよい。ＣＮＮ２３２の層構成は、畳み込み層２３４とプーリング層２３５とが１つずつ繰り返される場合に限らず、いずれかの層（例えば、畳み込み層２３４）が複数連続して含まれていてもよい。
　図５は、図４に示したＣＮＮ２３２の中間層２３２Ｂの構成例を示す模式図である。中間層２３２Ｂの最初（１番目）の畳み込み層では、複数の内視鏡画像により構成される画像セットとフィルタＦ１との畳み込み演算が行われる。画像セットは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像により構成される。通常光画像を入力する場合、画像セットを構成する画像はＲ（赤色），Ｇ（緑色），Ｂ（青色）の３チャンネルの画像である。この画像セットと畳み込み演算されるフィルタＦ１は、画像セットがＮチャンネル（Ｎ枚）であるため、例えばサイズ５（５×５）のフィルタの場合、フィルタサイズは５×５×Ｎのフィルタになる。このフィルタＦ１を用いた畳み込み演算により、１つのフィルタＦ１に対して１チャンネル(１枚)の「特徴マップ」が生成される。２番目の畳み込み層で使用されるフィルタＦ２は、例えばサイズ３（３×３）のフィルタの場合、フィルタサイズは３×３×Ｍになる。
　１番目の畳み込み層と同様に、２番目からｎ番目の畳み込み層ではフィルタＦ２～Ｆｎを用いた畳み込み演算が行われる。ｎ番目の畳み込み層における「特徴マップ」のサイズが、２番目の畳み込み層における「特徴マップ」のサイズよりも小さくなっているのは、前段までの畳み込み層またはプーリング層によりダウンスケーリングされているからである。
　中間層２３２Ｂの層のうち、入力側に近い畳み込み層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（認識対象の形状、構造等に関する特徴の抽出）が行われる。
　なお、中間層２３２Ｂは畳み込み層２３４及びプーリング層２３５の他にバッチノーマライゼーションを行う層を含んでいてもよい。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。
　出力層２３２Ｃは、中間層２３２Ｂが算出した特徴量を、特定シーン認識に即した形式で出力する。出力層２３２Ｃは全結合層を含んでいてもよい。
　＜医用画像処理方法の各処理＞
　次に、医用画像処理装置を使用した医用画像処理方法に関して説明する。なお、以下では、内視鏡システム１０で取得された内視鏡画像を医用画像として処理する場合について説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明では、他の内視鏡システム１０で取得された内視鏡画像を、医用画像として医用画像処理装置で処理することもできる。
　図６は、医用画像処理方法を示すフローチャートである。以下に、図６に沿って各ステップを説明する。
　・医用画像取得ステップ
　医用画像取得部２２０は複数の医用画像を時系列に順次取得する（ステップＳ１０）。医用画像取得部２２０は、内視鏡スコープ１００で撮影された体腔の医用画像を取得してもよいし、記録部２０７に記録された体腔の医用画像を取得してもよい。
　・特定シーン認識ステップ
　特定シーン認識部２２２は、取得した医用画像において特定シーンを認識する。特定シーン認識部２２２は、医用画像を受信し、上述したＣＮＮに医用画像を入力し段階的に医用画像から特徴量を抽出する。特定シーン認識部２２２は、最終的にその特徴量を利用して、クラス分類（例えば食道、十二指腸、噴門、幽門、胃角部、胃底部、胃体部、前庭部、小わん、大わん、その他の１１クラス分類）を行うことで特定シーンを認識する。なお、この認識手法の詳しい説明は次の文献に記載されるものである（B. Zhou, A. Lapedriza, J. Xiao, A. Torralba, and A. Oliva. Learning deep features for scene recognition using places database. In Neural Information Processing Systems (NIPS), pages 487-495, 2014. 1, 4, 6, 8））。また、特定シーン認識部２２２は、最終的に抽出された特徴量を予め記録部２０７に保存された特徴量（例えば十二指腸の特徴量）と比較し類似度を算出することで特定シーンを認識することもできる。なお、この認識手法の詳しい説明は次の文献に記載されるものである（FaceNet: A Unified Embedding for Face Recognition and Clustering https://arxiv.org/abs/1503.03832））。
　特定シーン認識部２２２が受信した医用画像で特定シーンを認識できなかった場合には（ステップＳ１１のＮｏの場合）、医用画像取得部２２０は、次の医用画像がある場合には（ステップＳ１９のＹｅｓの場合）、次の医用画像を取得する（ステップＳ１０）。一方、特定シーン認識部２２２が医用画像において特定シーンを認識できた場合には（ステップＳ１１のＹｅｓの場合）、認識頻度の記録を更新する頻度取得ステップ（ステップＳ１２）に移行する。
　・頻度取得ステップ
　頻度取得部２２４は、特定シーン認識部２２２が医用画像において特定シーンを認識すると、認識頻度の記録を更新する（ステップＳ１２）。例えば、特定シーンである十二指腸が特定シーン認識部２２２で認識された場合には、十二指腸の認識頻度を０から１に更新する。認識頻度の更新は、様々な態様が考えられ、例えば０から６４等に更新してもよい。なお、認識頻度の更新に関しては、後で詳しく説明する。
　・表示制御ステップ
　表示制御部２２６は、認識頻度が第１の閾値以上であって（ステップＳ１３のＹｅｓの場合）、初期表示がモニタ４００に表示されており、報知表示の一つである第１の表示が未だモニタ４００に表示されていない場合には（ステップＳ１４のＮｏの場合）、初期表示を第１の表示に変化させる（ステップＳ１５）。
　一方、表示制御部２２６は、認識頻度が第１の閾値以上であって（ステップＳ１３のＹｅｓの場合）、既にモニタ４００に第１の表示がモニタ４００に表示されている場合であって（ステップＳ１４のＹｅｓの場合）、認識頻度が第２の閾値以上である場合には（ステップＳ１６のＹｅｓの場合）、初期表示を第２の表示に変化させる。なお、第１の閾値及び第２の閾値は、ユーザにより適宜設定される。このように、特定シーン認識部２２２の特定シーンの認識頻度に応じて段階的に変化させて、初期表示、第１の画面、又は第２の画面をモニタ４００に表示させることにより、ユーザは認識頻度を知ることができる。
　認識頻度が第１の閾値未満であったり（ステップＳ１３のＮｏの場合）、認識頻度が第２の閾値未満であったり（ステップＳ１６のＮｏの場合）、第２の表示が既にモニタ４００に表示されている場合には（ステップＳ１７のＹｅｓの場合）、次の医用画像がある場合には、医用画像取得部２２０は次の医用画像を取得する（ステップＳ１０）。
　＜頻度取得ステップ＞
　次に、頻度取得部２２４により行われる頻度取得ステップに関して説明する。
　図７は、認識頻度の取得のフロー図である。図７では、内視鏡画像において特定シーン（例えば幽門）を認識した画像数に応じて、認識頻度を更新する場合について説明する。なお、図中のｎは特定シーンを認識した画像数であり、Ｎは頻度更新閾値でありユーザにより適宜設定される。
　初期状態はｎ＝０とする（ステップＳ２０）。医用画像取得部２２０は医用画像を受信する（ステップＳ２１）。特定シーン認識部２２２が医用画像において特定シーンを認識した場合には（ステップＳ２２のＹｅｓ）、特定シーンを認識した画像数ｎはｎ＋１に更新される（ステップＳ２３）。頻度取得部２２４は、更新された画像数ｎが頻度閾値Ｎ以上である場合には（ステップＳ２４のＹｅｓの場合）、認識頻度の更新をする（ステップＳ２５）。例えば、頻度閾値が５の場合（Ｎ＝５）に、特定シーン認識部２２２が５枚の医用画像において幽門が認識された場合には、頻度取得部２２４は幽門部の認識頻度の更新を行う。その後、図６で説明をした表示制御ステップ（ステップＳ１３～１８：ステップＳ２６）に移行する。
　特定シーン認識部２２２が取得した医用画像において特定シーンを認識しなかった場合（ステップＳ２２のＮｏの場合）、更新された画像数ｎが頻度閾値Ｎより小さい場合（ステップＳ２４のＮｏの場合）、図６で説明をした表示制御ステップ（ステップＳ１３～１８）の後には、次の医用画像がある場合には（ステップＳ２７のＹｅｓの場合）医用画像取得部２２０は次の医用画像を取得する。
　なお、特定シーン認識部２２２が認識する特定シーンは１箇所であってもよいし複数箇所であってもよい。特定シーン認識部２２２が認識する特定シーンが複数箇所である場合には、各特定シーン毎に頻度閾値が設定され、各特定シーン毎に認識頻度の更新が行われる。
　＜報知表示＞
　次に、表示制御部２２６で行われるモニタ４００への報知表示に関して説明する。
　図８は、表示制御部２２６で行われるモニタ４００への報知表示の例を示す図である。
　図８に示す場合では、モニタ４００のメインの表示領域にリアルタイムで撮影されている内視鏡画像（医用画像）３０１が表示されている。また、モニタ４００のサブの表示領域では、参照画像で構成される報知表示３０３が表示されている。
　報知表示３０３は、特定シーン１～９の参照画像（３０３Ａ～３０３Ｉ）で構成される。
　未だ特定シーン認識部２２２により認識されていない特定シーン４、８、９（符号３０３Ｄ、３０３Ｈ、３０３Ｉ）では、初期表示であり枠線３０５のみが表示されている。このように、初期表示を報知表示とは異なる表示にすることにより、ユーザは未だ特定シーン認識部２２２で特定シーンの認識が行われていないことを知ることができる。一方、特定シーン１～３、５、６、７（符号３０３Ａ、３０３Ｂ、３０３Ｃ、３０３Ｅ、３０３Ｆ、３０３Ｈ、３０３Ｉ）では、認識頻度が第１の閾値以上であり第１の表示（特定シーンの参照画像３０７）が表示されている。また、特定シーン２では、認識頻度が第２の閾値以上であり第２の表示（枠線３０５の線種が実線から点線に変更）が表示されている。
　以上で説明したように、本実施形態では、医用画像の特定シーンの認識頻度に応じて報知表示を切り替えてモニタ４００に表示させるので、ユーザは医用画像処理装置（特定シーン認識部２２２）における特定シーンの認識頻度を知ることができる。従って、本実施形態は、医用画像処理装置（特定シーン認識部２２２）の認識とユーザの認識との乖離を軽減することができる。
　次に、上述した実施形態の変形例に関して説明する。
　＜医用画像処理方法の各処理の変形例＞
　医用画像処理方法の各処理の変形例に関して説明する。上述した実施形態では、第１の表示と第２の表示とがモニタ４００に表示されることを説明したが、本例では、第３の表示以上に変更して、報知表示をモニタ４００に行う場合について説明する。
　図９は、本例における医用画像処理方法のフロー図である。なお、図９中のｍの値は、報知表示での画面の番号を示す。また各報知表示に対応して閾値が設定されている。従って、第ｍの表示は、認識頻度が第ｍの閾値以上の場合に表示される。
　初期状態はｍ＝１である（ステップＳ３０）。医用画像取得部２２０は複数の医用画像を時系列に順次取得する（ステップＳ３１）。その後、特定シーン認識部２２２は、取得した医用画像において特定シーンが認識できた場合には（ステップＳ３２のＹｅｓの場合）、頻度取得部２２４は認識頻度の記録を更新する（ステップＳ３３）。その後、表示制御部２２６は、認識頻度が第ｍの閾値以上であり（ステップＳ３４のＹｅｓの場合）、第ｍの表示が未だモニタ４００に表示されていない場合には（ステップＳ３５のＮｏの場合）、第ｍの表示に変化させる（ステップＳ３６）。一方、第ｍの表示が既にモニタ４００に表示されている場合には、ｍ＝ｍ＋１とする（ステップＳ３７）。
　特定シーン認識部２２２が特定シーンを認識できなかった場合（ステップＳ３２のＮｏの場合）、第ｍの表示に変化させた場合（ステップＳ３６）の後、次の医用画像がある場合には（ステップＳ３８のＹｅｓの場合）、医用画像取得部２２０は医用画像を取得する。
　以上で説明したように、本例では、第１の表示及び第２の表示への変化に限定されず、第３の表示以上への変更が行われる。これにより、ユーザは、より正確に医用画像処理装置における特定シーンの認識頻度を把握することができる。
　＜認識頻度の更新の変形例＞
　次に、認識頻度の更新の変形例に関して説明する。図７では特定シーンを認識できた医用画像の枚数に基づいて認識頻度の更新を行う例を説明したが、本例では、時系列的に連続する認識画像の枚数に基づいて認識頻度の更新を行う。なお、図中のｎは特定シーンを認識した画像数であり、Ｎは頻度更新閾値でありユーザにより適宜設定される。
　図１０は、本例の頻度取得部２２４での認識頻度の取得のフロー図である。
　初期状態はｎ＝０とする（ステップＳ４０）。医用画像取得部２２０は医用画像を時系列的に連続して取得する（ステップＳ４１）。特定シーン認識部２２２が医用画像において特定シーンを認識した場合には（ステップＳ４２のＹｅｓ）、特定シーンを認識した画像数ｎはｎ＋１に更新される（ステップＳ４４）。一方、特定シーン認識部２２２が特定シーンを認識できない場合には、カウンタをｎ＝０として（ステップＳ４９）次の医用画像がある場合には次の医用画像を取得する。
　更新された特定シーンを認識した画像数ｎが頻度閾値Ｎ以上である場合には（ステップＳ４５のＹｅｓの場合）、認識頻度の更新をする（ステップＳ４６）。その後、図７で説明した表示制御ステップ（ステップＳ１３～ステップＳ１８：ステップＳ４７）が行われる。その後、次の医用画像がある場合には（ステップＳ４８のＹｅｓの場合）次の内視鏡画像の処理に移行する。
　以上で説明したように、本例では、連続して所定の枚数の医用画像において特定シーンを認識できた場合に、認識頻度の更新が行われる。したがって、ユーザが観察していることを精度良く反映させて特定シーン認識部２２２の認識結果を出力することができる。
　＜報知表示の変形例１＞
　次に、報知表示の変形例１に関して説明する。本例では報知表示として、参照画像を使用した場合の様々な変形例を説明する。
　図１１～図１５に沿って、報知表示の第１の変形例１から第５の変形例１の具体例を説明する図である。なお、図中のＩＭＧＢは初期表示であり、ＩＭＧ１は初期表示から切り替えられる第１の表示であり、ＩＭＧ２は第１の表示から切り替えられる第２の表示である。
　図１１で示された第１の変形例１では、枠線の色が認識頻度に応じて変化する。
　例えば、ＩＭＧＢでは枠線３１１は黒色であり、ＩＭＧ１では枠線３１３は白色であり、ＩＭＧ２では枠線３１５は赤色である。このように、本例の報知表示を見たユーザは枠線の色により、特定シーン認識部２２２の認識頻度を把握することができる。
　図１２で示された第２の変形例１では、枠線の種類（線種）が認識頻度に応じて変化する。
　例えば、ＩＭＧＢでは枠線３２１は細かい点線であり、ＩＭＧ１では枠線３２３は枠線３２１より大まかな点線であり、ＩＭＧ２では枠線３２５は実線である。このように、本例の報知表示を見たユーザは枠線の種類により、特定シーン認識部２２２の認識頻度を把握することができる。
　図１３で示された第３の変形例１では、認識頻度に応じて参照画像の背景色が変化する。
　例えば、ＩＭＧＢでは背景３３１は白色であり、ＩＭＧ１では背景３３３は灰色であり、ＩＭＧ２では背景３３５は黒である。このように、本例の報知表示を見たユーザは背景の色により、特定シーン認識部２２２の認識頻度を把握することができる。
　図１４で示された第４の変形例１では、参照画像の周辺の色が変化する。
　例えば、ＩＭＧＢでは参照画像の周辺３４１は白色であり、ＩＭＧ１では参照画像の周辺３４３は桃色であり、ＩＭＧ２では参照画像の周辺３４５は赤色である。このように、本例の報知表示を見たユーザは参照画像の色により、特定シーン認識部２２２の認識頻度を把握することができる。
　図１５で示された第５の変形例１では、参照画像の画像が徐々に鮮明になってくる（ボケ具合が変化する）。
　例えば、ＩＭＧＢでは参照画像は表示されていなく無地画像３５１が表示され、ＩＭＧ１では不鮮明な（ボケ状態の）参照画像３５３が表示され、ＩＭＧ２では鮮明な状態の参照画像３５５が表示されている。このように、本例の報知表示を見たユーザは、参照画像の鮮明具合（ボケ具合）により、特定シーン認識部２２２の認識頻度を把握することができる。
　＜報知表示の変形例２＞
　次に、報知表示の変形例２に関して説明する。本例では、複数の特定シーンに対応する部位を含むモデル画像に報知表示を重畳させる。
　図１６は、第１の変形例２を示す図である。本例では、胃を模したモデル画像３６１に報知表示が行われていることを示す図である。モデル画像３６１は、複数の特定シーンに対応する部位を含む。そして、各特定シーンが認識された場合には、報知表示として、認識頻度に応じて色を変えた帯表示が行われる。図１６に示す場合では、特定シーンＡに対して第１の表示である帯表示３６３Ａ、特定シーンＤに対して第１の表示である帯表示３６３Ｄが行われている。また、特定シーンＢに対して第２の表示である帯表示３６３Ｂ、特定シーンＣに対して第２の表示である帯表示３６３Ｃ、特定シーンＥに対して第２の表示である帯表示３６３Ｅが行われている。なお、第１の表示である帯表示３６３Ａ及び３６３Ｄは同色で表示され、第２の表示である帯表示３６３Ｂ、３６３Ｃ及び３６３Ｅは同色で表示される。このように、本例の報知表示を見たユーザは、モデル画像に重畳された帯表示の色により、特定シーン認識部２２２の認識頻度を把握することができる。
　図１７は、第２の変形例２を示す図である。本例では、胃を模したモデル画像３７１に報知表示が行われることを示す図である。モデル画像３７１は、複数の特定シーンに対応する部位を含む。そして、各特定シーンが所定の閾値以上認識された場合には、認識された特定シーンに対応する位置に報知表示として認識マーク３７３が表示される。認識マーク３７３は、特定シーンの位置によっては重なりをもって表示され、認識マークが重なった箇所は重なる程度に応じて色が変化する。具体例としては、認識マーク３７３は重なる度に段々と明るくなるように表示を行う。このように、本例の報知表示を見たユーザは、モデル画像３７１に表示され、重なる度に色が変わる認識マーク３７３の表示により、特定シーン認識部２２２の認識頻度を把握することができる。
　＜モニタ表示の変形例＞
　次に、モニタ表示の変形例に関して説明する。本例では２つの第１のモニタ及び第２のモニタにおいて表示が行われる。
　図１８は、２つのモニタ（第１のモニタ及び第２のモニタ）に表示が行われる場合を示す図である。
　第１のモニタ４００Ａには、リアルタイムで取得されている医用画像３０１が表示されている。第２のモニタ４００Ｂには、図８で説明を行った報知表示３０３が行われる。このように２つのモニタを使用して、報知表示３０３を行うことにより、視認性が向上した表示を行うことができる。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０　　　　：内視鏡システム
１００　　　：内視鏡スコープ
１０２　　　：手元操作部
１０４　　　：挿入部
１０６　　　：ユニバーサルケーブル
１０８　　　：ライトガイドコネクタ
１１２　　　：軟性部
１１４　　　：湾曲部
１１６　　　：先端硬質部
１１６Ａ　　：先端側端面
１２３　　　：照明部
１２３Ａ　　：照明用レンズ
１２３Ｂ　　：照明用レンズ
１２６　　　：鉗子口
１３０　　　：撮影光学系
１３２　　　：撮影レンズ
１３４　　　：撮像素子
１３６　　　：駆動回路
１４１　　　：送気送水ボタン
１４２　　　：吸引ボタン
１４３　　　：機能ボタン
１４４　　　：撮影ボタン
１７０　　　：ライトガイド
２００　　　：内視鏡プロセッサ装置
２０２　　　：画像入力コントローラ
２０４　　　：画像処理部
２０５　　　：通信制御部
２０６　　　：ビデオ出力部
２０７　　　：記録部
２０８　　　：操作部
２０９　　　：音声処理部
２０９Ａ　　：スピーカ
２１０　　　：ＣＰＵ
２１１　　　：ＲＯＭ
２１２　　　：ＲＡＭ
２２０　　　：医用画像取得部
２２２　　　：特定シーン認識部
２２４　　　：頻度取得部
２２６　　　：表示制御部

Claims (17)

  1. 　プロセッサを備える医用画像処理装置であって、
    　前記プロセッサは、
    　時系列に複数の医用画像を順次取得し、
    　取得した前記医用画像に基づいて、前記医用画像の特定シーンを認識し、
    　前記認識された前記特定シーンの認識頻度を取得し、
    　前記認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示をモニタに表示させる、
    　医用画像処理装置。
  2. 　前記プロセッサは、前記認識頻度に応じて、前記報知表示として異なる色を、前記モニタに表示させる請求項１に記載の医用画像処理装置。
  3. 　前記プロセッサは、前記認識頻度に応じて、前記報知表示として異なる線種を、前記モニタに表示させる請求項１又は２に記載の医用画像処理装置。
  4. 　前記プロセッサは、前記認識頻度に応じて、前記報知表示として異なるボケ具合を、前記モニタに表示させる請求項１から３のいずれか１項に記載の医用画像処理装置。
  5. 　前記プロセッサは、前記認識された前記特定シーンの前記医用画像の枚数に基づいて、前記認識頻度を取得する請求項１から４のいずれか１項に記載の医用画像処理装置。
  6. 　前記プロセッサは、前記認識された前記特定シーンの時系列的に連続する前記医用画像の枚数に基づいて、前記認識頻度を取得する請求項１から４のいずれか１項に記載の医用画像処理装置。
  7. 　前記プロセッサは、前記特定シーンの前記医用画像の特徴量を算出し、前記特定シーンの前記特徴量に基づいて前記医用画像をクラス分類することにより、前記特定シーンを認識する請求項１から６のいずれか１項に記載の医用画像処理装置。
  8. 　前記プロセッサは、前記特定シーンの前記医用画像の特徴量を算出し、前記特徴量と前記医用画像との類似度に基づいて前記特定シーンを認識する請求項１から６のいずれか１項に記載の医用画像処理装置。
  9. 　前記プロセッサは、前記認識頻度が第１の閾値以上の場合には、前記報知表示を初期表示から第１の表示に切り替えて、前記モニタに表示させる請求項１から６のいずれか１項に記載の医用画像処理装置。
  10. 　前記プロセッサは、前記認識頻度が前記第１の閾値よりも大きい第２の閾値以上の場合には、前記報知表示を前記第１の表示から第２の表示に切り替えて、前記モニタに表示させる請求項９に記載の医用画像処理装置。
  11. 　前記プロセッサは、前記モニタに、複数の前記特定シーンの各々を有する複数の参照画像を表示して、前記第１の表示及び前記第２の表示を行う請求項１０に記載の医用画像処理装置。
  12. 　前記プロセッサは、前記モニタに、複数の前記特定シーンに対応する部位を含むモデル画像を表示し、前記モデル画像に認識された前記特定シーンを対応させて、前記第１の表示及び前記第２の表示を行う請求項１０に記載の医用画像処理装置。
  13. 　前記プロセッサは、前記特定シーンが認識された位置と前記モデル画像上の位置とを対応させて、前記報知表示を前記モデル画像に重畳させて、前記モニタに表示させる請求項１２に記載の医用画像処理装置。
  14. 　前記プロセッサは、前記特定シーンの認識が未だなされていない場合には、前記報知表示とは異なる初期表示を、前記モニタに表示させる請求項１から１３のいずれか１項に記載の医用画像処理装置。
  15. 　時系列に複数の医用画像を順次取得する医用画像取得ステップと、
    　取得した前記医用画像に基づいて、前記医用画像の特定シーンを認識する特定シーン認識ステップと、
    　前記特定シーン認識ステップにより認識された前記特定シーンの認識頻度を取得する頻度取得ステップと、
    　前記認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、
    　を含む医用画像処理方法。
  16. 　時系列に複数の医用画像を順次取得する医用画像取得ステップと、
    　取得した前記医用画像に基づいて、前記医用画像の特定シーンを認識する特定シーン認識ステップと、
    　前記特定シーン認識ステップにより認識された前記特定シーンの認識頻度を取得する頻度取得ステップと、
    　前記認識頻度に応じて、２段階以上に変化する認識の程度を示す報知表示をモニタに表示させる表示制御ステップと、
    　を含む医用画像処理方法をコンピュータに実行させるプログラム。
  17. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１６に記載のプログラムが記録された記録媒体。
PCT/JP2020/047179 2019-12-26 2020-12-17 医用画像処理装置、医用画像処理方法及びプログラム Ceased WO2021132023A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021567366A JP7648540B2 (ja) 2019-12-26 2020-12-17 医用画像処理装置、作動方法、プログラム、及び記録媒体
EP20905063.2A EP4082421A4 (en) 2019-12-26 2020-12-17 MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD, AND PROGRAM
CN202080086065.6A CN114845624B (zh) 2019-12-26 2020-12-17 医用图像处理装置、医用图像处理方法及程序
US17/752,403 US12283367B2 (en) 2019-12-26 2022-05-24 Medical image processing apparatus, medical image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019236673 2019-12-26
JP2019-236673 2019-12-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/752,403 Continuation US12283367B2 (en) 2019-12-26 2022-05-24 Medical image processing apparatus, medical image processing method, and program

Publications (1)

Publication Number Publication Date
WO2021132023A1 true WO2021132023A1 (ja) 2021-07-01

Family

ID=76574466

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047179 Ceased WO2021132023A1 (ja) 2019-12-26 2020-12-17 医用画像処理装置、医用画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US12283367B2 (ja)
EP (1) EP4082421A4 (ja)
JP (1) JP7648540B2 (ja)
CN (1) CN114845624B (ja)
WO (1) WO2021132023A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090091A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 画像処理装置及び内視鏡システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021149552A1 (ja) * 2020-01-20 2021-07-29 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム
CN117197867B (zh) * 2023-08-29 2025-10-28 四川大学 一种调节人脸真伪检测算法的检测频率的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007319478A (ja) * 2006-06-01 2007-12-13 Fujifilm Corp 医用画像表示装置及び方法、並びに内視鏡装置
JP2008061704A (ja) * 2006-09-05 2008-03-21 Olympus Medical Systems Corp 画像表示装置
JP2011087793A (ja) 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
JP2012070938A (ja) * 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラム
JP2015112429A (ja) * 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像処理装置
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
JP2019216948A (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4624841B2 (ja) * 2005-04-13 2011-02-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
US8900124B2 (en) 2006-08-03 2014-12-02 Olympus Medical Systems Corp. Image display device
JP5226618B2 (ja) * 2009-06-29 2013-07-03 オリンパス株式会社 画像抽出装置、画像抽出方法および画像抽出プログラム
WO2018138828A1 (ja) * 2017-01-26 2018-08-02 オリンパス株式会社 画像処理装置、動作方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007319478A (ja) * 2006-06-01 2007-12-13 Fujifilm Corp 医用画像表示装置及び方法、並びに内視鏡装置
JP2008061704A (ja) * 2006-09-05 2008-03-21 Olympus Medical Systems Corp 画像表示装置
JP2011087793A (ja) 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
JP2012070938A (ja) * 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラム
JP2015112429A (ja) * 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像処理装置
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
JP2019216948A (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
B. ZHOUA. LAPEDRIZAJ. XIAOA. TORRALBAA. OLIVA: "Learning deep features for scene recognition using places database", NEURAL INFORMATION PROCESSING SYSTEMS (NIPS, 2014, pages 487 - 495
See also references of EP4082421A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090091A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 画像処理装置及び内視鏡システム

Also Published As

Publication number Publication date
CN114845624A (zh) 2022-08-02
US20220285010A1 (en) 2022-09-08
EP4082421A1 (en) 2022-11-02
JPWO2021132023A1 (ja) 2021-07-01
US12283367B2 (en) 2025-04-22
JP7648540B2 (ja) 2025-03-18
EP4082421A4 (en) 2023-02-08
CN114845624B (zh) 2025-09-09

Similar Documents

Publication Publication Date Title
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US11200460B2 (en) Image learning device, image learning method, neural network, and image classification device
US12303097B2 (en) Medical image processing apparatus, endoscope system, and medical image processing method
CN112218570B (zh) 图像处理装置、内窥镜系统及图像处理方法
US12362062B2 (en) Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device
CN115066196B (zh) 医用图像处理装置、内窥镜系统、医用图像处理方法及记录介质
JPWO2020031851A1 (ja) 画像処理方法及び画像処理装置
JP7648540B2 (ja) 医用画像処理装置、作動方法、プログラム、及び記録媒体
JP7530434B2 (ja) 医療画像処理方法及び医療画像処理装置
CN114945315B (zh) 医疗图像处理装置、医疗图像处理装置的动作方法、及内窥镜系统
WO2021029293A1 (ja) 医用画像処理装置、内視鏡システム、及び医用画像処理方法
WO2021153471A1 (ja) 医療画像処理装置、医療画像処理方法、及びプログラム
WO2024166306A1 (ja) 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20905063

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021567366

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020905063

Country of ref document: EP

Effective date: 20220726

WWG Wipo information: grant in national office

Ref document number: 202080086065.6

Country of ref document: CN