WO2015156142A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2015156142A1
WO2015156142A1 PCT/JP2015/059360 JP2015059360W WO2015156142A1 WO 2015156142 A1 WO2015156142 A1 WO 2015156142A1 JP 2015059360 W JP2015059360 W JP 2015059360W WO 2015156142 A1 WO2015156142 A1 WO 2015156142A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
value
signal
pixel signal
imaging period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/059360
Other languages
English (en)
French (fr)
Inventor
文香 横内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to KR1020167015786A priority Critical patent/KR101809476B1/ko
Priority to EP15776531.4A priority patent/EP3131286B1/en
Priority to US15/037,808 priority patent/US9842383B2/en
Priority to CA2931074A priority patent/CA2931074C/en
Priority to AU2015244984A priority patent/AU2015244984B2/en
Priority to CN201580003142.6A priority patent/CN105830433B/zh
Publication of WO2015156142A1 publication Critical patent/WO2015156142A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Definitions

  • the present invention relates to an image processing apparatus that generates an image by processing a signal output from an image sensor.
  • Patent Document 1 Japanese Patent Laid-Open No. 2000-209507
  • the image processing apparatus described in Patent Document 1 includes a cyclic noise reduction circuit.
  • the cyclic noise reduction circuit described in Patent Document 1 takes a difference between a current video signal output from an image sensor and a video signal one frame before or one field before by a subtractor, and converts the difference to a difference value by a multiplier.
  • the noise component is reduced from the video signal, and the feedback coefficient is controlled in units of one pixel according to the difference value from the subtractor. .
  • the difference value from the subtractor increases, the feedback coefficient is reduced to reduce the afterimage, and as the difference value is decreased, the feedback coefficient is increased to reduce noise.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an image processing apparatus suitable for reducing noise in an image while suppressing an afterimage of a moving subject. is there.
  • the image processing apparatus includes a pixel signal of the current imaging period output from the imaging element and 1 for each pixel in the effective pixel area of the imaging element that periodically images a subject in a predetermined imaging period.
  • a difference value calculating means for calculating a difference value from the pixel signal of the previous imaging period, a first motion detecting means for detecting the motion of the subject within the entire effective pixel area, and each pixel in the effective pixel area.
  • a pixel-of-interest setting unit that sequentially sets the pixel of interest, a second motion detection unit that detects a movement of the subject within a local pixel region including the pixel of interest that is sequentially set, and a first motion detection for each pixel of interest
  • a mixture ratio determining means for determining a mixture ratio between a pixel signal in the current imaging period and a pixel signal in the previous imaging period based on the detection result by the means and the detection result by the second motion detection means; For, on the basis of the mixing ratio determined by the mixing ratio determination unit and a pixel signal correction means for correcting the pixel signal of the current imaging period.
  • the image processing apparatus provides the pixel signal of the current imaging period output from the imaging device for each pixel in the effective pixel area of the imaging device that periodically images the subject in a predetermined imaging period.
  • Difference value calculating means for calculating a difference value between the pixel signal and the pixel signal of the previous imaging period, and counting the number of pixels in which the difference value satisfies the first condition in the effective pixel region.
  • a second count unit that counts values that satisfy the second condition and sets the number of counted pixels as a second count value; and for each target pixel, a second count in the pixel group to which the target pixel belongs.
  • a mixing ratio determining unit that determines a mixing ratio between the pixel signal of the current imaging period and the pixel signal of the previous imaging period based on the current value and the first count value; Pixel signal correcting means for correcting the pixel signal of the current imaging period based on the determined mixture ratio.
  • the mixing ratio determining unit may convert the first count value to the first value and convert the second count value to the second value. In this case, the mixture ratio determining unit determines the mixture ratio between the pixel signal in the current imaging period and the pixel signal in the previous imaging period based on the difference value between the first value and the second value.
  • the numerical range of the first value and the numerical range of the second value may be the same.
  • the first condition is, for example, that the difference value calculated by the difference value calculating means is larger than the first threshold value.
  • the second condition is, for example, that the difference value is smaller than the second threshold value.
  • the first count value is converted to the maximum value within the numerical range when the value is equal to or less than a certain value, and the first count value is converted to a value that is smaller than the maximum value as the value is larger than the certain value. Further, the second count value is converted into a value as it is.
  • the mixing ratio determining means determines the mixing ratio based on the first value and the second value when the difference value between the first value and the second value is greater than or equal to the third threshold value. When the difference value between the value and the second value is less than the third threshold value, the mixing ratio is determined based on the first value or the second value.
  • the imaging period by the imaging element is, for example, one field period or one frame period.
  • an image processing apparatus suitable for reducing noise in an image while suppressing an afterimage of a moving subject is provided.
  • FIG. 5 is a diagram conceptually showing motion detection in the entire field (FIG. 5A) and a diagram conceptually showing motion detection in a local region (FIG. 5B).
  • FIG. 6A shows a conversion function between the first count value and the first value m1 (FIG. 6A), and FIG. 6B shows a conversion function between the second count value and the second value m2. is there.
  • FIG. 1 is an external view of the electronic endoscope system 1 of the present embodiment.
  • the electronic endoscope system 1 of the present embodiment includes an electronic scope 100 and a processor 200.
  • the processor 200 is an apparatus that integrally includes a signal processing device that processes a signal from the electronic scope 100 and a light source device that irradiates a body cavity that does not reach natural light through the electronic scope 100.
  • the signal processing device and the light source device may be configured separately.
  • the electronic scope 100 includes an insertion portion flexible tube 11 covered with a flexible sheath.
  • the distal end portion (bent portion 14) of the insertion portion flexible tube 11 bends in response to a remote operation from the hand operation portion 13 connected to the proximal end of the insertion portion flexible tube 11.
  • the bending mechanism is a well-known mechanism incorporated in a general endoscope, and the bending portion 14 is bent by pulling the operation wire in conjunction with the rotation operation of the bending operation knob of the hand operation portion 13.
  • the proximal end of the distal end portion 12 covered with a hard resin housing is connected to the distal end of the bent portion 14.
  • the processor 200 is provided with a connector portion 20 having a connection structure corresponding to the connector portion 10 provided at the base end of the electronic scope 100.
  • the connector unit 20 is mechanically connected to the connector unit 10 to electrically and optically connect the electronic scope 100 and the processor 200.
  • FIG. 2 is a block diagram showing a configuration of the electronic endoscope system 1 of the present embodiment. As shown in FIG. 2, a monitor 300 is connected to a processor 200 in the electronic endoscope system 1.
  • the processor 200 includes a system controller 202 and a timing controller 204.
  • the system controller 202 performs overall control of the entire electronic endoscope system 1 by executing various programs stored in the memory 222. Further, the system controller 202 changes various settings of the electronic endoscope system 1 in accordance with instructions from the user (surgeon or assistant) input to the operation panel 218.
  • the operation panel 218 has various configurations. As a specific configuration of the operation panel 218, for example, a hardware key for each function mounted on the front surface of the processor 200, a touch panel GUI (Graphical User Interface), a combination of a hardware key and a GUI, or the like can be considered.
  • the timing controller 204 outputs a clock pulse for adjusting the operation timing of each unit to each circuit in the electronic endoscope system 1.
  • the lamp 208 emits light (or light including at least the visible light region) having a spectrum that mainly extends from the visible light region to the invisible infrared light region after being started by the lamp power igniter 206.
  • a high-intensity lamp such as a xenon lamp, a halogen lamp, or a metal halide lamp is suitable for the lamp 208. Irradiation light emitted from the lamp 208 is limited to an appropriate amount of light through the diaphragm 212 while being collected by the condenser lens 210.
  • the motor 214 is mechanically connected to the diaphragm 212 via a transmission mechanism such as an arm or gear not shown.
  • the motor 214 is a DC motor, for example, and is driven under the drive control of the driver 216.
  • the aperture 212 is operated by the motor 214 to change the opening degree so that the image displayed on the display screen of the monitor 300 has an appropriate brightness.
  • the amount of light emitted from the lamp 208 is limited according to the opening degree of the diaphragm 212.
  • the appropriate reference for the brightness of the image is changed according to the brightness adjustment operation of the operation panel 218 by the operator.
  • the dimming circuit that controls the brightness by controlling the driver 216 is a well-known circuit and is omitted in this specification.
  • the irradiation light that has passed through the diaphragm 212 is incident on an incident end of an LCB (Light Carrying Bundle) 102.
  • Irradiation light incident on the LCB 102 from the incident end propagates by repeating total reflection in the LCB 102.
  • Irradiation light propagating through the LCB 102 is emitted from the exit end of the LCB 102 disposed in the distal end portion 12 of the electronic scope 100, and irradiates the subject via the light distribution lens 104.
  • the solid-state image sensor 108 is an interlaced single-plate color CCD (Charge-Coupled Device) image sensor having a complementary color checkered pixel arrangement.
  • the solid-state image sensor 108 accumulates an optical image formed by each pixel on the light receiving surface as a charge corresponding to the amount of light, and generates each of complementary colors signals of yellow Ye, cyan Cy, green G, and magenta Mg.
  • the complementary color signals of two pixels adjacent in the vertical direction are added, mixed, and sequentially output.
  • the solid-state image sensor 108 is not limited to a CCD image sensor, and may be a CMOS (Complementary Metal Oxide Semiconductor) image sensor or other types of imaging devices.
  • the solid-state image sensor 108 may also be one equipped with a primary color filter (Bayer array filter).
  • the imaging signal output from the solid-state imaging device 108 is input to the signal processing circuit 220 via the driver signal processing circuit 112 after signal amplification by the preamplifier 110.
  • the electronic scope 100 includes a driver signal processing circuit 112 and a memory 114.
  • the driver signal processing circuit 112 accesses the memory 114 and reads unique information of the electronic scope 100.
  • Specific information of the electronic scope 100 recorded in the memory 114 includes, for example, the number of pixels and sensitivity of the solid-state imaging device 108, an operable field rate (frame rate), a model number, and the like.
  • the driver signal processing circuit 112 outputs the unique information read from the memory 114 to the system controller 202.
  • the system controller 202 performs various calculations based on the unique information of the electronic scope 100 and generates a control signal.
  • the system controller 202 uses the generated control signal to control the operation and timing of various circuits in the processor 200 so that processing suitable for the electronic scope connected to the processor 200 is performed.
  • the timing controller 204 supplies clock pulses to the driver signal processing circuit 112 and the signal processing circuit 220 according to the timing control by the system controller 202.
  • the driver signal processing circuit 112 drives and controls the solid-state imaging device 108 at a timing synchronized with the field rate (frame rate) of the video processed on the processor 200 side in accordance with the clock pulse supplied from the timing controller 204.
  • the signal processing circuit 220 includes a front-stage signal processing circuit 220A, a noise reduction circuit 220B, and a rear-stage signal processing circuit 220C.
  • the pre-stage signal processing circuit 220A performs predetermined signal processing such as color complementation and Y / C separation on the image pickup signal input from the driver signal processing circuit 112 to obtain pixel signals (luminance signal Y, color difference signals U and V). And the generated pixel signal is output to the noise reduction circuit 220B.
  • FIG. 3 is a block diagram showing the configuration of the noise reduction circuit 220B.
  • the noise reduction circuit 220B includes a first field memory 220Ba, a feedback coefficient calculation unit 220Bb, multiplication circuits 220Bc1 to 220Bc3, a second field memory 220Bd, multiplication circuits 220Be1 to 220Be3, and addition circuits 220Bf1 to 220Bf3. I have.
  • the pixel signal (luminance signal Y) is input to the first field memory 220Ba from the previous stage signal processing circuit 220A.
  • pixel signals for at least one field are buffered.
  • the feedback coefficient calculation unit 220Bb sequentially receives the pixel signal (luminance signal Y) of the current field from the previous stage signal processing circuit 220A, and at the same time, the pixel of the previous field corresponding to the pixel signal from the first field memory 220Ba.
  • a signal (luminance signal Y) is sequentially input.
  • pixel signals of pixels of the same line and the same address are referred to as “corresponding pixel signals”.
  • the pixel signal one field before corresponding to the pixel signal output first in the horizontal second line of the odd field is the pixel signal output first in the horizontal second line of the previous even field.
  • FIG. 4 is a flowchart showing the operation of the feedback coefficient calculation unit 220Bb.
  • FIG. 5A is a diagram conceptually illustrating motion detection in the entire field.
  • this processing step S12 the following processing is performed in order to detect motion in the entire field as shown in FIG.
  • this processing step S12 the pixels in the effective pixel area that have the luminance difference value calculated in the processing step S11 larger than the first threshold are counted. That is, in this processing step S12, since motion detection is performed for the entire field, pixels having a luminance difference value larger than the first threshold are counted for the two consecutive fields over the entire field.
  • first count value the number of pixels counted in this processing step S12 is referred to as “first count value”.
  • FIG. 6A is a graph showing the conversion function between the first count value and the first value m1.
  • the vertical axis represents the first value m1
  • the horizontal axis represents the first count value.
  • the first value m1 takes a value of “0 to 9”.
  • the first count value is converted to a constant value (here, “9”) when the value is equal to or less than a certain value C, and is converted to a smaller value as the value is larger than the certain value C. More specifically, when the first count value is larger than the constant value C, the first count value is converted to a smaller value with respect to “9”, and when the first count value becomes the maximum value (that is, the luminance difference value is increased in all pixels in the effective pixel region) When it is larger than the first threshold value), it is converted to “0”.
  • a constant value here, “9”
  • the first value m1 tends to be a small value when there are many moving areas of the subject in the entire field (there are many pixels whose luminance difference value is larger than the first threshold value), and the subject is within the entire field. Takes a large value when there are few moving regions (the number of pixels having a luminance difference value larger than the first threshold value is small). More simply, when the entire field is the detection range, the first value m1 takes a small value if the subject is moving, and takes a large value if the subject is not moving.
  • a pixel group including the target pixel set in processing step S14 and its peripheral pixels is set.
  • the peripheral pixels are a total of eight pixels located adjacent to each direction of the target pixel in the vertical and horizontal directions, diagonally upward to the right, diagonally downward to the right, diagonally upward to the left, and diagonally to the left. Point to. That is, the pixel group is composed of nine pixels arranged in a 3 ⁇ 3 matrix.
  • FIG. 5B is a diagram conceptually illustrating motion detection in a local region (region composed of 3 ⁇ 3 pixels corresponding to a pixel group).
  • this processing step S16 the following processing is performed in order to perform motion detection in the local region as shown in FIG.
  • this processing step S16 a pixel group (one target pixel + 8 neighboring pixels) whose luminance difference value calculated in the processing step S11 is smaller than the second threshold is counted. That is, in this processing step S16, in order to perform motion detection in the local region, pixels having a luminance difference value smaller than the second threshold value for the two consecutive fields with the pixel group set in the processing step S15 as a range. Is counted.
  • the number of pixels counted in this processing step S16 is referred to as a “second count value”.
  • FIG. 6B is a graph showing the conversion function between the second count value and the second value m2.
  • the vertical axis represents the second value m2
  • the horizontal axis represents the second count value.
  • the second value m2 takes a value of “0 to 9”.
  • the second count value is converted into the number of pixels (values “0 to 9”) whose luminance difference value is smaller than the second threshold value. That is, the second value m1 is the same value as the second count value.
  • the second value m2 takes a small value when there are many moving areas of the subject in the local area (there are many pixels whose luminance difference value is larger than the second threshold), and there are few moving areas of the subject within the local area. When the luminance difference value is smaller than the second threshold, there is a large value. More succinctly, when the local area is set as the detection range, the second value m2 takes a small value if the subject is moving, and takes a large value if the subject is not moving.
  • This processing step S19 is performed when the difference value calculated in the processing step S18 is greater than or equal to the third threshold (S18: YES).
  • the difference value calculated in the processing step S18 is typically greater than or equal to the third threshold in case 1 and case 2 below.
  • Case 1 is a case where there are many regions where the subject moves in the entire field and there are few regions where the subject moves within the local region.
  • the moving part of the subject is widely distributed in the field.
  • the subject since the subject does not move so much when looking at the local area, it is detected that the subject is moving in the entire field. It is detected that the subject is not moving in the local region.
  • Case 2 is a case where there are few areas where the subject moves in the entire field and there are many areas where the subject moves within the local area. In Case 2, for example, the subject does not move much when looking at the entire field, but the subject moves when looking at the local area, so it is detected that the subject is moving in the local area, It is detected that the subject is not moving.
  • the difference value calculated in the processing step S18 is equal to or larger than the third threshold value, the result of the motion detection of the subject differs depending on whether it is viewed in the entire field or in the local area. For this reason, regarding the pixel signal of the target pixel belonging to the local region (pixel group), it is desirable to consider both the situation when the motion of the subject is observed in the entire field and the motion of the subject in the local region. Therefore, in this processing step S19, the feedback coefficient K applied to the pixel signal of the target pixel belonging to the local region (pixel group) is calculated by the following equation.
  • This processing step S20 is performed when the difference value calculated in the processing step S18 is less than the third threshold (S18: NO).
  • the difference value calculated in the processing step S18 is typically less than the third threshold in the case 3 and case 4 below.
  • Case 3 is a case where there are few moving areas of the subject in the entire field and there are few moving areas of the subject even in the local area. In Case 3, for example, since the subject does not move so much not only in the entire field but also in a local region, it is detected that the subject does not move in any detection range.
  • Case 4 is a case where there are many regions where the subject moves in the entire field, and there are many regions where the subject moves even within the local region. In Case 4, for example, moving subjects are widely distributed in the field, and the subject is moving even if a local region is seen. Therefore, it is detected that the subject is moving in any detection range.
  • the difference value calculated in the processing step S18 is less than the third threshold value, the result of subject motion detection is the same when viewed in the entire field and when viewed in the local region. .
  • the pixel signal of the pixel of interest belonging to the local region (pixel group) it is only necessary to consider one of the situation when the subject motion is observed in the entire field and the subject motion is viewed in the local region. Therefore, in this processing step S20, the feedback coefficient K applied to the pixel signal of the target pixel belonging to the local region (pixel group) is calculated by the following equation.
  • the feedback coefficient K calculated by the feedback coefficient calculation unit 220Bb is input to the multiplication circuits 220Bc1 to 220Bc3 and the multiplication circuits 220Be1 to 220Be3.
  • Each of the multiplication circuits 220Bc1 to 220Bc3 receives the current field pixel signal nfs (luminance signal Y), the current field pixel signal nfs (color difference signal U), and the current field pixel signal nfs (color difference signal V) from the previous stage signal processing circuit 220A. Is done.
  • the current field pixel signal nfs (luminance signal Y), the current field pixel signal nfs (color difference signal U), and the current field pixel signal nfs (color difference signal V) input to the multiplication circuits 220Bc1 to 220Bc3 are respectively (1-feedback coefficient K). ).
  • the multiplication values obtained by the multiplication circuits 220Bc1 to 220Bc3 are represented as “multiplication value (luminance signal Y) [nfs ⁇ (1-K)]” and “multiplication value (color difference signal U) [nfs ⁇ (1 ⁇ K)] ”,“ multiplication value (color difference signal V) [nfs ⁇ (1 ⁇ K)] ”.
  • Multiplication value (luminance signal Y) [nfs ⁇ (1-K)]
  • multiplication value (color difference signal U) [nfs ⁇ (1-K)]
  • multiplication value (color difference signal V) [nfs ⁇ (1-K)]
  • the corrected image signals (luminance signal Y and color difference signals U and V) output from the addition circuits 220Bf1 to 220Bf3 are input to the second field memory 220Bd.
  • the corrected image signal is an image signal after noise reduction, which will be described in detail later.
  • pixel signals for at least one field are buffered.
  • the multiplication circuits 220Be1 to 220Be3 respectively receive the previous field pixel signal pfs (corrected luminance signal Y), the previous field pixel signal pfs (corrected color difference signal U), and the previous field pixel signal pfs (from the second field memory 220Bd.
  • the corrected color difference signal V) is input.
  • Previous field pixel signal pfs corrected luminance signal Y
  • previous field pixel signal pfs corrected color difference signal U
  • previous field pixel signal pfs corrected color difference signal V
  • the multiplication values obtained by the multiplication circuits 220Be1 to 220Be3 are represented by “multiplication value (luminance signal Y) [pfs ⁇ K]”, “multiplication value (color difference signal U) [pfs ⁇ K]”, and “multiplication value”, respectively.
  • the multiplication value (luminance signal Y) [pfs ⁇ K], the multiplication value (color difference signal U) [pfs ⁇ K], and the multiplication value (color difference signal V) [pfs ⁇ K] are input to the addition circuits 220Bf1 to 220Bf3, respectively. .
  • the addition circuit 220Bf1 has a multiplication value (luminance signal Y) [nfs ⁇ (1-K)] input from the multiplication circuit 220Bc1 and a multiplication value (luminance signal Y) [pfs ⁇ K] input from the multiplication circuit 220Be1.
  • the adder circuit 220Bf2 has a multiplication value (color difference signal U) [nfs ⁇ (1-K)] input from the multiplication circuit 220Bc2 and a multiplication value (color difference signal U) [pfs ⁇ K] input from the multiplication circuit 220Be2.
  • RGB luminance signal
  • the adder circuit 220Bf3 has a multiplication value (color difference signal V) [nfs ⁇ (1-K)] input from the multiplication circuit 220Bc3 and a multiplication value (color difference signal V) [pfs ⁇ K] input from the multiplication circuit 220Be3. Are output to the post-stage signal processing circuit 220C.
  • the addition circuits Bf1 to Bf3 correct the current field pixel signal nfs by mixing the current field pixel signal nfs and the previous field pixel signal pfs according to the following equation.
  • the mixing ratio between the current field pixel signal nfs and the previous field pixel signal pfs is determined according to the feedback coefficient K.
  • the feedback coefficient K decreases as the subject moves, and increases as the subject does not move. Since the ratio of the current field pixel signal nfs becomes higher as the feedback coefficient K is closer to 0, the afterimage is suppressed instead of reducing the noise reduction effect in the pixel. Further, since the ratio of the previous field pixel signal pfs becomes higher as the feedback coefficient K is closer to 1, the noise reduction effect in the pixel becomes higher.
  • the post-stage signal processing circuit 220C converts the corrected current field pixel signal nfs ′ (luminance signal Y, chrominance signals U, V) input from the addition circuits 220Bf1 to 220Bf3 into NTSC (National Television System Committee) or PAL (Phase Alternating Line). ) And the like, and the converted video signal is output to the monitor 300. By sequentially inputting video signals to the monitor 300, a color image of the subject is displayed on the display screen of the monitor 300.
  • NTSC National Television System Committee
  • PAL Phase Alternating Line
  • Embodiments of the present invention are not limited to those described above, and various modifications are possible within the scope of the technical idea of the present invention.
  • the embodiment of the present application also includes an embodiment that is exemplarily specified in the specification or a combination of obvious embodiments and the like as appropriate.
  • the imaging period of the solid-state imaging device 108 is a field period, but in another embodiment, it may be a frame period.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　画像処理装置を、被写体を所定の撮像期間で周期的に撮像する撮像素子の有効画素領域内の各画素について、撮像素子より出力される現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との差分値を計算する手段と、有効画素領域全てを範囲として被写体の動きを検出する手段と、有効画素領域内の各画素を注目画素として順次設定する手段と、順次設定される注目画素を含む局所画素領域を範囲として被写体の動きを検出する手段と、各注目画素について、両方の検出結果に基づき、現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する手段と、各注目画素について、決定された混合比に基づいて現在の撮像期間の画素信号を補正する手段と、から構成する。

Description

画像処理装置
　本発明は、撮像素子より出力される信号を処理して画像を生成する画像処理装置に関する。
　撮像素子により出力される信号を処理して画像を生成する画像処理装置が知られている。画像処理装置の一例として、動きのある被写体の残像を抑えつつ画像内のノイズを低減するものが知られている。例えば特開２０００－２０９５０７号公報（以下、「特許文献１」と記す。）に、この種の画像処理装置の具体的構成が記載されている。
　特許文献１に記載の画像処理装置は、巡回型ノイズリダクション回路を備えている。特許文献１に記載の巡回型ノイズリダクション回路は、撮像素子より出力される現在の映像信号と１フレーム前又は１フィールド前の映像信号との差分を減算器でとり、乗算器にて差分値に帰還係数を乗じたものを加算器で現在の映像信号に加算することにより、映像信号からノイズ成分を低減するものであり、減算器からの差分値に応じて一画素単位で帰還係数を制御する。減算器からの差分値が大きいほど帰還係数が小さくされることで残像の低減が図られ、差分値が小さいほど帰還係数が大きくされることでノイズの低減が図られる。
　しかし、特許文献１に記載の構成では、被写体の動き成分とランダムノイズとの分離が充分にできないため、動きのある被写体の残像を充分に抑えることができない。
　本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、動きのある被写体の残像を抑えつつ画像内のノイズを低減するのに好適な画像処理装置を提供することである。
　本発明の実施形態の画像処理装置は、被写体を所定の撮像期間で周期的に撮像する撮像素子の有効画素領域内の各画素について、撮像素子より出力される現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との差分値を計算する差分値計算手段と、有効画素領域全てを範囲として被写体の動きを検出する第１の動き検出手段と、有効画素領域内の各画素を注目画素として順次設定する注目画素設定手段と、順次設定される注目画素を含む局所画素領域を範囲として被写体の動きを検出する第２の動き検出手段と、各注目画素について、第１の動き検出手段による検出結果及び第２の動き検出手段による検出結果に基づき、現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する混合比決定手段と、各注目画素について、混合比決定手段により決定された混合比に基づいて現在の撮像期間の画素信号を補正する画素信号補正手段とを備える。
　また、本発明の実施形態の画像処理装置は、被写体を所定の撮像期間で周期的に撮像する撮像素子の有効画素領域内の各画素について、撮像素子より出力される現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との差分値を計算する差分値計算手段と、有効画素領域内において差分値が第１の条件を満たす画素をカウントし、カウントされた画素の数を第１カウント値とする第１のカウント手段と、有効画素領域内の各画素を注目画素として順次設定する注目画素設定手段と、順次設定される注目画素及びその周辺画素よりなる画素群の中で差分値が第２の条件を満たすものをカウントし、カウントされた画素の数を第２カウント値とする第２のカウント手段と、各注目画素について、当該注目画素が属する画素群における第２カウント値と第１カウント値に基づいて現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する混合比決定手段と、各注目画素について、混合比決定手段により決定された混合比に基づいて現在の撮像期間の画素信号を補正する画素信号補正手段とを備える。
　混合比決定手段は、第１カウント値を第１の値に変換し、第２カウント値を第２の値に変換する構成としてもよい。この場合、混合比決定手段は、第１の値と第２の値との差分値に基づいて現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する。
　また、第１の値の数値範囲と第２の値の数値範囲は同一であってもよい。
　また、第１の条件は、例えば、差分値計算手段により計算された差分値が第１の閾値よりも大きいことである。また、第２の条件は、例えば、上記差分値が第２の閾値よりも小さいことである。この場合において、第１カウント値は、一定値以下のときには上記数値範囲内の最大値に変換され、一定値より大きいほど最大値に対して小さい値に変換される。また、第２カウント値は、第２カウント値そのままの値に変換される。そして、混合比決定手段は、第１の値と第２の値との差分値が第３の閾値以上のときには第１の値及び第２の値に基づいて混合比を決定し、第１の値と第２の値との差分値が第３の閾値未満のときには第１の値又は第２の値に基づいて混合比を決定する。
　撮像素子による撮像期間は、例えば、１フィールド期間又は１フレーム期間である。
　本発明の実施形態によれば、動きのある被写体の残像を抑えつつ画像内のノイズを低減するのに好適な画像処理装置が提供される。
本発明の実施形態の電子内視鏡システムの外観図である。 本発明の実施形態の電子内視鏡システムのブロック図である。 本発明の実施形態のプロセッサに備えられるノイズリダクション回路の構成を示すブロック図である。 本発明の実施形態のノイズリダクション回路に備えられる帰還係数算出部の動作を示すフローチャートである。 フィールド全体での動き検出を概念的に示す図（図５（ａ））及び局所領域での動き検出を概念的に示す図（図５（ｂ））である。 第１カウント値と第１の値ｍ１との変換関数を示すグラフ（図６（ａ））及び第２カウント値と第２の値ｍ２との変換関数を示すグラフ（図６（ｂ））である。
　以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
　図１は、本実施形態の電子内視鏡システム１の外観図である。図１に示されるように、本実施形態の電子内視鏡システム１は、電子スコープ１００及びプロセッサ２００を備えている。プロセッサ２００は、電子スコープ１００からの信号を処理する信号処理装置と、自然光の届かない体腔内を電子スコープ１００を介して照射する光源装置とを一体に備えた装置である。別の実施形態では、信号処理装置と光源装置とを別体で構成してもよい。
　図１に示されるように、電子スコープ１００は、可撓性を有するシースによって外装された挿入部可撓管１１を備えている。挿入部可撓管１１の先端部分（屈曲部１４）は、挿入部可撓管１１の基端に連結された手元操作部１３からの遠隔操作に応じて屈曲する。屈曲機構は、一般的な内視鏡に組み込まれている周知の機構であり、手元操作部１３の湾曲操作ノブの回転操作に連動した操作ワイヤの牽引によって屈曲部１４を屈曲させる。屈曲部１４の先端には、硬質性を有する樹脂製筐体によって外装された先端部１２の基端が連結している。先端部１２の方向が湾曲操作ノブの回転操作による屈曲動作に応じて変わることにより、電子スコープ１００による撮影領域が移動する。
　プロセッサ２００には、電子スコープ１００の基端に設けられたコネクタ部１０に対応する連結構造を持つコネクタ部２０が設けられている。コネクタ部２０は、コネクタ部１０と機械的に接続されることにより、電子スコープ１００とプロセッサ２００とを電気的にかつ光学的に接続する。
　図２は、本実施形態の電子内視鏡システム１の構成を示すブロック図である。図２に示されるように、電子内視鏡システム１には、モニタ３００がプロセッサ２００に接続されている。
　図２に示されるように、プロセッサ２００は、システムコントローラ２０２、タイミングコントローラ２０４を有している。システムコントローラ２０２は、メモリ２２２に記憶された各種プログラムを実行することにより、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２１８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。なお、操作パネル２１８の構成には種々の形態がある。操作パネル２１８の具体的構成としては、例えば、プロセッサ２００のフロント面に実装された機能毎のハードウェアキーやタッチパネル式ＧＵＩ（Graphical User Interface）、ハードウェアキーとＧＵＩとの組合せ等が考えられる。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。
　ランプ２０８は、ランプ電源イグナイタ２０６による始動後、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（又は少なくとも可視光領域を含む光）を射出する。ランプ２０８には、キセノンランプ、ハロゲンランプ、メタルハライドランプ等の高輝度ランプが適している。ランプ２０８より射出された照射光は、集光レンズ２１０によって集光されつつ絞り２１２を介して適正な光量に制限される。
　絞り２１２には、図示省略されたアームやギヤ等の伝達機構を介してモータ２１４が機械的に連結している。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、モニタ３００の表示画面に表示される映像を適正な明るさにするため、モータ２１４により動作され開度が変えられる。ランプ２０８より照射された光の光量は、絞り２１２の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル２１８の輝度調節操作に応じて設定変更される。なお、ドライバ２１６を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。
　絞り２１２を通過した照射光は、ＬＣＢ（Light Carrying Bundle）１０２の入射端に入射される。入射端よりＬＣＢ１０２内に入射された照射光は、ＬＣＢ１０２内を全反射を繰り返すことによって伝播する。ＬＣＢ１０２内を伝播した照射光は、電子スコープ１００の先端部１２内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体を照射する。
　被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上の各画素で光学像を結ぶ。固体撮像素子１０８は、補色市松型画素配置を有するインターレース方式の単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローＹｅ、シアンＣｙ、グリーンＧ、マゼンタＭｇの各補色信号を生成し、生成された垂直方向に隣接する２つの画素の補色信号を加算し混合して順次出力する。以下、固体撮像素子１０８より順次出力される、各フィールドの各水平ラインの各画素に対応する混合後の信号を「撮像信号」と記す。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置を採用してもよい。固体撮像素子１０８はまた、原色系フィルタ（ベイヤ配列フィルタ）を搭載したものであってもよい。
　固体撮像素子１０８より出力される撮像信号は、プリアンプ１１０による信号増幅後、ドライバ信号処理回路１１２を介して信号処理回路２２０に入力される。
　電子スコープ１００には、ドライバ信号処理回路１１２及びメモリ１１４が備えられている。ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフィールドレート（フレームレート）、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。
　システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続中の電子スコープに適した処理がされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。
　タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２及び信号処理回路２２０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフィールドレート（フレームレート）に同期したタイミングで駆動制御する。
　図２に示されるように、信号処理回路２２０は、前段信号処理回路２２０Ａ、ノイズリダクション回路２２０Ｂ及び後段信号処理回路２２０Ｃを備えている。
　前段信号処理回路２２０Ａは、ドライバ信号処理回路１１２より入力される撮像信号に対して色補完、Ｙ／Ｃ分離等の所定の信号処理を施して画素信号（輝度信号Ｙ、色差信号Ｕ、Ｖ）を生成し、生成された画素信号をノイズリダクション回路２２０Ｂに出力する。
　図３は、ノイズリダクション回路２２０Ｂの構成を示すブロック図である。図３に示されるように、ノイズリダクション回路２２０Ｂは、第１フィールドメモリ２２０Ｂａ、帰還係数算出部２２０Ｂｂ、乗算回路２２０Ｂｃ１～２２０Ｂｃ３、第２フィールドメモリ２２０Ｂｄ、乗算回路２２０Ｂｅ１～２２０Ｂｅ３及び加算回路２２０Ｂｆ１～２２０Ｂｆ３を備えている。
　第１フィールドメモリ２２０Ｂａには、前段信号処理回路２２０Ａより画素信号（輝度信号Ｙ）が入力される。第１フィールドメモリ２２０Ｂａには、少なくとも１フィールド分の画素信号（有効画素領域内の画素信号）がバッファリングされる。
　帰還係数算出部２２０Ｂｂには、前段信号処理回路２２０Ａより現在のフィールドの画素信号（輝度信号Ｙ）が順次入力されると同時に、第１フィールドメモリ２２０Ｂａより当該画素信号に対応する１フィールド前の画素信号（輝度信号Ｙ）が順次入力される。ここでは、同一ライン且つ同一アドレスの画素の画素信号同士を「対応する画素信号」とする。例えば、奇数フィールドの水平２ライン目で最初に出力される画素信号に対応する、１フィールド前の画素信号は、１つ前の偶数フィールドの水平２ライン目で最初に出力された画素信号である。
［帰還係数算出部２２０Ｂｂの動作の説明］
　図４は、帰還係数算出部２２０Ｂｂの動作を示すフローチャートである。
［図４のＳ１１（輝度差分値の計算）］
　図４に示されるように、本処理ステップＳ１１では、有効画素領域内の各画素について、現在のフィールドの画素信号（輝度信号Ｙ）と１つ前のフィールドの画素信号（輝度信号Ｙ）との差分値が計算される。以下、説明の便宜上、本処理ステップＳ１１にて計算される画素信号（輝度信号Ｙ）の差分値を「輝度差分値」と記す。また、現在のフィールドの画素信号（輝度信号Ｙ、色差信号Ｕ、Ｖ）を「現フィールド画素信号ｎｆｓ」と記し、１つ前のフィールドの画素信号（輝度信号Ｙ、色差信号Ｕ、Ｖ）を「前フィールド画素信号ｐｆｓ」と記す。
［図４のＳ１２（第１カウント値の算出）］
　図５（ａ）は、フィールド全体での動き検出を概念的に示す図である。本処理ステップＳ１２では、図５（ａ）に示されるようにフィールド全体での動き検出を行うため、以下の処理が行われる。
　本処理ステップＳ１２では、有効画素領域内の画素の中で処理ステップＳ１１にて計算された輝度差分値が第１の閾値よりも大きいものがカウントされる。すなわち、本処理ステップＳ１２では、フィールド全体での動き検出を行うため、連続する２フィールドについて、フィールド全体を範囲として、輝度差分値が第１の閾値よりも大きい画素がカウントされる。以下、説明の便宜上、本処理ステップＳ１２にてカウントされた画素の数を「第１カウント値」と記す。
［図４のＳ１３（第１の値ｍ１への変換）］
　本処理ステップＳ１３では、処理ステップＳ１２にてカウントされた第１カウント値を第１の値ｍ１に変換する。ここで、図６（ａ）に、第１カウント値と第１の値ｍ１との変換関数をグラフ化して示す。図６（ａ）中、縦軸は、第１の値ｍ１を示し、横軸は、第１カウント値を示す。第１の値ｍ１は、「０～９」の値をとる。
　図６（ａ）に示されるように、第１カウント値は、一定値Ｃ以下のときには一定値（ここでは「９」）に変換され、一定値Ｃより大きいほど小さい値に変換される。より詳細には、第１カウント値は、一定値Ｃより大きいほど「９」に対して小さい値に変換され、最大値となるとき（すなわち、有効画素領域内の全ての画素において輝度差分値が第１の閾値よりも大きいとき）には「０」に変換される。
　第１の値ｍ１は、傾向として、フィールド全体の中で被写体の動く領域が多い（輝度差分値が第１の閾値よりも大きい画素が多い）場合に小さい値をとり、フィールド全体の中で被写体の動く領域が少ない（輝度差分値が第１の閾値よりも大きい画素が少ない）場合に大きい値をとる。より簡潔には、フィールド全体を検出範囲とした場合に、第１の値ｍ１は、被写体が動いていれば小さい値をとり、被写体が動いていなければ大きい値をとる。
［図４のＳ１４（注目画素の設定）］
　本処理ステップＳ１４では、有効画素領域内の一つの画素が注目画素として設定される。
［図４のＳ１５（局所領域（画素群）の設定）］
　本処理ステップＳ１５では、処理ステップＳ１４にて設定された注目画素及びその周辺画素よりなる画素群を設定する。なお、本実施形態において、周辺画素は、注目画素の上下左右方向、右斜め上方向、右斜め下方向、左斜め上方向及び左斜め下方向の各方向に隣接して位置する計８つの画素を指す。すなわち、画素群は、３×３のマトリクスに配置された９つの画素よりなる。
［図４のＳ１６（第２カウント値の算出）］
　図５（ｂ）は、局所領域（画素群に対応する３×３の画素よりなる領域）での動き検出を概念的に示す図である。本処理ステップＳ１６では、図５（ｂ）に示されるように局所領域での動き検出を行うため、以下の処理が行われる。
　本処理ステップＳ１６では、画素群（１つの注目画素＋８つの周辺画素）の中で処理ステップＳ１１にて計算された輝度差分値が第２の閾値よりも小さいものがカウントされる。すなわち、本処理ステップＳ１６では、局所領域での動き検出を行うため、連続する２フィールドについて、処理ステップＳ１５にて設定された画素群を範囲として、輝度差分値が第２の閾値よりも小さい画素がカウントされる。以下、説明の便宜上、本処理ステップＳ１６にてカウントされた画素の数を「第２カウント値」と記す。
［図４のＳ１７（第２の値ｍ２への変換）］
　本処理ステップＳ１７では、処理ステップＳ１６にてカウントされた第２カウント値を第２の値ｍ２に変換する。ここで、図６（ｂ）に、第２カウント値と第２の値ｍ２との変換関数をグラフ化して示す。図６（ｂ）中、縦軸は、第２の値ｍ２を示し、横軸は、第２カウント値を示す。第２の値ｍ２も第１の値ｍ１と同じく「０～９」の値をとる。
　図６（ｂ）に示されるように、第２カウント値は、輝度差分値が第２の閾値よりも小さい画素の数そのもの（「０～９」の値）に変換される。すなわち、第２の値ｍ１は、第２カウント値そのままの値をとる。
　第２の値ｍ２は、局所領域内で被写体の動く領域が多い（輝度差分値が第２の閾値よりも大きい画素が多い）場合に小さい値をとり、局所領域内で被写体の動く領域が少ない（輝度差分値が第２の閾値よりも大きい画素が少ない）場合に大きい値をとる。より簡潔には、局所領域内を検出範囲とした場合に、第２の値ｍ２は、被写体が動いていれば小さい値をとり、被写体が動いていなければ大きい値をとる。
［図４のＳ１８（第１の値ｍ１と第２の値ｍ２との比較）］
　本処理ステップＳ１８では、第１の値ｍ１と第２の値ｍ２との差分値が計算される。次いで、計算された差分値が第３の閾値以上であるか否かが判定される。
［図４のＳ１９（帰還係数Ｋの算出）］
　本処理ステップＳ１９は、処理ステップＳ１８にて計算された差分値が第３の閾値以上となる場合（Ｓ１８：ＹＥＳ）に行われる。処理ステップＳ１８にて計算される差分値は、典型的には、下記のケース１やケース２の場合に第３の閾値以上となる。
（ケース１）
　ケース１は、フィールド全体の中で被写体の動く領域が多く且つ局所領域内で被写体の動く領域が少ないケースである。ケース１では、例えば、被写体の動いている部分がフィールド内で広く分布するが、局所的な領域を見ると被写体があまり動いていないため、フィールド全体では被写体が動いていると検出されるが、局所領域では被写体が動いていないと検出される。
（ケース２）
　ケース２は、フィールド全体の中で被写体の動く領域が少なく且つ局所領域内で被写体の動く領域が多いケースである。ケース２では、例えば、フィールド全体を見ると被写体があまり動いていないが、局所的な領域を見ると被写体が動いているため、局所領域では被写体が動いていると検出されるが、フィールド全体では被写体が動いていないと検出される。
　このように、処理ステップＳ１８にて計算された差分値が第３の閾値以上となる場合は、フィールド全体で見たときと局所領域で見たときとで被写体の動き検出の結果が異なる。そのため、局所領域（画素群）に属する注目画素の画素信号については、フィールド全体で被写体の動きを見たときと局所領域で被写体の動きを見たときの両方の状況を考慮することが望ましい。そこで、本処理ステップＳ１９では、局所領域（画素群）に属する注目画素の画素信号に適用する帰還係数Ｋが次式により算出される。
Ｋ＝［（ｍ１＋ｍ２）／２］／９
［図４のＳ２０（帰還係数Ｋの算出）］
　本処理ステップＳ２０は、処理ステップＳ１８にて計算された差分値が第３の閾値未満となる場合（Ｓ１８：ＮＯ）に行われる。処理ステップＳ１８にて計算される差分値は、典型的には、下記のケース３やケース４の場合に第３の閾値未満となる。
（ケース３）
　ケース３は、フィールド全体の中で被写体の動く領域が少なく且つ局所領域内でも被写体の動く領域が少ないケースである。ケース３では、例えば、フィールド全体だけでなく局所的な領域を見ても被写体があまり動いていないため、何れの検出範囲でも被写体が動いていないと検出される。
（ケース４）
　ケース４は、フィールド全体の中で被写体の動く領域が多く且つ局所領域内でも被写体の動く領域が多いケースである。ケース４では、例えば、動いている被写体がフィールド内で広く分布し、局所的な領域を見ても被写体が動いているため、何れも検出範囲でも被写体が動いていると検出される。
　このように、処理ステップＳ１８にて計算された差分値が第３の閾値未満となる場合は、フィールド全体で見たときと局所領域で見たときとで被写体の動き検出の結果が同じとなる。そのため、局所領域（画素群）に属する注目画素の画素信号については、フィールド全体で被写体の動きを見たときと局所領域で被写体の動きを見たときの一方の状況を考慮すればよい。そこで、本処理ステップＳ２０では、局所領域（画素群）に属する注目画素の画素信号に適用する帰還係数Ｋが次式により算出される。
Ｋ＝ｍ１／９
　なお、別の実施形態では、上記式を次式に置き換えてもよい。
Ｋ＝ｍ２／９
［図４のＳ２１及びＳ２２（未処理の画素の判定）］
　本処理ステップＳ２１では、有効画素領域内において、適用する帰還係数Ｋが算出されていない画素が残っているか否かが判定される。適用する帰還係数Ｋが算出されていない画素が残っている場合（Ｓ２１：ＹＥＳ）、注目画素が次の画素（例えば水平ライン方向に隣接する画素）に設定される（Ｓ２２）。次の注目画素が設定されると、本フローチャートは、処理ステップＳ１５に戻る。処理ステップＳ１５～Ｓ２２がループすることで、有効画素領域内の各画素について帰還係数Ｋが順次算出される。本フローチャートは、有効画素領域内の全ての画素について帰還係数Ｋが算出されると（Ｓ２１：ＮＯ）、上記ループから抜けて終了する。
　帰還係数算出部２２０Ｂｂにて算出された帰還係数Ｋは、乗算回路２２０Ｂｃ１～２２０Ｂｃ３及び乗算回路２２０Ｂｅ１～２２０Ｂｅ３に入力される。
　乗算回路２２０Ｂｃ１～２２０Ｂｃ３にはそれぞれ、前段信号処理回路２２０Ａより、現フィールド画素信号ｎｆｓ（輝度信号Ｙ）、現フィールド画素信号ｎｆｓ（色差信号Ｕ）、現フィールド画素信号ｎｆｓ（色差信号Ｖ）が入力される。乗算回路２２０Ｂｃ１～２２０Ｂｃ３に入力された現フィールド画素信号ｎｆｓ（輝度信号Ｙ）、現フィールド画素信号ｎｆｓ（色差信号Ｕ）、現フィールド画素信号ｎｆｓ（色差信号Ｖ）はそれぞれ、（１－帰還係数Ｋ）の値で乗算される。以下、説明の便宜上、乗算回路２２０Ｂｃ１～２２０Ｂｃ３による乗算値をそれぞれ、「乗算値（輝度信号Ｙ）[ｎｆｓ×（１－Ｋ）]」、「乗算値（色差信号Ｕ）[ｎｆｓ×（１－Ｋ）]」、「乗算値（色差信号Ｖ）[ｎｆｓ×（１－Ｋ）]」と記す。
　乗算値（輝度信号Ｙ）[ｎｆｓ×（１－Ｋ）]、乗算値（色差信号Ｕ）[ｎｆｓ×（１－Ｋ）]、乗算値（色差信号Ｖ）[ｎｆｓ×（１－Ｋ）]はそれぞれ、加算回路２２０Ｂｆ１～２２０Ｂｆ３に入力される。
　第２フィールドメモリ２２０Ｂｄには、加算回路２２０Ｂｆ１～２２０Ｂｆ３より出力される補正後の画像信号（輝度信号Ｙ、色差信号Ｕ、Ｖ）が入力される。なお、補正後の画像信号とはノイズ低減後の画像信号であり、詳しくは後述する。第２フィールドメモリ２２０Ｂｄには、少なくとも１フィールド分の画素信号（有効画素領域内の画素信号）がバッファリングされる。
　乗算回路２２０Ｂｅ１～２２０Ｂｅ３にはそれぞれ、第２フィールドメモリ２２０Ｂｄより、前フィールド画素信号ｐｆｓ（補正後の輝度信号Ｙ）、前フィールド画素信号ｐｆｓ（補正後の色差信号Ｕ）、前フィールド画素信号ｐｆｓ（補正後の色差信号Ｖ）が入力される。乗算回路２２０Ｂｅ１～２２０Ｂｅ３に入力された前フィールド画素信号ｐｆｓ（補正後の輝度信号Ｙ）、前フィールド画素信号ｐｆｓ（補正後の色差信号Ｕ）、前フィールド画素信号ｐｆｓ（補正後の色差信号Ｖ）はそれぞれ、帰還係数Ｋで乗算される。以下、説明の便宜上、乗算回路２２０Ｂｅ１～２２０Ｂｅ３による乗算値をそれぞれ、「乗算値（輝度信号Ｙ）[ｐｆｓ×Ｋ]」、「乗算値（色差信号Ｕ）[ｐｆｓ×Ｋ]」、「乗算値（色差信号Ｖ）[ｐｆｓ×Ｋ]」と記す。
　乗算値（輝度信号Ｙ）[ｐｆｓ×Ｋ]、乗算値（色差信号Ｕ）[ｐｆｓ×Ｋ]、乗算値（色差信号Ｖ）[ｐｆｓ×Ｋ]はそれぞれ、加算回路２２０Ｂｆ１～２２０Ｂｆ３に入力される。
　加算回路２２０Ｂｆ１は、乗算回路２２０Ｂｃ１より入力される乗算値（輝度信号Ｙ）[ｎｆｓ×（１－Ｋ）]と、乗算回路２２０Ｂｅ１より入力される乗算値（輝度信号Ｙ）[ｐｆｓ×Ｋ]とを加算して、後段信号処理回路２２０Ｃに出力する。加算回路２２０Ｂｆ２は、乗算回路２２０Ｂｃ２より入力される乗算値（色差信号Ｕ）[ｎｆｓ×（１－Ｋ）]と、乗算回路２２０Ｂｅ２より入力される乗算値（色差信号Ｕ）[ｐｆｓ×Ｋ]とを加算して、後段信号処理回路２２０Ｃに出力する。加算回路２２０Ｂｆ３は、乗算回路２２０Ｂｃ３より入力される乗算値（色差信号Ｖ）[ｎｆｓ×（１－Ｋ）]と、乗算回路２２０Ｂｅ３より入力される乗算値（色差信号Ｖ）[ｐｆｓ×Ｋ]とを加算して、後段信号処理回路２２０Ｃに出力する。
　すなわち、加算回路Ｂｆ１～Ｂｆ３は、次式により、現フィールド画素信号ｎｆｓと前フィールド画素信号ｐｆｓとを混合することで、現フィールド画素信号ｎｆｓを補正する。次式に示されるように、現フィールド画素信号ｎｆｓと前フィールド画素信号ｐｆｓとの混合比は、帰還係数Ｋに応じて決まる。帰還係数Ｋは、被写体に動きがあるほど小さい値となり、被写体に動きがないほど大きい値となる。帰還係数Ｋが０に近いほど現フィールド画素信号ｎｆｓの比率が高くなるため、当該画素におけるノイズリダクション効果が小さくなる代わりに残像が抑えられる。また、帰還係数Ｋが１に近いほど前フィールド画素信号ｐｆｓの比率が高くなるため、当該画素におけるノイズリダクション効果が高くなる。
補正後の現フィールド画素信号ｎｆｓ’＝[ｎｆｓ×（１－Ｋ）]＋[ｐｆｓ×Ｋ]
　後段信号処理回路２２０Ｃは、加算回路２２０Ｂｆ１～２２０Ｂｆ３より入力される補正後の現フィールド画素信号ｎｆｓ’（輝度信号Ｙ、色差信号Ｕ、Ｖ）をＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）等の所定の規格に準拠したビデオ信号に変換し、変換されたビデオ信号をモニタ３００に出力する。ビデオ信号がモニタ３００に順次入力することにより、被写体のカラー画像がモニタ３００の表示画面に表示される。
　このように、本実施形態によれば、フィールド全体での被写体の動き検出の結果と局所領域での被写体の動き検出の結果の両方を考慮して各画素の帰還係数Ｋを算出することにより、動きのある被写体の残像を抑えつつ画像内のノイズを低減させられる。
　以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
　上記の実施形態では、固体撮像素子１０８の撮像期間がフィールド期間であるが、別の実施形態では、フレーム期間であってもよい。

Claims (6)

  1. 　被写体を所定の撮像期間で周期的に撮像する撮像素子の有効画素領域内の各画素について、該撮像素子より出力される現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との差分値を計算する差分値計算手段と、
    　前記有効画素領域全てを範囲として前記被写体の動きを検出する第１の動き検出手段と、
    　前記有効画素領域内の各画素を注目画素として順次設定する注目画素設定手段と、
    　順次設定される注目画素を含む局所画素領域を範囲として前記被写体の動きを検出する第２の動き検出手段と、
    　各前記注目画素について、前記第１の動き検出手段による検出結果及び前記第２の動き検出手段による検出結果に基づき、現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する混合比決定手段と、
    　前記各注目画素について、前記混合比決定手段により決定された混合比に基づいて現在の撮像期間の画素信号を補正する画素信号補正手段と、
    を備える、
    画像処理装置。
  2. 　被写体を所定の撮像期間で周期的に撮像する撮像素子の有効画素領域内の各画素について、該撮像素子より出力される現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との差分値を計算する差分値計算手段と、
    　前記有効画素領域内において前記差分値が第１の条件を満たす画素をカウントし、カウントされた画素の数を第１カウント値とする第１のカウント手段と、
    　前記有効画素領域内の各画素を注目画素として順次設定する注目画素設定手段と、
    　順次設定される注目画素及びその周辺画素よりなる画素群の中で前記差分値が第２の条件を満たすものをカウントし、カウントされた画素の数を第２カウント値とする第２のカウント手段と、
    　各前記注目画素について、当該注目画素が属する画素群における第２カウント値と前記第１カウント値に基づいて現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する混合比決定手段と、
    　前記各注目画素について、前記混合比決定手段により決定された混合比に基づいて現在の撮像期間の画素信号を補正する画素信号補正手段と、
    を備える、
    画像処理装置。
  3. 　前記混合比決定手段は、
    　　前記第１カウント値を第１の値に変換し、
    　　前記第２カウント値を第２の値に変換し、
    　　前記第１の値と前記第２の値との差分値に基づいて現在の撮像期間の画素信号と１つ前の撮像期間の画素信号との混合比を決定する、
    請求項２に記載の画像処理装置。
  4. 　前記第１の値の数値範囲と前記第２の値の数値範囲は同一である、
    請求項３に記載の画像処理装置。
  5. 　前記第１の条件は、
    　　前記差分値が第１の閾値よりも大きいことであり、
    　前記第２の条件は、
    　　前記差分値が第２の閾値よりも小さいことであり、
    　前記第１カウント値は、
    　　一定値以下のときには前記数値範囲内の最大値に変換され、
    　　前記一定値より大きいほど前記最大値に対して小さい値に変換され、
    　前記第２カウント値は、
    　　前記第２カウント値そのままの値に変換され、
    　前記混合比決定手段は、
    　　前記第１の値と前記第２の値との差分値が第３の閾値以上のときには該第１の値及び該第２の値に基づいて前記混合比を決定し、
    　　前記第１の値と前記第２の値との差分値が第３の閾値未満のときには該第１の値又は該第２の値に基づいて前記混合比を決定する、
    請求項４に記載の画像処理装置。
  6. 　前記撮像期間は、
    　　１フィールド期間又は１フレーム期間である、
    請求項１から請求項５の何れか一項に記載の画像処理装置。
PCT/JP2015/059360 2014-04-11 2015-03-26 画像処理装置 Ceased WO2015156142A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020167015786A KR101809476B1 (ko) 2014-04-11 2015-03-26 화상 처리 장치
EP15776531.4A EP3131286B1 (en) 2014-04-11 2015-03-26 Image processing device
US15/037,808 US9842383B2 (en) 2014-04-11 2015-03-26 Image processing device
CA2931074A CA2931074C (en) 2014-04-11 2015-03-26 Electronic endoscope system
AU2015244984A AU2015244984B2 (en) 2014-04-11 2015-03-26 Electronic Endoscope System
CN201580003142.6A CN105830433B (zh) 2014-04-11 2015-03-26 图像处理设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-081918 2014-04-11
JP2014081918A JP6411768B2 (ja) 2014-04-11 2014-04-11 画像処理装置

Publications (1)

Publication Number Publication Date
WO2015156142A1 true WO2015156142A1 (ja) 2015-10-15

Family

ID=54287719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/059360 Ceased WO2015156142A1 (ja) 2014-04-11 2015-03-26 画像処理装置

Country Status (8)

Country Link
US (1) US9842383B2 (ja)
EP (1) EP3131286B1 (ja)
JP (1) JP6411768B2 (ja)
KR (1) KR101809476B1 (ja)
CN (1) CN105830433B (ja)
AU (1) AU2015244984B2 (ja)
CA (1) CA2931074C (ja)
WO (1) WO2015156142A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151348B (zh) * 2018-09-28 2021-01-08 维沃移动通信有限公司 一种图像处理方法、电子设备及计算机可读存储介质
WO2020170369A1 (ja) * 2019-02-20 2020-08-27 オリンパス株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209507A (ja) * 1999-01-12 2000-07-28 Toshiba Corp 固体撮像装置の低ノイズ化回路
JP2012019426A (ja) * 2010-07-09 2012-01-26 Hoya Corp ノイズ除去装置
JP2012129913A (ja) * 2010-12-17 2012-07-05 Sanyo Electric Co Ltd ノイズ低減装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68909271T2 (de) * 1988-02-23 1994-03-24 Philips Nv Verfahren und Anordnung zum Abschätzen des Bewegungsausmasses bei einem Bildelement eines Fernsehbildes.
JP2934036B2 (ja) * 1991-03-07 1999-08-16 松下電器産業株式会社 動き検出方法およびノイズ低減装置
JP3660731B2 (ja) 1995-11-13 2005-06-15 ペンタックス株式会社 電子内視鏡
WO1998018256A2 (en) * 1996-10-24 1998-04-30 Philips Electronics N.V. Noise filtering
US6130707A (en) * 1997-04-14 2000-10-10 Philips Electronics N.A. Corp. Video motion detector with global insensitivity
US6847408B1 (en) * 2000-07-27 2005-01-25 Richard W. Webb Method and apparatus for reducing noise in an image sequence
US7724307B2 (en) * 2004-07-28 2010-05-25 Broadcom Corporation Method and system for noise reduction in digital video
CN100486299C (zh) 2004-12-21 2009-05-06 索尼株式会社 图像处理装置和图像处理方法
JP5052319B2 (ja) * 2007-12-17 2012-10-17 オリンパス株式会社 動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
CN101859440A (zh) * 2010-05-31 2010-10-13 浙江捷尚视觉科技有限公司 基于块的运动区域检测方法
CN101894378B (zh) * 2010-06-13 2012-09-05 南京航空航天大学 基于双感兴趣区域的运动目标视觉跟踪方法及系统
JP5645636B2 (ja) * 2010-12-16 2014-12-24 三菱電機株式会社 フレーム補間装置及び方法
JP2012142829A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
TWI459325B (zh) 2011-05-13 2014-11-01 Altek Corp 數位影像處理裝置及其處理方法
JP2013074571A (ja) 2011-09-29 2013-04-22 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JPWO2014091943A1 (ja) * 2012-12-14 2017-01-05 ソニー株式会社 画像処理装置および方法
KR101652658B1 (ko) * 2014-02-07 2016-08-30 가부시키가이샤 모르포 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209507A (ja) * 1999-01-12 2000-07-28 Toshiba Corp 固体撮像装置の低ノイズ化回路
JP2012019426A (ja) * 2010-07-09 2012-01-26 Hoya Corp ノイズ除去装置
JP2012129913A (ja) * 2010-12-17 2012-07-05 Sanyo Electric Co Ltd ノイズ低減装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3131286A4 *

Also Published As

Publication number Publication date
CN105830433A (zh) 2016-08-03
KR20160085340A (ko) 2016-07-15
EP3131286A4 (en) 2017-11-01
EP3131286B1 (en) 2020-12-23
US20160292828A1 (en) 2016-10-06
AU2015244984B2 (en) 2018-01-18
CN105830433B (zh) 2017-12-05
CA2931074A1 (en) 2015-10-15
KR101809476B1 (ko) 2017-12-15
JP2015204486A (ja) 2015-11-16
EP3131286A1 (en) 2017-02-15
JP6411768B2 (ja) 2018-10-24
CA2931074C (en) 2018-04-03
US9842383B2 (en) 2017-12-12
AU2015244984A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
JP2013066168A (ja) 撮像素子、及び撮像装置
US10027919B2 (en) Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method
JP5708036B2 (ja) 撮像装置
JP6411768B2 (ja) 画像処理装置
JP6099009B2 (ja) 撮像素子および撮像装置
US11160443B2 (en) Electronic endoscope device for changing observation image brightness
JP2010068020A (ja) 画像入力装置
WO2018008009A1 (ja) 画像処理装置及び電子内視鏡システム
JP2011176671A (ja) 撮像システム
JP2011156214A (ja) 撮像装置、及び電子内視鏡システム
JP6535435B2 (ja) プロセッサ及び内視鏡システム
JP6272115B2 (ja) 内視鏡プロセッサおよび内視鏡システム
JP2011211497A (ja) 画像入力装置
JP6650969B2 (ja) 内視鏡システム
JP6370604B2 (ja) 内視鏡システム
US10158792B2 (en) Method for displaying image, image pickup system and endoscope apparatus including the same
US12022992B2 (en) Image signal processing device, image signal processing method, and program
KR20150088645A (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
JP3917982B2 (ja) 内視鏡装置
JP2010279507A (ja) 電子内視鏡システム
JP6491736B2 (ja) 内視鏡プロセッサおよび内視鏡システム
JP6741412B2 (ja) 信号伝送装置及び電子内視鏡システム
JP2011172783A (ja) 画像処理装置、及び電子内視鏡システム
KR101722479B1 (ko) 카메라의 백라이트 보정 장치 및 방법
JP2004267580A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15776531

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2931074

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 15037808

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015776531

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015776531

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015244984

Country of ref document: AU

Date of ref document: 20150326

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20167015786

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE