WO2013046828A1 - 画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置 - Google Patents

画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置 Download PDF

Info

Publication number
WO2013046828A1
WO2013046828A1 PCT/JP2012/065837 JP2012065837W WO2013046828A1 WO 2013046828 A1 WO2013046828 A1 WO 2013046828A1 JP 2012065837 W JP2012065837 W JP 2012065837W WO 2013046828 A1 WO2013046828 A1 WO 2013046828A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
pixel
pixels
size
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/065837
Other languages
English (en)
French (fr)
Inventor
田中　誠二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to BR112014004533A priority Critical patent/BR112014004533A2/pt
Priority to JP2013535990A priority patent/JP5519083B2/ja
Priority to CN201280026611.2A priority patent/CN103563361B/zh
Priority to EP12836425.4A priority patent/EP2763417B1/en
Publication of WO2013046828A1 publication Critical patent/WO2013046828A1/ja
Priority to US14/163,782 priority patent/US8817141B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Definitions

  • the present invention relates to an image processing apparatus, a method, a program, a recording medium, and an imaging apparatus, and more particularly, to a technique for reducing a fixed pattern generated due to a repetition period for each predetermined pixel group of an imaging element.
  • FIG. 20 is a diagram illustrating an example of a color filter array provided in the image sensor.
  • the color filter array shown in FIG. 20 is a primary color Bayer array.
  • the Bayer array includes a basic array pattern of 2 ⁇ 2 pixels, and this basic array pattern is repeatedly arranged in the horizontal direction and the vertical direction.
  • the basic array pattern includes three primary colors of red (R), blue (B), and green (G) pixels.
  • G pixel there are a G r pixels adjacent R pixels in the horizontal direction, and G b pixels adjacent the B pixels in the horizontal direction.
  • the G r pixels and G b pixel different colors of pixels adjacent in the horizontal direction.
  • the pixel value of G r pixels by leakage of light from the adjacent R pixel (color mixing) becomes larger than the pixel value of G b pixels in the neighborhood, and the pixel value of the pixel values and G b pixel of G r pixels
  • a fixed pattern appears when this step is periodically repeated according to the basic array pattern.
  • FIG. 21 shows a new mosaic color filter array proposed by the present applicant (Japanese Patent Application No. 2011-34627).
  • the basic array pattern of this color filter array is 6 ⁇ 6 pixels, and the basic array pattern includes 20 G pixels and 8 R and B pixels, respectively.
  • this basic array pattern there are many pixels having the same color but different colors of adjacent pixels (eight pixels) depending on the position in the basic array pattern. For this reason, a fixed pattern due to color mixing is likely to occur.
  • the color filter array shown in FIG. 21 since the basic array pattern size is larger than the Bayer array, the fixed pattern is easily noticeable.
  • CMOS Complementary Metal-Oxide Semiconductor
  • a pixel sharing amplifier is embedded in a CMOS base.
  • 2 ⁇ 2 4 pixels share one amplifier A. Due to the underlying structure of the image sensor, the output level varies depending on the pixel position relative to the shared amplifier (upper left, upper right, lower left, and lower right positions with respect to the amplifier A). A corresponding fixed pattern is generated.
  • the filter process is performed using a filter having a uniform filter coefficient as shown in FIG. 24, the fixed pattern can be reduced.
  • the image is blurred and the details are lost, and the image quality is deteriorated.
  • Patent Document 1 discloses an image signal that can effectively remove noise of a solid-state image sensor without losing necessary components in the image signal by performing noise reduction according to the output signal level of the solid-state image sensor.
  • a processing device has been proposed. This image signal processing apparatus determines the magnitude of the image signal level generated by the solid-state imaging device, and changes the degree of low-pass filtering according to the magnitude.
  • Patent Document 2 discloses a method of descreening a halftone area in an image, and a low-pass filter is modified and applied when descreening a halftone area.
  • Patent Document 3 the filter size is changed so that the filter size of the low-pass filter monotonously increases with respect to the increase of the relative distance based on the relative distance from the in-focus position, and the strength of noise reduction processing for the video signal is disclosed.
  • An imaging device is described in which the change is made.
  • Patent Document 1 reduces optical shot noise that depends on the output signal level of a solid-state imaging device. For this reason, the invention described in Patent Document 1 is not effective in reducing the fixed pattern, and a strong fixed pattern remains.
  • Patent Documents 2 and 3 do not reduce the fixed pattern.
  • the filter correction method described in Patent Document 2 and the filter size changing method described in Patent Document 3 do not reduce the fixed pattern.
  • the present invention has been made in view of such circumstances, and an image processing apparatus, method, program, and program capable of reducing a fixed pattern generated due to a repetition period of a pixel structure of an image sensor and leaving details.
  • An object is to provide a recording medium and an imaging apparatus.
  • an invention according to an aspect of the present invention is photographed by an imaging unit including an imaging device having a pixel structure with a repetition period of M ⁇ N (M, N: integer of 2 or more) pixels.
  • Image acquisition means for acquiring the obtained image, and a filter with a filter size of K ⁇ L (K, L: M ⁇ K, N ⁇ L), the filter coefficient set in the filter, and the image acquisition Filter processing means for calculating a pixel value of the target pixel by performing a convolution operation with a pixel value of the K ⁇ L pixel extracted on the basis of the target pixel in the image acquired by the means, and set in the filter Filter coefficients weighted near the center of the filter and corresponding to pixels having the same positional relationship on the pixel structure of the M ⁇ N pixels, the total of the filter coefficients within the filter size are all the same. In It is set to so that.
  • the filter coefficient of the filter has a weighted filter coefficient in the vicinity of the center, the detail of the image after the filter processing by the filter processing means can be prevented from being lost.
  • a filter with a filter size of K ⁇ L that is slightly larger than the pixel structure of the M ⁇ N pixel repetition period of the image sensor is used.
  • the filter coefficients are set so that the sum of the filter coefficients in the filter size corresponding to the pixels having the same positional relationship on the M ⁇ N pixel structure is all the same. For this reason, a substantial smoothing process is performed on the pixel value of the M ⁇ N pixels. Therefore, it is possible to reduce the fixed pattern generated due to the pixel structure having the repetition period of the M ⁇ N pixels.
  • the image sensor has a predetermined basic array pattern including three color filters on a plurality of pixels arrayed in the horizontal direction and the vertical direction. It is a color image sensor repeatedly arranged in the direction, and the pixel structure of the M ⁇ N pixel repetition period corresponds to the predetermined basic array pattern. That is, in the image output from the image sensor, a fixed pattern is generated due to the period of the pixel structure (repetition of a predetermined pixel group) of the image sensor, and the pixel structure has three color filters. It corresponds to a predetermined basic arrangement pattern.
  • the image sensor is an image sensor having an element structure that shares an amplifier for each predetermined pixel group, and the pixel structure of the M ⁇ N pixel repetition period is , Corresponding to the predetermined pixel group. That is, in the image output from the image sensor, a fixed pattern is generated due to the period of the pixel structure of the image sensor, and the pixel structure corresponds to the base structure including the shared amplifier of the image sensor. It is.
  • the imaging element has a predetermined basic arrangement pattern including three color filters on a plurality of pixels arranged in the horizontal direction and the vertical direction, in the horizontal direction and A color imaging device having an element structure that is repeatedly arranged in the vertical direction and shares an amplifier for each predetermined pixel group, and the pixel structure having a repetition period of M ⁇ N pixels includes the predetermined basic array pattern and the The period is the least common multiple with a predetermined pixel group.
  • the basic array pattern includes color filters of three primary colors of red (R), green (G), and blue (B), and the basic array pattern includes N
  • This basic array pattern includes at least nine pixels, and there are a plurality of pixels of the same color, and a fixed pattern is likely to occur.
  • the present invention is more effective for an image obtained from an image sensor having such a basic arrangement pattern.
  • the filter processing means is a pixel of interest in K ⁇ L pixels of a region to be processed by the filter, and a color filter of the same color as the color filter of the pixel of interest.
  • the pixel value of the pixel of interest is calculated by a convolution operation of the pixel values of the corresponding pixels and the filter coefficients of the filter corresponding to these pixels.
  • a fixed pattern size acquisition unit that acquires a fixed pattern size corresponding to an M ⁇ N pixel that is a repetition period of the pixel structure of the image sensor, and the acquired fixed pattern
  • the sum of filter coefficients within the filter size having filter coefficients weighted near the center of the filter size based on size and corresponding to pixels in the same positional relationship on the element structure of the M ⁇ N pixels are further provided with filter coefficient calculation means for calculating the filter coefficients so that they are all the same, and the filter processing means acquires the filter coefficients calculated by the filter coefficient calculation means. According to this, if a fixed pattern size can be acquired, a filter coefficient that can reduce the fixed pattern can be calculated.
  • the imaging element has a predetermined basic arrangement pattern including three color filters on a plurality of pixels arranged in the horizontal direction and the vertical direction, in the horizontal direction and It is a color image sensor repeatedly arranged in the vertical direction, and the fixed pattern size acquisition means acquires the size of the predetermined basic array pattern as the fixed pattern size.
  • the image sensor is an image sensor having an element structure that shares an amplifier for each predetermined pixel group, and the fixed pattern size acquisition unit shares the amplifier.
  • the image size of a predetermined pixel group is acquired as the fixed pattern size.
  • the imaging element has a predetermined basic arrangement pattern including three color filters on a plurality of pixels arranged in the horizontal direction and the vertical direction, in the horizontal direction and A color imaging device that is repeatedly arranged in the vertical direction and has an element structure that shares an amplifier for each predetermined pixel group, and the fixed pattern size acquisition unit shares the amplifier with the size of the predetermined basic array pattern A size that is the least common multiple of the image size of the predetermined pixel group is acquired as the fixed pattern size.
  • the size of the basic array pattern of the three color filters of the image sensor, the image size of the pixel group using one shared amplifier on the base of the image sensor, or the least common multiple of these sizes can be obtained as a size.
  • the image processing apparatus further includes a filter size calculation unit that calculates the K ⁇ L filter size based on the M ⁇ N fixed pattern size, and the filter coefficient calculation unit includes: A filter coefficient corresponding to the filter size calculated by the filter size calculating means is calculated.
  • An image processing method acquires an image photographed by an imaging unit including an imaging element having a pixel structure with a repetition period of M ⁇ N (M, N: integer of 2 or more) pixels. And (a) setting a target pixel in the acquired image and extracting a K ⁇ L (K, L: integer of M ⁇ K, N ⁇ L) pixel based on the target pixel; (B) A filter having a filter size of K ⁇ L is calculated, and the pixel value of the target pixel is calculated by performing a convolution operation on the filter coefficient set in the filter and the pixel value of the extracted K ⁇ L pixel.
  • a filter coefficient set for the filter including a step, and (c) repeatedly executing the step (a) and the step (b) while moving the pixel of interest one pixel at a time with respect to the acquired image Is weighted near the center of the filter Is and and corresponds to a pixel in the same positional relationship on the element structure of the M ⁇ N pixels, the sum of the filter coefficients in said filter size is set so that all the same.
  • An image processing program acquires an image photographed by an imaging unit including an imaging element having a pixel structure with a repetition period of M ⁇ N (M, N: integer greater than or equal to 2) pixels. And (a) a function of setting a target pixel in the acquired image and extracting a K ⁇ L (K, L: integer of M ⁇ K, N ⁇ L) pixel based on the target pixel; (B) A filter having a filter size of K ⁇ L is calculated, and the pixel value of the target pixel is calculated by performing a convolution operation on the filter coefficient set in the filter and the pixel value of the extracted K ⁇ L pixel.
  • a function, and (c) a function of repeatedly executing the function (a) and the function (b) while moving the target pixel one pixel at a time with respect to the acquired image, and is set in the filter.
  • the filter coefficient The sum of the filter coefficients in the filter size corresponding to the pixels having the same positional relationship on the element structure of the M ⁇ N pixels is set to be the same. ing.
  • An imaging apparatus acquires an imaging unit including an imaging optical system and an imaging element on which a subject image is formed via the imaging optical system, and an image output from the imaging unit.
  • the image image obtaining means for performing the image processing and any one of the image processing apparatuses described above.
  • a filter having a filter size of K ⁇ L (K, L: integer of M ⁇ K, N ⁇ L) that is slightly larger than that of an image sensor having a pixel structure with a repetition period of M ⁇ N pixels.
  • the filter coefficients of the filter are weighted near the center, and the sum of the filter coefficients within the filter size corresponding to the pixels in the same positional relationship on the element structure of the M ⁇ N pixels is The filter coefficients are set so that they are all the same. For this reason, it is possible to prevent loss of image details after filtering by the filter. Furthermore, it is possible to reduce a fixed pattern generated due to the pixel structure having the repetition period of the M ⁇ N pixels.
  • positioned at an image pick-up element The figure which shows an example of the filter coefficient of the filter for fixed pattern reduction corresponding to the color filter arrangement
  • FIG. 1 is a block diagram showing a first embodiment of an imaging apparatus according to the present invention.
  • the flowchart which shows 1st Embodiment of the image processing method in the imaging device shown in FIG.
  • the block diagram which shows 2nd Embodiment of the imaging device which concerns on this invention.
  • FIG. 7 is a flowchart showing a second embodiment of the image processing method in the imaging apparatus shown in FIG.
  • the block diagram which shows 3rd Embodiment of the imaging device which concerns on this invention.
  • FIG. 11B The figure which shows the example of the amplifier shared pixel size of an image sensor
  • FIG. 14B 14 is a flowchart illustrating a fourth embodiment of an image processing method in the imaging apparatus illustrated in FIG.
  • the block diagram which shows 5th Embodiment of the imaging device which concerns on this invention.
  • the figure which shows the further another example of the mosaic-shaped color filter arrangement
  • FIG. 17 is a flowchart showing the fifth embodiment of the image processing method in the imaging apparatus shown in FIG.
  • sequence provided in the image pick-up element The figure which shows the novel mosaic color filter arrangement
  • the figure which shows the example of application of the filter which has the filter coefficient of the center weight The figure which shows the example of application of the filter which has the filter coefficient of the center weight Diagram showing a filter with uniform filter coefficients
  • FIG. 1A shows an example of a mosaic color filter array arranged on each photoelectric conversion element of an image pickup element in which photoelectric conversion elements are two-dimensionally arranged.
  • the color filter array shown in FIG. 1A includes a basic array pattern (pattern indicated by a thick frame) including a square array pattern corresponding to 6 ⁇ 6 pixels.
  • This basic array pattern is repeatedly arranged in the horizontal direction and the vertical direction. That is, in this color filter array, R, G, B color filters (R filter, G filter, B filter) have a periodicity corresponding to the basic array pattern (6 ⁇ 6 pixels) in the horizontal and vertical directions. Has been placed.
  • the basic array pattern shown in FIG. 1A can be regarded as an array in which a 3 ⁇ 3 pixel a array and a 3 ⁇ 3 pixel b array are alternately arranged in the horizontal and vertical directions.
  • G filters which are luminance system pixels, are arranged at the four corners and the center, and are arranged on both diagonal lines.
  • the R filter is arranged in the horizontal direction and the B filter is arranged in the vertical direction with the central G filter interposed therebetween.
  • the B filter is arranged in the horizontal direction and the R filter is arranged in the vertical direction with the central G filter interposed therebetween. That is, in the a array and the b array, the positional relationship between the R filter and the B filter is reversed, but the other arrangements are the same.
  • FIG. 1B shows filter coefficients of a filter for reducing the fixed pattern.
  • the filter shown in FIG. 1B has a 9 ⁇ 9 filter size larger than the size of the basic array pattern (fixed pattern).
  • the filter coefficients of each area are assigned as follows: the filter coefficient of the center area is 4, the filter coefficients of the upper, lower, left and right areas are 2, 4 corner areas
  • the filter coefficient of is 1. That is, the filter coefficient is weighted near the center of the filter (the pixel is closer to the center of the filter, and the filter coefficient is set to be larger).
  • each area is A, B, C, D, each area A to D and 9 ⁇ 9
  • FIG. 2B The relationship with each area obtained by dividing the filter into nine parts is as shown in FIG. 2B.
  • the basic arrangement pattern area D corresponds to the central area of the nine divided areas of the filter
  • the upper and lower areas of the central area correspond to the basic arrangement pattern area B.
  • the left and right areas in the center correspond to the area C of the basic array pattern.
  • the four corner areas correspond to the area A of the basic array pattern.
  • the numbers of areas A, B, C, and D on the filter are 4: 2: 2: 1, respectively.
  • the filter coefficients in the 9 ⁇ 9 filter are weighted near the center, so that the details of the filtered image can be prevented from being lost.
  • FIG. 3 is a diagram illustrating another example of the mosaic color filter array arranged in the image sensor and an example of filter coefficients of the corresponding fixed pattern reduction filter.
  • the color filter array shown in FIG. 3 includes a basic array pattern composed of square array patterns corresponding to 3 ⁇ 3 pixels, and this basic array pattern is repeatedly arranged in the horizontal direction and the vertical direction. Note that the basic array pattern shown in FIG. 3 corresponds to the a array of 3 ⁇ 3 pixels shown in FIG. 1A.
  • the filter for reducing the fixed pattern has a filter size of 5 ⁇ 5.
  • This filter has a filter coefficient weighted near the center, and has a filter coefficient within a 5 ⁇ 5 filter size corresponding to pixels having the same positional relationship on the basic arrangement pattern of 3 ⁇ 3 pixels. The total is set to be the same.
  • FIG. 4A shows the filter coefficients of the 5 ⁇ 5 filter.
  • the set of column j 1 and column j 4 and the set of column j 2 and column j 5 on this filter have the same positional relationship on the basic array pattern.
  • filter coefficients assigned to these columns are added, filter coefficients such as column (j 1 + j 4 ) and column (j 2 + j 5 ) shown on the right side of FIG. 4B are obtained.
  • the set of row i 1 and row i 4 and the set of row i 2 and row i 5 on this filter have the same positional relationship on the basic array pattern.
  • the filter coefficients assigned to these rows are added, the rows (i 1 + i 4 ) and the row (i 2 + i 5 ) shown on the right side in FIG. 4C are obtained. Filter coefficients can be obtained.
  • the filter coefficients corresponding to each position on the basic array pattern obtained by adding the 5 ⁇ 5 filter coefficients according to the above procedure as described above are all 4.
  • the filter rows are i m , i (m ⁇ 1) ,..., I 1 , i 0 (one or more rows located in the center of the filter and matching the filter coefficient array), i ⁇ 1.
  • the columns are j n , j (n ⁇ 1) ,..., J 1 , j 0 (located in the center of the filter, and the array of filter coefficients is Match one or more columns), j ⁇ 1 ,..., J ⁇ (n ⁇ 1) , j ⁇ n .
  • the filter coefficients of columns having a predetermined positional relationship with respect to the middle column j 0 are added, and (j n + j ⁇ 1 ), (j (n ⁇ 1) + j ⁇ 2 ),. 1 + j ⁇ n ). Thereafter, the filter coefficients of the rows having a predetermined positional relationship across the central row i 0 are added, and (i m + i ⁇ 1 ), (i (m ⁇ 1) + i ⁇ 2 ),..., (I 1 + i -M ).
  • the filter coefficient values (m + (number of rows of i 0 )) ⁇ (n + (number of columns of j 0 )) obtained by the above addition are all equal.
  • m and n are odd numbers, they are obtained by adding (j (n + 1) / 2 + j (n + 1) / 2 ) and (i (m + 1) / 2 + i (m + 1) / 2 ).
  • the value of the filter coefficient is also equal to the filter coefficient.
  • FIG. 5 is a block diagram showing a first embodiment of the imaging apparatus according to the present invention.
  • the imaging device 10-1 shown in FIG. 5 records the captured image on a recording medium 12 such as a memory card.
  • the overall operation of the imaging apparatus 10-1 is centrally controlled by a central processing unit (CPU, Central Processing Unit) 14.
  • CPU Central Processing Unit
  • the CPU 14 controls each unit of the imaging device 10-1 based on input signals from operation units such as a shutter button and a power button (not shown).
  • the CPU 14 performs, for example, lens drive control, shooting operation control, image processing control, image data recording / reproduction control, liquid crystal monitor display control, and the like in accordance with an input signal from the operation unit.
  • the subject light that has passed through the photographing lens 16 is imaged on the light receiving surface of the image sensor 18.
  • the subject image formed on the image sensor 18 is converted into a signal charge corresponding to the amount of incident light by the photoelectric conversion element.
  • the image acquisition unit 20 sequentially reads out the signal charge accumulated in each photoelectric conversion element of the image sensor 18 from the image sensor 18 as a voltage signal (image signal) and outputs the voltage signal to the filter processing unit 22.
  • the image signal output from the image acquisition unit 20 to the filter processing unit 22 is an R, G, B signal (digital signal) indicating an R, G, B mosaic image corresponding to the color filter array of the image sensor 18.
  • the image sensor 18 is not limited to a CCD (Charge Coupled Device) image sensor, but may be another type of image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the filter processing unit 22 is given a filter coefficient of K ⁇ L filter size from the filter coefficient calculation unit 26.
  • the filter processing unit 22 convolves the pixel value of K ⁇ L pixels extracted based on the target pixel to be filtered in the image acquired from the image acquisition unit 20 with the filter coefficient of the filter size of K ⁇ L. Calculation is performed to calculate the pixel value of the target pixel.
  • the fixed pattern size acquisition unit 24 acquires a fixed pattern size corresponding to the repetition period of the pixel structure of the image sensor 18 and outputs size information indicating the fixed pattern size to the filter coefficient calculation unit 26.
  • size information indicating the fixed pattern size information set in advance according to the type of the image sensor 18 is input. For example, in the case of an image sensor having a color filter array including the basic array pattern shown in FIG. 1B, a fixed pattern size of 6 ⁇ 6 is input. In the case of an image sensor having a color filter array including the 3 ⁇ 3 basic array pattern shown in FIG. 3, a fixed pattern size of 3 ⁇ 3 is input.
  • the filter coefficient calculation unit 26 calculates a filter coefficient having a filter size larger than the fixed pattern size based on the size information indicating the fixed pattern size input from the fixed pattern size acquisition unit 24.
  • the filter coefficient calculation unit 26 is an integer of K ⁇ L (K, L: M ⁇ K, N ⁇ L). The filter coefficient corresponding to the filter size is calculated.
  • the filter count calculation unit 26 has a filter coefficient weighted near the center, and corresponds to pixels in the same positional relationship on the fixed pattern. The filter coefficients are calculated so that the total of the filter coefficients becomes the same.
  • the mosaic image data (RAW data) for one screen on which the fixed pattern has been reduced by the filter processing unit 22 is temporarily input to a memory (SDRAM; Synchronous Dynamic Random Access Memory) 28 and temporarily stored.
  • SDRAM Synchronous Dynamic Random Access Memory
  • the image data temporarily stored in the memory 28 is appropriately read out by a digital signal processing unit (not shown).
  • white balance correction, gamma correction, and synchronization processing all RGB color information for each pixel from the RGB mosaic image associated with the color filter array of the single-plate color image sensor 18
  • Processing for calculating (converting into simultaneous equations) also referred to as demosaic processing
  • YC processing for generating luminance signal Y and color difference signals Cr and Cb, contour correction, color correction, and the like are performed.
  • the image data is subjected to compression processing conforming to the JPEG (Joint Photographic Experts Group) standard and recorded on the recording medium 12.
  • JPEG Joint Photographic Experts Group
  • the image data is output and displayed on a liquid crystal monitor (not shown).
  • FIG. 6 is a flowchart showing a first embodiment of an image processing method in the imaging apparatus 10-1.
  • the image acquisition unit 20 acquires a mosaic image corresponding to the color filter array in the image sensor 18 via the shooting lens 16 and the image sensor 18 (step S10). ).
  • the fixed pattern size acquisition unit 24 acquires a fixed pattern size (M ⁇ N) (M, N: an integer equal to or greater than 2) corresponding to the repetition period of the pixel structure of the image sensor 18 (step S12). Size information indicating the pattern size (M ⁇ N) is output to the filter coefficient calculation unit 26. Based on the size information of the fixed pattern size (M ⁇ N) input from the fixed pattern size acquisition unit 24, the filter coefficient calculation unit 26 has a filter size (K ⁇ L) (K, L: A filter coefficient of M ⁇ K, N ⁇ L) is calculated (step S14). It is preferable that the filter coefficient is calculated and stored in advance and the stored filter coefficient is used.
  • the filter size (K ⁇ L) is set to an appropriate size larger than the fixed pattern size (M ⁇ N).
  • the filter size is too large, the blur of the image after the filter processing becomes large. Therefore, it is preferable to define an upper limit for the filter size (K ⁇ L) with respect to the fixed pattern size (M ⁇ N) as shown in the following equations (1) and (2).
  • the filter processing unit 22 performs a filter process based on the mosaic image acquired in step S10 and the filter coefficient calculated in step S14 (step S16).
  • a target pixel (x, y) is set in the acquired image, and K ⁇ L pixels are extracted with reference to the target pixel (x, y). Then, the pixel value of the pixel of interest (x, y) is calculated by a convolution operation (product-sum operation) between the extracted K ⁇ L pixels and a filter coefficient having a filter size of K ⁇ L.
  • the G pixel of the K ⁇ L pixel mosaic pixel and the filter coefficient corresponding to the position of the G pixel are used. Perform a convolution operation.
  • the target pixel is an R pixel or a B pixel
  • a convolution operation is performed using a pixel of the same color and a filter coefficient corresponding to the position of the pixel.
  • the pixel value after the filter processing is calculated.
  • the position of the pixel of interest (x, y) is moved pixel by pixel within the range of 1 ⁇ x ⁇ W and 1 ⁇ y ⁇ H.
  • the above filtering process is repeated. Thereby, the filtering process is performed on all the pixels of the mosaic image.
  • the mosaic image that has been subjected to the filter processing for reducing the fixed pattern as described above is then subjected to digital signal processing such as normal white balance correction, gamma correction, synchronization processing, and YC processing (step S18).
  • digital signal processing such as normal white balance correction, gamma correction, synchronization processing, and YC processing (step S18).
  • the YC-processed luminance signal Y and color difference signal are compressed and then recorded on the recording medium 12 (step S20).
  • FIG. 7 is a block diagram showing a second embodiment of the imaging apparatus according to the present invention.
  • symbol is attached
  • the imaging apparatus 10-2 according to the second embodiment illustrated in FIG. 7 uses a basic array pattern size acquisition unit 30 and a filter coefficient calculation instead of the fixed pattern size acquisition unit 24 and the filter coefficient calculation unit 26 according to the first embodiment. It is different in that the portion 32 is provided.
  • the basic array pattern size acquisition unit 30 acquires the size of the basic array pattern (basic array pattern size) of the RGB filter of the mosaic color filter array provided in the image sensor 18.
  • the basic array pattern indicated by the thick inner frame which is the minimum repeating pattern in the horizontal and vertical directions of the RGB filter, is 6 ⁇ 6 pixels. Therefore, the basic array pattern size of the color filter array shown in FIG. 8 is 6 ⁇ 6 pixels.
  • the pixels of the same color in this basic array pattern have different color combinations of adjacent pixels (8 pixels) depending on the position in the basic array pattern. For this reason, even if the color and brightness of the local region of the subject are the same, a step is generated in the output signal due to color mixture between adjacent pixels. The steps of the output signal are repeated with the period of the basic array pattern and appear as a fixed pattern. Therefore, the basic array pattern size is common to the fixed pattern size.
  • the basic array pattern size acquisition unit 30 acquires the basic array pattern size, and outputs size information indicating the basic array pattern size to the filter coefficient calculation unit 32.
  • size information indicating the basic array pattern size information set in advance according to the basic array pattern of the image sensor 18 is input.
  • the filter coefficient calculation unit 32 calculates a filter coefficient having a filter size larger than the basic array pattern size based on the size information of the basic array pattern size input from the basic array pattern size acquisition unit 30, and calculates the calculated filter coefficient. This is given to the filter processing unit 22.
  • the filter coefficient calculation unit 32 calculates a filter coefficient having an 8 ⁇ 8 filter size.
  • the filter coefficient is assigned a weighted filter coefficient in the vicinity of the center, and is a filter coefficient within an 8 ⁇ 8 filter size corresponding to pixels having the same positional relationship on the basic array pattern of 6 ⁇ 6 pixels. The total is set to be the same.
  • the filter processing in the filter processing unit 22 using the filter coefficient calculated by the filter coefficient calculation unit 32 the fixed pattern can be reduced and the details of the filtered image are not lost. it can.
  • FIG. 9 is a flowchart showing a second embodiment of the image processing method in the imaging apparatus 10-2. Note that portions common to the first embodiment of the image processing method shown in FIG. 6 are assigned the same step numbers, and detailed descriptions thereof are omitted.
  • the second embodiment shown in FIG. 9 is different from the first embodiment in that the processes of steps S30 and S32 are performed instead of steps S12 and S14 of the first embodiment shown in FIG.
  • step S30 the basic pattern size (M ⁇ N) (M, N: an integer of 2 or more) of the color filter array of the image sensor 18 is acquired.
  • step S32 the basic pattern size (M ⁇ N) acquired in step S30 is set as a fixed pattern size (M ⁇ N), and the filter size (K ⁇ L) (K, L: M ⁇ ) larger than the fixed pattern size. Filter coefficients of K and N ⁇ L) are calculated.
  • the filter coefficient of the filter size (K ⁇ L) is a filter size of K ⁇ L that assigns a weighted filter coefficient near the center and corresponds to pixels having the same positional relationship on the basic arrangement pattern of M ⁇ N pixels. The sum of the filter coefficients is calculated to be the same.
  • FIG. 10 is a block diagram showing a third embodiment of the imaging apparatus according to the present invention.
  • symbol is attached
  • An imaging apparatus 10-3 according to the third embodiment illustrated in FIG. 10 uses an amplifier shared pixel size acquisition unit 40 and a filter coefficient calculation instead of the fixed pattern size acquisition unit 24 and the filter coefficient calculation unit 26 according to the first embodiment. The difference is that a portion 42 is provided.
  • the amplifier shared pixel size acquisition unit 40 acquires the amplifier shared pixel size of the amplifier embedded in the base of the image sensor 18.
  • a pixel sharing amplifier is embedded in a CMOS base.
  • 2 ⁇ 2 four pixels share one amplifier A
  • the amplifier shared pixel size is 2 ⁇ 2. Due to the base structure of the image sensor, the output level varies depending on the pixel position with respect to the amplifier A (upper left, upper right, lower left, and lower right positions with respect to the amplifier A), and a fixed pattern corresponding to the repetition period of the base structure is generated. appear.
  • the amplifier shared pixel size acquisition unit 40 acquires the amplifier shared pixel size, and outputs size information indicating the amplifier shared pixel size to the filter coefficient calculation unit 42.
  • size information indicating the amplifier shared pixel size information set in advance according to the amplifier shared pixel size of the image sensor 18 is input.
  • the filter coefficient calculation unit 42 calculates a filter coefficient having a filter size larger than the amplifier shared pixel size based on the size information of the amplifier shared pixel size input from the amplifier shared pixel size acquisition unit 40, and calculates the calculated filter coefficient. This is given to the filter processing unit 22.
  • the filter coefficient of 4 ⁇ 4 filter size is calculated for the 2 ⁇ 2 amplifier shared pixel size shown in FIG. 11A.
  • the filter coefficient is assigned a weighted filter coefficient in the vicinity of the center and corresponds to a pixel having the same positional relationship on the 2 ⁇ 2 pixel of the amplifier shared pixel size, and the filter coefficient within the 4 ⁇ 4 filter size. Are set to be the same.
  • the fixed pattern corresponding to the amplifier shared pixel size can be reduced by the filter processing in the filter processing unit 22 using the filter coefficient calculated by the filter coefficient calculation unit 42. Further, it is possible to prevent loss of details of the filtered image.
  • FIG. 12 is a flowchart showing a third embodiment of the image processing method in the imaging apparatus 10-3. Note that portions common to the first embodiment of the image processing method shown in FIG. 6 are assigned the same step numbers, and detailed descriptions thereof are omitted.
  • the third embodiment shown in FIG. 12 is different from the first embodiment in that the processes of steps S40 and S42 are performed instead of steps S12 and S14 of the first embodiment shown in FIG.
  • step S40 the amplifier shared pixel size (M ⁇ N) (M, N: an integer of 2 or more) of the image sensor 18 is acquired.
  • step S42 the amplifier shared pixel size (M ⁇ N) acquired in step S40 is set as a fixed pattern size (M ⁇ N), and the filter size (K ⁇ L) (K, L: M) larger than the fixed pattern size. ⁇ K, N ⁇ integer of L ⁇ L) is calculated.
  • the filter coefficient of the filter size (K ⁇ L) is a K ⁇ L filter that assigns a weighted filter coefficient near the center and corresponds to pixels having the same positional relationship on the M ⁇ N pixels of the amplifier shared pixel size
  • the total of the filter coefficients within the size is calculated to be the same.
  • FIG. 13 is a block diagram showing a fourth embodiment of the imaging apparatus according to the present invention.
  • symbol is attached
  • An imaging device 10-4 according to the fourth embodiment illustrated in FIG. 13 includes a basic array pattern size acquisition unit 50, an amplifier shared pixel, instead of the fixed pattern size acquisition unit 24 and the filter coefficient calculation unit 26 according to the first embodiment. The difference is that a size acquisition unit 52, a fixed pattern size calculation unit 54, and a filter coefficient calculation unit 56 are provided.
  • the basic array pattern size acquisition unit 50 and the amplifier shared pixel size acquisition unit 52 are respectively the basic array pattern size acquisition unit 30 of the second embodiment shown in FIG. 7 and the amplifier of the third embodiment shown in FIG. Similar to the shared pixel size acquisition unit 40, the basic array pattern size and the amplifier shared pixel size are acquired.
  • the fixed pattern size calculation unit 54 calculates a fixed pattern size based on the basic array pattern size and the amplifier shared pixel size input from the basic array pattern size acquisition unit 50 and the amplifier shared pixel size acquisition unit 52, and calculates the fixed pattern size. Is output to the filter coefficient calculation unit 56.
  • the fixed pattern size calculation unit 54 determines the sizes of these sizes in the horizontal and vertical directions. Is calculated as a fixed pattern size. This is because the fixed pattern corresponding to the basic array pattern and the fixed pattern corresponding to the amplifier shared pixel have a fixed pattern of the least common multiple of these fixed patterns.
  • the number calculation unit 56 relating to the filter calculates a filter coefficient of a filter size larger than the fixed pattern size, and performs filtering processing on the calculated filter coefficient To part 22.
  • the filter coefficient of the filter size of 8 ⁇ 8 is calculated for the fixed pattern size of 6 ⁇ 6. Also, the filter coefficient is assigned a weighted filter coefficient in the vicinity of the center, and is a filter coefficient within an 8 ⁇ 8 filter size corresponding to a pixel having the same positional relationship on a 6 ⁇ 6 pixel having a fixed pattern size. The total is set to be the same.
  • the fixed pattern can be reduced by the filter processing in the filter processing unit 22 using the filter coefficient calculated by the filter coefficient calculation unit 56. Furthermore, according to the present embodiment, the details of the filtered image can be prevented from being lost.
  • FIG. 16 is a flowchart showing a fourth embodiment of the image processing method in the imaging apparatus 10-4. Note that portions common to the first embodiment of the image processing method shown in FIG. 6 are assigned the same step numbers, and detailed descriptions thereof are omitted.
  • the fourth embodiment shown in FIG. 16 is different from the first embodiment in that the processes of steps S50 to S56 are performed instead of steps S12 and S14 of the first embodiment shown in FIG.
  • step S50 the basic pattern size of the color filter array of the image sensor 18 is acquired, and in step S52, the amplifier shared pixel size of the image sensor 18 is acquired.
  • the least common multiple of the basic pattern size and the amplifier shared pixel size acquired in steps S50 and S52 is calculated as a fixed pattern size (M ⁇ N) (step S54).
  • filter coefficients having a filter size (K ⁇ L) K, L: integer of M ⁇ K, N ⁇ L) larger than the fixed pattern size calculated in step S54 are calculated.
  • the filter coefficient of the filter size (K ⁇ L) is a K ⁇ L filter that assigns a weighted filter coefficient near the center and corresponds to pixels having the same positional relationship on the M ⁇ N pixels of the amplifier shared pixel size
  • the total of the filter coefficients within the size is calculated to be the same.
  • FIG. 17 is a block diagram showing a fifth embodiment of the imaging apparatus according to the present invention.
  • symbol is attached
  • a filter size calculation unit 60 is added between the fixed pattern size acquisition unit 24 and the filter coefficient calculation unit 26 of the first embodiment. It is different in point.
  • the fixed pattern size acquisition unit 24 acquires a fixed pattern size corresponding to the repetition period of the pixel structure of the image sensor 18, and outputs size information indicating the fixed pattern size to the filter size calculation unit 60. For example, in the case of an image sensor having a color filter array including a basic array pattern of 3 ⁇ 3 pixels as shown in FIG. 18A, size information indicating a fixed pattern size of 3 ⁇ 3 is output to the filter size calculation unit 60. .
  • the filter size calculation unit 60 calculates a filter size larger than the fixed pattern size based on the size information indicating the fixed pattern size input from the fixed pattern size acquisition unit 24. That is, when the fixed pattern size is M ⁇ N (M, N: an integer greater than or equal to 2) pixels, the filter size calculation unit 60 calculates the integer of K ⁇ L (K, L: M ⁇ K, N ⁇ L). ) Is calculated. In the case of a 3 ⁇ 3 pixel basic array pattern (fixed pattern size) as shown in FIG. 18A, a filter size (for example, 5 ⁇ 5) larger than 3 ⁇ 3 is calculated as shown in FIG. 18B.
  • the filter coefficient calculation unit 26 calculates a filter coefficient corresponding to the filter size (K ⁇ L) input from the filter size calculation unit 60. In the example shown in FIG. 18B, 5 ⁇ 5 filter coefficients are calculated. In addition, the filter coefficient is assigned a weighted filter coefficient near the center, and is a filter coefficient within a 5 ⁇ 5 filter size corresponding to pixels having the same positional relationship on the basic arrangement pattern of 3 ⁇ 3 pixels. The total is set to be the same.
  • the fixed pattern can be reduced by the filter processing in the filter processing unit 22 using the filter coefficient calculated by the filter coefficient calculation unit 26. Furthermore, details of the filtered image can be prevented from being lost.
  • FIG. 19 is a flowchart showing a fifth embodiment of the image processing method in the imaging apparatus 10-5. Note that portions common to the first embodiment of the image processing method shown in FIG. 6 are assigned the same step numbers, and detailed descriptions thereof are omitted.
  • the fifth embodiment shown in FIG. 19 is different from the first embodiment in that the processes of steps S60 and S62 are performed instead of step S14 of the first embodiment shown in FIG.
  • step S60 based on the fixed pattern size (M ⁇ N) acquired in step S12, the filter size (K ⁇ L) (K, L: M ⁇ K, N ⁇ L larger than the fixed pattern size). Integer).
  • step S62 a filter coefficient corresponding to the filter size calculated in step S60 is calculated.
  • the filter coefficient of the filter size (K ⁇ L) is assigned a weighted filter coefficient in the vicinity of the center, and corresponds to pixels having the same positional relationship on the M ⁇ N pixels of the fixed pattern. The total of the filter coefficients is calculated to be the same.
  • the filter coefficient is calculated by the filter coefficient calculation unit.
  • the filter coefficient calculation unit When the image pickup device of the image pickup device is determined, a fixed pattern corresponding to the repetition period of the pixel structure of the image pickup device is also determined. For this reason, the filter coefficient of the filter for reducing the fixed pattern can be calculated in advance. Therefore, the filter coefficient calculated in advance may be stored in the nonvolatile memory, and the filter coefficient may be read from the nonvolatile memory during the filtering process.
  • the basic arrangement pattern of the color filter to which the present invention can be applied is not limited to the three color filters of R, G, and B in the above embodiment, and the basic arrangement pattern includes at least three color filters. If it is.
  • the present invention can be applied to a plurality of color filters of four or more colors, for example, filters in which E (emerald), W (white) filters, etc. are added to R, G, B.
  • the size (M ⁇ N) of the basic array pattern is an integer in which M and N are 3 or more.
  • CMOS image pickup device As an example of an image pickup device having a shared amplifier for each predetermined pixel group, a CMOS image pickup device has been described. However, the present invention is not limited to a CMOS image pickup device, but is applied to a MOS type or XY address type image pickup device. Is also applicable.
  • the imaging apparatus having the image processing apparatus including the fixed pattern reduction process has been described.
  • the image processing including the fixed pattern reduction process may be performed by an external image processing apparatus.
  • the imaging apparatus records a mosaic image (RAW data) that has not been subjected to image processing, and performs fixed pattern reduction processing according to the present invention when the RAW data is RAW developed by an external image processing apparatus. It may be.
  • the image processing program including the fixed pattern reduction processing according to the present invention and the recording medium on which the image processing program is recorded may be incorporated into RAW development software dedicated to the imaging apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

　本発明の一態様に係る画像処理方法は、Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する工程と、（ａ）前記取得した画像内で注目画素を設定し、該注目画素を基準にしてＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）画素を抽出する工程と、（ｂ）Ｋ×Ｌのフィルタサイズのフィルタであって、所定のフィルタ係数が配列されたフィルタを用いた演算により前記注目画素の画素値を算出する工程と、前記取得した画像に対して前記注目画素を１画素ずつ移動させながら前記工程（ａ）及び工程（ｂ）を繰り返し実行する工程とを含んでいる。

Description

画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置
　本発明は画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置に係り、特に撮像素子の所定の画素群毎の繰り返し周期に起因して発生する固定パターンを低減する技術に関する。
　図２０は、撮像素子に設けられたカラーフィルタ配列の一例を示す図である。図２０に示すカラーフィルタ配列は、原色系ベイヤー配列である。
　ベイヤー配列は、２×２画素の基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返して配置されている。基本配列パターン内には、３原色の赤（Ｒ）、青（Ｂ）、緑（Ｇ）画素が含まれている。Ｇ画素は、水平方向にＲ画素が隣接するＧｒ画素と、水平方向にＢ画素が隣接するＧｂ画素とがある。
　Ｇｒ画素とＧｂ画素とは水平方向に隣接する画素の色が異なる。例えば、隣接するＲ画素からの光の漏れ込み（混色）によりＧｒ画素の画素値が近傍のＧｂ画素の画素値よりも大きくなり、Ｇｒ画素の画素値とＧｂ画素の画素値との間で段差が生じる場合がある。この段差が基本配列パターンに従って周期的に繰り返されることにより、固定パターンが現れるという問題がある。
　また、図２１は本出願人により提案された新規のモザイク状のカラーフィルタ配列を示している（特願２０１１－３４６２７明細書）。
　このカラーフィルタ配列の基本配列パターンは、６×６画素であり、基本配列パターン内には、Ｇ画素が２０画素、Ｒ、Ｂ画素がそれぞれ８画素含まれている。この基本配列パターンの場合、同色の画素であっても、基本配列パターン内の位置に応じて隣接する画素（８画素）の色が異なるものが多数存在する。このため、混色による固定パターンが発生しやすい。また、図２１に示すカラーフィルタ配列は、ベイヤー配列と比較して基本配列パターンのサイズが大きいため、固定パターンが目立ちやすくなる。
　また、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子には、ＣＭＯＳ下地に画素共有アンプが埋め込まれる。図２２に示す例では、２×２の４画素が１つのアンプＡを共有している。このような撮像素子の下地構造に起因して、共有アンプに対する画素の位置（アンプＡに対して左上、右上、左下、右下の位置）により出力レベルに差が生じ、下地構造の繰り返し周期に応じた固定パターンが発生する。
　この種の固定パターンを低減する方法として、図２３Ａに示すように６×６画素のフィルタサイズを有するフィルタであって、中央重点の重み付けフィルタ係数を有するフィルタによりフィルタ処理をすることが考えられる。この場合、処理領域の画素群を移動させてフィルタを適応させた場合、例えば、図２３Ｂに示すＧ画素Ｐには、フィルタ係数４が掛けられるが、図２３Ｃに示すようにフィルタを移動すると、フィルタ係数２が掛けられることになる。このように異なるフィルタ係数が掛けられると、Ｇ画素Ｐとその周辺のＧ画素との間に段差が生じている場合には、フィルタ処理後の画像にムラが生じ、固定パターンを良好に低減することができないという問題がある。
　一方、図２４に示すような均一なフィルタ係数を有するフィルタによりフィルタ処理を行うと、上記固定パターンを低減することができる。しかしながら、画像がボケてディテールが失われ、画質が低下するという問題がある。
　特許文献１には、固体撮像素子の出力信号レベルに応じたノイズ低減を行うことにより、画像信号中の必要な成分を失わずに効果的に固体撮像素子のノイズを除去することができる画像信号処理装置が提案されている。この画像信号処理装置は、固体撮像素子が生成する画像信号レベルの大きさを判定して、その大きさに応じてローパスフィルタリングする度合いを変化させている。
　特許文献２には、画像内のハーフトーン領域をデスクリーニングする方法が開示されており、ハーフトーン領域をデスクリーニングする際にローパスフィルタを修正して適用している。
　特許文献３には、合焦位置からの相対距離に基づいて該相対距離の増加に対してローパスフィルタのフィルタサイズが単調増加するようにフィルタサイズを変え、映像信号に対してノイズ低減処理の強度を変えるようにした撮像装置が記載されている。
特開２００１－１４８７９７号公報 特表２００５－５２０９１５号公報 特開２０１０－２３９４９２号公報
　特許文献１に記載の発明は、固体撮像素子の出力信号レベルに依存する光ショットノイズを低減するものである。このため、特許文献１に記載の発明は、固定パターンを低減するには有効ではなく、強い固定パターンが残ることになる。
　また、特許文献２および３に記載の発明も固定パターンを低減するものではない。特許文献２に記載のフィルタの修正方法および特許文献３に記載のフィルタサイズの変更方法は、固定パターンを低減させるものではない。
　本発明はこのような事情に鑑みてなされたもので、撮像素子の画素構造の繰り返し周期に起因して発生する固定パターンを低減するとともに、ディテールを残すことができる画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置を提供することを目的とする。
　前記目的を達成するために、本発明の一の態様に係る発明は、Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する画像取得手段と、Ｋ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記画像取得手段により取得した画像中の注目画素を基準にして抽出されるＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出するフィルタ処理手段とを備え、前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の画素構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。
　前記フィルタのフィルタ係数は、中央付近に重み付けされたフィルタ係数を有しているため、前記フィルタ処理手段によるフィルタ処理後の画像のディテールが失われないようにすることができる。また、前記撮像素子のＭ×Ｎ画素の繰り返し周期の画素構造に対して、一回り大きいＫ×Ｌのフィルタサイズのフィルタを使用する。前記Ｍ×Ｎ画素の画素構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるようにフィルタ係数が設定される。このため、前記Ｍ×Ｎ画素の画素値に対して実質的な平滑化処理がされる。したがって、前記Ｍ×Ｎ画素の繰り返し周期の画素構造に起因して発生する固定パターンを低減することができる。
　本発明の他の態様に係る画像処理装置において、前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置されたカラー撮像素子であり、前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の基本配列パターンに対応するものである。即ち、前記撮像素子から出力される画像には、該撮像素子の画素構造（所定の画素群の繰り返し）周期に起因して固定パターンが発生するが、その画素構造は、３色のカラーフィルタを含む所定の基本配列パターンに対応するものである。
　本発明の更に他の態様に係る画像処理装置において、前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の画素群に対応するものである。即ち、前記撮像素子から出力される画像には、該撮像素子の画素構造の周期に起因して固定パターンが発生するが、その画素構造は、撮像素子の共有アンプを含む下地構造に対応するものである。
　本発明の更に他の態様に係る画像処理装置において、前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置され、かつ所定の画素群毎にアンプを共有する素子構造を有するカラー撮像素子であり、前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の基本配列パターンと前記所定の画素群との最小公倍数の周期となる。
　本発明の更に他の態様に係る画像処理装置において、前記基本配列パターンは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタを含み、前記基本配列パターンは、Ｎ×Ｎ（Ｎ：３以上の整数）画素に対応する正方配列パターンである。この基本配列パターンには、少なくとも９画素が含まれ、同色の画素が複数存在することになり、固定パターンが発生しやすくなる。本発明はこのような基本配列パターンを有する撮像素子から得られる画像に対してより有効である。
　本発明の更に他の態様に係る画像処理装置において、前記フィルタ処理手段は、前記フィルタによる処理対象領域のＫ×Ｌ画素中の注目画素と、該注目画素のカラーフィルタと同じ色のカラーフィルタに対応する画素の画素値と、これらの画素に対応する前記フィルタのフィルタ係数との畳み込み演算により前記注目画素の画素値を算出する。
　本発明の更に他の態様に係る画像処理装置において、前記撮像素子の画素構造の繰り返し周期であるＭ×Ｎ画素に対応する固定パターンサイズを取得する固定パターンサイズ取得手段と、前記取得した固定パターンサイズに基づいて前記フィルタサイズの中央付近に重み付けされたフィルタ係数を有し、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように前記フィルタ係数を算出するフィルタ係数算出手段とを更に備え、前記フィルタ処理手段は、前記フィルタ係数算出手段により前記算出されたフィルタ係数を取得するようにしている。これによれば、固定パターンサイズを取得することができれば、その固定パターンを低減することができるフィルタ係数を算出することができる。
　本発明の更に他の態様に係る画像処理装置において、前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置されたカラー撮像素子であり、前記固定パターンサイズ取得手段は、前記所定の基本配列パターンのサイズを前記固定パターンサイズとして取得するようにしている。
　本発明の更に他の態様に係る画像処理装置において、前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、前記固定パターンサイズ取得手段は、前記アンプを共有する所定の画素群の画像サイズを前記固定パターンサイズとして取得するようにしている。
　本発明の更に他の態様に係る画像処理装置において、前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置され、かつ所定の画素群毎にアンプを共有する素子構造を有するカラー撮像素子であり、前記固定パターンサイズ取得手段は、前記所定の基本配列パターンのサイズと前記アンプを共有する所定の画素群の画像サイズとの最小公倍数となるサイズを前記固定パターンサイズとして取得するようにしている。
　即ち、前記固定パターンサイズとしては、前記撮像素子の３色のカラーフィルタの基本配列パターンのサイズ、撮像素子の下地の１つの共有アンプを使用する画素群の画像サイズ、又はこれらのサイズの最小公倍数のサイズとして取得することができる。
　本発明の更に他の態様に係る画像処理装置において、前記Ｍ×Ｎの固定パターンサイズに基づいて前記Ｋ×Ｌのフィルタサイズを算出するフィルタサイズ算出手段を備え、前記フィルタ係数算出手段は、前記フィルタサイズ算出手段により算出されたフィルタサイズに応じたフィルタ係数を算出するようにしている。
　本発明の更に他の態様に係る画像処理方法は、Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する工程と、（ａ）前記取得した画像内で注目画素を設定し、該注目画素を基準にしてＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）画素を抽出する工程と、（ｂ）Ｋ×Ｌのフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記抽出したＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出する工程と、（ｃ）前記取得した画像に対して前記注目画素を１画素ずつ移動させながら前記工程（ａ）及び工程（ｂ）を繰り返し実行する工程とを含み、前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。
　本発明の更に他の態様に係る画像処理プログラムは、Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する機能と、（ａ）前記取得した画像内で注目画素を設定し、該注目画素を基準にしてＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）画素を抽出する機能と、（ｂ）Ｋ×Ｌのフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記抽出したＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出する機能と、（ｃ）前記取得した画像に対して前記注目画素を１画素ずつ移動させながら前記機能（ａ）及び機能（ｂ）を繰り返し実行する機能とをコンピュータに実行させ、前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。
　本発明の更に他の態様に係る撮像装置は、撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、前記撮像手段から出力される画像を取得する前記画像画取得手段と、上記のいずれかの画像処理装置とを備える。
　本発明によれば、Ｍ×Ｎ画素の繰り返し周期の画素構造を有する撮像素子に対して、一回り大きいＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタサイズのフィルタを使用し、前記フィルタのフィルタ係数が、中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるようにフィルタ係数を設定するようにした。このため、前記フィルタによるフィルタ処理後の画像のディテールが失われないようにすることができる。さらに、前記Ｍ×Ｎ画素の繰り返し周期の画素構造に起因して発生する固定パターンを低減することができる。
撮像素子に配置されたモザイク状のカラーフィルタ配列の一例を示す図 図１Ａのカラーフィルタ配列に対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図１Ｂに示したフィルタ係数の構成を説明するための図 図１Ｂに示したフィルタ係数の構成を説明するための図 撮像素子に配置されたモザイク状のカラーフィルタ配列の他の例と、これに対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図３に示したフィルタ係数の構成を説明するための図 図３に示したフィルタ係数の構成を説明するための図 図３に示したフィルタ係数の構成を説明するための図 本発明に係る撮像装置の第１の実施形態を示すブロック図 図５に示した撮像装置における画像処理方法の第１の実施形態を示すフローチャート 本発明に係る撮像装置の第２の実施形態を示すブロック図 撮像素子に配置されたモザイク状のカラーフィルタ配列の更に他の例と、これに対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図７に示した撮像装置における画像処理方法の第２の実施形態を示すフローチャート 本発明に係る撮像装置の第３の実施形態を示すブロック図 撮像素子のアンプ共有画素サイズの例を示す図 図１１Ｂに示すアンプ共有画素サイズに対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図１０に示した撮像装置における画像処理方法の第３の実施形態を示すフローチャート 本発明に係る撮像装置の第４の実施形態を示すブロック図 撮像素子に配置されたモザイク状のカラーフィルタ配列の例を示す図 撮像素子のアンプ共有画素サイズの例を示す図 図１４Ａおよび図１４Ｂに示した撮像素子に対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図１３に示した撮像装置における画像処理方法の第４の実施形態を示すフローチャート 本発明に係る撮像装置の第５の実施形態を示すブロック図 撮像素子に配置されたモザイク状のカラーフィルタ配列の更に他の例を示す図 図１８Ａに示すカラーフィルタ配列に対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図１７に示した撮像装置における画像処理方法の第５の実施形態を示すフローチャート 撮像素子に設けられたカラーフィルタ配列の一例を示す図 本出願人により提案された新規のモザイク状のカラーフィルタ配列を示す図 ＣＭＯＳ型の撮像素子のアンプ共有画素サイズの例を示す図 中央重点のフィルタ係数を有するフィルタを示す図 中央重点のフィルタ係数を有するフィルタの適用例を示す図 中央重点のフィルタ係数を有するフィルタの適用例を示す図 均一なフィルタ係数を有するフィルタを示す図
　以下、添付図面に従って本発明に係る画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置の好ましい実施の形態について詳説する。
　［固定パターンの低減方法］
　＜第１の実施形態＞
　図１Ａは、光電変換素子が２次元配列された撮像素子の各光電変換素子上に配置されたモザイク状のカラーフィルタ配列の一例を示す。
　図１Ａに示すカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含んでいる。この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が、水平方向及び垂直方向に基本配列パターン（６×６画素）に対応する周期性をもって配置されている。
　図１Ａに示した基本配列パターンは、３×３画素のａ配列と、３×３画素のｂ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　ａ配列及びｂ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、ａ配列では、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。一方、ｂ配列では、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、ａ配列とｂ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　上記カラーフィルタ配列を有する撮像素子（カラー撮像素子）から出力されるＲＧＢのモザイク画像には、前記基本配列パターンの繰り返し周期に対応する固定パターンが発生する。
　図１Ｂは、上記固定パターンを低減するためのフィルタのフィルタ係数を示している。
　図１Ｂに示すフィルタは、基本配列パターン（固定パターン）のサイズよりも大きい９×９のフィルタサイズを有している。また、フィルタサイズを３×３のエリアに９分割した場合、各エリアのフィルタ係数の割当ては、中央部のエリアのフィルタ係数は４、その上下左右のエリアのフィルタ係数は２、４隅のエリアのフィルタ係数は１になっている。すなわち、フィルタ係数は、フィルタの中央付近に重み付けされている（フィルタの中央部に近い画素ほどフィルタ係数が大きくなるように設定されている。）。
　また、図２Ａに示すように、６×６画素の基本配列パターンを３×３に４分割し、各エリアをＡ、Ｂ、Ｃ、Ｄとすると、各エリアＡ～Ｄと、９×９のフィルタを９分割した各エリアとの関係は、図２Ｂに示すようになる。
　即ち、フィルタの９分割されたエリアのうちの中央部のエリアに、基本配列パターンのエリアＤが対応している場合、中央部の上下のエリアは、基本配列パターンのエリアＢが対応する。そして、中央部の左右のエリアは、基本配列パターンのエリアＣが対応する。４隅のエリアは、基本配列パターンのエリアＡが対応する。
　ここで、フィルタ上のエリアＡ、Ｂ、Ｃ、Ｄの数は、それぞれ４：２：２：１になっている。一方、各エリアＡ、Ｂ、Ｃ、Ｄにおけるフィルタ係数は、それぞれ１：２：２：４になっている。即ち、各エリアＡ、Ｂ、Ｃ、Ｄに対応するフィルタ係数の合計は、４×１＝４、２×２＝４、２×２＝４、１×４＝４となり、全て同一になる。
　これにより、上記フィルタのフィルタ係数と前記カラーフィルタ配列に対応するモザイク画像の画素値との畳み込み演算を行うと、基本配列パターンの各エリアＡ、Ｂ、Ｃ、Ｄに対して均一のフィルタ係数が掛けられて平滑化されることになる。基本配列パターンの繰り返し周期に起因する固定パターンを低減することができる。
　また、図１Ｂに示したように９×９のフィルタにおけるフィルタ係数は、中央付近に重み付けされているため、フィルタ処理された画像のディテールが失われないようにすることができる。
　＜第２の実施形態＞
　図３は、撮像素子に配置されたモザイク状のカラーフィルタ配列の他の例と、これに対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図である。
　図３に示すカラーフィルタ配列は、３×３画素に対応する正方配列パターンからなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。尚、図３に示す基本配列パターンは、図１Ａに示した３×３画素のａ配列に対応している。
　一方、固定パターンを低減するためのフィルタは、５×５のフィルタサイズを有している。また、このフィルタは、中央付近に重み付けされたフィルタ係数を有し、かつ３×３画素の基本配列パターン上で同じ位置関係にある画素に対応する、５×５のフィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。
　図４Ａは上記５×５のフィルタのフィルタ係数を示している。
　図４Ｂに示すように、このフィルタ上の列ｊ１と列ｊ４の組と、列ｊ２と列ｊ５の組は、基本配列パターン上で同じ位置関係にある。これらの列に割り当てられたフィルタ係数を加算すると、図４Ｂの右側に示す列（ｊ１＋ｊ４）および列（ｊ２＋ｊ５）のようなフィルタ係数が得られる。
　また、このフィルタ上の行ｉ１と行ｉ４の組と、行ｉ２と行ｉ５の組は、基本配列パターン上で同じ位置関係にある。これらの行（図４Ｂの右側の加算後のフィルタ係数の行）に割り当てられたフィルタ係数を加算すると、図４Ｃの右側に示す行（ｉ１＋ｉ４）および行（ｉ２＋ｉ５）のようなフィルタ係数が得られる。
　上記のように５×５のフィルタ係数を上記の手順により加算した、基本配列パターン上の各位置に対応するフィルタ係数は、全て４になる。
　例えば、フィルタの行をｉｍ，ｉ（ｍ－１），…，ｉ１，ｉ０（フィルタ中央部に位置しており、フィルタ係数の配列が一致する１または複数の行），ｉ－１，…，ｉ－（ｍ－１），ｉ－ｍとし、列をｊｎ，ｊ（ｎ－１），…，ｊ１，ｊ０（フィルタ中央部に位置しており、フィルタ係数の配列が一致する１または複数の列），ｊ－１，…，ｊ－（ｎ－１），ｊ－ｎとする。このフィルタにおいて、中央の列ｊ０を挟んで所定の位置関係にある列のフィルタ係数を加算し、（ｊｎ＋ｊ－１），（ｊ（ｎ－１）＋ｊ－２），…，（ｊ１＋ｊ－ｎ）を得る。その後、中央の行ｉ０を挟んで所定の位置関係にある行のフィルタ係数を加算し、（ｉｍ＋ｉ－１），（ｉ（ｍ－１）＋ｉ－２），…，（ｉ１＋ｉ－ｍ）を得る。上記加算により得られた（ｍ＋（ｉ０の行数））×（ｎ＋（ｊ０の列数））のフィルタ係数の値はすべて等しくなる。なお、ｍおよびｎが奇数の場合には、（ｊ（ｎ＋１）／２＋ｊ（ｎ＋１）／２）の加算と、（ｉ（ｍ＋１）／２＋ｉ（ｍ＋１）／２）の加算により得られたフィルタ係数の値も、上記フィルタ係数と等しくなる。
　上記フィルタによるフィルタ処理を行うことにより、３×３画素の基本配列パターンの繰り返し周期に起因する固定パターンを低減することができる。また、中央付近に重み付けされたフィルタ係数が割り当てられているため、フィルタ処理された画像のディテールが失われないようにすることができる。
　［撮像装置の第１の実施形態］
　図５は本発明に係る撮像装置の第１の実施形態を示すブロック図である。
　図５に示す撮像装置10-1は、撮像した画像をメモリカード等の記録メディア１２に記録するものである。撮像装置10-1全体の動作は、中央処理装置（ＣＰＵ，Central Processing Unit）１４によって統括制御される。
　ＣＰＵ１４は、図示しないシャッタボタン、電源ボタン等の操作部からの入力信号に基づいて撮像装置10-1の各部を制御する。ＣＰＵ１４は、上記操作部からの入力信号に応じて、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタの表示制御などを行う。
　撮影レンズ１６を通過した被写体光は撮像素子１８の受光面上に結像される。撮像素子１８に結像された被写体像は、光電変換素子によって入射光量に応じた信号電荷に変換される。画像取得部２０は、撮像素子１８の各光電変換素子に蓄積された信号電荷を電圧信号（画像信号）として撮像素子１８から順次読み出し、フィルタ処理部２２に出力する。画像取得部２０からフィルタ処理部２２に出力される画像信号は、撮像素子１８のカラーフィルタ配列に対応したＲ、Ｇ、Ｂのモザイク画像を示すＲ、Ｇ、Ｂ信号（デジタル信号）である。
　尚、撮像素子１８は、ＣＣＤ（Charge Coupled Device）撮像素子に限らず、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像素子などの他の種類の撮像素子であってもよい。
　フィルタ処理部２２は、フィルタ係数算出部２６からＫ×Ｌのフィルタサイズのフィルタ係数が与えられている。フィルタ処理部２２は、画像取得部２０から取得した画像中のフィルタ処理対象の注目画素を基準にして抽出されるＫ×Ｌ画素の画素値と、Ｋ×Ｌのフィルタサイズのフィルタ係数との畳み込み演算を実施して注目画素の画素値を算出する。
　固定パターンサイズ取得部２４は、撮像素子１８の画素構造の繰り返し周期に対応する固定パターンサイズを取得し、この固定パターンサイズを示すサイズ情報をフィルタ係数算出部２６に出力する。尚、固定パターンサイズを示すサイズ情報としては、撮像素子１８の種類に応じて予め設定されたものが入力される。例えば、図１Ｂに示した基本配列パターンを含むカラーフィルタ配列を有する撮像素子の場合には、６×６の固定パターンサイズが入力される。また、図３に示す３×３の基本配列パターンを含むカラーフィルタ配列を有する撮像素子の場合には、３×３の固定パターンサイズが入力される。
　フィルタ係数算出部２６は、固定パターンサイズ取得部２４から入力した固定パターンサイズを示すサイズ情報に基づいて、その固定パターンサイズよりも大きいフィルタサイズのフィルタ係数を算出する。
　例えば、固定パターンサイズが、Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の場合には、フィルタ係数算出部２６は、Ｋ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタサイズに対応するフィルタ係数を算出する。また、フィルタ計数算出部２６は、図１Ａから図４Ｃで説明したように、フィルタ係数が中央付近に重み付けされており、かつ固定パターン上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるようにフィルタ係数を算出する。
　フィルタ処理部２２より固定パターンが低減処理された１画面分のモザイク画像データ（ＲＡＷデータ）は、一旦、メモリ（ＳＤＲＡＭ；Synchronous Dynamic Random Access Memory）２８に入力され、一時的に記憶される。
　メモリ２８に一時的に記憶された画像データは、デジタル信号処理部（図示せず）により適宜読み出される。上記読み出された画像データに対して、ホワイトバランス補正、ガンマ補正、同時化処理（単板式のカラー撮像素子１８のカラーフィルタ配列に伴うＲＧＢのモザイク画像から画素毎にＲＧＢの全ての色情報を算出（同時式に変換）する処理。デモザイク処理ともいう。）、輝度信号Ｙ，色差信号Ｃｒ，Ｃｂを生成するＹＣ処理、輪郭補正、色補正等が行われる。上記の処理が施された後、上記画像データは、ＪＰＥＧ（Joint Photographic Experts Group）規格に準拠した圧縮処理が施され、記録メディア１２に記録される。または、上記画像データは、図示しない液晶モニタに出力されて表示される。
　［画像処理方法の第１の実施形態］
　図６は上記撮像装置10-1における画像処理方法の第１の実施形態を示すフローチャートである。
　図６において、シャッタボタンの操作により撮影指示入力があると、画像取得部２０は、撮影レンズ１６及び撮像素子１８を介して撮像素子１８におけるカラーフィルタ配列に対応するモザイク画像を取得する（ステップＳ１０）。
　一方、固定パターンサイズ取得部２４は、撮像素子１８の画素構造の繰り返し周期に対応する固定パターンサイズ（Ｍ×Ｎ）（Ｍ、Ｎ：２以上の整数）を取得し（ステップＳ１２）、この固定パターンサイズ（Ｍ×Ｎ）を示すサイズ情報をフィルタ係数算出部２６に出力する。フィルタ係数算出部２６は、固定パターンサイズ取得部２４から入力した固定パターンサイズ（Ｍ×Ｎ）のサイズ情報に基づいて、その固定パターンサイズよりも大きいフィルタサイズ（Ｋ×Ｌ）（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタ係数を算出する（ステップＳ１４）。尚、フィルタ係数は、予め算出して記憶しておき、記憶したフィルタ係数を使用することが好ましい。
　また、フィルタサイズ（Ｋ×Ｌ）は、固定パターンサイズ（Ｍ×Ｎ）よりも大きい適宜のサイズに設定される。フィルタサイズが大きすぎると、フィルタ処理後の画像のボケが大きくなる。そこで、固定パターンサイズ（Ｍ×Ｎ）に対してフィルタサイズ（Ｋ×Ｌ）は、下記の式（１），（２）に示すように上限を規定しておくことが好ましい。
　Ｍ＜Ｋ＜Ｍ＋１０，Ｎ＜Ｌ＜Ｎ＋１０　　…（１）
　Ｍ＜Ｋ＜Ｍ×2.5，Ｎ＜Ｌ＜Ｎ×2.5　　　…（２）
　続いて、フィルタ処理部２２は、ステップＳ１０で取得したモザイク画像と、ステップＳ１４で算出されたフィルタ係数とに基づいてフィルタ処理を行う（ステップＳ１６）。
　即ち、取得した画像内で注目画素(x,y)を設定し、この注目画素(x,y)を基準にしてＫ×Ｌ画素を抽出する。そして、抽出したＫ×Ｌ画素と、Ｋ×Ｌのフィルタサイズのフィルタ係数との畳み込み演算（積和演算）により、注目画素(x,y)の画素値を算出する。ここで、注目画素(x,y)の色が、Ｇ画素の場合には、Ｋ×Ｌ画素のモザイク画素のうちのＧ画素と、そのＧ画素の位置に対応するフィルタ係数とを使用して畳み込み演算を行う。同様に、注目画素がＲ画素、Ｂ画素の場合も、同じ色の画素と、その画素の位置に対応するフィルタ係数とを使用して畳み込み演算を行う。これにより、フィルタ処理後の画素値を算出する。
　取得したモザイク画像の画像サイズが、Ｗ×Ｈ画素の場合には、注目画素(x,y)の位置を、１≦ｘ≦Ｗ，１≦ｙ≦Ｈの範囲で１画素ずつ移動させながら、上記フィルタ処理を繰り返し実行する。これにより、モザイク画像の全画素についてフィルタ処理を行う。
　上記のようにして固定パターンを低減させるフィルタ処理が行われたモザイク画像は、その後、通常のホワイトバランス補正、ガンマ補正、同時化処理、ＹＣ処理等のデジタル信号処理が行われる（ステップＳ１８）。ＹＣ処理された輝度信号Ｙ及び色差信号は、圧縮処理された後、記録メディア１２に記録される（ステップＳ２０）。
　［撮像装置の第２の実施形態］
　図７は本発明に係る撮像装置の第２の実施形態を示すブロック図である。尚、図５に示した第１の実施形態と共通する部分には、同一の符号を付し、その詳細な説明は省略する。
　図７に示す第２の実施形態の撮像装置10-2は、第１の実施形態の固定パターンサイズ取得部２４及びフィルタ係数算出部２６の代わりに、基本配列パターンサイズ取得部３０及びフィルタ係数算出部３２を備えている点で相違する。
　この基本配列パターンサイズ取得部３０は、撮像素子１８に設けられているモザイク状のカラーフィルタ配列のＲＧＢフィルタの基本配列パターンのサイズ（基本配列パターンサイズ）を取得する。
　例えば、図８に示すカラーフィルタ配列の場合、ＲＧＢフィルタの水平方向及び垂直方向の最小の繰り返しパターンである、内側の太枠で示す基本配列パターンは、６×６画素である。したがって、図８に示すカラーフィルタ配列の基本配列パターンサイズは６×６画素である。
　この基本配列パターン内の同色の画素は、基本配列パターン内の位置に応じて隣接する画素（８画素）の色の組み合わせが異なる。このため、被写体の局所領域の色及び明るさが同じであっても、隣接する画素間の混色により出力信号に段差が生じる。この出力信号の段差が基本配列パターンの周期で繰り返され、固定パターンとなって現れる。したがって、基本配列パターンサイズは、固定パターンサイズと共通する。
　基本配列パターンサイズ取得部３０は、上記基本配列パターンサイズを取得し、この基本配列パターンサイズを示すサイズ情報をフィルタ係数算出部３２に出力する。尚、基本配列パターンサイズを示すサイズ情報としては、撮像素子１８の基本配列パターンに応じて予め設定されたものが入力される。
　フィルタ係数算出部３２は、基本配列パターンサイズ取得部３０から入力した基本配列パターンサイズのサイズ情報に基づいて、その基本配列パターンサイズよりも大きいフィルタサイズのフィルタ係数を算出し、算出したフィルタ係数をフィルタ処理部２２に付与する。
　図８に示す例では、フィルタ係数算出部３２は、８×８のフィルタサイズのフィルタ係数を算出している。また、フィルタ係数は、中央付近に重み付けされたフィルタ係数が割り当てられ、かつ６×６画素の基本配列パターン上で同じ位置関係にある画素に対応する、８×８のフィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。
　フィルタ係数算出部３２により算出されたフィルタ係数を使用したフィルタ処理部２２でのフィルタ処理により、固定パターンを低減することができるとともに、フィルタ処理された画像のディテールが失われないようにすることができる。
　［画像処理方法の第２の実施形態］
　図９は上記撮像装置10-2における画像処理方法の第２の実施形態を示すフローチャートである。尚、図６に示した画像処理方法の第１の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。
　図９に示す第２の実施形態は、図６に示した第１の実施形態のステップＳ１２、Ｓ１４の代わりに、ステップＳ３０、Ｓ３２の処理を行う点で、第１の実施形態と相違する。
　即ち、ステップＳ３０では、撮像素子１８のカラーフィルタ配列の基本パターンサイズ（Ｍ×Ｎ）（Ｍ、Ｎ：２以上の整数）を取得する。ステップＳ３２では、ステップＳ３０で取得した基本パターンサイズ（Ｍ×Ｎ）を、固定パターンサイズ（Ｍ×Ｎ）とし、その固定パターンサイズよりも大きいフィルタサイズ（Ｋ×Ｌ）（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタ係数を算出する。フィルタサイズ（Ｋ×Ｌ）のフィルタ係数は、中央付近に重み付けされたフィルタ係数を割り当て、かつＭ×Ｎ画素の基本配列パターン上で同じ位置関係にある画素に対応する、Ｋ×Ｌのフィルタサイズ内のフィルタ係数の合計が、全て同一になるように算出される。
　［撮像装置の第３の実施形態］
　図１０は本発明に係る撮像装置の第３の実施形態を示すブロック図である。尚、図５に示した第１の実施形態と共通する部分には、同一の符号を付し、その詳細な説明は省略する。
　図１０に示す第３の実施形態の撮像装置10-3は、第１の実施形態の固定パターンサイズ取得部２４及びフィルタ係数算出部２６の代わりに、アンプ共有画素サイズ取得部４０及びフィルタ係数算出部４２を備えている点で相違する。
　このアンプ共有画素サイズ取得部４０は、撮像素子１８の下地に埋め込まれたアンプのアンプ共有画素サイズを取得する。図１１Ａに示すＣＭＯＳ型の撮像素子は、ＣＭＯＳ下地に画素共有アンプが埋め込まれている。図１１Ａに示す例では、２×２の４画素が１つのアンプＡを共有しており、アンプ共有画素サイズは２×２である。この撮像素子の下地構造により、アンプＡに対する画素の位置（アンプＡに対して左上、右上、左下、右下の位置）により出力レベルに差が生じ、下地構造の繰り返し周期に応じた固定パターンが発生する。
　アンプ共有画素サイズ取得部４０は、上記アンプ共有画素サイズを取得し、このアンプ共有画素サイズを示すサイズ情報をフィルタ係数算出部４２に出力する。尚、アンプ共有画素サイズを示すサイズ情報としては、撮像素子１８のアンプ共有画素サイズに応じて予め設定されたものが入力される。
　フィルタ係数算出部４２は、アンプ共有画素サイズ取得部４０から入力したアンプ共有画素サイズのサイズ情報に基づいて、そのアンプ共有画素サイズよりも大きいフィルタサイズのフィルタ係数を算出し、算出したフィルタ係数をフィルタ処理部２２に付与する。
　図１１Ｂに示す例では、図１１Ａに示す２×２のアンプ共有画素サイズに対し、４×４のフィルタサイズのフィルタ係数を算出している。また、フィルタ係数は、中央付近に重み付けされたフィルタ係数が割り当てられ、かつアンプ共有画素サイズの２×２画素上で同じ位置関係にある画素に対応する、４×４のフィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。
　フィルタ係数算出部４２により算出されたフィルタ係数を使用したフィルタ処理部２２でのフィルタ処理により、アンプ共有画素サイズに対応する固定パターンを低減することができる。また、フィルタ処理された画像のディテールが失われないようにすることができる。
　［画像処理方法の第３の実施形態］
　図１２は上記撮像装置10-3における画像処理方法の第３の実施形態を示すフローチャートである。尚、図６に示した画像処理方法の第１の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。
　図１２に示す第３の実施形態は、図６に示した第１の実施形態のステップＳ１２、Ｓ１４の代わりに、ステップＳ４０、Ｓ４２の処理を行う点で、第１の実施形態と相違する。
　即ち、ステップＳ４０では、撮像素子１８のアンプ共有画素サイズ（Ｍ×Ｎ）（Ｍ、Ｎ：２以上の整数）を取得する。ステップＳ４２では、ステップＳ４０で取得したアンプ共有画素サイズ（Ｍ×Ｎ）を、固定パターンサイズ（Ｍ×Ｎ）とし、その固定パターンサイズよりも大きいフィルタサイズ（Ｋ×Ｌ）（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタ係数を算出する。フィルタサイズ（Ｋ×Ｌ）のフィルタ係数は、中央付近に重み付けされたフィルタ係数を割り当て、かつアンプ共有画素サイズのＭ×Ｎ画素上で同じ位置関係にある画素に対応する、Ｋ×Ｌのフィルタサイズ内のフィルタ係数の合計が、全て同一になるように算出される。
　［撮像装置の第４の実施形態］
　図１３は本発明に係る撮像装置の第４の実施形態を示すブロック図である。尚、図５に示した第１の実施形態と共通する部分には、同一の符号を付し、その詳細な説明は省略する。
　図１３に示す第４の実施形態の撮像装置10-4は、第１の実施形態の固定パターンサイズ取得部２４及びフィルタ係数算出部２６の代わりに、基本配列パターンサイズ取得部５０、アンプ共有画素サイズ取得部５２、固定パターンサイズ算出部５４、及びフィルタ係数算出部５６を備えている点で相違する。
　基本配列パターンサイズ取得部５０及びアンプ共有画素サイズ取得部５２は、それぞれ図７に示した第２の実施形態の基本配列パターンサイズ取得部３０、及び図１０に示した第３の実施形態のアンプ共有画素サイズ取得部４０と同様に基本配列パターンサイズ及びアンプ共有画素サイズを取得する。
　固定パターンサイズ算出部５４は、基本配列パターンサイズ取得部５０及びアンプ共有画素サイズ取得部５２から入力する基本配列パターンサイズ及びアンプ共有画素サイズに基づいて固定パターンサイズを算出し、算出した固定パターンサイズを示す情報をフィルタ係数算出部５６に出力する。
　図１４Ａ及び図１４Ｂに示すように基本配列パターンサイズが３×３画素、アンプ共有画素サイズが２×２画素の場合、固定パターンサイズ算出部５４は、これらのサイズの水平方向及び垂直方向のサイズの最小公倍数である６×６画素を固定パターンサイズとして算出する。これは、基本配列パターンに対応する固定パターンと、アンプ共有画素に対応する固定パターンとは、これらの固定パターンの最小公倍数の固定パターンを有するからである。
　フィルタ係る数算出部５６は、固定パターンサイズ算出部５４が算出した固定パターンサイズのサイズ情報に基づいて、その固定パターンサイズよりも大きいフィルタサイズのフィルタ係数を算出し、算出したフィルタ係数をフィルタ処理部２２に付与する。
　図１５に示す例では、６×６の固定パターンサイズに対し、８×８のフィルタサイズのフィルタ係数を算出している。また、フィルタ係数は、中央付近に重み付けされたフィルタ係数が割り当てられ、かつ固定パターンサイズの６×６画素上で同じ位置関係にある画素に対応する、８×８のフィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。
　フィルタ係数算出部５６により算出されたフィルタ係数を使用したフィルタ処理部２２でのフィルタ処理により、固定パターンを低減することができる。さらに、本実施形態によれば、フィルタ処理された画像のディテールが失われないようにすることができる。
　［画像処理方法の第４の実施形態］
　図１６は上記撮像装置10-4における画像処理方法の第４の実施形態を示すフローチャートである。尚、図６に示した画像処理方法の第１の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。
　図１６に示す第４の実施形態は、図６に示した第１の実施形態のステップＳ１２、Ｓ１４の代わりに、ステップＳ５０～Ｓ５６の処理を行う点で、第１の実施形態と相違する。
　即ち、ステップＳ５０では、撮像素子１８のカラーフィルタ配列の基本パターンサイズを取得し、ステップＳ５２では、撮像素子１８のアンプ共有画素サイズを取得する。
　ステップＳ５０、Ｓ５２で取得した基本パターンサイズ及びアンプ共有画素サイズの最小公倍数を、固定パターンサイズ（Ｍ×Ｎ）として算出する（ステップＳ５４）。ステップＳ５６では、ステップＳ５４で算出された固定パターンサイズよりも大きいフィルタサイズ（Ｋ×Ｌ）（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタ係数を算出する。フィルタサイズ（Ｋ×Ｌ）のフィルタ係数は、中央付近に重み付けされたフィルタ係数を割り当て、かつアンプ共有画素サイズのＭ×Ｎ画素上で同じ位置関係にある画素に対応する、Ｋ×Ｌのフィルタサイズ内のフィルタ係数の合計が、全て同一になるように算出される。
　［撮像装置の第５の実施形態］
　図１７は本発明に係る撮像装置の第５の実施形態を示すブロック図である。尚、図５に示した第１の実施形態と共通する部分には、同一の符号を付し、その詳細な説明は省略する。
　図１７に示す第５の実施形態の撮像装置10-5は、第１の実施形態の固定パターンサイズ取得部２４とフィルタ係数算出部２６との間に、フィルタサイズ算出部６０が追加されている点で相違する。
　固定パターンサイズ取得部２４は、撮像素子１８の画素構造の繰り返し周期に対応する固定パターンサイズを取得し、この固定パターンサイズを示すサイズ情報をフィルタサイズ算出部６０に出力する。例えば、図１８Ａに示すように３×３画素の基本配列パターンを含むカラーフィルタ配列を有する撮像素子の場合には、３×３の固定パターンサイズを示すサイズ情報をフィルタサイズ算出部６０に出力する。
　フィルタサイズ算出部６０は、固定パターンサイズ取得部２４から入力した固定パターンサイズを示すサイズ情報に基づいて、その固定パターンサイズよりも大きいフィルタサイズを算出する。即ち、固定パターンサイズが、Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の場合には、フィルタサイズ算出部６０は、Ｋ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタサイズを算出する。図１８Ａに示すように３×３画素の基本配列パターン（固定パターンサイズ）の場合には、図１８Ｂに示すように３×３よりも大きなフィルタサイズ（例えば、５×５）を算出する。
　フィルタ係数算出部２６は、フィルタサイズ算出部６０から入力したフィルタサイズ（Ｋ×Ｌ）に対応するフィルタ係数を算出する。図１８Ｂに示す例では、５×５のフィルタ係数を算出している。また、フィルタ係数は、中央付近に重み付けされたフィルタ係数が割り当てられ、かつ３×３画素の基本配列パターン上で同じ位置関係にある画素に対応する、５×５のフィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。
　フィルタ係数算出部２６により算出されたフィルタ係数を使用したフィルタ処理部２２でのフィルタ処理により、固定パターンを低減することができる。さらに、フィルタ処理された画像のディテールが失われないようにすることができる。
　［画像処理方法の第５の実施形態］
　図１９は上記撮像装置10-5における画像処理方法の第５の実施形態を示すフローチャートである。尚、図６に示した画像処理方法の第１の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。
　図１９に示す第５の実施形態は、図６に示した第１の実施形態のステップＳ１４の代わりに、ステップＳ６０、Ｓ６２の処理を行う点で、第１の実施形態と相違する。
　即ち、ステップＳ６０では、ステップＳ１２で取得した固定パターンサイズ（Ｍ×Ｎ）に基づいて、その固定パターンサイズよりも大きいフィルタサイズ（Ｋ×Ｌ）（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）を算出する。ステップＳ６２では、ステップＳ６０で算出されたフィルタサイズに対応するフィルタ係数を算出する。フィルタサイズ（Ｋ×Ｌ）のフィルタ係数は、中央付近に重み付けされたフィルタ係数を割り当て、かつ固定パターンのＭ×Ｎ画素上で同じ位置関係にある画素に対応する、Ｋ×Ｌのフィルタサイズ内のフィルタ係数の合計が、全て同一になるように算出される。
　［その他］
　上記実施形態では、フィルタ係数算出部によりフィルタ係数を算出している。なお、撮像装置の撮像素子が決定すると、その撮像素子の画素構造の繰り返し周期に対応する固定パターンも決定する。このため、その固定パターンを低減するためのフィルタのフィルタ係数を予め算出することができる。したがって、予め算出したフィルタ係数を不揮発性メモリに記憶させておき、フィルタ処理時に不揮発性メモリからフィルタ係数を読み出すようにしてもよい。
　また、本発明を適用できるカラーフィルタの基本配列パターンとしては、上記実施形態のＲ，Ｇ，Ｂの３色のカラーフィルタに限定されるものではなく、少なくとも３色のカラーフィルタを含む基本配列パターンであればよい。４色以上の複数色のカラーフィルタ、例えば、Ｒ，Ｇ，ＢにＥ（エメラルド）、Ｗ（ホワイト）フィルタなどのフィルタが加えられたものに対しても、本発明を適用することができる。その場合、基本配列パターンのサイズ（Ｍ×Ｎ）は、Ｍ、Ｎが３以上の整数となる。
　また、所定の画素群毎に共有アンプを有する撮像素子の例として、ＣＭＯＳ型の撮像素子を挙げたが、本発明はＣＭＯＳ型の撮像素子に限らず、ＭＯＳ型、ＸＹアドレス型の撮像素子にも適用できる。
　また、本実施形態では、固定パターンの低減処理を含む画像処理装置を有する撮像装置について説明したが、外部の画像処理装置により固定パターンの低減処理を含む画像処理を行うようにしてもよい。この場合、撮像装置では、画像処理を施していないモザイク画像（ＲＡＷデータ）を記録し、このＲＡＷデータを外部の画像処理装置によりＲＡＷ現像する際に、本発明による固定パターンの低減処理を行うようにしてもよい。また、本発明による固定パターンの低減処理を含む画像処理プログラムおよび該画像処理プログラムを記録した記録媒体を、撮像装置専用のＲＡＷ現像ソフトウエアに組み込むようにしてもよい。
　更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　10-1,10-2,10-3,10-4,10-5…撮像装置、１２…記録メディア、１４…中央処理装置（ＣＰＵ）、１６…撮影レンズ、１８…撮像素子、２０…画像取得部、２２…フィルタ処理部、２４…固定パターンサイズ取得部、２６、３２、４２、５６…フィルタ係数算出部、３０、５０…基本配列パターンサイズ取得部、４０、５２…アンプ共有画素サイズ取得部、５４…固定パターンサイズ算出部、６０…フィルタサイズ算出部

Claims (15)

  1. 　Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する画像取得手段と、
    　Ｋ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記画像取得手段により取得した画像中の注目画素を基準にして抽出されるＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出するフィルタ処理手段とを備え、
    　前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の画素構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている画像処理装置。
  2. 　前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置されたカラー撮像素子であり、
    　前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の基本配列パターンに対応するものである請求項１に記載の画像処理装置。
  3. 　前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、
    　前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の画素群に対応するものである請求項１に記載の画像処理装置。
  4. 　前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置され、かつ所定の画素群毎にアンプを共有する素子構造を有するカラー撮像素子であり、
    　前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の基本配列パターンと前記所定の画素群との最小公倍数の周期となるものである請求項１に記載の画像処理装置。
  5. 　前記基本配列パターンは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタを含み、前記基本配列パターンは、Ｎ×Ｎ（Ｎ：３以上の整数）画素に対応する正方配列パターンである請求項２又は４に記載の画像処理装置。
  6. 　前記フィルタ処理手段は、前記フィルタによる処理対象領域のＫ×Ｌ画素中の注目画素と、該注目画素のカラーフィルタと同じ色のカラーフィルタに対応する画素の画素値と、これらの画素に対応する前記フィルタのフィルタ係数との畳み込み演算により前記注目画素の画素値を算出する請求項２、４又は５に記載の画像処理装置。
  7. 　前記撮像素子の画素構造の繰り返し周期であるＭ×Ｎ画素に対応する固定パターンサイズを取得する固定パターンサイズ取得手段と、
    　前記取得した固定パターンサイズに基づいて前記フィルタの中央付近に重み付けされたフィルタ係数を有し、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように前記フィルタ係数を算出するフィルタ係数算出手段とを更に備え、
    　前記フィルタ処理手段は、前記フィルタ係数算出手段により前記算出されたフィルタ係数を取得する請求項１に記載の画像処理装置。
  8. 　前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置されたカラー撮像素子であり、
    　前記固定パターンサイズ取得手段は、前記所定の基本配列パターンのサイズを前記固定パターンサイズとして取得する請求項７に記載の画像処理装置。
  9. 　前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、
    　前記固定パターンサイズ取得手段は、前記アンプを共有する所定の画素群の画像サイズを前記固定パターンサイズとして取得する請求項７に記載の画像処理装置。
  10. 　前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置され、かつ所定の画素群毎にアンプを共有する素子構造を有するカラー撮像素子であり、
    　前記固定パターンサイズ取得手段は、前記所定の基本配列パターンのサイズと前記アンプを共有する所定の画素群の画像サイズとの最小公倍数となるサイズを前記固定パターンサイズとして取得する請求項７に記載の画像処理装置。
  11. 　前記Ｍ×Ｎの固定パターンサイズに基づいて前記Ｋ×Ｌのフィルタサイズを算出するフィルタサイズ算出手段を備え、
    　前記フィルタ係数算出手段は、前記フィルタサイズ算出手段により算出されたフィルタサイズに応じたフィルタ係数を算出する請求項７に記載の画像処理装置。
  12. 　Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する工程と、
    （ａ）前記取得した画像内で注目画素を設定し、該注目画素を基準にしてＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）画素を抽出する工程と、
    （ｂ）Ｋ×Ｌのフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記抽出したＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出する工程と、
    （ｃ）前記取得した画像に対して前記注目画素を１画素ずつ移動させながら前記工程（ａ）及び工程（ｂ）を繰り返し実行する工程とを含み、
    　前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている画像処理方法。
  13. 　Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する機能と、
    （ａ）前記取得した画像内で注目画素を設定し、該注目画素を基準にしてＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）画素を抽出する機能と、
    （ｂ）Ｋ×Ｌのフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記抽出したＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出する機能と、
    （ｃ）前記取得した画像に対して前記注目画素を１画素ずつ移動させながら前記機能（ａ）及び機能（ｂ）を繰り返し実行する機能と、をコンピュータに実行させ、
    　前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている画像処理プログラム。
  14. 　コンピュータ読取可能な非一次的な記録媒体であって、該記録媒体に格納された指令がプロセッサによって読み取られて実行されると、前記プロセッサが、
    　Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する工程と、
    （ａ）前記取得した画像内で注目画素を設定し、該注目画素を基準にしてＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）画素を抽出する工程と、
    （ｂ）Ｋ×Ｌのフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記抽出したＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出する工程と、
    （ｃ）前記取得した画像に対して前記注目画素を１画素ずつ移動させながら前記工程（ａ）及び工程（ｂ）を繰り返し実行する工程とを実行するように構成されており、
    　前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている、記録媒体。
  15. 　撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、
    　前記撮像手段から出力される画像を取得する前記画像画取得手段と、
    　請求項１から１１のいずれか１項に記載の画像処理装置と、
    　を備える撮像装置。
PCT/JP2012/065837 2011-09-29 2012-06-21 画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置 Ceased WO2013046828A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
BR112014004533A BR112014004533A2 (pt) 2011-09-29 2012-06-21 dispositivo de processamento de imagem e método, e dispositivo de imagem
JP2013535990A JP5519083B2 (ja) 2011-09-29 2012-06-21 画像処理装置、方法、プログラムおよび撮像装置
CN201280026611.2A CN103563361B (zh) 2011-09-29 2012-06-21 图像处理设备和方法以及成像设备
EP12836425.4A EP2763417B1 (en) 2011-09-29 2012-06-21 Device, method and program for image processing, recording medium, and imaging device
US14/163,782 US8817141B2 (en) 2011-09-29 2014-01-24 Image processing device and method, recording medium, and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-215057 2011-09-29
JP2011215057 2011-09-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/163,782 Continuation US8817141B2 (en) 2011-09-29 2014-01-24 Image processing device and method, recording medium, and imaging device

Publications (1)

Publication Number Publication Date
WO2013046828A1 true WO2013046828A1 (ja) 2013-04-04

Family

ID=47994890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/065837 Ceased WO2013046828A1 (ja) 2011-09-29 2012-06-21 画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置

Country Status (6)

Country Link
US (1) US8817141B2 (ja)
EP (1) EP2763417B1 (ja)
JP (1) JP5519083B2 (ja)
CN (1) CN103563361B (ja)
BR (1) BR112014004533A2 (ja)
WO (1) WO2013046828A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101503227B1 (ko) 2007-04-11 2015-03-16 레드.컴 인코포레이티드 비디오 카메라
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
JPWO2013084406A1 (ja) * 2011-12-08 2015-04-27 パナソニックＩｐマネジメント株式会社 固体撮像装置及び撮像装置
JP5600812B2 (ja) * 2011-12-28 2014-10-01 富士フイルム株式会社 撮像装置
JP2016508700A (ja) * 2013-02-14 2016-03-22 レッド．コム，インコーポレイテッド ビデオカメラ
JP6729394B2 (ja) * 2015-01-13 2020-07-22 ソニー株式会社 画像処理装置、画像処理方法、プログラム及びシステム
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106604001B (zh) * 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106454288B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
WO2019010233A1 (en) 2017-07-05 2019-01-10 Red. Com, Llc PROCESSING VIDEO IMAGE DATA IN ELECTRONIC DEVICES
CN110365923A (zh) * 2018-04-09 2019-10-22 印象认知（北京）科技有限公司 一种图像传感器
CN112492162B (zh) * 2020-11-30 2022-04-01 维沃移动通信有限公司 图像传感器、摄像模组和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184386A (ja) * 1998-01-08 2000-06-30 Fuji Photo Film Co Ltd 固体撮像装置および信号処理方法
JP2005130241A (ja) * 2003-10-24 2005-05-19 Matsushita Electric Ind Co Ltd 画像信号処理装置及び画像信号処理方法
JP2005136766A (ja) * 2003-10-31 2005-05-26 Sony Corp 画像処理装置および画像処理方法
JP2005167896A (ja) * 2003-12-05 2005-06-23 Matsushita Electric Ind Co Ltd 画像信号処理装置及び画像信号処理方法
JP2007036765A (ja) * 2005-07-28 2007-02-08 Sony Corp 画像処理装置、画像処理方法および撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882364B1 (en) 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
US6222641B1 (en) 1998-07-01 2001-04-24 Electronics For Imaging, Inc. Method and apparatus for image descreening
JP2001148797A (ja) 1999-11-19 2001-05-29 Canon Inc 画像信号処理装置及び方法
JP4139587B2 (ja) * 2001-12-13 2008-08-27 大日本印刷株式会社 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法
US20060119724A1 (en) 2004-12-02 2006-06-08 Fuji Photo Film Co., Ltd. Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method
DE102006038646B4 (de) * 2006-08-17 2011-03-24 Baumer Optronic Gmbh Bildverarbeitungsvorrichtung für Farb-Bilddaten
WO2008067472A2 (en) * 2006-11-29 2008-06-05 President And Fellows Of Harvard College A new spatio-spectral sampling paradigm for imaging and a novel color filter array design
JP2010239492A (ja) 2009-03-31 2010-10-21 Olympus Corp 撮像装置および映像信号のノイズ低減方法
JP2011171885A (ja) * 2010-02-17 2011-09-01 Renesas Electronics Corp 画像処理装置及び画像処理方法
JP5054857B1 (ja) 2011-02-28 2012-10-24 富士フイルム株式会社 カラー撮像装置
JP5378627B2 (ja) * 2011-03-11 2013-12-25 富士フイルム株式会社 撮像装置およびその動作制御方法ならびに撮像システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184386A (ja) * 1998-01-08 2000-06-30 Fuji Photo Film Co Ltd 固体撮像装置および信号処理方法
JP2005130241A (ja) * 2003-10-24 2005-05-19 Matsushita Electric Ind Co Ltd 画像信号処理装置及び画像信号処理方法
JP2005136766A (ja) * 2003-10-31 2005-05-26 Sony Corp 画像処理装置および画像処理方法
JP2005167896A (ja) * 2003-12-05 2005-06-23 Matsushita Electric Ind Co Ltd 画像信号処理装置及び画像信号処理方法
JP2007036765A (ja) * 2005-07-28 2007-02-08 Sony Corp 画像処理装置、画像処理方法および撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2763417A4 *

Also Published As

Publication number Publication date
JPWO2013046828A1 (ja) 2015-03-26
US20140139709A1 (en) 2014-05-22
CN103563361A (zh) 2014-02-05
US8817141B2 (en) 2014-08-26
EP2763417A4 (en) 2015-08-19
BR112014004533A2 (pt) 2017-03-28
JP5519083B2 (ja) 2014-06-11
EP2763417A1 (en) 2014-08-06
CN103563361B (zh) 2015-04-29
EP2763417B1 (en) 2019-02-27

Similar Documents

Publication Publication Date Title
JP5519083B2 (ja) 画像処理装置、方法、プログラムおよび撮像装置
JP5872408B2 (ja) カラー撮像装置及び画像処理方法
WO2012117583A1 (ja) カラー撮像装置
WO2012117616A1 (ja) 撮像装置及び欠陥画素補正方法
JP5597777B2 (ja) カラー撮像素子及び撮像装置
JP4905279B2 (ja) 撮像回路および撮像装置
JP4305071B2 (ja) 信号補正方法
JP5600813B2 (ja) 画像処理装置及び撮像装置
WO2012147515A1 (ja) 撮像装置及び撮像方法
JP5607265B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JPH09238355A (ja) 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置
JP5411390B2 (ja) カラー撮像素子
JP5607266B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
WO2013001869A1 (ja) 撮像装置及び撮像プログラム
JP4270892B2 (ja) 偽色低減装置
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5363966B2 (ja) 撮像装置
JP5607267B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP2012227869A (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
WO2013100095A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12836425

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013535990

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012836425

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014004533

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014004533

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140226