WO2007145099A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2007145099A1
WO2007145099A1 PCT/JP2007/061362 JP2007061362W WO2007145099A1 WO 2007145099 A1 WO2007145099 A1 WO 2007145099A1 JP 2007061362 W JP2007061362 W JP 2007061362W WO 2007145099 A1 WO2007145099 A1 WO 2007145099A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
correction
unit
conversion
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2007/061362
Other languages
English (en)
French (fr)
Inventor
Jun Takayama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to EP07744714A priority Critical patent/EP2028846A4/en
Priority to JP2008521157A priority patent/JP5012796B2/ja
Priority to US12/304,175 priority patent/US7956903B2/en
Publication of WO2007145099A1 publication Critical patent/WO2007145099A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/575—Control of the dynamic range involving a non-linear response with a response composed of multiple slopes

Definitions

  • the present invention relates to an imaging apparatus having an imaging element that converts incident light into an electrical signal.
  • an imaging device such as a digital camera has been provided with an imaging element having a plurality of pixels that convert incident light into an electrical signal.
  • image sensors having a plurality of types of photoelectric conversion characteristics have been proposed.
  • an imaging device having a plurality of types of photoelectric conversion characteristics for example, a linear log that switches between a linear conversion operation that linearly converts incident light into an electrical signal and a logarithmic conversion operation that performs logarithmic conversion based on the amount of incident light!
  • a conversion type sensor see Patent Document 1. According to this, the dynamic range of the electrical signal is wide compared to an image sensor that performs only linear conversion operation, so the brightness range is wide! ⁇ Even when a subject is photographed, all luminance information can be expressed as an electrical signal.
  • Patent Document 1 Japanese Patent Laid-Open No. 11-298799
  • Patent Document 2 JP-A-5-30350
  • An object of the present invention is to provide an imaging apparatus capable of accurately performing characteristic conversion for converting an output signal of an imaging element into a state that is uniformly converted by one characteristic.
  • the invention according to claim 1 is an imaging device, and includes an imaging device having a plurality of pixels that convert incident light into an electrical signal by a plurality of types of conversion characteristics, and A signal processing unit that performs signal processing on the output signal, and the signal processing unit is configured to change the input / output characteristics of the image sensor due to at least one driving condition of the image sensor.
  • a fluctuation correction unit that performs fluctuation correction of an output signal of the imaging element; and a characteristic conversion unit that converts the output signal of the imaging element into a state uniformly converted by a single conversion characteristic, and the fluctuation correction unit.
  • a first correction unit that performs variation correction based on an arithmetic expression that models the plurality of types of conversion characteristics, and an output signal that is subjected to variation correction by the first correction unit.
  • Imaging the output signal in the vicinity of the switching point Characterized in that it comprises a second correction unit that corrects using a model equation of the two characteristics of both sides of the switching point so as to overlap with the characteristics of the child.
  • driving conditions for the image sensor include an external condition and an imaging condition.
  • External conditions include temperature
  • imaging conditions include pixel exposure time and control voltage.
  • the at least one driving condition of the image sensor is satisfied.
  • the fluctuation correction of the electrical signal that also outputs this image sensor force is performed, so even if the input / output characteristics fluctuate depending on the driving conditions, In contrast, the deviation between the output value under the reference drive condition and the actual output value of the image sensor is corrected. Therefore, it is possible to unify the electrical signal into a state that has been accurately linearly converted or logarithmically converted by characteristic conversion.
  • the first correction unit can easily and quickly perform fluctuation correction based on the modeled arithmetic expression, and perform fluctuation correction based on the arithmetic expression that models the output signal of each characteristic. Since the output signal of the actual image sensor changes in a smooth curve in the vicinity of the switching point, a correction error with the output signal model occurs. By correcting the output signal using two characteristic model equations on both sides of the switching point, it is possible to suppress conversion errors and improve image quality degradation.
  • the invention described in claim 2 is the imaging apparatus according to claim 1, wherein the first correction unit includes a coefficient deriving unit for deriving a correction coefficient, and the correction coefficient. And an arithmetic processing unit that performs the fluctuation correction.
  • deriving the correction coefficient may be to calculate the correction coefficient or to select medium force of a plurality of correction coefficients.
  • the invention described in claim 3 is the imaging apparatus according to claim 2, wherein the coefficient deriving unit derives the correction coefficient based on the driving condition by one step. It is characterized by this.
  • the coefficient deriving unit since the coefficient deriving unit derives the correction coefficient based on the driving condition, the arithmetic processing unit uses the derived correction coefficient, resulting in the driving condition. It is possible to accurately correct fluctuations in the input / output characteristics of the imaging device.
  • the invention described in claim 4 is the imaging device according to claim 2 or claim 3, wherein the coefficient deriving unit includes the driving condition, pixel information about the pixel, and The correction coefficient is derived for each pixel based on the calculation processing unit, and It is characterized by performing the fluctuation correction.
  • the pixel information unique information such as the ID number of the pixel, position information in the image sensor, or the like can be used.
  • the arithmetic processing unit uses the derived correction coefficient to drive Variations in the input / output characteristics of the image sensor due to conditions and pixels can be corrected accurately.
  • the invention according to claim 5 is the imaging apparatus according to any one of claims 2 to 4, wherein the coefficient deriving unit inputs at least the driving condition.
  • a lookup table for deriving the correction coefficient is provided.
  • the invention according to claim 6 is the imaging apparatus according to any one of claims 2 to 4, wherein the coefficient deriving unit inputs at least the driving condition. Therefore, an arithmetic unit for deriving the correction coefficient is provided.
  • the invention according to claim 7 is the imaging apparatus according to claim 1, wherein the first correction unit includes the drive condition and an output signal of the image sensor. It is provided with a look-up table for deriving the electric signal after the fluctuation correction by input.
  • the fluctuation correction unit since the fluctuation correction unit derives the electric signal after the fluctuation correction based on the driving condition, the fluctuation of the input / output characteristics of the image sensor due to the driving condition is reduced. It can be corrected accurately.
  • the invention according to claim 8 is the imaging device according to claim 7, wherein the lookup table includes the driving condition, pixel information about the pixel, and The variation-corrected electrical signal is derived by inputting the output signal of the image sensor.
  • the invention according to claim 9 is the imaging apparatus according to claim 1, wherein the second correction unit switches between the plurality of types of conversion characteristics for each of the driving conditions.
  • the output signal in the vicinity of the switching point is corrected according to the point.
  • the switching point of the plurality of types of conversion characteristics varies depending on the drive conditions of the imaging element, and the output of the region near the switching point according to the switching point. By correcting the signal, the conversion error can be more effectively suppressed.
  • the invention according to claim 10 is the imaging apparatus according to claim 1 or 9, wherein the second correction unit is configured to input an output signal in the vicinity of the switching point. Is provided with a look-up table for deriving an output signal corrected using a model expression of two characteristics on both sides of the switching point so as to overlap with the characteristics of the image sensor.
  • the invention described in claim 11 is the imaging apparatus according to any one of claims 1 to 10, wherein a plurality of the variation correction units are associated with each pixel. It is characterized by being prepared.
  • the invention described in claim 12 is the imaging apparatus according to any one of claims 1 to 11, wherein a plurality of the characteristic conversion units are associated with each pixel. Ready It is characterized by that.
  • the characteristic converter is provided in association with each pixel, even if the conversion characteristics of photoelectric conversion differ from pixel to pixel, the entire electrical signal is converted. It is possible to unify into an accurately linearly transformed state or a logarithmic transformed state.
  • the invention according to claim 13 is the imaging device according to any one of claims 1 to 12, wherein the switching points at the switching points of the plurality of types of conversion characteristics are as follows.
  • a deriving unit for deriving a signal value wherein the signal processing unit receives the plurality of output signals from the image sensor based on the magnitude of the signal value of the output signal from the image sensor and the switching point signal value. The signal processing is performed only when the electric signal is converted by any one of the types of conversion characteristics.
  • the signal processing unit is only provided when the output signal of the image sensor is an electrical signal converted by any one of a plurality of types of conversion characteristics. Since signal processing is performed, signal processing such as characteristic conversion and fluctuation correction is not performed when it is not necessary to make a conversion by the other conversion characteristic. Therefore, it is possible to save time and effort for performing signal processing, and it is possible to speed up the processing.
  • the invention according to claim 14 is the imaging device according to claim 13, wherein the deriving unit derives the switching point signal value based on the driving condition. It is a sign.
  • the switching point signal value can be accurately derived.
  • the invention according to claim 15 is the imaging device according to claim 13 or 14, wherein the derivation unit is based on the driving condition and pixel information on the pixel. Then, the switching point signal value is derived.
  • the switching point signal value is derived based on the driving condition and the pixel information, the switching point signal value can be accurately derived.
  • the invention according to claim 16 is the imaging device according to claim 14 or 15, wherein the derivation unit is configured to transmit the switching point signal at least by an input of the driving condition.
  • a lookup table for deriving a sign value is provided.
  • the switching point signal value is derived by the lookup table
  • the configuration of the deriving unit is simplified and derived as compared with the case of deriving by calculation. Processing can be speeded up.
  • the invention according to claim 17 is the imaging device according to claim 14 or 15, wherein the derivation unit is configured to input the switching point signal based on at least the input of the driving condition.
  • An arithmetic unit for deriving a value is provided.
  • the invention according to claim 18 is the imaging apparatus according to any one of claims 1 to 17, wherein the driving condition includes a temperature at the time of photographing, and the pixel.
  • the exposure time is at least one of a control voltage for the pixel.
  • the invention according to claim 19 is the imaging device according to any one of claims 1 to 18, wherein the plurality of pixels linearly convert incident light into an electrical signal.
  • the linear conversion characteristic and the logarithmic conversion characteristic for logarithmically converting incident light into an electrical signal are configured to be switchable according to the amount of incident light.
  • the electrical signal is accurately linearly converted or logarithmically converted by the characteristic conversion. It becomes possible to unify to the state.
  • fluctuation correction can be performed easily and at high speed, and the output signal in the vicinity of the switching point can be corrected using the model equations for the two characteristics on both sides of the switching point in accordance with the characteristics of the actual image sensor. It is possible to suppress conversion errors and improve image quality degradation.
  • the input / output of the image sensor caused by the drive condition It becomes possible to correct the fluctuation of the characteristics accurately.
  • the switching point signal value can be accurately derived.
  • the structure of the derivation unit is determined by a lookup table. It is possible to simplify the configuration and speed up the derivation process.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to the present invention.
  • FIG. 2 is a block diagram showing a configuration of an image sensor.
  • FIG. 3 is a circuit diagram showing a configuration of a pixel.
  • FIG. 4 is a diagram for explaining operations of a pixel and a linear key section.
  • FIG. 5 is a diagram showing the relationship between exposure time and inflection point.
  • FIG. 6 is a diagram showing the relationship between the control voltage and the inflection point.
  • FIG. 7 is a block diagram showing a signal processing unit and an inflection signal deriving unit.
  • FIG. 8 is a diagram showing a correction coefficient a.
  • FIG. 9 is a graph showing an example of characteristics of an image sensor and an output signal model.
  • FIG. 10 is a graph showing an example of image sensor characteristics and an output signal model.
  • FIG. 11 is a graph showing an example of characteristics of an image sensor and an output signal model.
  • FIG. 12 is a graph showing an example of characteristics of an image sensor and an output signal model.
  • FIG. 13 is a graph showing an example of characteristics of an image sensor and an output signal model.
  • FIG. 14 is a graph showing the characteristics of the image sensor.
  • FIG. 15 is a graph showing a mixing ratio of a linear conversion signal and a logarithmic conversion signal.
  • FIG. 16 is a flowchart showing processing for fluctuation correction and characteristic conversion.
  • FIG. 1 is a block diagram showing a schematic configuration of the imaging apparatus 1 of the present embodiment.
  • the imaging apparatus 1 includes an imaging element 4 that receives incident light via a lens group 2 and a diaphragm 3.
  • the lens group 2 and the aperture stop 3 conventionally known lenses are used.
  • the image sensor of the present invention is an image sensor having a plurality of pixels that convert incident light into an electric signal by a plurality of types of conversion characteristics, and an output signal of the plurality of conversion characteristics is transmitted via a switching point. It is designed to change continuously.
  • the image pickup device 4 of the present embodiment is configured as a linear log conversion type sensor that switches between a linear conversion operation for linearly converting incident light into an electrical signal and a logarithmic conversion operation for logarithmic conversion based on the amount of incident light. Yes.
  • the output signal of the image sensor 4 continuously changes from the linear area to the log area via the inflection point.
  • “inflection point” means the boundary between linear conversion operation and logarithmic conversion operation, and is a term that is a subordinate concept of “switching point” of the output signal of an image sensor having multiple types of conversion characteristics. .
  • the image sensor 4 includes a plurality of pixels G arranged in a matrix (matrix arrangement).
  • n and m are integers of 1 or more.
  • a filter (not shown) of one color of (Blue) is arranged. Note that other colors such as cyan, magenta, and yellow are applied to pixels G-G.
  • a filter may be provided.
  • the pixels G to G include power supply lines 5 and signal application lines L to
  • G to G are the power to which lines such as clock lines and bias supply lines are also connected.
  • the signal application lines L to L, L to L, and L to L are connected to the pixels G to G with a signal ⁇
  • a vertical scanning circuit 6 is connected to L and L to L. This vertical scanning circuit 6
  • the electric signals generated by the pixels G to G are derived from the signal readout lines L to L.
  • the selection circuits S to S apply pixels G to G through the signal readout lines L to L, respectively.
  • a horizontal scanning circuit 7 and a correction circuit 8 are connected to the selection circuits S to S. Horizontal scanning times
  • the path 7 includes selection circuits S to S that sample and hold the electric signal and transmit the signal to the correction circuit 8.
  • the correction circuit 8 also sends the selection circuit S to S power.
  • the noise signal is removed from the electric signal based on the noise signal received and the electric signal at the time of imaging.
  • One correction circuit 8 is provided for each S.
  • Each pixel G to G includes a photodiode P and transistors T to T as shown in FIG.
  • a signal application line L (corresponding to L to L in Fig. 2) is connected to the source ⁇ of the transistor ⁇ .
  • the signal application line L force is also input to the signal ⁇ .
  • the signal ⁇ is a binary voltage signal. More specifically, when the incident light intensity exceeds a predetermined value,
  • a DC voltage V is applied to the drain T of the transistor T, and the transistor T
  • the source T of T is connected to the drain T of the row selection transistor T.
  • a signal application line L (corresponding to L to L in FIG. 2) is connected to the gate T of the transistor T.
  • the signal application line L force is also connected to the signal ⁇ .
  • the source T of the transistor T is connected to the signal readout line L (corresponding to L to L in FIG. 2).
  • each of the pixels G to G photoelectrically converts incident light and outputs an electrical signal.
  • the pixels G to G of the present embodiment are based on the amount of incident light, and the electrical signal
  • the linear conversion operation for linearly converting the incident light is performed for the incident light quantity less than the predetermined incident light quantity th, as shown by the solid line in FIG.
  • a logarithmic conversion operation for logarithmically converting the incident light is performed.
  • FIG. 4 illustrates an example of the pixel G that converts incident light into an electrical signal using two types of conversion characteristics, a linear conversion characteristic and a logarithmic conversion characteristic
  • the present invention is not limited to this.
  • a pixel having three types of conversion characteristics of two linear conversion characteristics and one logarithmic conversion characteristic with different inclinations may be used.
  • the boundary at which the linear conversion operation and the logarithmic conversion operation are switched are the driving conditions of the pixels G to G in the imaging element 4, such as the exposure time and the control voltage at the time of shooting.
  • the ratio of luminance that is, the ratio of subject luminance for linear conversion increases.
  • the proportion of the linear conversion operation increases as the exposure time decreases.
  • the control voltage for the imaging element 4 that is, the difference between the voltage value VL and the voltage value VH of the signal ⁇ is large.
  • the ratio of subject luminance to be linearly converted also increases when the temperature is low or when the temperature is low. Therefore, by changing the control voltage, exposure time, temperature, etc., the dynamic range of the image signal, the predetermined incident light intensity th at the switching point, i.e., the inflection point, and the output signal value at the switching point (switching point) Signal value), that is, the output signal value at the inflection point (hereinafter referred to as the inflection output signal value H) can be controlled.
  • the luminance range of the subject is narrow! In this case, the voltage value VL is lowered to widen the luminance range for linear conversion, and when the subject has a wide luminance range, the voltage value VL is increased to widen the logarithmic conversion luminance range.
  • the pixels G to G are always linearly converted, and when the voltage value VL is maximized, the image is always displayed.
  • the primes G to G can be logarithmically transformed.
  • the inflection output signal value H and the predetermined incident light quantity th in this order increase in the order of “I” to “III”. Further, as shown in FIG. 6, as the control voltage decreases in the order of “V” to “V”, the pixels G to G
  • Intercepts d to d of the input / output characteristics in the logarithmic conversion operation are proportional to the control voltages V to V.
  • the exposure time t when the predetermined incident light amount th is the smallest, that is, when the rate of performing the logarithmic conversion operation with the smallest rate of performing the linear conversion operation is the largest is set as the reference exposure time.
  • the black reference setting unit 11 and the signal processing unit 12 are connected to the image sensor 4 via the amplifier 9 and the AD converter 10 in this order.
  • the amplifier 9 a conventionally known amplifier is used, and a signal photoelectrically converted by the imaging device 4 is amplified!
  • the AD converter 10 converts the electrical signal amplified by the amplifier 9 from an analog signal to a digital signal.
  • the black reference setting unit 11 sets the minimum level of the digital signal.
  • the signal processing unit 12 performs signal processing on the electrical signal output from the image sensor 4 by the logarithmic conversion operation. As shown in FIG. 7, the fluctuation correction unit 13 and the linearity unit 14 is provided.
  • the fluctuation correction unit 13 determines the drive conditions of the image sensor 4, that is, the exposure time of the pixels G to G, The input / output characteristics of the image sensor 4 fluctuate due to the control voltage applied to the pixels G to G.
  • the fluctuation correction of the electric signal output from the image sensor 4 is performed, and the first correction unit 13a and the second correction unit 13b are provided.
  • the first correction unit 13a includes a coefficient deriving unit 15 and an arithmetic processing unit 16.
  • the coefficient deriving unit 15 included in the first correction unit 13a determines the exposure times of the pixels G to G.
  • Pixels G to G based on the exposure time information of the pixels and the pixel information about the pixels G to G
  • Correction coefficients a to a are derived every 11 mn 11 m, and in this embodiment, exposure n 11 mn
  • a lookup table 15a for calculating mn is provided.
  • the exposure time at the time of imaging is the exposure time t (variable) (see FIG. 5).
  • the input axis of the virtual conversion table (refer to the dotted line in the figure) having a conversion characteristic so that the electric signal becomes an electric signal in a state of being accurately linearly converted, and the reference conversion table 14a (see the solid line in the figure) This is the distance on the X axis in the figure.
  • Such a virtual conversion table can be obtained by experiments or theoretical calculations, and the virtual conversion table and the reference conversion table 14a are in a parallel relationship with each other. Also, in FIG. 8 (a), the illustration of each conversion table for the linear region is omitted.
  • pixel information unique information such as ID numbers of the pixels G to G, imaging, and the like.
  • the positional information in the element 4 is used.
  • the arithmetic processing unit 16 included in the first correction unit 13a performs fluctuation correction for each of the pixels G to G based on the correction coefficients ⁇ to ⁇ derived by the coefficient deriving unit 15.
  • the number-converted electric signal is in a state where it can be characteristic-converted into an electric signal in a state that has been accurately linearly converted by the reference conversion table 14a.
  • the driving condition of the exposure time t (see FIG. 5) is satisfied.
  • the signal value of the electrical signal logarithmically converted from the pixels G to G is X. This place
  • the output signal value after characteristic conversion is Y.
  • the signal value X is directly converted to the reference
  • the signal value after characteristic conversion is Y
  • the second correction unit 13b uses the electric signal in the vicinity of the switching point of the conversion characteristics of the image sensor 4 among the electric signals corrected so as to overlap with the reference conversion table 14a. Is corrected using model equations of two characteristics on both sides of the switching point, and is configured with a look-up table 17 as shown in FIG. In the present embodiment, the electrical signal in the vicinity of the inflection point is corrected using the model formula of two characteristics on both sides of the inflection point (switching point).
  • the image sensor 4 of the present embodiment is a linear log conversion type sensor, and the actual characteristics of the image sensor 4 are a smooth curve in the vicinity of the inflection point. For this reason, with the reference conversion table (14a) shown in FIG. 8 (a), a correction error with the actual characteristics of the imaging element 4 occurs in the region near the inflection point, which causes a conversion error.
  • FIG. 9 is a graph showing the output signal of the image sensor 4 with respect to the amount of incident light.
  • the graph as the output signal model obtained by formulating the output signals in the linear region and the logarithmic region, respectively, shows the actual characteristics of the image sensor 4 and correction errors in the region near the inflection point.
  • FIG. 10 is a graph with the incident light quantity in FIG. 9 as a logarithmic axis.
  • the logarithmic region is linear, and the correction error with the actual characteristics of the image sensor 4 is clearer.
  • FIG. 11 is a graph with the logarithmic axis representing the output of the image sensor 4 of FIG. Logarithm In the region, the linear output signal model has actual image sensor 4 characteristics and correction errors.
  • Fig. 12 shows the output signal of the image sensor 4 with respect to the amount of incident light when there are a plurality of inflection points by setting the drive conditions of the image sensor 4, that is, by setting the exposure time and control voltage.
  • FIG. 11 is a graph with the amount of incident light as a logarithmic axis as in FIG. In Fig. 12, there is a gap between multiple inflection points! However, there is a correction error between the output signal model and the actual characteristics of the image sensor 4, and the degree of correction error varies depending on the inflection point.
  • Fig. 13 is a graph with the logarithmic axis representing the output of the image sensor 4 in Fig. 12, but the output signal model and the actual value are not limited even in the vicinity of multiple inflection points. There is a correction error in the characteristics of the image sensor 4, and the degree of the correction error varies depending on the inflection point.
  • the second correction unit 13b uses the lookup table 17 to convert the electric signals in the vicinity of the inflection point out of the electric signals output from the first correction unit 13a on both sides of the inflection point. Correction is performed using the model expression of the two characteristics, and the correction error with the actual characteristics of the image sensor 4 is suppressed.
  • the second correction unit 13b changes the value of the lookup table 17 according to the inflection point for each driving condition of the image sensor 4, or creates the lookup table 17 for each inflection point. By doing so, the above correction is performed according to the inflection point for each driving condition, and the conversion error is suppressed.
  • the electrical signal in the vicinity of the inflection point in the electrical signal output from the first correction unit 13a is converted into the actual image sensor 4 by the input of the electrical signal in the vicinity of the inflection point.
  • the electric signal corrected by using the model formulas of the two characteristics on both sides of the inflection point so as to overlap with the characteristics of is inferred.
  • the second correction unit 13b determines the inflection point vicinity region based on the inflection output signal value input from the inflection signal derivation unit 18 (see Fig. 1), and near the inflection point.
  • the electric signal of the area is input to the lookup table 17.
  • Fig. 14 (a) shows the characteristics of the actual image sensor 4 corresponding to Fig. 8 (a). Inflection points are input to X and X.
  • the output of the image sensor 4 is a logarithmic axis.
  • the second correction unit 13b of the present embodiment is provided with a lookup table (not shown) that derives the coefficients m and n of FIG. 14 by inputting the inflection output signal value. For V, it comes to judge the area near the inflection point!
  • the characteristics of the linear log conversion type sensor as the image sensor 4 of the present embodiment can be expressed by an arithmetic expression such as the following expression (1) or the following expression (2).
  • the following equation (1) represents the reference conversion table of FIG. 14 (a)
  • the following equation (2) is a conversion table for the exposure time t in FIG. 14 (a).
  • Y, ⁇ , [a,-exp ⁇ (X - ⁇ ) / ⁇ + ⁇ + ⁇ , ⁇ ( ⁇ ... (1)
  • y 2 ⁇ 2 [ ⁇ 2- & xp ⁇ (X -d) / c ⁇ + b] + y 2 ⁇ 2 (Xd) + k 2 ⁇ ... (2)
  • Fig. 15 (a) shows an example of the change of the coefficient 13 in the region near the inflection point of the image sensor 4.
  • Figure 15 (b) shows an example of the change in coefficient ⁇ . As shown in Fig. 15 (a), the region near the inflection point a
  • the coefficient ⁇ is the coefficient a a ⁇ .
  • the actual characteristics of the image sensor 4 can be expressed by an arithmetic expression such as the above formula (1) or the above formula (2). Based on the actual characteristics of the image sensor 4, Of the electrical signals output from the first correction unit 1 3a, the electrical signal in the vicinity of the inflection point is converted to 2 on both sides of the inflection point. By experimentally determining the parameters to be corrected using the model equation for one characteristic
  • the characteristics of the image pickup device 4 in the region near the switching point are not only expressed by the arithmetic expression such as the above formula (1) or (2), but actually It is also possible to obtain it by measuring.
  • the linear input section 14 is a characteristic conversion section that converts the output signal of the image sensor 4 having a plurality of types of conversion characteristics into a state that is uniformly converted by one conversion characteristic.
  • the linearization unit 14 shown in the present embodiment is an electric signal in a state where the output signal of the image sensor 4 having two types of conversion characteristics, a linear conversion characteristic and a logarithmic conversion characteristic, is uniformly converted by one linear conversion characteristic. Is converted to (unified).
  • the signal processing unit 12 may be provided with a logarithmization unit that converts it into an electric signal that has been uniformly transformed by logarithmic transformation characteristics.
  • the linear input unit 14 includes a selector 14b, a standard conversion table 14a, and an output unit 14c. In FIG. 7, the AD converter 10 and the control device 26 are not shown.
  • the selector 14b determines the magnitude of the electrical signal from the image sensor 4 and the inflection output signal value H, and if the electrical signal from the image sensor 4 is greater than the inflection output signal value H, that is, When the logarithmically converted electrical signal is output from the image sensor 4, the output signal from the image sensor 4 is output to the reference conversion table 14a. When the inflection output signal value is H or less, the output unit 14c To output.
  • the reference conversion table 14a is characterized in that the logarithmically converted electric signal of the electric signal output from the image sensor 4 is linearly converted from the incident light, as indicated by an arrow Z in FIG. To convert.
  • the conversion characteristics of the reference conversion table 14a indicate that the exposure of the pixels G to G in the present embodiment when the driving condition of the image sensor 4 is a predetermined reference condition.
  • the electrical signal output from the image sensor 4 by the logarithmic conversion operation is set to be in a state of being accurately linearly converted.
  • the output unit 14c outputs an electrical signal input from the selector 14b or the reference conversion table 14a.
  • the signal processing unit 12 includes an inflection signal deriving unit 18 and an image processing unit 19, respectively. Are connected.
  • the inflection signal deriving unit 18 derives the inflection output signal value H based on the exposure time information and the pixel information. In this embodiment, as shown in FIG. And a look-up table 18a for deriving the inflection output signal value H by inputting pixel information.
  • the image processing unit 19 is an image processor configured by the entire electrical signals from the pixels G to G.
  • the AWB (Auto White Balance) processing unit 20 the color interpolation unit 21, the color correction unit 22, the gradation conversion unit 23, and the color space conversion unit 24 are provided. These AWB processing unit 20, color interpolation unit 21, color correction unit 22, gradation conversion unit 23 and color space conversion unit 24 are connected to the signal processing unit 12 in this order.
  • the AWB processing unit 20 performs white balance processing on image data, and the color interpolation unit 21 performs these based on electrical signals from a plurality of adjacent pixels provided with filters of the same color. This pixel interpolates this color electrical signal for pixels located between adjacent pixels.
  • the color correction unit 22 corrects the hue of the image data. More specifically, the color correction unit 22 corrects the electrical signal of each color for each of the pixels G to G based on the electrical signals of other colors.
  • the gradation conversion unit 23 performs gradation conversion of image data, and the color space conversion unit 24 converts RGB signals into YCbCr signals.
  • the signal processing unit 12 is connected with an evaluation value calculation unit 25 and a control device 26 in this order.
  • the evaluation value calculation unit 25 uses the AWB evaluation value used for white balance processing (AWB processing) in the AWB processing unit 20 and the AE used for exposure control processing (AE processing) in the exposure control processing unit 27. An evaluation value is calculated.
  • the control device 26 controls each part of the imaging device 1. As shown in Fig. 1, the amplifier 9, the black reference setting unit 11, the signal processing unit 12, the inflection signal deriving unit 18, the AWB processing The unit 20, the color interpolation unit 21, the color correction unit 22, the gradation conversion unit 23, and the color space conversion unit 24 are connected.
  • control device 26 is connected to the diaphragm 3 via the exposure control processing unit 27, and is connected to the image sensor 4 and the AD converter 10 via the signal generation unit 28.
  • the exposure control processing unit 27 includes an aperture control mechanism and the like, and outputs from the evaluation value calculation unit 25.
  • the diaphragm 3 is controlled by a control signal from the control device 26 while receiving feedback such as a signal.
  • the signal generator 28 controls the photographing operation of the image sensor 4. That is, a predetermined timing pulse (pixel drive signal, horizontal synchronization signal, vertical synchronization signal, horizontal scanning circuit drive signal, vertical scanning circuit drive signal, etc.) is generated based on the imaging control signal from the control device 26 and imaged. Output to element 4.
  • the signal generator 28 also generates a timing signal for AD conversion.
  • the image sensor 4 photoelectrically converts the incident light of each pixel G to linear conversion or pairing.
  • the number-converted electrical signal is output as an analog signal. Specifically, each pixel G
  • the selection circuit s samples and holds in order.
  • the correction circuit 8 removes noise and outputs an electrical signal.
  • the amplifier 9 amplifies the analog signal output from the image sensor 4, and the AD converter 10 converts the signal into a digital signal.
  • the black reference setting unit 11 sets the minimum level of the digital signal
  • the digital signal is transmitted to the linearization unit 14 and the fluctuation correction unit 13 of the signal processing unit 12 as shown in FIG. Step Tl, Step Ul).
  • the control device 26 controls each pixel G of the image sensor 4.
  • the inflection signal deriving unit 18 derives the inflection output signal value H by the look-up table 18a (step S2), and linearizes with the variation correcting unit 13.
  • the data is transmitted to the selector 14b of the section 14 (step S3).
  • the lookup table 18a derives the inflection output signal value H based on the exposure time and the pixel information, the inflection output signal value H is derived accurately and at high speed.
  • step U2 Inflection signal deriving unit
  • the variation correction unit 13 outputs the signal values of the output signals of the pixels G to G force and the inflection output signal value H (In more detail
  • Step U3 Signal value is less than or equal to the inflection output signal value H (more specifically, when the inflection output signal is smaller than the H vicinity region (corresponding to ma in FIG. 15)), that is, the output signal from the pixels G to G But
  • step U3 When the electric signal is linearly converted (step U3; Yes), the fluctuation correcting unit 13 ends the process.
  • step U3 the output signal of pixels G to G force is the inflection output signal value H.
  • the output signal from pixels G to G is not a linearly converted electrical signal (more specifically, if it is greater than or equal to the inflection output signal H vicinity region (equivalent to ma in FIG. 15))
  • Step U3 the first correction unit 13a of the fluctuation correction unit 13 derives correction coefficients ⁇ to ⁇ for each of the pixels G to G using the lookup table 15a (Step U4),
  • the variation correction is performed for each of the pixels G to G by the processing unit 16 (step U5). Then the second supplement
  • the correct part 13b corrects the electric signal in the vicinity of the inflection point in the electric signal after the fluctuation correction by using the model equations of the two characteristics on both sides of the inflection point so as to overlap with the actual characteristics of the image sensor 4. (Step U6). Specifically, by inputting the electrical signal in the vicinity of the inflection point to the lookup table 17, the electrical signal in the vicinity of the inflection point is corrected using the model equations of the two characteristics on both sides of the inflection point. Is derived. Subsequently, the fluctuation correcting unit 13 transmits the electric signal after the fluctuation correction to the selector 14b of the linear key unit 14 (step U7).
  • the coefficient deriving unit 15 derives correction coefficients ⁇ to ⁇ based on the exposure time and pixel information at the time of imaging.
  • the arithmetic processing unit 16 uses the correction coefficients a to ⁇ to input / output the image sensor 4.
  • ⁇ is derived accurately and at high speed.
  • the output signal from the pixels G to G is logarithm mn 11 mn
  • the second correction unit 13b prevents a correction error between the electric signal after the fluctuation correction and the actual characteristics of the imaging element 4 in the region near the inflection point.
  • the linearization unit 14 receives the inflection output signal value H from the inflection signal deriving unit 18. (Step T2), the selector 14b of the linear input section 14 receives the output signal from the pixels G to G.
  • step T3 If the 11 mn force signal is less than or equal to the inflection output signal value H (step T3; Yes), the output signals of pixels G to G are output as they are via the output unit 14c (step T4). Meanwhile, pixel
  • the selector 14b receives the electric signal after the fluctuation correction from the fluctuation correction unit 13 (step T5), causes the reference conversion table 14a to perform characteristic conversion on the electric signal (step T6), and then outputs the output unit 14c. (Step ⁇ 7).
  • the characteristic conversion is performed only when the signal is a signal, the characteristic conversion is not performed wastefully, and the signal processing is speeded up.
  • control device 26 controls the exposure control processing unit 27 to adjust the exposure amount for the image sensor 4.
  • control device 26 controls the AWB processing unit 20 based on the AWB evaluation value, the minimum level set by the black reference setting unit 11, and the image data output from the signal processing unit 12. To perform white balance processing.
  • the color interpolation unit 21, the color correction unit 22, the gradation conversion unit 23, and the color space conversion unit 24 perform image processing based on the image data output from the AWB processing unit 20, respectively. Output image data.
  • the imaging device 1 of the present embodiment when the input / output characteristics of the imaging device 4 fluctuate due to at least one drive condition of the imaging device 4, the image is output from the imaging device 4. Therefore, even if the input / output characteristics fluctuate depending on the drive conditions, the deviation between the output value under the reference drive condition and the actual output value of the image sensor 4 is corrected. Is done. Therefore, it is possible to unify electrical signals into a state that has been accurately linearly converted by characteristic conversion.
  • the first correction unit 13a is simple and fast based on the modeled arithmetic expression. Variation correction can be performed.
  • the first correction unit 13a performs fluctuation correction based on an arithmetic expression obtained by modeling the output signal of each characteristic, the actual output signal of the image sensor 4 becomes a smooth curve in the vicinity of the inflection point. Because of this change, a correction error with the output signal model occurs, but the conversion is performed by correcting the output signal in the vicinity of the inflection point using the model equations of the two characteristics on both sides of the inflection point. It is possible to suppress image errors and improve image quality degradation.
  • the coefficient deriving unit 15 derives the correction coefficient based on the driving condition
  • the arithmetic processing unit 16 uses the derived correction coefficient, so that the input / output characteristics of the image sensor 4 caused by the driving condition can be reduced. Variations can be accurately corrected.
  • the coefficient deriving unit 15 derives a correction coefficient based on the driving condition and the pixel information
  • the arithmetic processing unit 16 uses the derived correction coefficient, so that the imaging element caused by the driving condition or the pixel is used. The fluctuation of the input / output characteristics of 4 can be corrected accurately.
  • the configuration of the coefficient deriving unit 15 can be simplified and the derivation process can be speeded up compared to the case where the correction coefficient is derived by calculation. it can.
  • the fluctuation correction unit 13 derives the electric signal after fluctuation correction based on the driving condition, the fluctuation of the input / output characteristics of the image sensor 4 due to the driving condition can be corrected accurately. .
  • the configuration of the fluctuation correction unit 13 is simplified and the derivation process is performed as compared with the case where the electrical signal after fluctuation correction is derived by calculation. Can be speeded up.
  • the switching point of the plurality of types of conversion characteristics varies depending on the driving conditions of the image sensor 4, but the conversion error is reduced by correcting the output signal in the vicinity of the switching point according to the switching point. Furthermore, it becomes possible to suppress effectively.
  • the configuration of the second correction unit 13b is simplified and the derivation process is performed as compared with the case where correction is performed by calculation. Can speed up the process.
  • the fluctuation correction unit 13 is provided in association with each pixel, even when the fluctuation amount of the input / output characteristics is different for each pixel, the fluctuation correction can be performed accurately.
  • linearization unit 14 since the linearization unit 14 is provided in association with each pixel, even if the conversion characteristics of photoelectric conversion differ from pixel to pixel, the entire electrical signal must be accurately unified into a linearly converted state. Can do.
  • the signal processing unit 12 performs signal processing only when the output signal of the image sensor 4 is an electrical signal converted by any one of a plurality of types of conversion characteristics, If it is not necessary to convert it, signal processing such as characteristic conversion and fluctuation correction is not performed. Therefore, it is possible to save time and effort for signal processing, and the processing speed can be increased.
  • the inflection output signal value is derived based on the driving condition, the inflection output signal value can be accurately derived.
  • the inflection output signal value is derived based on the driving condition and the pixel information, the inflection output signal value can be accurately derived.
  • the inflection output signal value is derived by the lookup table 18a, the configuration of the inflection signal deriving unit is simplified and the derivation process is speeded up as compared with the case of deriving by calculation. be able to.
  • the first correction unit 13a of the fluctuation correction unit 13 in the present modification controls the pixels G to G.
  • the coefficient deriving unit 15 of the first correction unit 13a uses the control voltage V when the predetermined incident light amount th is the smallest as the reference control voltage.
  • Control voltage V is the control voltage V when the predetermined incident light amount th is the smallest as the reference control voltage.
  • the second correction unit 13b in the present modification also uses the electric signal in the vicinity of the inflection point in the electric signal output from the first correction unit 13a, as in the above embodiment. Then, the look-up table 17 is used to correct by using the model formulas of two characteristics on both sides of the inflection point. Also in this embodiment, the actual characteristics of the image sensor 4 can be expressed by the following formula (3) or the following formula (4). Based on these arithmetic expressions, parameters necessary for correction are experimentally obtained, and the look Uptable 17 can be created.
  • the following equation (3) represents the output signal Y based on the reference conversion table in FIG. 14 (b)
  • the following equation (4) represents the output signal Y based on the conversion table in FIG. 14 (b).
  • the fluctuation correction unit 13 is disposed in the front stage of the linearity section 14, but is provided in the subsequent stage.
  • the mogging coefficient derivation unit 15 may be provided before the linear input unit 14 and the arithmetic processing unit 16 may be provided downstream.
  • the force temperature described as using the exposure time and the control voltage may be used.
  • the first correction unit 13a of the fluctuation correction unit 13 has been described as including the arithmetic processing unit 16 that derives the electric signal after the fluctuation correction.
  • the pixel information, and the image sensor 4 A look-up table for deriving the electrical signal after fluctuation correction by inputting the output electrical signal or the like may be provided. In this case, it is possible to obtain the same effect as that of the above-described embodiment, and it is possible to simplify the configuration of the fluctuation correction unit 13 as compared with the case where the electric signal after fluctuation correction is derived by calculation. .
  • the coefficient deriving unit 15 compensates for each of the pixels G to G based on the driving condition and the pixel information.
  • a correction coefficient ⁇ common to G 1 to G may be derived.
  • the coefficient deriving unit 15 has been described as including the reference conversion table 14a for deriving the correction coefficient. However, the coefficient deriving unit 15 may include an arithmetic unit that derives the correction coefficient based on an input such as a driving condition.
  • the characteristic conversion unit in the present invention has been described as the linear conversion unit 14 that performs characteristic conversion of a logarithmically converted electric signal into a state generated by linear conversion.
  • the signal may be subjected to characteristic conversion into a logarithmically converted state.
  • the inflection signal deriving unit 18 derives the inflection output signal value H based on the driving condition and the pixel information. However, it may be derived based only on the driving condition.
  • the inflection signal deriving unit 18 is provided with the lookup table 18a for deriving the inflection output signal value H.
  • the inflection signal deriving unit 18 may include an arithmetic unit for deriving the inflection output signal value H.
  • linear key unit 14 may be performed by calculation such as force index conversion in which the characteristic conversion is performed by the reference conversion table 14a.
  • the pixels G to G have the configuration shown in FIG.
  • the conversion operation can be switched, for example, it may have a configuration as shown in Patent Document 1 described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

　撮像素子の出力信号を一つの特性により統一的に変換された状態に変換する特性変換を精度よく行うことを可能とする撮像装置を提供する。 そのためには、撮像装置１に、複数種類の変換特性を有する撮像素子４と、出力信号に信号処理を行う信号処理部１２とを設け、信号処理部１２は、撮像素子４の入出力特性の変動補正を行う変動補正部１３と、撮像素子４の出力信号を一つの変換特性により統一的に変換された状態に変換する線形化部１４とを備え、変動補正部１３は、複数種類の変換特性をモデル化した演算式に基づいて変動補正を行う第１の補正部１３ａと、第１の補正部１３ａにより変動補正された出力信号のうち複数種類の変換特性の切換点近傍領域の出力信号を撮像素子４の特性と重なるように切換点の両側の２つの特性のモデル式を用いて補正する第２の補正部１３ｂとを設ける撮像装置とする。

Description

明 細 書
撮像装置
技術分野
[0001] 本発明は、入射光を電気信号に変換する撮像素子を有する撮像装置に関する。
背景技術
[0002] 従来から、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数 の画素を有する撮像素子が設けられている。また、近年では、複数種類の光電変換 特性を有する撮像素子が提案されて!ヽる。
[0003] 複数種類の光電変換特性を有する撮像素子としては、例えば、入射光量に基づ!/ヽ て入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作と を切り換えるリニアログ変換型センサがある (特許文献 1参照)。これによれば、線形 変換動作のみを行う撮像素子と比較して電気信号のダイナミックレンジが広くなるた め、輝度範囲の広！ヽ被写体を撮影した場合でも全輝度情報を電気信号で表現する ことが可能となる。
[0004] このような複数種類の光電変換特性を有する撮像素子では、複数の特性により変 化する出力信号が得られるため、信号処理の演算が複雑になるという問題がある。そ こで、出力信号全体を複数種類の光電変換特性のうちいずれか一つの特性により統 一的に変換された状態にする特性変換 (以下、単に「統一する」ともいう）を行うことに より、信号処理を容易化する処理が行われている。
[0005] ところで、上記のような撮像素子は、画素の違いに起因して入出力特性にばらつき を有する場合がある。そのため、このようなばらつきを解消する方法として、各画素か らの出力を補正して基準出力値に一致させる方法が提案されている（特許文献 1及 び特許文献 2参照)。
特許文献 1：特開平 11― 298799号公報
特許文献 2：特開平 5 - 30350号公報
発明の開示
発明が解決しょうとする課題 [0006] しかしながら、特許文献 1及び特許文献 2に記載の補正方法では、撮影条件や環 境条件などの駆動条件によって入出力特性が変動する場合に、基準条件における 基準出力値と、実際の画素の出力値とのズレを補正することができない。そのため、 電気信号全体を正確に線形変換された状態又は対数変換された状態に統一するこ とができな力 た。
[0007] また、上記の補正において、基準出力値として各特性の出力信号 (線形変換信号 や対数変換信号)を数式化した出力信号モデルを用いると、実際の撮像素子の出力 信号は各特性の信号が混在する領域において滑らかな曲線状に変化していることか ら、この領域において実際の出力信号と出力信号モデルとの補正誤差が生じ、撮像 素子の出力信号を正確に補正することができな 、と 、う問題があった。
[0008] 本発明の課題は、撮像素子の出力信号を一つの特性により統一的に変換された 状態に変換する特性変換を精度よく行うことを可能とする撮像装置を提供すること〖こ ある。
課題を解決するための手段
[0009] 請求の範囲第 1項記載の発明は、撮像装置であって、複数種類の変換特性によつ て入射光を電気信号に変換する複数の画素を有する撮像素子と、前記撮像素子の 出力信号に対して信号処理を行う信号処理部とを備え、前記信号処理部は、前記撮 像素子の少なくとも 1つの駆動条件に起因して前記撮像素子の入出力特性が変動 する場合に、この撮像素子の出力信号の変動補正を行う変動補正部と、前記撮像素 子の出力信号を一つの変換特性により統一的に変換された状態に変換する特性変 換部とを備え、前記変動補正部は、前記複数種類の変換特性をモデル化した演算 式に基づいて変動補正を行う第 1の補正部と、前記第 1の補正部により変動補正され た出力信号のうち前記複数種類の変換特性の切換点近傍領域の出力信号を前記 撮像素子の特性と重なるように前記切換点の両側の 2つの特性のモデル式を用いて 補正する第 2の補正部とを備えることを特徴とする。
[0010] ここで、撮像素子の駆動条件としては、外部条件と撮像条件とがある。外部条件とし ては温度などがあり、撮像条件としては画素の露光時間や制御電圧などがある。
[0011] 請求の範囲第 1項記載の発明によれば、撮像素子の少なくとも 1つの駆動条件に 起因して当該撮像素子の入出力特性が変動する場合に、この撮像素子力も出力さ れる電気信号の変動補正を行うので、駆動条件によって入出力特性が変動する場 合であっても、従来と異なり、基準駆動条件における出力値と、撮像素子の実際の出 力値とのズレが補正される。従って、特性変換によって電気信号を正確に線形変換 された状態又は対数変換された状態に統一することができる。
また、第 1の補正部において、モデル化した演算式に基づき、簡易かつ高速に変動 補正を行うことができると共に、各特性の出力信号をモデルィ匕した演算式に基づいて 変動補正を行うと、実際の撮像素子の出力信号は切換点近傍領域において滑らか な曲線状に変化していることから出力信号モデルとの補正誤差が生じるが、第 2の補 正部にぉ 、て、切換点近傍領域の出力信号を切換点の両側の 2つの特性のモデル 式を用いて補正することにより、変換誤差を抑制して画質劣化を改善することが可能 となる。
[0012] 請求の範囲第 2項記載の発明は、請求の範囲第 1項記載の撮像装置であって、前 記第 1の補正部は、補正係数を導出する係数導出部と、前記補正係数に基づいて 前記変動補正を行う演算処理部とを備えることを特徴とする。
[0013] ここで、補正係数を導出するとは、補正係数を算出することとしてもよいし、複数の 補正係数の中力ら選択することとしてもよ 、。
[0014] 請求の範囲第 2項記載の発明によれば、上記の発明と同様の効果を得ることができ る。
[0015] 請求の範囲第 3項記載の発明は、請求の範囲第 2項記載の撮像装置であって、前 記係数導出部は、前記駆動条件に基づ 1ヽて前記補正係数を導出することを特徴と する。
[0016] 請求の範囲第 3項記載の発明によれば、係数導出部は駆動条件に基づいて補正 係数を導出するので、導出される補正係数を演算処理部が用いることによって、駆動 条件に起因する撮像素子の入出力特性の変動を正確に補正することができる。
[0017] 請求の範囲第 4項記載の発明は、請求の範囲第 2項又は第 3項記載の撮像装置で あって、前記係数導出部は、前記駆動条件と、前記画素についての画素情報とに基 づいて、画素毎に前記補正係数を導出し、前記演算処理部は、各画素について前 記変動補正を行うことを特徴とする。
[0018] ここで、画素情報としては、画素の IDナンバー等の固有情報や、撮像素子中での 位置情報などを用いることができる。
[0019] 請求の範囲第 4項記載の発明によれば、係数導出部は駆動条件及び画素情報に 基づいて補正係数を導出するので、導出される補正係数を演算処理部が用いること によって、駆動条件や画素に起因する撮像素子の入出力特性の変動を正確に補正 することができる。
[0020] 請求の範囲第 5項記載の発明は、請求の範囲第 2項乃至第 4項いずれか一項に記 載の撮像装置であって、前記係数導出部は、少なくとも前記駆動条件の入力によつ て前記補正係数を導出するルックアップテーブルを備えることを特徴とする。
[0021] 請求の範囲第 5項記載の発明によれば、ルックアップテーブルにより補正係数を導 出するので、演算によって補正係数を導出する場合と比較して、係数導出部の構成 を簡素化すると共に導出処理を高速化することができる。
[0022] 請求の範囲第 6項記載の発明は、請求の範囲第 2項乃至第 4項いずれか一項に記 載の撮像装置であって、前記係数導出部は、少なくとも前記駆動条件の入力によつ て前記補正係数を導出する演算器を備えることを特徴とする。
[0023] 請求の範囲第 6項記載の発明によれば、上記の発明と同様の効果を得ることができ る。
[0024] 請求の範囲第 7項記載の発明は、請求の範囲第 1項記載の撮像装置であって、前 記第 1の補正部は、前記駆動条件と、前記撮像素子の出力信号との入力によって前 記変動補正後の電気信号を導出するルックアップテーブルを備えることを特徴とする
[0025] 請求の範囲第 7項記載の発明によれば、変動補正部は駆動条件に基づいて変動 補正後の電気信号を導出するので、駆動条件に起因する撮像素子の入出力特性の 変動を正確に補正することができる。
また、ルックアップテーブルによって変動補正後の電気信号を導出するので、演算に よって変動補正後の電気信号を導出する場合と比較して、変動補正部の構成を簡 素化すると共に導出処理を高速化することができる。 [0026] 請求の範囲第 8項記載の発明は、請求の範囲第 7項記載の撮像装置であって、前 記ルックアップテーブルは、前記駆動条件と、前記画素についての画素情報と、前 記撮像素子の出力信号との入力によって前記変動補正後の電気信号を導出するこ とを特徴とする。
[0027] 請求の範囲第 8記載の発明によれば、駆動条件と、画素情報とに基づいて変動補 正後の電気信号を導出するので、駆動条件や画素に起因する撮像素子の入出力特 性の変動を正確に補正することができる。
[0028] 請求の範囲第 9項記載の発明は、請求の範囲第 1項記載の撮像装置であって、前 記第 2の補正部は、前記駆動条件ごとの前記複数種類の変換特性の切換点に応じ て前記切換点近傍領域の出力信号の補正を行うことを特徴とする。
[0029] 請求の範囲第 9項記載の発明によれば、複数種類の変換特性の切換点は撮像素 子の駆動条件に応じて変動するが、この切換点に応じて切換点近傍領域の出力信 号の補正を行うことにより、変換誤差を更に効果的に抑制することが可能となる。
[0030] 請求の範囲第 10項記載の発明は、請求の範囲第 1項又は第 9項記載の撮像装置 であって、前記第 2の補正部は、前記切換点近傍領域の出力信号の入力により前記 撮像素子の特性と重なるように前記切換点の両側の 2つの特性のモデル式を用いて 補正された出力信号を導出するルックアップテーブルを備えることを特徴とする。
[0031] 請求の範囲第 10項記載の発明によれば、ルックアップテーブルにより補正後の出 力信号を導出するので、演算によって補正を行う場合と比較して、第 2の補正部の構 成を簡素化すると共に導出処理を高速化することができる。
[0032] 請求の範囲第 11項記載の発明は、請求の範囲第 1項乃至第 10項いずれか一項 に記載の撮像装置であって、複数の前記変動補正部を、各画素に対応づけて備え ることを特徴とする。
[0033] 請求の範囲第 11項項記載の発明によれば、変動補正部を各画素に対応付けて備 えるので、画素毎に入出力特性の変動量が異なる場合であっても、正確に変動補正 を行うことができる。
[0034] 請求の範囲第 12項記載の発明は、請求の範囲第 1項乃至第 11項いずれか一項 に記載の撮像装置であって、複数の前記特性変換部を、各画素に対応づけて備え ることを特徴とする。
[0035] 請求の範囲第 12項記載の発明によれば、特性変換部を各画素に対応付けて備え るので、画素毎に光電変換の変換特性が異なる場合であっても、電気信号全体を正 確に線形変換された状態又は対数変換された状態に統一することができる。
[0036] 請求の範囲第 13項記載の発明は、請求の範囲第 1項乃至第 12項いずれか一項 に記載の撮像装置であって、前記複数種類の変換特性の切換点における切換わり 点信号値を導出する導出部を備え、前記信号処理部は、前記撮像素子からの出力 信号の信号値と前記切換わり点信号値との大小に基づき、前記撮像素子からの出 力信号が前記複数種類の変換特性のいずれか一つの特性により変換された電気信 号である場合にのみ、前記信号処理を行うことを特徴とする。
[0037] 請求の範囲第 13項記載の発明によれば、撮像素子の出力信号が複数種類の変 換特性のいずれか一つの特性により変換された電気信号である場合にのみ、信号 処理部が信号処理を行うので、他方の変換特性により変換された状態にする必要の ない場合には、特性変換や変動補正などの信号処理が行われない。従って、無駄に 信号処理を行う手間を省くことができるため、処理を高速ィ匕することができる。
[0038] 請求の範囲第 14項記載の発明は、請求の範囲第 13項記載の撮像装置であって、 前記導出部は前記駆動条件に基づいて前記切換わり点信号値を導出することを特 徴とする。
[0039] 請求の範囲第 14項記載の発明によれば、駆動条件に基づいて切換点における出 力信号値を導出するので、切換わり点信号値の導出を正確に行うことができる。
[0040] 請求の範囲第 15項記載の発明は、請求の範囲第 13項又は第 14項記載の撮像装 置であって、前記導出部は前記駆動条件と前記画素についての画素情報とに基づ いて前記切換わり点信号値を導出することを特徴とする。
[0041] 請求の範囲第 15項記載の発明によれば、駆動条件及び画素情報に基づいて切 換わり点信号値を導出するので、切換わり点信号値の導出を正確に行うことができる
[0042] 請求の範囲第 16項記載の発明は、請求の範囲第 14項又は第 15項記載の撮像装 置であって、前記導出部は少なくとも前記駆動条件の入力により前記切換わり点信 号値を導出するルックアップテーブルを備えることを特徴とする。
[0043] 請求の範囲第 16項記載の発明によれば、ルックアップテーブルによって切換わり 点信号値を導出するので、演算によって導出する場合と比較して、導出部の構成を 簡素化すると共に導出処理を高速化することができる。
[0044] 請求の範囲第 17項記載の発明は、請求の範囲第 14項又は第 15項記載の撮像装 置であって、前記導出部は少なくとも前記駆動条件の入力により前記切換わり点信 号値を導出する演算器を備えることを特徴とする。
[0045] 請求の範囲第 17項記載の発明によれば、上記と同様の効果を得ることができる。
[0046] 請求の範囲第 18項記載の発明は、請求の範囲第 1項乃至第 17項いずれか一項 に記載の撮像装置であって、前記駆動条件は、撮影時の温度と、前記画素の露光 時間と、前記画素に対する制御電圧との少なくとも 1つであることを特徴とする。
[0047] 請求の範囲第 18項記載の発明によれば、上記と同様の効果を得ることができる。
[0048] 請求の範囲第 19項記載の発明は、請求の範囲第 1項乃至第 18項いずれか一項 に記載の撮像装置であって、前記複数の画素は入射光を電気信号に線形変換する 線形変換特性と入射光を電気信号に対数変換する対数変換特性とを入射光量に応 じて切り換え可能に構成されて 、ることを特徴とする。
[0049] 請求の範囲第 19項記載の発明によれば、撮像素子としてリニアログ変換型センサ を備えた撮像装置において上記と同様の作用を得ることが可能となる。
発明の効果
[0050] 請求の範囲第 1項記載の発明によれば、駆動条件によって撮像素子の入出力特 性が変動する場合でも、特性変換によって電気信号を正確に線形変換された状態 又は対数変換された状態に統一することが可能となる。また、簡易かつ高速に変動 補正を行うことができると共に、切換点近傍領域の出力信号を実際の撮像素子の特 性に合わせて切換点の両側の 2つの特性のモデル式を用いて補正して変換誤差を 抑制し、画質劣化を改善することが可能となる。
[0051] 請求の範囲第 2項記載の発明によれば、上記の発明と同様の効果を得ることができ る。
[0052] 請求の範囲第 3項記載の発明によれば、駆動条件に起因する撮像素子の入出力 特性の変動を正確に補正することが可能となる。
[0053] 請求の範囲第 4項記載の発明によれば、駆動条件や画素に起因する撮像素子の 入出力特性の変動を正確に補正することが可能となる。
[0054] 請求の範囲第 5項記載の発明によれば、ルックアップテーブルにより係数導出部の 構成を簡素化すると共に導出処理を高速化することが可能となる。
[0055] 請求の範囲第 6項記載の発明によれば、上記の発明と同様の効果を得ることが可 能となる。
[0056] 請求の範囲第 7項記載の発明によれば、駆動条件に起因する撮像素子の入出力 特性の変動を正確に補正することができる。また、ルックアップテーブルにより変動補 正部の構成を簡素化すると共に導出処理を高速ィ匕することが可能となる。
[0057] 請求の範囲第 8項記載の発明によれば、駆動条件や画素に起因する撮像素子の 入出力特性の変動を正確に補正することが可能となる。
[0058] 請求の範囲第 9項記載の発明によれば、駆動条件ごとの切換点に応じて補正を行 うことにより変換誤差を更に効果的に抑制することが可能となる。
[0059] 請求の範囲第 10項記載の発明によれば、ルックアップテーブルにより第 2の補正 部の構成を簡素化すると共に導出処理を高速ィ匕することが可能となる。
[0060] 請求の範囲第 11項記載の発明によれば、画素毎に入出力特性の変動量が異なる 場合でも、正確に変動補正を行うことが可能となる。
[0061] 請求の範囲第 12項記載の発明によれば、画素毎に光電変換の変換特性が異なる 場合でも、電気信号全体を正確に線形変換された状態又は対数変換された状態に 統一することが可能となる。
[0062] 請求の範囲第 13項記載の発明によれば、無駄に信号処理を行う手間を省くことが できるため、処理を高速ィ匕することが可能となる。
[0063] 請求の範囲第 14項記載の発明によれば、切換わり点信号値の導出を正確に行うこ とがでさる。
[0064] 請求の範囲第 15項記載の発明によれば、切換わり点信号値の導出を正確に行うこ とがでさる。
[0065] 請求の範囲第 16項記載の発明によれば、ルックアップテーブルにより導出部の構 成を簡素化すると共に導出処理を高速化することが可能となる。
[0066] 請求の範囲第 17項記載の発明によれば、上記と同様の効果を得ることができる。
[0067] 請求の範囲第 18項記載の発明によれば、上記と同様の効果を得ることができる。
[0068] 請求の範囲第 19項記載の発明によれば、撮像素子としてリニアログ変換型センサ を備えた撮像装置において上記と同様の効果を得ることが可能となる。
図面の簡単な説明
[0069] [図 1]本発明に係る撮像装置の概略構成を示すブロック図である。
[図 2]撮像素子の構成を示すブロック図である。
[図 3]画素の構成を示す回路図である。
[図 4]画素及び線形ィ匕部の動作を説明するための図である。
[図 5]露光時間と変曲点との関係を示す図である。
[図 6]制御電圧と変曲点との関係を示す図である。
[図 7]信号処理部及び変曲信号導出部を示すブロック図である。
[図 8]補正係数 aを示す図である。
[図 9]撮像素子の特性及び出力信号モデルの例を示すグラフである。
[図 10]撮像素子の特性及び出力信号モデルの例を示すグラフである。
[図 11]撮像素子の特性及び出力信号モデルの例を示すグラフである。
[図 12]撮像素子の特性及び出力信号モデルの例を示すグラフである。
[図 13]撮像素子の特性及び出力信号モデルの例を示すグラフである。
[図 14]撮像素子の特性を示すグラフである。
[図 15]線形変換信号及び対数変換信号の混合比を示すグラフである。
[図 16]変動補正及び特性変換の処理を示すフローチャートである。
符号の説明
[0070] 1 撮像装置
2 レンズ群
3 絞り
4 撮像素子 10 ADコンノータ
11 黒基準設定部
12 信号処理部
13 変動補正部
14 線形化部
15 係数導出部
15a ノレックアップテープノレ
16 演算処理部
17 ノレックアップテープノレ
18 変曲信号導出部
18a ノレックアップテープノレ
19 画像処理部
20 AWB処理部
21 色補間部
22 色補正部
23 階調変換部
24 色空間変換部
25 評価値算出部
26 制御装置
27 露光制御処理部
28 信号生成部
発明を実施するための最良の形態
[0071] [実施の形態]
本発明の実施の形態について図面を参照して説明する。
[0072] 図 1は、本実施形態の撮像装置 1の概略構成を示すブロック図である。
[0073] この図に示すように、撮像装置 1は、レンズ群 2及び絞り 3を介して入射光を受光す る撮像素子 4を備えている。これらレンズ群 2及び絞り 3としては、従来より公知のもの が用いられている。 [0074] ここで、本発明の撮像素子は複数種類の変換特性によって入射光を電気信号に変 換する複数の画素を有する撮像素子であり、複数の変換特性の出力信号が切換点 を介して連続的に変化するようになっている。
[0075] 本実施形態の撮像素子 4は、入射光量に基づ 、て入射光を電気信号に線形変換 する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型セ ンサとして構成されている。すなわち、撮像素子 4の出力信号は変曲点を介してリニ ァ領域からログ領域に連続的に変化するようになっている。ここで、「変曲点」とは線 形変換動作と対数変換動作との境界を意味し、複数種類の変換特性を有する撮像 素子の出力信号の「切換点」の下位概念となる語である。
[0076] 撮像素子 4は、図 2に示すように、行列配置 (マトリクス配置）された複数の画素 G
11
〜G (但し、 n, mは 1以上の整数）を有して 、る。
mn
[0077] 各画素 G 〜G のレンズ群 2側には、レッド (Red)、グリーン（Green)及びブルー
11 mn
(Blue)のうち、いずれ力 1色のフィルタ（図示せず）が配設されている。なお、画素 G 〜G にシアン（Cyan)、マゼンタ（Magenta)及びイェロー (Yellow)などの他の色
1 mn
フィルタを設けてもよい。
[0078] また、画素 G 〜G には、図 2に示すように、電源ライン 5や信号印加ライン L 〜
11 mn A1
L , L 〜L , L 〜L 、信号読出ライン L 〜L が接続されている。なお、画素
An Bl Bn CI Cn Dl Dm
G 〜G には、クロックラインやバイアス供給ラインなどのラインも接続されている力
11 mn
図 2ではこれらの図示を省略している。
[0079] 信号印加ライン L 〜L , L 〜L , L 〜L は、画素 G 〜G に対して信号 φ
Al An Bl Bn CI Cn 11 mn
, φ (図 3参照）を与えるようになつている。これら信号印加ライン L 〜L , L 〜 v VPS Al An Bl
L , L 〜L には、垂直走査回路 6が接続されている。この垂直走査回路 6は、信
Bn CI Cn
号生成部 28 (図 1参照）からの信号に基づいて信号印加ライン L 〜L , L 〜L
Al An Bl Bn
, L 〜L に信号を印加するものであり、信号を印加する対象の信号印加ライン L
CI Cn Al
〜L , L 〜L , L 〜L を X方向に順次切り換えるようになつている。
An Bl Bn CI Cn
信号読出ライン L 〜L には、各画素 G 〜G で生成された電気信号が導出さ
Dl Dm 11 mn
れるようになっている。これら信号読出ライン L 〜L には定電流源 D〜D及び選
Dl Dm 1 m 択回路 s〜s が接続されている。 [0081] 定電流源 D〜D の一端（図中下側の端部）には、直流電圧 V が印加されるよう
1 m PS
になっている。
[0082] 選択回路 S〜S は、各信号読出ライン L 〜L を介して画素 G 〜G 力 与え
1 m Dl Dm 11 mn られるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。この選択 回路 S〜S には、水平走査回路 7及び補正回路 8が接続されている。水平走査回
1 m
路 7は、電気信号をサンプルホールドして補正回路 8に送信する選択回路 S〜S を
1 m
、 Y方向に順次切り換えるものである。また、補正回路 8は、選択回路 S〜S 力も送
1 m 信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ信号 を除去するものである。
[0083] なお、選択回路 S〜S 及び補正回路 8としては、特開平 2001— 223948号公報
1 m
に開示のものを用いることができる。また、本実施の形態においては、選択回路 s〜
S の全体に対して補正回路 8を 1つのみ設けることとして説明するが、選択回路 S〜 m 1
S のそれぞれに対して補正回路 8を 1つずつ設けることとしてもょ 、。
[0084] 次に、各画素 G 〜G について説明する。
11 mn
[0085] 各画素 G 〜G は、図 3に示すように、フォトダイオード P及びトランジスタ T〜T
11 mn 1 3 を備えている。なお、トランジスタ T〜Τは、バックゲートの接地された Νチャネルの
1 3
MOSトランジスタである。
[0086] フォトダイオード Ρには、レンズ群 2及び絞り 3を通過した光が当たるようになつている 。このフォトダイオード Ρの力ソード Ρには直流電圧 V が印加されており、アノード Ρ k PD A にはトランジスタ Tのドレイン Τ 及びゲート Τ と、トランジスタ Τのゲート Τ とが接
1 ID 1G 2 2G 続されている。
[0087] トランジスタ Τのソース Τ には信号印加ライン L (図 2の L 〜L に相当）が接続
1 IS C CI Cn
されており、この信号印加ライン L力も信号 φ が入力されるようになっている。ここ
C VPS
で、信号 φ は 2値の電圧信号であり、より詳細には、入射光量が所定値を超えたと
VPS
きにトランジスタ Tをサブスレツショルド領域で動作させるための電圧値 VHと、トラン ジスタ Tを導通状態にする電圧値 VLとの 2つの値をとるようになっている。
[0088] また、トランジスタ Tのドレイン T には直流電圧 V が印加されており、トランジスタ
2 2D PD
Tのソース T は行選択用のトランジスタ Tのドレイン T に接続されている。
2 2S 3 3D [0089] このトランジスタ Tのゲート T には信号印加ライン L (図 2の L 〜L に相当）が
3 3G A Al An
接続されており、この信号印加ライン L力も信号 φ が入力されるようになっている。
A V
また、トランジスタ Tのソース T は信号読出ライン L (図 2の L 〜L に相当）に接
3 3S D Dl Dm
続されている。
[0090] なお、以上のような画素 G 〜G としては、特開 2002— 77733号公報に開示のも
11 mn
のを用いることができる。
[0091] 以上の構成により、各画素 G 〜G は入射光を光電変換して電気信号を出力す
11 mn
るようになっている。本実施形態の画素 G 〜G は、入射光量に基づいて電気信号
11 mn
への変換動作を切り換えるようになっており、図 4に実線で示すように、所定入射光 量 th未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射 光量 th以上の入射光量に対しては入射光を対数変換する対数変換動作を行うよう になっている。なお、図 4では、線形変換特性と対数変換特性の 2種類の変換特性に よって入射光を電気信号に変換する画素 Gの例について説明したが、これに限られ ない。例えば、傾きの異なる二つの線形変換特性と一つの対数変換特性の 3種類の 変換特性を有する画素であってもよ 、。
[0092] また、線形変換動作と対数変換動作とが切り換えられる境界、いわゆる変曲点は撮 像素子 4における画素 G 〜G の駆動条件、例えば撮影時での露光時間や制御電
11 mn
圧などによって変化するようになって!/、る。
[0093] すなわち、露光時間が短くなるほど、トランジスタ Tのゲート T とソース T との間
2 2G 2S のポテンシャルの差が大きくなり、トランジスタ τがカットオフ状態で動作する被写体
2
輝度の割合、つまり線形変換する被写体輝度の割合が大きくなる。これにより、露光 時間が短くなるほど線形変換動作の割合は大きくなるようになつている。また、撮像素 子 4に対する制御電圧、つまり、信号 φ の電圧値 VL、電圧値 VHの差が大きくな
VPS
る場合や、温度が低くなる場合にも、線形変換する被写体輝度の割合は大きくなる。 そのため、これら制御電圧や露光時間、温度などを変化させることによって、画像信 号のダイナミックレンジや、切換点すなわち変曲点での前記所定入射光量 th、切換 点での出力信号値 (切換わり点信号値)すなわち変曲点での出力信号値 (以下、変 曲出力信号値 Hとする)を制御することができる。 [0094] 具体的には、例えば、被写体の輝度範囲が狭！、場合には電圧値 VLを低くして線 形変換する輝度範囲を広くすると共に、被写体の輝度範囲が広い場合には電圧値 V Lを高くして対数変換する輝度範囲を広くすることで、画素 G 〜G の光電変換特
11 mn
性を被写体の特性に合わせることができる。更に、電圧値 VLを最小とするときには常 に画素 G 〜G を線形変換する状態とし、電圧値 VLを最大とするときには常に画
11 mn
素 G 〜G を対数変換する状態とすることもできる。
11 mn
[0095] 例えば、図 5に示すように、露光時間が「t」〜「t」の順に短くなるほど、変曲点に
1 3
おける変曲出力信号値 Hと前記所定入射光量 thとは「I」〜「III」の順に大きくなる。ま た、図 6に示すように、制御電圧が「V」〜「V」の順に小さくなるほど、画素 G 〜G
1 3 11 m の変曲出力信号値 Hは「IV」〜「VI」の順に大きくなる。なお、図 5、図 6中、「a」〜「 a」、「b」〜「d」、「a」、「d」〜「d」はそれぞれ定数である。このうち、露光時間 t〜t
3 1 3 1 3 の駆動条件下での線形変換動作における入出力特性の傾き a〜aは、当該露光時
1 3
間 t〜tに対して比例関係を有している。また、制御電圧 V〜Vの駆動条件下での
1 3 1 3
対数変換動作における入出力特性の切片 d〜dは、当該制御電圧 V〜Vに対し て比例関係を有している。以下、所定入射光量 thが最も小さいとき、つまり、線形変 換動作の行われる割合が最も小さぐ対数変換動作の行われる割合が最も大きいと きの露光時間 tを、基準露光時間とする。
[0096] 図 1に戻り、撮像素子 4には、アンプ 9及び ADコンバータ 10を介して、黒基準設定 部 11及び信号処理部 12がこの順に接続されて 、る。
[0097] アンプ 9は、従来力 公知のものが用いられるようになっており、撮像素子 4により光 電変換された信号を増幅するようになって!/ヽる。
[0098] ADコンバータ 10は、アンプ 9において増幅された電気信号をアナログ信号からデ ジタル信号に変換するようになって!/ヽる。
[0099] 黒基準設定部 11は、デジタル信号の最低レベルを設定するものである。
[0100] 信号処理部 12は、対数変換動作によって撮像素子 4から出力される電気信号に対 して信号処理を行うものであり、図 7に示すように、変動補正部 13及び線形ィ匕部 14を 備えている。
[0101] 変動補正部 13は、撮像素子 4の駆動条件すなわち画素 G 〜G の露光時間や 画素 G 〜G に印加する制御電圧などに起因して撮像素子 4の入出力特性が変動
11 mn
する場合に、この撮像素子 4から出力される電気信号の変動補正を行うものであり、 第 1の補正部 13a及び第 2の補正部 13bを備えて構成されて 、る。
[0102] 図 7に示すように、第 1の補正部 13aは、係数導出部 15及び演算処理部 16を備え て構成されている。
[0103] 第 1の補正部 13aが備える係数導出部 15は、画素 G 〜G の露光時間について
11 mn
の露光時間情報と、画素 G 〜G についての画素情報とに基づいて画素 G 〜G
11 mn 11 m ごとに補正係数 a 〜a を導出するものであり、本実施の形態においては、露光 n 11 mn
時間情報及び画素情報の入力によって補正係数 a 〜a
11 mnを算出するルックアップ テーブル 15aを備えている。
[0104] ここで、例えば、撮像時の露光時間が露光時間 t (変数）（図 5参照)である場合は、
2
補正係数ひは a =cLn (a /a ) =cLn (t /t )で示される値であり、換言すれば、
1 2 1 2
図 8 (a)に示すように、露光時間 tの駆動条件下で撮像素子 4から対数変換された電
2
気信号が正確に線形変換された状態の電気信号となるような変換特性を有する仮想 の変換テーブル（図中の点線参照）と、基準変換テーブル 14a (図中の実線参照）と の入力軸（図中の X軸）上での距離である。なお、このような仮想の変換テーブルは、 実験や理論計算などによって求めることができ、仮想の変換テーブルと基準変換テ 一ブル 14aとは、互いに平行な関係となっている。また、図 8 (a)中では、線形領域に 対する各変換テーブルの図示を省略して ヽる。
[0105] また、画素情報としては、各画素 G 〜G の IDナンバーなどの固有情報や、撮像
11 mn
素子 4の中における位置情報などが用いられて 、る。
[0106] 第 1の補正部 13aが備える演算処理部 16は、係数導出部 15で導出された補正係 数 α 〜α に基づいて、画素 G 〜G ごとに変動補正を行うものであり、本実施
11 mn 11 mn
形態においては、対数変換動作によって各画素 G 〜G より出力される電気信号
11 mn
から、補正係数 α 〜ひ を減算するようになっている。これにより、変動補正後の対
11 mn
数変換された電気信号は、基準変換テーブル 14aによって正確に線形変換された状 態の電気信号に特性変換することが可能な状態となる。
[0107] 具体的には、例えば図 8 (a)に示すように、露光時間 t (図 5参照）の駆動条件にお いて画素 G 〜G から対数変換された電気信号の信号値が Xであるとする。この場
11 mn 2 合、対数変換された信号値 X
2が正確に線形変換された状態の電気信号に特性変換 されるとき、つまり、信号値 Xが前記仮想の変換テーブルで特性変換されるときには
2
、特性変換後の出力信号値は Yである。これに対し、信号値 Xをそのまま基準変換
2 2
テーブル 14aによって特性変換すると、特性変換後の信号値は Yであるが、信号値 Xを補正係数 αで減算した信号値 X (=Χ— α )を基準変換テーブル 14aによって
2 1 2
特性変換したときには、特性変換後の信号値は Y
2である。つまり、対数変換された信 号値 X
2を補正係数 αで減算することにより、減算後の電気信号は基準変換テーブル
14aにより正確に線形変換された状態の電気信号に特性変換することが可能な状態 となる。
[0108] 第 2の補正部 13bは、基準変換テーブル 14aと重なるように補正された電気信号の うち、撮像素子 4の変換特性の切換点近傍領域の電気信号を、実際の撮像素子 4の 特性と重なるよう切換点の両側の 2つの特性のモデル式を用いて補正するものであり 、図 7に示すように、ルックアップテーブル 17を備えて構成されている。本実施形態 では、変曲点近傍領域の電気信号を、変曲点 (切換点）の両側の 2つの特性のモデ ル式を用いて補正するようになって 、る。
[0109] すなわち、本実施形態の撮像素子 4はリニアログ変換型センサであり、実際の撮像 素子 4の特性は、変曲点近傍領域において滑らかな曲線状となる。このため、図 8 (a )に示す基準変換テーブル（14a)のままでは、変曲点近傍領域において実際の撮 像素子 4の特性との補正誤差が生じ、変換誤差の要因となる。
[0110] 例えば、図 9は入射光量に対する撮像素子 4の出力信号を示すグラフである。図 9 において、線形領域及び対数領域の出力信号をそれぞれ数式化した出力信号モデ ルとしてのグラフは、変曲点近傍領域において実際の撮像素子 4の特性と補正誤差 が生じている。
[0111] また、図 10は図 9の入射光量を対数軸としたグラフである。出力信号モデルでは対 数領域が直線状となっており、実際の撮像素子 4の特性との補正誤差がより明確に なっている。
一方、図 11は、図 9の撮像素子 4の出力を対数軸としたグラフである。やはり対数領 域において直線状の出力信号モデルが実際の撮像素子 4の特性と補正誤差が生じ ている。
[0112] 更に、図 12は、撮像素子 4の駆動条件の設定、すなわち露光時間や制御電圧の 設定によって変曲点が複数となった場合の入射光量に対する撮像素子 4の出力信 号を示すものであり、図 10と同様に入射光量を対数軸としたグラフである。図 12では 、複数の変曲点近傍領域の!ヽずれにお！、ても出力信号モデルと実際の撮像素子 4 の特性との補正誤差が生じており、また、変曲点によって補正誤差の度合いも異なつ ている。
[0113] また、図 13は、図 12の撮像素子 4の出力を対数軸としたグラフであるが、やはり複 数の変曲点近傍領域の 、ずれにお!ヽても出力信号モデルと実際の撮像素子 4の特 性とに補正誤差が生じており、また、変曲点によって補正誤差の度合いも異なってい る。
[0114] そこで、第 2の補正部 13bは、ルックアップテーブル 17により、第 1の補正部 13aか ら出力された電気信号のうち、変曲点近傍領域の電気信号を変曲点の両側の 2つの 特性のモデル式を用いて補正し、実際の撮像素子 4の特性との補正誤差を抑制する ようになっている。
[0115] また、第 2の補正部 13bは、撮像素子 4の駆動条件ごとの変曲点に応じてルックアツ プテーブル 17の値を変更し又は変曲点ごとにルックアップテーブル 17を作成してお くことにより、駆動条件ごとの変曲点に応じて上記補正を行い、変換誤差を抑制する ようになっている。
[0116] ルックアップテーブル 17は、第 1の補正部 13aから出力された電気信号のうち、変 曲点近傍領域の電気信号の入力により、変曲点近傍領域の電気信号が実際の撮像 素子 4の特性と重なるよう変曲点の両側の 2つの特性のモデル式を用いて補正され た電気信号を導出するようになって ヽる。
[0117] この際、第 2の補正部 13bは、変曲信号導出部 18 (図 1参照)から入力される変曲 出力信号値に基づいて変曲点近傍領域を判断し、変曲点近傍領域の電気信号をル ックアップテーブル 17に入力させるようになつている。ここで、図 14 (a)は図 8 (a)に 対応する実際の撮像素子 4の特性を示すものであり、変曲点を X、 Xに対し、入力 信号 x=x 〜x 、x=x 〜x の範囲が変曲点近傍領域とされている。
1— ml 1+nl 2-m2 2+n2
なお、図 14では、図 11と同様に、撮像素子 4の出力が対数軸とされている。本実施 形態の第 2の補正部 13bは、変曲出力信号値の入力により、図 14の係数 m, nを導 出する図示しな!、ルックアップテーブルを備えており、このルックアップテーブルを用 V、て変曲点近傍領域を判断するようになって!/、る。
[0118] また、変曲点近傍領域の電気信号を変曲点の両側の 2つの特性のモデル式を用 いて補正するためのパラメータは、撮像素子 4の特性に合うように予め実験的に求め ておくことが可能であり、これによりルックアップテーブル 17を作成しておくことができ る。
[0119] 例えば、本実施形態の撮像素子 4としてのリニアログ変換型センサの特性は、下記 式（1)又は下記式（2)などの演算式によって表すことができる。下記式（1)は図 14 (a )の基準変換テーブルを表し、下記式 (2)は図 14(a)の露光時間 tに対する変換テ
2
一ブルを表している。
[0120] [数 1]
Y, = β, [a, - exp{(X -ά)/ο} + ^+γ,{^(Χ … ( 1 )
[0121] [数 2]
y2 = β2[α2 -&xp{(X -d)/c} + b]+y2{ 2(X-d)+k2} ... ( 2 )
[0122] 図 14 (a)のグラフでは縦軸が対数軸であり、上記式（1)、 (2)の係数 β、 β は線
1 2 形領域の項の係数を示し、係数 0 , γ
1 2は対数領域の項の係数を示している。
[0123] また、図 15 (a)に撮像素子 4の変曲点近傍領域における係数 13 の変化の一例を、 a
図 15(b)に係数 γ の変化の一例を示す。図 15(a)に示すように、変曲点近傍領域 a
において係数 j8 は徐々に減少する一方で、図 15(b)に示すように、係数 γ は係数 a a β
aとは反対に徐々に増大している。このように、変曲点近傍領域では、図 15(a)及 び図 15 (b)に示す混合比により線形変換特性と対数変換特性とが混在しており、撮 像素子 4の出力信号は滑らかな曲線を描 、て変化して 、る。
[0124] このように、実際の撮像素子 4の特性は上記式（1)又は上記式（2)などの演算式に よって表すことが可能であり、この実際の撮像素子 4の特性に基づき、第 1の補正部 1 3aから出力された電気信号のうち、変曲点近傍領域の電気信号を変曲点の両側の 2 つの特性のモデル式を用いて補正するためのパラメータを実験的に求めることにより
、ルックアップテーブル 17を作成しておくことが可能である。
[0125] また、撮像素子 4の切換点近傍領域 (変曲点近傍領域）における特性は、上記式（ 1)又は（2)などの演算式で表すのみならず、実際に撮像素子 4の特性を測定するこ とにより求めることも可會である。
[0126] 図 7に戻り、線形ィ匕部 14は、複数種類の変換特性を有する撮像素子 4の出力信号 を一つの変換特性により統一的に変換された状態に変換する特性変換部である。本 実施形態に示す線形化部 14は、線形変換特性と対数変換特性の 2種類の変換特 性を有する撮像素子 4の出力信号を一方の線形変換特性により統一的に変換され た状態の電気信号に変換 (統一）するようになつている。なお、線形化部 14に代えて 対数変換特性により統一的に変換された状態の電気信号に変換する対数化部を備 えた信号処理部 12としてもよい。図 7に示すように、線形ィ匕部 14は、セレクタ 14b、基 準変換テーブル 14a及び出力部 14cを備えている。なお、図 7では、 ADコンバータ 1 0や制御装置 26などの図示を省略している。
[0127] セレクタ 14bは、撮像素子 4からの電気信号と前記変曲出力信号値 Hとの大小を判 別し、撮像素子 4からの電気信号が前記変曲出力信号値 Hより大きい場合、つまり対 数変換された電気信号が撮像素子 4から出力される場合には、撮像素子 4からの出 力信号を基準変換テーブル 14aに出力し、変曲出力信号値 H以下の場合には出力 部 14cに出力するようになっている。
[0128] 基準変換テーブル 14aは、図 4に矢印 Zで示すように、撮像素子 4から出力される電 気信号のうち、対数変換された電気信号を、入射光から線形変換された状態に特性 変換するものである。この基準変換テーブル 14aの変換特性は、撮像素子 4の駆動 条件が所定の基準条件である場合、本実施の形態においては画素 G 〜G の露
11 mn 光時間が前記基準露光時間 tである場合に前記撮像素子 4から対数変換動作で出 力される電気信号が正確に線形変換された状態となるように設定されている。
[0129] 出力部 14cは、セレクタ 14b又は基準変換テーブル 14aから入力される電気信号を 出力するものである。
[0130] 図 1に戻り、信号処理部 12には、変曲信号導出部 18及び画像処理部 19がそれぞ れ接続されている。
[0131] 変曲信号導出部 18は、露光時間情報と画素情報とに基づいて変曲出力信号値 H を導出するものであり、本実施形態においては、図 7に示すように、露光時間情報及 び画素情報の入力によって変曲出力信号値 Hを導出するルックアップテーブル 18a を備えている。
[0132] 画像処理部 19は、画素 G 〜G からの電気信号全体によつて構成される画像デ
11 mn
ータに対して画像処理を行うものであり、 AWB (Auto White Balance)処理部 20 、色補間部 21、色補正部 22、階調変換部 23及び色空間変換部 24を備えている。こ れら AWB処理部 20、色補間部 21、色補正部 22、階調変換部 23及び色空間変換 部 24は信号処理部 12に対してこの順に接続されている。
[0133] AWB処理部 20は、画像データに対してホワイトバランス処理を行うものであり、色 補間部 21は、同色のフィルタが設けられた複数の近接画素からの電気信号に基づ き、これら近接画素間に位置する画素について、この色の電気信号を補間演算する ものである。色補正部 22は画像データの色合いを補正するものであり、より詳細には 、各色の電気信号を他の色の電気信号に基づき画素 G 〜G ごとに補正するもの である。階調変換部 23は画像データの階調変換を行うものであり、色空間変換部 24 は RGB信号を YCbCr信号に変換するものである。
[0134] また、信号処理部 12には、評価値算出部 25及び制御装置 26がこの順に接続され ている。
[0135] 評価値算出部 25は、 AWB処理部 20でのホワイトバランス処理 (AWB処理）に用 いられる AWB評価値や、露光制御処理部 27での露出制御処理 (AE処理）に用い られる AE評価値を算出するものである。
[0136] 制御装置 26は、撮像装置 1の各部を制御するものであり、図 1に示すように、アンプ 9、黒基準設定部 11、信号処理部 12、変曲信号導出部 18、 AWB処理部 20、色補 間部 21、色補正部 22、階調変換部 23及び色空間変換部 24と接続されている。
[0137] また、制御装置 26は、露光制御処理部 27を介して絞り 3と接続され、信号生成部 2 8を介して撮像素子 4及び ADコンバータ 10と接続されている。
[0138] 露光制御処理部 27は、絞り制御機構などにより構成され、評価値算出部 25の出力 信号などのフィードバックを受けながら制御装置 26からの制御信号により絞り 3を制 御するようになっている。
[0139] 信号生成部 28は、撮像素子 4の撮影動作を制御するようになっている。すなわち、 制御装置 26からの撮影制御信号に基づ 、て所定のタイミングパルス (画素駆動信号 、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号 など）を生成して撮像素子 4に出力するようになっている。また、信号生成部 28は AD 変換用のタイミング信号も生成するようになっている。
[0140] 続いて、撮像装置 1の撮像動作について、図 16を参照して説明する。
[0141] まず、撮像素子 4が各画素 G の入射光を光電変換し、線形変換又は対
11〜G へ
mn
数変換された電気信号をアナログ信号として出力する。具体的には、各画素 G
11〜G が信号読出ライン L に電気信号を出力すると、この電気信号を定電流源 Dが増幅 mn D
し、選択回路 sが順にサンプルホールドする。そして、サンプルホールドされた電気 信号が選択回路 Sから補正回路 8に送出されると、補正回路 8がノイズを除去して電 気信号を出力する。
[0142] 次に、撮像素子 4から出力されたアナログ信号をアンプ 9が増幅し、 ADコンバータ 10がデジタル信号に変換する。次に、黒基準設定部 11がデジタル信号の最低レべ ルを設定した後、図 16に示すように、このデジタル信号を信号処理部 12の線形化部 14及び変動補正部 13に送信する (ステップ Tl、ステップ Ul)。また、制御装置 26が 撮像素子 4の各画素 G
11〜G の露光時間情報と、画素情報とを変動補正部 13及び mn
変曲信号導出部 18に送信する (ステップ Ul、ステップ Sl)。
[0143] 露光時間情報及び画素情報を受信したら、変曲信号導出部 18は、ルックアップテ 一ブル 18aによって変曲出力信号値 Hを導出し (ステップ S2)、変動補正部 13と線 形化部 14のセレクタ 14bとに送信する（ステップ S3)。このように、ルックアップテープ ル 18aが露光時間及び画素情報に基づいて変曲出力信号値 Hを導出するので、変 曲出力信号値 Hの導出が正確かつ高速に行われる。
[0144] 変曲信号導出部 18力もの変曲出力信号値 Hを受信したら (ステップ U2)、変動補 正部 13は画素 G 〜G 力 の出力信号の信号値と変曲出力信号値 H (より詳細に
11 mn
は変曲点近傍領域）との大小を比較し (ステップ U3)、画素 G 〜G 力もの出力信 号の信号値が変曲出力信号値 H以下である場合 (より詳細には変曲出力信号 H近 傍領域（図 15の ma相当）よりも小さい場合)、つまり画素 G 〜G からの出力信号が
11 mn
線形変換された電気信号である場合 (ステップ U3 ; Yes)は、変動補正部 13は処理 を終了する。
[0145] 一方、ステップ U3において画素 G 〜G 力 の出力信号が変曲出力信号値 H
11 mn
り大きい場合 (より詳細には変曲出力信号 H近傍領域（図 15の ma相当）以上の場合 )、つまり画素 G 〜G からの出力信号が線形変換された電気信号でない場合 (ス
11 mn
テツプ U3 ;No)には、変動補正部 13の第 1の補正部 13aは、ルックアップテーブル 1 5aにより画素 G 〜G ごとに補正係数 α 〜α を導出し (ステップ U4)、演算処
11 mn 11 mn
理部 16により画素 G 〜G ごとに変動補正を行う (ステップ U5)。続いて、第 2の補
11 mn
正部 13bは、変動補正後の電気信号のうち変曲点近傍領域の電気信号を、実際の 撮像素子 4の特性と重なるよう変曲点の両側の 2つの特性のモデル式を用いて補正 する (ステップ U6)。具体的には、ルックアップテーブル 17に変曲点近傍領域の電気 信号を入力することにより、変曲点の両側の 2つの特性のモデル式を用いて補正され た変曲点近傍領域の電気信号を導出する。続いて、変動補正部 13は変動補正後の 電気信号を線形ィ匕部 14のセレクタ 14bに送信する (ステップ U7)。
[0146] このように、画素 G 〜G の露光時間に起因して当該画素 G 〜G の入出力特
11 mn 11 mn
性が変動する場合でも、第 1の補正部 13aの変動補正により、基準露光時間 tにお ける出力値と画素 G 〜G の実際の出力値とのズレが補正される。また、係数導出 部 15が撮像時の露光時間及び画素情報に基づいて補正係数 α 〜α を導出す
11 mn るので、演算処理部 16が補正係数 a 〜α を用いることにより、撮像素子 4の入出
11 mn
力特性の変動が正確に補正される。また、ルックアップテーブル 15aにより、係数 α
11
〜ひ が正確かつ高速に導出される。また、画素 G 〜G からの出力信号が対数 mn 11 mn
変換された電気信号である場合にのみ変動補正を行うので、無駄に変動補正が行 われないこととなり、信号処理が高速化される。また、第 2の補正部 13bにより、変曲 点近傍領域において変動補正後の電気信号と実際の撮像素子 4の特性との補正誤 差が防止される。
[0147] 続いて、線形化部 14では変曲信号導出部 18からの変曲出力信号値 Hを受信する と (ステップ T2)、線形ィ匕部 14のセレクタ 14bは画素 G 〜G からの出力信号の信
11 mn
号値と変曲出力信号値 Hとの大小を比較し (ステップ T3)、画素 G 〜G 力もの出
11 mn 力信号が変曲出力信号値 H以下である場合 (ステップ T3 ; Yes)には、出力部 14cを 介して画素 G 〜G 力もの出力信号をそのまま出力する (ステップ T4)。一方、画素
11 mn
G 〜G 力もの出力信号が変曲出力信号値 Hより大きい場合 (ステップ T3 ;No)に
11 mn
は、セレクタ 14bは変動補正部 13から変動補正後の電気信号を受信し (ステップ T5 )、この電気信号に対して基準変換テーブル 14aに特性変換を行わせた後 (ステップ T6)、出力部 14cを介して出力する (ステップ Τ7)。
[0148] このように、線形化部 14では画素 G 〜G からの出力信号が対数変換された電
11 mn
気信号である場合にのみ特性変換を行うので、無駄に特性変換が行われな 、ことと なり、信号処理が高速化される。
[0149] 次に、線形ィ匕部 14から出力される電気信号に基づいて評価値算出部 25が前記 A
WB評価値、 AE評価値を算出する。
[0150] 次に、算出された AE評価値に基づいて制御装置 26が露光制御処理部 27を制御 し、撮像素子 4に対する露光量を調節させる。
[0151] また、 AWB評価値や、前記黒基準設定部 11で設定された前記最低レベルなどに 基づいて制御装置 26が AWB処理部 20を制御し、信号処理部 12から出力される画 像データに対してホワイトバランス処理を行わせる。
[0152] そして、 AWB処理部 20から出力される画像データに基づいて色補間部 21、色補 正部 22、階調変換部 23及び色空間変換部 24がそれぞれ画像処理を行った後、画 像データを出力する。
[0153] このように本実施形態の撮像装置 1によれば、撮像素子 4の少なくとも 1つの駆動条 件に起因して撮像素子 4の入出力特性が変動する場合に、撮像素子 4から出力され る電気信号の変動補正を行うので、駆動条件によって入出力特性が変動する場合で あっても、従来と異なり、基準駆動条件における出力値と、撮像素子 4の実際の出力 値とのズレが補正される。従って、特性変換によって電気信号を正確に線形変換さ れた状態に統一することができる。
[0154] また、第 1の補正部 13aにおいて、モデル化した演算式に基づき、簡易かつ高速に 変動補正を行うことができる。また、第 1の補正部 13aで各特性の出力信号をモデル ィ匕した演算式に基づいて変動補正を行うと、実際の撮像素子 4の出力信号は変曲点 近傍領域において滑らかな曲線状に変化していることから、出力信号モデルとの補 正誤差が生じるが、変曲点近傍領域の出力信号を変曲点の両側の 2つの特性のモ デル式を用いて補正することにより、変換誤差を抑制して画質劣化を改善することが 可能となる。
[0155] また、係数導出部 15は駆動条件に基づいて補正係数を導出するので、導出される 補正係数を演算処理部 16が用いることによって、駆動条件に起因する撮像素子 4の 入出力特性の変動を正確に補正することができる。
[0156] また、係数導出部 15は駆動条件及び画素情報に基づいて補正係数を導出するの で、導出される補正係数を演算処理部 16が用いることによって、駆動条件や画素に 起因する撮像素子 4の入出力特性の変動を正確に補正することができる。
[0157] また、ルックアップテーブル 15aにより補正係数を導出するので、演算によって補正 係数を導出する場合と比較して、係数導出部 15の構成を簡素化すると共に導出処 理を高速化することができる。
[0158] また、変動補正部 13は駆動条件に基づいて変動補正後の電気信号を導出するの で、駆動条件に起因する撮像素子 4の入出力特性の変動を正確に補正することがで きる。また、ルックアップテーブルによって変動補正後の電気信号を導出することによ り、演算によって変動補正後の電気信号を導出する場合と比較して、変動補正部 13 の構成を簡素化すると共に導出処理を高速化することができる。
[0159] また、駆動条件と、画素情報とに基づいて変動補正後の電気信号を導出するので 、駆動条件や画素に起因する撮像素子 4の入出力特性の変動を正確に補正するこ とがでさる。
[0160] また、複数種類の変換特性の切換点は撮像素子 4の駆動条件に応じて変動するが 、この切換点に応じて切換点近傍領域の出力信号の補正を行うことにより、変換誤差 を更に効果的に抑制することが可能となる。
[0161] また、ルックアップテーブル 17により補正後の出力信号を導出するので、演算によ つて補正を行う場合と比較して、第 2の補正部 13bの構成を簡素化すると共に導出処 理を高速化することができる。
[0162] また、変動補正部 13を各画素に対応付けて備えるので、画素毎に入出力特性の 変動量が異なる場合であっても、正確に変動補正を行うことができる。
[0163] また、線形化部 14を各画素に対応付けて備えるので、画素毎に光電変換の変換 特性が異なる場合であっても、電気信号全体を正確に線形変換された状態に統一 することができる。
[0164] また、撮像素子 4の出力信号が複数種類の変換特性のいずれか一つの特性により 変換された電気信号である場合にのみ信号処理部 12が信号処理を行うので、他方 の変換特性により変換された状態にする必要のな 、場合は、特性変換や変動補正 などの信号処理が行われない。従って、無駄に信号処理を行う手間を省くことができ るため、処理を高速化することができる。
[0165] また、駆動条件に基づいて変曲出力信号値を導出するので、変曲出力信号値の 導出を正確に行うことができる。
[0166] また、駆動条件及び画素情報に基づいて変曲出力信号値を導出するので、変曲 出力信号値の導出を正確に行うことができる。
[0167] また、ルックアップテーブル 18aによって変曲出力信号値を導出するので、演算に よって導出する場合と比較して、変曲信号導出部の構成を簡素化すると共に導出処 理を高速化することができる。
[0168] [実施の形態の変形例]
次に、上記の実施形態の変形例について説明する。なお、上記の実施形態と同様の 構成要素には同一の符号を付し、その説明を省略する。
[0169] 本変形例における変動補正部 13の第 1の補正部 13aは、各画素 G 〜G の制御
11 mn 電圧に起因して画素 G 〜G の入出力特性が変動する場合に、この画素 G 〜G
11 mn 11 m 力も出力される電気信号の変動補正を行うようになっている。
[0170] 具体的には、第 1の補正部 13aの係数導出部 15は、図 6及び図 8 (b)に示すように 、所定入射光量 thが最も小さいときの制御電圧 Vを基準制御電圧とし、制御電圧 V
1 2
(変数)の駆動条件に対応する仮想の変換テーブルと、基準制御電圧 Vの駆動条件 に対応する基準変換テーブル 14aとの入力軸（図 8 (b)中の X軸）上での距離 X—X =d— d =m V -m V (但し、 m =d ZV、 m =d /V )を補正係数 αとして用
1 2 1 1 2 2 2 2 2 1 1 1
いるようになっている。
[0171] また、本変形例における第 2の補正部 13bも、上記の実施形態と同様に、第 1の補 正部 13aから出力された電気信号のうち、変曲点近傍領域の電気信号を、ルックアツ プテーブル 17により変曲点の両側の 2つの特性のモデル式を用いて補正するように なっている。本実施形態でも、実際の撮像素子 4の特性は下記式（3)又は下記式 (4 )で表すことができ、これらの演算式に基づいて補正に必要なパラメータを実験的に 求めて、ルックアップテーブル 17を作成しておくことができる。なお、下記式（3)は図 14 (b)における基準変換テーブルによる出力信号 Yを表し、下記式 (4)は図 14 (b) における変換テーブルによる出力信号 Y
2を表している。
[0172] [数 3]
[0173] [数 4]
Y, = 2 [a - & V{{X - d^/ ^ + b + rMX - d, )+ k2 } - ( 4 )
[0174] このような場合にも、上記の実施形態と同様の作用効果を得ることができる。
[0175] なお、上記の実施形態及び変形例にお!、ては、変動補正部 13は線形ィ匕部 14の 前段に配設されることとして説明したが、後段に配設されることとしてもよぐ係数導出 部 15を線形ィ匕部 14の前段に、演算処理部 16を後段に設けてもょ 、。
[0176] また、撮像素子 4の駆動条件として、露光時間や制御電圧を用いることとして説明し た力 温度を用いることとしてもよい。
[0177] また、変動補正部 13の第 1の補正部 13aは、変動補正後の電気信号を導出する演 算処理部 16を備えることとして説明したが、駆動条件や画素情報、撮像素子 4から出 力される電気信号などの入力によって変動補正後の電気信号を導出するルックアツ プテーブルを備えることとしてもよい。この場合は、上記の実施形態と同様の効果を 得ることができると共に、演算により変動補正後の電気信号を導出する場合と比較し て変動補正部 13の構成を簡素化することが可能となる。
[0178] また、変動補正部 13及び線形ィ匕部 14は 1つずつ設けられていることとして説明し たが、各画素 G 〜G に対応づけて複数設けてもよい。特に、線形ィ匕部 14が複数 設けられる場合には、画素 G 〜G ごとに光電変換の変換特性が異なる場合であ
11 mn
つても、電気信号全体を正確に線形変換された状態に統一することができる。また、 変動補正部 13を複数設けることにより、画素 G 〜G ごとに入出力特性の変動量が
11 mn
異なる場合であっても、正確に変動補正を行うことができる。
[0179] また、係数導出部 15は、駆動条件と画素情報とに基づいて画素 G 〜G ごとに補
11 mn 正係数 a 〜a を導出することとして説明したが、駆動条件のみに基づいて、画素
11 mn
G 〜G に共通の補正係数 αを導出することとしてもよい。
11 mn
[0180] また、係数導出部 15は、補正係数を導出する基準変換テーブル 14aを備えることと して説明したが、駆動条件などの入力によって補正係数を導出する演算器を備える こととしてちよい。
[0181] また、本発明における特性変換部を、対数変換された電気信号を線形変換によつ て生成された状態に特性変換する線形ィ匕部 14として説明したが、線形変換された電 気信号を対数変換された状態に特性変換するものとしてもよい。
[0182] また、変曲信号導出部 18は、駆動条件と画素情報とに基づいて変曲出力信号値 Hを導出するものとしたが、駆動条件のみに基づいて導出してもよい。また変曲信号 導出部 18は、変曲出力信号値 Hを導出するルックアップテーブル 18aを備えることと したが、変曲出力信号値 Hを導出する演算器を備えてもょ 、。
また、線形ィ匕部 14は基準変換テーブル 14aによって特性変換を行うこととした力 指 数変換するなどの演算によって行ってもよい。
[0183] また、画素 G 〜G は図 3のような構成を有することとしたが、線形変換動作と対数
11 mn
変換動作とを切り換え可能であれば、例えば上述の特許文献 1に示されるような構成 を有するものであってもよ 、。

Claims

請求の範囲
[1] 複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮 像素子と、
前記撮像素子の出力信号に対して信号処理を行う信号処理部とを備え、 前記信号処理部は、
前記撮像素子の少なくとも 1つの駆動条件に起因して前記撮像素子の入出力特性 が変動する場合に、この撮像素子の出力信号の変動補正を行う変動補正部と、 前記撮像素子の出力信号を一つの変換特性により統一的に変換された状態に変換 する特性変換部とを備え、
前記変動補正部は、前記複数種類の変換特性をモデル化した演算式に基づ!/、て変 動補正を行う第 1の補正部と、前記第 1の補正部により変動補正された出力信号のう ち前記複数種類の変換特性の切換点近傍領域の出力信号を前記撮像素子の特性 と重なるように前記切換点の両側の 2つの特性のモデル式を用いて補正する第 2の 補正部とを備えることを特徴とする撮像装置。
[2] 前記第 1の補正部は、
補正係数を導出する係数導出部と、
前記補正係数に基づいて前記変動補正を行う演算処理部とを備えることを特徴とす る請求の範囲第 1項記載の撮像装置。
[3] 前記係数導出部は、前記駆動条件に基づ！ヽて前記補正係数を導出することを特徴 とする請求の範囲第 2項記載の撮像装置。
[4] 前記係数導出部は、前記駆動条件と、前記画素についての画素情報とに基づいて、 画素毎に前記補正係数を導出し、
前記演算処理部は、各画素について前記変動補正を行うことを特徴とする請求の範 囲第 2項又は第 3項記載の撮像装置。
[5] 前記係数導出部は、少なくとも前記駆動条件の入力によって前記補正係数を導出す るルックアップテーブルを備えることを特徴とする請求の範囲第 2項乃至第 4項いず れか一項に記載の撮像装置。
[6] 前記係数導出部は、少なくとも前記駆動条件の入力によって前記補正係数を導出す る演算器を備えることを特徴とする請求の範囲第 2項乃至第 4項いずれか一項に記 載の撮像装置。
[7] 前記第 1の補正部は、
前記駆動条件と、前記撮像素子の出力信号との入力によって前記変動補正後の電 気信号を導出するルックアップテーブルを備えることを特徴とする請求の範囲第 1項 記載の撮像装置。
[8] 前記ルックアップテーブルは、前記駆動条件と、前記画素につ!、ての画素情報と、 前記撮像素子の出力信号との入力によって前記変動補正後の電気信号を導出する ことを特徴とする請求の範囲第 7項記載の撮像装置。
[9] 前記第 2の補正部は、前記駆動条件ごとの前記複数種類の変換特性の切換点に応 じて前記切換点近傍領域の出力信号の補正を行うことを特徴とする請求の範囲第 1 項記載の撮像装置。
[10] 前記第 2の補正部は、前記切換点近傍領域の出力信号の入力により前記撮像素子 の特性と重なるように前記切換点の両側の 2つの特性のモデル式を用いて補正され た出力信号を導出するルックアップテーブルを備えることを特徴とする請求の範囲第 1項又は第 9項記載の撮像装置。
[11] 複数の前記変動補正部を、各画素に対応づけて備えることを特徴とする請求の範囲 第 1項乃至第 10項いずれか一項に記載の撮像装置。
[12] 複数の前記特性変換部を、各画素に対応づけて備えることを特徴とする請求の範囲 第 1項乃至第 11項いずれか一項に記載の撮像装置。
[13] 前記複数種類の変換特性の切換点における切換わり点信号値を導出する導出部を 備え、
前記信号処理部は、前記撮像素子からの出力信号の信号値と前記切換わり点信号 値との大小に基づき、前記撮像素子からの出力信号が前記複数種類の変換特性の V、ずれか一つの特性により変換された電気信号である場合にのみ、前記信号処理を 行うことを特徴とする請求の範囲第 1項乃至第 12項いずれか一項に記載の撮像装 置。
[14] 前記導出部は前記駆動条件に基づいて前記切換わり点信号値を導出することを特 徴とする請求の範囲第 13項記載の撮像装置。
[15] 前記導出部は前記駆動条件と前記画素についての画素情報とに基づいて前記切換 わり点信号値を導出することを特徴とする請求の範囲第 13項又は第 14項記載の撮 像装置。
[16] 前記導出部は少なくとも前記駆動条件の入力により前記切換わり点信号値を導出す るルックアップテーブルを備えることを特徴とする請求の範囲第 14項又は第 15項記 載の撮像装置。
[17] 前記導出部は少なくとも前記駆動条件の入力により前記切換わり点信号値を導出す る演算器を備えることを特徴とする請求の範囲第 14項又は第 15項記載の撮像装置
[18] 前記駆動条件は、撮影時の温度と、前記画素の露光時間と、前記画素に対する制 御電圧との少なくとも 1つであることを特徴とする請求の範囲第 1項乃至第 17項いず れか一項に記載の撮像装置。
[19] 前記複数の画素は入射光を電気信号に線形変換する線形変換特性と入射光を電 気信号に対数変換する対数変換特性とを入射光量に応じて切り換え可能に構成さ れていることを特徴とする請求の範囲第 1項乃至第 18項いずれか一項に記載の撮 像装置。
PCT/JP2007/061362 2006-06-14 2007-06-05 撮像装置 Ceased WO2007145099A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07744714A EP2028846A4 (en) 2006-06-14 2007-06-05 PICTURE SETUP
JP2008521157A JP5012796B2 (ja) 2006-06-14 2007-06-05 撮像装置
US12/304,175 US7956903B2 (en) 2006-06-14 2007-06-05 Imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006164651 2006-06-14
JP2006-164651 2006-06-14

Publications (1)

Publication Number Publication Date
WO2007145099A1 true WO2007145099A1 (ja) 2007-12-21

Family

ID=38831616

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/061362 Ceased WO2007145099A1 (ja) 2006-06-14 2007-06-05 撮像装置

Country Status (4)

Country Link
US (1) US7956903B2 (ja)
EP (1) EP2028846A4 (ja)
JP (1) JP5012796B2 (ja)
WO (1) WO2007145099A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010010871A1 (ja) * 2008-07-25 2010-01-28 コニカミノルタオプト株式会社 撮像装置
JP4586942B1 (ja) * 2009-06-15 2010-11-24 コニカミノルタオプト株式会社 撮像装置
JP4586941B1 (ja) * 2009-06-15 2010-11-24 コニカミノルタオプト株式会社 撮像装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4556722B2 (ja) 2004-05-31 2010-10-06 コニカミノルタホールディングス株式会社 撮像装置
JP2005348005A (ja) * 2004-06-02 2005-12-15 Konica Minolta Holdings Inc 撮像装置、撮像システム及び撮像システム動作プログラム
JP5495711B2 (ja) * 2009-10-26 2014-05-21 キヤノン株式会社 撮像装置及び撮像システム、それらの制御方法及びそのプログラム
US9892487B1 (en) * 2016-11-28 2018-02-13 Sony Corporation Method and apparatus for combining pixel values in array including linear pixels and logarithmic pixels
CN107592472B (zh) * 2017-10-20 2019-12-20 思特威(上海)电子科技有限公司 多段曝光图像传感器的成像校正方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530350A (ja) 1991-07-18 1993-02-05 Minolta Camera Co Ltd 固体撮像装置
JPH11298799A (ja) 1998-04-15 1999-10-29 Honda Motor Co Ltd 光センサ信号処理装置
JP2001223948A (ja) 2000-02-10 2001-08-17 Minolta Co Ltd 固体撮像装置
JP2002077733A (ja) 2000-08-31 2002-03-15 Minolta Co Ltd 固体撮像装置
JP2005348005A (ja) * 2004-06-02 2005-12-15 Konica Minolta Holdings Inc 撮像装置、撮像システム及び撮像システム動作プログラム
JP2006020278A (ja) * 2004-05-31 2006-01-19 Konica Minolta Holdings Inc 撮像装置
JP2006050541A (ja) * 2004-06-29 2006-02-16 Konica Minolta Holdings Inc 撮像装置
JP2006109327A (ja) * 2004-10-08 2006-04-20 Konica Minolta Holdings Inc 撮像装置及び階調変換方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4374745B2 (ja) * 2000-07-19 2009-12-02 コニカミノルタホールディングス株式会社 固体撮像装置
JP4014110B2 (ja) * 2005-01-24 2007-11-28 三菱電機株式会社 撮像装置の調整方法
JP4678218B2 (ja) * 2005-03-24 2011-04-27 コニカミノルタホールディングス株式会社 撮像装置及び画像処理方法
JP2007074488A (ja) * 2005-09-08 2007-03-22 Konica Minolta Holdings Inc 撮像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530350A (ja) 1991-07-18 1993-02-05 Minolta Camera Co Ltd 固体撮像装置
JPH11298799A (ja) 1998-04-15 1999-10-29 Honda Motor Co Ltd 光センサ信号処理装置
JP2001223948A (ja) 2000-02-10 2001-08-17 Minolta Co Ltd 固体撮像装置
JP2002077733A (ja) 2000-08-31 2002-03-15 Minolta Co Ltd 固体撮像装置
JP2006020278A (ja) * 2004-05-31 2006-01-19 Konica Minolta Holdings Inc 撮像装置
JP2005348005A (ja) * 2004-06-02 2005-12-15 Konica Minolta Holdings Inc 撮像装置、撮像システム及び撮像システム動作プログラム
JP2006050541A (ja) * 2004-06-29 2006-02-16 Konica Minolta Holdings Inc 撮像装置
JP2006109327A (ja) * 2004-10-08 2006-04-20 Konica Minolta Holdings Inc 撮像装置及び階調変換方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2028846A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010010871A1 (ja) * 2008-07-25 2010-01-28 コニカミノルタオプト株式会社 撮像装置
JPWO2010010871A1 (ja) * 2008-07-25 2012-01-05 コニカミノルタオプト株式会社 撮像装置
US8576307B2 (en) 2008-07-25 2013-11-05 Konica Minolta Opto, Inc. Imaging device having a characteristic converting section
JP4586942B1 (ja) * 2009-06-15 2010-11-24 コニカミノルタオプト株式会社 撮像装置
JP4586941B1 (ja) * 2009-06-15 2010-11-24 コニカミノルタオプト株式会社 撮像装置
JP2011024246A (ja) * 2009-06-15 2011-02-03 Konica Minolta Opto Inc 撮像装置

Also Published As

Publication number Publication date
EP2028846A4 (en) 2011-11-02
US20090251571A1 (en) 2009-10-08
JPWO2007145099A1 (ja) 2009-10-29
JP5012796B2 (ja) 2012-08-29
EP2028846A1 (en) 2009-02-25
US7956903B2 (en) 2011-06-07

Similar Documents

Publication Publication Date Title
WO2007145099A1 (ja) 撮像装置
US7545412B2 (en) Image-sensing apparatus with a solid-state image sensor switchable between linear and logarithmic conversion
JP2008092565A (ja) カラーマッチング方法及び撮像装置
JP2011254321A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US7206021B2 (en) Hybrid pixel interpolating apparatus and hybrid pixel interpolating method
KR940011702B1 (ko) 촬상장치와 그 방법
JP2013012979A (ja) 画像処理装置及び画像処理方法
JP2007329655A (ja) 撮像装置
JP4792943B2 (ja) 撮像装置
JP4853734B2 (ja) 撮像装置
JP4710617B2 (ja) 撮像装置及び撮像方法
JP2008028623A (ja) 撮像装置
JP2007324998A (ja) 撮像装置
JP2007318503A (ja) 撮像装置
CN100579178C (zh) 摄像装置
JP4784397B2 (ja) 撮像装置
JP2006237998A (ja) 撮像装置
JP2008028634A (ja) 撮像装置
CN116055902B (zh) 一种图像生成方法、装置、图像传感器及存储介质
KR20120067283A (ko) 화상처리장치, 화상처리방법, 및 프로그램 기록매체
KR101315299B1 (ko) 디지털 영상 처리장치
JP2005086630A (ja) 撮像装置
WO2006067926A1 (ja) 撮像装置及び撮像方法
JP2006270592A (ja) 画像処理装置
JP6899292B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07744714

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008521157

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12304175

Country of ref document: US

Ref document number: 2007744714

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE