WO2003013129A1 - Image pickup apparatus and image pickup method - Google Patents

Image pickup apparatus and image pickup method Download PDF

Info

Publication number
WO2003013129A1
WO2003013129A1 PCT/JP2002/007682 JP0207682W WO03013129A1 WO 2003013129 A1 WO2003013129 A1 WO 2003013129A1 JP 0207682 W JP0207682 W JP 0207682W WO 03013129 A1 WO03013129 A1 WO 03013129A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
limit value
luminance
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2002/007682
Other languages
English (en)
French (fr)
Inventor
Chikako Sano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP02749380A priority Critical patent/EP1424852A4/en
Priority to US10/398,043 priority patent/US7352398B2/en
Publication of WO2003013129A1 publication Critical patent/WO2003013129A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Definitions

  • the present invention captures the same subject a plurality of times with different exposure amounts, and combines a plurality of captured images to generate an image with a wide dynamic range.
  • the present invention relates to an image capturing apparatus and an image capturing method.
  • a CCD (Charge Coupled Device) image sensor is generally used as an image sensor.
  • the CCD image sensor has a very narrow dynamic range in the photographable luminance range compared to silver halide photographic film. To compensate for the narrow dynamic range of this CCD image sensor, the same subject has been imaged multiple times with different exposures, and multiple images with different exposures obtained by imaging have been added and synthesized.
  • a digital still camera having a function of generating an image with a wide dynamic range has been proposed.
  • the number of tones of the combined image increases. For example, assuming that the number of gradations in a normal image obtained from a CCD image sensor is 8 bits, if four images with different exposures are added and synthesized, the image The key number is 10 bits.
  • the number of gradations of the format of the media that records the captured image obtained by the digital still camera, the format of the display that displays the captured image, or the format of the interface that outputs the captured image is as follows: It is predetermined. Therefore, in such a digital still camera, it was necessary to compress the number of tones of the image after the synthesis and convert it to a number of tones suitable for these formats.
  • the frequency is sequentially accumulated from a low luminance value to a high luminance value, and a cumulative histogram is generated.
  • This cumulative histogram can be represented as a graph with the horizontal axis representing the luminance level of the input image (image before conversion) and the vertical axis representing the frequency.
  • a corrected curve is generated by replacing the vertical axis of the cumulative histogram with the luminance value of the output image.
  • the maximum cumulative frequency of the cumulative histogram that is, the value corresponding to the number of pixels of the input image is made to correspond to the maximum value (Y ma) of the number of tones of the output image (converted image).
  • the minimum cumulative frequency of the histogram that is, “0” is made to correspond to the minimum value (Y min) of the number of gradations of the output image.
  • the maximum cumulative frequency of the cumulative histogram corresponds to the luminance value of "255”
  • the minimum cumulative frequency of the cumulative histogram corresponds to the luminance value of "0”.
  • the correction curve thus created is stored in a memory as a conversion table.
  • the luminance value of the output image with respect to the luminance value of the input image is detected with reference to this conversion table, and the number of gradations is converted.
  • the distribution of the luminance of the entire output image is made uniform, and an image with enhanced contrast is obtained. Therefore, in the gradation compression method using the above-mentioned histogram averaging method, an input image having a high gradation number can be converted to a low gradation number while correcting image characteristics such as contrast.
  • the same level of luminance near a peak is dispersed in a wide range by a method using the histogram averaging method.
  • pixels having similar luminance levels are converted into pixels having a large luminance difference, and the output image becomes very difficult to see.
  • the method using the histogram averaging method corrects the luminance difference so as to be dispersed in all gradation regions. In such a case, the output image becomes too bright overall and looks unnatural.
  • the present invention has been proposed in view of the above-described circumstances, and generates a composite image with a wide dynamic range by capturing the same subject with different exposure amounts and combining the images. Then, the number of tones of the generated composite image is compressed and converted to a normal number of tones.
  • An object of the present invention is to provide an image capturing apparatus and an image capturing method capable of performing a correction so as to obtain a natural output image without making an image difficult to view due to excessive correction of a luminance value during the gradation conversion. Is to provide.
  • An image capturing apparatus captures the same subject a plurality of times under different exposure conditions, generates an image for a plurality of screens having different exposure amounts, and combines the images for a plurality of screens, Generate a single composite image in which the luminance values of the pixels are represented by the first number of gradations
  • the gradation number conversion means is set based on a combination function obtained by combining a linear function determined based on a ratio between the first gradation number and the second gradation number and a histogram function having characteristics corresponding to the histogram. According to the conversion rule, the luminance value of each pixel represented by the first number of gradations is converted into a luminance value represented by the second number of gradations.
  • the image capturing method captures the same subject a plurality of times under different exposure conditions, generates images for a plurality of screens having different exposure amounts, combines the images for the plurality of screens, and obtains the brightness of each pixel.
  • a single composite image whose values are represented by the first number of gradations is generated, a histogram indicating the frequency distribution of the luminance values of the composite image is detected, and the first gradation number and the second gradation number are calculated.
  • the luminance value of each pixel represented by the first number of gradations is calculated by a conversion rule set based on a combination function obtained by combining a linear function determined based on the ratio and a histogram function having characteristics corresponding to the histogram.
  • an output image is generated in which the luminance value of each pixel is converted to a luminance value represented by the second gradation number and the luminance value of each pixel is represented by the second gradation number.
  • An image capturing apparatus and method include a histogram having a characteristic corresponding to a histogram indicating a luminance distribution of an input image and a linear function determined based on a ratio between a first number of gradations and a second number of gradations.
  • the luminance value of each pixel represented by the first number of gradations is converted into a luminance value represented by the second number of gradations according to a conversion rule set based on a combination function obtained by combining the function and the function.
  • Fig. 1 is a block diagram showing a digital still camera to which the present invention is applied
  • Fig. 2 is a block diagram for explaining an algorithm for creating a Y gradation correction table.
  • FIG. 3A is a diagram for explaining a histogram
  • FIG. 3B is a cumulative histogram
  • FIG. 3C is a diagram for explaining a contrast correction curve.
  • FIG. 4A is a diagram for explaining a simple correction straight line
  • FIG. 4B is a diagram for explaining a composite correction curve.
  • FIG. 5 is a block diagram for explaining an algorithm for creating a C gain correction table.
  • FIG. 6A is a diagram for explaining a contrast correction gain curve
  • FIG. 6B is a diagram for explaining a simple correction gain straight line
  • FIG. 6C is a diagram for explaining a composite correction gain curve. It is.
  • FIG. 7 is a diagram for explaining a modification of the Y gradation correction table.
  • FIG. 8 is a diagram for explaining another modification of the Y gradation correction table.
  • BEST MODE FOR CARRYING OUT THE INVENTION an example in which the present invention is applied to a digital still camera will be described.
  • the digital still camera described below captures the same object a plurality of times with different exposure amounts, and adds and synthesizes a plurality of images with different exposure amounts obtained by imaging to obtain a dynamic range.
  • This camera generates a wide image and outputs the image by reducing the number of tones of the image with a wide dynamic range to the number of tones suitable for a normal output format.
  • FIG. 1 shows a block diagram of a digital still camera to which the present invention is applied.
  • the digital still camera 1 has a lens 10, an aperture stop mechanism 11, a CCD 12, a timing generator (TG) 13 and an S / H circuit 14 as shown in FIG. , Analog signal processing circuit 15, analog / digital (A / D) comparator 16, image data overnight addition circuit 1, image memory 18, white balance circuit 19 , Gamma correction circuit 20, interpolation circuit 21, Y matrix circuit 22, C matrix circuit 23, Y gradation correction circuit 24, Y histogram detection circuit 25, and multiplication circuit 26 , C gradation gain setting circuit 27, recording circuit 28, and controller 29.
  • the lens 10 is an optical element that forms light from a subject on the CCD 12.
  • the aperture shirt mechanism 11 is a mechanism for controlling the exposure amount and irradiation time of the light irradiated to the CCD 12.
  • the CCD 12 photoelectrically converts the illuminated subject image and outputs an electric signal.
  • the timing generator 13 generates charge transfer timing, readout timing, shutter timing and the like of the CCD 12.
  • the signal output from the CCD 12 is supplied to the SZH circuit 14.
  • the S / H circuit 14 performs a correlated double sampling process on the input signal to generate an analog image signal.
  • the analog image signal output from the S / H circuit 14 is supplied to an analog signal processing circuit 15.
  • the analog signal processing circuit 15 amplifies the analog image signal to a predetermined level and performs various analog signal processing such as white / black balance adjustment.
  • the analog image signal output from the analog signal processing circuit 15 is supplied to an A / D converter 16.
  • the A / D converter 16 converts the analog image signal into a digital image signal.
  • the digital image signal output from the A / D converter 16 is supplied to an image data adding circuit 17.
  • the image data addition circuit 17 stores a plurality of images of the same subject imaged at different exposure amounts in the memory 18 and adds and synthesizes these to generate synthesized image data.
  • the number of tones in the combined image is the number of tones obtained by multiplying the number of combined images by the number of tones of the original image before combining. For example, when adding and combining four original images each having 8 bits (256 levels), the number of levels of the composite image data is 10 bits (256 ⁇ 4 levels).
  • the composite image data generated by the image data addition circuit 17 is supplied to a white balance circuit 19.
  • the white balance circuit 19 performs white balance processing on the composite image data.
  • the composite image data output from the white balance circuit 19 is supplied to a gamma correction circuit 20.
  • the gamma correction circuit 20 performs gamma correction on the composite image data.
  • the composite image data output from the gamma correction circuit 20 is supplied to the interpolation circuit 21.
  • the interpolation circuit 21 performs a color interpolation process on the composite image data composed of complementary colors, and converts the composite image data into image data composed of R, G, and B components.
  • the composite image data composed of the R, G, and B components is supplied to a Y matrix circuit 22 and a C matrix circuit 23.
  • the Y matrix circuit 22 performs a matrix operation on the composite image data composed of the R, G, and B components to extract a luminance (Y) component of the composite image.
  • the extracted luminance data is supplied to a Y gradation correction circuit 24, a Y histogram detection circuit 25, and a C gradation gain setting circuit 27.
  • the C matrix circuit 23 performs a matrix operation on the composite image data composed of the R, G, and B components, and extracts a color difference (Cr / Cb) component of the composite image.
  • the extracted color difference data is supplied to the multiplication circuit 26.
  • the Y gradation correction circuit 24 internally has a Y gradation correction table, and refers to the Y gradation correction table to convert the input luminance value (Yin) into a predetermined value. Convert to The Y gradation correction table has a luminance value expressed in bits of output luminance data (Yout) corresponding to a luminance value expressed in bits of input luminance data (Yin). It is shown. The Y gradation correction circuit 24 converts the number of gradations of the input luminance value according to the correspondence described in the Y gradation correction table. The Y gradation correction circuit 24 compresses, for example, input luminance data (Yin) having 10-bit gradation into output luminance data (Yout) having 8-bit gradation.
  • the gradation number of the luminance data is compressed to a predetermined gradation number by the Y gradation correction circuit 24, and at the same time, the luminance level is corrected in accordance with the characteristics described in the Y gradation correction table.
  • the Y gradation correction table is set by the controller 29, and the details of the setting will be described later. Brightness data (Yout) whose gradation number is compressed by the Y gradation correction circuit 24 is supplied to the recording circuit 28.
  • the Y histogram detection circuit 25 receives luminance data for one screen of the composite image from the Y matrix circuit 22, and detects a histogram indicating the frequency of occurrence of each luminance value in one screen of the composite image based on the input luminance data. For example, this histogram is obtained, for example, by searching for all the luminance data in the input composite image of one screen, and retrieving the total luminance data obtained by the search for the same luminance or for each luminance within a predetermined range. Classify and calculate the number of pixels for each classification. Then, a data group is created in which the calculated pixel numbers are listed in order from the lowest luminance value. This becomes a histogram.
  • the histogram can be represented as a graph in which the horizontal axis is a luminance value (or a certain luminance range) and the vertical axis is the frequency of occurrence in the screen.
  • Y histogram detection circuit The histogram generated by 25 is supplied to the controller 29 and used for generating a Y gradation correction table and a C correction gain table.
  • the multiplication circuit 26 multiplies the color difference data (C in) supplied from the C matrix circuit 23 by the correction gain (C g) supplied from the C gradation gain setting circuit 27, and calculates the difference of the input color difference data. In addition to converting the tone, the color difference level is corrected according to the characteristics of the input correction gain. For example, the multiplication circuit 26 converts the input color difference data (C in) of the 10-bit gradation number into the output color difference data of the 8-bit gradation number.
  • the C gradation gain setting circuit 27 internally has a C correction gain table, and refers to the C correction gain table to refer to the correction gain (C g) corresponding to the value of the input luminance data (Yin). Is output. Input brightness data is stored in the C correction gain table.
  • the correction gain (Cg) is shown corresponding to the luminance value expressed in the number of bits of (Yin).
  • the C gradation gain setting circuit 27 outputs a correction gain (Cg) according to the correspondence described in the C correction gain table.
  • the level correction is performed together with the gradation compression of the luminance value.
  • the digital still camera 1 generates a correction amount (correction gain (Cg)) of the color difference data corresponding to the input luminance value, and outputs the correction amount from the C matrix circuit 23. It is to be multiplied by the color difference (C in). Further, by multiplying the correction gain (Cg), the number of gradations in the color difference is also reduced.
  • the C correction gain table is set by the controller 29, and the details of the setting will be described later.
  • the recording circuit 28 receives the luminance data and the chrominance data which have been subjected to the gradation compression, and records these data on an internal recording medium.
  • the controller 29 controls the aperture and the speed of the shirt to capture the same subject multiple times with different exposures, controls the acquisition of image data, controls the generation of composite image data, and controls the Y floor. Various controls such as generation of a Y gradation correction table stored in the tone correction circuit 24 and generation of a C correction gain table stored in the C gradation gain setting circuit 27 are performed.
  • the digital still camera 1 having the above configuration has a high dynamic range shooting mode for shooting the same subject a plurality of times with different exposure amounts. The digital still camera 1 performs the following operation when entering the high dynamic range mode.
  • the controller 29 controls the aperture shirting mechanism 11 to capture a plurality of images of the same subject while gradually changing the aperture. As a result, a plurality of pieces of image data having different exposure amounts are generated for the same object. Further, for example, the controller 29 may control the timing generator 13 to capture a plurality of images of the same subject while changing the electronic shutter speed stepwise, Alternatively, a plurality of images of the same subject may be captured while controlling the analog signal processing circuit 15 to change the gain stepwise. Thus, even when the shirt speed is changed, it is possible to generate a plurality of images with different exposure amounts for the same subject. The plurality of captured images are temporarily stored in the image memory 18.
  • the image data adding circuit 17 After terminating the imaging of the plurality of images, the image data adding circuit 17 adds and synthesizes the plurality of image data stored in the image memory 18 to generate a synthesized image data. For example, four pieces of image data with 8-bit gradations are combined to generate composite image data with 10-bit gradations.
  • the Y histogram detection circuit 25 detects a histogram of the luminance values of the composite image data.
  • the detected histogram is supplied to the controller 29.
  • the controller 29 creates a Y gradation correction table and a C correction gain table based on the detected histogram.
  • the Y gradation correction table created by the controller 29 is stored in the Y gradation correction circuit 24.
  • the C correction gain table created by the controller 29 is stored in the C gradation gain setting circuit 27.
  • the gradation compression process of the composite image data is started. That is, the number of gradations of the luminance data is compressed by the Y gradation correction circuit 24, and the number of gradations of the color difference data is compressed by the multiplication circuit 26. For example, 10-bit grayscale luminance data and color difference data are converted to 8-bit grayscale data. This allows The composite image data is converted into data having the number of gradations corresponding to the recording format. Then, the recording circuit 28 records the gradation-compressed luminance data and color difference data on the recording medium.
  • the digital still camera 1 can capture an image with a wide dynamic range.
  • FIG. 2 shows a functional procedure for realizing an algorithm for creating a Y gradation correction table.
  • the algorithm for creating the Y gradation correction table includes an accumulated histogram generation unit 31, a histogram correction curve generation unit 32, a simple correction straight line generation unit 33, and a synthesis unit 34. .
  • the histogram of the luminance of the synthesized image is input from the Y histogram detection circuit 25 to the cumulative histogram generation unit 31.
  • Cumulative histogram generating unit 31 a histogram as described above is supplied from the Y histogram detection circuit 25, will cumulatively adds to a low luminance value (the highest luminance value from X (X m ax), as shown in FIG. 3B
  • a low luminance value the highest luminance value from X (X m ax)
  • the cumulative frequency ⁇ H (Xn) is as follows.
  • H (X 3 ) H (Xoi) + H (X 2 ) + H (X 3 )
  • ⁇ H (X max) H (Xi) + H (X 2) + H (X 3) + ... + H (Xmax).
  • the cumulative histogram generated by the cumulative histogram generator 31 is input to the histogram correction curve generator 32.
  • the histogram correction curve generation unit 32 calculates the vertical axis ⁇ H ( ⁇ ⁇ ) of the cumulative histogram as the brightness of the output image. Generate a histogram correction curve by substituting the degree value ( ⁇ ).
  • the histogram correction curve associates the maximum cumulative frequency of the cumulative histogram ( ⁇ ⁇ (X max)) with the maximum value (Y max ) of the number of gradations of the output image.
  • the cumulative frequency that is, "0" is set so as to correspond to the minimum value ( Ymin ) of the number of gradations of the output image. For example, if the number of tones of the output image is 8 bits, the maximum cumulative frequency of the cumulative histogram is made to correspond to the luminance value of "255", and the minimum cumulative frequency of the cumulative histogram is made to the luminance value of "0". A corresponding histogram correction curve is generated. When the histogram correction curve is generated, the value of X max may be the maximum value of the number of tones of the composite image, or may be the maximum value of the actually obtained luminance data.
  • the simple correction straight line generation unit 33 generates a simple correction straight line.
  • Y ma is the maximum value of the number of tones of the output image
  • the value of X max may be the maximum value of luminance data actually obtained, instead of the maximum value of the number of tones of the composite image.
  • the synthesizing unit 34 adds and synthesizes the histogram correction curve and the simple correction straight line by a predetermined synthesis ratio. For example, set the synthesis ratio G in the range of 0 to 1, multiply the histogram correction curve by "G”, multiply the simple correction straight line by this G's complement (1_G), and then add both Combine. By adding and combining in this way, a combined correction curve as shown in FIG. 4B can be generated.
  • the synthesis unit 34 stores the generated synthesis correction curve as a Y-tone correction table in a memory in the Y-tone correction circuit 24.
  • the correction ratio of the luminance level can be changed by appropriately and optimally changing the combination ratio G of the histogram correction curve and the simple correction straight line. For example, by observing the distribution of the histogram, increase the ratio of the simple correction straight line if you do not want to make too much brightness correction, and increase the ratio of the histogram correction curve if you want to make a stronger brightness correction. I need more.
  • Figure 5 shows a function block for implementing the algorithm for creating the C gradation gain correction table.
  • the algorithm for creating the C gradation gain correction table includes a histogram gain correction curve generator 41, a simple correction gain straight line generator 42, and a synthesizer 43.
  • this histogram correction gain curve is a curve showing the value of the correction gain C g with respect to the luminance value of the input composite image. That is, this histogram correction gain curve is a curve showing the correction ratio of the color difference data when the luminance value is corrected based on the histogram.
  • the simple correction gain straight line generator 42 generates a simple correction gain straight line.
  • This simple correction gain straight line indicates the correction amount of the color difference over time when the luminance value is not corrected. That is, if the luminance value is not corrected, the luminance value does not need to be corrected.
  • the correction gain C g generated by the simple correction gain straight line generation unit 42 is calculated as The value is always "1" regardless of the luminance value.
  • the synthesizing section 43 multiplies the histogram correction gain curve and the simple correction gain straight line by a predetermined synthesizing ratio, and performs addition synthesis. For example, set the composition ratio G in the range of 0 to 1, multiply the histogram correction gain curve by "G”, and multiply the simple correction gain line by this G's complement (1-G). The two are added and synthesized. By adding in this way, a combined correction gain curve as shown in FIG. 6C can be generated.
  • the combining unit 43 uses the generated combined correction gain curve as a C correction gain table, It is stored in the memory in the C gradation gain setting circuit 27.
  • the color difference data is corrected by multiplying the color difference data by the correction gain Cg obtained based on the above-described combined correction gain curve. Further, gradation conversion is performed by discarding the lower bits of the corrected color difference data.
  • the simple correction straight line that simply converts the number of gradations into a straight line and the histogram correction curve that corrects the luminance value based on the histogram so as to be averaged are synthesized. Gradation conversion is performed using the corrected correction curve.
  • limit values (liml, lim2) may be set for both, and the composition ratio G may be changed accordingly in the low brightness area, the middle area, and the high brightness area.
  • the linear ratio is set to "1" for both the low-luminance region and the high-frequency region (that is, the ratio of the histogram correction curve is 0)
  • these regions are not averaged by the histogram. It is possible to suppress the occurrence of an image that is not completely closed due to floating of black as a whole.
  • a correction curve may be used in which the brightness value of the output image is set to 0 for all the low brightness areas and the brightness value of the output image is set to the maximum value for the high brightness area.
  • the limit value may be set to the minimum value and the maximum value of the input value, or may be set to a predetermined upper and lower ratio, for example, 3% above and below.
  • the luminance levels of all the pixels of the composite image are detected has been described, but the luminance levels of all the pixels are partially extracted instead of the luminance levels of all the pixels.
  • the luminance level may be detected by thinning out the pixels. This is because if a certain level of luminance distribution characteristics of the image can be obtained, a correction curve can be generated.
  • the present invention relates to a linear function determined based on a ratio between a first gradation number and a second gradation number, and a histogram having characteristics corresponding to a histogram indicating a luminance distribution of an input image.
  • the luminance value of each pixel represented by the first number of gradations is converted into a luminance value represented by the second number of gradations according to a conversion rule set based on a combination function obtained by combining the tomogram function and the tomogram function.
  • a conversion rule set based on a combination function obtained by combining the tomogram function and the tomogram function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

明細書 画像撮像装置及び画像撮像方法 技術分野 本発明は、 異なる露光量で同一の被写体を複数回撮像し、 撮像して得られた複 数の画像を合成して、 ダイナミックレンジの広い画像を生成する画像撮像装置及 び画像撮影方法に関する。 背景技術 デジタルスチルカメラでは、 撮像素子として、 一般に C C D (Charge Coupled Device) イメージセンサが用いられている。 C C Dイメージセンサは、 銀塩写真 フィルムに比べて、 撮影可能な輝度領域のダイナミックレンジが非常に狭い。 こ の C C Dィメージセンサのダイナミヅクレンジの狭さを補填するため、 従来より、 異なる露光量で同一の被写体を複数回撮像し、 撮像して得られた露光量の異なる 複数の画像を加算合成して、 ダイナミックレンジの広い画像を生成するといった 機能を有したデジタルスチルカメラが提案されている。
このようにダイナミックレンジを確保するために複数画像を加算合成した場合、 合成後の画像の階調数が大きくなる。 例えば、 C C Dイメージセンサから得られ る通常の画像デ一夕の階調数が 8ビットであるとするならば、 露光量が異なる 4 枚の画像を加算合成すれば、 加算合成後の画像の階調数は 1 0ビットとなる。 し かしながら、 デジ夕ルスチルカメラで得られた撮像画像を記録するメディアのフ ォーマツト、 撮像画像を表示するディスプレイのフォーマツト或いは撮像画像を 出力するイン夕フェースのフォーマヅ トの階調数は、 予め決まっている。 そのた め、 このようなデジ夕ルスチルカメラでは、 合成後の画像の階調数を圧縮して、 これらのフォーマットに適合する階調数に変換する必要があった。
階調数を圧縮する場合、 単純に線形的に行うのであれば、 例えば、 合成画像の 各画素の下位ビットを切り捨てるといった処理を行えばよい。 例えば、 1 0ビッ トの階調数の画像を 8ビットの階調数に圧縮したい場合には、 1 0ビットのうち 下位 2ビッ トを切り捨てればよい。 しかしながら、 複数の画像を合成したものを このように線形的に階調圧縮したのでは、 コントラストが曖昧となり表示したと きに見づらい画像となる場合がある。 このような画像合成をしてダイナミックレ ンジを広く した画像に対して階調圧縮をする場合、 コントラストがはっきりした 見やすい画像とするように、 輝度レベルの補正も同時に行われるのが一般的であ る。
階調圧縮とともに輝度レベルの補正を行う技術として、 従来より、 ヒストグラ ム平均化法を利用した階調圧縮手法が知られている。
以下、 このヒストグラム平均化法を利用した階調圧縮の基本的なアルゴリズム について説明をする。
まず、 入力画像 （変換前の画像） に対して全ての輝度値に対する頻度分布を示 すヒストグラムを検出する。
続いて、 検出したヒストグラムに基づき、 低い輝度値から高い輝度値へ、 順番 にその頻度を累積していき、 累積ヒストグラムを生成する。 この累積ヒストグラ ムは、 横軸を入力画像 （変換前の画像） の輝度レベル、 縦軸を頻度としたグラフ に表すことができる。
続いて、 累積ヒストグラムの縦軸を、 出力画像の輝度値に置き換えて、 補正曲 線を生成する。 このとき、 累積ヒストグラムの最大累積頻度、 すなわち、 入力画 像の画素数に対応した値を、 出力画像 （変換後の画像） の階調数の最大値 （Y m a ) に対応させ、 更に、 累積ヒス トグラムの最小累積頻度、 すなわち " 0 " を、 出力画像の階調数の最小値 （Y m i n ) に対応させるようにする。 例えば、 出力 画像の階調数が 8ビットであれば、 累積ヒストグラムの最大累積頻度を " 2 5 5 " という輝度値に対応させ、 累積ヒス トグラムの最小累積頻度を " 0 " という 輝度値に対応させた補正曲線を生成する。
このように作成した補正曲線を、 変換テーブルとしてメモリに格納する。
実際の階調圧縮処理を行う際に、 この変換テーブルを参照しながら入力された 画像の輝度値に対する出力画像の輝度値を検出し、 階調数の変換をする。 このようにヒストグラムを作成して輝度値の変換を行うことによって、 出力画 像の画像全体における輝度の分布が均一化され、 コントラストが強調された画像 となる。 そのため、 以上のヒストグラム平均化法を利用した階調圧縮手法では、 コントラスト等の画像特性を補正しながら、 高い階調数の入力画像を低い階調数 に変換することができる。
このようなヒストグラム平均化法を利用した階調圧縮手法を用いた場合であつ ても、 最適に輝度値の補正が行われず、 変換後の画像が見づらい画像となってし まう場合がある。
例えば、 輝度の頻度にピーク特性を有する画像が入力された場合、 ヒストグラ ム平均化法を利用した方法では、 ピ一ク付近にある同一レベルの輝度が、 広い範 囲に分散されてしまう。 このような場合は、 近い輝度レベルの画素同士が、 大き な輝度差を持った画素に変換されてしまい、 出力画像が非常に見づらくなつてし まう。 また、 例えば、 輝度差が少ない画像が入力された場合、 ヒストグラム平均 化法を利用した方法では、 その輝度差を全階調領域に分散するように補正してし まう。 このような場合は、 出力画像が全体的に明るくなり過ぎて、 見た目に不自 然な画像となってしまう。 発明の開示 本発明は、 上述したような実情に鑑みて提案されたものであり、 異なる露光量 で同一の被写体を撮像して、 その画像を合成することによりダイナミヅクレンジ の広い合成画像を生成し、 生成した合成画像の階調数を圧縮して、 通常の階調数 に変換する。
本発明の目的は、 その階調変換の際に、 輝度値の過度な補正によって見づらい 画像とすることなく、 自然な出力画像を得られるように補正を行うことができる 画像撮像装置及び画像撮影方法を提供することにある。
本発明に係る画像撮像装置は、 異なる露出条件で同一の被写体を複数回撮像し、 露出量が異なった複数画面分の画像を生成する撮像手段と、 複数画面分の画像を 合成して、 各画素の輝度値が第 1の階調数で表現された 1つの合成画像を生成す る画像合成手段と、 合成画像の輝度値の頻度分布を示すヒストグラムを検出する ヒストグラム検出手段と、 合成画像の階調数を、 第 2の階調数に変換して、 各画 素の輝度値が第 2の階調数で表現された出力画像を生成する階調数変換手段とを 備える。 階調数変換手段は、 第 1の階調数と第 2の階調数との比に基づき定まる 直線関数と、 ヒストグラムに対応した特性を有するヒストグラム関数とを合成し た合成関数に基づき設定される変換規則によって、 第 1の階調数で表現された各 画素の輝度値を、 第 2の階調数で表現された輝度値に変換する。
本発明に係る画像撮像方法は、 異なる露出条件で同一の被写体を複数回撮像し、 露出量が異なった複数画面分の画像を生成し、 複数画面分の画像を合成して、 各 画素の輝度値が第 1の階調数で表現された 1つの合成画像を生成し、 合成画像の 輝度値の頻度分布を示すヒストグラムを検出し、 第 1の階調数と第 2の階調数と の比に基づき定まる直線関数と、 上記ヒストグラムに対応した特性を有するヒス トグラム関数とを合成した合成関数に基づき設定される変換規則によって、 第 1 の階調数で表現された各画素の輝度値を、 第 2の階調数で表現された輝度値に変 換して、 各画素の輝度値が第 2の階調数で表現された出力画像を生成する。
本発明に係る画像撮像装置及び方法は、 第 1の階調数と第 2の階調数との比に 基づき定まる直線関数と、 入力画像の輝度分布を示すヒストグラムに対応した特 性を有するヒストグラム関数とを合成した合成関数に基づき設定される変換規則 によって、 第 1の階調数で表現された各画素の輝度値を、 第 2の階調数で表現さ れた輝度値に変換する。
本発明の更に他の目的、 本発明によって得られる具体的な利点は、 以下におい て図面を参照して説明される実施の形態の説明から一層明らかにされるであろう ( 図面の簡単な説明 図 1は、 本発明を適用したデジタルスチルカメラを示すプロック図である。 図 2は、 Y階調補正テーブルの作成アルゴリズムを説明するためのプロヅク図 である。
図 3 Aはヒストグラムを説明するための図であり、 図 3 Bは累積ヒストグラム を説明するための図であり、 図 3 Cはコントラスト補正曲線を説明するための図 である。
図 4 Aは、 単純補正直線を説明するための図であり、 図 4 Bは合成補正曲線を 説明するための図である。
図 5は、 Cゲイン補正テーブルの作成アルゴリズムを説明するためのプロヅク 図である。
図 6 Aはコントラスト補正ゲイン曲線を説明するための図であり、 図 6 Bは単 純補正ゲイン直線を説明するための図であり、 図 6 Cは合成補正ゲイン曲線を説 明するための図である。
図 7は、 Y階調補正テーブルの変形例を説明するための図である。
図 8は、 Y階調補正テーブルの他の変形例を説明するための図である。 発明を実施するための最良の形態 以下、 本発明をデジ夕ルスチルカメラに適用した例を挙げて説明する。
以下において説明をするデジ夕ルスチルカメラは、 異なる露光量で同一の被写 体を複数回撮像し、 撮像して得られた露光量の異なる複数の画像を加算合成して、 ダイナミヅクレンジの広い画像を生成し、 更に、 そのダイナミヅクレンジの広い 画像の階調数を通常の出力フォーマツトに適合した階調数に落として画像を出力 するカメラである。
図 1に、 本発明を適用したデジ夕ルスチルカメラのプロヅク構成図を示す。 デジ夕ルスチルカメラ 1は、 図 1に示すように、 レンズ 1 0と、 絞りシャヅ夕 機構 1 1と、 C C D 1 2と、 タイミングジェネレータ （T G ) 1 3と、 S / H回 路 1 4と、 アナログ信号処理回路 1 5と、 アナログ/デジ夕ル （A / D ) コンパ' 一夕 1 6と、 画像デ一夕加算回路 1 Ίと、 画像メモリ 1 8と、 ホワイ トバランス 回路 1 9と、 ガンマ補正回路 2 0と、 補間回路 2 1 と、 Yマトリクス回路 2 2と、 Cマトリクス回路 2 3と、 Y階調補正回路 2 4と、 Yヒストグラム検波回路 2 5 と、 乗算回路 2 6と、 C階調ゲイン設定回路 2 7と、 記録回路 2 8と、 コントロ ーラ 2 9とを備えて構成される。 レンズ 1 0は、 被写体からの光を C C D 1 2上に結像させる光学素子である。 絞りシャツ夕機構 1 1は、 C C D 1 2へ照射される光の露光量や照射時間を制御 するための機構である。 C C D 1 2は、 照射された被写体像を光電変換して、 電 気信号を出力する。 タイミングジェネレータ 1 3は、 C C D 1 2の電荷転送夕ィ ミング、 読出タイミング、 シャヅ夕夕イミング等を生成する。 C C D 1 2から出 力された信号は、 S Z H回路 1 4に供給される。
S / H回路 1 4は、 入力信号に対して相関二重サンプリング処理を施し、 アナ ログ画像信号を生成する。 S / H回路 1 4から出力されたアナログ画像信号は、 アナログ信号処理回路 1 5に供給される。 アナログ信号処理回路 1 5は、 アナ口 グ画像信号を所定のレベルに増幅し、 白/黒バランス調整等の各種アナログ信号 処理を行う。 アナログ信号処理回路 1 5から出力されたアナログ画像信号は、 A / Dコンバータ 1 6に供給される。 A / Dコンバータ 1 6は、 アナログ画像信号 をデジタルの画像信号に変換する。 A / Dコンバータ 1 6から出力されたデジ夕 ル画像信号は、 画像データ加算回路 1 7に供給される。
画像デ一夕加算回路 1 7は、 異なる露光量で撮像された複数の同一の被写体の 画像をメモリ 1 8に格納しておき、 これらを加算合成して合成画像データを生成 する。 ここで、 合成画像デ一夕の階調数は、 合成前の元画像の階調数に、 合成し た枚数を乗じた階調数となる。 例えば、 階調数が 8ビット （2 5 6階調） の 4枚 の元画像を加算合成するのであれば、 合成画像データの階調数は、 1 0ビット ( 2 5 6 X 4階調） となる。 画像デ一タ加算回路 1 7により生成された合成画像 デ一夕は、 ホワイ トバランス回路 1 9に供給される。 ' ホワイ トバランス回路 1 9は、 合成画像データに対して、 ホワイ トバランス処 理を行う。 ホワイ トバランス回路 1 9から出力された合成画像データは、 ガンマ 補正回路 2 0に供給される。 ガンマ補正回路 2 0は、 合成画像データに対してガ ンマ補正を行う。 ガンマ補正回路 2 0から出力された合成画像データは、 補間回 路 2 1に供給される。 補間回路 2 1は、 補色で構成される合成画像データに対し て色補間処理を行い、 R、 G、 B成分から構成される画像データに変換する。 R、 G、 B成分から構成される合成画像データは、 Yマトリクス回路 2 2及び Cマト リクス回路 2 3に供給される。 Yマトリクス回路 22は、 R、 G、 B成分から構成される合成画像データに対 してマトリクス演算を行い、 合成画像の輝度 （Y) 成分を抽出する。 抽出された 輝度データは、 Y階調補正回路 24、 Yヒストグラム検波回路 25及び C階調ゲ イン設定回路 27に供給される。 Cマトリクス回路 23は、 R、 G、 B成分から 構成される合成画像データに対してマトリクス演算を行い、 合成画像の色差 （C r/C b) 成分を抽出する。 抽出された色差デ一夕は、 乗算回路 26に供給され る。
Y階調補正回路 24は、 内部に Y階調補正テーブルを有し、 この Y階調補正テ 一ブルを参照して、 入力された輝度デ一夕 （Yi n) の値を、 所定の値に変換す る。 Y階調補正テ一ブルには、 入力輝度データ （Yi n) のビッ ト数単位で表さ れた輝度値に対応して、 出力輝度データ （Yout) のビット単位で表された輝 度値が示されている。 Y階調補正回路 24は、 この Y階調補正テーブルに記述さ れた対応関係に従い、 入力された輝度値の階調数を変換する。 Y階調補正回路 2 4は、 例えば、 10ビットの階調数の入力輝度データ （Yin) を、 8ビットの 階調数の出力輝度デ一夕 （Yout) に圧縮する。 したがって、 Y階調補正回路 24により、 輝度データの階調数が所定の階調数に圧縮され、 それとともに、 Y 階調補正テーブルに記述された特性に応じて、 輝度レベルの補正が行われる。 な お、 Y階調補正テーブルは、 コントローラ 29により設定されるが、 その設定内 容については詳細を後述する。 Y階調補正回路 24により階調数が圧縮された輝 度データ （Yout) は、 記録回路 28に供給される。
Yヒストグラム検波回路 25は、 Yマトリクス回路 22から合成画像 1画面分 の輝度データが入力され、 入力された輝度データに基づき合成画像 1画面内の各 輝度値の発生頻度を示すヒストグラムを検出する。 例えば、 このヒストグラムは、 例えば、 入力された 1画面分の合成画像内の全輝度データを検索し、 検索して得 られた全輝度デ一夕を同一の輝度、 或いは所定の範囲の輝度毎に分類して、 その 分類毎に画素数を算出する。 そして、 算出した画素数を低い輝度値から順番に羅 列したデ一夕群を作成する。 これがヒストグラムとなる。 したがって、 ヒストグ ラムは、 横軸を輝度値 （或いはある一定の輝度範囲） とし、 縦軸をその画面内に おける発生頻度としたグラフとして表すことができる。 Yヒストグラム検波回路 25により生成されたヒストグラムは、 コントローラ 29に供給され、 Y階調補 正テーブルの生成、 並びに、 C補正ゲインテーブルの生成のために利用される。 乗算回路 26は、 Cマトリクス回路 23から供給された色差データ （C i n) に、 C階調ゲイン設定回路 27から供給される補正ゲイン （C g) を乗算して、 入力された色差データの階調数を変換するとともに、 入力される補正ゲインの特 性に応じた色差レベルの補正が行われる。 例えば、 乗算回路 2 6は、 1 0ビヅ ト の階調数の入力色差デ一夕 （C i n) を、 8ビットの階調数の出力色差データ
(C o ut) に変換する。 乗算回路 26により階調数が圧縮された色差デ一夕
(C o u t ) は、 記録回路 28に供給される。
C階調ゲイン設定回路 27は、 内部に C補正ゲインテーブルを有し、 この C補 正ゲインテーブルを参照して、 入力された輝度データ （Yi n) の値に対応した 補正ゲイン （C g) を出力する。 C補正ゲインテーブルには、 入力輝度データ
(Yi n) のビット数単位で表された輝度値に対応して、 補正ゲイン （Cg) が 示されている。 C階調ゲイン設定回路 27は、 この C補正ゲインテーブルに記述 された対応関係に従い、 補正ゲイン （C g) を出力する。 本デジタルスチルカメ ラ 1では、 輝度値の階調圧縮とともにレベル補正を行っているが、 輝度値を補正 した場合、 同様に色差値も補正しなければ、 出力される色がくるってしまう。 そ のため、 本デジタルスチルカメラ 1では、 入力された輝度値に対応させた色差デ 一夕の補正量 （補正ゲイン （Cg) ) を生成し、 この補正量を Cマトリクス回路 23から出力された色差デ一夕 （C i n) に乗じることとしている。 また更に、 この補正ゲイン （Cg) を乗じることによって、 色差デ一夕の階調数も、 圧縮し ている。 なお、 C補正ゲインテーブルは、 コントローラ 29により設定されるが、 その設定内容については詳細を後述する。
記録回路 28は、 階調圧縮がされた輝度デ一夕及び色差デ一夕が入力され、 こ れらのデ一夕を内部の記録媒体に記録する。
コントローラ 29は、 異なる露光量で同一の被写体を複数回撮像するための絞 り量やシャツ夕速度の制御、 画像デ一夕の取込み等の制御、 合成画像デ一夕の生 成制御、 Y階調補正回路 24に格納する Y階調補正テーブルの生成、 C階調ゲイ ン設定回路 27に格納される C補正ゲインテーブルの生成等の各種制御を行う。 以上のような構成を備えるデジタルスチルカメラ 1は、 異なる露光量で同一の 被写体を複数回撮像する高ダイナミックレンジの撮影モードを有する。 デジタル スチルカメラ 1は、 この高ダイナミヅクレンジモードに入ると以下のような動作 を行う。
まず、 コントローラ 2 9は、 絞りシャツ夕機構 1 1を制御して、 段階的に絞り を変化させながら、 同一被写体の画像を複数枚撮像する。 この結果、 同一の被写 体に対して露光量が異なる複数枚の画像データが生成される。 また、 例えば、 コ ントローラ 2 9は、 タイミングジヱネレー夕 1 3を制御して、 段階的に電子シャ ッ夕スピードを変化させながら同一の被写体の画像を複数枚撮像してもよいし、 また、 アナログ信号処理回路 1 5を制御して段階的にゲインを変化させながら同 一の被写体の画像を複数枚撮像してもよい。 このようにシャツ夕スピードゃゲイ ンを変化させても、 同一の被写体に対して露光量が異なる複数枚の画像デ一夕を 生成することができる。 撮像された複数枚の画像は、 一旦画像メモリ 1 8に格納 される。
画像データ加算回路 1 7は、 複数枚の画像の撮像を終了した後、 画像メモリ 1 8に格納されている複数枚の画像デ一夕を加算合成して、 合成画像デ一夕を生成 する。 例えば、 8ビットの階調数の画像データを 4枚合成して、 1 0ビットの階 調数の合成画像データを生成する。
合成画像データを生成すると、 続いて、 Yヒストグラム検波回路 2 5によって、 この合成画像データの輝度値のヒストグラムを検出する。 検出したヒストグラム は、 コントローラ 2 9に供給される。 コントローラ 2 9は、 検出したヒストグラ ムに基づき、 Y階調補正テーブル及び C補正ゲインテ一ブルを作成する。 コント ローラ 2 9により作成された Y階調補正テーブルは Y階調補正回路 2 4に格納さ れる。 また、 コントローラ 2 9により作成された C補正ゲインテーブルは、 C階 調ゲイン設定回路 2 7に格納される。
各テーブルが格納されると、 続いて、 合成画像データの階調圧縮処理が開始さ れる。 すなわち、 輝度データの階調数が Y階調補正回路 2 4で圧縮され、 色差デ —夕の階調数が乗算回路 2 6によって圧縮される。 例えば 1 0ビット階調の輝度 データ及び色差データが、 8ビッ ト階調のデ一夕に変換される。 このことにより、 合成画像データは、 記録フォーマツ トに対応した階調数のデータに変換される。 そして、 記録回路 28が、 階調圧縮された輝度データ及び色差データを記録媒体 に記録する。
以上のように本デジ夕ルスチルカメラ 1では、 ダイナミヅクレンジが広い画像 を撮像することができる。
次に、 輝度データの階調圧縮をするための Y階調補正テーブルの作成アルゴリ ズムについて説明をする。
図 2に、 Y階調補正テーブルの作成アルゴリズムを実現するための機能プロヅ クを示す。
Y階調補正テーブルの作成アルゴリズムは、 図 2に示すように、 累積ヒストグ ラム生成部 3 1と、 ヒストグラム補正カーブ生成部 32と、 単純補正直線生成部 33と、 合成部 34とから構成される。
累積ヒストグラム生成部 31には、 Yヒストグラム検波回路 25から、 合成画 像の輝度のヒストグラムが入力される。 ヒストグラムは、 横軸が合成画像の輝度 値 Xn (n= l、 2、 3、 ···、 max) 、 縦軸が輝度の頻度 H (Xn) としたグ ラフ上に表した場合、 図 3Aに示すようになる。
累積ヒストグラム生成部 31は、 Yヒストグラム検波回路 25から供給される 以上のようなヒストグラムを、 低い輝度値 （X からもっとも高い輝度値 （Xm ax) まで累積加算していき、 図 3Bに示すような、 累積ヒストグラムを生成する。 例えば、 輝度 Xnの頻度を H (Xn) とするならば累積頻度∑H (Xn) は以下 のようになる。
Figure imgf000012_0001
∑ H (X3) =H (Xoi) +H (X2) +H (X3)
∑ H (Xmax) =H (Xi) +H (X2) +H (X3) + … +H (Xmax) 。 ヒストグラム補正カーブ生成部 32には、 累積ヒストグラム生成部 3 1により 生成された累積ヒストグラムが入力される。 ヒストグラム補正カーブ生成部 32 は、 図 3 Cに示すように、 累積ヒストグラムの縦軸∑ H (χη) を、 出力画像の輝 度値 （Υη) に置き換えて、 ヒス トグラム補正曲線を生成する。 このとき、 ヒス トグラム補正曲線は、 累積ヒス トグラムの最大累積頻度 （Σ Η ( X max) ) を、 出 力画像の階調数の最大値 （Ymax) に対応させ、 更に、 累積ヒストグラムの最小累 積頻度、 つまり、 "0" を、 出力画像の階調数の最小値 （Ymin) に対応させるよ うに設定する。 例えば、 出力画像の階調数が 8ビットであれば、 累積ヒストグラ ムの最大累積頻度を "2 55 " という輝度値に対応させ、 累積ヒス トグラムの最 小累積頻度を "0" という輝度値に対応させたヒストグラム補正曲線を生成する。 なお、 ヒストグラム補正曲線を生成する場合、 X maxの値は、 合成画像の階調数 の最大値としてもよいし、 或いは、 実際に得られる輝度デ一夕の最大値としても よい。 X maxの値を実際に得られる輝度データの最大値とする.と、 高輝度領域に信 号成分がない画像の場合に、 出力画像の階調範囲を最大限利用したダイナミック レンジの広い画像を生成することができる。
単純補正直線生成部 33は、 単純補正直線を生成する。 この単純補正直線は、 図 4Aに示すように、 Yn= (Ymax/X maX) Xnで表される直線である。 Yma は、 出力画像の階調数の最大値であり、 X maxは合成画像 （変換前の画像） の階 調数の最大値である。 例えば、 出力画像が 8ビット階調であれば Ymaxは 2 5 6と なり、 合成画像が 1 0ビヅト階調であれば Xmaxは 1 024となり、 Υη= ( 1 / 4) Xnといった直線となる。
なお、 単純補正直線を生成する場合、 Xmaxの値は、 合成画像の階調数の最大値 とせずに、 実際に得られる輝度データの最大値としてもよい。 Xmaxの値を実際に 得られる輝度データの最大値とすることにより、 高輝度領域に信号成分がない画 像の場合に、 出力画像の階調範囲を最大限利用したダイナミヅクレンジの広い画 像を生成することができる。
合成部 34は、 ヒストグラム補正曲線と単純補正直線とを所定の合成比を乗じ て、 加算合成をする。 例えば、 合成比 Gを 0〜 1の範囲で設定し、 ヒストグラム 補正曲線には "G" を乗算し、 単純補正直線には、 この Gの補数 （ 1 _G) を乗 算し、 その後両者を加算合成する。 このように加算合成すると、 図 4Bに示すよ うな、 合成補正曲線を生成することができる。 合成部 34は、 生成した合成補正 曲線を、 Y階調補正テーブルとして、 Y階調補正回路 24内のメモリに格納する。 なお、 ヒストグラム補正曲線と単純補正直線との合成比 Gを適宜最適に変更す ることによって、 輝度レベルの補正割合を変更することができる。 例えば、 ヒス トグラムの分布の様子などを観察して、 あまり輝度補正を行いたくない場合には 単純補正直線の比率を多くし、 強めに輝度補正をしたい場合にはヒス トグラム補 正曲線の比率を多くすればよい。
次に、 C階調ゲイン補正テーブルの作成アルゴリズムについて説明をする。 図 5に、 C階調ゲイン補正テーブルの作成アルゴリズムを実現するための機能 プロックを示す。
C階調ゲイン補正テーブルの作成アルゴリズムは、 図 5に示すように、 ヒスト グラムゲイン補正カーブ生成部 4 1と、 単純補正ゲイン直線生成部 4 2と、 合成 部 4 3とから構成される。
ヒストグラムゲイン補正カーブ生成部 4 1には、 Yヒストグラム検波回路 2 5 から、 合成画像の輝度のヒストグラムが入力され、 このヒストグラムに基づきヒ ストグラム補正ゲイン曲線を生成する。 このヒストグラム補正ゲイン曲線は、 図 6 Aに示すように、 入力される合成画像の輝度値に対する、 補正ゲイン C gの値 を示した曲線である。 すなわち、 このヒストグラム補正ゲイン曲線は、 ヒストグ ラムに基づき輝度値を補正した場合における色差データの補正割合を示した曲線 である。
単純補正ゲイン直線生成部 4 2は、 単純補正ゲイン直線を生成する。 この単純 補正ゲイン直線は、 輝度値を補正しない場合における色差デ一夕の補正量を示し ている。 すなわち、 輝度値を補正しなければ、 輝度値も補正しなくて良いため、 図 6 Bに示すように、 この単純補正ゲイン直線生成部 4 2により生成される補正 ゲイン C gは、 合成画像の輝度値に関わらず常に " 1 " という値となる。
合成部 4 3は、 ヒストグラム補正ゲイン曲線と単純補正ゲイン直線とを所定の 合成比を乗じて、 加算合成をする。 例えば、 合成比 Gを 0〜 1の範囲で設定し、 ヒストグラム補正ゲイン曲線には " G " を乗算し、 単純補正ゲイン直線には、 こ の Gの補数 （ 1—G ) を乗算し、 その後両者を加算合成する。 このように加算合 成すると、 図 6 Cに示すような、 合成補正ゲイン曲線を生成することができる。 合成部 4 3は、 生成した合成補正ゲイン曲線を、 C補正ゲインテーブルとして、 C階調ゲイン設定回路 27内のメモリに格納する。
本発明が適用されたデジタルスチルカメラ 1では、 以上のような合成補正ゲイ ン曲線に基づき得られる補正ゲイン C gが、 色差データに乗算されることによつ て、 色差値の補正が行われる。 更に、 この補正された色差デ一夕の下位ビットを 切り捨てることによって、 階調変換が行われる。
以上のように本発明が適用されたデジタルスチルカメラ 1では、 階調数を単純 に直線変換する単純補正直線と、 ヒストグラムに基づき輝度値が平均化されるよ うに補正するヒストグラム補正曲線とを合成した補正曲線により、 階調変換が行 われる。
このような補正曲線により階調変換がされる.と、 輝度の頻度にピーク特性を有 する画像や、 輝度差が少ない画像が入力された場合であっても、 見た目に不自然 な画像となることを抑制することができる。
なお、 上述の説明ではヒストグラム補正曲線と単純補正直線との合成比 Gを、 全ての輝度レベルに対して均一にした例を示したが、 図 7に示すように低輝度領 域又は高輝度領域或いはその両者に、 リミット値 （liml、 lim2) を設定し、 低輝 度領域、 中間領域、 高輝度領域で、 それそれで合成比 Gを変えるようにしてもよ い。 例えば、 低輝度領域と高域度領域をともに直線比率を "1" に設定すれば (つまり、 ヒストグラム補正曲線の割合が 0) 、 これらの領域にはヒストグラム による平均化処理が行われず、 例えば、 全体的に黒が浮いてしまってしまりのな い画像になることを抑制することができる。
また、 図 8に示すように、 低輝度領域については、 出力画像の輝度値を全て 0 とし、 高輝度領域については出力画像の輝度値を全て最大値とするような、 補正 曲線としてもよい。 この場合、 リミッ ト値は、 入力値の最小値と最大値に設定し たり、 或いは、 上下所定の割合、 例えば、 上下 3パーセントといったように設定 してもよい。 このように設定することにより、 高輝度領域及び低輝度領域に多く 含まれているノイズを除去することができる。 なお、 この際の単純補正直線は、 以下のように設定される。
X n< 1 i m 1 ： Yn= 0
l iml≤Xn≤ l im2 ： Yn= {Ymax/ (l im2-l iml ) } Xn X n > 1 i m 2 ： Y n = Y m a x
上述した例では、 Yヒストグラム検波回路 2 5でヒストグラムを検波する際に. 合成画像の全画素の輝度レベルを検波する例を示したが、 全画素の輝度レベルで はなく、 部分的に抽出する画素を間引いて輝度レベルを検波してもよい。 画像の ある程度の輝度分布特性を得られれば、 捕正曲線を生成することができるためで ある。 また、 同一条件で 度撮影を行う場合には、 過去に撮影したヒス トグラム 又は階調捕正テーブル等を保存しておき、 再度それらのデータを利用すれば、 処 理時間の短縮化を図ることができる。 産業上の利用可能性 本発明は、 第 1の階調数と第 2の階調数との比に基づき定まる直線関数と、 入 力画像の輝度分布を示すヒス トグラムに対応した特性を有するヒス トグラム関数 とを合成した合成関数に基づき設定される変換規則によって、 第 1の階調数で表 現された各画素の輝度値を、 第 2の階調数で表現された輝度値に変換することに より、 異なる露光量で同一の被写体を撮像して、 その画像を合成することにより ダイナミックレンジの広い合成画像を生成し、 生成した合成画像の階調数を圧縮 して、 通常の階調数に変換することができる。 その際に、 輝度値の過度な補正に よって見づらい画像とすることなく、 自然な出力画像を得られるように補正を行 うことができる。

Claims

請求の範囲
1 . 異なる露出条件で同一の被写体を複数回撮像し、 露出量が異なった複数画面 分の画像を生成する撮像手段と、
上記複数画面分の画像を合成して、 各画素の輝度値が第 1の階調数で表現され た 1つの合成画像を生成する画像合成手段と、
上記合成画像の輝度値の頻度分布を示すヒストグラムを検出するヒストグラム 検出手段と、
上記合成画像の階調数を、 第 2の階調数に変換して、 各画素の輝度値が第 2の 階調数で表現された出力画像を生成する階調数変換手段とを備え、
上記階調数変換手段は、 第 1の階調数と第 2の階調数との比に基づき定まる直 線関数と、 上記ヒストグラムに対応した特性を有するヒストグラム関数とを合成 した合成関数に基づき設定される変換規則によって、 第 1の階調数で表現された 各画素の輝度値を、 第 2の階調数で表現された輝度値に変換する画像撮像装置。
2 . 上記階調数変換手段は、 合成画像の輝度値に下限リミット値と、 この下限リ ミット値より高い上限リミット値とを設定し、
上記合成関数は、 下限リミツト値以下の部分及び/又は上限リミット値以上の 部分が、 上記直線関数となっていることを特徴とする請求の範囲第 1項記載の画
3 . 上記階調数変換手段は、
合成画像の輝度値に下限リミツト値と、 この下限リミット値より高い上限リミ ット値とを設定し、
合成画像の輝度値が下限リミット値以下の値のときには、 出力値が 0となり、 合成画像の輝度値が上限リミット値以上の値のときには、 出力値が最大値とな り、
合成画像の輝度値が下限リミット値から上限リミット値までの値のときには、 上限リミット値と下限リミツト値との差分値と、 第 2の階調数との比に基づき定 まる直線関数と、 上記ヒストグラム関数とを合成した合成関数に基づき設定され る変換規則によって、 第 1の階調数で表現された各画素の輝度値を、 第 2の階調 数で表現された輝度値に変換することを特徴とする請求の範囲第 1項記載の画像 撮像装置。
4 . 異なる露出条件で同一の被写体を複数回撮像し、 露出量が異なった複数画面 分の画像を生成し、
上記複数画面分の画像を合成して、 各画素の輝度値が第 1の階調数で表現され た 1つの合成画像を生成し、
上記合成画像の輝度値の頻度分布を示すヒストグラムを検出し、
第 1の階調数と第 2の階調数との比に基づき定まる直線関数と、 上記ヒストグ ラムに対応した特性を有するヒストグラム関数とを合成した合成関数に基づき設 定される変換規則によって、 第 1の階調数で表現された各画素の輝度値を、 第 2 の階調数で表現された輝度値に変換して、 各画素の輝度値が第 2の階調数で表現 された出力画像を生成する画像撮像方法。
5 . 合成画像の輝度値に下限リミット値と、 この下限リミット値より高い上限リ ミヅト値とを設定し、 上記合成関数は、 下限リミッ ト値以下の部分及び Z又は上 限リミット値以上の部分が、 上記直線関数となっていることを特徴とする請求の 範囲第 4項記載の画像撮像方法。
6 . 合成画像の輝度値に下限リミット値と、 この下限リミット値より高い上限リ ミ ヅ ト値とを設定し、
合成画像の輝度値が下限リミット値以下の値のときには、 出力値が 0となり、 合成画像の輝度値が上限リミット値以上の値のときには、 出力値が最大値とな り、
合成画像の輝度値が下限リミット値から上限リミット値までの値のときには、 上限リミット値と下限リミツト値との差分値と、 第 2の階調数との比に基づき定 まる直線関数と、 上記ヒストグラム関数とを合成した合成関数に基づき設定され る変換規則によって、 第 1の階調数で表現された各画素の輝度値を、 第 2の階調 数で表現された輝度値に変換することを特徴とする請求の範囲第 4項記載の画像 撮像方法。
PCT/JP2002/007682 2001-08-01 2002-07-29 Image pickup apparatus and image pickup method Ceased WO2003013129A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP02749380A EP1424852A4 (en) 2001-08-01 2002-07-29 IMAGE RECORDING AND IMAGE RECORDING
US10/398,043 US7352398B2 (en) 2001-08-01 2002-07-29 Image pick-up apparatus and method for picking up and synthesizing plural images to generate a dynamic range image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001-234038 2001-08-01
JP2001234038A JP3948229B2 (ja) 2001-08-01 2001-08-01 画像撮像装置及び方法

Publications (1)

Publication Number Publication Date
WO2003013129A1 true WO2003013129A1 (en) 2003-02-13

Family

ID=19065728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/007682 Ceased WO2003013129A1 (en) 2001-08-01 2002-07-29 Image pickup apparatus and image pickup method

Country Status (4)

Country Link
US (1) US7352398B2 (ja)
EP (1) EP1424852A4 (ja)
JP (1) JP3948229B2 (ja)
WO (1) WO2003013129A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4280904B2 (ja) * 2003-03-25 2009-06-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7880771B2 (en) * 2004-03-16 2011-02-01 Olympus Corporation Imaging apparatus, image processing apparatus, image processing system and image processing method
US7551776B2 (en) * 2004-07-22 2009-06-23 Seiko Epson Corporation Histogram generation apparatus and method for operating the same
JP4499527B2 (ja) * 2004-10-19 2010-07-07 オリンパス株式会社 画像処理装置、画像記録装置、及び画像処理方法
JP4803982B2 (ja) * 2004-09-14 2011-10-26 オリンパス株式会社 画像処理装置、画像記録装置、及び画像処理方法
US8285041B2 (en) 2004-09-14 2012-10-09 Olympus Corporation Image processing apparatus, image recording apparatus, and image processing method
US7860168B2 (en) * 2004-10-27 2010-12-28 Lsi Corporation Method and apparatus for improved increased bit-depth display from a transform decoder by retaining additional inverse transform bits
JP4595569B2 (ja) * 2005-02-03 2010-12-08 株式会社ニコン 撮像装置
JP2006295595A (ja) * 2005-04-12 2006-10-26 Sharp Corp 画像表示装置及び画像処理方法
US20070127909A1 (en) * 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
JP2007067815A (ja) * 2005-08-31 2007-03-15 Olympus Imaging Corp 画像処理装置及び画像処理方法
JP4774915B2 (ja) * 2005-10-26 2011-09-21 カシオ計算機株式会社 撮像装置、階調補正方法及びプログラム
JP4770839B2 (ja) * 2005-12-09 2011-09-14 コニカミノルタホールディングス株式会社 画像処理方法、画像処理装置及び画像処理プログラム
KR101356548B1 (ko) * 2006-01-23 2014-01-28 막스-플랑크-게젤샤프트 츄어 푀르더룽 데어 비쎈샤프텐 에.파우. 하이 다이나믹 레인지 코덱들
JP2007201985A (ja) * 2006-01-30 2007-08-09 Matsushita Electric Ind Co Ltd 広ダイナミックレンジ撮像装置
JP4325627B2 (ja) * 2006-02-21 2009-09-02 ソニー株式会社 画像表示方法および画像表示装置並びに撮像装置
JP4821626B2 (ja) * 2007-01-23 2011-11-24 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
WO2008090730A1 (ja) * 2007-01-23 2008-07-31 Nikon Corporation 画像処理装置、電子カメラ、画像処理方法および画像処理プログラム
JP4306750B2 (ja) 2007-03-14 2009-08-05 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
GB2464441B (en) * 2007-07-25 2012-10-17 Hiok Nam Tay Exposure control for an imaging system
JP5052365B2 (ja) * 2008-02-15 2012-10-17 オリンパス株式会社 撮像システム及び画像処理方法並びに画像処理プログラム
JP2009253834A (ja) * 2008-04-09 2009-10-29 Olympus Corp 画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法
JP5083046B2 (ja) * 2008-06-03 2012-11-28 ソニー株式会社 撮像装置及び撮像方法
JP4818393B2 (ja) * 2009-05-07 2011-11-16 キヤノン株式会社 画像処理方法および画像処理装置
FR2947082B1 (fr) * 2009-06-22 2014-12-12 St Ericsson France Sas Procede et dispositif de traitement d'une image numerique pour eclaircir ladite image.
JP5672796B2 (ja) * 2010-01-13 2015-02-18 株式会社ニコン 画像処理装置、画像処理方法
CN102186020A (zh) * 2010-01-13 2011-09-14 株式会社尼康 图像处理装置、图像处理方法
JP2011228807A (ja) * 2010-04-15 2011-11-10 Nikon Corp 画像処理プログラム、画像処理装置、および画像処理方法
JP5147912B2 (ja) * 2010-09-08 2013-02-20 キヤノン株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
US9584733B2 (en) 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
JP5644444B2 (ja) * 2010-12-03 2014-12-24 富士通株式会社 画像表示装置、画像表示方法、および画像処理装置
US9077910B2 (en) 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
JP5473981B2 (ja) * 2011-04-27 2014-04-16 Ｅｉｚｏ株式会社 画像生成装置、画像生成システム、画像表示装置、コンピュータプログラム及び画像生成方法
JP2013055567A (ja) * 2011-09-06 2013-03-21 Olympus Imaging Corp 撮像装置
JP5975642B2 (ja) * 2011-12-28 2016-08-23 三菱電機株式会社 画像処理装置、画像処理方法及び撮像装置
JP5932392B2 (ja) * 2012-02-28 2016-06-08 キヤノン株式会社 画像処理装置および画像処理方法
JP5319814B2 (ja) * 2012-03-22 2013-10-16 株式会社東芝 画像処理装置及び画像処理方法
JP2014096752A (ja) * 2012-11-12 2014-05-22 Konica Minolta Inc 画像処理装置および画像処理方法ならびに撮像装置
US9449375B2 (en) * 2013-01-31 2016-09-20 Mitsubishi Electric Corporation Image processing apparatus, image processing method, program, and recording medium
JP5929849B2 (ja) 2013-07-08 2016-06-08 株式会社デンソー 画像生成装置、画像生成方法及び画像生成プログラム
JP6543786B2 (ja) * 2014-05-07 2019-07-17 ハンファテクウィン株式会社 画像処理装置および画像処理方法
JP6525543B2 (ja) * 2014-10-21 2019-06-05 キヤノン株式会社 画像処装置および画像処理方法、並びにプログラム
CN107409190B (zh) * 2015-03-27 2020-04-03 松下知识产权经营株式会社 信号处理装置、显示装置、信号处理方法以及存储介质
US20170257682A1 (en) * 2016-03-01 2017-09-07 Yaniv SHTALRYD Monitoring Device, System and Method for Monitoring an Individual
JP6805968B2 (ja) * 2016-08-01 2020-12-23 株式会社リコー 画像処理装置、画像投影装置、及び画像処理方法
JP7133930B2 (ja) * 2018-01-31 2022-09-09 シャープ株式会社 表示装置、画像処理装置、画像処理方法、および制御プログラム
KR102533723B1 (ko) * 2018-09-14 2023-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
TWI723435B (zh) * 2019-06-24 2021-04-01 聚晶半導體股份有限公司 影像輸出方法與電子裝置
WO2021030375A1 (en) 2019-08-12 2021-02-18 Dolby Laboratories Licensing Corporation Adaptive image data linearization for hdr image sensors
JP7554566B2 (ja) * 2020-03-13 2024-09-20 キヤノン株式会社 画像処理装置、制御方法及びプログラム
US11595589B2 (en) * 2021-07-22 2023-02-28 Arthrex, Inc. Surgical camera system with high dynamic range
CN117819160B (zh) * 2024-03-04 2024-06-25 宝鸡杭叉工程机械有限责任公司 基于图像处理的带式输送机煤流自动监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0866608A2 (en) 1997-03-18 1998-09-23 Matsushita Electric Industrial Co., Ltd. Method for correcting luminance gradation in an image pickup apparatus
JP2000156871A (ja) * 1998-11-19 2000-06-06 Sony Corp 画像処理装置及び画像処理方法
JP2001008216A (ja) * 1999-06-21 2001-01-12 Matsushita Electric Ind Co Ltd 画像処理装置
JP2002135648A (ja) * 2000-10-26 2002-05-10 Olympus Optical Co Ltd 撮像装置
JP2002290707A (ja) * 2001-03-26 2002-10-04 Olympus Optical Co Ltd 画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL87306A0 (en) * 1988-08-02 1989-01-31 Technion Res & Dev Foundation Wide dynamic range camera
US6219097B1 (en) * 1996-05-08 2001-04-17 Olympus Optical Co., Ltd. Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined
JP3153147B2 (ja) * 1997-03-14 2001-04-03 松下電器産業株式会社 撮像装置
NZ332626A (en) * 1997-11-21 2000-04-28 Matsushita Electric Industrial Co Ltd Expansion of dynamic range for video camera
US6204940B1 (en) * 1998-05-15 2001-03-20 Hewlett-Packard Company Digital processing of scanned negative films
US6825884B1 (en) * 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0866608A2 (en) 1997-03-18 1998-09-23 Matsushita Electric Industrial Co., Ltd. Method for correcting luminance gradation in an image pickup apparatus
JPH10261078A (ja) * 1997-03-18 1998-09-29 Matsushita Electric Ind Co Ltd 撮像装置の階調補正方法
JP2000156871A (ja) * 1998-11-19 2000-06-06 Sony Corp 画像処理装置及び画像処理方法
JP2001008216A (ja) * 1999-06-21 2001-01-12 Matsushita Electric Ind Co Ltd 画像処理装置
JP2002135648A (ja) * 2000-10-26 2002-05-10 Olympus Optical Co Ltd 撮像装置
JP2002290707A (ja) * 2001-03-26 2002-10-04 Olympus Optical Co Ltd 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1424852A4

Also Published As

Publication number Publication date
US7352398B2 (en) 2008-04-01
EP1424852A4 (en) 2008-08-06
EP1424852A1 (en) 2004-06-02
US20040004666A1 (en) 2004-01-08
JP3948229B2 (ja) 2007-07-25
JP2003046859A (ja) 2003-02-14

Similar Documents

Publication Publication Date Title
JP3948229B2 (ja) 画像撮像装置及び方法
CN101322416B (zh) 图像信号处理装置及图像信号处理方法
JP4163353B2 (ja) 画像処理装置
KR101388130B1 (ko) 화상처리장치 및 화상처리방법
KR101051604B1 (ko) 화상 처리 장치 및 방법
US7358988B1 (en) Image signal processor for performing image processing appropriate for an output device and method therefor
US6882754B2 (en) Image signal processor with adaptive noise reduction and an image signal processing method therefor
KR100200363B1 (ko) 영상의 다이나믹 레인지 확대 장치
KR101352440B1 (ko) 화상처리장치, 화상처리방법, 및 기록매체
KR20080035981A (ko) 화상처리장치, 촬상장치, 화상처리방법 및 컴퓨터 프로그램
WO2007058126A1 (ja) 画像処理システム、画像処理プログラム
CN1197348A (zh) 在图象拾取装置中校正亮度分级的方法
JP2017212532A (ja) 画像処理装置
US20060239582A1 (en) Composite image data generating apparatus, method of controlling the same, and program for controlling the same
JPH0630330A (ja) 階調補正回路及び撮像装置
JP2021117748A (ja) 画像処理装置、画像処理方法、及びプログラム
CN100355271C (zh) 图像处理装置及其方法
JP3201049B2 (ja) 階調補正回路及び撮像装置
US7561189B2 (en) Method and apparatus of image dynamic response re-mapping and digital camera using the same
JP4479527B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ
JP3092397B2 (ja) 撮像装置
EP2515543B1 (en) Image capturing apparatus and image capturing method
JP2000307921A (ja) 画像処理装置
JP2002223355A (ja) 画像処理装置および画像処理プログラムを記録した記録媒体
US20080131007A1 (en) Image Coding Method and Image Coding Device

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

Kind code of ref document: A1

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FR GB GR IE IT LU MC NL PT SE SK TR

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SK TR

WWE Wipo information: entry into national phase

Ref document number: 2002749380

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10398043

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2002749380

Country of ref document: EP