WO2006098356A1 - 画像処理装置および画像処理方法、プログラム、並びに、記録媒体 - Google Patents

画像処理装置および画像処理方法、プログラム、並びに、記録媒体 Download PDF

Info

Publication number
WO2006098356A1
WO2006098356A1 PCT/JP2006/305112 JP2006305112W WO2006098356A1 WO 2006098356 A1 WO2006098356 A1 WO 2006098356A1 JP 2006305112 W JP2006305112 W JP 2006305112W WO 2006098356 A1 WO2006098356 A1 WO 2006098356A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
range
image
luminance range
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2006/305112
Other languages
English (en)
French (fr)
Inventor
Tanichi Ando
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to EP06729133A priority Critical patent/EP1868368A4/en
Priority to US11/908,963 priority patent/US20090066819A1/en
Priority to JP2007508173A priority patent/JP4835593B2/ja
Publication of WO2006098356A1 publication Critical patent/WO2006098356A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • Image processing apparatus image processing method, program, and recording medium
  • the present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium, and in particular, an image processing apparatus and an image processing method capable of obtaining an image with a wide dynamic range that is easy for a user to recognize.
  • a program, and a recording medium A program, and a recording medium. Background art
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2000-32303
  • FIG. 1 is a block diagram showing a configuration of a conventional wide dynamic range camera that can obtain an image with a wide dynamic range by synthesizing images captured by a CCD at different shot times.
  • the solid-state imaging device 11 captures a high-speed shotta image and a low-speed shotta image based on the control of the exposure control unit 21 of the control unit 14.
  • the low-speed shot image is, for example, an image with a shot-ta speed of S1Z60
  • the high-speed shot image is, for example, an image with a shot-ta speed of 1Z2000.
  • the video signal obtained by the solid-state imaging device 11, that is, the low-speed shutter image Z is converted to analog / digital by A / D conversion 2, and the frame memory 31-1 or 31 of the digital processing unit 13 is converted. — Alternately written to 2.
  • Frame memory 31 1
  • the signal read from 31-2 is supplied to the synthesis processing circuit 32, where it is synthesized and then output through the process circuit 33.
  • the control unit 14 is composed of a CPU 22 and an exposure control unit 21.
  • the CPU 22 performs a calculation using the photometric data supplied from the digital processing unit 13, supplies the result to the exposure control unit 21 that controls the shutter speed and aperture of the solid-state imaging device 11, and outputs the result. Based on this, the digital processing unit 13 is controlled.
  • a low-speed shotta captures a low brightness !, part (high brightness !, part is saturated) and captures a high-speed shotta.
  • the high luminance part of the subject is captured (the low luminance part is dark and cannot be captured).
  • the pixel value of the pixel in the bright area of the subject is limited to the maximum pixel value that can be output by the CCD image sensor.
  • luminance clipping occurs that is limited to the minimum pixel value that can be output by the SCCD image sensor. Requires complex image composition processing.
  • the present invention has been made in view of such a situation, and does not perform complicated processing. This makes it possible to obtain images with a wide dynamic range that can be easily recognized by the user.
  • the image processing apparatus of the present invention includes an acquisition unit that acquires an image signal captured by an imaging element that outputs a pixel value that is substantially proportional to the logarithm of the amount of incident light, and the luminance of the image signal acquired by the acquisition unit.
  • the brightness range setting means for setting multiple brightness ranges and the brightness range set by the brightness range setting means and those other than the brightness range are acquired so that the assignment of the number of gradation steps is different.
  • Conversion means for converting the luminance of the pixels included in the image signal acquired by the means.
  • the acquisition unit, the luminance range setting unit, or the conversion unit is configured by dedicated hardware or realized by a computer or the like that has read a program.
  • the computer is, for example, a CPU (Central Processing Unit), Consists of computing devices such as DSP (Digital Signal Processor).
  • the number of gradation steps is the number of luminance gradation divisions.
  • the conversion means may convert the luminance of the pixels included in the image signal acquired by the acquisition means so that more gradations than the luminance range are assigned to the luminance range. I'll do it.
  • the luminance range setting means is calculated by a first average value calculating means for calculating an average of the luminance values of the pixels included in the image signal acquired by the acquiring means, and a first average value calculating means.
  • the second luminance range setting means Second luminance range determining means for determining the luminance range of the second luminance range can be provided.
  • the second luminance range determining means has a luminance range that is different from the first luminance range set by the first luminance range setting means and that has a higher luminance than the first luminance range.
  • a second average value calculating means for calculating an average of the values can be further provided, and the second luminance range is determined based on the average value calculated by the second average value calculating means. You can rub it.
  • the second luminance range determining means includes a luminance range of pixels having a luminance range different from the first luminance range set by the first luminance range setting means and lower than the first luminance range.
  • a second average value calculating means for calculating an average of the values can be further provided, and the second luminance range is determined based on the average value calculated by the second average value calculating means. You can rub it.
  • the brightness range setting means includes a first brightness range set by the first brightness range setting means and a range different from the second brightness range set by the second brightness range setting means. Further, a third luminance range determining means for determining the third luminance range can be further provided.
  • the luminance range setting means can be instructed to determine three or more luminance ranges each having a different luminance range.
  • the luminance range setting unit includes an extraction unit that extracts pixels included in a predetermined image area of the image signal from the pixel values acquired by the acquisition unit, and an image signal extracted by the extraction unit. Based on the first average value calculating means for calculating the average value of the luminance values of the pixels included in the predetermined image area and the average value of the luminance values calculated by the first average value calculating means, the first luminance value First luminance range setting means for setting a range, second luminance range determination means for determining a second luminance range in a range different from the first luminance range set by the first luminance range setting means, and Can be provided.
  • a predetermined image area for example, the same subject is constantly imaged in the image signal.
  • video should be captured and displayed by selecting the image part that is considered to be the image part that is supposed to be captured or the subject (eg, road surface) that is supposed to occupy the main part of the image.
  • the screen can be prevented from flickering.
  • the second luminance range determining means includes a luminance range of pixels that are different from the first luminance range set by the first luminance range setting means and have a higher luminance than the first luminance range.
  • a second average value calculating means for calculating an average of the values can be further provided, and the second luminance range is determined based on the average value calculated by the second average value calculating means. You can rub it.
  • the second luminance range determining means includes a luminance range of pixels having a luminance range different from the first luminance range set by the first luminance range setting means and lower than the first luminance range.
  • a second average value calculating means for calculating an average of the values can be further provided, and the second luminance range is determined based on the average value calculated by the second average value calculating means. You can rub it.
  • the brightness range setting means includes a first brightness range set by the first brightness range setting means and a range different from the second brightness range set by the second brightness range setting means. Further, a third luminance range determining means for determining the third luminance range can be further provided.
  • the luminance range setting means can be instructed to determine three or more luminance ranges each having a different luminance range.
  • the brightness range setting means is based on the histogram detection means for obtaining a histogram representing the distribution of luminance values of pixels included in the image signal acquired by the acquisition means, and the histogram detected by the histogram detection means.
  • the number of pixels distributed in each luminance value Comparison means for comparing with a predetermined threshold value can be provided, and a plurality of luminance ranges can be set based on the comparison result by the comparison means.
  • the threshold value may be, for example, a value obtained experimentally or empirically, or may be a value that can be set by the user.
  • Operation input means for receiving user operation input can be further provided, and the luminance range setting means sets a plurality of luminance ranges based on user operation input input by the operation input means. You can make it.
  • An operation input means for receiving a user's operation input can be further provided.
  • the brightness range setting means includes a plurality of V based on the user's operation input input by the operation input means.
  • a brightness range settable area setting means for setting a brightness range settable area; and a histogram detection means for obtaining a histogram representing a distribution of brightness values of pixels included in the brightness range settable area set by the brightness range settable area setting means
  • a comparison means for comparing the number of pixels distributed in each luminance value with a predetermined threshold based on the histogram detected by the histogram detection means. Based on the results, multiple brightness ranges can be set.
  • the luminance area of the pixel corresponding to the image information required by the user corresponds in advance to the image information required by the user depending on the power time.
  • the luminance area of a pixel changes in several patterns, for example, even in the same luminance area, there is a lot of information in the daytime and little information in the evening, or in the evening or at night.
  • the image signal is captured by a logarithmic conversion type image sensor that outputs a pixel value substantially proportional to the logarithm of the incident light amount using the sub-threshold characteristic of the semiconductor. it can.
  • the image pickup device is capable of picking up an image of a subject with a wider dynamic range than a human eye.
  • the conversion means can be configured to set the conversion characteristics such that the number of gradation steps is not assigned other than the brightness range set by the brightness range setting means.
  • an intermediate area is set near the boundary of the luminance range set by the luminance range setting means, and a gradation step of a portion excluding the intermediate area in the luminance range set by the luminance range setting means.
  • the number of gradation steps in the part other than the brightness range that is assigned by the brightness range setting means and that is not the middle area is assigned the second largest number of gradation steps in the middle area. It is possible to set the conversion characteristics so that the minimum is possible.
  • This intermediate area may be a predetermined luminance range centered on the boundary of the luminance range set by the luminance range setting means !, and the luminance value near the pixel corresponding to the boundary of the luminance range is set. It may be a luminance range corresponding to a predetermined number of pixels.
  • the intermediate area may be set so as to straddle the boundary of the brightness range set by the brightness range setting means, or may be set more than the boundary of the brightness range set by the brightness range setting means. Further, it may be set to an area outside the brightness range set by the brightness range setting means and closest to the set brightness range.
  • the conversion means may be configured to set conversion characteristics so that the number of gradation steps is not assigned to a portion that is outside the luminance range set by the luminance range setting means and is not an intermediate area. You can rub.
  • the image processing method of the present invention is an image processing method of an image processing apparatus that processes an image signal picked up by an image pickup device that outputs a pixel value that is substantially proportional to the logarithm of the incident light amount.
  • the acquisition step for acquiring the image signal, the luminance range setting step for setting a plurality of luminance ranges among the luminance ranges of the image signal acquired by the processing of the acquisition step, and the processing of the luminance range setting step A conversion step for converting the luminance of the pixels included in the image signal acquired by the processing of the acquisition step so that the allocation of the luminance gradation step number is different between the luminance range and the range other than the luminance range.
  • the image signal for example, can be taken by a logarithmic conversion type imaging device that outputs a pixel value that is substantially proportional to the logarithm of the incident light amount by utilizing the subthreshold characteristic of the semiconductor. .
  • the image sensor is, for example, HDRC (High Dynamic Range CMOS (Complementary Metal
  • Such an image pickup device can pick up an image of a subject with a wider dynamic range than human eyes.
  • the program of the present invention and the program recorded on the recording medium are used for causing a computer to process an image signal captured by an image sensor that outputs a pixel value substantially proportional to the logarithm of the incident light amount.
  • An acquisition control step for controlling acquisition of an image signal; a luminance range setting step for setting a plurality of luminance ranges among the luminance ranges of the image signal whose acquisition is controlled by the processing of the acquisition control step; The luminance of the pixels included in the image signal acquired by the acquisition step process is set so that the allocation of the luminance gradation step number differs between the luminance range set by the range setting step process and the non-luminance range.
  • a computer is caused to execute a process characterized by including a conversion step for conversion.
  • the image signal for example, can be taken by a logarithmic conversion type image pickup device that outputs a pixel value substantially proportional to the logarithm of the incident light amount by utilizing the subthreshold characteristic of the semiconductor. .
  • the image sensor is, for example, HDRC (High Dynamic Range CMOS (Complementary Metal
  • Such an image sensor can capture a subject with a wider dynamic range than the human eye.
  • the luminance range of the image signal captured by the image sensor that outputs a pixel value that is substantially proportional to the logarithm of the incident light amount.
  • a plurality of luminance ranges are set, and the luminances of the pixels included in the image signal are converted so that gradations different from those other than the luminance ranges are assigned to the luminance ranges.
  • the set luminance range is, for example,
  • the luminance range including the average luminance
  • Luminance range that is determined based on the image part that is supposed to capture the same subject in the image signal and the image part that seems to occupy the main part of the image.
  • a luminance range including a luminance having a certain number of pixels in a captured image, a luminance range predetermined by the user,
  • a captured image signal can be processed for display or output, and in particular, an image with a wide dynamic range that can be easily recognized by a user without performing complicated processing. Can do.
  • FIG. 1 is a diagram illustrating the operating principle of a conventional wide dynamic range camera.
  • FIG. 2 is a block diagram showing an embodiment of an image processing system of the present invention.
  • FIG. 3 is a block diagram showing an embodiment of the imaging device in FIG.
  • FIG. 4 is a graph showing sensitivity characteristics of a logarithmic conversion type image sensor.
  • FIG. 5 is a block diagram illustrating a first configuration example of an image generation unit.
  • FIG. 6A is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 6B is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 6C is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 7A is a diagram for explaining conversion of an output level with respect to an input level.
  • FIG. 7B is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 7C is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 8A is a diagram for explaining an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 8 is a diagram for describing an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 8C is a diagram for explaining an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 9 is a flowchart for explaining image display processing 1.
  • FIG. 10 is a diagram for explaining a difference in display images.
  • FIG. 11 is a diagram for explaining a difference in display images.
  • FIG. 12 is a diagram for explaining a difference in display images.
  • FIG. 13 is a diagram for explaining a display image.
  • FIG. 14 is a block diagram illustrating a second configuration example of the image generation unit.
  • FIG. 15A is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 15B is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 15C is a diagram for explaining the conversion of the output level with respect to the input level.
  • FIG. 16A is a diagram for explaining an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 16B is a diagram for explaining an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 16C is a diagram for describing an input signal, a signal after gradation conversion, and a signal to be displayed.
  • FIG. 17 is a flowchart for explaining image display processing 2;
  • FIG. 18 is a diagram for explaining a display image.
  • FIG. 19 is a diagram for explaining a display image.
  • FIG. 20 is a block diagram illustrating a third configuration example of the image generation unit.
  • FIG. 21 is a block diagram illustrating a fourth configuration example of the image generation unit.
  • FIG. 22 is a diagram for explaining the cutout region.
  • FIG. 23 is a flowchart for explaining image display processing 3;
  • FIG. 24 is a block diagram illustrating a fifth configuration example of the image generation unit.
  • FIG. 25 is a flowchart for explaining image display processing 4.
  • FIG. 26 is a block diagram illustrating a sixth configuration example of the image generation unit.
  • FIG. 27 is a block diagram illustrating a seventh configuration example of the image generation unit.
  • FIG. 28 is a diagram for explaining histogram analysis and luminance range setting.
  • FIG. 29 is a flowchart for explaining image display processing 5;
  • FIG. 30 is a block diagram illustrating an eighth configuration example of an image generation unit.
  • FIG. 31 is a flowchart for explaining image display processing 6;
  • FIG. 32 is a block diagram illustrating a ninth configuration example of the image generation unit.
  • FIG. 33 is a diagram for explaining histogram analysis and luminance range setting.
  • FIG. 34 is a flowchart for explaining image display processing 7;
  • FIG. 35 is a block diagram illustrating a configuration example of a personal computer.
  • FIG. 2 is a block diagram showing an embodiment of the image processing device 81.
  • the imaging unit 91 images a subject based on a user operation input supplied from the operation input unit 92 and supplies the obtained image signal to the image generation unit 93. Details of the imaging unit 91 will be described later with reference to FIG.
  • the operation input unit 92 includes, for example, an input device such as a button such as a relays button, operation keys, and a touch panel, receives a user operation input, and supplies a command from the user to the imaging unit 91.
  • the user's operation input is, for example, an instruction for starting or ending not only an imaging timing command (pressing a relay button, etc.) but also a moving image imaging (in other words, continuous frame imaging), for example. In some cases, it may be the setting of the start or end time of imaging.
  • the operation input unit 92 receives an input of a predetermined set value used for processing of the image generation unit 93 by the user, the operation input unit 92 supplies the set value to the image generation unit 93.
  • the image generation unit 93 executes a process of converting the image signal supplied from the imaging unit 91 into an image signal suitable for display or print output, and supplies the image signal to the display control unit 94 or the output control unit 95.
  • the image generation unit 93 receives input of setting values necessary for processing from the operation input unit 92 as necessary, and based on this, the image signal supplied from the imaging unit 91 is displayed or printed. A process of converting to a suitable image signal is executed.
  • the display control unit 94 displays the processed image signal supplied from the image generation unit 93 as a display.
  • the resolution is converted into the resolution and the number of gradations, and the processed signal is supplied to the display 82.
  • the output control unit 95 performs a process of converting the processed image signal supplied from the image generation unit 93 into a resolution and the number of gradations that can be processed by an output destination device such as a printer, for example.
  • the processed signal is output to an external device such as a printer (not shown).
  • the display 82 receives an input of a display image signal supplied from the display control unit 94, and displays an image (a still image or a moving image including a plurality of frames).
  • FIG. 3 is a block diagram illustrating a more detailed configuration example of the imaging unit 91 of the image processing apparatus 81 in FIG.
  • the imaging unit 91 is configured to include a lens 101 and a logarithmic conversion type imaging device 102.
  • the logarithmic conversion type imaging device 102 is a logarithmic conversion type imaging device such as HDRC (High Dynamic Range CMOS (Complementary Metal Oxide Semiconductor)), for example, and includes a light detection unit 111, a logarithmic conversion unit 112, an AZD conversion unit 113, And an imaging timing control unit 114.
  • HDRC High Dynamic Range CMOS (Complementary Metal Oxide Semiconductor)
  • the light that is also generated by the subject imaged by the imaging unit 91 enters the lens 101, and the light (not shown) of the light detection unit 111 of the logarithmic conversion type imaging device 102 An image is formed on the detection surface.
  • the light detection unit 111 is configured by, for example, a light-receiving element that has power, such as a plurality of photodiodes.
  • the light detection unit 111 converts the light of the subject imaged by the lens 101 into a charge corresponding to the brightness (illuminance) of the incident light, and accumulates the converted charge.
  • the light detection unit 111 supplies the accumulated charge to the logarithmic conversion unit 112 in synchronization with the control signal supplied from the imaging timing control unit 114.
  • the logarithmic conversion unit 112 is configured by, for example, a plurality of MOSFETs (Metal Oxide Semiconductor Field Effect Transistors).
  • the logarithmic conversion unit 112 uses the sub-threshold characteristic of the MOSFET to convert the charge supplied from the light detection unit 111 to the logarithm of the number of charges (the intensity of current) for each pixel (the logarithm of the amount of light of the subject).
  • An analog electrical signal converted to a voltage value approximately proportional to is generated.
  • the logarithmic conversion unit 112 supplies the generated analog electrical signal to the AZD conversion unit 113.
  • the AZD conversion unit 113 is synchronized with the control signal supplied from the imaging timing control unit 114. Convert analog electrical signals to digital image data. For example, when converted to 24-bit unsigned binary digital image data, the pixel value of the image data takes a value in the range from 0, the darkest to 224-1, which is the darkest. The AZD conversion unit 113 supplies the converted digital image data to the image processing device 92.
  • the imaging unit 91 outputs digital image data having a pixel value power proportional to the logarithm of the brightness (incident light amount) of the light incident on the light detection unit 111.
  • the details of the logarithmic conversion type image sensor are disclosed in, for example, JP-T-7-506932.
  • FIG. 4 is a graph showing sensitivity characteristics of the logarithmic conversion type imaging device 102, a CCD (Charge Coupled Device) imaging device, a silver salt film, and the human eye.
  • the horizontal axis in Fig. 4 shows the logarithmic value of the illuminance of incident light (unit: lux), and the vertical axis shows the sensitivity to the illuminance of incident light.
  • Line 121 shows the sensitivity characteristic of the logarithmic conversion image sensor 102
  • line 122 shows the sensitivity characteristic of the CCD image sensor
  • line 123 shows the sensitivity characteristic of the silver salt film
  • line 124 shows the sensitivity characteristic of the human eye.
  • the logarithmic conversion type image pickup element 102 outputs image data composed of luminance values (or pixel values) substantially proportional to the logarithm of the incident light quantity. Therefore, even when the incident light quantity increases, The capacitance of elements such as photodiodes and MOSFETs constituting the logarithmic conversion type image sensor 102 is saturated, and the current flowing through each element and the applied voltage exceed the range in which output corresponding to the input of each element can be performed. There is nothing. Therefore, it is possible to obtain a luminance value (or a pixel value) according to the variation in the amount of incident light almost accurately within the range of luminance that can be imaged.
  • the intensity of the incident light intensity of the subject force is wider than the human eye, for example, about 170 dB dynamic range from about 1 millilux to about 500 kilolux higher than the brightness of sunlight. It is possible to capture an image consisting of a luminance value (or pixel value) that accurately reflects.
  • the dynamic range of the logarithmic image sensor 102 used in the imaging unit 91 is not limited to the above-mentioned 170 dB, and the required dynamic range such as about 100 dB or 200 dB is used depending on the purpose of use. If you use something that corresponds to
  • the logarithmic conversion type image pickup element 102 outputs image data having a pixel value having a value approximately proportional to the logarithm of the incident light quantity, thereby forming the logarithmic conversion type image pickup element 102.
  • the subject Without saturating the capacitance of MOSFETs and MOSFETs, the subject has a dynamic range of about 170 dB up to about 500 k lux, which is wider than the eyes of a CCD image sensor, silver film, and about 1 millilux force, which is higher than the brightness of sunlight. Can be imaged.
  • the imaging unit 91 using the logarithmic conversion type imaging device 102 does not generate luminance clipping in the luminance range that can be visually recognized by humans, and therefore adjusts the amount of incident light by adjusting the aperture, shirt speed, and the like. There is no need. That is, the imaging unit 91 can faithfully capture a detailed change in luminance of the subject without adjusting the amount of incident light.
  • the imaging unit 91 when imaging the front of the vehicle from the inside of the vehicle in the daytime, the imaging unit 91 faithfully reproduces the state of the sun and the road ahead without adjusting the amount of incident light even if the sun is within the angle of view. It is possible to capture a reproducible image.
  • the imaging unit 91 when imaging the front of the vehicle from inside the vehicle at night, the imaging unit 91 does not adjust the amount of incident light and adjusts itself from the light of the headlight of the oncoming vehicle, even if the headlight of the oncoming vehicle is also illuminated. It is possible to capture an image that faithfully reproduces even the part not illuminated by the car headlight.
  • the logarithmic conversion is performed in comparison with the case where the sensitivity characteristic is not proportional to the logarithm of the illuminance of incident light due to factors such as the gamma characteristic.
  • the sensitivity characteristic is almost proportional to the logarithm of the illuminance of incident light.
  • the image pickup unit 91 using the logarithmic conversion type image pickup element 102 is not affected by the occurrence of luminance clipping, adjustment of the amount of incident light, and gamma characteristics.
  • the pixel value fluctuates so as to reflect the change in luminance of the subject and the movement of the subject almost faithfully.
  • the pixel value of the image data output from the imaging unit 91 is a value that is approximately proportional to the logarithm of the incident light quantity, so that regardless of the brightness (illuminance) of the light irradiated to the subject.
  • the distribution of pixel values in the image data obtained by imaging the subject reflects the reflectance distribution of the subject in a similar manner.
  • the ratio between the maximum and minimum reflectance is 10: 1
  • the pixel value of the image data is
  • the difference in the histogram width indicating the pixel value distribution of the first and second image data is about 100 times.
  • the variation values of the pixel values of the image data obtained by imaging the subject are substantially the same. For example, if there are two areas with a luminance ratio of 100: 1 in the subject, the illuminance of the light radiated to the subject changes almost uniformly, and the subject's luminance changes by + 5%, which is about the same ratio. When this is done, the fluctuation values of the pixel values corresponding to the two areas are almost the same value (log 1.05).
  • the difference between the fluctuation values of the pixel values corresponding to the two areas described above is about 100 times.
  • the logarithmic conversion type image sensor 102 has the sensitivity of the human eye (characteristic shown by the line 124 in FIG. 4), the sensitivity of the CCD image sensor (in FIG. 4). Compared to the characteristics shown by line 122) and the sensitivity of the silver salt film (characteristic shown by line 123 in Fig. 4), the brightness range is very wide. For this reason, when all gradations of image data captured by the imaging unit 91 using the logarithmic conversion type image sensor 102 are converted into gradations corresponding to the display 82 and displayed, they are visible to the human eye. Compared to images and images taken using a conventional CCD image sensor or silver halide film, there is no difference in density, in other words, an image without sharpness.
  • the force-captured image data is obtained by faithfully capturing both a very dark part and a very bright part.
  • the display 82 is displayed with the gradation converted based on the number of gradations that can be displayed, both the captured and very bright parts and the very bright parts are referred to the displayed image by the user.
  • the central portion of the entire gradation that can be identified by the user is displayed with a small difference in shading.
  • the captured image data is converted to the number of gradations that can be processed by the output destination device, the printed image will be Similarly, visible to the human Compared to images and images captured using a conventional CCD image sensor or silver salt film, there is no difference in shading, in other words, an image without sharpness.
  • the luminance range that can be obtained by converting the entire luminance range of an image captured by the imaging unit 91 using the logarithmic conversion type imaging element 102 into a gradation that can be displayed on the display 82 is not obtained. If the highest and lowest luminance values of the pixels included in the obtained image are extracted and the luminance range between them is converted to a gradation that can be displayed by the display 82, it is included in one image.
  • the quality of the displayed image is clearly improved when the brightness range to be displayed is relatively narrow.
  • the user's ability to refer to the displayed image can be used for both the very dark and very bright images. Is indistinguishable, resulting in a display image with a small difference in shading in the central part of the overall gradation that can be identified by the user.
  • the image generation unit 93 when the image data captured by the imaging unit 91 using the logarithmic conversion type image sensor 102 is supplied and displayed at a gradation corresponding to the display 82, or Image processing that can generate image data that can be displayed or printed out in a state that can be identified by the user even when output at a gradation corresponding to the external device of the output destination Is executed.
  • FIG. 5 is a block diagram showing a configuration of an image generation unit 93-1 which is a first example of the configuration of the image generation unit 93 in FIG.
  • the average luminance calculation unit 131 acquires the image signal supplied from the imaging unit 91, calculates the average luminance, and supplies the average luminance calculation result to the main region luminance range setting unit 132.
  • the main area luminance range setting unit 132 sets the luminance range of the main area based on the average luminance of the image signal supplied from the average luminance calculation unit 131, and outputs the set luminance range of the main area as an output level.
  • a conversion processing unit 135 and a second luminance area luminance average value calculating unit 133 are supplied.
  • the main area luminance range setting unit 132 may use a predetermined luminance range centered on the average luminance of the image signal as the main area luminance range, for example, and the pixel that is the average luminance of the image signal. A pixel with a predetermined number of bits in order from the center having a luminance value close to this luminance May be selected as the luminance range of the main area.
  • the second luminance area luminance average value calculation unit 133 has a higher luminance range than the luminance range of the main region set by the main region luminance range setting unit 132 out of the image signal supplied from the imaging unit 91.
  • the average brightness of the pixels is calculated, and the calculation result is supplied to the second brightness area brightness range setting unit 134.
  • the second luminance area luminance range setting unit 134 is based on the average luminance of the pixels in the higher luminance range than the luminance range of the supplied main area.
  • the brightness range of the second brightness area is set, and the set brightness range of the second brightness area is supplied to the output level conversion processing unit 135.
  • the second luminance area luminance range setting unit 134 sets a predetermined luminance range centered on the average luminance of pixels in a higher luminance range than the luminance range of the main area to the luminance range of the second luminance area.
  • a pixel having a predetermined number of bits may be selected in order from a pixel having a luminance value close to this luminance around a pixel having an average luminance of pixels in a luminance range higher than the luminance range of the main region.
  • the luminance range of the second luminance region may be used.
  • the output level conversion processing unit 135 acquires the image signal supplied from the imaging unit 91 and is supplied from the main region luminance range setting unit 132 and the second luminance region luminance average value calculation unit 133. The output level of the acquired image signal is converted based on the information on the luminance range of the main area and the luminance range of the second luminance area.
  • the output level conversion processing unit 135 outputs an output level signal having a predetermined number of steps (in the case where the luminance is divided by a predetermined number of gradation steps) with respect to the level of the input luminance signal. (Brightness gradation level signal) is assigned, and the assigned output level signal is output.
  • the output level conversion processing unit 187 assigns the luminance gradation level of the output level signal differently between the luminance range set as the main region and the second luminance region and the other range. Shall. That is, the output level conversion processing unit 187 assigns a larger number of output level steps to the luminance ranges set as the main region and the second luminance region, and the number of gradations of pixels in the corresponding luminance range increases. A conversion process like this is executed. In this way, the luminance corresponding to the main area and the second luminance area in the displayed or printed image. Range partial power More user-recognizable.
  • the output level conversion processing unit 135 divides and assigns all the gradation step numbers to the input signals included in the luminance range of the main area and the luminance range of the second luminance area, for example.
  • the output level is lower for a range of brightness that is lower than the main area, a brightness range between the main area and the second brightness area, and a range that is higher than the second brightness area. It is possible to do so without assigning the number of steps.
  • the output of the pixel whose luminance input level is lower than the luminance range of the main area is output.
  • the level is 0 (ie black).
  • a pixel within the luminance range of the main area is assigned an output level of a predetermined gradation according to the input level.
  • the pixels in the luminance range between the main area and the second luminance area are output at the maximum value of the output level assigned to the luminance range of the main area regardless of the input level.
  • the pixels in the second luminance area have the same or substantially the same number of steps as the main area, and the overall output level is determined from the maximum output level assigned to the luminance range of the main area according to the input level.
  • a gray level output level up to the maximum value of the bell is assigned.
  • a pixel having a higher luminance than the second luminance area is assigned the maximum value of the output level assigned to the second luminance area, that is, the maximum value of the entire output level, regardless of the input level.
  • the output level conversion processing unit 135, assigns a predetermined number of steps of the output level to the main area and the second luminance area, and between the main area and the second luminance area.
  • the number of steps is less than the number of steps assigned to the main area or the second luminance area (in other words, the gradation width is narrower than the main area or the second luminance range). Can be assigned to the lower brightness range than the main area and the higher brightness range than the second brightness area without assigning the number of output level steps.
  • the output of a pixel having a luminance lower than the luminance range of the main region is output.
  • the value is 0.
  • a pixel within the luminance range of the main area is assigned an output level of a predetermined gradation according to the input level.
  • the main area and the second For the pixels in the luminance range between the luminance regions, the output level corresponding to the input level is assigned with a smaller number of steps than the number of steps assigned to the luminance range of the main region.
  • the pixels in the second luminance area have the same or approximately the same number of steps as the main area, and the maximum output level assigned to the luminance range between the main area and the second luminance area according to the input level. Also, the output level is assigned up to the gradation that is the maximum value of the entire value. Then, the maximum value of the output level assigned to the second luminance area, that is, the maximum output level is assigned to the pixels having higher luminance than the second luminance area, regardless of the input level.
  • the output level conversion processing unit 13 sets a predetermined luminance range centered on the upper limit value of the luminance of the main area as a section (X, a predetermined value centered on the lower limit value of the luminance of the second luminance area).
  • the luminance range of the output level is assumed to be section ⁇ , and a predetermined number of steps of the output level is assigned to pixels other than section ⁇ or section j8 in the main area or the second brightness area, and section ⁇ or section ⁇ is assigned. Assign a smaller number of steps than the number of steps assigned to sections other than section a or section ⁇ of the main area and the second brightness area, and lower brightness than the main area and higher brightness than the second brightness area.
  • the input level is reduced with a smaller number of steps than the number of steps assigned to the interval ⁇ .
  • the power that is assigned to the output level according to the power level or the maximum value of the output level that is assigned to the section OL is assigned regardless of the input level.
  • the pixels in section / 3 have a predetermined number greater than the maximum value of the output level in the luminance range lower than section ⁇ , with the number of steps smaller than the number of steps assigned to the part other than section a of the main area.
  • the output level force of the gray scale is assigned with the same or approximately the same number of steps as the section OC. Then, for pixels other than section ⁇ within the brightness range of the second brightness area, output of gradations up to the maximum output level of the entire maximum value assigned to section j8 according to the input level. A level is assigned.
  • the pixels other than the section j8 within the brightness range of the second luminance area have the same or substantially the same number of steps as the portions other than the section a in the main area, that is, than the sections a and j8.
  • Output levels with many steps are assigned.
  • a pixel having a higher luminance than the second luminance region is assigned the maximum output level assigned to the second luminance region, that is, the maximum output level, regardless of the input level. .
  • a predetermined luminance range centered on the upper limit value of luminance in the main area is defined as section a
  • a predetermined luminance range centered on the lower limit value of brightness in the second luminance area is defined as section ⁇ .
  • the upper limit predetermined section in the luminance range of the main area is defined as section (X
  • the predetermined section on the lower limit side in the luminance range of the second luminance area is defined as section ⁇
  • the luminance range of the main area is A predetermined section with higher brightness than the upper limit may be set as section (X, and a predetermined section with lower brightness than the lower limit of the brightness range of the second brightness area may be set as section ⁇ . It is possible to set an area to which the same number of output level steps as the section oc and the section ⁇ are assigned on the lower limit side and the upper limit side of the brightness of the second brightness area.
  • all the pixels having luminance less than or equal to the luminance range of the main region are assumed to be output 0 (black), and the range of luminance exceeding the luminance range of the second luminance region. All pixels have the same output level (maximum output level) as the highest brightness in the brightness range of the second brightness area, but below the brightness range of the main area and in the brightness range of the second brightness area. In each of the above luminance ranges, a certain number of output level steps may be assigned.
  • the output level can be converted with respect to the bell.
  • the output level of a predetermined gradation is assigned to the pixels within the main region luminance range according to the input level.
  • the pixels in the luminance range between the main area and the second luminance area are output at the maximum output level assigned to the main area regardless of the input level.
  • the output level of a predetermined gradation is the same as or substantially the same as that of the main area from the maximum value of the output level assigned to the main area according to the input level. Assigned by the number of steps. For pixels with higher luminance than the second luminance region, the main region and the second region from the maximum value of the output level assigned to the luminance range of the second luminance region to the maximum output level. The output level corresponding to the input level is assigned so that the number of steps is smaller than the number of steps assigned to the luminance area.
  • the output level conversion processing unit 135 can convert the output level with respect to the input level, for example, as shown in FIG. 7B. That is, in a pixel whose luminance input level is lower than the luminance range of the main area, corresponding to the input level, from 0 (i.e., black) to an output level of a predetermined number of steps smaller than the number of steps assigned to the main area. Is assigned. Then, an output level of a predetermined gradation is assigned to the pixels within the main region luminance range according to the input level. In addition, for the pixels in the luminance range between the main area and the second luminance area, the output level corresponding to the input level is assigned with a smaller number of steps than the number of steps assigned to the main area.
  • the maximum power of the output level assigned to the luminance range between the main region and the second luminance region is also applied to the pixels in the second luminance region.
  • the number of steps is assigned with the same or approximately the same number as the main area. For pixels with higher brightness than the second brightness area, the steps assigned to the main area from the maximum output level assigned to the brightness range of the second brightness area to the maximum output level.
  • the output level corresponding to the input level is assigned so that the number of steps is less than the number.
  • the output level can be converted.
  • 0 that is, black
  • an output level of a predetermined number of steps which is smaller than the number of steps assigned to the main area. Then, an output level of a predetermined gradation is assigned to the pixels within the main region luminance range and other than the section ⁇ according to the input level. Also, the number of steps assigned to the pixels in section ⁇ is smaller than the number of steps assigned to the part other than section ⁇ in the main area, and the maximum output level assigned to the part other than section ⁇ in the main area. A large predetermined gradation output level is assigned.
  • the input level is reduced with the number of steps smaller than the number of steps assigned to the interval a.
  • the power that is assigned to the output level according to the value, or the maximum value of the output level that is assigned to the section OL regardless of the input level is assigned.
  • the pixels in section / 3 have a predetermined number greater than the maximum value of the output level in the luminance range lower than section ⁇ , with the number of steps smaller than the number of steps assigned to the part other than section a in the main area.
  • the output level of the gradation is assigned.
  • the maximum output power of the gradation assigned to the section j8 also has an output level of a predetermined gradation according to the input level. It is assigned with the same or approximately the same number of steps as the luminance range other than section OC.
  • the output level corresponding to the input level is assigned so that the number of steps is less than the number of steps assigned to this part.
  • the predetermined luminance range centered on the upper limit value of the luminance of the main area is also represented by section a
  • the predetermined luminance range centered on the lower limit value of the luminance of the second luminance area is represented by section ⁇ .
  • a predetermined section on the upper limit side within the main area luminance range is defined as section (X
  • a predetermined section on the lower limit side within the luminance range of the second luminance area is defined as section ⁇
  • the upper limit of the main area luminance range is set. It is also possible to set a predetermined section with higher brightness than section ex and a predetermined section with lower brightness than the lower limit of the brightness range of the second brightness area as section 13.
  • the lower limit of brightness of the main area side It is also possible to set an area where the same number of output level steps as those in section a and section ⁇ are assigned on the upper limit side of the brightness of the second brightness area.
  • the output level conversion processing unit 13 for example, in the luminance range other than the luminance region than the ratio of the output level to the input level in the main region and the second luminance region (straight line).
  • the number of gradation steps assigned to each luminance region may be determined so that the ratio of the output level to the input level is low.
  • the main area and the second luminance area set in the image generation unit 93-1 are set based on a captured image that is not within a predetermined luminance range.
  • the image generated by the image generation unit 93-1 includes a luminance range that is most important for the user to recognize the image, such as a subject that occupies most of the screen, among the captured images, and the like. In the luminance range higher than the luminance range, it occupies most of the luminance range, so that many of the limited number of gradations are assigned to the luminance range.
  • Fig. 8 ⁇ ⁇ ⁇ is for the input signal when the tone conversion described with reference to Fig. 6 is performed, the signal after the tone conversion by the output level conversion processing unit 135, and for display or printing. It is a figure which shows the brightness
  • the signals of the main area and the second luminance area which are discrete luminance ranges, are applied to each luminance gradation width (the number of steps between the maximum and minimum values of the gradation in the area). ) Is given enough, it is converted to continuous luminance gradation. All pixels in the luminance range between the main area and the second luminance area are output at the maximum output level of the main area.
  • the converted signal is subjected to gradation conversion (the number of gradations is compressed) according to display or print output conditions.
  • the display control unit 94 is a signal supplied from the image generation unit 93-1, that is, Then, the signal after gradation conversion by the output level conversion processing unit 135 is converted into a signal of 256 gradations.
  • FIG. 8B shows an input signal when the gradation conversion described with reference to FIG. 6B is performed, a signal after gradation conversion by the output level conversion processing unit 135, and display or printing. It is a figure which shows the brightness
  • the gradation between the main area and the second luminance area is provided with a smaller number of steps than the main area and the second luminance area. For this reason, the converted signal has a smaller number of steps in the area between the main area and the second luminance area, and the number of gradations of the luminance is significantly compressed compared to the input signal. A sufficient luminance gradation width is given to the signals in the second luminance region. Then, the converted signal is subjected to gradation conversion (the number of gradations is compressed) in accordance with display or print output conditions.
  • FIG. 8C shows an input signal when the gradation conversion described with reference to FIG. 6C is performed, a signal after gradation conversion by the output level conversion processing unit 135, and display or printing. It is a figure which shows the brightness
  • the number of gradation steps assigned to luminance is changed gently according to the above-described interval a and interval j8. In other words, in the section a and the section ⁇ 8, gradations with a smaller number of steps are given than in the main area and the second luminance area.
  • the converted signal the number of gradations of luminance is greatly compressed compared to the input signal in a state where a sufficient luminance gradation width is given to the main area and the second luminance area. Then, the converted signal is subjected to gradation conversion (the number of gradations is compressed) according to the display or print output conditions.
  • step S1 the imaging unit 91 captures an image of a subject based on the user's operation input supplied from the operation input unit 92, logarithmically converted, and AZD converted captured image signal. — Supply to 1.
  • the image generator 93-1 acquires the captured image signal.
  • step S2 the average luminance calculation unit 131 of the image generation unit 93-1 calculates the average luminance of the entire captured image, and supplies the calculation result to the main region luminance range setting unit 132.
  • step S3 the main area luminance range setting unit 132 sets the luminance range of the main area based on the average luminance of the entire image supplied from the average luminance calculation unit 131, and sets the set luminance range of the main area. Are supplied to the output level conversion processing unit 135 and the second luminance area luminance average value calculating unit 133.
  • the main area luminance range setting unit 132 may use, for example, a predetermined luminance range centered on the average luminance of the image signal as the luminance range of the main area, and the pixel that is the average luminance of the image signal. As a center, a pixel having a predetermined number of bits may be selected in order from a pixel having a luminance value close to the luminance, and the luminance range of the main region may be selected.
  • step S4 the second luminance area luminance average value calculation unit 133 uses the luminance range of the main area set by the main area luminance range setting unit 132 in the image signal supplied from the imaging unit 91. The average brightness of the bright area is obtained, and the result is supplied to the second brightness area brightness range setting unit 134.
  • step S5 the second luminance area luminance range setting unit 134 is based on the average luminance of the area brighter than the luminance range of the main area supplied from the second luminance area luminance average value calculating unit 133. Then, the brightness range of the second brightness area is set, and the set brightness range of the second brightness area is supplied to the output level conversion processing unit 135.
  • the second luminance area luminance range setting unit 134 uses a predetermined luminance range centered on the average luminance of pixels in a higher luminance range than the luminance range of the main area as the luminance range of the second luminance area.
  • a pixel having a predetermined number of bits may be selected in order from a pixel having a luminance value close to this luminance around a pixel having an average luminance of pixels in a luminance range higher than the luminance range of the main region.
  • the luminance range of the second luminance region may be used.
  • step S 6 the output level conversion processing unit 135 is set by the luminance range of the main area set by the main area luminance range setting unit 1 32 and the second luminance area luminance average value calculation unit 133. Based on the luminance range of the second luminance region, for example, the conversion characteristics between the input level and the output level as described with reference to FIG. 6 or FIG. 7 are determined.
  • step S7 the output level conversion processing unit 135 converts the gradation of the captured image supplied from the imaging unit 91 based on the conversion characteristics determined in step S6, and displays it. This is supplied to the controller 94.
  • step S8 the display control unit 94 converts the supplied image signal into a gradation suitable for the display element as described with reference to FIG.
  • step S9 the display control unit 94 supplies the display 82 with the image signal converted to the gradation suitable for the display element, controls the display of the image, and the process is terminated.
  • a wide dynamic range image picked up by the image pickup unit 91 using the logarithmic conversion type image pickup device 102 is processed using the image processing device 81 having the image generation unit 93-1, and then displayed and output.
  • FIG. 10 shows an example of the display image in the case where the image of the tas range is not processed using the image processing device 81 having the image generation unit 93-1.
  • a wide dynamics range image captured with the imaging unit 91 using the logarithmic conversion type image sensor 102 does not cause overexposure or blackout, but the display device processes a very wide dynamics range. Because it converts to a possible gradation, an image with no difference in density (not sharp) is displayed.
  • the number of gradations of an image that can be displayed by a general display device can be displayed faithfully. It's not so wide. Specifically, for example, in the case where the pixels displayed as different gradations in the image captured by the CCD exposed on the basis of the brightness of the road surface in FIG. 10, the same gradation or CCD It is displayed with a smaller number of tones than when using.
  • FIG. 11 shows an example of a display image when an image captured by normal exposure control is displayed by a conventional CCD camera.
  • the exposure of a CCD camera is set based on the brightness of the road surface in the tunnel, which occupies a large part of the image to be captured, as shown in FIG. Images outside the tunnel that are extremely brighter than the inside road will cause over-exposure. Note that when the exposure time is set very short, the part outside the tunnel does not cause overexposure as shown in Fig. 11, but the brightness is significantly lower than the part outside the tunnel. Blackening occurs in the part of the tunnel, making it difficult to identify the corresponding part of the display image.
  • the display image when processed using the image processing device 81 having the image generation unit 93-1 is the main image of the captured image, compared to the case described with reference to FIG. 10 or FIG.
  • the main part (here, the road part of the car) and the main part of the discrete brightness range (here, the part outside the tunnel) are displayed so that the user can easily recognize them.
  • the image generation unit 93-1 described above is provided for the luminance range of the main region and the luminance range of the second luminance region, which is the main part of the luminance range higher than the luminance range of the main region.
  • the set luminance range is not two of the luminance range of the main region and the luminance range of the second luminance region.
  • FIG. 14 is a block diagram showing a configuration of an image generation unit 93-2 that is a second example of the configuration of the image generation unit 93 of FIG.
  • the image generation unit 93-2 includes the luminance range of the second luminance area, which is the main part of the luminance range higher than the luminance range of the main area, and the luminance range of the main area.
  • the image generation unit 93-2 in FIG. 14 has an average luminance calculation unit 131 and a main region luminance range setting unit 132 that are basically the same as the image generation unit 93-1 described with reference to FIG.
  • the second luminance area luminance average value calculation unit 133 and the second luminance area luminance range setting unit 134 of the image generation unit 93-1 are omitted, and the high luminance area luminance average value calculation unit 161, the high luminance A region luminance range setting unit 162, a low luminance region luminance average value calculating unit 163, and a low luminance region luminance range setting unit 164 are newly provided.
  • an output level conversion processing unit 165 is provided instead of the output level conversion processing unit 135, an output level conversion processing unit 165 is provided. Is provided.
  • the high-brightness area luminance average value calculation unit 161 acquires the image signal supplied from the imaging unit 91, and among the acquired image signals, the main area luminance range setting unit 132 sets the main area. The average luminance of the pixels in the higher luminance range than the luminance range is calculated, and the calculation result is supplied to the high luminance region luminance range setting unit 162.
  • the high luminance area luminance range setting unit 162 has higher luminance than the main area based on the average luminance of the pixels in the higher luminance range than the main area luminance range supplied from the high luminance area luminance average value calculation unit 161. Set the brightness range of the second brightness area, and set the second brightness area The luminance range is supplied to the output level conversion processing unit 165.
  • the high luminance area luminance range setting unit 162 sets a predetermined luminance range centered on the average luminance of pixels in a luminance range higher than the luminance range of the main area as the luminance range of the second luminance area. It is also possible to select a pixel having a predetermined number of bits in order from the pixel having a luminance value close to this luminance around the pixel that is the average luminance of the pixels in the luminance range higher than the luminance range of the main area.
  • the luminance range of the luminance region may be the same.
  • the low-luminance area luminance average value calculation unit 163 acquires the image signal supplied from the imaging unit 91, and among the acquired image signals, the main area luminance range setting unit 132 sets the main area. The average luminance of the pixels in the luminance range lower than the luminance range is calculated, and the calculation result is supplied to the low luminance region luminance range setting unit 164.
  • the low luminance area luminance range setting unit 164 has a luminance lower than that of the main area based on the average luminance of the pixels in the luminance range lower than the luminance range of the main area supplied from the low luminance area luminance average value calculation unit 163.
  • the luminance range of the third luminance area is set, and the set luminance range of the third luminance area is supplied to the output level conversion processing unit 165.
  • the low luminance area luminance range setting unit 164 sets, for example, a predetermined luminance range centered on the average luminance of pixels in a luminance range lower than the luminance range of the main area as the luminance range of the third luminance area. It is also possible to select pixels having a predetermined number of bits in order from the pixel having the luminance value close to this luminance around the pixel that is the average luminance of the pixels in the luminance range lower than the luminance range of the main region. It is good also as a local luminance range.
  • the output level conversion processing unit 165 acquires the image signal supplied from the imaging unit 91, and obtains the main region luminance range setting unit 132, the high luminance region luminance range setting unit 162, and the low luminance region luminance. Based on the information on the luminance range of the main area, the luminance range of the second luminance area, and the luminance range of the third luminance area supplied from the range setting unit 164, the output level of the acquired image signal is converted. .
  • the output level conversion processing unit 165 can convert the output level with respect to the input level, for example, as shown in FIG. 15A.
  • the pixel whose luminance input level is lower than that in the third luminance region is 0 (that is, completely black) regardless of the input level.
  • the third luminance area in the main area, and in the second luminance A pixel in the region is assigned an output level of a predetermined gradation according to the input level.
  • the pixels in the luminance range between the third luminance region and the main luminance region and the luminance range between the main luminance region and the second luminance region are assigned immediately before that range regardless of the input level.
  • Output at the specified output level An output level that is the maximum value of the output level assigned to the luminance range of the second luminance area is assigned to the pixels having higher luminance than the second luminance area.
  • the output level conversion processing unit 165 can convert the output level with respect to the input level, for example, as shown in FIG. 15B. That is, the output level of a pixel whose luminance input level is lower than that of the third luminance region is 0 (that is, black) regardless of the input level. Then, an output level of a predetermined gradation is assigned to the pixels in the third luminance region, the main region, and the second luminance region according to the input level. Also, the number of pixels in the luminance range between the third luminance area and the main area, and the luminance range between the main area and the second luminance area are less than the number of steps assigned to the main area! / ⁇ The output level corresponding to the input level is assigned by the number of steps. An output level that is the maximum value of the output level assigned to the second luminance area is assigned to a pixel having a higher luminance than the second luminance area.
  • the output level conversion processing unit 165 can convert the output level with respect to the input level, for example, as shown in FIG. 15C. That is, the output level conversion processing unit 165, for example, has a predetermined luminance range centered on the upper limit value of the luminance of the third luminance region in the interval O and a predetermined luminance value centered on the lower limit value of the luminance of the main region. Assume that the range is section ⁇ , the predetermined brightness range centered on the upper limit value of luminance in the main area is section ⁇ , and the predetermined brightness range centered on the lower limit value of brightness in the second brightness area is section ⁇ .
  • a pixel whose luminance input level is lower than that in the third luminance region is 0 (that is, black) regardless of the input level.
  • pixels other than the section oc, within the main area brightness range, pixels other than the section ⁇ or section ⁇ , and within the second brightness area range, other than the section ⁇ An output level of a predetermined gradation is assigned to the pixel according to the input level.
  • the pixels in the interval ⁇ , the interval / 3, the interval ⁇ , and the interval ⁇ are the main region luminance ranges and the like, and are assigned to the portions other than the intervals ⁇ to ⁇ .
  • a predetermined gradation output level having a number of steps smaller than the number of steps is assigned. Then, an output level that is the maximum value of the output level assigned to the second luminance area is assigned to a pixel having a higher luminance than the second luminance area.
  • a predetermined luminance range centered on the upper limit value of the luminance of the third luminance area is defined as section O
  • a predetermined luminance range centered on the lower limit value of the luminance of the main area is defined as section.
  • ⁇ a predetermined luminance range centered on the upper limit value of the luminance of the main area is defined as interval ⁇
  • a predetermined luminance range centered on the lower limit value of the luminance of the second luminance area is defined as interval ⁇ .
  • the predetermined brightness range on the upper limit side in the brightness area of the main area is section OC
  • the predetermined brightness range on the lower limit side in the main area is section ⁇
  • the predetermined brightness range on the upper limit side in the main area is section ⁇
  • the second The predetermined luminance range on the lower limit side in the luminance area is defined as the interval ⁇
  • the predetermined luminance range higher than the upper limit of the third luminance region is the interval OC
  • the predetermined luminance lower than the lower limit of the main region The range is section ⁇
  • the predetermined brightness range is higher than the upper limit of the main area, section ⁇
  • a predetermined luminance range with lower luminance may be set as the section ⁇ .
  • an area is set so that the number of steps of the same output level as that of the section or section ⁇ is assigned to the lower limit side of the brightness of the third brightness area and the upper limit side of the brightness of the second brightness area.
  • the number of output level steps (the number of gradation steps) in the range of lower luminance than the third luminance region and higher luminance than the second luminance region.
  • the output level conversion processing unit 165 has lower luminance than the third luminance region and higher luminance than the second luminance region, for example, as described with reference to FIG. Even in the range, you may assign fewer steps than the main area, the second luminance area, and the third luminance area.
  • the output level conversion processing unit 165 determines the ratio of the output level to the input level (straight line) in the main area, the second luminance area, and the third luminance area.
  • the number of gradation steps allocated to each luminance region may be determined so that the ratio of the output level to the input level in the luminance range other than the above is reduced.
  • FIG. 16A shows the input signal when the gradation conversion described with reference to FIG. 15A is performed, the signal after the gradation conversion by the output level conversion processing unit 165, and the display or printing. It is a figure which shows the luminance level of the signal output.
  • a continuous luminance gradation is obtained with sufficient luminance gradation widths of signals in the main luminance region, the second luminance region, and the third luminance region, which are discrete luminance ranges. Converted. All pixels in the luminance range between the third luminance area and the main area are output at the maximum output level of the third luminance area, and pixels in the luminance range between the main area and the second luminance area are output. All are output at the maximum output level of the main area. Then, the converted signal is subjected to gradation conversion (the number of gradations is compressed) according to the display or print output conditions.
  • FIG. 16B shows an input signal when the gradation conversion described with reference to FIG. 15B is performed, a signal after gradation conversion by the output level conversion processing unit 165, and display or printing. It is a figure which shows the luminance level of the signal output.
  • the area between the third luminance area and the main area and between the main area and the second luminance area includes the main area, the second luminance area, and the third luminance area. Only gradations with fewer steps than the area are given. For this reason, the converted signal has a lower grayscale level than the input signal because the number of steps in the region between the third luminance region and the main region and between the main region and the second luminance region is smaller.
  • the luminance gradation widths of the signals in the main region, the second luminance region, and the third luminance region are sufficiently given.
  • the converted signal is subjected to gradation conversion (the number of gradations is compressed) according to the display or printout conditions.
  • FIG. 16C shows the input signal when the gradation conversion described with reference to FIG. 15C is performed, the signal after the gradation conversion by the output level conversion processing unit 165, and the display or printing. It is a figure which shows the luminance level of the signal output.
  • the number of gradation steps assigned to brightness in the main area, the second brightness area, the third brightness area, and the area between them is expressed by the above-described sections ⁇ to ⁇ .
  • the gradation of the number of steps is smaller than that of the main area, the second brightness area, and the third brightness area other than the sections a to ⁇ .
  • the number of luminance gradations is much larger than that of the input signal when sufficient luminance gradation widths are given to the main area, the second luminance area, and the third luminance area. Is compressed. Then, the converted signal is subjected to gradation conversion (the number of gradations is compressed) according to display or print output conditions.
  • step S31 the imaging unit 91 captures an image of a subject based on the user's operation input supplied from the operation input unit 92, logarithmically converted, and AZD converted captured image signal. — Supply to 2.
  • the image generation unit 93-2 acquires the captured image signal.
  • step S32 the average luminance calculation unit 131 of the image generation unit 93-2 calculates the average luminance of the entire captured image, and supplies the calculation result to the main region luminance range setting unit 132.
  • step S33 the main region luminance range setting unit 132 sets the luminance range of the main region based on the average luminance of the entire image supplied from the average luminance calculation unit 131, and sets the luminance of the set main region.
  • the range is supplied to the output level conversion processing unit 165, the high luminance area luminance average value calculation unit 161, and the low luminance region luminance average value calculation unit 163.
  • the main area luminance range setting unit 132 may use, for example, a predetermined luminance range centered on the average luminance of the image signal as the luminance range of the main area, and the pixel that is the average luminance of the image signal. As a center, a pixel having a predetermined number of bits may be selected in order from a pixel having a luminance value close to the luminance, and the luminance range of the main region may be selected.
  • step S34 the high brightness area brightness average value calculation unit 161 is an area brighter than the brightness range of the main area set by the main area brightness range setting unit 132 in the image signal supplied from the imaging unit 91.
  • the average luminance is obtained, and the result is supplied to the high luminance region luminance range setting unit 162.
  • step S35 the high brightness area brightness range setting unit 162 sets the second brightness based on the average brightness of the area brighter than the brightness range of the main area supplied from the high brightness area brightness average value calculation unit 161. Set the brightness range of the area and output the brightness range of the set second brightness area.
  • the power level conversion processing unit 165 is supplied.
  • the high luminance area luminance range setting unit 162 sets, for example, a predetermined luminance range centered on the average luminance of pixels in a luminance range higher than the luminance range of the main area as the luminance range of the second luminance area. It is also possible to select a pixel having a predetermined number of bits in order from the pixel having a luminance value close to this luminance around the pixel that is the average luminance of the pixels in the luminance range higher than the luminance range of the main area.
  • the luminance range of the luminance region may be the same.
  • step S36 the low luminance area luminance average value calculation unit 163 is an area darker than the luminance range of the main area set by the main area luminance range setting unit 132 in the image signal supplied from the imaging unit 91. Is obtained, and the result is supplied to the low luminance area luminance range setting unit 164.
  • step S37 the low luminance area luminance range setting unit 164 performs the first calculation based on the average luminance of the darker area than the luminance range of the main area supplied from the low luminance area luminance average value calculating unit 163.
  • the luminance range of the third luminance region is set, and the set luminance range of the third luminance region is supplied to the output level conversion processing unit 165.
  • the low luminance area luminance range setting unit 164 sets, for example, a predetermined luminance range centered on the average luminance of pixels in a luminance range lower than the luminance range of the main area as the luminance range of the third luminance area. It is also possible to select pixels having a predetermined number of bits in order from the pixel having the luminance value close to this luminance around the pixel that is the average luminance of the pixels in the luminance range lower than the luminance range of the main region. It is good also as a local luminance range.
  • step S38 the output level conversion processing unit 165 sets the luminance range of the main area set by the main area luminance range setting unit 132 and the second luminance area set by the high luminance area luminance range setting unit 162. Based on the luminance range and the luminance range of the third luminance region set by the low luminance region luminance range setting unit 164, for example, the conversion characteristics of the input level and the output level as described with reference to FIG. 15 are obtained. decide.
  • step S39 the output level conversion processing unit 165 changes the gradation of the captured image supplied from the imaging unit 91 based on the conversion characteristics determined in step S39. In other words, it is supplied to the display control unit 94.
  • step S40 the display control unit 94 converts the supplied image signal into a signal using FIG. As described, it is converted into a gradation suitable for the display element.
  • step S41 the display control unit 94 supplies the image signal converted to the gradation suitable for the display element to the display 82, controls the display of the image, and the process ends.
  • the image displayed by the image processing apparatus 81 including the image generation unit 92-2 in FIG. 14 is, for example, as shown in FIG.
  • the angle of view includes a sky part that is much brighter than the brightness of the road surface, and a black that is much lower than the brightness of the road surface. Even if it is included, a large number of gradation steps are assigned near the brightness corresponding to each of the road surface, the sky, and a person wearing a black suit. Therefore, by using the image processing apparatus 81 including the image generation unit 93-2 in FIG. 14, an image that is difficult to recognize because the sky part is white is displayed or captured even though the image is captured. It is possible to prevent a person wearing a suit from being displayed in black so that the user power cannot be identified.
  • the image displayed by the image processing apparatus 81 including the image generation unit 92-2 of Fig. 14 is specifically an image captured as shown in Fig. 19, for example.
  • Most of the parts are dark roads in the tunnel, and the tons are slightly brighter than the roads.
  • the angle of view includes the white walls inside the tunnel and the part outside the tunnel that is very bright, and the black car inside the tunnel that is much less bright than the road surface inside the tunnel. Even if included in the tunnel, many gradation steps are assigned near the brightness corresponding to the road surface inside the tunnel, the tunnel walls and the tunnel, and the black cars inside the tunnel. It is made to be done!
  • the image processing device 81 including the image generation unit 93-2 in Fig. 14 the tunnel outside the tunnel is displayed as a whiteout image that is difficult to recognize and is displayed even though it is captured. It is possible to prevent the black car from being displayed in black so that it cannot be identified by the user.
  • the image generation unit 93 three or more areas are set so that the number of gradation steps assigned to the set area and the non-set area can be made different. May be.
  • FIG. 20 is a block diagram showing a configuration of an image generation unit 93-3 that is a third example of the configuration of the image generation unit 93 of FIG.
  • the image generation unit 93-3 sets a plurality of luminance areas and their luminance ranges, and more than the luminance ranges that are not set for the plurality of set luminance ranges. The number of gradation steps can be assigned.
  • the image generation unit 93-3 in FIG. 20 has an average luminance calculation unit 131 and a main region luminance range setting unit 132 that are basically the same as the image generation unit 93-1 described with reference to FIG.
  • the second luminance area luminance average value calculation unit 133 and the second luminance area luminance range setting unit 134 of the image generation unit 93-1 are omitted, and the second luminance area luminance average value calculation unit 181, Second luminance region luminance range setting unit 182, third luminance region luminance average value calculating unit 183, third luminance region luminance range setting unit 184, fourth luminance region luminance average value calculating unit 185, and fourth
  • the brightness area brightness range setting unit 186 is newly provided, and an output level conversion processing unit 187 is provided instead of the output level conversion processing unit 135.
  • the second luminance area luminance average value calculating unit 181 is a part of the image signal supplied from the imaging unit 91 except for the luminance range of the main region set by the main region luminance range setting unit 132.
  • the average brightness of pixels having the brightness included in a certain range (for example, the brightness range higher than the brightness range of the main area is further divided into two and the highest brightness portion, etc.) is calculated. Is supplied to the brightness range brightness range setting unit 182 of the above.
  • the second luminance area luminance range setting unit 182 is based on the average luminance of pixels having luminance included in a predetermined range other than the supplied main area.
  • the brightness range of the second brightness area is set, and the set brightness range of the second brightness area is supplied to the output level conversion processing unit 187.
  • the second luminance area luminance range setting unit 182 may set a predetermined luminance range centered on the average luminance of pixels having a predetermined range of luminance as the luminance range of the second luminance area, for example.
  • a pixel having a predetermined number of bits is selected in order from a pixel having a luminance value close to this luminance around a pixel having an average luminance of pixels having a luminance in a predetermined range as a luminance range of the second luminance area. Also good.
  • Third luminance area luminance average value calculating section 183 has a predetermined value other than the luminance range of the main area set by main area luminance range setting section 132 among the image signals supplied from imaging section 91. Calculate the average luminance of the pixels that have the luminance included in the range (for example, the range of higher luminance than the luminance range of the main region is further divided into two, and the lower luminance portion of the two divided regions, etc.) , And supplied to the third luminance area luminance range setting unit 184.
  • the third luminance area luminance range setting unit 184 is based on the average luminance of pixels having luminance included in a predetermined range other than the supplied main area.
  • the brightness range of the third brightness area is set, and the set brightness range of the third brightness area is supplied to the output level conversion processing unit 187.
  • the third luminance area luminance range setting unit 184 may use, for example, a predetermined luminance range centered on the average luminance of pixels having a predetermined luminance range as the luminance range of the third luminance area.
  • a pixel with a predetermined number of bits is selected in order from the pixel having the luminance value close to this luminance around the pixel having the average luminance of the pixels having the luminance in the predetermined range as the third luminance range. good.
  • the fourth luminance area luminance average value calculation unit 185 is a part other than the luminance range of the main area set by the main area luminance range setting unit 132 in the image signal supplied from the imaging unit 91. Calculate the average luminance of the pixels that have the luminance included in the fixed range (for example, further divide the luminance range lower than the luminance range of the main area into two, and then divide the range into the low luminance part of the two divisions, etc.) The result is supplied to the fourth luminance area luminance range setting unit 186.
  • the fourth luminance area luminance range setting unit 186 is based on the average luminance of pixels having luminance included in a predetermined range other than the supplied main area. In addition, the brightness range of the fourth brightness area is set, and the set brightness range of the fourth brightness area is supplied to the output level conversion processing unit 187.
  • the fourth luminance area luminance range setting unit 186 may set a predetermined luminance range centered on an average luminance of pixels having a predetermined luminance range as the luminance range of the fourth luminance area.
  • a pixel having a predetermined number of bits is selected in order from a pixel having a luminance value close to this luminance around a pixel that is an average luminance of pixels having a luminance in a predetermined range. good.
  • the output level conversion processing unit 187 acquires the image signal supplied from the imaging unit 91, and obtains the main region luminance range setting unit 132, the second luminance region luminance range setting unit 182, and the third luminance region.
  • Luminance range setting section 184 and fourth luminance area luminance range setting section 186, the main area luminance range, second luminance area luminance range, third luminance area luminance range and The output level of the acquired image signal is converted based on the information on the luminance range of 4 luminance areas.
  • the output level conversion processing unit 187 outputs an output level signal of a predetermined number of steps to the level of the input luminance signal (each luminance when the luminance is divided by a predetermined number of gradation steps). Tone level signal) is assigned and the assigned output level signal is output.
  • the output level conversion processing unit 187 assigns the luminance gradation level of the output level signal as the main area and other areas, for example, as described with reference to FIG. 6, FIG. 7, or FIG.
  • the brightness range is different from the other range. That is, the output level conversion processing unit 187 assigns a larger number of output level steps to the luminance range set as the main region and other regions, and the number of gradations of pixels in the corresponding luminance range is set.
  • a conversion process that allows the user to better recognize the corresponding luminance range of the displayed or printed image. Execute.
  • FIG. 20 shows a second luminance area luminance average value calculation unit 181 and a second luminance area luminance range setting unit for setting the second to fourth luminance areas in addition to the main area. 182, a third luminance area luminance average value calculating unit 183, a third luminance area luminance range setting unit 184, a fourth luminance area luminance average value calculating unit 185, and a fourth luminance area luminance range setting unit 186.
  • the image generation unit 93-3 is further provided with another luminance region luminance average value calculation unit and luminance region luminance range setting unit so that a large number of luminance regions can be set. May be.
  • the process executed by the image generation unit 93-3 in Fig. 20 is basically the same as the process of the image display process 2 described with reference to Fig. 17, and the number of set areas is increased. The explanation is omitted because it corresponds to the case.
  • the image generation unit 93-1 to image generation unit 93-3 described above set the main region based on the average luminance value of the entire captured image.
  • the main area may be set based on the average value of the luminance of the pixels included in a predetermined area in the captured image.
  • FIG. 21 is a block diagram showing a configuration of an image generation unit 93-4 as a fourth example of the configuration of the image generation unit 93 in FIG.
  • the image generation unit 93-4 cuts out pixels included in a predetermined area from the captured image, and sets the main area based on the average luminance value of the cut out area. Speak.
  • the image generation unit 93-4 in FIG. 21 is basically the same except that the main region cutout unit 201 and the main region luminance average value calculation unit 202 are provided in place of the average luminance calculation unit 131. Further, it has the same configuration as that of the image generation unit 93-1 in FIG.
  • the main area cutout unit 201 acquires the image signal supplied from the imaging unit 91, cuts out a preset image area from the acquired image signal, and uses the cutout area pixel as the main part. This is supplied to the area luminance average value calculation unit 202.
  • an image of the front of a running car is captured and the captured image is displayed.
  • the image is displayed on the screen, the image captured and displayed while driving always changes.
  • the average value of the entire image captured in the traveling car is used.
  • V when the main area is set, the brightness range of the main area is changed when an object is extremely bright within the angle of view! Will be changed. As a result, the brightness of the road surface that occupies the main part of the display screen is frequently changed, and the brightness of the display image felt by the driver may flicker.
  • the region of the image cut out by the main region cutout unit 201 is assumed to be constantly imaged as shown in Fig. 22, for example, the region 221 slightly below the center of the screen slightly from the left.
  • the brightness of the road surface that occupies the main part of the displayed image can be made substantially constant by making the segmented area an area where the same image is supposed to be captured constantly. Therefore, it is possible to prevent the brightness of the display image felt by the driver from flickering frequently.
  • the main area luminance average value calculation unit 202 calculates the average luminance of the pixels in the clipped area supplied from the main area cutout unit 201, and sets the calculation result of the average luminance as the main region luminance range setting. Supply to part 132.
  • the luminance range of the main region is set based on the average luminance of the clipped region calculated by the main region luminance average value calculation unit 202. Based on the luminance range of the main area, the luminance range of the second luminance area that is higher than the luminance range of the main area is set. Then, the output level conversion processing unit 135 assigns more output level steps to the luminance ranges set as the main area and the second luminance area, and the case described with reference to FIGS. Similarly, the number of gradations of pixels in the corresponding luminance range increases, and a conversion process is executed so that the user can more easily recognize the corresponding luminance range portion of the displayed or printed image.
  • the image display process 3 executed by the image processing apparatus 81 will be described.
  • step S71 the imaging unit 91 captures an image of the subject based on the user's operation input supplied from the operation input unit 92, and the captured image signal that has been logarithmically converted and AZD converted is output to the image generation unit 93.
  • the image generator 93-4 acquires the captured image signal.
  • step S72 the main region cutout unit 201 of the image generation unit 93-4 is set in advance among the image signals supplied from the imaging unit 91, for example, as described with reference to FIG.
  • the image area to be beaten is cut out, and the pixels in the cut out area are supplied to the main area luminance average value calculation unit 202.
  • step S73 the main area luminance average value calculation unit 202 obtains the average luminance of the pixels in the clipped area supplied from the main area cutout unit 201, and the calculation result is sent to the main region luminance range setting unit 132. Supply.
  • step S74 the main region luminance range setting unit 132 sets the luminance range of the main region based on the average luminance of the pixels in the clipped region supplied from the main region luminance average value calculation unit 202. Then, the set luminance range of the main area is supplied to the second luminance area luminance average value calculation unit 133 and the output level conversion processing unit 135.
  • steps S75 to S80 basically the same processing as in steps S2 to S9 in Fig. 9 is executed.
  • the second luminance area luminance average value calculating unit 133 obtains the average luminance of an area brighter than the luminance range of the main area, among the image signals supplied from the imaging unit 91, and obtains the second luminance value.
  • the brightness area brightness range setting unit 134 sets the brightness range of the second brightness area based on the average brightness of the area brighter than the brightness range of the main area.
  • the conversion characteristic of the output level is determined, the gradation of the captured image supplied from the imaging unit 91 is converted based on the conversion characteristic, and is supplied to the display control unit 94.
  • the display control unit 94 converts the supplied image signal into a gradation suitable for the display element, supplies the converted image signal to the display 82, and displays the image. The process is terminated.
  • the image generation unit 93-4 described above cuts out a predetermined area in the captured image, sets the luminance range of the main area based on the pixels of the cut out area, and sets the luminance range of the main area. It has been described that a large number of gradation steps are assigned to the brightness range of the second brightness area, which is the main part of the brightness range that is higher than the brightness range of the main area. On the other hand, the brightness range to be set will not be described in two cases, that is, the brightness range of the main area and the brightness range of the second brightness area.
  • FIG. 24 is a block diagram showing a configuration of an image generation unit 93-5 that is a fifth example of the configuration of the image generation unit 93 in FIG.
  • the image generator 93-5 cuts out a predetermined area in the captured image, sets the luminance range of the main area based on the pixels of the cut out area, and sets the main area luminance range in addition to the main area luminance range.
  • the brightness range of the second brightness area which is the main part of the brightness range higher than the brightness range of the area
  • the third brightness which is the main part of the brightness range lower than the brightness range of the main area.
  • Three brightness areas are set with the area brightness range, and a large number of gradation steps can be assigned to the set three brightness areas.
  • the image generation unit 93-5 in FIG. 24 includes a main region cutout unit 201 and a main region luminance average value calculation unit 202 similar to those described with reference to FIG.
  • the main region luminance range setting unit 132, the high luminance region luminance average value calculation unit 161, the high luminance region luminance range setting unit 162, the low luminance region luminance average value calculation unit 163, the low A luminance area luminance range setting unit 164 and an output level conversion processing unit 165 are provided.
  • the image generation unit 93-5 in Fig. 24 cuts out a predetermined region in the captured image and extracts the extracted region.
  • the luminance range of the main region is set in addition to the luminance range of the main region in the same manner as the image generation unit 93-2 described with reference to FIG.
  • the three brightness areas are set, and a large number of gradation steps can be assigned to the set three brightness areas!
  • steps S101 to S103 basically the same processing as in steps S71 to S73 in FIG. 23 is executed.
  • the image capturing unit 91 captures an image of a subject based on a user operation input supplied from the operation input unit 92, logarithmically converted, and A and D converted captured image signals. Supply to 5.
  • the image generation unit 93-5 acquires the captured image signal.
  • the main region cutout unit 201 of the image generation unit 93-5 cuts out and cuts out a preset image region from the image signal supplied from the imaging unit 91, for example, as described with reference to FIG.
  • the pixels in the extracted area are supplied to the main area luminance average value calculation unit 202.
  • the main area luminance average value calculation unit 202 obtains the average luminance of the pixels in the clipped region supplied from the main region cutout unit 201 and supplies the calculation result to the main region luminance range setting unit 132.
  • step S104 the main region luminance range setting unit 132 sets the luminance range of the main region based on the average luminance of the pixels in the clipped region supplied from the main region luminance average value calculation unit 202. Then, the set luminance range of the main region is supplied to the output level conversion processing unit 165, the high luminance region luminance average value calculating unit 161, and the low luminance region luminance average value calculating unit 163.
  • steps S105 to S112 basically the same processing as steps S34 to S41 in Fig. 17 is executed.
  • the high luminance area luminance average value calculation unit 161 obtains the average luminance of a region brighter than the luminance range of the main region in the image signal supplied from the imaging unit 91, and the high luminance region luminance range setting unit 162 sets the brightness range of the second brightness area based on the average brightness of the area brighter than the brightness range of the main area, and outputs the set brightness range of the second brightness area to the output level conversion processing unit 165. Supply.
  • the low luminance area luminance average value calculation unit 163 obtains the average luminance of the darker area than the luminance range of the main area in the image signal supplied from the imaging unit 91, and sets the low luminance area luminance range.
  • the unit 164 sets the luminance range of the third luminance region based on the average luminance of the region darker than the luminance range of the main region, and outputs the set luminance range of the third luminance region to the output level conversion processing unit 165. Supply.
  • the output level conversion processing unit 165 performs, for example, FIG. 15 based on the set luminance range of the main region, the luminance range of the second luminance region, and the luminance range of the third luminance region.
  • the input level and output level conversion characteristics as described above are determined, the gradation of the captured image supplied from the imaging unit 91 is converted based on the determined conversion characteristics, and the display control unit 94 Supply.
  • the display control unit 94 explains the supplied image signal using FIG. As described above, the image signal is converted to a gradation suitable for the display element, the image signal converted to the gradation suitable for the display element is supplied to the display 82, the image display is controlled, and the process ends. .
  • the image generation unit 93 may cut out a predetermined area in the captured image and set three or more areas based on the pixels in the cut out area. Then, the image generation unit 93 can change the number of gradation steps assigned to the set area and the non-set area.
  • FIG. 26 is a block diagram showing a configuration of an image generation unit 93-6, which is a sixth example of the configuration of the image generation unit 93 in FIG.
  • the image generation unit 93-6 cuts out a predetermined area in the captured image, sets the luminance range of the main area based on the pixels of the cut out area, and includes a plurality of areas other than the luminance range of the main area.
  • the corresponding luminance range of the luminance area is set, and more gradation steps than the outside of the setting range can be assigned to the set luminance ranges.
  • the image generation unit 93-6 in FIG. 26 is provided with a main region cutout unit 201 and a main region luminance average value calculation unit 202 similar to those described with reference to FIG.
  • the main area luminance range setting unit 132, the second luminance area luminance average value calculating unit 181, the second luminance area luminance range setting unit 182, and the third luminance similar to the case described with reference to FIG.
  • Area luminance average value calculating section 183, third luminance area luminance range setting section 184, fourth luminance area luminance average value calculating section 185, fourth luminance area luminance range setting section 186, and output level conversion processing section 187 is provided.
  • the image generation unit 93-6 in FIG. 26 cuts out a predetermined region in the captured image and cuts out the same region as the image generation unit 93-4 described with reference to FIG.
  • the luminance range of the main area is set on the basis of the pixels, and in the same way as the image generation unit 93-3 described with reference to FIG. Each brightness range is set, and more gradation steps than the set range can be assigned to the set brightness ranges.
  • FIG. 26 shows a second luminance area luminance average value calculation unit 181 and a second luminance area luminance range setting unit for setting the second to fourth luminance areas in addition to the main area. 182, a third luminance area luminance average value calculating unit 183, a third luminance area luminance range setting unit 184, a fourth luminance area luminance average value calculating unit 185, and a fourth luminance area luminance range setting unit 186.
  • the image generation unit 93-3 is further provided with another luminance region luminance average value calculation unit and luminance region luminance range setting unit so that a large number of luminance regions can be set. May be.
  • the process executed by the image generation unit 93-6 in Fig. 26 is basically the same as the process of the image display process 4 described with reference to Fig. 25, and the number of set areas is increased. The explanation is omitted because it corresponds to the case.
  • the image generation unit 93-1 through image generation unit 93-6 described above set the main region based on the entire captured image or the average luminance value of a predetermined portion. It was done. On the other hand, a histogram indicating the distribution of the luminance values of the pixels included in the captured image is created and analyzed to set a plurality of luminance ranges, and the set brightness is set. A larger number of gradation steps may be assigned to the degree range than outside the set range.
  • FIG. 27 is a block diagram showing a configuration of an image generation unit 93-7, which is a seventh example of the configuration of the image generation unit 93 in FIG.
  • the image generation unit 93-7 analyzes a histogram of luminance values of each pixel of the captured image, and sets a plurality of luminance ranges based on the analysis result.
  • the image generation unit 93-7 includes a histogram analysis unit 251, a threshold comparison processing unit 252, a multi-step luminance range setting unit 253, and an output level conversion processing unit 254.
  • the histogram analysis unit 251 acquires the image signal supplied from the imaging unit 91, and generates a histogram indicating the distribution of luminance values of each pixel of the captured image based on the acquired image signal. The analysis result is supplied to the threshold value comparison processing unit 252.
  • the threshold comparison processing unit 252 Based on the analysis result of the histogram supplied from the histogram analysis unit 251, the threshold comparison processing unit 252 compares the number of pixels corresponding to each luminance value of the input signal with a predetermined threshold value. In other words, the threshold value comparison processing unit 252 extracts a luminance range of a captured image that has a certain number of pixels or more. The threshold value comparison processing unit 252 supplies information indicating the luminance value determined that the number of pixels is equal to or larger than the threshold value as a result of the comparison with the threshold value to the multi-level luminance range setting unit 253.
  • the threshold value may be a value determined experimentally and empirically or set in advance, or may be a value that can be appropriately set by a user. If the threshold is set too low, most of the information remains, so the resulting image is, for example, a wide dynamics range imaged using the logarithmic conversion image sensor 102 described with reference to FIG. If the image is not processed using the image processing device 81, an image having no difference in density (no sharpness) is obtained as in the case of the displayed image. On the other hand, if the threshold value is set too high, information may be missed, and only a part of the luminance range may be displayed clearly, resulting in an image.
  • the multi-step luminance range setting unit 253 has a larger number of gradation steps than the setting range based on the luminance value supplied from the threshold comparison processing unit 252 and determined that the number of pixels is equal to or greater than the threshold.
  • the number of luminance ranges set by the multi-step luminance range setting unit 253 is a force determined by the comparison result supplied from the threshold comparison processing unit 252. For example, an upper limit of the number may be determined in advance.
  • the output level conversion processing unit 254 acquires the image signal supplied from the imaging unit 91, and based on the information on the set luminance range supplied from the multiple-step luminance range setting unit 253, for example For example, in the same manner as described with reference to FIG. 6, FIG. 7, or FIG. 15, the number of steps of the luminance gradation level of the output level signal assigned to the set luminance region is otherwise set.
  • the output level of the acquired image signal is converted so as to be larger than the number of steps of the luminance gradation level of the output level signal assigned to the luminance region.
  • the histogram analysis unit 251 analyzes the histogram indicating the distribution of the luminance value of each pixel of the captured image. Then, the threshold value comparison processing unit 252 compares with the threshold value, and the luminance having the number of pixels equal to or larger than the threshold value is extracted in the same image (within one frame). Then, based on the extracted luminance, a plurality of luminance ranges are set in the multi-level luminance range setting unit 253, and the output level conversion processing unit 254 gives priority to the number of gradation steps in the range. Since the conversion characteristic of the output level with respect to the input level is required to be assigned, the luminance gradation width of each set luminance range is sufficiently given. Then, the converted signal is subjected to gradation conversion (the number of gradations is compressed) in the display control unit 94 or the output control unit 95 according to the display or print output conditions for display or printing. It is made to output.
  • step S141 the imaging unit 91 captures a subject based on the user's operation input supplied from the operation input unit 92, logarithmically converted, and AZD converted captured image signal. — Supply to 7. The image generation unit 93-7 acquires the captured image signal.
  • step S142 the histogram analysis unit 251 of the image generation unit 93-7, based on the image signal supplied from the imaging unit 91, displays a luminance distribution of each pixel of the captured image. A strogram is generated and analyzed, and the analysis result is supplied to the threshold value comparison processing unit 252.
  • the threshold comparison processing unit 252 compares the number of pixels corresponding to the luminance value of each input signal with a predetermined threshold based on the analysis result of the histogram supplied from the histogram analysis unit 251. .
  • the threshold value comparison processing unit 252 supplies information indicating the luminance value determined that the number of pixels is equal to or greater than the threshold value as a result of the comparison with the threshold value to the multi-step luminance range setting unit 253.
  • step S144 the multi-step luminance range setting unit 253 is also supplied with the threshold comparison processing unit 252 and based on the luminance value determined to be equal to or greater than the threshold value, more gradation steps than outside the setting range. Multiple luminance ranges to which numbers are assigned are set, and the set luminance ranges are supplied to the output level conversion processing unit 254.
  • step S145 the output level conversion processing unit 254, for example, based on the set luminance range information supplied from the multi-step luminance range setting unit 253, for example, FIG. 6, FIG. 7, or FIG. Basically, the conversion characteristics of the input level and output level are determined in the same way as described using 15.
  • step S146 the output level conversion processing unit 254 determines, based on the conversion characteristics between the input level and the output level, the number of steps of the luminance gradation level of the output level signal assigned to the set plurality of luminance ranges. Output level assigned to other luminance ranges The output level of the image signal supplied from the image pickup unit 91 is converted so as to be larger than the number of steps of the luminance gradation level of the signal, and is supplied to the display control unit 94 To do.
  • step S147 the display control unit 94 converts the supplied image signal into a gradation suitable for the display element as described with reference to FIG.
  • step S148 the display control unit 94 supplies the image signal converted to the gradation suitable for the display element to the display 82, controls the display of the image, and the process is terminated.
  • the processed image is displayed at a gradation corresponding to the display 82. Or, even if the output is made with a gradation corresponding to the external device of the output destination, it can be displayed or printed out in a state where the user power can be identified.
  • a luminance region to which a large number of gradation steps are assigned is set based on the captured image.
  • a luminance region to which a large number of gradation steps are assigned may be determined in advance.
  • the luminance area of the pixel corresponding to the image information required by the user out of the captured image may be obtained by fixing the angle of view of the captured image or irradiating the subject with a certain amount of illumination.
  • a luminance region to which a large number of gradation steps are assigned can be determined in advance. As a result, the processing can be simplified and the cost of the apparatus can be reduced.
  • FIG. 30 is a block diagram showing a configuration of an image generation unit 93-8, which is an eighth example of the configuration of the image generation unit 93 in FIG.
  • the image generation unit 93-8 is used when a luminance region to which a large number of gradation steps are assigned is determined in advance.
  • the first luminance area luminance range setting unit 281 receives the setting value of the luminance range of the first luminance area from the operation input unit 92 and outputs the setting value of the first luminance range to the output level. This is supplied to the conversion processing unit 187.
  • the second luminance area luminance range setting unit 282 receives an input of the luminance range setting value of the second luminance area from the operation input unit 92, and sets the luminance range setting value of the second luminance area.
  • the output level conversion processing unit 187 is supplied.
  • the third luminance area luminance range setting unit 283 receives the setting value of the luminance range of the third luminance area from the operation input unit 92, and receives the setting value of the luminance range of the third luminance area.
  • the output level conversion processing unit 187 is supplied.
  • the output level conversion processing unit 187 performs basically the same processing as in the case of the image generation unit 93-3 in Fig. 20, and based on a plurality of set luminance ranges, the imaging unit 91 An image signal supplied with force is acquired and its output level is converted. That is, the output level conversion processing unit 187 is supplied from the first luminance region luminance range setting unit 281, the second luminance region luminance range setting unit 282, and the third luminance region luminance range setting unit 283. The output level of the image signal supplied from the imaging unit 91 is converted based on the information on the luminance range of the first luminance range, the luminance range of the second luminance region, and the luminance range of the third luminance region.
  • FIG. 30 shows a first luminance area luminance range setting unit 281, a second luminance area luminance range setting unit 282, and the like for setting the luminance ranges of the first to third luminance areas.
  • the power generation unit 93-8 in which the third luminance region luminance range setting unit 283 is illustrated, can further receive other luminance regions so that the luminance range of many luminance regions can be set.
  • a brightness range setting section may be provided.
  • step S171 the operation input unit 92 receives input of set values of a plurality of luminance ranges for user power, and supplies the input set values to the image generation unit 93-8.
  • step S172 the imaging unit 91 captures an image of the subject based on the user's operation input supplied from the operation input unit 92, logarithmically converted, and AZD-converted captured image signal. — Supply to 8. The image generation unit 93-8 acquires the captured image signal.
  • step S173 the first luminance area luminance range setting unit 281, the second luminance area luminance range setting unit 282, and the third luminance area luminance range setting unit 283 of the image generation unit 93-8 are Then, the setting values of the plurality of luminance ranges supplied from the operation input unit 92 are acquired and supplied to the output level conversion processing unit 187.
  • the output level conversion processing unit 187 includes the first luminance area luminance range setting unit 281, the second luminance area luminance range setting unit 282, and the third luminance area luminance range setting unit 283.
  • step S175 the output level conversion processing unit 187 is supplied from the imaging unit 91.
  • the gradation of the captured image is converted based on the conversion characteristic determined in step S174 and supplied to the display control unit 94.
  • step S176 the display control unit 94 converts the supplied image signal into a gradation suitable for the display element as described with reference to FIGS. 8 and 16, for example.
  • step S177 the display control unit 94 supplies the display 82 with the image signal converted to the gradation suitable for the display element, controls the display of the image, and the process is terminated.
  • a histogram indicating the distribution of the luminance values of pixels included in the captured image is analyzed, and a certain number of pixels or more in the predetermined luminance range are determined. It is also possible to extract the luminance that has and to determine the luminance area to which a large number of gradation steps are assigned based on the extraction result.
  • FIG. 32 is a block diagram showing a configuration of an image generation unit 93-9, which is a ninth example of the configuration of the image generation unit 93 in FIG.
  • the image generation unit 93-9 extracts luminance having a certain number of pixels or more in a predetermined luminance region by histogram analysis, and assigns a large number of gradation steps based on the extraction result. It is made to determine the luminance area to be controlled.
  • the image generation unit 93-9 in FIG. 32 includes the first luminance area luminance range setting unit 281 and the second luminance area luminance range setting unit of the image generation unit 93-8 described with reference to FIG. 282, a third luminance area luminance range setting unit 283, and an output level conversion processing unit 187. Further, the image generation unit 93-9 includes the image generation unit described with reference to FIG. 27 in order to analyze the histogram and compare it with a predetermined threshold value based on the set value of the luminance range output from each.
  • the histogram analysis units 251-1 to 2 51-3 and the threshold value comparison processing units 252-1 to 252 can execute the same processing as the histogram analysis unit 251 and the threshold value comparison processing unit 252 provided in 93-7. — 3 is provided.
  • the first range and the second luminance region set by the first luminance region luminance range setting unit 281 In each of the second range set by the luminance range setting unit 282 and the third range set by the third luminance range luminance range setting unit 283, the histogram analysis units 251-1 to 2 51- 3, the histogram of the luminance value of each pixel of the captured image is analyzed and compared with the threshold value in the threshold value comparison processing units 252-1 to 252-2, and the luminance having the number of pixels equal to or greater than the predetermined threshold value is extracted.
  • the luminance is determined by the number of gradation steps. It is not set to the brightness range that is preferentially assigned.
  • the output level conversion processing unit 187 assigns a priority to the number of gradation steps to the pixels in the range, and each luminance level in the set luminance range. It is designed to be converted into a continuous luminance gradation with sufficient adjustment range. Then, the converted signal is subjected to gradation conversion (the number of gradations is compressed) according to the display or print output conditions in the display control section 94 or the output control section 95, and is displayed or printed. In order to be output for.
  • the power that the brightness area is divided in advance. For example, the image that the user needs depending on the time.
  • the luminance area of a pixel corresponding to image information changes in several patterns, even in the same luminance area, there is a lot of information in the daytime and almost no information in the evening. The power to have a lot of information in the evening and at night There is little information in the morning and noon.
  • step S201 the operation input unit 92 receives input of set values of a plurality of luminance ranges with user power, and supplies the input set values to the image generation unit 93-9.
  • the image generation unit 9 3-9 acquires the captured image signal.
  • step S202 the imaging unit 91 captures a subject based on the user's operation input supplied from the operation input unit 92, logarithmically converted, and AZD-converted captured image signal, and the image generation unit 93 — Supply to 9.
  • step S203 the first luminance area luminance range setting section 281, the second luminance area luminance range setting section 282, and the third luminance area luminance range setting section 283 of the image generation section 93-9 are Then, the setting values of the plurality of luminance ranges supplied from the operation input unit 92 are acquired and supplied to the histogram analysis units 251-1 to 251-2, respectively.
  • step S204 the histogram analysis units 251-1 to 251-2-3 use the first image of the captured image as described with reference to FIG. 33 based on the image signal supplied from the imaging unit 91.
  • a histogram showing the distribution of luminance values in the third to third ranges is generated and analyzed, and the analysis result is supplied to the threshold value comparison processing units 252-1 to 252-2.
  • step S205 the threshold comparison processing units 252-1 to 252-3 display the analysis results of the histograms in the first to third ranges supplied from the histogram analysis units 251-1 to 251-2. Based on this, the number of pixels corresponding to the luminance value of each input signal is compared with a predetermined threshold value. As a result of comparison with the threshold value, the threshold value comparison processing units 252-1 to 252-3 The luminance value determined to be equal to or greater than the threshold value is supplied to the output level conversion processing unit 187.
  • step S206 the output level conversion processing unit 187 sets a luminance range to which a large number of gradation steps are assigned based on the luminance values supplied from the threshold comparison processing units 252-1 to 252-2. .
  • step S207 the output level conversion processing unit 187 determines the conversion characteristics between the input level and the output level as described with reference to FIG. 6, FIG. 7, or FIG.
  • step S208 the output level conversion processing unit 187 converts the gradation of the captured image supplied from the imaging unit 91 based on the conversion characteristics determined in step S74. To the display control unit 94.
  • step S209 the display control unit 94 converts the supplied image signal into a gradation suitable for the display element, as described with reference to FIG. 33, for example.
  • step S210 the display control unit 94 supplies the image signal converted to the gradation suitable for the display element to the display 82, controls the display of the image, and the process ends.
  • the image processing device 81 in which the image generation units 93-1 to 93-9 are used, the image is captured by the imaging unit 91 using the logarithmic conversion type imaging device 102. Painting Even when image information required by the user exists in a wide luminance range in the image data, such an image is displayed with gradation corresponding to the display 82, or the output destination When output in gradations compatible with external devices, information required by the user (for example, dark objects in the dark or bright parts in the same image as dark objects) can be identified Image data that can be displayed or printed out in a state can be generated.
  • the series of processes described above can also be executed by software.
  • the software is a computer that is built in dedicated hardware for the program power that constitutes the software, or that can execute various functions by installing various programs, such as a general-purpose personal computer
  • the recording medium power is also installed.
  • all or part of the image processing apparatus 81 described with reference to FIG. 2 may be a personal computer 301 as shown in FIG. Consists of.
  • CPU (Central Processing Unit) 311 is a program stored in ROM (Read Only Memory) 312 or a program loaded from RAM 318 to RAM (Random Access Memory) 313. Therefore, various processes are executed.
  • the RAM 313 also appropriately stores data necessary for the CPU 311 to execute various processes.
  • the CPU 311, ROM 312, and RAM 313 are connected to each other via a bus 314.
  • An input / output interface 315 is also connected to the bus 314.
  • the input / output interface 315 includes an input unit 316 including a keyboard and a mouse, an output unit 317 including a display and a speaker, a storage unit 318 including a hard disk, a modem, a terminal adapter, and the like.
  • Communication unit 319 is connected. The communication unit 319 performs communication processing via a network including the Internet.
  • a drive 320 is also connected to the input / output interface 315 as necessary, and a magnetic disk 331, an optical disk 332, a magneto-optical disk 333, or a semiconductor memory 334, etc., are appropriately mounted to read these forces.
  • the recorded computer program is installed in the storage unit 318 as necessary.
  • various functions can be realized by installing a program that constitutes the software in a dedicated hardware or by installing various programs. For example, a general-purpose personal computer or the like can be installed on a network or a recording medium.
  • this recording medium is distributed to supply a program to the user separately from the main body of the device, and includes a magnetic disk 331 (including a floppy disk) storing the program, Optical disk 332 (including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)), magneto-optical disk 333 (including MD (mini-disk) (trademark)), or semiconductor memory 334 It is composed of a ROM 312 that stores a program and is stored in a storage unit 318, which is supplied to the user in a state of being pre-installed in the apparatus main body just by being constituted by a knock medium.
  • a magnetic disk 331 including a floppy disk
  • Optical disk 332 including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)
  • magneto-optical disk 333 including MD (mini-disk) (trademark)
  • semiconductor memory 334 It is composed of a ROM 312 that stores a program and is stored in a storage unit 318, which
  • the steps for describing the program recorded in the recording medium are not necessarily processed in time series in the order described, but are necessarily processed in time series. It includes processing executed in parallel or individually.
  • the present invention is applicable even when the processing power executed by one device is realized by a plurality of devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

　本発明は、輝度圧縮が行われた広ダイナミックレンジの画像を得ることができる、画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体に関する。入力される輝度信号のレベルに対する出力レベル信号の輝度階調ステップ数の割り当てを、主要領域および第２の輝度領域とそれ以外の範囲とで異なるものとする。例えば、主要領域の輝度範囲と第２の輝度領域の輝度範囲に全ての階調ステップ数を分割して割り当て、それ以外の範囲に対しては割り当てないようにしたり、主要領域と第２の輝度領域の間の輝度範囲には、主要領域の輝度範囲と第２の輝度領域よりも少ないステップ数を割り当てる。更に、主要領域の輝度範囲と第２の輝度領域の境界部分の領域を設定して、主要領域の輝度範囲と第２の輝度領域よりも少なく、かつ、それらの間の領域よりも多いステップ数を割り当てるようにすることができる。本発明は、画像処理装置に適用できる。

Description

明 細 書
画像処理装置および画像処理方法、プログラム、並びに、記録媒体 技術分野
[0001] 本発明は、画像処理装置および画像処理方法、プログラム、並びに、記録媒体に 関し、特に、ユーザにとって認識しやすい広ダイナミックレンジの画像を得ることがで きる、画像処理装置および画像処理方法、プログラム、並びに、記録媒体に関する。 背景技術
[0002] 従来、 CCD (Charge Coupled Device)撮像素子 (電荷結合撮像素子または固体撮 像素子とも称する)などの撮像素子を用いたカメラでは、電荷の蓄積容量の限界と、 その特性とのために、カメラへの入射光量は、絞りやシャツタスピードなどで制御する ことにより、ある範囲内に抑えられていた。したがって、屋外などでの撮像時には、被 写体の輝度範囲のすべてを撮像可能にすることはできなかった。このため、電子シャ ッタ機能を用いて、高速と低速の異なったシャツタ時間で被写体の撮像を行い、その 2種類の画像信号を信号処理して、各画像間で主要被写体の位置ずれがほとんどな い良好な画像合成をすることにより、ダイナミックレンジの広 、画像を得ることができる ようになされてきた (例えば、特許文献 1参照)。
[0003] 特許文献 1 :特開 2000— 32303号公報
[0004] 図 1は、 CCDにより撮像された異なるシャツタ時間の画像の合成により、ダイナミック レンジの広 、画像を得ることができる、従来の広ダイナミックレンジカメラの構成を示 すブロック図である。
[0005] 固体撮像素子 11は、制御部 14の露光制御部 21の制御に基づいて、高速シャツタ 画像および低速シャツタ画像を撮像する。低速シャツタ画像は、例えば、シャツタ速度 力 S1Z60の画像であり、高速シャツタ画像は、例えば、シャツタ速度が 1Z2000の画 像である。
[0006] 固体撮像素子 11で得られた映像信号、すなわち、低速シャツタ画像 Z高速シャツ タ画像は、 A/D変 2でアナログ/ディジタル変換され、ディジタル処理部 13 のフレームメモリ 31— 1または 31— 2に交互に書き込まれる。フレームメモリ 31— 1ま たは 31— 2から読み出された信号は合成処理回路 32に供給され、そこで合成された 後、プロセス回路 33を介して出力される。
[0007] 制御部 14は、 CPU22と露光制御部 21とで構成されている。 CPU22は、ディジタ ル処理部 13から供給される測光データを用いて演算を行い、その結果を、固体撮像 素子 11のシャツタ速度や絞りを制御する露光制御部 21に供給するとともに、その結 果を基に、ディジタル処理部 13を制御する。
[0008] 図 1に示されるような、広ダイナミックレンジカメラにおいては、低速シャツタで被写 体の輝度の低!、部分 (輝度の高!、部分は飽和してしまう）を撮像し、高速シャツタで 被写体の輝度の高 、部分 (輝度の低 ヽ部分は暗くて撮像不可能)を撮像する。そし て、両方の画像を合成することにより、 1画面で被写体の輝度の低い部分カゝら輝度の 高 、部分までが表現されて 、る画像を得ることが可能となる。
発明の開示
発明が解決しょうとする課題
[0009] CCDなど、人の目よりダイナミックレンジが狭 、撮像素子を用いた撮像装置では、入 射光の照度が CCD撮像素子のダイナミックレンジ内に収まるように、絞りやシャツタス ピードなどを調整する必要がある。
[0010] したがって、被写体の光の照度の範囲が CCD撮像素子のダイナミックレンジを超え る場合、被写体の明るい領域の画素の画素値が CCD撮像素子が出力可能な画素 値の最大値に制限されたり、被写体の暗い領域の画素の画素値力 SCCD撮像素子が 出力可能な画素値の最小値に制限されたりする輝度クリッピングが発生するので、上 述したように、広ダイナミックレンジの画像を得るためには、複雑な画像合成処理が必 要になる。
[0011] 上述したような、ダイナミックレンジの狭い撮像素子を用いて構成される広ダイナミツ クレンジカメラにおいては、ダイナミックレンジの広い画像を得るためには複雑な画像 合成処理が必要となるばかりでなく、低速シャツタ画像および高速シャツタ画像の 2枚 の画像を用いて 1フレームの広ダイナミックレンジ画像を得ることができるようになされ ているため、フレームレートをあげることが非常に困難となる。
[0012] 本発明はこのような状況に鑑みてなされたものであり、複雑な処理を行うことなぐュ 一ザにとって認識しやす 、広ダイナミックレンジの画像を得ることができるようにするも のである。
課題を解決するための手段
[0013] 本発明の画像処理装置は、入射光量の対数にほぼ比例した画素値を出力する撮 像素子により撮像された画像信号を取得する取得手段と、取得手段により取得され た画像信号の輝度範囲のうち、複数の輝度範囲を設定する輝度範囲設定手段と、輝 度範囲設定手段により設定された輝度範囲と輝度範囲以外とで、輝度の階調ステツ プ数の割り当てが異なるように、取得手段により取得された画像信号に含まれる画素 の輝度を変換する変換手段とを備えることを特徴とする。
[0014] 取得手段、輝度範囲設定手段、または、変換手段は、専用のハードウェアにより構 成されるか、プログラムを読み込んだコンピュータなどにより実現され、コンピュータは 、例えば、 CPU (Central Processing Unit)、 DSP (Digital Signal Processor)などの演 算装置により構成される。
[0015] 階調ステップ数とは、輝度の階調の分割数のことである。
[0016] 変換手段には、輝度範囲に、輝度範囲以外よりも多くの階調が割り当てられるよう に、取得手段により取得された画像信号に含まれる画素の輝度を変換させるようにす ることがでさる。
[0017] 輝度範囲設定手段には、取得手段により取得された画像信号に含まれる画素の輝 度値の平均を算出する第 1の平均値算出手段と、第 1の平均値算出手段により算出 された輝度値の平均値を基に、第 1の輝度範囲を設定する第 1の輝度範囲設定手段 と、第 1の輝度範囲設定手段により設定された第 1の輝度範囲と異なる範囲において 、第 2の輝度範囲を決定する第 2の輝度範囲決定手段とを備えさせるようにすること ができる。
[0018] これにより、画像信号の主な輝度領域と、その輝度と乖離した他の輝度領域とに、 多くの階調を割り当てるようにすることができるので、表示または印刷出力される画像 にお 、て、白とびや黒つぶれを防ぐことができる。
[0019] 第 2の輝度範囲決定手段には、第 1の輝度範囲設定手段により設定された第 1の 輝度範囲と異なる輝度範囲であり、かつ、第 1の輝度範囲より高輝度の画素の輝度 値の平均を算出する第 2の平均値算出手段を更に備えさせるようにすることができ、 第 2の平均値算出手段により算出された平均値を基に、第 2の輝度範囲を決定させ るよう〖こすることがでさる。
[0020] これにより、画像信号の主な輝度領域と、その輝度と乖離した高輝度領域とに、多く の階調を割り当てるようにすることができるので、表示または印刷出力される画像にお いて、白とびを防ぐことができる。
[0021] 第 2の輝度範囲決定手段には、第 1の輝度範囲設定手段により設定された第 1の 輝度範囲と異なる輝度範囲であり、かつ、第 1の輝度範囲より低輝度の画素の輝度 値の平均を算出する第 2の平均値算出手段を更に備えさせるようにすることができ、 第 2の平均値算出手段により算出された平均値を基に、第 2の輝度範囲を決定させ るよう〖こすることがでさる。
[0022] これにより、画像信号の主な輝度領域と、その輝度と乖離した低輝度領域とに、多く の階調を割り当てるようにすることができるので、表示または印刷出力される画像にお いて、黒つぶれを防ぐことができる。
[0023] 輝度範囲設定手段には、第 1の輝度範囲設定手段により設定された第 1の輝度範 囲、および、第 2の輝度範囲設定手段により設定された第 2の輝度範囲と異なる範囲 において、第 3の輝度範囲を決定する第 3の輝度範囲決定手段を更に備えさせるよう にすることができる。
[0024] 更に、輝度範囲設定手段には、それぞれ輝度範囲の異なる 3つ以上の輝度範囲を 決定させるよう〖こすることができる。
[0025] また、輝度範囲設定手段には、取得手段により取得された画素値のうち、画像信号 の所定の画像領域に含まれる画素を抽出する抽出手段と、抽出手段により抽出され た画像信号の所定の画像領域に含まれる画素の輝度値の平均値を算出する第 1の 平均値算出手段と、第 1の平均値算出手段により算出された輝度値の平均値を基に 、第 1の輝度範囲を設定する第 1の輝度範囲設定手段と、第 1の輝度範囲設定手段 により設定された第 1の輝度範囲と異なる範囲において、第 2の輝度範囲を決定する 第 2の輝度範囲決定手段とを備えさせるようにすることができる。
[0026] 所定の画像領域を、例えば、画像信号内で定常的に同一の被写体が撮像されて いると思われる画像部分や、画像の主な部分を占めると思われる被写体 (例えば、路 面など）が撮像されていると思われる画像部分とすることにより、特に動画を撮像して 表示させるような場合に、画面のちらつきを防ぐようにすることができる。
[0027] 第 2の輝度範囲決定手段には、第 1の輝度範囲設定手段により設定された第 1の 輝度範囲と異なる輝度範囲であり、かつ、第 1の輝度範囲より高輝度の画素の輝度 値の平均を算出する第 2の平均値算出手段を更に備えさせるようにすることができ、 第 2の平均値算出手段により算出された平均値を基に、第 2の輝度範囲を決定させ るよう〖こすることがでさる。
[0028] これにより、画像信号の主な輝度領域と、その輝度と乖離した高輝度領域とに、多く の階調を割り当てるようにすることができるので、表示または印刷出力される画像にお いて、白とびを防ぐことができる。
[0029] 第 2の輝度範囲決定手段には、第 1の輝度範囲設定手段により設定された第 1の 輝度範囲と異なる輝度範囲であり、かつ、第 1の輝度範囲より低輝度の画素の輝度 値の平均を算出する第 2の平均値算出手段を更に備えさせるようにすることができ、 第 2の平均値算出手段により算出された平均値を基に、第 2の輝度範囲を決定させ るよう〖こすることがでさる。
[0030] これにより、画像信号の主な輝度領域と、その輝度と乖離した低輝度領域とに、多く の階調を割り当てるようにすることができるので、表示または印刷出力される画像にお いて、黒つぶれを防ぐことができる。
[0031] 輝度範囲設定手段には、第 1の輝度範囲設定手段により設定された第 1の輝度範 囲、および、第 2の輝度範囲設定手段により設定された第 2の輝度範囲と異なる範囲 において、第 3の輝度範囲を決定する第 3の輝度範囲決定手段を更に備えさせるよう にすることができる。
[0032] 更に、輝度範囲設定手段には、それぞれ輝度範囲の異なる 3つ以上の輝度範囲を 決定させるよう〖こすることができる。
[0033] 輝度範囲設定手段には、取得手段により取得された画像信号に含まれる画素の輝 度値の分布を表すヒストグラムを求めるヒストグラム検出手段と、ヒストグラム検出手段 により検出されたヒストグラムを基に、それぞれの輝度値に分布されている画素数を 所定の閾値と比較する比較手段とを備えさせるようにすることができ、比較手段による 比較結果を基に、複数の輝度範囲を設定させるようにすることができる。
[0034] 閾値は、例えば、実験的または経験的に求められる値であっても良いし、ユーザに より設定可能な値であっても良い。
[0035] ユーザの操作入力を受ける操作入力手段を更に備えさせるようにすることができ、 輝度範囲設定手段は、操作入力手段により入力されるユーザの操作入力に基づい て、複数の輝度範囲を設定させるようにすることができる。
[0036] これにより、例えば、撮像される画像のうち、ユーザが必要とする画像情報に対応す る画素の輝度領域が予め分力つている場合には、処理を簡単にしたり、装置のコスト を下げることが可能となる。
[0037] ユーザの操作入力を受ける操作入力手段を更に備えさせるようにすることができ、 輝度範囲設定手段には、操作入力手段により入力されるユーザの操作入力に基づ V、て、複数の輝度範囲設定可能領域を設定する輝度範囲設定可能領域設定手段と 、輝度範囲設定可能領域設定手段により設定された輝度範囲設定可能領域に含ま れる画素の輝度値の分布を表すヒストグラムを求めるヒストグラム検出手段と、ヒストグ ラム検出手段により検出されたヒストグラムを基に、それぞれの輝度値に分布されて いる画素数を所定の閾値と比較する比較手段とを備えさせるようにすることができ、 比較手段による比較結果を基に、複数の輝度範囲を設定させるようにすることができ る。
[0038] これにより、例えば、撮像される画像のうち、ユーザが必要とする画像情報に対応す る画素の輝度領域が予め分力 ている力 時間によって、ユーザが必要とする画像 情報に対応する画素の輝度領域が、何パターンかに変化するような場合、例示すれ ば、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有してい なかったり、夕方や夜間には多くの情報を有する力 朝や昼には、ほとんど情報を有 して ヽな 、場合であっても、ユーザにとって必要な情報を有して 、な 、輝度領域に、 階調ステップ数が優先的に割り当てられることを避けることが可能となる。
[0039] 画像信号は、半導体のサブスレツショルド特性を利用して、入射光量の対数にほぼ 比例した画素値を出力する対数変換型の撮像素子により撮像されたものとすることが できる。
[0040] 撮像素子は、人の目より広 、ダイナミックレンジで被写体を撮像することができるも のとすると好適である。
[0041] 変換手段には、輝度範囲設定手段により設定された輝度範囲以外には、階調ステ ップ数が割り当てられな!/ヽように、変換特性を設定させるようにすることができる。
[0042] これによつて、設定された輝度範囲に、多くの階調ステップ数を割り当てることがで きる。
[0043] 変換手段には、輝度範囲設定手段により設定された輝度範囲の境界付近に中間 領域を設定し、輝度範囲設定手段により設定された輝度範囲のうち中間領域を除い た部分の階調ステップ数が最も多く割り当てられ、中間領域の階調ステップ数が 2番 目に多く割り当てられ、輝度範囲設定手段により設定された輝度範囲以外であり、か つ、中間領域ではない部分の階調ステップ数が最も少なくなるように、変換特性を設 定させるよう〖こすることがでさる。
[0044] この中間領域は、輝度範囲設定手段により設定された輝度範囲の境界を中心とし た所定の輝度範囲であってもよ!、し、輝度範囲の境界に対応する画素近辺の輝度 値を有する所定数の画素に対応する輝度範囲であっても良い。
[0045] また、この中間領域は、輝度範囲設定手段により設定された輝度範囲の境界をまた ぐように設定されていてもよいし、輝度範囲設定手段により設定された輝度範囲の最 も境界よりに設定されていてもよいし、更に、輝度範囲設定手段により設定された輝 度範囲外であって、設定された輝度範囲に最も近い領域に設定されるようにしても良 い。
[0046] 変換手段には、輝度範囲設定手段により設定された輝度範囲以外であり、かつ、 中間領域ではない部分に、階調ステップ数が割り当てられないように、変換特性を設 定させるよう〖こすることがでさる。
[0047] 中間領域を設定することにより、割り当てられる輝度の階調ステップ数をなだらかに 変ィ匕させることができる。
[0048] 本発明の画像処理方法は、入射光量の対数にほぼ比例した画素値を出力する撮 像素子により撮像された画像信号を処理する画像処理装置の画像処理方法であつ て、画像信号を取得する取得ステップと、取得ステップの処理により取得された画像 信号の輝度範囲のうち、複数の輝度範囲を設定する輝度範囲設定ステップと、輝度 範囲設定ステップの処理により設定された輝度範囲と輝度範囲以外とで、輝度の階 調ステップ数の割り当てが異なるように、取得ステップの処理により取得された画像信 号に含まれる画素の輝度を変換する変換ステップとを含むことを特徴とする。
[0049] 画像信号は、例えば、半導体のサブスレツショルド特性を利用して、入射光量の対 数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものと することができる。
[0050] 撮像素子は、例えば、 HDRC (High Dynamic Range CMOS (Complementary Metal
Oxide Semiconductor) )であるものとすることができる。
[0051] このような撮像素子は、人の目より広 、ダイナミックレンジで被写体を撮像すること ができる。
[0052] 本発明のプログラムおよび記録媒体に記録されているプロクラムは、入射光量の対 数にほぼ比例した画素値を出力する撮像素子により撮像された画像信号の処理をコ ンピュータに実行させるためのプログラムであって、画像信号の取得を制御する取得 制御ステップと、取得制御ステップの処理により取得が制御された画像信号の輝度 範囲のうち、複数の輝度範囲を設定する輝度範囲設定ステップと、輝度範囲設定ス テツプの処理により設定された輝度範囲と輝度範囲以外とで、輝度の階調ステップ数 の割り当てが異なるように、取得ステップの処理により取得された画像信号に含まれ る画素の輝度を変換する変換ステップとを含むことを特徴とする処理をコンピュータ に実行させる。
[0053] 画像信号は、例えば、半導体のサブスレツショルド特性を利用して、入射光量の対 数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものと することができる。
[0054] 撮像素子は、例えば、 HDRC (High Dynamic Range CMOS (Complementary Metal
Oxide Semiconductor) )であるものとすることができる。
[0055] このような撮像素子は、人の目より広 、ダイナミックレンジで被写体を撮像すること ができる。 [0056] 本発明の画像処理装置および画像処理方法、並びに、プログラムにお 、ては、入 射光量の対数にほぼ比例した画素値を出力する撮像素子により撮像された画像信 号の輝度範囲のうち、複数の輝度範囲が設定され、この輝度範囲に、輝度範囲以外 とは異なる階調が割り当てられるように、画像信号に含まれる画素の輝度が変換され る。
[0057] 設定される輝度範囲は、例えば、
撮像された画像信号において、平均輝度を含む輝度範囲、
平均輝度を含む範囲よりも高輝度または低輝度の範囲内の平均の輝度を含む輝 度範囲、
画像信号内で定常的に同一の被写体が撮像されていると思われる画像部分や、 画像の主な部分を占めると思われる被写体が撮像されていると思われる画像部分を 基に定められる輝度範囲、
撮像された画像内で一定以上の画素数を有する輝度を含む輝度範囲、 ユーザによって予め定められた輝度範囲、
などであり、これらは、ユーザにとって必要な、例えば、表示されたときや印刷出力 されたときに認識しやすい状態で表示または印刷されるように、多くの階調を割り当 てるべき輝度領域である。
[0058] したがって、複雑な処理を行うことなぐユーザにとって認識しやす 、広ダイナミック レンジの画像を得ることができることができる。
発明の効果
[0059] 本発明によれば、撮像された画像信号を表示または出力のために処理することが でき、特に、複雑な処理を行うことなぐユーザにとって認識しやすい広ダイナミックレ ンジの画像を得ることができる。
図面の簡単な説明
[0060] [図 1]従来の広ダイナミックレンジカメラの動作原理を示す図である。
[図 2]本発明の画像処理システムの一実施の形態を示すブロック図である。
[図 3]図 2の撮像装置の一実施の形態を示すブロック図である。
[図 4]対数変換型撮像素子などの感度特性を示すグラフである。 [図 5]画像生成部の第 1の構成例を示すブロック図である。
[図 6A]入力レベルに対する出力レベルの変換について説明するための図である。
[図 6B]入力レベルに対する出力レベルの変換について説明するための図である。
[図 6C]入力レベルに対する出力レベルの変換について説明するための図である。
[図 7A]入力レベルに対する出力レベルの変換について説明するための図である。
[図 7B]入力レベルに対する出力レベルの変換について説明するための図である。
[図 7C]入力レベルに対する出力レベルの変換について説明するための図である。
[図 8A]入力信号、階調変換後の信号、および、表示される信号について説明するた めの図である。
圆 8B]入力信号、階調変換後の信号、および、表示される信号について説明するた めの図である。
[図 8C]入力信号、階調変換後の信号、および、表示される信号について説明するた めの図である。
[図 9]画像表示処理 1につ 、て説明するためのフローチャートである。
[図 10]表示画像の差異について説明するための図である。
[図 11]表示画像の差異について説明するための図である。
[図 12]表示画像の差異について説明するための図である。
[図 13]表示画像について説明するための図である。
[図 14]画像生成部の第 2の構成例を示すブロック図である。
[図 15A]入力レベルに対する出力レベルの変換について説明するための図である。
[図 15B]入力レベルに対する出力レベルの変換について説明するための図である。
[図 15C]入力レベルに対する出力レベルの変換について説明するための図である。
[図 16A]入力信号、階調変換後の信号、および、表示される信号について説明する ための図である。
[図 16B]入力信号、階調変換後の信号、および、表示される信号について説明する ための図である。
[図 16C]入力信号、階調変換後の信号、および、表示される信号について説明する ための図である。 [図 17]画像表示処理 2について説明するためのフローチャートである。
[図 18]表示画像について説明するための図である。
[図 19]表示画像について説明するための図である。
[図 20]画像生成部の第 3の構成例を示すブロック図である。
[図 21]画像生成部の第 4の構成例を示すブロック図である。
[図 22]切り出し領域にっ 、て説明するための図である。
[図 23]画像表示処理 3について説明するためのフローチャートである。
[図 24]画像生成部の第 5の構成例を示すブロック図である。
[図 25]画像表示処理 4について説明するためのフローチャートである。
[図 26]画像生成部の第 6の構成例を示すブロック図である。
[図 27]画像生成部の第 7の構成例を示すブロック図である。
[図 28]ヒストグラムの解析と輝度範囲の設定について説明するための図である。
[図 29]画像表示処理 5について説明するためのフローチャートである。
[図 30]画像生成部の第 8の構成例を示すブロック図である。
[図 31]画像表示処理 6について説明するためのフローチャートである。
[図 32]画像生成部の第 9の構成例を示すブロック図である。
[図 33]ヒストグラムの解析と輝度範囲の設定について説明するための図である。
[図 34]画像表示処理 7について説明するためのフローチャートである。
[図 35]パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
81 画像処理装置
91 撮像部
93 画像生成部
94 表示制御部
102 対数変換型撮像素子
131 平均輝度算出部
132 主要領域輝度範囲設定部
133 第 2の輝度領域輝度平均値算出部 134 第 2の輝度領域輝度範囲設定部
135 出力レベル変換処理部
201 主要領域切り出し部
202 主要領域輝度平均値算出部
221 領域
251 ヒストグラム解析部
252 閾値比較処理部
253 複数段階輝度範囲設定部
発明を実施するための最良の形態
[0062] 以下、図を参照して、本発明の実施の形態について説明する。
[0063] 図 2は、画像処理装置 81の一実施の形態を示すブロック図である。
[0064] 撮像部 91は、操作入力部 92から供給されるユーザの操作入力に基づいて、被写 体を撮像し、得られた画像信号を画像生成部 93に供給する。撮像部 91の詳細につ いては、図 3を用いて後述する。
[0065] 操作入力部 92は、例えば、リレーズボタンなどのボタン、操作キー、タツチパネルな どの入力デバイスで構成され、ユーザの操作入力を受け、ユーザからの指令を、撮 像部 91に供給する。ユーザの操作入力は、例えば、撮像タイミングの指令（リレーズ ボタンの押下など）のみならず、例えば、動画像の撮像 (換言すれば、連続したフレ 一ムの撮像)の開始または終了の指令である場合などもあり、更に、撮像開始または 終了の時刻の設定などである場合もある。また、操作入力部 92は、ユーザにより、画 像生成部 93の処理に用いられる所定の設定値の入力を受けた場合、その設定値を 画像生成部 93に供給する。
[0066] 画像生成部 93は、撮像部 91から供給された画像信号を表示や印刷出力に適した 画像信号に変換する処理を実行し、表示制御部 94または出力制御部 95に供給する 。また、画像生成部 93は、操作入力部 92から、必要に応じて、処理に必要な設定値 の入力を受け、これを基に、撮像部 91から供給された画像信号を表示や印刷出力 に適した画像信号に変換する処理を実行する。
[0067] 表示制御部 94は、画像生成部 93から供給された処理済の画像信号を、ディスプレ ィ 82の解像度や階調数に変換する処理を行い、処理済の信号を、ディスプレイ 82に 供給する。
[0068] 出力制御部 95は、画像生成部 93から供給された処理済の画像信号を、例えば、 プリンタなど、出力先の機器が処理可能な解像度や階調数に変換する処理を行 ヽ、 処理済の信号を、図示しないプリンタなどの外部機器に出力する。
[0069] ディスプレイ 82は、例えば、表示制御部 94から供給された表示画像信号の入力を 受け、画像 (静止画像または、複数フレームよりなる動画像)を表示する。
[0070] 図 3は、図 2の画像処理装置 81の撮像部 91の更に詳細な構成例を示すブロック図 である。撮像部 91は、レンズ 101、および対数変換型撮像素子 102を含むように構 成される。対数変換型撮像素子 102は、例えば、 HDRC (High Dynamic Range CM OS (Complementary Metal Oxide Semiconductor) )などの対数変換型の撮像素子と され、光検出部 111、対数変換部 112、 AZD変換部 113、および撮像タイミング制 御部 114を含むように構成される。
[0071] 撮像部 91により撮像される被写体力も発せられた光 (あるいは、被写体により反射 された光）は、レンズ 101に入射し、対数変換型撮像素子 102の光検出部 111の図 示せぬ光検出面に結像する。
[0072] 光検出部 111は、例えば、複数のフォトダイオードなど力もなる受光素子などにより 構成される。光検出部 111は、レンズ 101により結像された被写体の光を、入射され た光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部 11 1は、撮像タイミング制御部 114から供給される制御信号に同期して、蓄積した電荷 を対数変換部 112に供給する。
[0073] 対数変換部 112は、例えば、複数の MOSFET (Metal Oxide Semiconductor Field E ffect Transistor)などにより構成される。対数変換部 112は、 MOSFETのサブスレツシ ョルド特性を利用して、光検出部 111から供給される電荷を、画素ごとに電荷の数（ 電流の強さ）の対数 (被写体の光の光量の対数）にほぼ比例した電圧値に変換した アナログの電気信号を生成する。対数変換部 112は、生成したアナログの電気信号 を AZD変換部 113に供給する。
[0074] AZD変換部 113は、撮像タイミング制御部 114から供給される制御信号に同期し て、アナログの電気信号をデジタルの画像データに AZD変換する。例えば、 24bit の符号なし 2進数のデジタルの画像データに変換される場合、画像データの画素値 は、最も暗い 0から最も明るい 224— 1の範囲の値をとる。 AZD変換部 113は、変換 したデジタルの画像データを画像処理装置 92に供給する。
[0075] このように、撮像部 91は、光検出部 111に入射した被写体の光の明るさ (入射光量 )の対数に比例した画素値力もなるデジタルの画像データを出力する。なお、対数変 換型の撮像素子については、例えば、特表平 7— 506932公報などにその詳細が開 示されている。
[0076] なお、対数変換型撮像素子 102の光検出部 111においては、変換した電荷を蓄積 せずに、そのまま対数変換部 112に供給させるようにすることも可能である。
[0077] 図 4は、対数変換型撮像素子 102、 CCD (Charge Coupled Device)撮像素子、銀 塩フィルム、および、人の目の感度特性を示すグラフである。図 4の横軸は、入射す る光の照度（単位は、ルクス (lux) )の対数値を示し、縦軸は入射光の照度に対する 感度を示している。線 121は対数変換型撮像素子 102の感度特性を示し、線 122は CCD撮像素子の感度特性を示し、線 123は銀塩フィルムの感度特性を示し、線 124 は人の目の感度特性を示して 、る。
[0078] 対数変換型撮像素子 102は、上述したように、入射光量の対数にほぼ比例した輝 度値 (あるいは画素値)からなる画像データを出力するので、入射光量が大きくなつ た場合でも、対数変換型撮像素子 102を構成するフォトダイオードや MOSFETなどの 素子の容量が飽和したり、各素子に流れる電流や印加される電圧が各素子の入力 に応じた出力を行うことができる範囲を超えることがない。従って、撮像可能な輝度の 範囲内にお 、て、ほぼ正確に入射光量の変動に応じた輝度値 (ある 、は画素値)を 得ることができる。すなわち、 CCD撮像素子、銀塩フィルム、および、人の目より広い 、例えば、約 1ミリルクスから太陽光の輝度より高い約 500キロルクスまでの約 170dB のダイナミックレンジで、被写体力 の入射光量の強さをほぼ正確に反映した輝度値 (あるいは画素値)からなる画像を撮像することができる。なお、撮像部 91に用いる対 数変換型撮像素子 102のダイナミックレンジは、上述した 170dBに限定されるもので はなぐ利用目的に応じて、約 lOOdBあるいは 200dBなど、必要なダイナミックレン ジに対応したものを用いるようにすればょ 、。
[0079] 対数変換型撮像素子 102は、上述したように、入射光量の対数にほぼ比例した値 の画素値力もなる画像データを出力することにより、対数変換型撮像素子 102を構 成するフォトダイオードや MOSFETなどの容量を飽和させずに、 CCD撮像素子、銀 塩フィルム、および、人の目より広い、約 1ミリルクス力も太陽光の輝度より高い約 500 kルクスまでの約 170dBのダイナミックレンジで被写体を撮像することができる。
[0080] 従って、対数変換型撮像素子 102を用いた撮像部 91は、人が視認できる輝度範 囲において、輝度クリッピングが発生しないため、絞りやシャツタスピードなどを調整し て入射光量を調整する必要がない。すなわち、撮像部 91は、入射光量を調整しなく ても、被写体の詳細な輝度の変化を忠実に撮像することができる。
[0081] 例えば、撮像部 91は、昼間に車内から車の前方を撮像する場合、画角内に太陽が 入っていても、入射光量を調整せずに、太陽と前方の道路の状態を忠実に再現した 画像を撮像することができる。また、撮像部 91は、夜間に車内から車の前方を撮像 する場合、対向車のヘッドライトが前方力も照らされていても、入射光量を調整せず に、対向車のヘッドライトの光から自車のヘッドライトに照らされていない部分までを 忠実に再現した画像を撮像することができる。
[0082] また、 CCD撮像素子および銀塩フィルム力 線 122および線 123に示されるように 、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比 ベて、対数変換型撮像素子 102では、感度特性が、入射光の照度の対数にほぼ比 例する。
[0083] このように、対数変換型撮像素子 102を用いた撮像部 91は、輝度クリッピングの発 生、入射光量の調整、ガンマ特性の影響を受けないため、撮像部 91により撮像され た画像データの画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に 反映するように変動する。
[0084] また、撮像部 91から出力される画像データの画素値は、入射光量の対数にほぼ比 例した値となるので、被写体に照射される光の明るさ（照度）に関わらず、その被写体 を撮像した画像データにおける画素値の分布は、その被写体の反射率の分布がほ ぼ同様に反映されたものとなる。例えば、反射率の最大値と最小値の比率が 10 : 1で ある被写体を、 1回目と 2回目とで約 100倍の照度差がある光を照射して撮像した場 合、 1回目の画像データと 2回目の画像データとの画素値の分布を示すヒストグラム の幅はほぼ同じ値（l =log 10)となる。一方、画像データの画素値が入射光量に比
10
例する場合、 1回目の画像データと 2回目の画像データの画素値の分布を示すヒスト グラムの幅の差は約 100倍となる。
[0085] また、被写体の輝度 (反射率)の分布に関わらず、被写体の輝度がほぼ同じ比率で 変動した場合、その被写体を撮像した画像データの画素値の変動値は、ほぼ同様に なる。例えば、被写体内に輝度の比が 100 : 1となる 2つの領域がある場合、被写体に 照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ同じ比率の + 5%変 動したとき、 2つの領域に対応する画素値の変動値はほぼ同じ値 (log 1.05)となる。
10
一方、画像データの画素値が入射光量に比例する場合、上述した 2つの領域に対応 する画素値の変動値の差は、約 100倍となる。
[0086] ところで、図 4を用いて説明したように、対数変換型撮像素子 102は、人の目の感 度（図 4の線 124に示される特性）、 CCD撮像素子の感度（図 4の線 122に示される 特性）、および、銀塩フィルムの感度（図 4の線 123に示される特性）と比較して、その 輝度範囲が非常に広い。このため、対数変換型撮像素子 102を用いた撮像部 91に より撮像された画像データの全階調を、ディスプレイ 82に対応した階調に変換して表 示させた場合、人の目に見える像や、従来の CCD撮像素子または銀塩フィルムを用 いて撮像した画像と比較して、濃淡の差がない、換言すれば、シャープさのない画像 になってしまう。
[0087] すなわち、対数変換型撮像素子 102を用いた撮像部 91を用いることにより、非常に 暗い部分も、非常に明るい部分も忠実に撮像されるのである力 撮像された画像デ ータを、ディスプレイ 82が表示可能な階調数を基に階調変換して表示させた場合、 撮像されて ヽる非常に喑 、部分も非常に明る ヽ部分も、表示される画像を参照する ユーザからは識別不可能になってしまい、更に、ユーザから識別可能な全体の階調 の中央部分は、濃淡の差が少なくなつた状態で表示されてしまう。同様に、プリンタな どの階調数にも限りがあるため、撮像された画像データを、出力先の機器が処理可 能な階調数に変換してしまっては、印刷出力される画像は、同様に、人の目に見える 像や、従来の CCD撮像素子または銀塩フィルムを用いて撮像した画像と比較して、 濃淡の差がない、換言すれば、シャープさのない画像になってしまう。
[0088] また、例えば、対数変換型撮像素子 102を用いた撮像部 91により撮像された画像 の輝度範囲の全体をディスプレイ 82が表示可能な階調に変換するのではなぐ得ら れる輝度範囲のうち、得られた画像に含まれる画素の輝度値の最高値と最低値を抽 出し、その間の輝度範囲をディスプレイ 82が表示可能な階調に変換するようにした 場合、一枚の画像に含まれる輝度範囲が比較的狭いときに表示される画像の画質は 明らかに向上する。し力しながら、 1枚の撮像画像中に明るい部分と暗い部分が混在 するような場合、やはり、撮像されている非常に暗い部分も非常に明るい部分も、表 示される画像を参照するユーザ力 は識別不可能であり、ユーザ力 識別可能な全 体の階調の中央部分の濃淡の差が少ない表示画像となってしまう。
[0089] そこで、画像生成部 93においては、対数変換型撮像素子 102を用いた撮像部 91 により撮像された画像データの供給を受けて、ディスプレイ 82に対応した階調で表示 させた場合、または、出力先の外部機器に対応した階調で出力させた場合であって も、ユーザ力も識別可能な状態に表示または印刷出力させることができるような画像 データを生成することができるような画像処理が実行される。
[0090] 図 5は、図 2の画像生成部 93の構成の第 1の例である画像生成部 93— 1の構成を 示すブロック図である。
[0091] 平均輝度算出部 131は、撮像部 91から供給された画像信号を取得して、この平均 輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部 132に供給する
[0092] 主要領域輝度範囲設定部 132は、平均輝度算出部 131から供給された画像信号 の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲 を、出力レベル変換処理部 135、および、第 2の輝度領域輝度平均値算出部 133〖こ 供給する。
[0093] 主要領域輝度範囲設定部 132は、例えば、画像信号の平均輝度を中心とした所定 の輝度の範囲を主要領域の輝度範囲としても良 、し、画像信号の平均輝度である画 素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素 を選択して主要領域の輝度範囲としても良い。
[0094] 第 2の輝度領域輝度平均値算出部 133は、撮像部 91から供給された画像信号のう ち、主要領域輝度範囲設定部 132により設定された主要領域の輝度範囲より高輝度 の範囲の画素の平均輝度を算出し、算出結果を、第 2の輝度領域輝度範囲設定部 1 34に供給する。
[0095] 第 2の輝度領域輝度範囲設定部 134は、第 2の輝度領域輝度平均値算出部 133 力 供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、 第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範囲を出カレ ベル変換処理部 135に供給する。
[0096] 第 2の輝度領域輝度範囲設定部 134は、例えば、主要領域の輝度範囲より高輝度 の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度 範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度であ る画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の 画素を選択して第 2の輝度領域の輝度範囲としても良い。
[0097] 出力レベル変換処理部 135は、撮像部 91から供給された画像信号を取得して、主 要領域輝度範囲設定部 132、および、第 2の輝度領域輝度平均値算出部 133から 供給された、主要領域の輝度範囲、および、第 2の輝度領域の輝度範囲の情報を基 に、取得した画像信号の出力レベルを変換する。
[0098] 具体的には、出力レベル変換処理部 135は、入力される輝度信号のレベルに対し て、所定のステップ数の出力レベル信号 (輝度を所定の階調ステップ数で分割した 場合のそれぞれの輝度階調レベルの信号)を割り当てて、割り当てられた出カレべ ルの信号を出力するようになされている。このとき、出力レベル変換処理部 187は、 出力レベル信号の輝度階調レベルの割り当てを、主要領域および第 2の輝度領域と して設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、 出力レベル変換処理部 187は、主要領域および第 2の輝度領域として設定されてい る輝度範囲により多くの出力レベルのステップ数を割り当てて、対応する輝度範囲の 画素の階調数が多くなるような変換処理を実行する。このようにすることにより、表示 または印刷出力される画像のうち、主要領域および第 2の輝度領域に対応する輝度 範囲の部分力 ユーザによってよりょく認識できるようになる。
[0099] 出力レベル変換処理部 135は、例えば、主要領域の輝度範囲と第 2の輝度領域の 輝度範囲に含まれる入力信号に対して、全ての階調ステップ数を分割して割り当て、 それ以外の範囲、すなわち、主要領域より低輝度の範囲、主要領域と第 2の輝度領 域の間の輝度範囲、および、第 2の輝度領域よりも高輝度となる範囲に対しては、出 カレベルのステップ数を割り当てな 、ようにすることができる。
[0100] このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てら れた場合、図 6Aに示されるように、主要領域の輝度範囲より輝度の入力レベルが低 い画素の出力レベルは 0 (すなわち、真っ黒）となる。そして、主要領域の輝度範囲内 の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また 、主要領域と第 2の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、 主要領域の輝度範囲に割り当てられた出力レベルの最大値で出力される。第 2の輝 度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じ て、主要領域の輝度範囲に割り当てられた出力レベルの最大値から、全体の出カレ ベルの最大値までの間の階調の出力レベルが割り当てられる。そして、第 2の輝度領 域よりも高輝度の画素は、入力レベルにかかわらず、第 2の輝度領域に割り当てられ た出力レベルの最大値、すなわち、全体の出力レベルの最大値が割り当てられる。
[0101] また、出力レベル変換処理部 135は、例えば、主要領域と第 2の輝度領域に対して 、出力レベルのうちの所定のステップ数を割り当てるとともに、主要領域と第 2の輝度 領域の間の輝度範囲に対しては、主要領域や第 2の輝度領域に割り当てられたステ ップ数よりも少な 、ステップ数 (換言すれば、主要領域や第 2の輝度範囲よりも狭 ヽ 階調幅)を割り当て、主要領域より低輝度の範囲、および、第 2の輝度領域よりも高輝 度の範囲に対しては、出力レベルのステップ数を割り当てな 、ようにすることができる
[0102] このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てら れた場合、例えば、図 6Bに示されるように、主要領域の輝度範囲より低い輝度を有 する画素の出力値は 0となる。そして、主要領域の輝度範囲内の画素には、入カレ ベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第 2の 輝度領域の間の輝度範囲の画素にお 、ては、主要領域の輝度範囲に割り当てられ たステップ数よりも少な ヽステップ数で、入力レベルに応じた出力レベルが割り当てら れる。第 2の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入 カレベルに応じて、主要領域と第 2の輝度領域の間の輝度範囲に割り当てられた出 カレベルの最大値力も全体の最大値となる階調までの間の出力レベルが割り当てら れる。そして、第 2の輝度領域よりも高輝度の画素に対しては、入力レベルにかかわ らず、第 2の輝度領域に割り当てられた出力レベルの最大値、すなわち、最大出カレ ベルが割り当てられる。
[0103] また、出力レベル変換処理部 135は、例えば、主要領域の輝度の上限値を中心と する所定の輝度範囲を区間 (X、第 2の輝度領域の輝度の下限値を中心とする所定 の輝度範囲を区間 βとし、主要領域または第 2の輝度領域のうち、区間 αまたは区 間 j8以外の画素に対して、出力レベルのうちの所定のステップ数を割り当て、区間 α または区間 βに、主要領域および第 2の輝度領域の区間 aまたは区間 β以外の部 分に割り当てられたステップ数よりも少な ヽステップ数を割り当て、主要領域よりも低 輝度および第 2の輝度領域よりも高輝度の画素に対しては、出力レベルのステップ数 を割り当てないようにすることができる。なお、このとき、主要領域と第 2の輝度領域の 間の輝度範囲のうち、区間 αまたは区間 j8に当てはまらない画素に対しては、区間 αまたは区間 j8に割り当てられた出力レベルのステップ数よりも少ないステップ数を 割り当てるようにしたり、ステップ数を割り当てな 、ようにすることができる。
[0104] このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てら れた場合、例えば、図 6Cに示されるように、主要領域の輝度範囲より低い輝度を有 する画素の出力値は 0となる。そして、主要領域の輝度範囲内であり、区間 α以外の 画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、 区間 aの画素には、主要領域の区間 a以外の部分に割り当てられたステップ数より も少ないステップ数で、主要領域の区間 α以外の部分に割り当てられた出力レベル の最大値より大きな所定の階調の出力レベルが割り当てられる。また、主要領域と第 2の輝度領域との間の輝度範囲のうち、区間 αまたは区間 /3に当てはまらない画素 においては、区間 αに割り当てられたステップ数よりも少ないステップ数で、入カレべ ルに応じた出力レベルが割り当てられる力 または、入力レベルにかかわらず区間 OL に割り当てられた出力レベルの最大値が割り当てられるようになされる。
[0105] また、区間 /3の画素には、主要領域の区間 a以外の部分に割り当てられたステツ プ数よりも少ないステップ数で、区間 βより低い輝度範囲における出力レベルの最大 値より大きな所定の階調の出力レベル力 区間 OCと同一または略同等のステップ数 で割り当てられる。そして、第 2の輝度領域の輝度範囲内で区間 β以外の画素には、 入力レベルに応じて、区間 j8に割り当てられた階調の最大値力 全体の最大出カレ ベルまでの階調の出力レベルが割り当てられる。換言すれば、第 2の輝度領域の輝 度範囲内で区間 j8以外の画素には、主要領域のうちの区間 a以外の部分と同一か 略同じステップ数、すなわち、区間 aおよび区間 j8よりも多くのステップ数の出カレ ベルが割り当てられる。そして、第 2の輝度領域よりも高輝度の画素に対しては、入力 レベルにかかわらず、第 2の輝度領域に割り当てられた出力レベルの最大値、すな わち、最大出力レベルが割り当てられる。
[0106] なお、図 6Cにおいては、主要領域の輝度の上限値を中心とする所定の輝度範囲 を区間 a、第 2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間 βと したが、例えば、主要領域の輝度範囲内の上限側の所定区間を区間 (X、第 2の輝度 領域の輝度範囲内の下限側の所定区間を区間 βとしたり、主要領域の輝度範囲の 上限よりも高輝度の所定の区間を区間 (X、第 2の輝度領域の輝度範囲の下限よりも 低輝度の所定の区間を区間 βとするようにしても良い。更に、主要領域の輝度の下 限側、および、第 2の輝度領域の輝度の上限側に、区間 ocおよび区間 βと同様の出 カレベルのステップ数が割り当てられるような領域を設定するようにしても良 、。
[0107] また、図 6においては、主要領域の輝度範囲以下の輝度を有する画素は、すべて 出力 0 (真っ黒)であるものとし、第 2の輝度領域の輝度範囲以上の輝度を有する範 囲の画素は、すべて、第 2の輝度領域の輝度範囲の最高の輝度と同一の出カレべ ル (最大出力レベル)としたが、主要領域の輝度範囲以下、および、第 2の輝度領域 の輝度範囲以上のそれぞれの輝度範囲においても、ある程度の出力レベルのステツ プ数を割り当てることができるようにしても良 、。
[0108] すなわち、出力レベル変換処理部 135は、例えば、図 7Αに示されるように、入カレ ベルに対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲よ り輝度の入力レベルが低い画素において、入力レベルに対応して、 0 (すなわち、真 つ黒)から主要領域に割り当てられるステップ数よりも少ない所定ステップ数の出カレ ベルまでが割り当てられる。そして、主要領域輝度範囲内の画素には、入力レベル に応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第 2の輝度 領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域に割り当てられ た出力レベルの最大値で出力される。第 2の輝度領域内の画素には、入力レベルに 応じて、主要領域に割り当てられた出力レベルの最大値から、所定の階調の出カレ ベルが、主要領域と同一、または、略同等のステップ数で割り当てられる。そして、第 2の輝度領域よりも高輝度の画素に対しては、第 2の輝度領域の輝度範囲に割り当 てられた出力レベルの最大値から、最大出力レベルまで、主要領域や第 2の輝度領 域に割り当てられたステップ数よりも少な 、ステップ数となるように、入力レベルに対 応した出力レベルが割り当てられる。
[0109] また、出力レベル変換処理部 135は、例えば、図 7Bに示されるように、入力レベル に対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝 度の入力レベルが低い画素において、入力レベルに対応して、 0 (すなわち、真っ黒 )から主要領域に割り当てられるステップ数よりも少な 、所定ステップ数の出力レベル までが割り当てられる。そして、主要領域輝度範囲内の画素には、入力レベルに応じ て、所定の階調の出力レベルが割り当てられる。また、主要領域と第 2の輝度領域の 間の輝度範囲の画素にぉ 、ては、主要領域に割り当てられたステップ数よりも少な ヽ ステップ数で、入力レベルに応じた出力レベルが割り当てられる。第 2の輝度領域内 の画素には、入力レベルに応じて、主要領域と第 2の輝度領域の間の輝度範囲に割 り当てられた出力レベルの最大値力も所定の階調の出力レベルが、主要領域と同一 、または、略同等のステップ数で割り当てられる。そして、第 2の輝度領域よりも高輝 度の画素に対しては、第 2の輝度領域の輝度範囲に割り当てられた出力レベルの最 大値から、最大出力レベルまで、主要領域に割り当てられたステップ数よりも少ない ステップ数となるように、入力レベルに対応した出力レベルが割り当てられる。
[0110] また、出力レベル変換処理部 135は、例えば、図 7Cに示されるように、入力レベル に対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝 度の入力レベルが低い画素において、入力レベルに対応して、 0 (すなわち、真っ黒
)から主要領域に割り当てられるステップ数よりも少な 、所定ステップ数の出力レベル までが割り当てられる。そして、主要領域輝度範囲内であり、区間 α以外の画素には 、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、区間 αの 画素には、主要領域の区間 α以外の部分に割り当てられたステップ数よりも少ないス テツプ数で、主要領域の区間 α以外の部分に割り当てられた出力レベルの最大値よ り大きな所定の階調の出力レベルが割り当てられる。また、主要領域と第 2の輝度領 域との間の輝度範囲のうち、区間 αまたは区間 /3に当てはまらない画素においては 、区間 aに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた 出力レベルが割り当てられる力、または、入力レベルにかかわらず区間 OLに割り当て られた出力レベルの最大値が割り当てられるようになされる。
[0111] また、区間 /3の画素には、主要領域の区間 a以外の部分に割り当てられたステツ プ数よりも少ないステップ数で、区間 βより低い輝度範囲における出力レベルの最大 値より大きな所定の階調の出力レベルが割り当てられる。そして、第 2の輝度領域の 輝度範囲内で区間 j8以外の画素には、入力レベルに応じて、区間 j8に割り当てられ た階調の最大値力も所定の階調の出力レベルが、主要領域の区間 OC以外の輝度範 囲と同一、または、略同等のステップ数で割り当てられる。そして、第 2の輝度領域よ りも高輝度の画素に対しては、第 2の輝度領域の輝度範囲に割り当てられた出カレ ベルの最大値から、最大出力レベルまで、主要領域の区間 α以外の部分に割り当て られたステップ数よりも少ないステップ数となるように、入力レベルに対応した出カレ ベルが割り当てられる。
[0112] なお、図 7Cにおいても、主要領域の輝度の上限値を中心とする所定の輝度範囲を 区間 a、第 2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間 βとし たが、例えば、主要領域輝度範囲内の上限側の所定区間を区間 (X、第 2の輝度領 域の輝度範囲内の下限側の所定区間を区間 βとしたり、主要領域輝度範囲の上限 よりも高輝度の所定の区間を区間 ex、第 2の輝度領域の輝度範囲の下限よりも低輝 度の所定の区間を区間 13とするようにしても良い。更に、主要領域の輝度の下限側、 および、第 2の輝度領域の輝度の上限側に、区間 aおよび区間 βと同様の出カレべ ルのステップ数が割り当てられるような領域を設定するようにしても良 、。
[0113] 更に、出力レベル変換処理部 135は、例えば、主要領域、および、第 2の輝度領域 における入力レベルに対する出力レベルの比率 (直線の傾き)よりも、それらの輝度 領域以外の輝度範囲における入力レベルに対する出力レベルの比率が低くなるよう に、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしても よい。
[0114] 以上説明した様に、画像生成部 93— 1において設定される主要領域と第 2の輝度 領域は、予め定められた輝度範囲ではなぐ撮像された画像を基に設定されるもので ある。すなわち、画像生成部 93— 1によって生成される画像は、撮像された画像全体 のうち、例えば、画面の多くを占める被写体など、ユーザが画像を認識するために最 も重要である輝度範囲と、その輝度範囲よりも高輝度の範囲の中で、特に多くを占め て 、る輝度範囲にぉ 、て、限られた階調数のうちの多くを割り当てるようになされて!ヽ るものである。
[0115] 図 8を用いて、入力信号、出力レベル変換処理部 135による階調変換後の信号、 および、表示される信号の輝度レベルにっ 、て説明する。
[0116] 図 8Αは、図 6Αを用いて説明した階調変換が行われた場合の入力信号、出カレべ ル変換処理部 135による階調変換後の信号、および、表示または印刷などのために 出力される信号の輝度レベルを示す図である。図 8Αに示される場合、離散した輝度 範囲である主要領域と第 2の輝度領域の信号にぉ 、て、それぞれの輝度階調幅 (領 域内の階調の最大値と最小値の間のステップ数）が充分与えられている状態で、連 続した輝度階調に変換される。主要領域と第 2の輝度領域の間の輝度範囲の画素は 、全て、主要領域の最大出力レベルで出力される。そして、変換後の信号が、表示ま たは印刷出力の条件に応じて、階調変換 (階調数が圧縮)されるようになされている。 具体的には、例えば、ディスプレイ 82が、 256階調で画像を表示することができるよう になされている場合、表示制御部 94は、画像生成部 93— 1から供給された信号、す なわち、出力レベル変換処理部 135による階調変換後の信号を、 256階調の信号に 変換する。 [0117] 図 8Bは、図 6Bを用いて説明した階調変換が行われた場合の入力信号、出カレべ ル変換処理部 135による階調変換後の信号、および、表示または印刷などのために 出力される信号の輝度レベルを示す図である。図 8Bに示される場合、主要領域と第 2の輝度領域の間の領域には、主要領域と第 2の輝度領域よりも少な 、ステップ数の 階調しか与えられていない。そのため、変換後の信号は、主要領域と第 2の輝度領 域の間の領域のステップ数が少ない分、入力信号よりも輝度の階調数が大幅に圧縮 されるにもかかわらず、主要領域と第 2の輝度領域の信号には、充分な輝度階調幅 が与えられている。そして、変換後の信号が、表示または印刷出力の条件に応じて、 階調変換 (階調数が圧縮)されるようになされて ヽる。
[0118] 図 8Cは、図 6Cを用いて説明した階調変換が行われた場合の入力信号、出カレべ ル変換処理部 135による階調変換後の信号、および、表示または印刷などのために 出力される信号の輝度レベルを示す図である。図 8Cに示される場合、主要領域と第 2の輝度領域と、それらの間の領域で、割り当てられる輝度の階調ステップ数を、上 述した区間 aおよび区間 j8によってなだらかに変化させるように、すなわち、区間 a および区間 ι8においては、主要領域と第 2の輝度領域よりも少ないステップ数の階調 が与えられるようになされている。そのため、変換後の信号においては、主要領域と 第 2の輝度領域には、充分な輝度階調幅が与えられている状態で、入力信号よりも 輝度の階調数が大幅に圧縮される。そして、変換後の信号が、表示または印刷出力 の条件に応じて、階調変換 (階調数が圧縮)されるようになされて 、る。
[0119] 次に、図 9のフローチャートを参照して、図 5を用いて説明した画像生成部 93— 1が 用いられて ヽる画像処理装置 81にお ヽて実行される画像表示処理 1につ!/、て説明 する。
[0120] ステップ S1において、撮像部 91は、操作入力部 92から供給されたユーザの操作 入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、画 像生成部 93— 1に供給する。画像生成部 93— 1は、撮像された画像信号を取得す る。
[0121] ステップ S2において、画像生成部 93— 1の平均輝度算出部 131は、撮像された画 像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部 132に供給する [0122] ステップ S3において、主要領域輝度範囲設定部 132は、平均輝度算出部 131から 供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した 主要領域の輝度範囲を、出力レベル変換処理部 135、および、第 2の輝度領域輝度 平均値算出部 133に供給する。
[0123] 主要領域輝度範囲設定部 132は、例えば、画像信号の平均輝度を中心とした所定 の輝度の範囲を主要領域の輝度範囲としても良 、し、画像信号の平均輝度である画 素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素 を選択して主要領域の輝度範囲としても良い。
[0124] ステップ S4において、第 2の輝度領域輝度平均値算出部 133は、撮像部 91から供 給された画像信号のうち、主要領域輝度範囲設定部 132により設定された主要領域 の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、第 2の輝度領域輝度 範囲設定部 134に供給する。
[0125] ステップ S5において、第 2の輝度領域輝度範囲設定部 134は、第 2の輝度領域輝 度平均値算出部 133から供給された主要領域の輝度範囲よりも明るい領域の平均 輝度を基に、第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度 範囲を出力レベル変換処理部 135に供給する。
[0126] 第 2の輝度領域輝度範囲設定部 134は、例えば、主要領域の輝度範囲より高輝度 の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度 範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度であ る画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の 画素を選択して第 2の輝度領域の輝度範囲としても良い。
[0127] ステップ S6において、出力レベル変換処理部 135は、主要領域輝度範囲設定部 1 32により設定された主要領域の輝度範囲、および、第 2の輝度領域輝度平均値算出 部 133により設定された第 2の輝度領域の輝度範囲を基に、例えば、図 6または図 7 を用 ヽて説明したような入力レベルと出力レベルの変換特性を決定する。
[0128] ステップ S7において、出力レベル変換処理部 135は、撮像部 91から供給された撮 像画像の階調を、ステップ S6において決定された変換特性に基づいて変換し、表示 制御部 94に供給する。
[0129] ステップ S8において、表示制御部 94は、供給された画像信号を、図 8を用いて説 明したように、表示素子に適合した階調に変換する。
[0130] ステップ S9において、表示制御部 94は、表示素子に適した階調に変換された画像 信号をディスプレイ 82に供給し、画像の表示を制御して、処理が終了される。
[0131] なお、ここでは、生成された画像をディスプレイ 82に表示させる処理について説明 したが、生成された画像を出力制御部 95を介して図示しない外部の機器に出力させ る場合には、ステップ S1乃至ステップ S7において基本的に同様の処理が実行され、 画像信号が出力制御部 95に供給されて、出力先の機器において処理可能な階調 に変換されて出力が制御される。
[0132] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データをディスプレイ 82に対応した階調で表示させた場合、または、出力先 の外部機器に対応した階調で出力させた場合であっても、広い輝度範囲に散らばつ て存在するユーザが必要とする画像情報を、ユーザから識別可能な状態に表示また は印刷出力させることができるような画像データを生成することができる。
[0133] 例えば、トンネル内のトンネル出口付近を走行している車の前面の画像を撮像して 、撮像された画像をディスプレイに表示することができるようになされて ヽる場合、
(1)対数変換型撮像素子 102を用いた撮像部 91を用いて撮像された広ダイナミクス レンジの画像を、画像生成部 93— 1を有する画像処理装置 81を用いて処理せずに 、そのままの階調特性で表示出力させる
(2)従来の CCDカメラを有して通常の露光制御において撮像された画像を、合成等 の処理を行うことなく表示出力させる
(3)対数変換型撮像素子 102を用いた撮像部 91を用いて撮像された広ダイナミクス レンジの画像を、画像生成部 93— 1を有する画像処理装置 81を用いて処理した後、 表示出力させる
以上のそれぞれの条件において、図 10乃至図 12を参照して、表示画像の差異に ついて説明する。
[0134] まず、対数変換型撮像素子 102を用いた撮像部 91を用いて撮像された広ダイナミ タスレンジの画像を、画像生成部 93— 1を有する画像処理装置 81を用いて処理しな V、場合の表示画像の例を図 10に示す。対数変換型撮像素子 102を用いた撮像部 9 1を用いて撮像された広ダイナミクスレンジの画像は、白とび、または、黒つぶれを起 こさないが、非常に広いダイナミクスレンジを、表示装置が処理可能な階調に変換す るため、濃淡の差がない（シャープさのない）画像が表示されてしまう。
[0135] 対数変換型撮像素子 102により撮像される輝度幅が広いものであっても、一般的な 表示デバイスにより表示可能な画像の階調数は、それらを忠実に表示することが可 能なほど広いものではない。具体的には、例えば、路面の明るさを基準として露光さ れた CCDで撮像された画像において異なる階調として表示される画素が、図 10に おける場合では、同一の階調、または、 CCDを用いた場合よりも少ない階調数で表 示されてしまう。
[0136] なお、対数変換型撮像素子 102により撮像可能なダイナミクスレンジのうち、得られ た撮像画像の輝度の最大値と最小値の間で階調変換を行うようになされて!、たとし ても、 1画面中の輝度の差が大きい場合 (例えば、図 10の場合、トンネル内の路面と 、トンネルの外のそれぞれの部分の輝度の差は非常に大きい）には、同様に、濃淡の 差がな ヽ画像が表示されてしまう。
[0137] 次に、従来の CCDカメラにより通常の露光制御によって撮像された画像が表示さ れる場合の表示画像の例を図 11に示す。例えば、 CCDカメラの露光が、撮像される 画像の多くの部分を占める、トンネル内の路面の明るさを基にして設定されたとき、図 11に示されるように、得られる画像のうち、トンネル内の路面よりも極端に明るいトンネ ルの外の画像は、白とびを起こしてしまう。なお、露光時間が非常に短く設定された 場合、トンネル外の部分は、図 11に示されるように白とびを起こすことはないが、トン ネル外の部分と比較して、輝度が大幅に低いトンネル内の部分に、黒つぶれが発生 してしまい、表示画像の対応する部分の識別が困難となってしまう。
[0138] そして、対数変換型撮像素子 102を用いた撮像部 91を用いて撮像された広ダイナ ミクスレンジの画像を、画像生成部 93— 1を有する画像処理装置 81を用いて処理し た場合の表示画像の例を図 12に示す。このように、トンネル内のトンネル出口付近を 走行して ヽる車の前面の画像が撮像された場合、車の前面の道路部分の輝度周辺 力 主要領域の輝度範囲として設定される。そして、主要領域よりも高輝度の画素の うちの主な部分として、トンネル外の部分が、第 2の輝度領域として設定される。すな わち、画像生成部 93— 1を有する画像処理装置 81を用いた画像変換にお ヽては、 撮像された画像のうち、トンネル内に対応する輝度範囲とトンネル外に対応する輝度 範囲において、ユーザに認識しやすいような階調ステップ数が割り当てられる。した がって、画像生成部 93— 1を有する画像処理装置 81を用いて処理した場合の表示 画像は、図 10または図 11を用いて説明した場合よりも、撮像された画像のうちの主 な部分 (ここでは、車の全面の道路部分)と、それとは離散した輝度範囲のうちの主な 部分 (ここでは、トンネルの外の部分）が、ユーザにより認識しやすいように表示される
[0139] このようにすることにより、広ダイナミツクイレンジで撮像された画像のうち、ユーザが 必要とする情報が、ユーザにより認識しやすいように、すなわち、充分な階調ステップ 数が割り当てられて表示されるように変換される。
[0140] また、対数変換型撮像素子 102を用いた場合、 1回の撮像で、広ダイナミクスレンジ の画像を得ることができる。したがって、対数変換型撮像素子 102を用いた撮像部 9 1を用いて撮像された広ダイナミクスレンジの画像を、画像生成部 93— 1を有する画 像処理装置 81を用いて処理した場合、従来の CCDを用いて異なるシャツタ時間で 撮像された画像を合成することなどにより広ダイナミクスレンジの画像を得るようになさ れている場合と比較して、特に、動画像のフレームレートを容易に高くすることができ る。
[0141] また、対数変換型撮像素子 102を用いた撮像部 91を用いて撮像された広ダイナミ タスレンジの画像を、画像生成部 93— 1を有する画像処理装置 81を用いて処理する ことにより、例えば、図 13に示されるように、夜の街中を走行する車の前面の画像を 撮像して、撮像された画像がディスプレイに表示されるようになされて!ヽる場合にお いても、他の車のヘッドライトやテールランプ、または、街灯など、画面上の多くの部 分の輝度値とは離散した輝度値を有する画素を含む画像も、白とびや黒つぶれを起 こすことなく、更に、ユーザが必要としている画像情報力 ヘッドライトやテールランプ 、または、街灯などの高輝度の画素のために認識しに《なることなぐ充分な階調を 割り当てられて表示されるようになされる。
[0142] 以上説明した画像生成部 93— 1は、主要領域の輝度範囲と、主要領域の輝度範 囲より高輝度の範囲のうちの主な部分である第 2の輝度領域の輝度範囲に対して、 多くの階調ステップ数が割り当てられるものとして説明した。これに対して、設定され る輝度範囲が、主要領域の輝度範囲と第 2の輝度領域の輝度範囲の 2つではない場 合について説明する。
[0143] 次に、図 14は、図 2の画像生成部 93の構成の第 2の例である画像生成部 93— 2の 構成を示すブロック図である。画像生成部 93— 2は、主要領域の輝度範囲以外に、 主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第 2の輝度領域の輝 度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第 3の輝 度領域の輝度範囲との 3つの輝度領域を設定し、設定された 3つの輝度領域に対し て、多くの階調ステップ数を割り当てることができるようになされて!、る。
[0144] なお、図 5における場合と対応する部分には同一の符号を付してあり、その説明は 適宜省略する。
[0145] すなわち、図 14の画像生成部 93— 2は、図 5を用いて説明した画像生成部 93— 1 と基本的に同様の平均輝度算出部 131、および、主要領域輝度範囲設定部 132を 有し、画像生成部 93— 1の第 2の輝度領域輝度平均値算出部 133および第 2の輝 度領域輝度範囲設定部 134が省略され、高輝度領域輝度平均値算出部 161、高輝 度領域輝度範囲設定部 162、低輝度領域輝度平均値算出部 163、および、低輝度 領域輝度範囲設定部 164が新たに設けられ、出力レベル変換処理部 135に代わつ て、出力レベル変換処理部 165が設けられている。
[0146] 高輝度領域輝度平均値算出部 161は、撮像部 91から供給された画像信号を取得 し、取得された画像信号のうち、主要領域輝度範囲設定部 132により設定された主 要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、高 輝度領域輝度範囲設定部 162に供給する。
[0147] 高輝度領域輝度範囲設定部 162は、高輝度領域輝度平均値算出部 161から供給 された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、主要領域 より高輝度である第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の 輝度範囲を出力レベル変換処理部 165に供給する。
[0148] 高輝度領域輝度範囲設定部 162は、例えば、主要領域の輝度範囲より高輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画 素を選択して第 2の輝度領域の輝度範囲としても良い。
[0149] 低輝度領域輝度平均値算出部 163は、撮像部 91から供給された画像信号を取得 し、取得された画像信号のうち、主要領域輝度範囲設定部 132により設定された主 要領域の輝度範囲より低輝度の範囲の画素の平均輝度を算出し、算出結果を、低 輝度領域輝度範囲設定部 164に供給する。
[0150] 低輝度領域輝度範囲設定部 164は、低輝度領域輝度平均値算出部 163から供給 された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を基に、主要領域 より低輝度である第 3の輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の 輝度範囲を出力レベル変換処理部 165に供給する。
[0151] 低輝度領域輝度範囲設定部 164は、例えば、主要領域の輝度範囲より低輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 3の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画 素を選択して第 3の域輝度範囲としても良い。
[0152] 出力レベル変換処理部 165は、撮像部 91から供給された画像信号を取得して、主 要領域輝度範囲設定部 132、高輝度領域輝度範囲設定部 162、および、低輝度領 域輝度範囲設定部 164から供給された、主要領域の輝度範囲、第 2の輝度領域の 輝度範囲、および、第 3の輝度領域の輝度範囲の情報を基に、取得した画像信号の 出力レベルを変換する。
[0153] 具体的には、出力レベル変換処理部 165は、例えば、図 15Aに示されるように、入 カレベルに対して出力レベルを変換することができる。すなわち、第 3の輝度領域より 輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは 0 (すな わち、真っ黒)とされる。そして、第 3の輝度領域内、主要領域内、および、第 2の輝度 領域内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられ る。また、第 3の輝度領域と主要領域の間の輝度範囲、および、主要領域と第 2の輝 度領域の間の輝度範囲の画素は、入力レベルにかかわらず、その範囲の直前に割り 当てられた出力レベルで出力される。そして、第 2の輝度領域よりも高輝度の画素に 対しては、第 2の輝度領域の輝度範囲に割り当てられた出力レベルの最大値となる 出力レベルが割り当てられる。
[0154] また、出力レベル変換処理部 165は、例えば、図 15Bに示されるように、入カレべ ルに対して出力レベルを変換することができる。すなわち、第 3の輝度領域より輝度 の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは 0 (すなわち、 真っ黒)とされる。そして、第 3の輝度領域内、主要領域内、および、第 2の輝度領域 内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。ま た、第 3の輝度領域と主要領域の間の輝度範囲、および、主要領域と第 2の輝度領 域の間の輝度範囲の画素は、主要領域などに割り当てられたステップ数よりも少な!/ヽ ステップ数で、入力レベルに応じた出力レベルが割り当てられる。そして、第 2の輝度 領域よりも高輝度の画素に対しては、第 2の輝度領域に割り当てられた出力レベルの 最大値となる出力レベルが割り当てられる。
[0155] また、出力レベル変換処理部 165は、例えば、図 15Cに示されるように、入カレべ ルに対して出力レベルを変換することができる。すなわち、出力レベル変換処理部 1 65は、例えば、第 3の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区 間 O、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間 β、主要領域 の輝度の上限値を中心とする所定の輝度範囲を区間 γ、第 2の輝度領域の輝度の 下限値を中心とする所定の輝度範囲を区間 δとする。そして、第 3の輝度領域より輝 度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは 0 (すなわ ち、真っ黒)とされる。第 3の輝度領域内であり、区間 oc以外の画素、主要領域輝度 の範囲内であり、区間 βまたは区間 γ以外の画素、および、第 2の輝度領域の範囲 内であり、区間 δ以外の画素には、入力レベルに応じて、所定の階調の出力レベル が割り当てられる。また、区間 α、区間 /3、区間 γ、および、区間 δの画素には、主 要領域輝度範囲などであって、区間 α乃至区間 δ以外の部分に割り当てられたステ ップ数よりも少ないステップ数の所定の階調の出力レベルが割り当てられる。そして、 第 2の輝度領域よりも高輝度の画素に対しては、第 2の輝度領域に割り当てられた出 カレベルの最大値となる出力レベルが割り当てられる。
[0156] なお、図 15Cにおいては、第 3の輝度領域の輝度の上限値を中心とする所定の輝 度範囲を区間 O、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間 β 、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間 γ、第 2の輝度領域 の輝度の下限値を中心とする所定の輝度範囲を区間 δとしたが、例えば、第 3の輝 度領域内の上限側の所定の輝度範囲を区間 OC、主要領域内の下限側の所定の輝 度範囲を区間 β、主要領域内の上限側の所定の輝度範囲を区間 γ、第 2の輝度領 域内の下限側の所定の輝度範囲を区間 δとしたり、第 3の輝度領域の上限よりも高 輝度の所定の輝度範囲を区間 OC、主要領域の下限よりも低輝度の所定の輝度範囲 を区間 β、主要領域の上限よりも高輝度の所定の輝度範囲を区間 γ、第 2の輝度領 域の下限よりも低輝度の所定の輝度範囲を区間 δとするようにしても良い。更に、第 3の輝度領域の輝度の下限側、および、第 2の輝度領域の輝度の上限側に、区間ひ 乃至区間 δと同様の出力レベルのステップ数が割り当てられるような領域を設定する ようにしても良い。
[0157] また、図 15においては、第 3の輝度領域よりも低輝度、および、第 2の輝度領域より も高輝度の範囲にぉ 、て、出力レベルのステップ数（階調のステップ数)を割り当て ない場合について説明した。これに対して、出力レベル変換処理部 165は、例えば、 図 7を用いて説明した場合と同様に、第 3の輝度領域よりも低輝度、および、第 2の輝 度領域よりも高輝度の範囲においても、主要領域、第 2の輝度領域、および、第 3の 輝度領域よりも少な 、ステップ数を割り当てるようにしてもょ 、。
[0158] 更に、出力レベル変換処理部 165は、例えば、主要領域、第 2の輝度領域、および 、第 3の輝度領域における入力レベルに対する出力レベルの比率 (直線の傾き）より も、これらの領域以外の輝度範囲における入力レベルに対する出力レベルの比率が 低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定する ようにしてもよい。
[0159] 次に、図 16を用いて、入力信号、出力レベル変換処理部 165による階調変換後の 信号、および、表示される信号の輝度レベルについて説明する。
[0160] 図 16Aは、図 15Aを用いて説明した階調変換が行われた場合の入力信号、出力 レベル変換処理部 165による階調変換後の信号、および、表示または印刷などのた めに出力される信号の輝度レベルを示す図である。図 16Aに示される場合、離散し た輝度範囲である主要領域、第 2の輝度領域、および第 3の輝度領域の信号の輝度 階調幅が充分与えられている状態で、連続した輝度階調に変換される。第 3の輝度 領域と主要領域の間の輝度範囲の画素は、全て、第 3の輝度領域の最大出カレべ ルで出力され、主要領域と第 2の輝度領域の間の輝度範囲の画素は、全て、主要領 域の最大出力レベルで出力される。そして、変換後の信号が、表示または印刷出力 の条件に応じて、階調変換 (階調数が圧縮)されるようになされて 、る。
[0161] 図 16Bは、図 15Bを用いて説明した階調変換が行われた場合の入力信号、出カレ ベル変換処理部 165による階調変換後の信号、および、表示または印刷などのため に出力される信号の輝度レベルを示す図である。図 16Bに示される場合、第 3の輝 度領域と主要領域の間、および、主要領域と第 2の輝度領域の間の領域には、主要 領域、第 2の輝度領域、および第 3の輝度領域よりも少ないステップ数の階調しか与 えられていない。そのため、変換後の信号は、第 3の輝度領域と主要領域の間、およ び、主要領域と第 2の輝度領域の間の領域のステップ数が少ない分、入力信号よりも 輝度の階調数が大幅に圧縮されるにもかかわらず、主要領域、第 2の輝度領域、お よび第 3の輝度領域の信号の輝度階調幅は充分に与えられている。そして、変換後 の信号が、表示または印刷出力の条件に応じて、階調変換 (階調数が圧縮)されるよ うになされている。
[0162] 図 16Cは、図 15Cを用いて説明した階調変換が行われた場合の入力信号、出カレ ベル変換処理部 165による階調変換後の信号、および、表示または印刷などのため に出力される信号の輝度レベルを示す図である。図 16Cに示される場合、主要領域 、第 2の輝度領域、および第 3の輝度領域と、それらの間の領域で、割り当てられる輝 度の階調ステップ数を、上述した区間 α乃至区間 δによってなだらかに変化させるよ うに、すなわち、区間 α乃至区間 δにおいては、主要領域、第 2の輝度領域、および 第 3の輝度領域の区間 a乃至区間 δ以外の部分よりも少ないステップ数の階調が与 えられるようになされている。そのため、変換後の信号においては、主要領域、第 2の 輝度領域、および第 3の輝度領域に充分な輝度階調幅が与えられている状態で、入 力信号よりも輝度の階調数が大幅に圧縮される。そして、変換後の信号が、表示また は印刷出力の条件に応じて、階調変換 (階調数が圧縮)されるようになされている。
[0163] 次に、図 17のフローチャートを参照して、図 14の画像生成部 93— 2を含む画像処 理装置 81にお 、て実行される画像表示処理 2につ 、て説明する。
[0164] ステップ S31において、撮像部 91は、操作入力部 92から供給されたユーザの操作 入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、画 像生成部 93— 2に供給する。画像生成部 93— 2は、撮像された画像信号を取得す る。
[0165] ステップ S32において、画像生成部 93— 2の平均輝度算出部 131は、撮像された 画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部 132に供給す る。
[0166] ステップ S33において、主要領域輝度範囲設定部 132は、平均輝度算出部 131か ら供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した 主要領域の輝度範囲を、出力レベル変換処理部 165、高輝度領域輝度平均値算出 部 161、および、低輝度領域輝度平均値算出部 163に供給する。
[0167] 主要領域輝度範囲設定部 132は、例えば、画像信号の平均輝度を中心とした所定 の輝度の範囲を主要領域の輝度範囲としても良 、し、画像信号の平均輝度である画 素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素 を選択して主要領域の輝度範囲としても良い。
[0168] ステップ S34において、高輝度領域輝度平均値算出部 161は、撮像部 91から供給 された画像信号のうち、主要領域輝度範囲設定部 132により設定された主要領域の 輝度範囲よりも明るい領域の平均輝度を求め、その結果を、高輝度領域輝度範囲設 定部 162に供給する。
[0169] ステップ S35において、高輝度領域輝度範囲設定部 162は、高輝度領域輝度平均 値算出部 161から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基 に、第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範囲を出 力レベル変換処理部 165に供給する。
[0170] 高輝度領域輝度範囲設定部 162は、例えば、主要領域の輝度範囲より高輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画 素を選択して第 2の輝度領域の輝度範囲としても良い。
[0171] ステップ S36において、低輝度領域輝度平均値算出部 163は、撮像部 91から供給 された画像信号のうち、主要領域輝度範囲設定部 132により設定された主要領域の 輝度範囲よりも暗い領域の平均輝度を求め、その結果を、低輝度領域輝度範囲設定 部 164に供給する。
[0172] ステップ S37にお ヽて、低輝度領域輝度範囲設定部 164は、低輝度領域輝度平均 値算出部 163から供給された主要領域の輝度範囲よりも暗い領域の平均輝度を基 に、第 3の輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の輝度範囲を出 力レベル変換処理部 165に供給する。
[0173] 低輝度領域輝度範囲設定部 164は、例えば、主要領域の輝度範囲より低輝度の 範囲の画素の平均輝度を中心とした所定の輝度の範囲を第 3の輝度領域の輝度範 囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である 画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画 素を選択して第 3の域輝度範囲としても良い。
[0174] ステップ S38において、出力レベル変換処理部 165は、主要領域輝度範囲設定部 132により設定された主要領域の輝度範囲、高輝度領域輝度範囲設定部 162により 設定された第 2の輝度領域の輝度範囲、および、低輝度領域輝度範囲設定部 164 により設定された第 3の輝度領域の輝度範囲を基に、例えば、図 15を用いて説明し たような入力レベルと出力レベルの変換特性を決定する。
[0175] ステップ S39において、出力レベル変換処理部 165は、撮像部 91から供給された 撮像された画像の階調を、ステップ S39にお ヽて決定された変換特性に基づ!/ヽて変 換し、表示制御部 94に供給する。
[0176] ステップ S40において、表示制御部 94は、供給された画像信号を、図 16を用いて 説明したように、表示素子に適合した階調に変換する。
[0177] ステップ S41において、表示制御部 94は、表示素子に適した階調に変換された画 像信号をディスプレイ 82に供給し、画像の表示を制御して、処理が終了される。
[0178] なお、ここでは、生成された画像をディスプレイ 82に表示させる処理について説明 したが、生成された画像を出力制御部 95を介して図示しない外部の機器に出力させ る場合には、ステップ S31乃至ステップ S39において基本的に同様の処理が実行さ れ、画像信号が出力制御部 95に供給されて、出力先の機器において処理可能な階 調に変換されて出力が制御される。
[0179] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データにおいて、広い輝度範囲に、特に、主な輝度範囲力も離散した高輝度 と低輝度の領域のいずれにも、ユーザが必要とする画像情報が存在するような場合 であっても、このような画像をディスプレイ 82に対応した階調で表示させたり、または 、出力先の外部機器に対応した階調で出力させたときに、ユーザ力 識別可能な状 態に表示または印刷出力させることができるような画像データを生成することができる
[0180] 図 14の画像生成部 93— 2を含む画像処理装置 81により表示される画像は、具体 的には、例えば、図 18に示されるように、撮像される画像のほとんどの部分が路面で あり、その路面の輝度より非常に高輝度である空の部分が画角に含まれており、更に 、路面の輝度より非常に低輝度である黒!ヽスーツを着た人が画角に含まれて ヽる場 合であっても、路面、空、黒いスーツを着た人のそれぞれに対応する輝度付近に、多 くの階調ステップ数が割り当てられるようになされている。したがって、図 14の画像生 成部 93— 2を含む画像処理装置 81を用いることにより、空の部分が白飛びして認識 しにくい画像が表示されたり、撮像されているにもかかわらず、黒いスーツを着た人が ユーザ力 判別できないように黒くつぶれて表示されてしまうようなことを防ぐことが可 能となる。
[0181] 更に、同様にして、図 14の画像生成部 93— 2を含む画像処理装置 81により表示さ れる画像は、具体的には、例えば、図 19に示されるように、撮像される画像のほとん どの部分がトンネル内の暗い路面であり、その路面の輝度よりやや高輝度であるトン ネル内の白い壁や、非常に高輝度であるトンネル外の部分が画角に含まれており、 更に、トンネル内の路面の輝度より非常に低輝度である、トンネル内の黒い車が画角 に含まれている場合であっても、トンネル内の路面、トンネルの壁やトンネルの外、そ して、トンネル内の黒い車のそれぞれに対応する輝度付近に、多くの階調ステップ数 が割り当てられるようになされて!、る。図 14の画像生成部 93— 2を含む画像処理装 置 81を用いることにより、トンネルの外の部分が白飛びして認識しにくい画像が表示 されたり、撮像されているにもかかわらず、トンネル内の黒い車がユーザから判別でき ないように黒くつぶれて表示されてしまうようなことを防ぐことが可能となる。
[0182] 更に、画像生成部 93においては、 3つ以上の領域を設定して、設定された領域と 設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができ るようにしても良い。
[0183] 次に、図 20は、図 2の画像生成部 93の構成の第 3の例である画像生成部 93— 3の 構成を示すブロック図である。画像生成部 93— 3は、主要領域の輝度範囲以外に、 複数の輝度領域とそれらの輝度範囲を設定し、設定された複数の輝度範囲に対して 、設定されていない輝度範囲よりも多くの階調ステップ数を割り当てることができるよう になされている。
[0184] なお、図 5における場合と対応する部分には同一の符号を付してあり、その説明は 適宜省略する。
[0185] すなわち、図 20の画像生成部 93— 3は、図 5を用いて説明した画像生成部 93— 1 と基本的に同様の平均輝度算出部 131、および、主要領域輝度範囲設定部 132を 有し、画像生成部 93— 1の第 2の輝度領域輝度平均値算出部 133および第 2の輝 度領域輝度範囲設定部 134が省略され、第 2の輝度領域輝度平均値算出部 181、 第 2の輝度領域輝度範囲設定部 182、第 3の輝度領域輝度平均値算出部 183、第 3 の輝度領域輝度範囲設定部 184、第 4の輝度領域輝度平均値算出部 185、および 、第 4の輝度領域輝度範囲設定部 186が新たに設けられ、出力レベル変換処理部 1 35に代わって、出力レベル変換処理部 187が設けられている。
[0186] 第 2の輝度領域輝度平均値算出部 181は、撮像部 91から供給された画像信号のう ち、主要領域輝度範囲設定部 132により設定された主要領域の輝度範囲以外の所 定の範囲 (例えば、主要領域の輝度範囲より高輝度の範囲を更に 2分割し、その最も 高輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算出結果を 、第 2の輝度領域輝度範囲設定部 182に供給する。
[0187] 第 2の輝度領域輝度範囲設定部 182は、第 2の輝度領域輝度平均値算出部 181 力 供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝 度を基に、第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範 囲を出力レベル変換処理部 187に供給する。
[0188] 第 2の輝度領域輝度範囲設定部 182は、例えば、所定の範囲の輝度を有する画素 の平均輝度を中心とした所定の輝度の範囲を第 2の輝度領域の輝度範囲としても良 いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝 度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第 2の輝度 領域の輝度範囲としても良い。
[0189] 第 3の輝度領域輝度平均値算出部 183は、撮像部 91から供給された画像信号のう ち、主要領域輝度範囲設定部 132により設定された主要領域の輝度範囲以外の所 定の範囲 (例えば、主要領域の輝度範囲より高輝度の範囲を更に 2分割し、 2分割さ れたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、 算出結果を、第 3の輝度領域輝度範囲設定部 184に供給する。
[0190] 第 3の輝度領域輝度範囲設定部 184は、第 3の輝度領域輝度平均値算出部 183 力 供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝 度を基に、第 3の輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の輝度範 囲を出力レベル変換処理部 187に供給する。
[0191] 第 3の輝度領域輝度範囲設定部 184は、例えば、所定の範囲の輝度を有する画素 の平均輝度を中心とした所定の輝度の範囲を第 3の輝度領域の輝度範囲としても良 いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝 度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第 3の域輝 度範囲としても良い。
[0192] 第 4の輝度領域輝度平均値算出部 185は、撮像部 91から供給された画像信号のう ち、主要領域輝度範囲設定部 132により設定された主要領域の輝度範囲以外の所 定の範囲 (例えば、主要領域の輝度範囲より低輝度の範囲を更に 2分割し、 2分割さ れたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、 算出結果を、第 4の輝度領域輝度範囲設定部 186に供給する。
[0193] 第 4の輝度領域輝度範囲設定部 186は、第 4の輝度領域輝度平均値算出部 185 力 供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝 度を基に、第 4の輝度領域の輝度範囲を設定し、設定した第 4の輝度領域の輝度範 囲を出力レベル変換処理部 187に供給する。
[0194] 第 4の輝度領域輝度範囲設定部 186は、例えば、所定の範囲の輝度を有する画素 の平均輝度を中心とした所定の輝度の範囲を第 4の輝度領域の輝度範囲としても良 いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝 度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第 4の域輝 度範囲としても良い。
[0195] 出力レベル変換処理部 187は、撮像部 91から供給された画像信号を取得して、主 要領域輝度範囲設定部 132、第 2の輝度領域輝度範囲設定部 182、第 3の輝度領 域輝度範囲設定部 184、および、第 4の輝度領域輝度範囲設定部 186から供給され た、主要領域の輝度範囲、第 2の輝度領域の輝度範囲、第 3の輝度領域の輝度範囲 および、第 4の輝度領域の輝度範囲の情報を基に、取得した画像信号の出力レベル を変換する。
[0196] 出力レベル変換処理部 187は、入力される輝度信号のレベルに対して、所定のス テツプ数の出力レベル信号 (輝度を所定の階調ステップ数で分割した場合のそれぞ れの輝度階調レベルの信号)を割り当てて、割り当てられた出力レベルの信号を出 力するようになされている。出力レベル変換処理部 187は、出力レベル信号の輝度 階調レベルの割り当てを、例えば、図 6、図 7、または、図 15を用いて説明した場合と 同様に、主要領域および他の領域として設定されている輝度範囲と、それ以外の範 囲とで、異なるものとする。すなわち、出力レベル変換処理部 187は、主要領域およ び他の領域として設定されている輝度範囲により多くの出力レベルのステップ数を割 り当てて、対応する輝度範囲の画素の階調数が多くなり、表示または印刷出力される 画像の対応する輝度範囲の部分がユーザによってよりょく認識できるような変換処理 を実行する。
[0197] なお、図 20には、主要領域以外に、第 2乃至第 4の輝度領域を設定するための、 第 2の輝度領域輝度平均値算出部 181、第 2の輝度領域輝度範囲設定部 182、第 3 の輝度領域輝度平均値算出部 183、第 3の輝度領域輝度範囲設定部 184、第 4の 輝度領域輝度平均値算出部 185、および、第 4の輝度領域輝度範囲設定部 186が 図示されているが、画像生成部 93— 3には、更に、多くの輝度領域を設定することが できるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を 設けるようにしても良い。
[0198] また、図 20の画像生成部 93— 3が実行する処理は、図 17を用いて説明した画像 表示処理 2の処理と基本的には同様であり、設定される領域数を増やした場合に対 応するので、その説明は省略する。
[0199] 以上説明した画像生成部 93— 1乃至画像生成部 93— 3は、撮像された画像の全 体の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、 撮像された画像のうち、予め定められた領域に含まれる画素の輝度の平均値を基に 、主要領域を設定するようにしても良い。
[0200] 図 21は、図 2の画像生成部 93の構成の第 4の例である画像生成部 93— 4の構成 を示すブロック図である。画像生成部 93— 4は、撮像された画像のうち、予め定めら れた領域に含まれる画素を切り出し、切り出された領域の輝度の平均値を基に、主 要領域を設定するようになされて ヽる。
[0201] なお、図 5における場合と対応する部分には同一の符号を付してあり、その説明は 適宜省略する。
[0202] すなわち、図 21の画像生成部 93— 4は、平均輝度算出部 131に代わって、主要領 域切り出し部 201および主要領域輝度平均値算出部 202が設けられている以外は、 基本的に、図 5の画像生成部 93— 1と同様の構成を有している。
[0203] 主要領域切り出し部 201は、撮像部 91から供給された画像信号を取得し、取得さ れた画像信号のうち、予め設定されている画像領域を切り出し、切り出した領域の画 素を主要領域輝度平均値算出部 202に供給する。
[0204] 例えば、走行して ヽる車の前面の画像を撮像して、撮像された画像をディスプレイ に表示されるようになされて ヽる場合、走行中に撮像されて表示される画像は常に変 化する。上述したように、走行している車において撮像された画像全体の平均値を用
V、て主要領域を設定した場合、画角内に極端に明る!/、ものや極端に喑 、ものが入つ たときに、主要領域の輝度範囲が変更され、表示される画像全体の明るさが変更さ れてしまう。これにより、表示画面の主な部分を占める路面などの明るさが頻繁に変 更され、運転者が感じる表示画像の明るさがちらついてしまう可能性がある。
[0205] そこで、主要領域切り出し部 201により切り出される画像の領域を、図 22に示される ように、定常的に路面が撮像されると思われる、例えば、画面中央やや左よりの下部 の領域 221とする。切り出される領域を、定常的に同じものが撮像されると思われる 領域とすることにより、表示される画像のうちの主な部分を占める路面の表示の明るさ を、略一定にすることができるので、運転者が感じる表示画像の明るさが頻繁にちら つくことを防止することができる。
[0206] 主要領域輝度平均値算出部 202は、主要領域切り出し部 201から供給された、切 り出された領域の画素の平均輝度を算出し、平均輝度の算出結果を、主要領域輝度 範囲設定部 132に供給する。
[0207] そして、図 21の画像生成部 93— 4においては、主要領域輝度平均値算出部 202 により算出された、切り出された領域の平均輝度を基に、主要領域の輝度範囲が設 定され、主要領域の輝度範囲を基に、主要領域の輝度範囲より高輝度の範囲の第 2 の輝度領域の輝度範囲が設定される。そして、出力レベル変換処理部 135により、 主要領域および第 2の輝度領域として設定されている輝度範囲により多くの出カレべ ルのステップが割り当てられ、図 6乃至図 8を用いて説明した場合と同様に、対応す る輝度範囲の画素の階調数が多くなり、表示または印刷出力される画像の対応する 輝度範囲の部分がユーザによってよりょく認識できるような変換処理が実行される。
[0208] 次に、図 23のフローチャートを参照して、図 21の画像生成部 93— 4が用いられて
V、る画像処理装置 81にお 、て実行される画像表示処理 3につ 、て説明する。
[0209] ステップ S71において、撮像部 91は、操作入力部 92から供給されたユーザの操作 入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、画 像生成部 93— 4に供給する。画像生成部 93— 4は、撮像された画像信号を取得す る。
[0210] ステップ S72において、画像生成部 93— 4の主要領域切り出し部 201は、撮像部 9 1から供給された画像信号のうち、例えば、図 22を用いて説明したような、予め設定 されて ヽる画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出 部 202に供給する。
[0211] ステップ S73において、主要領域輝度平均値算出部 202は、主要領域切り出し部 201から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要 領域輝度範囲設定部 132に供給する。
[0212] ステップ S74において、主要領域輝度範囲設定部 132は、主要領域輝度平均値算 出部 202から供給された、切り出された領域の画素の平均輝度を基に、主要領域の 輝度範囲を設定し、設定した主要領域の輝度範囲を、第 2の輝度領域輝度平均値 算出部 133および出力レベル変換処理部 135に供給する。
[0213] そして、ステップ S75乃至ステップ S80において、図 9のステップ S2乃至ステップ S 9と基本的に同等の処理が実行される。
[0214] すなわち、第 2の輝度領域輝度平均値算出部 133は、撮像部 91から供給された画 像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、第 2の輝 度領域輝度範囲設定部 134は、主要領域の輝度範囲よりも明るい領域の平均輝度 を基に、第 2の輝度領域の輝度範囲を設定する。
[0215] そして、出力レベル変換処理部 135は、主要領域輝度範囲、および、第 2の輝度領 域の輝度範囲を基に、例えば、図 6または図 7を用いて説明したような入力レベルと 出力レベルの変換特性を決定し、撮像部 91から供給された撮像画像の階調を、変 換特性に基づいて変換し、表示制御部 94に供給する。表示制御部 94は、供給され た画像信号を、図 8を用いて説明したように、表示素子に適合した階調に変換し、変 換された画像信号をディスプレイ 82に供給し、画像の表示を制御して、処理が終了 される。
[0216] なお、ここでは、生成された画像をディスプレイ 82に表示させる処理について説明 したが、生成された画像を出力制御部 95を介して図示しない外部の機器に出力させ る場合には、ステップ S71乃至ステップ S78において基本的に同様の処理が実行さ れ、画像信号が出力制御部 95に供給されて、出力先の機器において処理可能な階 調に変換されて出力が制御される。
[0217] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データをディスプレイ 82に対応した階調で表示させたい場合、または、出力 先の外部機器に対応した階調で出力させたい場合であっても、広い輝度範囲に散ら ばって存在するユーザが必要とする画像情報を、ユーザから識別可能な状態に表示 または印刷出力させることができるような画像データを生成することができる。更に、 所定の領域を基準として、多くの階調が割り当てられる輝度範囲が設定されるので、 特に、動画像を表示させる場合に表示画像の明るさが頻繁にちらつくことを防止する ことができる。
[0218] 以上説明した画像生成部 93— 4は、撮像された画像内の所定の領域を切り出して 、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範 囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第 2の輝度領 域の輝度範囲に対して、多くの階調ステップ数が割り当てられるものとして説明した。 これに対して、設定される輝度範囲が、主要領域の輝度範囲と第 2の輝度領域の輝 度範囲の 2つではな 、場合にっ 、て説明する。
[0219] 次に、図 24は、図 2の画像生成部 93の構成の第 5の例である画像生成部 93— 5の 構成を示すブロック図である。画像生成部 93— 5は、撮像された画像内の所定の領 域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主 要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部 分である第 2の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のう ちの主な部分である第 3の輝度領域の輝度範囲との 3つの輝度領域を設定し、設定 された 3つの輝度領域に対して、多くの階調ステップ数を割り当てることができるよう になされている。
[0220] なお、図 14または図 21における場合と対応する部分には同一の符号を付してあり
、その説明は適宜省略する。
[0221] すなわち、図 24の画像生成部 93— 5は、図 21を用いて説明した場合と同様の主 要領域切り出し部 201および主要領域輝度平均値算出部 202を備えるとともに、図 1 4を用いて説明した場合と同様の、主要領域輝度範囲設定部 132、高輝度領域輝度 平均値算出部 161、高輝度領域輝度範囲設定部 162、低輝度領域輝度平均値算 出部 163、低輝度領域輝度範囲設定部 164、および、出力レベル変換処理部 165 が設けられている。
[0222] 図 24の画像生成部 93— 5は、図 21を用いて説明した画像生成部 93— 4と同様に して、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に 主要領域の輝度範囲を設定するものであり、かつ、図 14を用いて説明した画像生成 部 93— 2と同様にして、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝 度の範囲のうちの主な部分である第 2の輝度領域の輝度範囲と、主要領域の輝度範 囲より低輝度の範囲のうちの主な部分である第 3の輝度領域の輝度範囲との 3つの 輝度領域を設定し、設定された 3つの輝度領域に対して、多くの階調ステップ数を割 り当てることができるようになされて!、る。
[0223] 具体的には、画像全体の明るさより極端に暗いものが撮像される画像内にある場合 、例えば、夜、黒い服を着た歩行者が画角に含まれていた場合など、ユーザから肉 眼で確認しにくい被写体をはっきりと表示させることが望まれる。特に、上述したように 、走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示さ れるようになされて ヽる場合、広ダイナミックレンジで撮像された撮像画像信号から、 夜に黒い服を着た歩行者を運転者がはっきりと認識することができるような表示画像 を生成することが望まれる。そのため、切り出される領域を、周辺の明るさにより反射 光量が変更され、かつ定常的に同じものが撮像されると思われる領域とすることによ り、画面のちらつきを防止しつつ、運転者にとって必要な情報を運転者から認識しや す 、状態で表示させるようにすることが可能となる。
[0224] 図 25のフローチャートを参照して、図 24の画像生成部 93— 5を含む画像処理装置 81にお ヽて実行される画像表示処理 4につ 、て説明する。
[0225] ステップ S101乃至ステップ S103において、図 23のステップ S71乃至ステップ S73 と基本的に同様の処理が実行される。
[0226] すなわち、撮像部 91は、操作入力部 92から供給されたユーザの操作入力を基に 被写体を撮像し、対数変換され、 A,D変換された撮像画像信号を、画像生成部 93 5に供給する。画像生成部 93— 5は、撮像された画像信号を取得する。画像生成 部 93— 5の主要領域切り出し部 201は、撮像部 91から供給された画像信号のうち、 例えば、図 22を用いて説明したような、予め設定されている画像領域を切り出し、切 り出した領域の画素を主要領域輝度平均値算出部 202に供給する。主要領域輝度 平均値算出部 202は、主要領域切り出し部 201から供給された切り出された領域の 画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部 132に供給する。
[0227] ステップ S104において、主要領域輝度範囲設定部 132は、主要領域輝度平均値 算出部 202から供給された、切り出された領域の画素の平均輝度を基に、主要領域 の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部 16 5、高輝度領域輝度平均値算出部 161および、低輝度領域輝度平均値算出部 163 に供給する。
[0228] そして、ステップ S105乃至ステップ S112において、図 17のステップ S 34乃至ステ ップ S41と基本的に同等の処理が実行される。
[0229] すなわち、高輝度領域輝度平均値算出部 161は、撮像部 91から供給された画像 信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、高輝度領域 輝度範囲設定部 162は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、 第 2の輝度領域の輝度範囲を設定し、設定した第 2の輝度領域の輝度範囲を出カレ ベル変換処理部 165に供給する。
[0230] そして、低輝度領域輝度平均値算出部 163は、撮像部 91から供給された画像信 号のうち、主要領域の輝度範囲よりも暗い領域の平均輝度を求め、低輝度領域輝度 範囲設定部 164は、主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第 3の 輝度領域の輝度範囲を設定し、設定した第 3の輝度領域の輝度範囲を出力レベル 変換処理部 165に供給する。
[0231] そして、出力レベル変換処理部 165は、設定された主要領域の輝度範囲、第 2の 輝度領域の輝度範囲、および、第 3の輝度領域の輝度範囲を基に、例えば、図 15を 用いて説明したような入力レベルと出力レベルの変換特性を決定し、撮像部 91から 供給された撮像された画像の階調を、決定された変換特性に基づいて変換し、表示 制御部 94に供給する。表示制御部 94は、供給された画像信号を、図 16を用いて説 明したように、表示素子に適合した階調に変換し、表示素子に適した階調に変換さ れた画像信号をディスプレイ 82に供給し、画像の表示を制御して、処理が終了され る。
[0232] なお、ここでも、生成された画像をディスプレイ 82に表示させる処理について説明し たが、生成された画像を出力制御部 95を介して図示しない外部の機器に出力させる 場合には、ステップ S 101乃至ステップ S 110にお ヽて基本的に同様の処理が実行さ れ、画像信号が出力制御部 95に供給されて、出力先の機器において処理可能な階 調に変換されて出力が制御される。
[0233] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データにおいて、広い輝度範囲に、特に、主な輝度範囲力も離散した高輝度 と低輝度の領域の!/、ずれも、ユーザが必要とする画像情報が存在するような場合で あっても、このような画像をディスプレイ 82に対応した階調で表示させたり、または、 出力先の外部機器に対応した階調で出力させたときに、ユーザ力も識別可能な状態 に表示または印刷出力させることができるような画像データを生成することができる。 更に、所定の領域を基準として、多くの階調が割り当てられる 3つの輝度領域が設定 されるので、特に、動画像が表示される場合に表示画像の明るさが頻繁にちらつくこ とを防止することがでさる。
[0234] 更に、画像生成部 93においては、撮像された画像内の所定の領域を切り出して、 切り出された領域の画素を基に、 3つ以上の領域を設定するようにしても良い。そして 、画像生成部 93は、設定された領域と設定されていない領域に割り当てられる階調 ステップ数を異なるものとすることができる。
[0235] 次に、図 26は、図 2の画像生成部 93の構成の第 6の例である画像生成部 93— 6の 構成を示すブロック図である。画像生成部 93— 6は、撮像された画像内の所定の領 域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主 要領域の輝度範囲以外に、複数の輝度領域の対応する輝度範囲を設定し、設定さ れた複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てる ことができるようになされて!、る。
[0236] なお、図 20または図 21における場合と対応する部分には同一の符号を付してあり 、その説明は適宜省略する。
[0237] すなわち、図 26の画像生成部 93— 6は、図 21を用いて説明した場合と同様の主 要領域切り出し部 201および主要領域輝度平均値算出部 202が設けられているとと もに、図 20を用いて説明した場合と同様の、主要領域輝度範囲設定部 132、第 2の 輝度領域輝度平均値算出部 181、第 2の輝度領域輝度範囲設定部 182、第 3の輝 度領域輝度平均値算出部 183、第 3の輝度領域輝度範囲設定部 184、第 4の輝度 領域輝度平均値算出部 185、第 4の輝度領域輝度範囲設定部 186、および、出カレ ベル変換処理部 187が設けられて 、る。
[0238] 図 26の画像生成部 93— 6は、図 21を用いて説明した画像生成部 93— 4と同様に して、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に 主要領域の輝度範囲を設定するものであり、かつ、図 20を用いて説明した画像生成 部 93— 3と同様にして、主要領域の輝度範囲以外に、複数の輝度領域のそれぞれ の輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの 階調ステップ数を割り当てることができるようになされて!ヽる。
[0239] なお、図 26には、主要領域以外に、第 2乃至第 4の輝度領域を設定するための、 第 2の輝度領域輝度平均値算出部 181、第 2の輝度領域輝度範囲設定部 182、第 3 の輝度領域輝度平均値算出部 183、第 3の輝度領域輝度範囲設定部 184、第 4の 輝度領域輝度平均値算出部 185、および、第 4の輝度領域輝度範囲設定部 186が 図示されているが、画像生成部 93— 3には、更に、多くの輝度領域を設定することが できるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を 設けるようにしても良い。
[0240] また、図 26の画像生成部 93— 6が実行する処理は、図 25を用いて説明した画像 表示処理 4の処理と基本的には同様であり、設定される領域数を増やした場合に対 応するので、その説明は省略する。
[0241] 以上説明した画像生成部 93— 1乃至画像生成部 93— 6は、撮像された画像の全 体、または、所定の部分の輝度の平均値を基に、主要領域を設定するようになされて いた。これに対して、撮像された画像に含まれる画素の輝度値の分布を示すヒストグ ラムを作成し、これを解析することにより、複数の輝度範囲を設定して、設定された輝 度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるよ うにしても良い。
[0242] 図 27は、図 2の画像生成部 93の構成の第 7の例である画像生成部 93— 7の構成 を示すブロック図である。画像生成部 93— 7は、撮像された画像の各画素の輝度値 のヒストグラムを解析し、解析結果を基に、複数の輝度範囲を設定するようになされて いる。
[0243] 画像生成部 93— 7は、ヒストグラム解析部 251、閾値比較処理部 252、複数段階輝 度範囲設定部 253、および、出力レベル変換処理部 254により構成されている。
[0244] ヒストグラム解析部 251は、撮像部 91から供給された画像信号を取得し、取得され た画像信号を基に、撮像された画像の各画素の輝度値の分布を示すヒストグラムを 生成して解析し、解析結果を閾値比較処理部 252に供給する。
[0245] 閾値比較処理部 252は、ヒストグラム解析部 251から供給されたヒストグラムの解析 結果を基に、入力信号のそれぞれの輝度値に対応する画素の数を所定の閾値と比 較する。換言すれば、閾値比較処理部 252は、撮像された画像の輝度範囲のうち、 一定数以上の画素数を持つものを抽出する。閾値比較処理部 252は、閾値と比較し た結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度 範囲設定部 253に供給する。
[0246] ここで、閾値は、実験的経験的に求められて予め設定されているものであっても、ュ 一ザにより適宜設定することが可能な値であっても良い。閾値が低く設定されすぎて しまった場合、ほとんどの情報が残ってしまうため、得られる画像は、例えば、図 10を 用いて説明した、対数変換型撮像素子 102を用いて撮像された広ダイナミクスレンジ の画像を画像処理装置 81を用いて処理しな 、場合の表示画像のように、濃淡の差 がない (シャープさのない)画像となってしまう。一方、閾値が高く設定されすぎてしま つた場合、情報の取りこぼしが多くなつてしまい、一部の輝度範囲のみが鮮明に表示 されて 、る画像となってしまう可能性がある。
[0247] 複数段階輝度範囲設定部 253は、閾値比較処理部 252から供給される、画素数が 閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数 を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、出力レベル変換処理 部 254に供給する。複数段階輝度範囲設定部 253により設定される輝度範囲の数は 、閾値比較処理部 252から供給される比較結果によって決まる力 例えば、その数の 上限を予め定めておくようにしても良 、。
[0248] 出力レベル変換処理部 254は、撮像部 91から供給された画像信号を取得して、複 数段階輝度範囲設定部 253から供給された、設定された輝度範囲の情報を基に、例 えば、図 6、図 7、または、図 15を用いて説明した場合と基本的に同様にして、設定さ れた輝度領域に割り当てられる出力レベル信号の輝度階調レベルのステップ数が、 それ以外の輝度領域に割り当てられる出力レベル信号の輝度階調レベルのステップ 数よりも多くなるようにして、取得した画像信号の出力レベルを変換する。
[0249] 具体的には、画像生成部 93— 7においては、図 28に示されるように、ヒストグラム解 析部 251により、撮像された画像の各画素の輝度値の分布を示すヒストグラムが解析 されて、閾値比較処理部 252において閾値と比較され、同一画像内（1フレーム内） に閾値以上の画素数を有する輝度が抽出される。そして、抽出された輝度を基に、 複数段階輝度範囲設定部 253において、複数の輝度範囲が設定されて、出カレべ ル変換処理部 254において、その範囲内に階調ステップ数が優先的に割り当てられ るように入力レベルに対する出力レベルの変換特性が求められるので、設定された 輝度範囲それぞれの輝度階調幅が充分与えられるようになされている。そして、変換 後の信号が、表示制御部 94または出力制御部 95において、表示または印刷出力の 条件に応じて、階調変換 (階調数が圧縮)され、表示、または、印刷などのために出 力されるようになされて ヽる。
[0250] 次に、図 29のフローチャートを参照して、図 27の画像生成部 93— 7が用いられて V、る画像処理装置 81にお 、て実行される画像表示処理 5につ 、て説明する。
[0251] ステップ S141において、撮像部 91は、操作入力部 92から供給されたユーザの操 作入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、 画像生成部 93— 7に供給する。画像生成部 93— 7は、撮像された画像信号を取得 する。
[0252] ステップ S142において、画像生成部 93— 7のヒストグラム解析部 251は、撮像部 9 1から供給された画像信号を基に、撮像された画像の各画素の輝度の分布を示すヒ ストグラムを生成して解析し、解析結果を閾値比較処理部 252に供給する。
[0253] ステップ S 143において、閾値比較処理部 252は、ヒストグラム解析部 251から供給 されたヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画 素数を所定の閾値と比較する。閾値比較処理部 252は、閾値と比較した結果、画素 数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部 25 3に供給する。
[0254] ステップ S144において、複数段階輝度範囲設定部 253は、閾値比較処理部 252 力も供給される、閾値以上であると判断された輝度値を基に、設定範囲外よりも多く の階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、出 力レベル変換処理部 254に供給する
[0255] ステップ S145において、出力レベル変換処理部 254は、複数段階輝度範囲設定 部 253から供給された、設定された輝度範囲の情報を基に、例えば、図 6、図 7、また は、図 15を用いて説明した場合と基本的に同様にして、入力レベルと出力レベルの 変換特性を決定する。
[0256] ステップ S146において、出力レベル変換処理部 254は、入力レベルと出力レベル の変換特性を基に、設定された複数の輝度範囲に割り当てられる出力レベル信号の 輝度階調レベルのステップ数が、それ以外の輝度範囲に割り当てられる出力レベル 信号の輝度階調レベルのステップ数よりも多くなるようにして、撮像部 91から供給さ れた画像信号の出力レベルを変換し、表示制御部 94に供給する。
[0257] ステップ S147において、表示制御部 94は、供給された画像信号を、図 28を用い て説明したように、表示素子に適合した階調に変換する。
[0258] ステップ S148において、表示制御部 94は、表示素子に適した階調に変換された 画像信号をディスプレイ 82に供給し、画像の表示を制御して、処理が終了される。
[0259] なお、ここでも、生成された画像をディスプレイ 82に表示させる処理について説明し たが、生成された画像を出力制御部 95を介して図示しない外部の機器に出力させる 場合には、ステップ S 141乃至ステップ S 146にお 、て基本的に同様の処理が実行さ れ、画像信号が出力制御部 95に供給されて、出力先の機器において処理可能な階 調に変換されて出力が制御される。 [0260] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データにおいて、広い輝度範囲に、離散的に、ユーザが必要とする画像情報 が存在するような場合であっても、図 27の画像生成部 93— 7が用いられている画像 処理装置 81を用いて画像を処理することにより、処理済の画像を、ディスプレイ 82に 対応した階調で表示させたり、または、出力先の外部機器に対応した階調で出力さ せても、ユーザ力も識別可能な状態に表示または印刷出力させることができる。
[0261] 以上説明した画像生成部 93— 1乃至画像生成部 93— 7においては、撮像された 画像を基に、多くの階調ステップ数が割り当てられる輝度領域が設定されていた。こ れに対して、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくように しても良い。例えば、撮像される画像の画角が固定であったり、一定の照明が被写体 に照射されるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応 する画素の輝度領域が予め分力つている場合、多くの階調ステップ数が割り当てら れる輝度領域を予め定めておくことができる。これにより、処理を簡単にすることがで き、装置のコストを下げることが可能となる。
[0262] 図 30は、図 2の画像生成部 93の構成の第 8の例である画像生成部 93— 8の構成 を示すブロック図である。画像生成部 93— 8は、多くの階調ステップ数が割り当てら れる輝度領域が予め定められて 、る場合に用いられる。
[0263] 第 1の輝度領域輝度範囲設定部 281は、操作入力部 92から、第 1の輝度領域の輝 度範囲の設定値の入力を受け、第 1の輝度範囲の設定値を、出力レベル変換処理 部 187に供給する。
[0264] 第 2の輝度領域輝度範囲設定部 282は、操作入力部 92から、第 2の輝度領域の輝 度範囲の設定値の入力を受け、第 2の輝度領域の輝度範囲の設定値を、出カレべ ル変換処理部 187に供給する。
[0265] 第 3の輝度領域輝度範囲設定部 283は、操作入力部 92から、第 3の輝度領域の輝 度範囲の設定値の入力を受け、第 3の輝度領域の輝度範囲の設定値を、出カレべ ル変換処理部 187に供給する。
[0266] 出力レベル変換処理部 187は、図 20の画像生成部 93— 3における場合と基本的 に同様の処理を実行するものであり、設定された複数の輝度範囲を基に、撮像部 91 力も供給された画像信号を取得してその出力レベルを変換する。すなわち、出カレ ベル変換処理部 187は、第 1の輝度領域輝度範囲設定部 281、第 2の輝度領域輝 度範囲設定部 282、および、第 3の輝度領域輝度範囲設定部 283から供給された、 第 1の輝度範囲、第 2の輝度領域の輝度範囲、および第 3の輝度領域の輝度範囲の 情報を基に、撮像部 91から供給された画像信号の出力レベルを変換する。
[0267] なお、図 30には、第 1乃至第 3の輝度領域の輝度範囲を設定するための、第 1の輝 度領域輝度範囲設定部 281、第 2の輝度領域輝度範囲設定部 282、および、第 3の 輝度領域輝度範囲設定部 283が図示されている力 画像生成部 93— 8には、更に、 多くの輝度領域の輝度範囲の設定を受けることができるように、他の輝度領域輝度範 囲設定部を設けるようにしても良 、。
[0268] 次に、図 31のフローチャートを参照して、図 30の画像生成部 93— 8が用いられて V、る画像処理装置 81にお 、て実行される画像表示処理 6につ 、て説明する。
[0269] ステップ S171において、操作入力部 92は、ユーザ力も複数の輝度範囲の設定値 の入力を受け、入力された設定値を、画像生成部 93— 8に供給する。
[0270] ステップ S172において、撮像部 91は、操作入力部 92から供給されたユーザの操 作入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、 画像生成部 93— 8に供給する。画像生成部 93— 8は、撮像された画像信号を取得 する。
[0271] ステップ S173において、画像生成部 93— 8の第 1の輝度領域輝度範囲設定部 28 1、第 2の輝度領域輝度範囲設定部 282、および、第 3の輝度領域輝度範囲設定部 283は、操作入力部 92から供給された複数の輝度範囲の設定値を取得し、出カレ ベル変換処理部 187に供給する。
[0272] ステップ S174において、出力レベル変換処理部 187は、第 1の輝度領域輝度範囲 設定部 281、第 2の輝度領域輝度範囲設定部 282、および、第 3の輝度領域輝度範 囲設定部 283から供給された複数の輝度範囲の設定値を基に、例えば、図 6、図 7、 または図 15を用いて説明したような入力レベルと出力レベルの変換特性を決定する
[0273] ステップ S175において、出力レベル変換処理部 187は、撮像部 91から供給され た撮像画像の階調を、ステップ S174において決定された変換特性に基づいて変換 し、表示制御部 94に供給する。
[0274] ステップ S176にお 、て、表示制御部 94は、供給された画像信号を、例えば、図 8 や図 16を用いて説明したように、表示素子に適合した階調に変換する。
[0275] ステップ S177において、表示制御部 94は、表示素子に適した階調に変換された 画像信号をディスプレイ 82に供給し、画像の表示を制御して、処理が終了される。
[0276] なお、ここでも、生成された画像をディスプレイ 82に表示させる処理について説明し たが、生成された画像を出力制御部 95を介して図示しない外部の機器に出力させる 場合には、ステップ S 171乃至ステップ S 175にお ヽて基本的に同様の処理が実行さ れ、画像信号が出力制御部 95に供給されて、出力先の機器において処理可能な階 調に変換されて出力が制御される。
[0277] このような処理により、対数変換型撮像素子 102を用いた撮像部 91により撮像され た画像データをディスプレイ 82に対応した階調で表示させたい場合、または、出力 先の外部機器に対応した階調で出力させたい場合であっても、ユーザが必要とする 画像情報に対応する画素の輝度領域が予め分力つているのであれば、多くの階調ス テツプ数が割り当てられる輝度領域を予め定めておくことにより、簡単な処理で、ユー ザが必要とする画像情報を、ユーザ力 識別可能な状態に表示または印刷出力させ ることができるような画像データを生成することができ、更に、装置のコストを下げるこ とが可能となる。
[0278] また、予め定められた輝度領域の中で、撮像された画像に含まれる画素の輝度値 の分布を示すヒストグラムを解析し、定められた輝度範囲のうち、一定数以上の画素 数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝 度領域を定めることができるようにしても良 、。
[0279] 図 32は、図 2の画像生成部 93の構成の第 9の例である画像生成部 93— 9の構成 を示すブロック図である。画像生成部 93— 9は、予め定められた輝度領域の中で、ヒ ストグラム解析により一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多 くの階調ステップ数が割り当てられる輝度領域を定めるようになされて ヽる。
[0280] なお、図 27または図 30における場合と対応する部分には同一の符号を付してあり 、その説明は適宜省略する。
[0281] すなわち、図 32の画像生成部 93— 9は、図 30を用いて説明した画像生成部 93— 8の第 1の輝度領域輝度範囲設定部 281、第 2の輝度領域輝度範囲設定部 282、お よび、第 3の輝度領域輝度範囲設定部 283、並びに、出力レベル変換処理部 187を 備えている。更に、画像生成部 93— 9には、それぞれから出力される輝度範囲の設 定値を基に、ヒストグラムを解析して所定の閾値と比較するために、図 27を用いて説 明した画像生成部 93— 7に備えられていたヒストグラム解析部 251および閾値比較 処理部 252と同様の処理を実行することができる、ヒストグラム解析部 251—1乃至 2 51— 3および閾値比較処理部 252— 1乃至 252— 3が設けられている。
[0282] 具体的には、画像生成部 93— 9においては、図 33に示されるように、第 1の輝度領 域輝度範囲設定部 281により設定される第 1の範囲、第 2の輝度領域輝度範囲設定 部 282により設定される第 2の範囲、および、第 3の輝度領域輝度範囲設定部 283に より設定される第 3の範囲内のそれぞれにおいて、ヒストグラム解析部 251— 1乃至 2 51— 3により、撮像された画像の各画素の輝度値のヒストグラムが解析されて、閾値 比較処理部 252— 1乃至 252— 3において閾値と比較され、所定の閾値以上の画素 数を有する輝度が抽出される。
[0283] すなわち、第 1の範囲、第 2の範囲、および、第 3の範囲以外の輝度範囲において 、閾値より多い画素数を有する輝度が存在しても、その輝度は、階調ステップ数が優 先的に割り当てられる輝度範囲には設定されない。
[0284] そして、抽出された輝度を基に、出力レベル変換処理部 187において、その範囲 内の画素に階調ステップ数が優先的に割り当てられて、設定された輝度範囲それぞ れの輝度階調幅が充分与えられている状態で、連続した輝度階調に変換されるよう になされている。そして、変換後の信号が、表示制御部 94または出力制御部 95にお いて、表示または印刷出力の条件に応じて、階調変換 (階調数が圧縮)され、表示、 または、印刷などのために出力されるようになされて 、る。
[0285] 例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射さ れるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素 の輝度領域が予め分力つている力 例えば、時間によって、ユーザが必要とする画 像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、同じ輝 度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなカゝつたり、 夕方や夜間には多くの情報を有する力 朝や昼には、ほとんど情報を有していないこ とがある。
[0286] このような場合、ユーザが必要とする画像情報を含む可能性のある全ての輝度領 域を予め設定しておいても、ヒストグラム解析と閾値との比較を実行することにより、必 要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられること を避けることが可能となる。
[0287] 次に、図 34のフローチャートを参照して、図 32の画像生成部 93— 9が用いられて Vヽる画像処理装置 81にお ヽて実行される画像表示処理 7につ 、て説明する。
[0288] ステップ S201において、操作入力部 92は、ユーザ力も複数の輝度範囲の設定値 の入力を受け、入力された設定値を、画像生成部 93— 9に供給する。画像生成部 9 3— 9は、撮像された画像信号を取得する。
[0289] ステップ S202において、撮像部 91は、操作入力部 92から供給されたユーザの操 作入力を基に被写体を撮像し、対数変換され、 AZD変換された撮像画像信号を、 画像生成部 93— 9に供給する。
[0290] ステップ S203において、画像生成部 93— 9の第 1の輝度領域輝度範囲設定部 28 1、第 2の輝度領域輝度範囲設定部 282、および、第 3の輝度領域輝度範囲設定部 283は、操作入力部 92から供給された複数の輝度範囲の設定値を取得し、ヒストグ ラム解析部 251— 1乃至 251— 3にそれぞれ供給する。
[0291] ステップ S204において、ヒストグラム解析部 251— 1乃至 251— 3は、撮像部 91か ら供給された画像信号を基に、図 33を用いて説明したように、撮像された画像の第 1 乃至第 3の範囲内の輝度値の分布を示すヒストグラムをそれぞれ生成して解析し、解 析結果を閾値比較処理部 252— 1乃至 252— 3に供給する。
[0292] ステップ S205において、閾値比較処理部 252— 1乃至 252— 3は、ヒストグラム解 析部 251— 1乃至 251— 3から供給された第 1乃至第 3の範囲内のヒストグラムの解 析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比 較する。閾値比較処理部 252—1乃至 252— 3は、閾値と比較した結果、画素数が 閾値以上であると判断された輝度値を、出力レベル変換処理部 187に供給する。
[0293] ステップ S206において、出力レベル変換処理部 187は、閾値比較処理部 252—1 乃至 252— 3から供給された輝度値を基に、多くの階調ステップ数が割り当てられる 輝度範囲を設定する。
[0294] ステップ S207において、出力レベル変換処理部 187は、例えば、図 6、図 7、また は図 15を用 ヽて説明したような入力レベルと出力レベルの変換特性を決定する。
[0295] ステップ S208において、出力レベル変換処理部 187は、撮像部 91から供給され た撮像画像の階調を、ステップ S 74にお 、て決定された変換特性に基づ!/、て変換し 、表示制御部 94に供給する。
[0296] ステップ S209にお 、て、表示制御部 94は、供給された画像信号を、例えば、図 33 を用いて説明したように、表示素子に適合した階調に変換する。
[0297] ステップ S210において、表示制御部 94は、表示素子に適した階調に変換された 画像信号をディスプレイ 82に供給し、画像の表示を制御して、処理が終了される。
[0298] なお、ここでも、生成された画像をディスプレイ 82に表示させる処理について説明し たが、生成された画像を出力制御部 95を介して図示しない外部の機器に出力させる 場合には、ステップ S 201乃至ステップ S 208〖こお 、て基本的に同様の処理が実行さ れ、画像信号が出力制御部 95に供給されて、出力先の機器において処理可能な階 調に変換されて出力が制御される。
[0299] このような処理により、例えば、時間によって、ユーザが必要とする画像情報に対応 する画素の輝度領域が、何パターンかに変化するような場合、具体的には、同じ輝 度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなカゝつたり、 夕方や夜間には多くの情報を有する力 朝や昼には、ほとんど情報を有していない 場合であっても、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域 を予め設定しても、ヒストグラム解析と閾値との比較を実行することにより、必要な情報 を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避ける ことが可能となる。
[0300] 以上説明したように、画像生成部 93— 1乃至 93— 9が用いられている画像処理装 置 81にお 、ては、対数変換型撮像素子 102を用いた撮像部 91により撮像された画 像データにおいて、広い輝度範囲にユーザが必要とする画像情報が存在するような 場合であっても、このような画像をディスプレイ 82に対応した階調で表示させたり、ま たは、出力先の外部機器に対応した階調で出力させたときに、ユーザが必要とする 情報 (例えば、暗い中の黒い物体や、暗いものと同一の画各内に存在する明るい部 分など)を識別可能な状態に表示または印刷出力させることができるような画像デー タを生成することができる。
[0301] 上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは 、そのソフトウェアを構成するプログラム力 専用のハードウェアに組み込まれている コンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行 することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体力もインス トールされる。この場合、例えば、図 2を用いて説明した画像処理装置 81のすベて、 または、一部（例えば、画像生成部 93および表示制御部 94)は、図 35に示されるよう なパーソナルコンピュータ 301により構成される。
[0302] 図 35において、 CPU (Central Processing Unit) 311は、 ROM (Read Only Memor y) 312に記憶されているプログラム、または記憶部 318から RAM (Random Access M emory) 313にロードされたプログラムにしたがって、各種の処理を実行する。 RAM3 13にはまた、 CPU311が各種の処理を実行する上にぉ 、て必要なデータなども適 宜記憶される。
[0303] CPU311、 ROM312、および RAM313は、バス 314を介して相互に接続されて いる。このバス 314にはまた、入出力インタフェース 315も接続されている。
[0304] 入出力インタフェース 315には、キーボード、マウスなどよりなる入力部 316、デイス プレイやスピーカなどよりなる出力部 317、ハードディスクなどより構成される記憶部 3 18、モデム、ターミナルアダプタなどより構成される通信部 319が接続されている。通 信部 319は、インターネットを含むネットワークを介しての通信処理を行う。
[0305] 入出力インタフェース 315にはまた、必要に応じてドライブ 320が接続され、磁気デ イスク 331、光ディスク 332、光磁気ディスク 333、もしくは、半導体メモリ 334などが適 宜装着され、それら力 読み出されたコンピュータプログラムが、必要に応じて記憶 部 318にインス卜一ノレされる。 [0306] 一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプ ログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプ ログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用 のパーソナルコンピュータなどに、ネットワークや記録媒体力 インストールされる。
[0307] この記録媒体は、図 35に示されるように、装置本体とは別に、ユーザにプログラム を供給するために配布される、プログラムが記憶されている磁気ディスク 331 (フロッ ピディスクを含む）、光ディスク 332 (CD- ROM (Compact Disk-Read Only Memory) , DVD (Digital Versatile Disk)を含む）、光磁気ディスク 333 (MD (Mini- Disk) (商標 )を含む）、もしくは半導体メモリ 334などよりなるノ ッケージメディアにより構成される だけでなぐ装置本体に予め組み込まれた状態でユーザに供給される、プログラムが 記憶されて ヽる ROM312や、記憶部 318に含まれるハードディスクなどで構成され る。
[0308] また、本明細書にぉ 、て、記録媒体に記録されるプログラムを記述するステップは、 記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に 処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
[0309] また、本明細書において、 1つの装置が実行する処理力 複数の装置によって実現 される場合であっても、本発明は適用可能であることは言うまでもない。

Claims

請求の範囲
[1] 入射光量の対数にほぼ比例した画素値を出力する撮像素子により撮像された画像 信号を取得する取得手段と、
前記取得手段により取得された前記画像信号の輝度範囲のうち、複数の輝度範囲 を設定する輝度範囲設定手段と、
前記輝度範囲設定手段により設定された前記輝度範囲と前記輝度範囲以外とで、 輝度の階調ステップ数の割り当てが異なるように、前記取得手段により取得された前 記画像信号に含まれる画素の輝度を変換する変換手段と
を備えることを特徴とする画像処理装置。
[2] 前記変換手段は、前記輝度範囲に、前記輝度範囲以外よりも多くの階調が割り当 てられるように、前記取得手段により取得された前記画像信号に含まれる画素の輝 度を変換する
ことを特徴とする請求項 1に記載の画像処理装置。
[3] 前記輝度範囲設定手段は、
前記取得手段により取得された前記画像信号に含まれる画素の輝度値の平均を 算出する第 1の平均値算出手段と、
前記第 1の平均値算出手段により算出された前記輝度値の平均値を基に、第 1の 輝度範囲を設定する第 1の輝度範囲設定手段と、
前記第 1の輝度範囲設定手段により設定された前記第 1の輝度範囲と異なる範囲 にお!、て、第 2の輝度範囲を決定する第 2の輝度範囲決定手段と
を備えることを特徴とする請求項 1に記載の画像処理装置。
[4] 前記第 2の輝度範囲決定手段は、
前記第 1の輝度範囲設定手段により設定された前記第 1の輝度範囲と異なる輝度 範囲であり、かつ、前記第 1の輝度範囲より高輝度の画素の輝度値の平均を算出す る第 2の平均値算出手段を更に備え、
前記第 2の平均値算出手段により算出された平均値を基に、前記第 2の輝度範囲 を決定する
ことを特徴とする請求項 3に記載の画像処理装置。
[5] 前記第 2の輝度範囲決定手段は、
前記第 1の輝度範囲設定手段により設定された前記第 1の輝度範囲と異なる輝度 範囲であり、かつ、前記第 1の輝度範囲より低輝度の画素の輝度値の平均を算出す る第 2の平均値算出手段を更に備え、
前記第 2の平均値算出手段により算出された平均値を基に、前記第 2の輝度範囲 を決定する
ことを特徴とする請求項 3に記載の画像処理装置。
[6] 前記輝度範囲設定手段は、前記第 1の輝度範囲設定手段により設定された前記第 1の輝度範囲、および、前記第 2の輝度範囲設定手段により設定された前記第 2の輝 度範囲と異なる範囲において、第 3の輝度範囲を決定する第 3の輝度範囲決定手段 を更に備える
ことを特徴とする請求項 3に記載の画像処理装置。
[7] 前記輝度範囲設定手段は、
前記取得手段により取得された画素値のうち、前記画像信号の所定の画像領域 に含まれる画素を抽出する抽出手段と、
前記抽出手段により抽出された前記画像信号の前記所定の画像領域に含まれる 画素の輝度値の平均値を算出する第 1の平均値算出手段と、
前記第 1の平均値算出手段により算出された前記輝度値の平均値を基に、第 1の 輝度範囲を設定する第 1の輝度範囲設定手段と、
前記第 1の輝度範囲設定手段により設定された前記第 1の輝度範囲と異なる範囲 にお!、て、第 2の輝度範囲を決定する第 2の輝度範囲決定手段と
を備えることを特徴とする請求項 1に記載の画像処理装置。
[8] 前記第 2の輝度範囲決定手段は、
前記第 1の輝度範囲設定手段により設定された前記第 1の輝度範囲と異なる輝度 範囲であり、かつ、前記第 1の輝度範囲より高輝度の画素の輝度値の平均を算出す る第 2の平均値算出手段を更に備え、
前記第 2の平均値算出手段により算出された平均値を基に、前記第 2の輝度範囲 を決定する ことを特徴とする請求項 7に記載の画像処理装置。
[9] 前記第 2の輝度範囲決定手段は、
前記第 1の輝度範囲設定手段により設定された前記第 1の輝度範囲と異なる輝度 範囲であり、かつ、前記第 1の輝度範囲より低輝度の画素の輝度値の平均を算出す る第 2の平均値算出手段を更に備え、
前記第 2の平均値算出手段により算出された平均値を基に、前記第 2の輝度範囲 を決定する
ことを特徴とする請求項 7に記載の画像処理装置。
[10] 前記輝度範囲設定手段は、前記第 1の輝度範囲設定手段により設定された前記第 1の輝度範囲、および、前記第 2の輝度範囲設定手段により設定された前記第 2の輝 度範囲と異なる範囲において、第 3の輝度範囲を決定する第 3の輝度範囲決定手段 を更に備える
ことを特徴とする請求項 7に記載の画像処理装置。
[11] 前記輝度範囲設定手段は、
前記取得手段により取得された前記画像信号に含まれる前記画素の輝度値の分 布を表すヒストグラムを求めるヒストグラム検出手段と、
前記ヒストグラム検出手段により検出された前記ヒストグラムを基に、それぞれの輝 度値に分布されている画素数を所定の閾値と比較する比較手段と
を備え、
前記比較手段による比較結果を基に、複数の前記輝度範囲を設定する ことを特徴とする請求項 1に記載の画像処理装置。
[12] ユーザの操作入力を受ける操作入力手段を更に備え、
前記輝度範囲設定手段は、前記操作入力手段により入力される前記ユーザの操 作入力に基づいて、複数の前記輝度範囲を設定する
ことを特徴とする請求項 1に記載の画像処理装置。
[13] ユーザの操作入力を受ける操作入力手段を更に備え、
前記輝度範囲設定手段は、
前記操作入力手段により入力される前記ユーザの操作入力に基づ！、て、複数の 輝度範囲設定可能領域を設定する輝度範囲設定可能領域設定手段と、 前記輝度範囲設定可能領域設定手段により設定された前記輝度範囲設定可能 領域に含まれる前記画素の輝度値の分布を表すヒストグラムを求めるヒストグラム検 出手段と、
前記ヒストグラム検出手段により検出された前記ヒストグラムを基に、それぞれの輝 度値に分布されている画素数を所定の閾値と比較する比較手段と
を備え、
前記比較手段による比較結果を基に、複数の前記輝度範囲を設定する ことを特徴とする請求項 1に記載の画像処理装置。
[14] 前記画像信号は、半導体のサブスレツショルド特性を利用して、入射光量の対数に ほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものである ことを特徴とする請求項 1に記載の画像処理装置。
[15] 前記変換手段は、前記輝度範囲設定手段により設定された前記輝度範囲以外に は、階調ステップ数が割り当てられないように、変換特性を設定する
ことを特徴とする請求項 1に記載の画像処理装置。
[16] 前記変換手段は、
前記輝度範囲設定手段により設定された前記輝度範囲の境界付近に中間領域を 設定し、
前記輝度範囲設定手段により設定された前記輝度範囲のうち前記中間領域を除 V、た部分の階調ステップ数が最も多く割り当てられ、
前記中間領域の階調ステップ数が 2番目に多く割り当てられ、
前記輝度範囲設定手段により設定された前記輝度範囲以外であり、かつ、前記 中間領域ではな 、部分の階調ステップ数が最も少なくなる
ように、変換特性を設定する
ことを特徴とする請求項 1に記載の画像処理装置。
[17] 前記変換手段は、前記輝度範囲設定手段により設定された前記輝度範囲以外で あり、かつ、前記中間領域ではない部分に、階調ステップ数が割り当てられないよう に、変換特性を設定する ことを特徴とする請求項 16に記載の画像処理装置。
[18] 入射光量の対数にほぼ比例した画素値を出力する撮像素子により撮像された画像 信号を処理する画像処理装置の画像処理方法において、
前記画像信号を取得する取得ステップと、
前記取得ステップの処理により取得された前記画像信号の輝度範囲のうち、複数 の輝度範囲を設定する輝度範囲設定ステップと、
前記輝度範囲設定ステップの処理により設定された前記輝度範囲と前記輝度範囲 以外とで、輝度の階調ステップ数の割り当てが異なるように、前記取得ステップの処 理により取得された前記画像信号に含まれる画素の輝度を変換する変換ステップと を含むことを特徴とする画像処理方法。
[19] 入射光量の対数にほぼ比例した画素値を出力する撮像素子により撮像された画像 信号の処理をコンピュータに実行させるためのプログラムであって、
前記画像信号の取得を制御する取得制御ステップと、
前記取得制御ステップの処理により取得が制御された前記画像信号の輝度範囲の うち、複数の輝度範囲を設定する輝度範囲設定ステップと、
前記輝度範囲設定ステップの処理により設定された前記輝度範囲と前記輝度範囲 以外とで、輝度の階調ステップ数の割り当てが異なるように、前記取得制御ステップ の処理により取得が制御された前記画像信号に含まれる画素の輝度を変換する変 換ステップと
を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
[20] 請求項 19に記載のプログラムを記録した記録媒体。
PCT/JP2006/305112 2005-03-15 2006-03-15 画像処理装置および画像処理方法、プログラム、並びに、記録媒体 Ceased WO2006098356A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP06729133A EP1868368A4 (en) 2005-03-15 2006-03-15 IMAGE PROCESSOR, IMAGE PROCESSING, PROGRAM AND RECORDING MEDIUM
US11/908,963 US20090066819A1 (en) 2005-03-15 2006-03-15 Image processing apparatus and image processing method, program and recording medium
JP2007508173A JP4835593B2 (ja) 2005-03-15 2006-03-15 画像処理装置および画像処理方法、プログラム、並びに、記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005072799 2005-03-15
JP2005-072798 2005-03-15
JP2005-072799 2005-03-15
JP2005072798 2005-03-15

Publications (1)

Publication Number Publication Date
WO2006098356A1 true WO2006098356A1 (ja) 2006-09-21

Family

ID=36991698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305112 Ceased WO2006098356A1 (ja) 2005-03-15 2006-03-15 画像処理装置および画像処理方法、プログラム、並びに、記録媒体

Country Status (4)

Country Link
US (1) US20090066819A1 (ja)
EP (1) EP1868368A4 (ja)
JP (1) JP4835593B2 (ja)
WO (1) WO2006098356A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246444A (ja) * 2008-03-28 2009-10-22 Nissan Motor Co Ltd 映像表示システム及び映像表示方法
JP2010079552A (ja) * 2008-09-25 2010-04-08 Omron Corp 画像処理装置および画像処理方法
US8073248B2 (en) * 2007-06-08 2011-12-06 Apple Inc. Automatic detection of calibration charts in images
JP2020038629A (ja) * 2018-08-31 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド インテリジェント路側ユニットおよびその情報処理方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2429865B (en) * 2005-09-06 2011-02-23 Cintel Internat Ltd Optical scatter correction for film scanners
KR100793230B1 (ko) * 2006-07-24 2008-01-10 엘지전자 주식회사 카메라의 부분 역광 보정장치 및 방법
JP5083046B2 (ja) * 2008-06-03 2012-11-28 ソニー株式会社 撮像装置及び撮像方法
JP4872982B2 (ja) * 2008-07-31 2012-02-08 ソニー株式会社 画像処理回路および画像表示装置
TWI388200B (zh) * 2009-03-25 2013-03-01 Micro Star Int Co Ltd A method for generating a high dynamic range image and a digital image pickup device thereof
US20100259639A1 (en) * 2009-04-13 2010-10-14 Qualcomm Incorporated Automatic backlight detection
JP5503728B2 (ja) * 2010-03-01 2014-05-28 本田技研工業株式会社 車両の周辺監視装置
KR101750986B1 (ko) * 2010-03-12 2017-06-26 삼성전자주식회사 영상 처리 장치, 방법, 및 컴퓨터 판독가능 저장매체
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
CN103890813A (zh) * 2011-10-27 2014-06-25 惠普发展公司，有限责任合伙企业 图像拍摄组件的增益值
JP5732175B2 (ja) * 2012-08-16 2015-06-10 富士フイルム株式会社 画像ファイル生成装置及び表示装置
US9307207B2 (en) * 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
JP6390512B2 (ja) * 2015-05-21 2018-09-19 株式会社デンソー 車載カメラ装置
US9621811B2 (en) * 2015-05-27 2017-04-11 Ford Global Technologies, Llc Non-functioning headlight warning
KR102247526B1 (ko) * 2015-07-10 2021-05-03 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102493746B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
US11011102B2 (en) * 2017-09-21 2021-05-18 Canon Kabushiki Kaisha Display apparatus and control method therefor
US10777152B2 (en) * 2018-11-05 2020-09-15 HKC Corporation Limited Driving method and driving device for display panel, and display device
WO2020218655A1 (ko) * 2019-04-26 2020-10-29 엘지전자 주식회사 자율주행 차량의 영상 처리 방법
CN113160093B (zh) * 2021-05-24 2022-07-01 杭州国芯科技股份有限公司 一种图像的自适应宽动态模式调节方法
CN116946017A (zh) * 2023-07-11 2023-10-27 丹阳市中远车灯有限公司 一种车灯控制系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224174A (ja) * 1996-01-18 1997-08-26 Samsung Electron Co Ltd 積分ルックアップテーブルを用いる適応型ガンマ補正装置
JP2001245214A (ja) * 2000-02-28 2001-09-07 Minolta Co Ltd 固体撮像装置
JP2002077619A (ja) * 2000-09-01 2002-03-15 Rohm Co Ltd 画像処理装置
JP2002132243A (ja) * 2000-10-27 2002-05-09 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2004007202A (ja) * 2002-05-31 2004-01-08 Fuji Photo Film Co Ltd 画像処理装置
JP2004221644A (ja) * 2003-01-09 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463173B1 (en) * 1995-10-30 2002-10-08 Hewlett-Packard Company System and method for histogram-based image contrast enhancement
JP5328063B2 (ja) * 1999-09-17 2013-10-30 キヤノン株式会社 画像処理装置、画像処理方法、及び記憶媒体
JP4292679B2 (ja) * 1999-05-10 2009-07-08 コニカミノルタホールディングス株式会社 固体撮像装置
DE10017185A1 (de) * 2000-04-07 2001-10-18 Axel Graeser Vorrichtung und Verfahren zur Aufnahme und Anzeige von Bildern
US7298402B2 (en) * 2000-10-26 2007-11-20 Olympus Corporation Image-pickup apparatus with expanded dynamic range capabilities
TW565684B (en) * 2001-02-14 2003-12-11 Honda Motor Co Ltd Welding state monitoring device
DE10203421C1 (de) * 2002-01-28 2003-04-30 Daimler Chrysler Ag Automobiles Infrarot-Nachtsichtgerät und automobiles Display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224174A (ja) * 1996-01-18 1997-08-26 Samsung Electron Co Ltd 積分ルックアップテーブルを用いる適応型ガンマ補正装置
JP2001245214A (ja) * 2000-02-28 2001-09-07 Minolta Co Ltd 固体撮像装置
JP2002077619A (ja) * 2000-09-01 2002-03-15 Rohm Co Ltd 画像処理装置
JP2002132243A (ja) * 2000-10-27 2002-05-09 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2004007202A (ja) * 2002-05-31 2004-01-08 Fuji Photo Film Co Ltd 画像処理装置
JP2004221644A (ja) * 2003-01-09 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1868368A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073248B2 (en) * 2007-06-08 2011-12-06 Apple Inc. Automatic detection of calibration charts in images
JP2009246444A (ja) * 2008-03-28 2009-10-22 Nissan Motor Co Ltd 映像表示システム及び映像表示方法
JP2010079552A (ja) * 2008-09-25 2010-04-08 Omron Corp 画像処理装置および画像処理方法
JP2020038629A (ja) * 2018-08-31 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド インテリジェント路側ユニットおよびその情報処理方法
US11217091B2 (en) 2018-08-31 2022-01-04 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Smart roadside unit and method for processing information by smart roadside unit

Also Published As

Publication number Publication date
EP1868368A1 (en) 2007-12-19
JP4835593B2 (ja) 2011-12-14
US20090066819A1 (en) 2009-03-12
JPWO2006098356A1 (ja) 2008-08-28
EP1868368A4 (en) 2009-06-24

Similar Documents

Publication Publication Date Title
JP4835593B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
CN101142810B (zh) 图像处理装置和图像处理方法、图像处理系统
JP4678487B2 (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP6911202B2 (ja) 撮像制御方法および撮像装置
JP4985394B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5832855B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP3801126B2 (ja) 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
EP3836534A1 (en) Imaging control method, apparatus, electronic device, and computer-readable storage medium
CN110445989B (zh) 图像处理方法、装置、存储介质及电子设备
JP4372747B2 (ja) 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体
US20060215882A1 (en) Image processing apparatus and method, recording medium, and program
US20120127336A1 (en) Imaging apparatus, imaging method and computer program
JP2002502577A (ja) 拡張ダイナミックレンジイメージングシステム及びその方法
JP2013106149A (ja) 撮像装置、その制御方法、及びプログラム
KR101932542B1 (ko) 플리커-평가치를 산출하는 장치 및 방법
JP4607006B2 (ja) 映像信号処理方法および映像信号処理装置
JP2016126750A (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
CN112822413A (zh) 拍摄预览方法、装置、终端和计算机可读存储介质
US11887286B2 (en) Image processing device and image processing method to generate image for object recognition
JP2016173777A (ja) 画像処理装置
CN101142811A (zh) 图像处理装置和图像处理方法、程序以及记录介质
JP4304610B2 (ja) カメラ式車両感知器における画面の輝度調整方法及び装置
JP2006259899A (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP2007249568A (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP2025102605A (ja) 撮像装置、プログラム及び制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680008640.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 11908963

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006729133

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006729133

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2007508173

Country of ref document: JP

Kind code of ref document: A