WO2004017628A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
WO2004017628A1
WO2004017628A1 PCT/JP2003/009407 JP0309407W WO2004017628A1 WO 2004017628 A1 WO2004017628 A1 WO 2004017628A1 JP 0309407 W JP0309407 W JP 0309407W WO 2004017628 A1 WO2004017628 A1 WO 2004017628A1
Authority
WO
WIPO (PCT)
Prior art keywords
circuit
signal
data
imaging system
digital signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2003/009407
Other languages
English (en)
French (fr)
Inventor
Yasutoshi Yamamoto
Tomoaki Tsutsumi
Yukihiro Tanizoe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004528840A priority Critical patent/JP4372686B2/ja
Priority to EP03788017.6A priority patent/EP1542453B1/en
Priority to US10/522,066 priority patent/US7382402B2/en
Publication of WO2004017628A1 publication Critical patent/WO2004017628A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Definitions

  • the present invention relates to an imaging system used for a digital still camera or the like.
  • Conventional imaging systems include an analog signal output from an image sensor to a digital signal (AZD conversion), an AZD converter, a data processing unit for processing image data, a memory for storing image data, and a memory.
  • a control unit is provided, and the memory control unit stores image data output from the A / D converter and data processing unit in the memory, and transfers the image data from the memory to another data processing unit.
  • FIG. 28 is a block diagram showing a configuration of such a conventional imaging system.
  • the imaging system 200 includes an optical lens 211, a solid-state imaging element 212, a driving circuit 213 of the solid-state imaging element 212, an analog circuit 214, an A / D conversion circuit 215, a memory controller 216, and a memory circuit 216.
  • Synchronization DRAM Synchronous us Dynamic Access Memory
  • 217 Synchronization DRAM (Synchronous us Dynamic Access Memory): 217, camera signal processing circuit 218, JPEG compression circuit 219, display circuit 220, liquid crystal display
  • the device includes a device 221, a force controller 222, and a recording medium 223.
  • the solid-state imaging device 212 photoelectrically converts the irradiated light, and outputs an obtained electric signal (analog signal) to the analog circuit 214.
  • the analog circuit 214 performs analog signal processing on an analog signal output from the solid-state imaging device 212, and outputs the analog signal processed signal to the A / D conversion circuit 215.
  • the ⁇ / ⁇ 0 conversion circuit 215 converts the analog signal output from the analog circuit 214 into a digital signal. Where AZD
  • the digital signal output from the conversion circuit 215 is called raw data (RAW) because it is a signal before digital signal processing is performed.
  • the 0 conversion circuit 215 outputs the raw data to the memory controller 216.
  • the memory controller 216 stores the raw data output by the AD conversion circuit 215 in the SDRAM 217.
  • the memory controller 216 reads out the mouth data stored in the SDRAM 217 and transfers it to the camera signal processing circuit 218.
  • the camera signal processing circuit 218 performs camera signal processing on the raw data read from the SDRAM 217, and generates YC data (recording and display) represented by a luminance signal (Y) and a color difference signal (C). YC). Also, the camera signal processing circuit 218 has a Y signal for display.
  • the memory controller 216 reads out the YC data from the camera signal processing circuit 218 and stores it in the SDRAM 217.
  • the memory controller 216 reads out the YC data for recording stored in the SDRAM 217 and outputs it to the JPEG compression circuit 219.
  • the J PFG compression circuit 219 performs a compression process according to the JPEG Joint Photographic Expi rents (Group) method to generate coded data (JPC).
  • the memory controller 216 reads out the code data from the JPEG compression circuit 219 and stores it in the SDRAM 217.
  • the memory controller 216 When displaying a captured image on the liquid crystal display device 221, the memory controller 216 reads out YC data for display stored in the SDRAM 217 and transfers it to the display circuit 220.
  • the display circuit 220 converts the YC data into a display signal (display data) and outputs the signal to the liquid crystal display element 221.
  • the liquid crystal display element 221 displays an image represented by the display signal.
  • the card controller 222 is connected to the SDRAM 217, reads out the JPEG code data stored in the SDRAM 217, and writes it to the recording medium 223. Disclosure of the invention
  • the conventional imaging system many data such as raw data, YC data, code data, and display data are exchanged between the memory and the memory controller. Therefore, there is a problem that power consumption is large at the interface between the memory and the memory controller, that is, the power consumption is large.
  • the conventional imaging system has a problem that the processing speed is slow due to a large amount of data to be handled. To increase the processing speed, it is necessary to increase the operating frequency or the processing performance of the circuit, but in either case, the power consumption increases. That is, there was a problem that it was difficult to increase the processing speed without increasing power consumption.
  • An object of the present invention is to provide an imaging system that consumes low power, has high power, and has a high data processing speed.
  • the imaging system includes an imaging device that outputs a plurality of digital signals indicating the amount of light emitted to each pixel when light is irradiated to the two-dimensionally arranged pixels, and an imaging device described above.
  • a digital signal processing device for processing a digital signal; a storage device for storing a digital signal; and a digital signal output from the preprocessing device.
  • a storage controller that stores the digital signal in the storage device, reads the digital signal from the storage device, and outputs the digital signal to the digital signal processing device.
  • the preprocessing device includes an information amount reducing device that reduces an information amount of the digital signal.
  • the information amount reducing device may include an average corresponding to one screen of signal amounts of a plurality of digital signals output by the imaging device.
  • the pixel is configured by a pixel that detects light of a plurality of color components, and when the pixel is irradiated with light, the amount of light detected by the pixel is And outputs a plurality of digital signals as shown.
  • the information amount reducing device is configured by a pixel that detects light of a plurality of color components, and when the pixel is irradiated with light, the amount of light detected by the pixel is And outputs a plurality of digital signals as shown.
  • a plurality of the plurality of color components corresponding to the color components are used for the plurality of color components.
  • a detection device for detecting a plurality of average signal amounts, which are average values corresponding to one screen of the signal amount of the digital signal, and a plurality of the average signal amounts corresponding to the plurality of color components are set to match.
  • a calculating device for calculating a gain to be given to the plurality of digital signals corresponding to the plurality of color components; and a plurality of the color components using the gains corresponding to the plurality of color components.
  • a first white balance adjustment device that adjusts the gain of the digital signal corresponding to the above and performs white balance adjustment.
  • the information amount reduction device further includes a second white balance adjustment device.
  • the second white balance adjustment device outputs the plurality of the color components corresponding to the plurality of color components, which are output by the imaging device using a predetermined gain corresponding to the plurality of color components. Adjust the gain of the digital signal and adjust the white balance.
  • the output signal of the second white balance adjustment device is input to the first white balance adjustment device. .
  • the information amount reduction device further includes a gradation correction device.
  • the tone correction device corrects the tone of the digital signal, and receives an input from any of the imaging device, the gain adjustment device, and the first white balance adjustment device. Is converted into a digital signal having a predetermined information amount smaller than the information amount of the digital signal.
  • the information amount reducing device further includes a data compression device that compresses an input digital signal to reduce the information amount of the digital signal.
  • the data compression device compresses the input digital signal to a digital signal having the same information amount.
  • the imaging system further includes: a driving device that drives the imaging device; the information amount reducing device; the storage control device; and the digital signal.
  • a function control device for controlling the exchange of digital signals between the processing devices; and a mode setting device for setting one of two different modes for the device and the function control device.
  • the information amount reduction device includes a first information amount reduction device and a second information amount reduction device. The first information amount reducing device and the second information amount reducing device reduce an information amount of a digital signal output from the imaging device.
  • the function control device outputs a signal input from the first information amount reducing device to the second information amount reducing device.
  • the preprocessing device includes a thinning device for thinning out the plurality of digital signals.
  • the thinning device outputs a control signal whose level changes at a constant cycle to the storage control device.
  • the preprocessing device outputs the digital signal output by the imaging device and the control signal to the storage control device at the same time.
  • the storage control device stores only a digital signal input when the control signal is at a predetermined level in the storage device.
  • the pre-processing device further includes an interpolation device in addition to the drawing device.
  • the interpolating device captures a digital signal output by the imaging device, and outputs an interpolated digital signal obtained as a result of the interpolation.
  • the preprocessing device outputs the interpolation digital signal and the control signal to the storage control device at the same time.
  • the imaging system further includes a release button, a detection device that outputs a status signal indicating whether or not the release button is pressed, and According to the output status signal, A thinning control device that starts or stops the operation of the thinning device.
  • the imaging system further corresponds to a first mode or a second mode in addition to the thinning device, the release button, the detection device, and the thinning control device.
  • a mode switching device that outputs a mode signal; and a mode control device that controls the storage control device according to the mode signal output from the mode switching device.
  • the digital signal processing device includes a first compression device and a second compression device. When the mode signal indicating the first mode is input, the mode control device sends the digital signal read from the storage device to the first compression device to the storage control device. When the mode signal indicating the second mode is input, the digital signal read from the storage device is output to the second compression device by the storage device. .
  • the imaging system further includes a recording pixel number selection device that selects the number of recording pixels and outputs a signal corresponding to the selected number of recording pixels;
  • a thinning rate for thinning out the digital signal is determined according to a signal output from the selecting device, and a cycle of a level change of the control signal output from the thinning device is controlled according to the thinning rate.
  • a thinning rate control device is provided.
  • an imaging system with low power consumption and high data processing speed can be realized.
  • FIG. 1 is a block diagram illustrating a configuration of the imaging system according to the first embodiment.
  • FIG. 2 is a diagram illustrating the operation of the gain adjustment circuit.
  • FIG. 3 is a block diagram illustrating a configuration of an imaging system according to the second embodiment.
  • FIG. 4 is a diagram illustrating the operation of the white balance adjustment circuit.
  • FIG. 5 is a diagram for explaining the operation of the gradation correction circuit.
  • FIG. 6 is a block diagram illustrating a configuration of an imaging system according to the third embodiment.
  • FIG. 7 is a diagram illustrating white balance adjustment points of image sensors having different sensitivities.
  • FIG. 8 is a block diagram illustrating a configuration of an imaging system according to the fourth embodiment.
  • FIG. 9 is a block diagram illustrating a configuration of an imaging system according to the fifth embodiment.
  • FIG. 10 is a block diagram illustrating a configuration of an imaging system according to the sixth embodiment.
  • FIG. 11 is a diagram illustrating an example of an array of color filters provided in each pixel of the solid-state imaging device.
  • FIG. 12 is a timing chart showing raw data output by the AZD conversion circuit when the color filters of the solid-state imaging device are arranged as shown in FIG.
  • FIGS. 13A and 13B are timing charts for explaining the input data and the SDRAM write control signal.
  • (1) is raw data input to the preprocessing circuit
  • (2) is raw data input to the memory controller
  • (3) shows the SDRAM write control signal input to the memory controller.
  • FIG. 14 is a timing chart for explaining the raw data and the SDRAM write control signal when the number of raw data to be written to the SDRAM 17 is reduced to 1 to 2.
  • (1) is input to the preprocessing circuit.
  • (2) indicates the raw data input to the memory controller, and
  • (3) indicates the SDRAM write control signal input to the memory controller.
  • FIG. 15 is a block diagram illustrating a configuration of an imaging system according to the seventh embodiment.
  • FIG. 16 is a block diagram showing a modification of the imaging system of FIG. 15 and showing a configuration of an imaging system that switches a mode between a still image mode and a moving image mode.
  • FIG. 17 is a block diagram illustrating a configuration of an imaging system according to the eighth embodiment.
  • FIG. 18 is a block diagram showing a configuration of a zoom processing circuit in the imaging system of FIG.
  • FIG. 19 is a diagram showing a configuration of a capturing circuit in the zoom processing circuit of FIG.
  • FIG. 20 is a timing chart illustrating the low data input to the memory controller and the SDRAM write control signal when the interpolation circuit of FIG. 19 outputs the low data to the memory controller.
  • Low input to the processing circuit Data (2) indicates low data input to the memory controller, (3) indicates a zoom coefficient, and (4) indicates an SDRAM write control signal input to the memory controller.
  • FIG. 21 is a diagram showing a relative positional relationship between R data and G data in the raw data after the zoom processing shown in FIG.
  • FIG. 22 is a block diagram showing a configuration of another interpolating circuit in the zoom processing circuit of FIG.
  • FIG. 23 shows that when the color filters of the solid-state imaging device are arranged as shown in Fig. 18, zoom processing of 1/3 times is performed on the raw data output by the A / D conversion circuit.
  • FIG. 3 is a timing chart for explaining raw data input to a memory controller and an SDRAM write control signal, wherein (1) is raw data input to a preprocessing circuit, and (2) is input data to a memory controller. (3) indicates the SDRAM write control signal input to the memory controller.
  • FIG. 24 is a block diagram illustrating a configuration of an imaging system according to the ninth embodiment.
  • FIG. 25 is a block diagram showing a configuration of a zoom processing circuit in the imaging system of FIG.
  • FIG. 26 is a block diagram showing a configuration of the imaging system according to the tenth embodiment.
  • FIG. 27 is a block diagram illustrating a configuration of another imaging system according to the tenth embodiment.
  • FIG. 28 is a block diagram showing a configuration of a conventional imaging system. BEST MODE FOR CARRYING OUT THE INVENTION
  • the imaging system described in the following embodiments includes a preprocessing circuit that processes an output signal of the AZD conversion circuit before outputting the signal to the memory controller between the A / D conversion circuit and the memory controller. .
  • the imaging system includes: An information amount reduction circuit is provided between the AZD conversion circuit and the memory controller as a preprocessing circuit to reduce the number of bits (information amount) of the signal.
  • the information amount reduction circuit reduces the information amount of the digital signal output from the AZD conversion circuit, and as a result, the signal amount of the digital signal (when the number of bits of the signal is k , represented by 2 k ) is low. Is reduced.
  • These imaging systems reduce the amount of digital signals output by the A / D conversion circuit, and output the reduced digital signal to the memory controller, thereby allowing the SDRAM to communicate with the memory controller.
  • the imaging system includes a gain adjustment circuit, a level detection circuit, and an amount reduction circuit including a microcomputer.
  • FIG. 1 is a block diagram showing the configuration of the imaging system according to the first embodiment.
  • an imaging system 10 includes an optical lens 11, a solid-state imaging device 12, a driving circuit 13 for the solid-state imaging device 12, an analog circuit 14, an A / D conversion circuit 15, a memory controller 16, SDRAM 17 as a memory circuit, camera signal processing circuit 18, JPEG compression circuit 19, display circuit 20, liquid crystal display device 21, card controller 22, recording medium 23, and preprocessing circuit 24 Prepare.
  • the preprocessing circuit 24 includes an information amount reduction circuit including a gain adjustment circuit 26, a microcomputer (hereinafter, referred to as “microcomputer J”) 27, and a level detection circuit 28.
  • microcomputer J microcomputer
  • the optical lens 11 converges light on the solid-state imaging device 12.
  • the drive circuit 13 is connected to the solid-state imaging device 12 and controls the solid-state imaging device 12.
  • the analog circuit 14 is connected to the solid-state imaging device 12 and processes an analog signal output from the solid-state imaging device 12.
  • the AZD conversion circuit 15 is connected to the analog circuit 14 and converts an analog signal output from the analog circuit 14 into a digital signal.
  • the preprocessing circuit 24 is connected to the A / D conversion circuit 15, reduces the information amount of the signal output from the AZD conversion circuit 15, and outputs a digital signal with the reduced information amount.
  • Memory controller 16 is connected to SDRAM I7 and reads data from SDRAM17. Or write data to SDRAM17.
  • the memory controller 16 is connected to the gain adjustment circuit 26, the camera signal processing circuit 18, the JPEG compression circuit 19, and the display circuit 20, and controls the input and output of data between the SDRAM 17 and the SDRAM 17.
  • the liquid crystal display device 21 is connected to the display circuit 20 and displays an image represented by data output from the display circuit 20.
  • the card controller 22 is connected to the gain adjustment circuit 26, the camera signal processing circuit 18, the JPEG compression circuit 19, and the display circuit 20, and controls the input and output of data between the SDRAM 17 and the SDRAM 17.
  • the liquid crystal display device 21 is connected to the display circuit 20 and displays an image represented by data output from the display circuit 20.
  • the card controller 22 is connected to the gain adjustment circuit 26, the camera signal processing circuit 18, the JPEG compression circuit 19, and the display circuit 20, and controls the input and output of data between the SDRAM 17 and the SDRAM 17.
  • the liquid crystal display device 21 is connected to the display circuit 20 and displays an image represented by data output from the display circuit 20.
  • the operation from when light enters the optical lens 11 to when the AZD conversion circuit 15 outputs a digital signal is as follows.
  • the light passes through the optical lens 11 and irradiates the solid-state imaging device 12.
  • the solid-state imaging device 12 photoelectrically converts the irradiated light, and outputs an obtained electric signal (analog signal) to an analog circuit 14.
  • the analog circuit 14 performs analog signal processing on the analog signal output from the solid-state imaging device 12, and outputs the analog signal-processed signal to the AD conversion circuit 15.
  • the AD conversion circuit 15 converts an analog signal output from the analog circuit 14 into a digital signal.
  • the solid-state imaging device 12 is, for example, a charge-coupled device (hereinafter, referred to as “CCD”).
  • CCD charge-coupled device
  • the solid-state imaging device 12 includes a large number of pixels arranged two-dimensionally. For example, if the solid-state imaging device 12 has 5 million pixels, it has an effective pixel number of 2560 pixels in the horizontal direction and 1920 lines in the vertical direction.
  • the image pickup device 12 When the image pickup device 12 is irradiated with light, the image pickup device 12 generates a plurality of electric signals indicating the amount of light applied to each pixel.
  • the AZD conversion circuit 15 outputs a plurality of digital signals each indicating the amount of light applied to each pixel of the image sensor 12.
  • the number of digital signal corresponding to each pixel of the image sensor is hereinafter referred to as “the number of data”.
  • the information amount of the digital signal output from the A / D conversion circuit 15 is 14 bits.
  • This digital signal is a numerical representation of the amount of light incident on the optical lens 11, and the larger the number of bits, the wider the range of brightness.
  • the A / D converted 14-bit raw data (RAW14) is input to the gain adjustment circuit 26.
  • the gain adjustment circuit 26 is a 14-bit load The gain is adjusted by the gain A given from the microcomputer 27. As a result, the information amount of the mouth data is reduced, and the gain adjustment circuit 26 outputs the 10-bit mouth data (RAW10).
  • the signal amount of RAW 1 ⁇ and RAW 14 is R 1 respectively. Assuming and 4 , the following equation (1) holds.
  • the gain A will be described below.
  • the output signal of the solid-state imaging device 12 is converted into a digital signal by A / D conversion, and the digital signal is input to the gain adjustment circuit 26.
  • the A / D-converted raw data (RAW 14) is input to the gain adjustment circuit 26 and also to the level detection circuit 28 at the same time.
  • the level detection circuit 28 detects the average signal amount of the input raw data for one screen.
  • the average signal amount of the raw data for one screen means that when one scene is shot and an electric signal is generated by each pixel of the image sensor 12, the electric signal is converted from analog to digital. This is the average value of the signal amounts of the plurality of digital signals obtained.
  • the level detection circuit 28 outputs the average signal amount to the microcomputer 27.
  • the microcomputer 27 adjusts the gain A for each of the input average signal amounts so that the signal amount obtained by multiplying the input average signal amount and the gain becomes a predetermined value. calculate.
  • Figure 2 shows the relationship between the average signal amount of raw data (RAW14) for one screen and the gain A.
  • (1), (2), and (3) in FIG. 2 are obtained when different screens are input to the imaging system 10 (that is, when different scenes are captured by the imaging system 10).
  • 7 is a graph showing a range of the amount of light incident on the imaging device 12 and a range of the amount of a plurality of digital signals output from the AZD conversion circuit 15 at that time.
  • the horizontal axis represents the amount of light incident on the image sensor 12, and the vertical axis represents the digital output from the AZD conversion circuit 15. Indicates the signal amount of the signal.
  • the microcomputer 27 determines that the final average signal amount obtained by multiplying the input average signal amount and the gain is all constant, that is, the input average signal amount is determined by giving a gain. Calculate the gain A so that the average signal amount becomes For example, when a final average signal quantity is set to 2 9, the microcomputer 27 of FIG. 2 (1), the raw data is input as shown in (2) and (3), the gain A , respectively, to calculate 2-4, 2-2 and 1. In this case, by Equation (1), in all cases, the maximum value of the signal amount is 2 1 °, and the average signal amount is 2 9.
  • the gain adjustment circuit 26 When the low data is input from the AZD conversion circuit 15, the gain adjustment circuit 26 performs gain adjustment using the gain A output from the microcomputer 27, and converts the low data input from the AZD conversion circuit 15 into a predetermined data. Convert to raw data with average signal amount. As a result, the gain adjustment circuit 26 outputs raw data having a smaller information amount than the input raw data.
  • the gain adjustment circuit 26 reduces the number of bits of the digital signal output from the AZD conversion circuit 15 from 14 bits to 10 bits, that is, 10/14.
  • the gain adjustment circuit 26 outputs the 10-bit raw data (RAW10) with the reduced number of bits to the memory controller 16.
  • the memory controller 16 stores the 10-bit raw data in the SDRAM 17.
  • the memory controller 16 reads the 10-bit raw data stored in the SDRAM 17 and transfers it to the camera signal processing circuit 18.
  • the camera signal processing circuit 18 performs camera signal processing on the transferred raw data, and converts the transferred raw data into a recording signal and a color difference signal (C), which are represented by a luminance signal ( ⁇ ) and a color difference signal (C).
  • YC data for presentation YC
  • the memory controller 16 reads the converted YC data for recording and display from the camera signal processing circuit 18. Then, the data is stored in the SDRAM 17.
  • the camera signal processing circuit 18 performs white balance processing, gamma ( ⁇ ) conversion processing, luminance signal generation processing, color difference signal generation processing, and aperture correction processing for resolution improvement on the mouth data. Which process to apply.
  • the camera signal processing circuit 18 performs a zoom process (described later) using a zoom processing circuit (not shown) in order to generate YC data for display.
  • the memory controller 16 reads out the YC data for display stored in the SDRAM 17 and transfers it to the display circuit 20.
  • the display circuit 20 converts the YC data into a display signal (display data), and outputs the signal to the liquid crystal display element 21.
  • the liquid crystal display element 21 displays an image represented by the display signal.
  • the memory controller 16 When the YC data is compressed and stored in the SDRAM 17, the memory controller 16 reads the YC data for recording stored in the SDRAM 17 and outputs it to the JPEG compression circuit 19.
  • the J PFG compression circuit 19 performs a compression process using a J PEG (Joint Photographic Experts, Group Up) method to generate encoded data (J PC)
  • the memory controller 16 includes a J PEG compression circuit
  • the code data is read from 19 and stored in SDRAM17.
  • the card controller 22 is connected to the SDRAM 17, reads out the JPEG code data stored in the SDRAM 17, and writes it to the recording medium 23.
  • the memory controller 16 and the SDRAM 17 when the number of low data bits stored in the SDRAM 17 by the memory controller 16 and read from the SDRAM 17 is changed from 14 bits to 10 bits Estimate the power consumed by the interface part of.
  • the number of pixels of the imaging element 12 is 5 million pixels, and the number of pixels of one horizontal line is 2560 pixels.
  • the zoom processing is performed by the camera signal processing circuit 18 and the YC data for display (luminance signal S bit, color difference signal S bit) is generated
  • the number of pixels per horizontal line is 720 pixels.
  • the flow of data exchanged between the memory controller 16 and the SDRAM 17 is as follows. First, the memory controller 16 stores the raw data output from the A / D conversion circuit 15 in the SDRAM 17 (1). Next, the memory controller 16 reads the raw data from the SDRAM 17 and outputs it to the camera signal processing circuit 18
  • the memory controller 16 reads out the YC data from the camera signal processing circuit 18 and stores it in the SDRAM 17 (3). Finally, the memory controller 16 reads the YC data from the SDRAM 17 and outputs it to the display circuit 20
  • the memory controller 16 may be controlled by software by a separately provided control circuit (microcomputer).
  • the amount of data exchanged between the memory controller 16 and the SDRAM 17 when the amount of information is reduced is 22% less than V, where the amount of information is not reduced. To some extent.
  • the data is exchanged between the memory controller 16 and the SDRAM 17 Since the data amount of data is proportional to the power consumption of those interface parts, the power consumption of the imaging system according to the present embodiment is lower than the power consumption of the conventional imaging system without reducing the information amount. %become. That is, according to the imaging system of the present embodiment, when the captured image is displayed on the liquid crystal display device 21 by reducing the information amount of the mouthpiece data by the preprocessing circuit 24, the conventional imaging system is used. Compared to the stem 200, it is possible to reduce the electric power by about 22%.
  • the power consumption can be reduced as compared with the conventional imaging system.
  • the data amount of the data is reduced. Therefore, the amount of data exchanged between the memory and the memory controller is reduced, and the power consumption at the interface can be reduced. As a result, it is possible to reduce the power consumption of the imaging system and improve the processing speed.
  • the pre-processing circuit since the pre-processing circuit includes the gain adjustment circuit, the power consumption of the imaging system can be reduced and the processing speed can be improved, and at the same time, the dynamic range of a different signal amount for each screen can be improved. It can be adjusted.
  • the gain adjustment circuit 26 controls the average signal amount for one screen to be constant, but the signal distribution in the screen and the peak in the rain surface are controlled. The same effect as that of the present invention can be obtained even if the target final fixed average signal amount is changed using the level or the state of the aperture of the optical system.
  • the preprocessing circuit includes a gain adjustment circuit, but includes, in addition to the gain adjustment circuit, other circuits such as a gradation correction circuit for reducing the amount of information and a compression circuit. May be.
  • the part that outputs the amount of light converged by the lens as a digital signal is called an imaging device.
  • the imaging device refers to a portion including a solid-state imaging device, an analog circuit, and an AZD conversion circuit.
  • a digital signal processing device a device that exchanges signals with a memory via a memory controller and processes a digital signal stored in the memory.
  • the digital signal processing device is a camera signal processing circuit, a compression circuit, and a display circuit.
  • the imaging system according to the present embodiment differs from the imaging system according to the first embodiment in that the preprocessing circuit has a white balance adjustment circuit and a gradation correction circuit instead of the gain adjustment circuit.
  • FIG. 3 is a block diagram illustrating a configuration of an imaging system according to the second embodiment. 3, the same components as those in FIG. 1 are denoted by the same reference numerals.
  • the preprocessing circuit 31 includes a white balance adjustment circuit 32, a gradation correction circuit 33, a level detection circuit 28, and a microcomputer 2 7 is provided.
  • the components denoted by the same reference numerals as those in FIG. 1 have already been described in the first embodiment, and a description of the configuration and operation thereof will be omitted.
  • the 14-bit raw data (R AW 14) output by the A / D conversion circuit 15 is input to the white balance adjustment circuit 32 of the pre-processing circuit 31.
  • the white balance adjustment circuit 32 converts the 14-bit raw data into 10-bit raw data (RAW10) by subjecting the raw data to white balance processing.
  • the white balance adjustment circuit 32 outputs the converted 10-bit raw data to the gradation correction circuit 33.
  • the gradation correction circuit 33 applies gamma correction processing as gradation correction to the input 10-bit raw data, and converts the 10-bit raw data into 8-bit raw data (RAW 8 ).
  • the gradation correction circuit 33 outputs the 8-bit raw data to the memory controller 16.
  • White balance adjustment refers to adjusting the average signal amount of each of the R, G, and B components of one screen obtained when capturing an achromatic subject so that they are equal.
  • the white balance adjustment circuit 32 performs white balance adjustment on the 14-bit raw data with the gain given from the microcomputer 27 to reduce the signal amount.
  • the 14 raw data R AW 14
  • the level detection circuit 28 detects the average signal amount for one screen of the input raw data.
  • the average signal ⁇ of each of the R (red), G (green), and B (blue) components for one screen is obtained.
  • the level detection circuit 28 outputs the detected average signal amount of each color component to the microcomputer 27.
  • the microcomputer 27 calculates the input R component,
  • Figure 4 shows that when one screen is input to the imaging system (that is, when one scene is captured by the imaging system), the R, B, and G components are applied to the imaging devices 12 and 12.
  • 5 is a graph showing a range of an amount of incident light and a range of a signal amount of a plurality of digital signals output from the A / D conversion circuit 15 at that time.
  • the horizontal axis represents the amount of light incident on the image sensor 12, and the vertical axis represents the signal amount of the digital signal output from the A / D conversion circuit 15.
  • the signal amount of the R component, the signal amount of the G component, and the signal amount of the B component are 0 to 2 14 , 0 to 2 12 , and 0 force, 2 1 0 , respectively.
  • the average signal amount detected by the level detection circuit 28 in these cases is 21 3 , 21 1, and 29 , respectively.
  • the microcomputer 27 calculates the gains Ar, Ag, and Ab so that the average signal amounts of the R, G, and B components for one screen are equal. For example, if the signal amounts of the R, G, and B components are respectively within the ranges shown in FIG. 4, the microcomputer 27 calculates the gain (A) for the R component signal, the G component signal, and the B component signal. r, A g,
  • the white balance adjustment circuit 32 When raw data is input from the AZD conversion circuit 15, the white balance adjustment circuit 32 performs white balance processing on the raw data, and outputs raw data having a smaller information amount than the input mouth data. Output.
  • the tone correction circuit 33 converts the input 10-bit raw data into 8-bit raw data (RAW8) using a nonlinear gamma ( ⁇ ) characteristic as shown in FIG. Convert the 8-bit load Output data.
  • the signal amount is reduced from 14 bits to 8 bits, that is, the raw data (RAW8) power is reduced by a ratio of 814.
  • the subsequent operation of the imaging system is the same as the operation described in the first embodiment, and a description thereof will not be repeated.
  • the power when the number of bits of the raw data stored in the SDRAMI 7 and read from the SDRAM 17 is reduced at a rate of 814 is estimated.
  • the number of pixels of the solid-state imaging device 12 is, for example, 5 million pixels as in the first embodiment
  • the number of pixels in one horizontal line is 2560 pixels
  • the number of pixels for display is determined by the camera signal processing circuit 18.
  • the YC data luminance signal 8 bits, chrominance signal 8 bits
  • the number of pixels per horizontal line is about 20 pixels.
  • the amount of data transferred between the memory controller 16 and the SDRAM 17 is expressed by the following formula per one horizontal line.
  • the memory controller 16 and SDRAM 17 The amount of data exchanged between the two is reduced by about 32% compared to a conventional imaging system that does not reduce the amount of information. That is, by performing white balance adjustment and gradation correction by the white balance adjustment circuit 32 and the gradation correction circuit 33, power consumption can be reduced by about 32% compared to the conventional imaging system 200. Can be.
  • data is Reduce the amount of that data before it is stored in memory. Therefore, the amount of data exchanged between the memory and the memory controller is reduced, and the power consumption at the interface can be reduced. As a result, it is possible to reduce the power consumption of the imaging system and improve the processing speed.
  • the preprocessing circuit includes the white balance adjustment circuit and the gradation correction circuit, the power consumption of the imaging system can be reduced and the processing speed can be improved. Adjustment and gradation correction can be performed.
  • the white balance adjustment is performed on the R component and G component of one screen, assuming that the average signal amounts of the R, G, and B component signals for one screen are equal.
  • the average signal amount of the B and B components is kept constant, even if the above assumptions do not hold, the distribution of colors in the plane and the aperture value of the optical system, etc. A similar effect can be obtained by changing the target constant average signal using other color information.
  • the preprocessing circuit includes a white balance adjustment circuit and a gradation correction circuit, but the preprocessing circuit necessarily includes the white balance adjustment circuit and the gradation correction circuit at the same time. No need to prepare. Even if the preprocessing circuit includes a white balance adjustment circuit and does not include a gradation correction circuit, the amount of data can be reduced although the IJ reduction is different, so the same as in the imaging system according to the present embodiment. The effect of is obtained. Similarly, since the preprocessing circuit includes a gradation correction circuit and does not include a white balance adjustment circuit, the amount of data can be reduced, and the same effect as the imaging system according to the present embodiment can be obtained. Can be
  • the imaging system according to the present embodiment is different from the imaging system according to the second embodiment in that the preprocessing circuit has another white balance adjustment circuit in addition to the white balance adjustment circuit and the gradation correction circuit.
  • FIG. 6 is a block diagram illustrating a configuration of an imaging system according to the third embodiment. 6, the same components as those in FIG. 3 are denoted by the same reference numerals.
  • the pre-processing circuit 61 An information amount reduction circuit including a first white balance adjustment circuit 62, a second white balance adjustment circuit 32, a gradation correction circuit 33, a level detection circuit 28, and a microcomputer 27 is provided.
  • the components denoted by the same reference numerals as those in FIGS. 1 and 3 have already been described in (First Embodiment) and (Second Embodiment), and the description of the configuration and operation is omitted. I do.
  • the 14-bit raw data (RAW14) output by the A / D conversion circuit 15 is input to the first white balance adjustment circuit 62 of the preprocessing circuit 61.
  • the first white balance adjustment circuit 62 performs white balance processing on the input raw data, converts the raw data into 10-bit raw data (RAW10A), and outputs the 10-bit raw data.
  • the first white balance adjustment circuit 62 performs white balance adjustment using a gain that enables white balance to be obtained for a light source having a specific color temperature (T.). This gain is obtained by adjusting the color temperature in the adjustment process before shipment from the factory. An image is taken under the above light source, and the raw data obtained at that time is obtained using the level detection circuit 28 and the microcomputer 27.
  • the first white balance adjustment circuit 62 performs white balance adjustment by fixing the gain to the gain obtained by shooting before shipment.
  • color temperature ⁇ Is preferably an intermediate color (eg, 4500 ⁇ ) for the light source color ⁇ ! ⁇ Distribution range (2500 ⁇ : ⁇ 80008000).
  • the 10-bit raw data (RAW1 OA) output from the first white balance adjustment circuit 62 is input to the second white balance adjustment circuit 32.
  • the second white balance adjustment circuit 32 performs white balance adjustment on the input 10-bit raw data (RAW10A) using a white balance gain according to the light source at the time of imaging, and obtains a 10-bit raw data.
  • the raw data (RAW10B) subjected to the white balance adjustment as described above is input to the gradation correction circuit 33.
  • the gradation correction circuit 33 outputs the raw data (R
  • AW10B is subjected to gamma correction as gradation correction, and the resulting 8-bit raw data (RAW8) is output.
  • the two-stage white balance adjustment is performed on the raw data output from the A / D conversion circuit 15 .
  • Spectral characteristics of imaging devices vary in device sensitivity Is not always constant. For example, even in the same light source, depending on the device, the gain of the white balance 1 0 0 /. The degree may be different.
  • the first white balance adjustment circuit 62 can reduce the influence of the sensitivity variation.
  • FIG. 7 is a graph showing the distribution of white balance adjustment points for each of the image sensors A, B, and C having different sensitivities.
  • (1) in FIG. 7 shows the white balance adjustment points when each of the image sensors is used when the image sensors A, B, and C are used under a light source with a color temperature of 450 OK.
  • (2) of Fig. 7 the white balance adjustment range (thick line) and the white balance detection range (dashed line) for image sensors A, B, and C have been added to the graph shown in (1) of Fig. 7. Things.
  • (3) in Fig. 7 shows the white balance adjustment range and detection range when the white balance adjustment points of the image sensors A, B, and C are matched. In the graphs shown in (1), (2), and (3) of FIG.
  • the vertical axis represents RZB
  • the horizontal axis represents BZG
  • the curve in the figure represents the light source distribution.
  • R, G, and B are the values of the average signal amounts of the R, G, and B component signals obtained when an achromatic subject is imaged under a certain light source by the image sensor. Therefore, the upper left part of the curve in the figure corresponds to a light source such as a halogen light (electric lamp) with a relatively large R component
  • the central part is a fluorescent lamp
  • the lower right part is a relatively B component with a large amount of outdoor light. Equivalent to a light source under cloudy weather.
  • the white balance adjustment points are distributed in the upper left of Fig. 7;
  • the white balance adjustment points when an achromatic subject is imaged with (the B component is large and the R component is small) are distributed in the lower right of FIG.
  • white balance adjustment refers to adjusting the average signal amounts of the R component, G component, and B component obtained as described above using a gain so that they are equal.
  • an image captured under a yellow light can be converted into an image with preferable color reproduction as if it was captured outdoors.
  • (1) in FIG. 7 shows a white balance adjustment point when the imaging devices A, B, and C are used under a light source with a color temperature of 450 K.
  • the white balance adjustment point when the image sensor A is used is on the curve, but the image sensor B, When C is used, the white balance adjustment point is not on the curve but at a slightly shifted position. This is because, even when a light source having the same color temperature of 450 OK is used, there is a difference in the characteristics of each image sensor that senses R component, G component and B component light, that is, spectral characteristics.
  • the ratio of the gain given to each of the R component, G component, and B component signals is as follows:
  • R: G: B 1: 1 : 1
  • R: G: B 0.8: 1: 1
  • R: G: B 0.9, respectively.
  • the white balance adjustment range (thick line) of each image sensor is the distribution of the white balance adjustment points when the image sensor is used for shooting from a halogen light source to under cloudy weather, for example.
  • the white balance detection range is determined as follows.
  • the light source is generally determined based on the average color distribution of the image being captured.However, since there is no guarantee that the subject is achromatic, is it an image signal that may be achromatic? From the light source. Therefore, signals that fall within the white balance detection range are defined as image signals that may be achromatic, and only video signals that fall within the white balance detection range (broken line) are collected, and the average value of the signal amount for each color component is calculated. And obtain the signal of the average value that is the basis of the light source judgment.
  • the adjustment range and detection range of the white balance must be adjusted for each element. Adjusting these adjustment ranges and detection ranges complicates the product adjustment process and complicates the software for white balance adjustment.
  • the white balance adjustment points at the color temperature of 450 OK are matched by the first white balance adjustment circuit 62 for the imaging elements having different sensitivities.
  • one color temperature 450 K
  • the adjustment range and the detection range of the white balance can be limited to one. Therefore, when the white balance adjustment is performed by the second white balance adjustment circuit 32 under the conditions at the time of shooting, the limited white balance adjustment range and White balance adjustment can be performed using the detection range.
  • the amount of raw data is reduced as in the imaging system according to the second embodiment. Therefore, the power consumption of the imaging system 60 can be reduced by about 32% as compared with the conventional imaging system 100.
  • the data amount of the data is reduced. Therefore, the amount of data exchanged between the memory and the memory controller is reduced, and the power consumption at the interface can be reduced. As a result, it is possible to reduce the power consumption of the imaging system and improve the processing speed.
  • the preprocessing circuit since the preprocessing circuit includes the white balance adjustment circuit and the gradation correction circuit, it is possible to reduce the power consumption and improve the processing speed of the imaging system, and at the same time, to adjust the white balance. And gradation correction can be performed.
  • the imaging system according to the present embodiment can reduce the influence of variations in the sensitivity of the imaging device, and can easily design and adjust the camera system.
  • the preprocessing circuit includes a first white balance adjustment circuit, a second white balance adjustment circuit, and a gradation correction circuit. It is not always necessary to provide a tone correction circuit. Even though the preprocessing circuit includes the first and second white balance adjustment circuits and does not include the gradation correction circuit, the amount of data is reduced although the amount of reduction is different. Therefore, the same effects as those of the imaging system according to the present embodiment can be obtained. (Fourth embodiment)
  • the imaging system according to the present embodiment is different from the imaging system according to the third embodiment in that the preprocessing circuit includes a first white balance adjustment circuit, a gradation correction circuit, and a second white balance adjustment circuit. And a compression circuit. By performing the compression processing in this compression circuit, the information amount of the raw data is reduced.
  • FIG. 8 is a block diagram illustrating a configuration of an imaging system according to the fourth embodiment. 8, the same components as those in FIG. 6 are denoted by the same reference numerals.
  • the preprocessing circuit 81 performs the first white balance adjustment!
  • An information amount reduction circuit including a U road 62, a second white balance adjustment circuit 32, a gradation correction circuit 33, a compression circuit 82, a level detection circuit 28, and a microcomputer 27 is provided.
  • the components denoted by the same reference numerals as those in FIGS. 1, 3, and 6 have already been described in (First Embodiment) to (Third Embodiment). Is omitted.
  • the 8-bit raw data (RAW8) output from the gradation correction circuit 33 is input to the compression circuit 82.
  • the compression circuit 82 performs a compression process on the 8-bit raw data (RAW8) by using an adaptive differential passive code modulation (ADPCM).
  • ADPCM here is, for example, the same color component signals of raw data (RAW8) are grouped every 8 pixels, and the value of the pixel (signal amount) following the first pixel is calculated as the difference between the value of the first pixel (lead value). It converts the raw data format into the data format of the head value and its difference.
  • the data amount can be reduced as compared with.
  • the signals are grouped for each color component because signals of the same color component have high correlation in the vicinity. Also, the reason why signals are grouped every eight pixels is that when only a part of raw data is used in camera signal processing, it takes time to obtain desired data if the number of pixels for which the difference operation is performed is large. is there.
  • the camera signal processing circuit requires a decompression circuit that decompresses the raw data compressed by the ADP CM.
  • the power is estimated when the bit number of the mouth data output from the preprocessing circuit is reduced by 8/14 and compressed.
  • the camera signal processing circuit 18 expands the compressed raw data to generate YC data.
  • the number of pixels of the solid-state imaging device 12 is 5 million
  • the number of pixels of one horizontal line is 2560.
  • the camera signal processing circuit 18 when the camera signal processing circuit 18 generates YC data for display (8-bit luminance signal, 8-bit color difference signal), the number of pixels per horizontal line is set to 720 pixels. I do.
  • the amount of data exchanged between the memory controller 16 and the SDRAM 17 is expressed by the following equation per one horizontal line.
  • the imaging system 80 can reduce power consumption by 42% 3 ⁇ 4g as compared with the conventional imaging system 200.
  • the imaging system according to the present embodiment before the data is stored in the memory by the memory controller, the data amount of the data is reduced. Therefore, the amount of data exchanged between the memory and the memory controller is reduced, and the power consumption at the interface can be reduced. As a result, the power consumption of the imaging system can be reduced and the processing speed can be improved.
  • the pre-processing circuit since the pre-processing circuit includes the white balance adjustment circuit and the gradation correction circuit, it is possible to reduce the power consumption and improve the processing speed of the imaging system, and at the same time, achieve the white balance adjustment and Key correction can be performed.
  • the compression method of the compression circuit is
  • the compression ratio of the compression circuit as the preprocessing circuit is about 1Z2, but it goes without saying that increasing the compression ratio increases the effect of reducing power consumption. .
  • the image quality deteriorates.
  • the compression method is a lossless compression method instead of the irreversible compression method such as ADPCM, it is possible to avoid deterioration in image quality.
  • the compression circuit as the preprocessing circuit performs fixed-length compression. This is to make it easy to see where the necessary data is located on the SDRAM, for example, when only a part of the raw data is used.
  • variable-length coding instead of fixed-length coding, the compression ratio can be increased.
  • the configuration of the memory controller becomes complicated.
  • the preprocessing circuit includes a first white balance adjustment circuit, a second white balance adjustment circuit, a gradation correction circuit, and a compression circuit.
  • a compression circuit is provided and a white balance adjustment circuit and a gradation correction circuit are not included, there is a difference in the amount of reduction, but the amount of data can be reduced. Similar effects can be obtained.
  • the imaging system sets the signal processing mode by the mode setting circuit, and controls the function of the preprocessing circuit according to the set mode by the function control circuit.
  • processing according to the shooting mode can be performed while reducing power consumption. More specifically, processing can be performed with emphasis on reducing power consumption when shooting moving images, and with image quality when shooting still images.
  • FIG. 9 shows a configuration of an imaging system according to the fifth embodiment.
  • the imaging system 90 includes an optical lens 11, a solid-state imaging device 12, a drive circuit 13 for the solid-state imaging device 12, an analog circuit 14, an AZD conversion circuit 15, a memory controller 16, and a storage circuit. SDRAM17, camera signal processing circuit 18, JP
  • the preprocessing circuit 91 includes a first white balance adjustment circuit 62, a second white balance adjustment circuit 32, a gradation correction circuit, a level detection circuit 28, and an information amount reduction circuit including the microcomputer 27.
  • the function control circuit 92 includes three switches 93, 94, and 95 that can switch an input signal according to a setting mode.
  • the imaging system 90 according to the present embodiment is different from the imaging system according to the embodiments described above in that a function control circuit 92 is provided.
  • the second white balance adjustment circuit 32 and the gradation correction circuit 33 constitute a partial information amount reduction circuit 96.
  • the microcomputer 27 is configured to also function as a mode setting circuit.
  • the microcomputer 27 can set the mode for the drive circuit 13 and the switches 93 (SW1), 94 (SW2), and 95 (SW3) of the function control circuit 92.
  • the microcomputer 27 that operates as a mode setting circuit sets the video mode for the drive circuit 13 and the switches 93, 94, and 95 of the function control circuit 92.
  • the drive circuit 13 drives the solid-state imaging device 12 in the moving image mode.
  • the output signal of the solid-state imaging device 12 is processed by the analog circuit 14, and the analog signal is converted into a digital signal by the A / D conversion circuit 15.
  • the 14-bit raw data (RAW14) obtained by the A / D conversion is input to the first white balance adjustment circuit 62.
  • the first white balance adjustment circuit 62 converts 14-bit data into 10-bit raw data (RAW1 OA) by white balance adjustment, and outputs the 10-bit raw data. Output raw data. Further, the first white balance adjustment circuit 62 performs light source information extraction processing, gain calculation, and the like for the input raw data (RAW14).
  • the raw data (RAW10A) output from the first white balance adjustment circuit 62 is input to the function control circuit 92.
  • the function control circuit 92 is set to the moving image mode by the microcomputer 27 operating as a mode setting circuit.
  • the first white balance adjustment circuit 62 passes the raw data (RAW10A) power S input to the function control circuit 92 to the second white balance adjustment circuit 32 and the floor through the switch 94. (SW2).
  • the partial information amount reduction circuit 96 including the tone correction circuit 33 is input.
  • the raw data (RAW10A) input to the partial information amount reduction circuit 96 is subjected to white balance adjustment by the second white balance adjustment circuit 32.
  • the white balance information such as light source information used for the white balance adjustment is obtained before the input raw data (RAW10A) is white-balanced by the first white balance adjustment circuit 62.
  • This is information on the raw data input to the first white balance adjustment circuit 62 immediately before the data is input to the first white balance adjustment circuit 62.
  • the second white balance adjustment circuit 32 performs white balance adjustment on the input raw data in the same manner as in the third embodiment, and outputs the resulting mouth data (RAW10B).
  • the raw data (RAW10B) output from the second white balance adjustment circuit 32 is input to the gradation correction circuit 33, and the gradation correction circuit 33 performs gamma correction processing. Therefore, the partial information amount reducing circuit 96 outputs 8-bit raw data (RAW8).
  • the raw data (RA W8) is input to the function control circuit 92, and is output to the memory controller 16 through the switch 93 (SW1).
  • the memory controller 16 stores the raw data (RAW8) in the DRAM 17.
  • the memory controller 16 reads the row data stored in the SDRAM 17 and outputs it to the function control circuit 92.
  • the function control circuit 92 transfers the raw data (RAW8) input from the memory controller 16 to the camera signal processing circuit 18 through the switch 95 (SW3) because the video mode is set.
  • the camera signal processing circuit 18 performs camera signal processing on the transferred raw data (RAW8), and converts the raw data (RAW8) into YC data (YC) represented by a luminance signal (Y) and a color difference signal (C). Convert to
  • the memory controller 16 reads the converted YC data from the camera signal processing circuit 18 and stores it in the SDRAM 17 again.
  • the subsequent operation of the imaging system is the same as the operation described in the first embodiment, and a description thereof will not be repeated.
  • the power consumption of the imaging system 90 is reduced by about 32% as in the imaging system 60 according to the third embodiment.
  • white balance adjustment it is desirable to perform gain adjustment on the raw data using the white balance information of the input raw data.
  • extracting the light source information from the raw data requires the time required to capture one screen of raw data.
  • the white balance adjustment circuit for example, raw data of 30 images is captured per second
  • the next raw data is input to the white balance adjustment circuit. Therefore, in the video mode, when performing white balance adjustment of the mouth data, the mouth data obtained immediately before the raw data is obtained by the imaging system (for example, the mouth of 30 images per second)
  • white balance processing is performed using the light source information of the raw data captured 130 seconds ago).
  • the imaging system 90 when the moving image mode, white balance information obtained by the first white balance adjusting circuit 6 2, then the first white balance adjustment circuit 62 inputs Raw data (RAW14) power s , followed by a second white balance adjustment circuit
  • the second white balance adjustment circuit 32 is used to adjust the white balance.
  • the microcomputer 27 as a mode setting circuit sets the still image mode for the switches 93, 94, and 95 of the drive circuit 13 and the function control circuit 92.
  • the drive circuit 13 drives the solid-state imaging device 12 in the still image mode.
  • an output signal of the solid-state imaging device 12 is processed by an analog circuit 14, and the analog signal is converted into a digital signal by an AZD conversion circuit 15.
  • the AZD-converted 14-bit raw data (RAW14) is input to the first white balance adjustment circuit 62.
  • the first white balance adjustment circuit 62 converts the 14-bit raw data into 10-bit raw data (RAW1 OA) by white balance adjustment, as in the third embodiment. Output raw data. Further, the first white balance adjustment circuit 62 performs light source information extraction, gain calculation, and the like for the input raw data (RAW14).
  • the raw data (RAW10A) output from the first white balance adjustment circuit 62 is input to the function control circuit 92.
  • the function control circuit 92 is set to the still image mode by the microcomputer 27 as a mode setting circuit. In the still image mode, the data is input to the memory controller 16 through the raw data (RAW1OA) input from the first white balance adjustment circuit 62 and the switch 93 (SW1).
  • the memory controller 16 stores the raw data (RAW10A) in the SDRAM 17.
  • the memory controller 16 reads the raw data (RAW10A) stored in the SDRAM 17 and outputs it to the function control circuit 92.
  • the function control circuit 92 is set to the still image mode by the microcomputer 27 operating as a mode setting circuit.
  • the raw data (RAW1 OA) input to the function control circuit 92 from the first white balance adjustment circuit 62 is input to the partial information amount reduction circuit 96 through the switch 94 (SW2). .
  • the 10-bit raw data (RAW 10) input to the partial information amount reduction circuit 96 is The white balance adjustment circuit 32 adjusts the white balance.
  • the white balance information such as the light source information used for the white balance adjustment is obtained by the first white balance adjustment circuit 62 when the raw data is input to the first white balance adjustment circuit 62.
  • White Balance II Blue Report The second white balance adjustment circuit 32 performs white balance adjustment on the input raw data in the same manner as in the third embodiment, and then applies the white balance adjusted raw data to the gradation correction circuit 33.
  • Output to The P tone correction circuit 33 converts the input raw data into 8-bit raw data (RAW8) by gamma correction processing, and outputs it.
  • the 8-bit raw data (RAW8) output from the partial information amount reduction circuit 96 is input to the function control circuit 92.
  • the input 8-bit raw data is transferred to the camera signal processing circuit 18 through the switch 95 (SW3).
  • the camera signal processing circuit 18 performs camera signal processing on the transferred raw data and converts the input raw data into YC data (YC) represented by a luminance signal (Y) and a color difference signal (C). Convert.
  • the memory controller 16 reads the converted YC data from the camera signal processing circuit 18 and stores it in the SDRAM 17 again. The subsequent operation of the imaging system is the same as the operation described in the first embodiment, and a description thereof will not be repeated.
  • the raw data (RAW10A) is stored in the SDR AMI 7 before the amount of information is reduced to 8 bits. Therefore, the power consumed by the imaging system 91 is reduced by about 22% as compared with the conventional imaging system, as in the first embodiment.
  • the raw data output from the AZD conversion circuit 15 is temporarily stored in the SDRAM 17 and then white balance adjustment is performed.
  • the raw data is stored in the SDRAM 17 and read out from the SDRAM 17, and the second white balance adjustment circuit 32 stores the raw data in the second white balance adjustment circuit 32. It is possible to perform white balance adjustment using the gain calculated by the white balance adjustment circuit 62 in (1). You. Therefore, between the time when the raw data is input to the first white balance adjustment circuit 62 and the time when the raw data is output from the third white balance adjustment circuit 32, the white balance setting of the raw data is directly adjusted. Calculation is possible, and white balance adjustment can be performed on the input raw data using the information of the raw data. Therefore, a high-quality image with high white balance accuracy can be obtained.
  • white balance adjustment it is desirable to perform gain adjustment on input raw data using the information of the raw data.
  • a white balance gain is calculated based on the light source information extracted from the acquired raw data for one screen, and the obtained white balance gain is used to calculate the white balance gain. To adjust the white balance.
  • white balance adjustment can be performed on the captured raw data using the white balance information of the captured raw data.
  • the raw data of the taken image is compared with the raw data of the image taken into the imaging system immediately before. There is no major problem if the white balance is adjusted using the white balance information of the data.
  • the processing time is more limited than in moving images that require repetitive processing, so image quality is more important than reducing power consumption.
  • the imaging system according to the present embodiment can perform processing in accordance with the shooting mode. In the moving image shooting mode, emphasis is placed on reducing power consumption, and in the still image shooting mode, emphasis is placed on image quality. It is possible to do.
  • the imaging system includes a preprocessing circuit between an AZD conversion circuit and a memory controller, and the preprocessing circuit includes an AZD conversion circuit. It is equipped with a thinning circuit that thins out the bite data output from. These imaging systems reduce the number of data by thinning out the raw data using a thinning circuit, thereby reducing the amount of raw data, thereby reducing power consumption at the interface between the SDRAM and the memory controller. Shiro It is something.
  • FIG. 10 is a block diagram illustrating a configuration of an imaging system according to the sixth embodiment of the present invention. 10, the same components as those of the imaging system of FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted.
  • the preprocessing circuit 102 in the imaging system 100 includes a thinning circuit 103.
  • the camera signal processing circuit 18 includes a zoom processing circuit 104.
  • the preprocessing circuit 102 is connected to the A / D conversion circuit 15 and receives the signal output from the AZD conversion circuit 15 and outputs it. Note that the preprocessing circuit 102 does not reduce the amount of signal information. For example, when the information amount of the signal output from the AZD conversion circuit 15 is 10 bits, the information amount of the raw data output from the preprocessing circuit 102 remains 10 bits.
  • the solid-state imaging device 12 is, for example, a charge-coupled device (hereinafter, referred to as “CCD”).
  • CCD charge-coupled device
  • the solid-state imaging device 12 includes a large number of pixels arranged two-dimensionally. For example, when the number of pixels of the solid-state imaging device 12 is 500,000, it has an effective pixel number of 256 pixels and 1920 lines in the horizontal and vertical directions, respectively.
  • the solid-state imaging device 12 has a photodiode corresponding to each pixel.
  • One of a red filter, a green filter, and a blue filter is disposed on each photodiode.
  • FIG. 11 shows an example of an array of color filters provided in each pixel of the image sensor 12.
  • Figure 11 shows a partial array (4 X
  • the entire color filter is a collection of a plurality of these partial arrays.
  • R is a red filter
  • G is a green filter
  • B is a blue filter.
  • the arrangement of the color filters in the image sensor 12 includes a horizontal line in which red filters (R) and green filters (G) are alternately arranged in the horizontal direction, and a green filter (G). ) And the horizontal lines in which the blue filters (B) are alternately arranged in the horizontal direction are alternately arranged in the vertical direction.
  • the image pickup device 12 When the image pickup device 12 is irradiated with light, the image pickup device 12 generates an electric signal for each pixel.
  • the AZD conversion circuit 15 outputs digital data (hereinafter, referred to as “pixel data”) corresponding to each pixel of the image sensor 12 c
  • pixel data corresponding to a pixel having a red filter in the image sensor 12 is R data
  • pixel data corresponding to a pixel having a green filter is G data
  • pixel data corresponding to a pixel having a blue filter is B data.
  • FIG. 12 is a timing chart showing a digital signal (raw data) output from the AZD conversion circuit 15 when the color filters of the image sensor 12 are arranged as shown in FIG. (1) in FIG. 12 shows a horizontal synchronization signal, and (2) in FIG. 12 shows raw data.
  • the AZD conversion circuit 15 outputs, for each pixel array (horizontal line) in the horizontal direction in the image sensor 12, pixel data corresponding to a plurality of pixels in the horizontal line.
  • a horizontal line in which red filters (R) and green filters (G) are alternately arranged and a green filter
  • the preprocessing circuit 102 outputs the input raw data to the memory controller 16 as it is.
  • the thinning circuit 103 in the preprocessing circuit 102 outputs an SDRAM write control signal (indicated by a 1 in FIG. 10) to the memory controller 16. That is, the preprocessing circuit 102 simultaneously outputs the mouth data and the SDRAM write control signal to the memory controller 16.
  • FIG. 13 is a timing chart for explaining the low data and the SDRAM write control signal.
  • (1) is raw data input to the preprocessing circuit 102
  • (2) is raw data input to the memory controller 16
  • (3) is SDRAM write data input to the memory controller 16.
  • 5 shows the control signal for the reset operation.
  • the SDRAM write control signal goes high at regular intervals. Specifically, the SDRAM write control signal is set to a high level when certain pixel data is W
  • the SDRAM write control signal goes high again when the third pixel data is input after the two pixel data are input to the memory controller 16.
  • the SDRAM write control signal is high (HI) to indicate that writing to SDRAM 17 is enabled, and low (LO) to
  • the memory controller 16 reads, from the SDRAM 17, the raw data in which the number of pixel data (that is, the number of data) is reduced by the thinning circuit 103, and transfers it to the camera signal processing circuit 18.
  • the camera signal processing circuit 18 performs camera signal processing on the raw data to generate YC data (YC) represented by a luminance signal (Y) and a color difference signal (C).
  • the memory controller 16 reads out the YC data and stores it in the SDRAM 17.
  • the camera signal processing circuit 18 performs processing such as white balance processing, y conversion processing, luminance signal generation processing, color difference signal generation processing, and aperture correction processing for improving resolution on the raw data.
  • the zoom processing circuit 104 performs a zoom process (described later) on the raw data. By this zoom processing, the pixel data corresponding to one horizontal line of the image sensor 12 is further reduced.
  • the 16 reads out the display YC data stored in the SDRAM 17 and transfers it to the display circuit 20.
  • the display circuit 20 converts the YC data into a display signal (display data), and outputs the signal to the liquid crystal display element 21.
  • the liquid crystal display element 21 displays an image represented by the display signal.
  • the memory controller 16 reads the YC data stored in the SDRAM 17 and outputs it to the JPEG compression circuit 19.
  • the JP FG compression circuit 19 performs compression processing according to the JPEG method to generate encoded data (JPC).
  • the memory controller 16 reads out the code data from the JPEG compression circuit 19 and stores it in the SDRAM 17.
  • the card controller 22 is connected to the SDRAM 17, reads out the JPEG code data stored in the SDRAM 17, and writes it to the recording medium 23.
  • the power consumed at the interface between the memory controller 16 and the SDRAM 17 is estimated.
  • a case where a captured image is displayed on the liquid crystal display device 21 will be considered.
  • the information amount of the raw data output from the preprocessing circuit 102 is 10 bits.
  • the number of pixels of the image sensor 12 is set to 500,000 pixels, and the number of pixels of one horizontal line is set to 2560 pixels.
  • the zoom signal (interpolation and decimation processing) is applied by the camera signal processing circuit 18 to generate YC data for display (8-bit luminance signal and 8-bit color difference signal)
  • YC data 8-bit luminance signal and 8-bit color difference signal
  • one horizontal The number of pixels per line (number of pixel data) is 720 pixels.
  • the amount of data exchanged between the memory controller 16 and the SDRAM 17 is expressed by the following formula (6) per one horizontal line.
  • the number of pixels in one horizontal line is 853 pixels.
  • the memory is not determined when thinning is performed or not.
  • the power consumption of the imaging system according to the present embodiment is reduced. This is 54% of the power consumption of a conventional imaging system that does not perform this operation. That is, according to the imaging system of the present embodiment, by performing the thinning-out by the thinning-out circuit 15, when displaying the taken image on the liquid crystal display device 21, it is possible to reduce power by about 46%. it can.
  • the power consumption can be reduced as compared with the conventional imaging system.
  • the imaging system of the present embodiment when performing signal processing in the camera signal processing circuit 18, the amount of raw data read from the SDRAM 17 is reduced as compared with the conventional imaging system. Therefore, the processing speed when reading the raw data from the SDRAM 17 increases.
  • the number of raw data to be written to the SDRAM 17 is reduced to 1 Z 3 by performing the thinning by the thinning circuit 15, but the ratio of the reduction of X II is limited to this. I can't. For example, it can be reduced to 1Z2.
  • FIG. 14 is a timing chart for explaining the mouth data and the SDRAM write control signal when the number of raw data to be written to the SDRAM 17 is reduced to 1Z2.
  • (1) indicates raw data input to the pre-processing circuit 102
  • (2) indicates raw data input to the memory controller 16
  • (3) indicates raw data input to the memory controller 16. Indicates the input SDRAM write control signal. Referring to FIG.
  • the SDRAM write control signal is supplied to the memory controller 16 by 2
  • the level changes. In other words, if the level is high when one R data and G data are input continuously, the level becomes low when the next R data and G data are input. Even in this case, the same effect as the imaging system according to the present embodiment can be obtained.
  • the output signal of the image sensor 12 can be thinned out in the vertical direction, that is, the number of horizontal lines can be thinned out.
  • a signal decimated in the vertical direction by the drive circuit 13 is output from the solid-state imaging device 12, and the signal is transmitted via the analog signal 14 to the AZD conversion circuit 1. Entered in 5.
  • FIG. 15 is a block diagram showing a configuration of an imaging system according to the seventh embodiment of the present invention.
  • the imaging system 110 according to the present embodiment differs from the imaging system according to the sixth embodiment in that a release button and a release that detects the state of the release button (whether the release button is pressed or not) are detected. It has a detection circuit and a microcomputer. The microcomputer controls the thinning circuit according to the state of the release button.
  • the imaging system 110 includes a release button 111, a release detection circuit 112, and a microcomputer 113.
  • the release detection circuit 112 is connected to the release button 111, and outputs a signal to the microcomputer 113 indicating whether or not the release button 111 has been pressed by the user.
  • the microcomputer 113 is connected to the thinning circuit 103 and the memory controller 16, and controls the thinning circuit 103 and the memory controller 16 according to a signal from the release detecting circuit 112.
  • the operation from the time when light enters the optical lens 11 to the time when the AZD conversion circuit 15 outputs a digital signal is the same regardless of the state of the release button 11. This is as described in the first embodiment. However, the operation after the AZD conversion circuit 15 outputs a digital signal to the preprocessing circuit 102 differs depending on whether the release button 111 is pressed or not. Release Normally, when the button 111 is not pressed and the button is in the up position, the digital still camera does not shoot a still image, and displays an image of the shooting angle of view on the LCD for confirmation of shooting. (Hereinafter referred to as “monitor mode”).
  • the preprocessing circuit 102 performs the thinning process as described in the sixth embodiment, and stores the reduced data in the memory 17 in the memory 17.
  • the operation from when the raw data is read and output to the camera signal processing circuit 18 to when the YC data generated by the camera signal processing circuit 18 is output to the display circuit 20 is as described in the first embodiment. As described in the embodiment.
  • the release detection circuit 1 12 may output a signal indicating that the release button 11 1 is not pressed from the release detection circuit 1 12 or output any signal. You don't have to.
  • the thinning circuit 103 always outputs a high-level SDRAM write control signal. At this time, all the raw data output from the preprocessing circuit 102 to the memory controller 16 is stored in the SDR AMI 7 by the memory controller 16.
  • the operation of the imaging system after the raw data is stored in the SDRAM 16 is the same in both the monitor mode and the still image mode. This operation is as follows.
  • the memory controller 16 reads the raw data stored in the SDRAM 17 and transfers it to the camera signal processing circuit 18.
  • the camera signal processing circuit 18 performs camera signal processing on the raw data to generate YC data (YC) represented by a luminance signal (Y) and a color difference signal (C).
  • the memory controller 16 reads out the YC data and stores it in the SDRAM 17.
  • the camera signal processing circuit 18 performs processing such as white balance processing, "V conversion processing, luminance signal generation processing, color difference signal generation processing, and aperture correction processing for resolution improvement" on the raw data.
  • the memory controller 16 reads out the YC data for recording stored in the SDRAM 17 and outputs it to the JPEG compression circuit 19.
  • the JPFG compression circuit 19 performs compression processing according to the JPEG method to generate encoded data (JPC).
  • the memory controller 16 reads out the code data from the JPEG compression circuit 19 and stores it in the SDR AMI 7.
  • the code data stored in the SDRAM 17 is read by the card controller 122 and written to the recording medium 23.
  • the operation of the thinning circuit can be changed between the monitor mode in which it is not necessary to display a high-resolution image and the still image mode in which a high-resolution image must be recorded. it can.
  • the mode is switched between the monitor mode and the still surface mode, but the mode is further switched between the moeta mode, the still image mode, and the moving image mode. May be performed.
  • Figure 16 is a block diagram showing the configuration of an imaging system that switches between these modes.
  • the imaging system 115 in FIG. 16 differs from the imaging system .110 in FIG. 15 in further including a mode switching switch 116 and an MPEG (Moving Picture Ex- pends Group) compression circuit 117.
  • MPEG Motion Picture Ex- pends Group
  • the user can use the mode switching switch 116 to input a mode to the imaging system.
  • the mode switching switch 116 outputs to the microcomputer 113 a signal indicating which mode the user has selected.
  • the microcomputer 113 outputs a signal indicating that the release button 111 has been pressed from the release detecting circuit 112
  • the thinning circuit 103 performs the thinning processing regardless of which mode the user selects.
  • the mode switching switch 116 provides a signal indicating that the user has selected the still image mode. Is input, the memory controller 16 is instructed to read the YC data for recording from the SDRAM 17 and transfer it to the JPEG compression circuit 19, and the mode switching switch 116 allows the user to set the video mode.
  • the memory controller 16 is instructed to read the YC data for recording from the SDRAM 17 and transfer it to the MPEG compression circuit 117.
  • the photodiode in the image sensor 12 can be controlled by the drive circuit 13. Therefore, at the same time as thinning out the data of each horizontal line, it is also possible to thin out the output signal of the image sensor 12 in the vertical direction, that is, to thin out the number of horizontal lines.
  • the imaging system includes a zoom processing circuit including a trapping circuit and a thinning circuit as a preprocessing circuit between the A / D conversion circuit and the memory controller.
  • FIG. 17 is a block diagram illustrating a configuration of an imaging system according to the eighth embodiment of the present invention. 17, the same components as those of the imaging system of FIG. 17 are denoted by the same reference numerals, and description thereof will be omitted.
  • the imaging system 120 according to the present embodiment differs from the imaging system 115 according to the sixth embodiment in that the preprocessing circuit 102 has a zoom processing circuit 121 including a thinning circuit and an interpolation circuit.
  • FIG. 18 is a block diagram showing the configuration of the zoom processing circuit 121.
  • the zoom processing circuit 121 includes a thinning circuit 103 and a sampling circuit 122.
  • the low data output from the A / D conversion circuit 15 is input to the interpolation circuit 122.
  • the data output from the interpolation circuit 122 is input to the memory controller 16.
  • FIG. 19 is a diagram showing a configuration of the interpolation circuit 122.
  • the interpolation circuit 122 includes a delay flip prop (delayf 1 ip—f 1 op: hereinafter, referred to as “D flip-flop J”) 125, a first multiplication circuit 126, and a second multiplication circuit. It has a circuit 127 and an addition circuit 128.
  • the signal input to the interpolation circuit 122 is branched into two (“separation”). Not J.
  • the signal input to the interpolation circuit 122 flows in two directions. One is input to the D flip-flop 125, and the other is input to the second multiplying circuit 127.
  • the D flip-flop 125 delays the input signal by two clocks (one clock is one cycle of the operating frequency of the imaging system) and outputs the delayed signal to the first multiplication circuit 126.
  • the first multiplication circuit 126 multiplies the input signal by k (k is a zoom coefficient) and outputs a signal multiplied by k
  • the second multiplication circuit 127 converts the input signal by (l ⁇ k) and output a signal multiplied by (1-1 k).
  • the signals output from the first multiplication circuit 126 and the second multiplication circuit 127 are input to the addition circuit 128, respectively.
  • the addition circuit 128 adds the output signal of the first multiplication circuit 126 and the output signal of the second multiplication circuit 127, and outputs a signal obtained as a result to the memory controller 16.
  • the adder circuit 128 performs a process of adding 1-k times the pixel data of a certain central pixel and k times the pixel data output two clocks earlier than the pixel data of the central pixel.
  • FIG. 20 shows the timing for explaining the row data input to the memory controller 16 and the SDRAM write control signal when the interpolation circuit 122 outputs the low data to the memory controller 16.
  • (1) is the raw data input to the pre-processing circuit 102
  • (2) is the raw data input to the memory controller 16
  • (3) is the zoom coefficient k (0 ⁇ k ⁇
  • R data is input to the interpolation circuit 122.
  • the R data input to the interpolation circuit 122 branches into two, one of which is input to the D flip-flop 125, and the other of which is input to the second multiplication circuit 127.
  • Figure 20
  • the R data multiplied by 2Z3 is output from the second multiplication circuit 127 to the addition circuit 128.
  • the R data output from the first multiplier 126 is Is output from the adder circuit 128 with a delay of two clocks. Therefore, only the R data multiplied by 2/3 is output to the adder circuit 128, and the interpolating circuit 122 outputs the R data multiplied by 2/3 to the memory controller 16. This is the same for the G data that is then input to the intercepting circuit 122.
  • the zoom coefficient is 2/3.
  • the second R data is input to the interpolation circuit 122.
  • This R data also branches into two, as described above, one of which is input to the D flip-flop 125 and the other is input to the second multiplication circuit 127.
  • the zoom coefficient at this time is 1 ⁇ 3, and the R data input to the second multiplication circuit 127 is multiplied by 2 ⁇ 3.
  • the R data multiplied by 2 to 3 (hereinafter, referred to as “first R data J”) is output to the adder circuit 128.
  • the first multiplier circuit 126 outputs the adder circuit.
  • second R data J obtained by multiplying the R data input to the interpolating circuit 1 2 2 by 1 to 3 times two clocks before (hereinafter, “second R data J”) is output to 1 2 8.
  • Adder circuit 1 2 8 Adds the first R data and the second R data and outputs the resulting R data to the memory controller 16.
  • FIG. 20 shows an SDRAM write control signal output to the memory controller 16 simultaneously with the low data shown in (2) in FIG.
  • the SDRAM write control signal goes high at a constant cycle. Specifically, the SDRAM write control signal is low level when the R data and G data are first input to the memory controller 16, respectively, and then the two pixel data It goes high when (the second R data and the second G data) are input to the memory controller 16. Then, the SDRAM write control signal is output after the two pixel data are input to the memory controller 16. Subsequently, when two pieces of pixel data (third R data and third G data) are input, the level goes low again.
  • the signal level of the SDRAM write control signal changes every time pixel data is input to the memory controller 16 two by two. Only pixel data input to the memory controller 16 is output from the memory controller 16 to the SDRAM 17 at the same timing as when the SDRAM write control signal becomes high.
  • FIG. 21 shows the relative positional relationship between the R data and the G data in the raw data after the above-described zoom processing (interpolation processing and thinning processing).
  • in mouth data R data and G data are arranged at equal intervals.
  • Such an equidistant positional relationship between the R data and the G data can be realized by properly selecting the zoom coefficient in the interpolation processing and the thinning rate in the thinning processing.
  • the AZD conversion circuit 15 The signal stored in the SDRAM 17 via the circuit 102 and the memory controller 16 is a signal obtained as a result of performing interpolation processing on all pixel data output from the AD conversion circuit 15. Therefore, there is an effect that the processing is performed on these signals, and the quality of an image displayed using the processed signals is improved.
  • the imaging system of the present embodiment when performing signal processing in the camera signal processing circuit 18, the amount of raw data read from the SDRAM 17 is reduced as compared with the conventional imaging system. Therefore, the processing speed when reading the raw data from the SDRAM 17 increases.
  • FIG. 22 is a block diagram showing another configuration of the interception circuit 122.
  • the interpolation circuit 122 includes multiplication circuits 130 and 131 instead of the multiplication circuits 126 and 127.
  • the interpolating circuit 122 generates a signal obtained by doubling the first signal corresponding to a certain pixel and a second signal output two clocks earlier than the first signal.
  • a process of adding the multiplied signal and a signal obtained by multiplying the first signal by a factor of 2 and delaying the output of the third signal by 1 clock is added and averaged.
  • the raw data after the interpolation processing is input to the memory controller 16.
  • Fig. 23 shows a memory controller that performs 1 / 3x zoom processing on the raw data output by the AZD conversion circuit 15 when the color filters of the image sensor 12 are arranged as shown in Fig. 11.
  • FIG. 4 is a timing chart for explaining raw data and an SDRAM write control signal input to the block 16; 23, (1) is raw data input to the preprocessing circuit 102, (2) is raw data input to the memory controller 16, and (3) is SD data input to the memory controller 16.
  • FIG. 5 shows a RAM write control signal.
  • the arrow in FIG. 23 indicates that the interpolation circuit in FIG. 22 performs the interpolation processing using three pixel data.
  • the thinning process after the capture process is performed is the same as the process described with reference to FIG. 13, and thus the description is omitted here.
  • the configuration and operation of the zoom processing circuit 121 have been described in detail, the configuration and operation of the zoom processing circuit 104 are the same as those of the zoom processing circuit 121.
  • FIG. 24 is a plot diagram showing a configuration of an imaging system according to the ninth embodiment of the present invention. 24, the same components as those of the imaging system of FIG. 17 are denoted by the same reference numerals, and description thereof will be omitted.
  • the imaging system 140 according to the present embodiment differs from the imaging system 120 according to the eighth embodiment in that a release button 111, a release detection circuit 112, and a microcomputer 113 are provided. It is.
  • the release detection circuits 1 1 and 2 output a signal indicating whether or not the release button 1 1 1 is pressed.
  • the microcomputer 113 controls the zoom processing circuit 121 in accordance with the state of the release button 112 (the signal output from the release detection circuit 112).
  • FIG. 25 is a block diagram showing the configuration of the zoom processing circuit 121. As shown in FIG. 25, the same components as those of the zoom processing circuit 121 of FIG. 18 are denoted by the same reference numerals, and description thereof will be omitted. The difference between the zoom processing circuit in FIG. 25 and the zoom processing circuit in FIG. 18 is that the zoom processing circuit in FIG.
  • the signal input to the preprocessing circuit 122 is branched into two and input to the interpolation circuit 122 and the selector circuit 132.
  • the selector circuit 13 2 is a signal obtained by interpolating the digital signal output from the A / D conversion circuit 15 as it is and the digital signal output from the AZD conversion circuit 15 by the interpolation circuit 122. And output it to the memory controller 16.
  • the microcomputer 111 controls the thinning circuit 103 and the selector circuit 132 in accordance with the state of the release button 112.
  • the control of the thinning circuit ⁇ 03 by the microcomputer 113 is the same as that described in the seventh embodiment. That is, the microcomputer 113 does not input a signal indicating that the release button 111 has been pressed from the release detection circuit 112 (or the release button 111 from the release detection circuit 112).
  • a signal indicating that the release button 1 1 1 is pressed is input from the release detection circuit 1 1 2 2, a signal indicating that the release button 1 1 1 is pressed is input.
  • the thinning circuit 103 is instructed to stop the thinning.
  • the microcomputer 113 interpolates the signal to the selector circuit 132 by the intercepting circuit 122. To output the output signal.
  • the microcomputer 113 receives a signal indicating that the release button 111 has been pressed from the release detection circuit 112
  • the microcomputer 113 outputs the signal from the A / D conversion circuit 15 to the selector circuit 132. To output the received digital signal as it is.
  • the same effects as those of the imaging system of the seventh embodiment can be obtained.
  • the selector circuit 13 2 outputs the digital signal output from the A / D conversion circuit 15 as it is when the release button 11 1 is pressed, but the release button 1 1 Even when 11 is pressed, the signal captured by the interpolation circuit 122 may be output.
  • FIG. 26 is a block diagram showing the configuration of the imaging system according to the present embodiment. 26, the same components as those of the imaging system of FIG. 15 are denoted by the same reference numerals, and description thereof will be omitted.
  • the imaging system according to the present embodiment is different from the imaging system according to the seventh embodiment in that a recording pixel number selection switch is provided.
  • the imaging system 150 is provided with a recording pixel number selection switch 151.
  • the user can set the number of pixels at the time of recording by using the recording pixel number selection switch 151.
  • the thinning circuit 103 of the preprocessing circuit 102 can operate in a plurality of thinning modes having different thinning rates.
  • the microcomputer 113 determines the thinning rate from the number of recording pixels, and The thinning circuit 103 is controlled so that the data is thinned at the thinning rate.
  • the number of pixels of the image sensor 12 is set to 500,000 pixels and the user sets the number of pixels at the time of recording to 1,300,000 pixels will be described.
  • the number of pixels of the image pickup device 12 is 500,000
  • the horizontal lines of 2,560 pixels per line are arranged in a vertical direction with 1,920 lines.
  • an image of 1.3 million pixels has 960 lines in the vertical direction with a horizontal line force of 128 pixels per line.
  • the number of pixels of one horizontal line is changed from 256 pixels to 12 pixels. It must be 80 pixels.
  • the thinning circuit 105 when a signal indicating that the selected number of recording pixels is 1.3 million is input from the recording pixel number selection switch 15 The thinning circuit 105 is controlled so that the thinning force is generated at the thinning rate of Z2. Thus, the thinning circuit 105 outputs, for example, the SDRAM write control signal shown in FIG. 14 to the memory controller 16.
  • FIG. 27 is a block diagram illustrating a configuration of an imaging system that controls a zoom processing circuit according to the selected number of recording pixels.
  • the imaging system 160 shown in FIG. 27 has a configuration obtained by adding a recording pixel number selection switch 151 to the imaging system 140 according to the ninth embodiment. According to the imaging system shown in FIG. 27, the same effects as those of the imaging system shown in FIG. 26 can be obtained.
  • the preprocessing circuit provided between the AZD conversion circuit and the memory controller may include both an information amount reduction circuit and a thinning circuit or a zoom processing circuit. Good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　本発明による撮像システムは、２次元に配列された画素に光が照射されると、その各々が各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置（１２，１４，１５）と、撮像装置（１２，１４，１５）が出力するデジタル信号のデータ量を低減する前処理装置（２４）と、デジタル信号を処理するデジタル信号処理装置（１８−２０）と、デジタル信号を記憶する記憶装置（１７）と、前処理装置（２４）が出力するデジタル信号を記憶装置（１７）に格納し、かつ、デジタル信号を記憶装置（１７）から読み出してデジタル信号処理装置（１８−２０）に出力する記憶制御装置（１６）とを備える。

Description

明 細 書 撮像システム 技術分野
本発明は、 デジタルスチルカメラ等に用いられる撮像システムに関する。 背景技術
従来の撮像システムには、 撮像素子から出力されるアナログ信号をデジタル信 号に変換する （AZD変換する） AZD変 f、 画像データの処理を行うデータ 処理部、 画像データを記憶するメモリ、 及びメモリ制御部を備え、 そのメモリ制 御部によって、 A/D変換器ゃデータ処理部から出力される画像データをメモリ に格納したり、 その画像データをメモリから別のデータ処理部に転送したりする ものがある （例えば、 日本国特開平 10-178612号公報参照。 ） 。
図 28は、 そのような従来の撮像システムの構成を示すプロック図である。 図
28に示されるように、 撮像システム 200は、 光学レンズ 211、 固体撮像素 子 212、 固体撮像素子 212の駆動回路 213、 アナログ回路 214、 A/D 変換回路 215、 メモリコントローラ 216、 記憶回路としてのシンクロナシス D R AM (S yn c h r o no u s Dyn ami c Ra nd om Ac c e s s Memo r y :以下、 「SDRAMj という。 ） 217、 カメラ信号処理回 路 218、 J PE G圧縮回路 219、 表示回路 220、 液晶表示装置 221、 力 ードコントローラ 222、 及び記録メディア 223を備える。
以下に、 この撮像システム 200の動作を説明する。 光学レンズ 211を通し て光が入射すると、 その光が固体撮像素子 212に照射される。 固体撮像素子 2 12は、 照射された光を光電変換し、 得られる電気信号 （アナログ信号） をアナ ログ回路 214に出力する。 アナログ回路 214は、 固体撮像素子 212力 ら出 力されたアナログ信号をアナログ信号処理し、 そのアナログ信号処理された信号 を A/D変換回路 215に出力する。 Α/Ί0変換回路 215は、 アナログ回路 2 14から出力されたアナログ信 ^をデジタル信号に変換する。 ここで、 AZD変 換回路 215が出力するデジタル信号は、 デジタル信号処理を行う前の信号であ るのでローデータ （RAW) と呼ばれる。 0変換回路215は、 このローデ ータを、 メモリコントローラ 216に出力する。 メモリコントローラ 216は、 A D変換回路 215によって出力されたローデータを、 SDRAM217に格 納する。
次に、 メモリコントローラ 216は、 SDRAM217に格納されている口一 データを読み出して、 カメラ信号処理回路 218に転送する。 カメラ信号処理回 路 218は、 SDRAM217から読み出されたローデータにカメラ信号処理を 施して、 輝度信号 （Y) と色差信号 （C) とで表される、 記録用及び表示用の Y Cデータ （YC) を生成する。 また、 カメラ信号処理回路 218は、 表示用の Y
Cデータを生成するために、 ローデータにズーム処理などを施す。 メモリコント ローラ 216は、 カメラ信号処理回路 218から、 その YCデータを読み出して、 SDRAM217に格納する。
次に、 YCデータを圧縮して SDRAM217に格納する場合、 メモリコント ローラ 216は、 SDRAM217に格納されている記録用の YCデータを読み 出して、 それを J PEG圧縮回路 219に出力する。 J PFG圧縮回路 219は、 J PEG J o i n t Pho t o g r a ph i c Exp e r t s G r o u p) 方式による圧縮処理を施し、 符号データ （J PC) を生成する。 メモリコン トローラ 216は、 J PEG圧縮回路 219からその符号データを読み出して、 SDRAM21 7に格納する。
また、 撮影した画像を液晶表示装置 221に表示する場合、 メモリコントロー ラ 216は、 SDRAM 217に格納されている表示用の Y Cデータを読み出し て、 表示回路 220に転送する。 表示回路 220は、 YCデータを表示用の信号 (表示データ） に変換して、 その信号を液晶表示素子 221に出力する。 液晶表 示素子 221は、 その表示用の信号によって表わされる画像を表示する。
カードコントローラ 222は、 SDRAM217に接続され、 SDRAM21 7に格納されている J PEGの符号データを読み出し、 記録メディア 223に書 き込む。 発明の開示
(発明が解決しようとする技術的課題）
上述のように、 従来の撮像システムにおいては、 ローデータ、 Y Cデータ、 符 号データ、 表示データ等の多くのデータがメモリとメモリコントローラとの間で やりとりされる。 よって、 メモリとメモリコントローラとのインタフェース部分 において電力の消費が大きい、 つまり、 消費電力が大きいという課題があった。 また、 従来の撮像システムにおいては、 扱うデータ量が多いために処理スピー ドが遅いという課題があった。 処理スピードを上げるためには、 動作周波数を上 げる力、 または、 回路の処理性能を上げる必要があるが、 どちらの場合でも消費 電力が増大する。 すなわち、 消費電力を増大させることなく、 処理スピードを速 くすることが困難であるという課題があった。
本発明の目的は、 消費電力が小さく、 力つ、 データの処理スピードが速い撮像 システムを提供することである。
(その解決方法）
本努明による撮像システムは、 2次元に配列された画素に光が照射されると、 各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、 前 記の撮像装置が出力するデジタノレ信号のデータ量を低減する前処理装置と、 デジ タル信号を処理するデジタル信号処理装置と、 デジタル信号を記憶する記憶装置 と、 前記の前処理装置が出力するデジタル信号を前記の記憶装置に格納し、 かつ、 前記のデジタル信号を前記の記憶装置から読み出して前記のデジタル信号処理装 置に出力する記憶制御装置とを備える。
好ましくは、 前記の前処理装置は、 前記のデジタノレ信号の情報量を低減する情 報量低減装置を備える。
好ましくは、 前記の情報量低減装置は、 2次元に配列された前記の画素に光が 照射されたとき、 前記の撮像装置が出力する複数のデジタル信号の信号量の 1画 面に相当する平均値である平均信号量を検出する検出装置と、 前記の平均信号量 が所定の値になるように、 複数の前記のデジタノレ信号に与えるべきゲインを計算 する計算装置と、 前記のゲインを用いて、 複数の前記のデジタル信号のゲイン調 整を行うゲイン調整装置とを備える。 好ましくは、 前記の画素は、 複数の色成分の光を検知する画素で構成され、 前 記の撮像装置は、 前記の画素に光が照射されると、 前記の画素が検知する光の量 を示す複数のデジタル信号を出力する。 前記の情報量低減装置は、
前記の撮像装置が出力する、 複数の前記の色成分のいずれかに対応する複数の前 記のデジタル信号を用いて、 複数の前記の色成分について、 その色成分に対応し た複数の前記のデジタル信号の信号量の 1画面に相当する平均値である複数の平 均信号量を検出する検出装置と、 複数の前記の色成分に対応する複数の前記の平 均信号量が一致するように、 複数の前記の色成分について、 対応した複数の前記 のデジタル信号に与えるべきゲインを計算する計算装置と、 複数の前記の色成分 に対応する前記のゲインを用いて、 複数の前記の色成分に対応する前記のデジタ ル信号のゲイン調整を行い、 ホワイトバランス調整する第 1のホワイトバランス 調整装置とを備える。
好ましくは、 前記の情報量低減装置は、 さらに、 第 2のホワイトバランス調整 装置を備える。 前記の第 2のホワイトバランス調整装置は、 複数の前記の色成分 に対応するあらかじめ決められたゲインを用いて、 前記の撮像装置が出力する、 複数の前記の色成分に対応する複数の前記のデジタル信号のゲイン調整を行い、 ホワイトバランス調整する。 前記の第 1のホワイトバランス調整装置には、 前記 の第 2のホワイトバランス調整装置の出力信号を入力する。 . .
好ましぐは、 前記の情報量低減装置は、 さらに、 階調補正装置を備える。 前記 の階調補正装置は、 デジタル信号の階調を補正することにより、 前記の撮像装置、 前記のゲイン調整装置、 及ぴ前記の第 1のホワイトバランス調整装置のいずれか 力 = "ら入力されるデジタル信号を、 そのデジタル信号の情報量よりも小さい所定の 情報量を有するデジタル信号に変換する。
好ましくは、 前記の情報量低減装置は、 さらに、 入力されるデジタル信号を圧 縮して、 前記のデジタル信号の情報量を低減するデータ圧縮装置を備える。
好ましくは、 前記のデータ圧縮装置は、 入力される前記のデジタノレ信号を、 全 て同一の情報量をもつデジタル信号に圧縮する。
好ましくは、 前記の撮像システムは、 さらに、 前記の撮像装置を駆動する駆動 装置と、 前記の情報量低減装置、 前記の記憶制御装置、 及ぴ前記のデジタル信号 処理装置の間のデジタル信号のやりとりを制御する機能制御装置と、 前記の駆動. 装置及び前記の機能制御装置に対して、 異なる 2つのモードのうち 1つを設定す るモード設定装置とを備える。 前記の情報量低減装置は、 第 1の情報量低減装置 及び第 2の情報量低減装置から成る。 前記の第 1の情報量低減装置及び前記の第 2の情報量低減装置は、 前記の撮像装置から出力されたデジタル信号の情報量を 低減する。 前記の機能制御装置は、 前記のモード設定装置によって第 1のモード が設定されると、 前記の第 1の情報量低減装置から入力された信号を前記の第 2 の情報量低減装置に出力し、 前記の第 2の情報量低減装置から入力された信号を、 前記の記憶制御装置に出力し、 前記の記憶制御装置から入力された信号を、 前記 のデジタル信号処理装置に出力し、 前記のモード設定手段によって第 2のモード が設定されると、 前記の第 1の情報量低減装置から入力された信号を前記の記憶 制御装置に出力し、 前記の記憶制御装置から入力された信号を前記の第 2の情報 量低減装置に出力し、 前記の第 2の情報量低減装置から入力された信号を前記の デジタル信号処理装置に出力する。
好ましくは、 前記の前処理装置は、 複数の前記のデジタル信号を間引く間引き 装置を備える。
好ましくは、 前記の間引き装置は、 前記の記憶制御装置に、 一定周期でレベル が変化する制御信号を出力する。 前記の前処理装置は、 前記の撮像装置が出力す るデジタル信号と前記の制御信号とを、 同時に前記の記憶制御装置に出力する。 前記の記憶制御装置は、 前記の制御信号が所定のレベルであるときに入力される デジタル信号のみを前記の記憶装置に格納する。
好ましくは、 前記の前処理装置は、 阛引き装置に加えて、 さらに、 補間装置を 備える。 前記の補間装置は、 前記の撮像装置が出力するデジタル信号を捕間して、 その補間の結果得られる補間デジタル信号を出力する。 前記の前処理装置は、 前 記の補間デジタノレ信号と前記の制御信号とを、 同時に前記の記憶制御装置に出力 する。
好ましくは、 前記の撮像システムは、 間引き装置に加えて、 さらに、 レリーズ ボタンと、 前記のレリ一ズポタンが押されているか否かを示す状態信号を出力す る検知装置と、 前記の検知装置から出力される前記の状態信号に応じて、 前記の 間引き装置の動作を開始又は停止させる間引き制御装置とを備える。
好ましくは、 前記の撮像システムは、 前記の間引き装置、 前記のレリーズボタ ン及び前記の検知装置、 前記の間引き制御制御装置に加えて、 さらに、 第 1のモ 一ド又は第 2のモードに対応するモード信号を出力するモード切り替え装置と、 前記のモード切り替え装置から出力される前記のモード信号に応じて前記の記憶 制御装置を制御するモード制御装置とを備える。 前記のデジタル信号処理装置は、 第 1の圧縮装置と第2の圧縮装置とを備える。 前記のモード制御装置は、 前記の 第 1のモードを示すモード信号が入力されると、 前記の記憶制御装置に、 前記の 記憶装置から読み出した前記のデジタル信号を前記の第 1の圧縮装置に出力させ、 前記の第 2のモードを示すモード信号が入力されると、 前記の記億制御装置に、 前記の記憶装置から読み出した前記のデジタル信号を前記の第 2の圧縮装置に出 力させる。
好ましくは、 前記の撮像システムは、 間引き装置に加えて、 さらに、 記録画素 数を選択し、 その選択した記録画素数に応じた信号を出力する記録画素数選択装 置と、 前記の記録画素数選択装置から出力される信号に応じて、 前記のデジタル 信号を間引く間引き率を判断し、 その間引き率に応じて、 前記の間引き装置が出 力する前記の制御信号のレベル変化の周期を制御する間引き率制御装置とを備え る。
(従来技術より有効な効果）
本発明による撮像システムによれば、 消費電力が小さく、 かつ、 データの処理 スピードが速い撮像システムを実現できる。 図面の簡単な説明
図 1は、 第 1の実施の形態の撮像システムの構成を示すプロック図である。 図 2は、 ゲイン調整回路の動作を説明する図である。
図 3は、 第 2の実施の形態の撮像システムの構成を示すブロック図である。 図 4は、 ホワイトバランス調整回路の動作を説明する図である。
図 5は、 階調補正回路の動作を説明する図である。
図 6は、 第 3の実施の形態の撮像システムの構成を示すプロック図である。 図 7は、 感度の異なる撮像素子のホワイトバランス調整点を示す図である。 図 8は、 第 4の実施の形態の撮像システムの構成を示すプロック図である。 図 9は、 第 5の実施の形態の撮像システムの構成 示すプロック図である。 図 10は、 第 6の実施の形態の撮像システムの構成を示すプロック図である。 図 1 1は、 固体撮像素子の各々の画素に設けられた色フィルタの配列の一例を 示す図である。
図 12は、 固体撮像素子の色フィルタが図 11のように配列された場合に、 A ZD変換回路が出力するローデータを示すタイミング図である。
図 13は、 口ーデータと S D R AM書き込み制御信号とを説明するタイミング 図であり、 （1) は、 前処理回路に入力されるローデータ、 （2) は、 メモリコ ントローラに入力されるローデータ、 （3) は、 メモリコントローラに入力され る S D R AM書き込み制御信号を示す。
図 14は、 SDRAM17に書き込むローデータのデータ数を 1ノ 2に削減す る場合の、 ローデータと SDRAM書き込み制御信号とを説明するタイミング図 であり、 （1) は、 前処理回路に入力されるローデータ、 （2) は、 メモリコン トローラに入力されるローデータ、 （3) は、 メモリコントローラに入力される SDR AM書き込み制御信号を示す。
図 15は、 第 7の実施の形態による撮像システムの構成を示すプロック図であ る。
図 16は、 図 15の撮像システムの変形例であって、 静止画モードと動画モー ドとの間でモードの切り替えを行う撮像システムの構成を示すプロック図である。 図 17は、 第 8の実施の形態による撮像システムの構成を示すブロック図であ る。
図 18は、 図 17の撮像システムにおいて、 ズーム処理回路の構成を示すブロ ック図である。
図 19は、 図 18のズーム処理回路における捕間回路の構成を示す図である。 図 20は、 図 19の補間回路が、 メモリコントローラにローデータを出力する 場合の、 メモリコントローラに入力されるローデータと SDRAM書き込み制御 信号とを説明するタイミング図であり、 （1) は、 前処理回路に入力されるロー データ、 （2 ) は、 メモリコントローラに入力されるローデータ、 （3 ) は、 ズ ーム係数、 （4 ) は、 メモリコントローラに入力される S D R AM書き込み制御 信号を示す。
図 2 1は、 図 2 0に示されるズーム処理後のローデータにおける Rデータ及ぴ Gデータの相対的位置関係を示す図である。
図 2 2は、 図 1 8のズーム処理回路における別の捕間回路の構成を示すプロッ ク図である。
図 2 3は、 固体撮像素子の色フィルタが図 1 8のように配列されている場合に、 A/D変換回路が出力するローデータに対して、 1 / 3倍のズーム処理を行うと きのメモリコントローラに入力されるローデータと S D R AM書き込み制御信号 とを説明するタイミング図であり、 （1 ) は、 前処理回路に入力されるローデ一 タ、 （2 ) は、 メモリコントローラに入力されるローデータ、 （3 ) は、 メモリ コントローラに入力される S D R AM書き込み制御信号を示す。
図 2 4は、 第 9の実施の形態による撮像システムの構成を示すブロック図であ る。
図 2 5は、 図 2 4の撮像システムにおけるズーム処理回路の構成を示すプロッ ク図である。
図 2 6は、 第 1 0の実施の形態による撮像システムの構成を示すブロック図で. ある。
図 2 7は、 第 1 0の実施の形態による別の撮像システムの構成を示すプロック 図である。
図 2 8は、 従来の撮像システムの構成を示すブロック図である。 発明を実施するための最良の形態
以下に、 添付の図面を参照して、 本発明の実施の形態について説明する。
以下の実施の形態で説明される撮像システムは、 Aノ ϋ変換回路とメモリコン トローラとの間に、 AZD変換回路の出力信号を、 メモリコントローラに出力す る前に処理する前処理回路を備える。
以下に説明される第 1の実施の形態乃至第 5の実施の形態の撮像システムは、 AZD変換回路とメモリコントローラとの間に、 前処理回路として、 信号のビッ ト数 （情報量） を低減する情報量低減回路を備える。 この情報量低減回路により、 AZD変換回路が出力するデジタル信号の情報量が低減され、 結果として、 その デジタル信号の信号量 （信号のビット数が kのとき、 2 kで表わされる。 ） が低 減される。 これらの撮像システムは、 A/D変換回路が出力するデジタル信号の 信号量を低減して、 その信号量の低減されたデジタノレ信号をメモリコントローラ に出力することにより、 S D R AMとメモリコントローラとの間でやりとりされ るデータ量 （データ量 =データ数 X情報量） を低減して、 S D R AMとメモリ コントローラとのインタフェース部分における消費電力を低減しょうというもの である。
(第 1の実施の形態）
本実施の形態による撮像システムは、 ゲイン調整回路、 レベル検出回路、 及ぴ マイコンから成る' lt¾量低減回路を備える。
図 1は、 第 1の実施の形態による撮像システムの構成を示すプロック図である。 図 1において、 撮像システム 1 0は、 光学レンズ 1 1、 固体撮像素子 1 2、 固体 撮像素子 1 2の駆動回路 1 3、 アナログ回路 1 4、 A/D変換回路 1 5、 メモリ コントローラ 1 6、 記憶回路としての S D R AM 1 7、 カメラ信号処理回路 1 8、 J P E G圧縮回路 1 9、 表示回路 2 0、 液晶表示装置 2 1、 カードコントローラ 2 2、 記録メディア 2 3、 及び前処理回路 2 4を備える。 前処理回路 2 4は、 ゲ イン調整回路 2 6、 マイクロコンピュータ （以下、 「マイコン J という。 ） 2 7、 及びレベル検出回路 2 8から成る情報量低減回路を備える。
光学レンズ 1 1は、 固体撮像素子 1 2に光を収束する。 駆動回路 1 3は、 固体 撮像素子 1 2に接続され、 固体撮像素子 1 2を制御する。 アナログ回路 1 4は、 固体撮像素子 1 2に接続され、 固体撮像素子 1 2が出力するアナ口グ信号をアナ 口グ信号処理する。 AZD変換回路 1 5はアナログ回路 1 4に接続され、 アナ口 グ回路 1 4が出力するアナログ信号をデジタル信号に変換する。 前処理回路 2 4 は、 Aノ D変換回路 1 5に接続され、 AZD変換回路 1 5から出力された信号の 情報量を低減して、 その情報量が低減されたデジタル信号を出力する。 メモリコ ントローラ 1 6は、 S D R AM I 7に接続され、 S D RAM 1 7からデータを読 み込んだり、 SDRAM17にデータを書き込んだりする。 また、 メモリコント ローラ 16は、 ゲイン調整回路 26、 カメラ信号処理回路 18、 J PEG圧縮回 路 1 9、 及び表示回路 20に接続され、 SDRAM17とそれらとの間のデータ の入出力を制御する。 液晶表示装置 21は、 表示回路 20に接続され、 表示回路 20から出力されたデータが示す画像を表示する。 カードコントローラ 22は、
SDRAM 17及び記録メディア 23に接続され、 S D RAM 17に格納されて いるデータを読み出して、 記録メディア 23に書き込む。
撮像システム 10において、 光学レンズ 1 1に光が入射してから、 AZD変換 回路 15がデジタノレ信号を出力するまでの動作は、 以下の通りである。 光学レン ズ 11に光が入射すると、 その光が、 光学レンズ 11を通って、 固体撮像素子 1 2に照射される。 固体撮像素子 12は、 照射された光を光電変換し、 得られる電 気信号 （アナログ信号） をアナログ回路 14に出力する。 アナログ回路 14は、 固体撮像素子 1 2から出力されたアナログ信号をアナログ信号処理し、 そのアナ ログ信号処理された信号を A D変換回路 15に出力する。 A D変換回路 15 は、 アナログ回路 14から出力されたアナログ信号をデジタル信号に変換する。 固体撮像素子 12は、 例えば、 電荷結合素子 （以下、 「CCD」 という。 ） で ある。 固体撮像素子 12は、 2次元に配列された多数の画素から成る。 例えば、 固体撮像素子 12の画素数が 500万画素の場合、 それは、 水平方向における 2 560画素及び垂直方向における 1920ラインから成る有効画素数を備える。 この撮像素子 12に光が照射されると、 撮像素子 12は、 その各々の画素に照射 された光の量を示す複数の電気信号を生成する。 そして、 AZD変換回路 15は、 その各々が撮像素子 12の各々の画素に照射された光の量を示す複数のデジタル 信号を出力する。 このように、 撮像素子の各々の画素に対応したデジタノレ信号の 個数を、 以下では、 「データ数」 という。
撮像システム 10において、 A/D変換回路 15が出力するデジタル信号の情 報量は、 14ビットである。 このデジタル信号は、 光学レンズ 11に入射する光 の量を数値化して表わしたものであり、 ビット数が大きいほど、 広範囲の明るさ に対応できる。 A/D変換された 14ビットのローデータ （RAW14) は、 ゲ イン調整回路 26に入力される。 ゲイン調整回路 26は、 14ビットのローデ一 タに、 マイコン 27から与えられるゲイン Aによってゲイン調整を施す。 結果と して口一データの情報量が低減され、 ゲイン調整回路 26から 10ビッ トの口一 データ （RAW10) が出力される。 RAW 1◦および RAW 14の信号量を、 それぞれ、 R1 。 および 4 とすると、 以下の式 （1) が成り立つ。
【数 1】
R10 =Rl4 A (1) 以下に、 ゲイン Aついて説明する。 固体撮像素子 1 2の出力信号は、 A/D変 換されてデジタル信号となり、 このデジタル信号は、 ゲイン調整回路 26に入力 される。 このとき、 A/D変換されたローデータ （RAW14) は、 ゲイン調整 回路 26に入力されると同時に、 レベル検出回路 28にも入力される。 レベル検 出回路 28は、 入力された 1画面分のローデータの平均信号量を検出する。 この 1画面分のローデータの平均信号量とは、 1つのシーンが撮影され、 撮像素子 1 2の各々の画素によって電気信号が生成された場合に、 その電気信号を Aノ D変 換して得られる複数のデジタル信号の信号量の平均値である。 具体的には、 A/ D変換回路 1 5が出力するデジタル信号の信号量の最大値を 2で割った値である.。 レベル検出回路 28は、 その平均信号量を、 マイコン 27に出力する。 マイコン 27は、 入力される平均信号量とゲインとを乗算して得られる信号量の値があら かじめ決められた値になるように、 入力された各々の平均信号量に対してゲイン Aを算出する。
図 2は、 1画面分のローデータ （RAW14) の平均信号量とゲイン Aとの関 係を示す。 図 2の （1) ， （2) , (3) は、 それぞれ、 撮像システム 10に互 いに異なる画面が入力された場合 （つまり、 撮像システム 10によって、 互いに 異なるシーンが撮影された場合） に、 撮像素子 1 2に入射する光の量の範囲と、 その際に、 AZD変換回路 1 5から出力される複数のデジタル信号の信号量の範 囲とを示すグラフである。 図 2の （1) 、 （2) および （3) のそれぞれのグラ フにおいて、 横軸は、 撮像素子 1 2に入射する光の量、 縦軸は、 AZD変換回路 1 5から出力されるデジタル信号の信号量を示す。 図 2の （1) ， （2) 及び (3) に示されるように、 撮像素子 1 2に入射する光の量は広範囲であり、 AZ D変換回路 1 5が出力するデジタルデータの信号量のダイナミックレンジも大き レ、。 図 2の （1) 、 （2) および （3) のグラフを参照すると、 画面毎に、 出力 されるデジタルデータの信号量の範囲が異なることがわかる。 AZD変換回路 1 5が出力するデジタノレデータの信号量は、 それぞれの画面で、 （1) 0から 21 4 まで、 （2) 0から 21 2 まで、 および、 (3) 0力 ら 21 0 まで変化してお り、 それらの場合に、 レベル検出回路 28が検出する平均信号量は、 それぞれ、 21 3、 21 1 および 29 である。 マイコン 27は、 入力される平均信号量とゲ インとを乗算して得られる最終的な平均信号量が全て一定になるように、 つまり、 入力される平均信号量が、 ゲインを与えることによって所定の平均信号量になる ように、 ゲイン Aを算出する。 例えば、 最終的な平均信号量が 29と設定されて いるとき、 マイコン 27は、 図 2の （1) 、 （2) および （3) に示されるロー データが入力されると、 ゲイン Aを、 それぞれ、 2- 4、 2- 2 および 1と算出 する。 このとき、 式 （1) により、 全ての場合において、 信号量の最大値は 21 ° となり、 平均信号量は 29 となる。
ゲイン調整回路 26は、 AZD変換回路 15からローデータが入力されると、 マイコン 27から出力されるゲイン Aを用いてゲイン調整を行い、 AZD変換回 路 15から入力されたローデータを、 所定の平均信号量をもつローデータに変換 する。 これにより、 ゲイン調整回路 26は、 入力されたローデータよりも、 情報 量の小さいローデータを出力する。
以上のように、 ゲイン調整回路 26は、 AZD変換回路 15から出力されるデ ジタノレ信号のビット数を、 14ビッ卜から 10ビットに、 すなわち、 10/14 に低減する。 ゲイン調整回路 26は、 ビット数が低減された 10ビットのローデ ータ （RAW10) を、 メモリコントローラ 16に出力する。 メモリコントロー ラ 16は、 この 10ビットのローデータを SDRAM 17に格納する。
次に、 メモリコントローラ 16は、 SDRAM17に格納された 10ビットの ローデータを読み出して、 カメラ信号処理回路 18に転送する。 カメラ信号処理 回路 18は、 転送されたローデータに、 カメラ信号処理を施して、 その転送され たローデータを、 輝度信号 （γ) と色差信号 （C) とで表される、 記録用及び表 示用の YCデータ （YC) に変換する。 メモリコントローラ 16は、 変換されて 得られる記録用及び表示用の YCデータを、 カメラ信号処理回路 18から読み出 して、 再ぴ、 SDRAM1 7に格納する。 なお、 カメラ信号処理回路 18は、 口 一データに対して、 ホワイ トバランス処理、 ガンマ （γ) 変換処理、 輝度信号生 成処理、 色差信号生成処理、 および、 解像度改善のためのアパーチャ補正処理な どの処理を施す。 また、 カメラ信号処理回路 18は、 表示用の YCデータを生成 するために、 ズーム処理回路 （図示されない） を用いて、 ズーム処理 （後述す る） などを施す。
次に、 撮影した画像を液晶表示装置 21に表示する場合、 メモリコントローラ 16は、 SDRAM17に格納されている表示用の YCデータを読み出して、 表 示回路 20に転送する。 表示回路 20は、 YCデータを表示用の信号 （表示デー タ） に変換して、 その信号を液晶表示素子 21に出力する。 液晶表示素子 21は、 その表示用の信号によって表わされる画像を表示する。
また、 YCデータを圧縮して SDRAM 17に格納する場合、 メモリコント口 ーラ 16は、 SDRAM17に格納されている記録用の YCデータを読み出して、 それを J PEG圧縮回路 1 9に出力する。 J PFG圧縮回路 19は、 J PEG (J o i n t Pho t o g r a p h i c Ex p e r t s, Gr o upノ 方式 ίこ よる圧縮処理を施し、 符号データ （J PC) を生成する。 メモリコントローラ 1 6は、 J PEG圧縮回路 19からその符号データを読み出して、 SDRAM17 に格納する。
カードコントローラ 22は、 S DRAM 17に接続され、 SDRAM 17に格 納されている J PEGの符号データを読み出し、 記録メディア 23に書き込む。 ここで、 メモリコントローラ 16によって SDRAM 17に格納される、 およ ぴ、 SDRAM 17から読み出されるローデータのビット数が 14ビットから 1 0ビットになった場合の、 メモリコントローラ 16と SDRAM 17との間のィ ンターフェース部分で消費される電力を見積もる。 以下では、 例として、 撮影し た画像を液晶表示装置 21に表示する場合について考える。 また、 例として、 撮 像素子 12の画素数を 500万画素とし、 1つの水平ラィンの画素数を 2560 画素とする。 さらに、 カメラ信号処理回路 18によってズーム処理が施されて、 表示用の YCデータ （輝度信号 Sビット、 色差信号 Sビット） が生成されたとき の、 1つの水平ライン当たりの画素数を 720画素とする。 撮影した画像を液晶表示装置 2 1に表示する場合、 メモリコントローラ 1 6と SDRAM 1 7との間でやりとりされるデータの流れは以下の通りである。 まず、 メモリコントローラ 1 6は、 A/D変換回路 1 5から出力されたローデ タを S DRAM 1 7に格納する （1) 。 次に、 メモリコントローラ 1 6は、 そのローデ —タを SDRAM1 7から読み出して、 カメラ信号処理回路 1 8に出力する
(2) 。 さらに、 メモリコントローラ 1 6は、 カメラ信号処理回路 1 8が表示用 の YCデータを生成すると、 その YCデータをカメラ信号処理回路 1 8から読み 出して、 SDRAM 1 7に格納する （3) 。 最後に、 メモリコントローラ 1 6は、 その YCデータを SDRAM 1 7から読み出して、 表示回路 20に出力する
(4) 。 メモリコントローラ 1 6は、 別個に設けられた制御回路 （マイコン） に よって、 ソフトウェアで制御されてよい。
Aノ D変換回路 1 5から出力されたローデータが 14ビットから 10ビットに 低減されたとき、 メモリコントローラ 1 6と SDRAM1 7との間でやりとりさ れるデータのデータ量は、 1つの水平ライン当たり、 以下の式 （2) で表わされ る。
【数 2】
2560画素 X 10ろ/ t x2 + 720画素 x (8 + 8)bit x2 = 74240ろ ( 2 )
—方、 ローデータの情報量が低減されずに 1 4ビットのとき、 メモリコント口 ーラ 1 6と SDRAM1 7との間でやりとりされるデータのデータ量は、 1つの 水平ライン当たり、 以下の式 （3) で表わされる。
【数 3】
2560画素 X 14 x2 + 720画素 x(8 + S)bit x2 = 94720 ί ( 3 ) 式 （2) 及び式 （3) を参照すると、 ローデータの情報量を低減する場合と低 低減しない場合とでは、 メモリコントローラ 1 6と SDRAM1 7との間でやり とりされるデータのデータ量は異なる。 具体的に、 7424 ΟΖ94 7 20 = 0.
78が成り立つことにより、 情報量を低減した場合にメモリコントローラ 1 6と SDRAM1 7との間でやりとりされるデータのデータ量は、 情報量を低減しな V、場合と比較して、 2 2 %程度低減される。
ここで、 メモリコントローラ 1 6と SDRAM1 7との間でやりとりされる デ一タのデータ量と、 それらのィンタフェース部分における消費電力は比例する ので、 本実施の形態による撮像システムの消費電力は、 情報量の低減を行わない 従来の撮像システムの消費電力の 7 8 %になる。 すなわち、 本実施の形態による 撮像システムによれば、 前処理回路 2 4によって口一データの情報量を低減する ことにより、 撮影した画像を液晶表示装置 2 1に表示する場合に、 従来の撮像シ ステム 2 0 0と比較して、 2 2 %程度の電力を削減することができる。
Y Cデータを圧縮して S D R AM 1 7に格納する場合も、 同様に、 従来の撮像 システムと比べて、 消費電力を低減できる。
本実施の形態による撮像システムでは、 メモリコントローラによってデータが メモリに格納される前に、 そのデータのデータ量を肖減する。 よって、 メモリと メモリコントローラとの間でやりとりされるデータ量が削減され、 それらのイン タフエース部分における消費電力を低減できる。 結果として、 撮像システムの消 費電力削減および処理スピードの向上が可能になる。
また、 本実施の形態による撮像システムでは、 前処理回路がゲイン調整回路を 含むので、 撮像システムにおける消費電力削減おょぴ処理スピードの向上を実現 すると同時に、 画面毎に異なる信号量のダイナミックレンジも調整することがで さる。
なお、 本実施の形態による撮像システムおいては、 ゲイン調整回路 2 6により 1画面分の平均信号量が一定になるように制御しているが、 画面内の信号の分布、 雨面内のピークレベル、 または光学系の絞りの状態を利用して、 目標となる最終 的な一定の平均信号量を変更しても、 本発明と同様の効果が得られる。
なお、 本実施の形態による撮像システムにおいて、 前処理回路はゲイン調整回 路を含むが、 ゲイン調整回路のほかに、 情報量を低減する階調補正回路や圧縮回 路等の他の回路を備えていてもよい。
なお、 撮像システムにおいて、 レンズによって収束される光の量をデジタノレ信 号として出力する部分を撮像装置という。 例えば、 図 1において、 撮像装置とは、 固体撮像素子、 アナログ回路及び AZD変換回路を含む部分をいう。 また、 撮像 システムにおいて、 メモリコントローラを介して、 メモリと信号をやり とりして、 メモリに格納されたデジタノレ信号 処理する装置をデジタル信号処理装置という。 例えば、 図 1において、 デジタル信号処理装置とは、 カメラ信号処理回路、 圧縮 回路、 表示回路である。
(第 2の実施の形態)
本実施の形態による撮像システムは、 第 1の実施の形態による撮像システムと 異なり、前処理回路が、 ゲイン調整回路の代わりに、 ホワイ トバランス調整回路 および階調補正回路を有する。
図 3は、 第 2の実施の形態による撮像システムの構成を示すブロック図である。 図 3において、 図 1と同一の構成には同一の符号を付す。 図 3に示されるように、 本実施の形態による撮像システム 3 0において、 前処理回路 3 1は、 ホワイトバ ランス調整回路 3 2、 階調補正回路 3 3、 レベル検出回路 2 8及ぴマイコン 2 7 から成る情報量低減回路を備える。 図 1と同一の符号を付した構成要素について は、 （第 1の実施の形態） で既に述べているので、 その構成おょぴ動作について の説明を省略する。
A/D変換回路 1 5によって出力された 1 4ビットのローデータ （R AW 1 4 ) は、 前処理回路 3 1のホワイトバランス調整回路 3 2に入力される。 ホワイ トバランス調整回路 3 2は、 そのローデータにホワイトパランス処理を施すこと により、 1 4ビットのローデータを 1 0ビットのローデータ （R AW 1 0 ) に変 換する。 ホワイトバランス調整回路 3 2は、 その変換された 1 0ビットのローデ ータを階調捕正回路 3 3に出力する。 階調補正回路 3 3は、 入力された 1 0ビッ トのロ一データに、 階調補正であるガンマ捕正処理を施して、 その 1 0ビットの ローデータを 8ビットのローデータ （RAW 8 ) に変換する。 階調補正回路 3 3 は、 その 8ビットのローデータをメモリコントローラ 1 6に出力する。
ここで、 ホワイトバランス調整回路 3 2の動作について説明する。 ホワイトバ ランス調整とは、 無彩色の被写体を撮影した場合に得られる 1画面の R成分、 G 成分及び B成分の信号の各々の平均信号量を、 それらが等しくなるように調整す ることをいう。 ホワイトバランス調整回路 3 2は、 マイコン 2 7から与えられる ゲインにより、 1 4ビットのローデータにホワイトバランス調整を施して、 その 信号量を低減する。 以下に、 ゲインの算出方法について説明する。 1 4 ットの ローデータ （R AW 1 4 ) は、 ホワイトバランス調整回路 3 2と同時に、 レべノレ 検出回路 2 8にも入力される。 レベル検出回路 2 8は、 入力されたローデータの 1画面分の平均信号量を検出する。 なお、 本実施の形態においては、 第 1の実施 の形態と異なり、 1画面分の R (赤） 成分、 G (緑） 成分及び B (青） 成分のそ れぞれの平均信号輋を求める。 レベル検出回路 2 8は、 検出した各々の色成分の 平均信号量を、 マイコン 2 7に出力する。 マイコン 2 7は、 入力された R成分、
G成分及び B成分の各々の平均信号量にゲインを乗算した結果、 それらの平均信 号量が等しくなるようにゲイン A r、 A g、 A bを算出する。
図 4は、 撮像システムに 1画面が入力された場合 （つまり、 撮像システムによ つて 1つのシーンが撮影された場合） に、 R成分、 B成分及び G成分のそれぞれ について、 撮像素子 1 2に入射する光の量の範囲と、 その際に、 A/D変換回路 1 5から出力される複数のデジタル信号の信号量の範囲とを示すグラフである。 図 4のグラフにおいて、 横軸は、 撮像素子 1 2に入射する光の量、 縦軸は、 A/ D変換回路 1 5から出力されるデジタル信号の信号量を示す。 図 4において、 R 成分の信号量、 G成分の信号量、 および B成分の信号量は、 それぞれ、 0から 2 1 4 まで、 0から 2 1 2 まで、 および、 0力、ら 2 1 0 まで変化しており、 それら の場合に、 レベル検出回路 2 8が検出する平均信号量は、 それぞれ、 2 1 3、 2 1 1 および 2 9 である。 マイコン 2 7は、 1画面分の R, G , B成分の平均信号 量が等しくなるように、 ゲイン A r、 A g、 A bを算出する.。 例えば、 R , G， B成分の信号量が、 それぞれ、 図 4に示される範囲にある場合、 マイコン 2 7は、 R成分の信号、 G成分の信号おょぴ B成分の信号に対するゲイン （A r、 A g、
A b ) を、 それぞれ、 2— 4、 2 - 2および 1と算出する。 このとき、 式 （1 ) により、 全ての色成分において、 信号量の最大値は 2 1 0 となり、 平均信号量は 2 9 となる。
ホワイトバランス調整回路 3 2は、 AZD変換回路 1 5からローデータが入力 されると、 そのローデータに対してホワイトパランス処理を行い、 入力された口 一データよりも、 情報量の小さいローデータを出力する。
次に、 階調捕正回路 3 3の動作について説明する。 階調捕正回路 3 3は、 図 5 に示すような非線形のガンマ （γ ) 特' f生を用いて、 入力された 1 0ビッ トのロー データを、 8ビットのローデータ （RAW8 ) に変換し、 その 8ビットのローデ ータを出力する。
以上のように、 ホワイトバランス調整およびガンマ捕正を施すことにより、 そ の信号量が 14ビットから 8ビットに、 すなわち、 8 14の割合で低減された ローデータ （RAW8) 力 メモリコントローラ 16を通して SDRAM17に 格納される。 これ以降の撮像システムの動作は、 第 1の実施の形態で説明された 動作と同一であるので、 説明を省略する。
ここで、 SD RAMI 7に格納される、 および、 SDRAM17から読み出し されるローデータのビット数が 8 14の割合で低減された場合の電力を見積も る。 以下では、 例として、 撮影した画像を液晶表示装置 21に表示する場合につ いて考える。 固体撮像素子 12の画素数が、 第 1の実施の形態と同様に、 例えば 500万画素であるとき、 1つの水平ラインの画素数は、 2560画素であり、 カメラ信号処理回路 18によって、 表示用の YCデータ （輝度信号 8ビット、 色 差信号 8·ビット） が生成されたときの、 1つの水平ライン当たりの画素数は、 Ί 20画素である。 このときの、 メモリコントローラ 16と SDRAM17との間 でや.りとりされるデータのデータ量は、 1つの水平ライン当たり、 以下の式
(4) で表わされる。
【数 4】
2560画素 X 8ろ X 2 + 720画素 X (8 + 8)ろ x2 = 64000み （4) 一方、 ローデータが 14ビットのとき、 メモリコントローラ 16と SDRAM 17との間でやりとりされるデータのデータ量は、 1つの水平ライン当たり、 上 述の式 （3) で表わされる。
式 （3) 及び式 (4) を参照すると、 64000/94720 = 0. 68が成 り立つことにより、 本実施の形態による撮像システムにおいて、 情報量を低減し た場合にメモリコントローラ 16と SDRAM17との間でやりとりされるデー タのデータ量は、 情報量を低減しない従来の撮像システムと比較して、 32%程 度低減される。 すなわち、 ホワイトバランス調整回路 32および階調補正回路 3 3によって、 ホワイトバランス調整おょぴ階調補正を行うことにより、 従来の撮 像システム 200と比較して、 消費電力を 32 %程度削減することができる。 本実施の形態による撮像システムでは、 メモリコントローラによってデータが メモリに格納される前に、 そのデータのデータ量を削減する。 よって、 メモリと メモリコントローラとの間でやりとりされるデータ量が削減され、 それらのイン タフエース部分における消費電力を低減できる。 結果として、 撮像システムの消 費電力削減および処理スピードの向上が可能になる。
また、 本実施の形態による撮像システムでは、 前処理回路がホワイ トバランス 調整回路および階調捕正回路を含むので、 撮像システムにおける消費電力削減お ょぴ処理スピードの向上を実現すると同時に、 ホワイトバランス調整および階調 補正を行うことができる。
なお、 本実施の形態においては、 1画面分の R成分， G成分， 及び B成分の信 号の平均信号量が等しいことを前提として、 ホワイトバランス調整を、 1画面分 の R成分， G成分， B成分の信号の平均信号量が一定になるように行っているが、 上述の前提が成り立たない場合であっても、 ®面内の色の分布おょぴ光学系の絞 りの値などの他の色? 情報を利用して、 目標となる一定の平均信 量を変更す ることによって、 同様の効果が得られる。
なお、 本実施の形態による撮像システムにおいて、 前処理回路は、 ホワイトバ ランス調整回路およぴ階調補正回路を含むが、 前処理回路は、 ホワイトバランス 調整回路と階調補正回路とを必ずしも同時に備える必要はない。 ホワイ トバラン ス調整回路を備え、 かつ、 階調補正回路を含まない前処理回路であっても、 肖 IJ減 量は異なるが、 デ タ量を削減できるので、 本実施の形態による撮像システムと 同様の効果が得られる。 また、 同様に、 前処理回路が、 階調捕正回路を備え、 つ、 ホワイトバランス調整回路を含まなくても、 データ量を削減できるので、 本 実施の形態による撮像システムと同様の効果が得られる。
(第 3の実施の形態）
本実施の形態による撮像システムは、 第 2の実施の形態による撮像システムと 異なり、 前処理回路が、 ホワイトバランス調整回路および階調補正回路に加えて、 さらにもう 1つのホワイトバランス調整回路を有する。
図 6は、 第 3の実施の形態による撮像システムの構成を示すプロック図である。 図 6において、 図 3と同一の構成には同一の符号を付している。 図 6に示される ように、 本実施の形態による撮像システム 6 0において、 前処理回路 6 1は、 第 1のホワイ トバランス調整回路 62、 第 2のホワイ トバランス調整回路 32、 階 調補正回路 33、 レベル検出回路 28及びマイコン 27から成る情報量低減回路 を備える。 図 1および図 3と同一の符号を付した構成要素については、 （第 1の 実施の形態） および （第 2の実施の形態） で既に述べたので、 その構成および動 作についての説明を省略する。
A/D変換回路 15によって出力された 14ビットのローデータ （RAW1 4) は、 前処理回路 61の第 1のホワイトバランス調整回路 62に入力される。 第 1のホワイトバランス調整回路 62は、 入力されたローデータにホワイトバラ ンス処理を施し、 10ビッ トのローデータ （RAW10A) に変換して、 その 1 0ビットのローデータを出力する。 第 1のホワイトバランス調整回路 62は、 特 定の色温度 （T。） の光源に対してホワイトバランスが取れるようなゲインを用 いてホワイ トバランス調整を行う。 このゲインは、 工場出荷前の調整工程におい て、 色温度 Τ。の光源下で撮影を行い、 そのときに得られたローデータから、 レ ベノレ検出回路 28およびマイコン 27を利用して求める。 撮像システム 60が出 荷された後は、 第 1のホワイトバランス調整回路 62は、 ゲインを、 その出荷前 の撮影によって得られたゲインに固定して、 ホワイトバランス調整を行う。 ここ で、 色温度 Τ。 は、 好ましくは、 光源色 ί! ^分布範囲 （2500 Κ：〜 8000 Κ) め中間のィ ί (例えば、 4500Κ) である。
次に、 第 1のホワイトバランス調整回路 62から出力された 10ビットのロー データ （RAW1 OA) は、 第 2のホワイ トバランス調整回路 32に入力される。 第 2のホワイトバランス調整回路 32は、 撮像時の光源に応じたホワイトバラン スのゲインを用いて、 入力された 10ビットのローデータ （RAW10A) にホ ワイ トバランス調整を施し、 10ビットのローデータ （RAW10B) を出力す る。 以上のようにしてホワイトバランス調整が施されたローデータ （RAW10 B) は、 階調捕正回路 33に入力される。 階調補正回路 33は、 ローデータ （R
AW10B) に、 階調補正である γ補正を施し、 結果として得られる 8ビットの ローデータ （RAW8) を出力する。
以下に、 A/D変換回路 15から出力されたローデータに 2段階のホワイトバ ランス調整を施す理由を説明する。 撮像素子の分光特†生は、 素子の感度にばらつ きがあるため、 必ずしも一定ではない。 例えば、 同じ光源でも、 素子によっては、 ホワイトバランスのゲインが 1 0 0/。程度も異なる場合がある。 本実施の形態によ る撮像システムにおいては、 第 1のホワイトバランス調整回路 6 2により、 その 感度のばらつきによる影響を低減することができる。
図 7は、 感度の異なる撮像素子 A、 撮像素子 B、 及び撮像素子 Cを用いた場合 の、 それぞれの撮像素子に対するホワイトバランス調整点の分布を示すグラフで ある。 図 7の （1 ) は、 色温度が 4 5 0 O Kの光源下で撮像素子 A， B , Cを用 いた場合の、 それぞれの撮像素子を用いたときのホワイトバランス調整点を示す。 図 7の （2 ) は、 図 7の （1 ) に示されるグラフに、 撮像素子 A， B， Cに対す るホワイ トバランス調整範囲 （太線） およびホワイ トバランス検出範囲 （破線） を追加したものである。 図 7の （3 ) は、 撮像素子 A， B， Cのホワイ トパラン ス調整点を一致させた場合のホワイトバランスの調整範囲おょぴ検出範囲を示す。 図 7の （1 ) 、 （2 ) および （3 ) に示されるグラフにおいて、 縦軸は RZB、 横軸は BZGを示し、 図中の曲線は、 光源の分布を表わす。 ここで、 R、 G、 B は、 撮像素子によって、 ある光源下で無彩色の被写体を撮像した場合に得られる R成分、 G成分、 B成分の信号の平均信号量の値である。 よって、 図中の曲線の 左上付近は、 比較的 R成分の多いハロゲン光 （電灯） のような光源に相当し、 中 央部は蛍光灯、 右下付近は比較的 B成分の多 ヽ屋外光およぴ曇天下の光源に相当 する。 例えば、 ハロゲン光源下 （R成分が多く、 B成分が少ない） で無彩色の被 写体を撮像した時のホワイトバランス調整点は、 図 7の左上に分布し、 曇天下
(B成分が多く、 R成分が少ない) で無彩色の被写体を撮像した時のホワイトバ ランス調整点は、 図 7の右下に分布する。
ここで、 ホワイトバランス調整とは、 以上のようにして得られた R成分、 G成 分、 B成分の平均信号量を、 それらが等しくなるように、 ゲインを用いて調整す ることをいう。 これにより、 例えば、 黄色い電灯下で撮影した画像も、 屋外で撮 影したような好ましい色再現の画像に変換できる。
図 7の （ 1 ) は、 色温度が 4 5 0 0 Kの光源下で、 撮像素子 A, B , Cを用い たときのホワイトバランス調整点を示す。 図 7の （1 ) に示されるように、 撮像 素子 Aを用いたときのホワイトバランス調整点は曲線上にあるが、 撮像素子 B、 Cを用いたときのホワイトバランス調整点は曲線上になく、 ややずれた位置にあ る。 これは、 同じ色温度 4 5 0 O Kの光源を用いた場合でも、 各々の撮像素子の R成分、 G成分及び B成分の光を感じる特性、 つまり分光特性に違いがあるため である。 従って、 色温度 4 5 0 O Kの光源下において、 R成分、 G成分、 B成分 の各々の信号に与えるゲインの比は、 撮像素子 Aを用いた場合は、 R： G： B = 1 : 1 ： 1であるのに対して、 撮像素子 B及び撮像素子 Cを用いた場合は、 それ ぞれ、 R： G： B = 0 . 8 : 1 : 1、 及び R ： G： B = 0 . 9 : 1 : 1 . 8であ る。
図 7の （2 ) は、 撮像素子 A， B， Cのホワイトバランス調整範囲 （太線） お よびホワイ トバランス検出範囲 （破線） を示す。 撮像システムでは、 自動ホワイ トバランスモードの場合に、 光源を自動的に判別して最適なホワイトバランス調 整用のゲインを設定する。 以下に、 ホワイトバランス調整範囲及ぴホワイトバラ ンス検出範囲について説明する。 各々の撮像素子のホワイトバランス調整範囲 (太線） は、 その撮像素子を用いて、 例えば、 ハロゲン光源下から曇天下までの 霸囲で撮影を行った場合の、 ホワイトバランス調整点の分布である。 また、 ホヮ. ィ トバランス検出範囲は、 以下のように定められる。 撮像システムのホワイトバ ランスでは、 一般に、 撮像している画像の平均の色分布から光源を判定するが、 被写体が無彩色であるという保証がないので、 無彩色の可能性のある画像信号か. ら光源を求める。 そこで、 ホワイトバランス検出範囲に入る信号を、 無彩色の可 能性のある画像信号とし、 ホワイトバランス検出範囲 （破線） に入る映像信号の みを集めて、 色成分ごとの信号量の平均値を求め、 光源判定の元になる平均値の 信号を得ることにしている。 撮像素子の感度の違いを考慮するとき、 ホワイトバ ランス調整を行う場合に、 ホワイ トバランスの調整範囲および検出範囲を、 素子 ごとに調整しなければならない。 これらの調整範囲およぴ検出範困の調整は、 製 品の調整工程を複雑にするとともに、 ホワイトバランス調整のソフトウェアを複 雑にする。
本実施の形態による撮像システムにおいては、 第 1のホワイトバランス調整回 路 6 2により、 感度の異なる撮像素子に対して、 色温度 4 5 0 O Kにおけるホヮ イトバランスの調整点を一致させる。 つまり、 1つの色温度 ( 4 5 0 0 K) に対 して、 全ての撮像素子に一定のゲインをかけるのではなく、 撮像素子 Aに対して は R ： G： B = l : 1 : 1のゲインをかけ、 一方、 撮像素子 B及び撮像素子じに 対しては、 それぞれ、 R： G： B = 0 . 8 : 1 : 1、 及び R： G： B = 0 . 9 ： 1 ： 1 . 8のゲインをかける。 これにより、 図 7の （3 ) に示すように、 ホワイ トパランスの調整範囲および検出範囲を 1つに限定することができる。 従って、 以後、 第 2のホワイトバランス調整回路 3 2により、 撮影時の条件でホワイトパ ランス調整を行う際には、 撮像素子の感度による違いを考慮せずに、 限定された ホワイトバランス調整範囲および検出範囲を利用して、 ホワイトバランス調整を 行うことができる。
本実施の形態による撮像システムにおいて、 ローデータのデータ量は、 第 2の 実施の形態による撮像システムと同様に低減される。 従って、 撮像システム 6 0 は、 従来の撮像システム 1 0 0と比較して、 消費電力を 3 2 %程度低減できる。 本実施の形態による撮像システムでは、 メモリコントローラによってデータが メモリに格納される前に、 そのデータのデータ量を削減する。 よって、 メモリと メモリコントローラとの間でやりとりされるデータ量が削減され、 それらのイン タフエース部分における消費電力を低減できる。 結果として、 撮像システムの消 費電力削減および処理スピードの向上が可能になる。
また、 本実施の形態による撮像システムでは、 前処理回路が、 ホワイ トバラン ス調整回路および階調補正回路を有するので、 撮像システムにおける消費電力削 減および処理スピードの向上を実現すると同時に、 ホワイトバランス調整および 階調補正を行うことができる。
また、 本実施の形態による撮像システムは、 撮像素子の感度のばらつきによる 影響を低減し、 カメラシステムの設計および調整を容易に実現できる。
なお、 本実施の形態による撮像システムにおいて、 前処理回路は、 第 1のホヮ ィトバランス調整回路、 第 2のホワイ トバランス調整回路およぴ階調補正回路を 有するが、 前処理回路は、 階調補正回路を必ずしも備える必要はない。 第 1のホ ワイトバランス調整回路と第 2のホワイ トバランス調整回路とを備え、 かつ、 階 調補正回路を含まない前処理回路であっても、 削減量の違いはあるが、 データ量 を削減できるので、 本実施の形態による撮像システムと同様の効果が得られる。 (第 4の実施の形態）
本実施の形態による撮像システムは、 第 3の実施の形態による撮像システムと 異なり、 前処理回路が、 第 1のホワイトバランス調整回路、 階調捕正回路および 第 2のホワイ トバランス調整回路に加えて、 圧縮回路を有する。 この圧縮回路で 圧縮処理を行うことにより、 ローデータの情報量が低減される。
図 8は、 第 4の実施の形態による撮像システムの構成を示すプロック図である。 図 8において、 図 6と同一の構成には同一の符号を付している。 図 8に示される ように、 本実施の形態による撮像システム 80において、 前処理回路 81は、 第 1のホワイ トバランス調整！ U路 62、 第 2のホワイ トバランス調整回路 32、 階 調補正回路 33および圧縮回路 82、 レベル検出回路 28及ぴマイコン 27から 成る情報量低減回路を備える。 図 1、 図 3および図 6と同一の符号を付した構成 要素については、 （第 1の実施の形態） から （第 3の実施の形態） で既に述べた ので、 その構成および動作についての説明を省略する。
階調補正回路 33から出力された 8ビットのローデータ （RAW8) は、圧縮 回路 82に入力される。 圧縮回路 82は、 8ビットのローデータ （RAW8) に 対し、 AD P CM (Ad a p t i v e D i f f e r e n t i a l Pu l s e Co d e Mo du l a t i on :適応差分パノレス符号変調） による圧縮処理を 施す。 ここでの ADPCMは、 例えば、 ローデータ （RAW8) の同じ色成分の 信号を 8画素ごとにまとめ、 先頭の画素に続く画素の値 （信号量） を、 先頭画素 の値 （先頭値） の差分で表わし、 ローデータの形式を、 先頭値とその差分という データの形式に変換するものである。 このとき、 例えば、 先頭値を 8ビット、 差 分を 6ビットで与えれば、 8画素毎のデータ量は、 8 + 6 X 7二 50ビットと なり、 圧縮前の 8 X 8 = 64ビットの場合に比べて、 データ量が低減できる。 また、 前処理を行わない従来の撮像システムと比較して、 8画素毎のデータ量が、 1 12ビット （= 14ビット X 8画素） から 50ビットに低減される。 なお、 ここで信号を同じ色成分ごとにまとめているのは、 同じ色成分の信号は、 近傍で 相関性が高いためである。 また、 8画素ごとに信号をまとめているのは、 カメラ 信号処理においてローデータの一部のみを使用する場合に、 差分演算する画素数 が多いと所望のデータを得るのに時間がかかるためである。 これ以降の撮像システムの動作は、 第 1の実施の形態で説明した動作と同一で あるので説明を省略する。 ただし、 本実施の形態による撮像システムにおいて、 カメラ信号処理回路は、 ADP CMで圧縮されたローデータを伸張する伸張回路 が必要となる。
ここで、 前処理回路から出力される口ーデータのビット数が 8 / 14の割合で 低減され、 かつ、 圧縮されている場合の電力を見積もる。 以下では、 例として、 撮影した画像を液晶表示装置 21に表示する場合について考える。 なお、 本実施 の形態による撮像システムにおいては、 カメラ信号処理回路 18にローデータが 入力されると、 カメラ信号処理回路 18は、 圧縮されているローデータを伸張し て、 YCデータを生成する。 例えば、 固体撮像素子 12の画素数を 500万画素 とすると、 1つの水平ラインの画素数は、 2560画素である。 また、 このとき、 カメラ信号処理回路 18によって、 表示用の YCデータ （輝度信号 8ビット、 色 差信号 8ビット） が生成されたときの、 1つの水平ライン当たりの画素数を、 7 20画素とする。 この場合に、 メモリコントローラ 16と SDRAM17との間 でやりとりされるデータのデータ量は、 1つの水平ライン当たり、 以下の式
(5) で表わされる。
【数 5】
2560画素 X丄 X 50 X 2 + 720画素 x (8 + 8)ろ x2 = 55040 ( 5 )
—方、 ローデータが 14ビットで、 かつ、 圧縮されないとき、 メモリコント口 ーラ 16と SDRAM17との間でやりとりされるデータのデータ量は、 1つの 水平ライン当たり、 上述の式 （3) で表わされる。
式 （3) 及び式 （5) を参照すると、 55040/94720 = 0. 58が成 り立つことにより、 本実施の形態による撮像システムにおいて、 メモリコント口 ーラ 16と SDRAM 17との間でやりとりされるデータのデータ量は、 従来の 撮像システム 200と比較して、 42%程度低減される。 すなわち、 前処理回路 において、 ホワイ トバランス調整、 階調補正および圧縮処理を施すことにより、 撮像システム 80は、 従来の撮像システム 200と比較して、 消费電力を 42% ¾g削減することができる。 本実施の形態による撮像システムでは、 メモリコントローラによってデータが メモリに格納される前に、 そのデータのデータ量を削減する。 よって、 メモリと メモリコントローラとの間でやりとりされるデータ量が削減され、 それらのイン タフエース部分における消費電力を低減できる。 結果として、 撮像システムの消 費電力肖 «減おょぴ処理スピードの向上が可能になる。
また、 本実施の形態による撮像システムでは、 前処理回路がホワイトバランス 調整回路および階調捕正回路を有するので、 撮像システムにおける消費電力削減 および処理スピードの向上を実現すると同時に、 ホワイトバランス調整および階 調補正を行うことができる。
なお、 本実施の形態による撮像システムおいては、 圧縮回路の圧縮方式として
AD P CM方式を甩いたが、 その他の圧縮方式を用いても同様の効果が得られる。 また、 本実施の形態による撮像システムにおいて、 前処理回路としての圧縮回 路の圧縮率は 1 Z 2程度であるが、 圧縮率を上げれば、 消費電力削減効果が上が ることは言うまでもなレ、。 ただし、 この場合には、 画質劣化が生じる。 一方、 圧 縮方式を AD P CMのような非可逆圧縮方式ではなく可逆圧縮方式とすれば、 画 質の劣化を避けることができる。 ただし、 この場合には、 圧縮率を上げるのが難 しいか、 または、 ローデータの取り扱いが複雑となる。
また、 本実施の形態による撮像システムにおいて、 前処理回路としての圧縮回 路は、 固定長の圧縮を行っている。 これは、 例えば、 ローデータの一部のみを使 用する場合に、 S D R AM上のどの位置に必要なデータがあるかをわかりやすく するためである。 固定長の代わりに可変長の符号化を施せば、 圧縮率を上げるこ とができる。 ただし、 この場合には、 メモリコントローラの構成が複雑になる。 なお、 本実施の形態による撮像システムにおいて、 前処理回路は、 第 1のホヮ ィ トバランス調整回路、 第 2のホワイ トバランス調整回路、 階調補正回路および 圧縮回路を備えるが、 前処理回路が、 圧縮回路を備え、 かつ、 ホワイ トバランス 調整回路や階調捕正回路を含まなくても、 削減量の違いはあるが、 データ量を削 減できるので、 本実施の形態による撮像システムと同様の効果が得られる。
なお、 圧縮回路は、 これまで述べられた実施の形態による撮像システムの前処 理回路に含まれても、 同様の効果が得られる。 (第 5の実施の形態）
本実施の形態による撮像システムは、 モード設定回路によって、 信号処理のモ ードを設定し、 かつ、 機能制御回路によって、 その設定されたモ ドに応じて前 処理回路の機能を制御することにより、 消費電力の削減と同時に撮影モードに応 じた処理を行える。 具体的には、 動画撮影の場合には消費電力削減を重視し、 静 止画撮影の場合には画質を重視した処理を行える。 ·
図 9は、 第 5の実施の形態による撮像システムの構成を表す。 図 9に示される ように、 撮像システム 90は、 光学レンズ 11、 固体撮像素子 12、 固体撮像素 子 1 2の駆動回路 13、 アナログ回路 14、 AZD変換回路 15、 メモリコント ローラ 16、 記憶回路としての SDRAM17、 カメラ信号処理回路 18、 J P
E G圧縮回路 19、 表示回路 20、 液晶表示装置 21、 カードコントローラ 22、 記録メディア 23、 前処理回路 91、 及び機能制御回路 92を備える。 前処理回 路 91は、 第 1のホワイ トバランス調整回路 62、 第 2のホワイ トバランス調整 回路 32、 階調補正回路、 レベル検出回路 28及びマイコン 27から成る情報量 低減回路を備える。 機能制御回路 92は、 設定モードによって、 入力信号を切り 換えることができる 3つのスィッチ 93， 94， 95を備える。 本実施の形態に よる撮像システム 90力 これまで述べられた実施の形態による撮像システムと 異なる点は、 機能制御回路 92を備える点である。 ここで、 第 2のホワイトバラ ンス調整回路 32及び階調補正回路 33は、 部分情報量低減回路 96を構成する。 さらに、 マイコン 27力 モード設定回路としての機能も果たすように構成され る。 マイコン 27は、 駆動回路 13、 および、 機能制御回路 92のスィッチ 93 (SW1) 、 スィッチ 94 (SW2) 、 及びスィッチ 95 (SW3) に対し、 モ ードの設定を行うことができる。 図 1、 図 3、 図 6およぴ図 8と同一の符号を付 した構成要素については、 （第 1の実施の形態） から （第 4の実施の形態） で既 に述べているので、 その構成および動作についての説明を省略する。
以下に、 撮像システム 90の動作について説明する。 まず、 動画モードについ て説明する。 モード設定回路として動作するマイコン 27は、 駆動回路 13、 お よび、 機能制御回路 92のスィッチ 93， 94, 95に対して動画モード、の設定 を行う。 光学レンズ 11を通して光が入射すると、 その光は、 固体撮像素子 12 によって光電変換される。 ここで、 駆動回路 13は、 固体撮像素子 12を、 動画 モードで駆動している。 次に、 固体撮像素子 12の出力信号が、 アナログ回路 1 4によって処理され、 そのアナログ信号は、 A/D変換回路 15によってデジタ ル信号に変換される。 A/D変換されて得られる 14ビットのローデータ （RA W14) は、 第 1のホワイ トバランス調整回路 62に入力される。 第 1のホワイ トバランス調整回路 62は、 第 3の実施の形態と同様に、 14ビットの口ーデー タを、 ホワイトバランス調整により 10ビットのローデータ （RAW1 OA) に 変換し、 その 10ビットのローデータを出力する。 また、 この第 1のホワイ トバ ランス調整回路 62は、 入力されたローデータ （RAW14) について光源情報 抽出処理やゲインの計算等を行う。 第 1のホワイトバランス調整回路 62から出 力されたローデータ （RAW10A) ほ、 機能制御回路 92に入力される。 ここ で、 機能制御回路 92は、 モード設定回路として動作するマイコン 27により、 動画モードに設定されている。 動画モードにおいては、 第 1のホワイトバランス 調整回路 62から機能制御回路 92に入力されたローデータ （RAW10A) 力 S、 スィッチ 94. (SW2) を通って、 第 2のホワイトバランス調整回路 32及び階 調補正回路 33を含む部分情報量低減回路 96に入力される。
部分情報量低減回路 96に入力されたローデータ （RAW10A) は、 第 2の ホワイ トバランス調整回路 32によって、 ホワイ トバランス調整が施される。 こ こで、 このホワイトバランス調整に用いられる光源情報等のホワイトバランス情 報は、 この入力されたローデータ （RAW10A) が第 1のホワイ トバランス調 整回路 62によってホワイトバランス調整される前に、 第 1のホワイトバランス 調整回路 62に入力された時点で、 その直前に、 第 1のホワイトバランス調整回 路 62に入力されたローデータについての情報である。 第 2のホワイトバランス 調整回路 32は、 入力されたローデータに、 第 3の実施の形態と同様にホワイト バランス調整を施し、 その結果得られる口一データ （RAW10B) を出力する。 第 2のホワイトバランス調整回路 32から出力されたローデータ （RAW10 B) は、 階調補正回路 33に入力され、 階調補正回路 33により、 ガンマ捕正処 理が施される。 従って、 部分情報量低減回路 96は、 8ビッ トのローデ タ （R AW8) を出力する。 部分情報量低減回路 96から出力されたローデータ （RA W8) は、 機能制御回路 92に入力され、 スィッチ 93 (SW1) を通って、 メ モリコントローラ 16に出力される。 メモリコントローラ 16は、 そのローデ一 タ （RAW8) を DRAM17に格納する。
次に、 メモリコントローラ 16は、 S DRAM 17に格納されているローデ一 タを読み出して、 それを機能制御回路 92に出力する。 機能制御回路 92は、 動 画モード設定されているので、 メモリコントローラ 16から入力されたローデ一 タ （RAW8) を、 スィッチ 95 (SW3) を通して、 カメラ信号処理回路 18 に転送する。 カメラ信号処理回路 18は、 転送されたローデータ （RAW8) に カメラ信号処理を施して、 ローデータ （RAW8) を輝度信号 （Y) と色差信号 (C) とで表される YCデータ （YC) に変換する。 メモリコントローラ 16は、 変換された YCデータをカメラ信号処理回路 18から読み出して、 それを再び、 S D R AM 17に格納する。 以降の撮像システムの動作は、 第 1の実施の形態で 説明した動作と同一であるので、 ここでは説明を省略する。
上述の動画モードでは、 撮像システム 90における消費電力が、 第 3の実施の 形態による撮像システム 60と同様に、 約 32%程度肖減される。
ホワイトパランス調整においては、 入力されたローデータのホワイトバランス 情報を用いて、 そのローデータに対してゲイン調整を行うことが望ましい。 しか し、 ローデータからの光源情報の抽出には、 1画面分のローデータの取り込みに 必要な時間を要する。 動画の場合には、 ローデータがホワイトパランス調整回路 に次々に取り込まれる （例えば、 1秒間に 30枚の画像のローデータが取り込ま れる。 ） ので、 光源情報抽出やゲイン計算等を行っている間に、 次のローデータ がホワイトバランス調整回路に入力される。 従って、 動画モードにおいては、 口 一データのホワイトバランス調整を行う際に、 撮像システムでそのローデータが 得られる直前に得られた口ーデ一タ （例えば、 1秒間に 30枚の画像の口ーデー タが取り込まれる場合は、 1 30秒前に取り込まれたローデータ） の光源情報 によりホワイトバランス処理を行う。 本実施の形態による撮像システム 90にお いては、 動画モードの場合、 第 1のホワイ トバランス調整回路6 2によって取得 されたホワイトバランス情報を、 次に第 1のホワイトバランス調整回路 62に入 力されたローデータ （RAW14) 力 s、 続いて第 2のホワイトバランス調整回路 32に入力され、 その後、 その第 2のホワイ トバランス調整回路 32においてホ ワイ トバランス調整される際に使用する。
次に、 静止画モードでの動作について説明する。 モード設定回路としてのマイ コン 27は、 駆動回路 13および機能制御回路 92のスィッチ 93， 94， 95 に対して静止画モードの設定を行う。 光学レンズ 11を通して光が入射すると、 その光は、 固体撮像素子 12によって光電変換される。 ここで、 駆動回路 13は、 固体撮像素子 12を、 静止画モードで駆動している。 次に、 固体撮像素子 12の 出力信号が、 アナログ回路 14によって処理され、 そのアナログ信号は、 AZD 変換回路 15によってデジタル信号に変換される。 AZD変換された 14ビット のローデータ （RAW14) は、 第 1のホワイトバランス調整回路 62に入力さ れる。 第 1のホワイトバランス調整回路 62は、 第 3の実施の形態と同様に、 1 4ビットのローデータを、 ホワイ トバランス調整により 10ビットのローデータ (RAW1 OA) に変換し、 その 10ビットのローデータを出力する。 また、 こ の第 1のホワイトバランス調整回路 62は、 入力されたローデータ （RAW1 4) について光源情報抽出やゲイン計算等を行う。 第 1のホワイトバランス調整 回路 62から出力されたローデータ （RAW10A) は、 機能制御回路 92に入 力される。 ここで、 機能制御回路 92は、 モード設定回路としてのマイコン 27 により静止画モードに設定されている。 静止画モードにおいては、 第 1のホワイ トバランス調整回路 62から入力されたローデータ （RAW1OA) カ、 スイツ チ 93 (SW1) を通って、 メモリコントローラ 16に入力される。 メモリコン トローラ 16は、 そのローデータ （RAW10A) を、 SDRAM17に格納す る。
次に、 メモリコントローラ 16は、 SDRAM 17に格納されているローデ一 タ （RAW10A) を読み出して、 それを機能制御回路 92に出力する。 ここで、 機能制御回路 92は、 モード設定回路として動作するマイコン 27により、 静止 画モードに設定されている。 静止画モードにおいては、 第 1のホワイトバランス 調整回路 62から機能制御回路 92に入力されたローデータ （RAW1 OA) が、 スィッチ 94 (SW2) を通って、 部分情報量低減回路 96に入力される。 部分 情報量低減回路 96に入力された 10ビットのローデータ （RAW 10) は、 第 2のホワイ トパランス調整回路 32によって、 ホワイ トバランス調整が施される。 ここで、 ホワイ トバランス調整に用いられる光源情報等のホワイトバランス情報 は、 このローデータ力 第 1のホワイ トバランス調整回路 62に入力されたとき に、 その第 1のホワイトバランス調整回路 62が取得したホワイ トバランス†青報 である。 第 2のホワイ トバランス調整回路 32は、 入力されたローデータに、 第 3の実施の形態と同様にホワイトバランス調整を施した後、 そのホワイ トバラン ス調整されたローデータを階調補正回路 33に出力する。 P皆調補正回路 33は、 入力されたローデータを、 ガンマ補正処理により、 8ビットのローデータ （RA W8) に変換し、 それを出力する。 部分情報量低減回路 96から出力された 8ビ ットのローデータ （RAW8) は、 機能制御回路 92に入力される。 機能制御回 路 92は、 静止画モードに設定されているので、 その入力された 8ビットのロー データを、 スィッチ 95 (SW3) を通して、 カメラ信号処理回路 18に転送す る。 カメラ信号処理回路 18は、 転送されたローデータにカメラ信号処理を施し、 入力されたローデータを、 輝度信号 （Y) と色差信号 （C) とで表される YCデ —タ （YC) に変換する。 メモリコントローラ 16は、 変換された YCデータを、 カメラ信号処理回路 18から読み出し、 それを再び SDRAM 17に格納する。 以降の撮像システムの動作は、 第 1の実施の形態で説明した動作と同一であるの で、 ここでは説明を省略する。
静止画モードにおいては、 ローデータ （RAW10A) を、 その情報量を 8ビ ットに低減する前に SDR AMI 7に格納する。 よって、 撮像システム 91が消 費する電力は、 従来の撮像システムと比較して、 第 1の実施の形態と同様に約 2 2%¾¾低減される。
静止画モードにおいては、 AZD変換回路 15から出力されたローデータを、 一旦 SDRAM 1 7に格納してから、 ホワイトパランス調整を行うので、 第 1の ホワイトバランス調整回路 62において入力されたローデータについて光源情報 抽出やゲイン計算等を行いながら、 その一方で、 そのローデータを SDRAM1 7に格納し、 それを SDRAM17から読み出し、 また、 第 2のホワイトパラン ス調整回路 32において、 そのローデータに、 第 1のホワイ トバランス調整回路 62で計算したゲイン等を用いて、 ホワイトバランス調整を行うことが可能であ る。 従って、 ローデータが第 1のホワイ トバランス調整回路 6 2に入力されてか ら、 第 3のホワイトバランス調整回路 3 2から出力されるまでの間に、 そのロー データのホワイトバランス設定ィ直の計算が可能となり、 入力されたローデータに、 そのローデータの情報を用いて、 ホワイトバランス調整を施すことができる。 従 つて、 ホワイトバランス精度の良い高品質な画像を得ることができる。
ホワイトバランス調整においては、 入力されたローデータに対して、 そのロー データの情報を用いてゲイン調整を施すことが望ましい。 上述の静止画モードに おいては、 取り込んだ 1画面分のローデータから抽出した光源情報により、 ホヮ イトバランスゲインを算出し、 そのホワイトバランスゲインを用いて、 その取り 込んだローデータに対してホワイトバランス調整を行うことができる。
デジタルスチルカメラのような静止画を撮像するカメラでは、 撮像したローデ 一タのホワイトバランス情報 （光源情報等） を用いてホワイ トバランス調整を施 すことが望ましい。 本実施の形態による撮像システムにおいて、 静止画撮影の場 合には、 取り込んだローデータに対して、 その取り込んだローデータのホワイト バランス情報を用いて、 ホワイトバランス調整を施すことができる。 それに対し て、 動画の場合には、 短時間に、 被写体の画像が次々に撮像システムに取り込ま れるので、 取り込んだ画像のローデータに対して、 その直前に撮像システムに取 り込んだ画像のローデータのホワイトバランス情報を用いてホワイトバランス調 整を施しても大きな問題はない。 特に、 静止画の場合には、 処理時間の制約が、 繰り返し処理が必要な動画に比べてゆるいので、 消費電力削減よりも画質に重点 が置かれる。 本実施の形態による撮像システムは撮影モードに応じた処理を行う ことができ、 動画撮影モードの場合には消費電力削減を重視し、 静止画撮影モー ドの場合には画質を重視して処理を行うことが可能である。
以下に説明される第 6の実施の形態乃至第 1 0の実施の形態の撮像システムは、 AZD変換回路とメモリコントローラとの間に、 前処理回路を備え、 その前処理 回路は、 AZD変換回路から出力される口一データを間引きする間引き回路を備 える。 これらの撮像システムは、 間引き回路によりローデータを間引きしてデー タ数を低減し、 その結果、 ローデータのデータ量を低減することにより、 S D R AMとメモリコントローラとのインタフェース部分における消費電力を低減しよ うというものである。
(第 6の実施の形態）
図 1 0は、 本発明の第 6の実施の形態による撮像システムの構成を示すブロッ ク図である。 図 1 0において、 図 1の撮像システムと同一の構成要素には、 同一 の符号を付し、 説明を省略する。 図 1 0に示されるように、 撮像システム 1 0 0 における前処理回路 1 0 2は、 間引き回路 1 0 3を備える。 さらに、 カメラ信号 処理回路 1 8は、 ズーム処理回路 1 0 4を備える。 前処理回路 1 0 2は、 A/D 変換回路 1 5に接続され、 AZD変換回路 1 5から出力された信号を受け取って それを出力する。 なお、 前処理回路 1 0 2は、 信号の情報量を低減するものでは ない。 例えば、 AZD変換回路 1 5から出力される信号の情報量が 1 0ビットの とき、 前処理回路 1 0 2から出力されるローデータの情報量は 1 0ビットのまま である。
固体撮像素子 1 2は、 例えば、 電荷結合素子 （以下、 「C C D」 という。 ） で ある。 固体撮像素子 1 2は、 2次元に配列された多数の画素から成る。 例えば、 固体撮像素子 1 2の画素数が 5 0 0万画素の場合、 それは、 水平方向及び垂直方 向に、 それぞれ、 2 5 6 0画素及び 1 9 2 0ラインの有効画素数を備える。 また、 固体撮像素子 1 2は、 各々の画素に 1つずつ対応するフォトダイォードを有する。 各々のフォトダイオード上には、 赤色フィルタ、 緑色フイノレタ、 及び青色フィル タのいずれかが配置される。 図 1 1は、 撮像素子 1 2の各々の画素に設けられた 色フィルタの配列の一例を示す。 ここで、 図 1 1は、 部分的な配列 （縦横 4 X
4の配列） を示すものであり、 色フィルタ全体は、 この部分的な配列が複数個集 まったものである。 図 1 1において、 Rは赤色フィルタ、 Gは緑色フィルタ、 B は青色フィルタである。 図 1 1に示されるように、 撮像素子 1 2における色フィ ルタの配列は、 赤色フィルタ （R) と緑色フィルタ （G) が水平方向に交互に配 列された水平ラインと、 緑色フィルタ （G) と青色フィルタ （B ) が水平方向に 交互に配列された水平ラインとが垂直方向に交互に並ぶことにより構成される。 この撮像素子 1 2に光が照射されると、 撮像素子 1 2は、 その各々の画素につ いて電気信号を生成する。 そして、 AZD変換回路 1 5は、 撮像素子 1 2の各々 の画素に対応するデジタルデータ （以下、 「画素データ」 という。 ） を出力する c 以下では、 撮像素子 12における赤色フィルタを有する画素に対応する画素デー タを Rデータ、 緑色フィルタを有する画素に対応する画素データを Gデータ、 青 色フィルタを有する画素に対応する画素データを Bデータとする。
図 12は、 撮像素子 12の色フィルタが図 11のように配列された場合に、 A ZD変換回路 15が出力するデジタル信号 （ローデータ） を示すタイミング図で ある。 図 12の （1) は、 水平同期信号を示し、 図 12の （2) は、 ローデータ を示す。 AZD変換回路 1 5は、 撮像素子 12における水平方向の画素配列 （水 平ライン） 毎に、 その水平ラインにおける複数の画素に対応する画素データを出 力する。 ここで、 図 11に示される色フィルタの配列においては、 赤色フィルタ (R) と緑色フィルタ （G) が交互に配列された水平ラインと、 緑色フィルタ
(G) と青色フィルタ （B) が交互に配列された水平ラインとが垂直方向に交互 に並ぶ。 よって、 A D変換回路 15は、 図 12に示されるように、 Rデータ
(図 12において 「R」 で示される。 ） と Gデータ （図 12において 「G」 で示 される。 ） を交互に出力する動作と、 Gデータと Bデータ （図 12において 「B」 で示される。 ） を交互に出力する動作とを交互に繰り返す。 そして、 これ らの動作は、 水平同期信号により切り替わる。 以上のようにして A/D変換回路 15から出力されたローデータは、 前処理回路 102に入力される。
以下に、 前処理回路 102について説明する。 前処理回路 102は、 入力され たローデータを、 そのままメモリコントローラ 16に出力する。 一方、 前処理回 路 102における間引き回路 103は、 メモリコントローラ 16に SDRAM書 き込み制御信号 （図 10において、 a 1で示される。 ） を出力する。 つまり、 前 処理回路 102は、 メモリコントローラ 16に、 口一データと SDRAM書き込 み制御信号を同時に出力する。 図 13は、 ローデータと SDRAM書き込み制御 信号とを説明するタイミング図である。 図 1 3において、 （1) は、 前処理回路 102に入力されるローデータ、 （2) は、 メモリコントローラ 16に入力され るローデータ、 （3) は、 メモリコントローラ 16に入力される SDRAM書き 込み制御信号を示す。 図 13に示されるように、 SDRAM書き込み制御信号は、 一定の周期で高レベルになる。 具体的に、 SDRAM書き込み制御信号は、 ある 画素データがメモリコントローラ 16に入力されるときに高レベルになると、 そ W
35
の後、 続いて 2個の画素データがメモリコントローラ 16に入力されるときには 低レベルとなる。 そして、 SDRAM書き込み制御信号は、 その 2個の画素デー タがメモリコントローラ 16に入力された後、 3個目の画素データが入力される ときに再び高レベルになる。 SDRAM書き込み制御信号は、 高レベル (HI) で、 S DRAM 17への書き込み許可を示し、 低レベル （LO) で、 SDRAM
17への書き込み禁止を示す。 よって、 SDRAM書込み制御信号が高レベルに なるタイミングと同じタイミングでメモリコントローラ 16に入力される画素デ ータのみが、 メモリコントローラ 16から SDRAM 17に出力される。
撮像素子 12における 1つの水平ラインに対応した複数の画素データがメモリ コントローラ 16に入力される場合、 図 13に示されたタイミングでは、 入力さ れる画素データの 3個のうち 1個の割合で、 S D R AM書込み制御信号が高レべ ノレになる。 従って、 撮像素子 12の 1つの水平ライン当たり、 画素データを 1 3に間引いたローデータが、 SDRAM17に格納される。
次に、 メモリコントローラ 16は、 SDRAM17から、 間引き回路 103に よって画素データの数 （つまり、 データ数） が低減されたローデータを読み出し て、 カメラ信号処理回路 18に転送する。 カメラ信号処理回路 18は、 そのロー データにカメラ信号処理を施して、 輝度信号 （Y) と色差信号 （C) とで表され る YCデータ （YC) を生成する。 メモリコントローラ 16は、 その YCデータ を読み出して、 SDRAM17に格納する。 なお、 カメラ信号処理回路 18は、 ローデータに対して、 ホワイトバランス処理、 y変換処理、 輝度信号生成処理、 色差信号生成処理、 解像度改善のためのアパーチャ補正処理などの処理を施す。 さらに、 ズーム処理回路 104により、 ローデータにズーム処理 （後述する） を 施す。 このズーム処理により、 撮像素子 12の 1つの水平ラインに対応する画素 データは、 さらに低減される。
次に、 撮影した画像を液晶表示装置 21に表示する場合、 メモリコントローラ
16は、 SDRAM17に格納されている表示用の YCデータを読み出して、 表 示回路 20に転送する。 表示回路 20は、 YCデータを表示用の信号 （表示デー タ） に変換して、 その信号を液晶表示素子 21に出力する。 液晶表示素子 21は、 その表示用の信号で表わされる画像を表示する。 また、 YCデータを圧縮して SDR AMI 7に格納する場合、 メモリコント口 ーラ 1 6は、 SDRAM1 7に格納されている YCデータを読み出して、 それを J P EG圧縮回路 1 9に出力する。 J P FG圧縮回路 1 9は、 J PEG方式によ る圧縮処理を施し、 符号データ （J P C) を生成する。 メモリコントローラ 1 6 は、 J PEG圧縮回路 1 9からその符号データを読み出して、 SDRAM1 7に 格納する。
カードコントローラ 2 2は、 SDRAM1 7に接続され、 SDRAM1 7に格 納されている J PEGの符号データを読み出し、 記録メディア 2 3に書き込む。 ここで、 メモリコントローラ 1 6と SDRAM1 7とのインタフェース部分で 消費される電力を見積もる。 以下では、 例として、 撮影した画像を液晶表示装置 2 1に表示する場合について考える。 例として、 前処理回路 1 0 2カ ら出力され るローデータの情報量を、 1 0ビットとする。 また、 撮像素子 1 2の画素数を 5 0 0万画素とし、 1つの水平ラインの画素数を 2560画素とする。 さらに、 力 メラ信号処理回路 1 8によってズーム処理 （補間及ぴ間引き処理） が施されて、 表示用の Y Cデータ （輝度信号 8ビット、 色差信号 8ビット） が生成されたとき の、 1つの水平ライン当たりの画素数 （画素データ数） を 720画素とする。 撮影した画像を液晶表示装置 2 1に表示する場合、 メモリコントローラ 1 6と S D R AM 1 7との間でやりとりされるデータの流れは、 第 1の実施の形態で説 明した通りである ώ
ローデータを 1つの水平ライン当たり 1ゾ 3に間引いたローデータを SDRA
Μ 7に格納する場合、 メモリコントローラ 1 6と SDRAM1 7との間でやりと りされるデータのデ一タ量は、 1つの水平ライン当たり、 以下の式 （6) で表わ される。 なお、 ローデータを 1つの水平ライン当たり 1 3に間引いた場合、 そ の 1つの水平ラインの画素数は、 8 5 3画素である。
【数 6】
853画素 1 Obit 2 + 720画素 x(8 + %)bit x 2 = 401藝 t ( 6 ) 一方、 AZD変換回路 1 6が出力するローデータを間引力ずに SDR AMI 7 に格納する場合、 メモリコントローラ 1 6と SDR AM 1 7との間でやりとりさ れるデータのデータ量は、 1つの水平ライン当たり、 以下の式 （7) で表わされ る。
【数 7】
2560画素 X碗 ί χ2 + 720画素 χ (8 + S)bit x 2 = 74240ろ ( 7 ) 式 （6) 及ぴ式 (7) を参照すると、 間引きを行う場合と行わない場合とでは、 メモリロントローラ 1 6と SDRAM 1 7との間でやりとりされるデータの全デ 一タ量は異なる。 具体的に、 40 100/7 4 240 = 0. 54が成り立つこと により、 間引きを行った場合にメモリコントローラ 1 6と SDRAM1 7との間 でやりとりされるデータの全データ量は、 間引きを行わない場合の 54%になる。 ここで、 メモリコントローラ 1 6と SDRAM1 7との間でやりとりされるデー タのデータ量と、 それらのインタフェース部分における消費電力は比例するので、 本実施の形態による撮像システムの消費電力は、 間引きを行わない従来の撮像シ ステムの消費電力の 54%になる。 すなわち、 本実施の形態による撮像システム によれば、 間引き回路 1 5によって間引きを行うことにより、 撮影した画像を液 晶表示装置 2 1に表示する場合に、 46 %程度の電力を削減することができる。
YCデータを圧縮して SDRAM1 7に格納する場合も、 同様に、 従来の撮像 システムと比べて、 消費電力を低減できる。
また、 本実施の形態による撮像システムによれば、 カメラ信号処理回路 18で 信号処理をする際に、 SDRAM1 7から読み出すローデータのデータ量が、 従 来の撮像システムに比べて削減されている。 従って、 SDRAM1 7からローデ ータを読み出す際の処理速度が速くなる。
なお、 本実施の形態による撮像システムにおいては、 間引き回路 1 5によって 間引きを行うことにより、 SDRAM1 7に書き込むローデータのデータ数を 1 Z 3に削減したが、 肖 II減の割合はこれに限られない。 例えば、 1Z2に削減して もよレ、。 図 1 4は、 SDRAM1 7に書き込むローデータのデータ数を 1Z2に 削減する場合の、 口一データと S D RAM書き込み制御信号を説明するタイミン グ図である。 図 1 4において、 （1) は、 前処理回路 1 0 2に入力されるローデ ータ、 （2) は、 メモリコントローラ 1 6に入力されるローデータ、 （3) は、 メモリコントローラ 1 6に入力される SDRAM書き込み制御信号を示す。 図 1 4を参照すると、 SDRAM書き込み制御信号は、 メモリコントローラ 1 6に 2 個の画素データ （Rデータと Gデータ） が入力される毎にレベルが変ィヒする。 つ まり、 ある Rデータと Gデータが連続して入力されるときに高レベルであると、 次の Rデータと Gデータが入力されるときには低レべノレになる。 この場合であつ ても、 本実施の形態による撮像システムと同一の効果が得られる。
なお、 駆動回路 1 3によつて撮像素子 1 2におけるフォトダイォードを制御す ることにより、 撮像素子 1 2の出力信号を垂直方向に間引く、 すなわち、 水平ラ イン数を間引くことも可能である。 その場合、 モニターモードが設定されると、 駆動回路 1 3によって垂直方向に間引力れた信号が固体撮像素子 1 2から出力さ れ、 その信号は、 アナログ信号 1 4を経て、 AZD変換回路 1 5に入力される。
(第 7の実施の形態）
図 1 5は、 本発明の第 7の実施の形態による撮像システムの構成を示すプロッ ク図である。 図 1 5において、 図 1 0の撮像システムと同一の構成要素には同一 の符号を付し、 説明を省略する。 本実施の形態による撮像システム 1 1 0が、 第 6の実施の形態による撮像システムと異なる点は、 レリーズボタンと、 レリーズ ボタンの状態 （レリーズボタン押されているかそうでないか） を検知するレリー ズ検知回路と、 マイコンとを備える点である。 マイコンは、 レリーズボタンの状 態に応じて、 間引き回路を制御する。
図 1 5に示されるように、 撮像システム 1 1 0は、 レリーズポタン 1 1 1、 レ リーズ検知回路 1 1 2、 及びマイコン 1 1 3を備える。 レリーズ検知回路 1 1 2 は、 レリーズボタン 1 1 1に接続され、 レリーズポタン 1 1 1がユーザによって 押されたか否かを示す信号を、 マイコン 1 1 3に出力する。 マイコン 1 1 3は、 間引き回路 1 0 3及びメモリコントローラ 1 6に接続され、 レリーズ検知回路 1 1 2からの信号に応じて、 間引き回路 1 0 3及びメモリコントローラ 1 6を制御 する。
撮像システム 3 0において、 光学レンズ 1 1に光が入射してから、 AZD変換 回路 1 5がデジタル信号を出力するまでの動作は、 レリ一ズポタン 1 1 1の状態 がどうであれ同じであり、 第 1の実施の形態で説明した通りである。 しかし、 A ZD変換回路 1 5が前処理回路 1 0 2にデジタル信号を出力した後の動作は、 レ リーズボタン 1 1 1が押されている場合とそうでない場合とで異なる。 レリーズ ポタン 111が押されず、 上の位置にあるときとは、 通常、 デジタルスチルカメ ラにおいて、 静止画の撮影を行わず、 撮影を行うための確認用に撮影画角の画像 を液晶表示装置に表示させる場合 （以下、 「モニタモード」 という。 ） である。 モニタモードの場合、 前処理回路 102は、 第 6の実施の形態で説明したように 間引き処理を行い、 メモリ 17にデータ量が低減されたローデータが格納される。 このローデータが読み出されて、 カメラ信号処理回路 18に出力されてから、 カメラ信号処理回路 18で生成された YCデータが表示回路 20に出力されるま での動作は、 第 1の実施の形態で説明した通りである。
なお、 レリーズボタン 1 1 1が押されない場合、 レリーズ検知回路 1 12は、 レリーズ検知回路 1 12からレリーズポタン 11 1が押されていないことを示す 信号を出力してもよく、 何も信号を出力しなくてもよい。
次に、 レリーズボタン 1 11を押して、 静止画を撮影する場合 （以下、 「静止 画モード」 という。 ） について説明する。 レリーズポタン 1 11が押されると、 レリーズ検知回路 112からマイコン 1 13に、 レリーズポタン 111が押され たことを示す信号が出力される。 このとき、 マイコン 113は、 間引き回路 10
3に、 間引きの停止を指示する。 具体的には、 間引き回路 103に、 常に高レべ ルの SDRAM書き込み制御信号を出力させる。 このとき、 前処理回路 102か らメモリコントローラ 16に出力されたローデータは、 全て、 メモリコントロー ラ 16によって SDR AMI 7に格納される。
ローデータが SDRAM 16に格納された後の撮像システムの動作は、 モニタ モード及び静止画モードの両方で同一である。 この動作は以下の通りである。 メ モリコントローラ 16は、 次に、 SDRAM 17に格納されたローデータを読み 出して、 カメラ信吾処理回路 18に転送する。 カメラ信号処理回路 18は、 その ローデータにカメラ信号処理を施して、 輝度信号 （Y) と色差信号 （C) とで表 される YCデータ （YC) を生成する。 メモリコントローラ 16は、 その YCデ ータを読み出して、 SDRAM17に格納する。 なお、 カメラ信号処理回路 18 は、 ローデータに対して、 ホワイトバランス処理、 "V変換処理、 輝度信号生成処 理、 色差信号生成処理、 解像度改善のためのアパーチャ補正処理などの処理を施 す。 静止画モードの場合、 メモリコントローラ 16は、 次に、 SDRAM17に格 納されている記録用の YCデータを読み出して、 J PEG圧縮回路 19に出力す る。 J P F G圧縮回路 19は、 J P E G方式による圧縮処理を施し、 符号データ (J PC) を生成する。 メモリコントローラ 16は、 J PEG圧縮回路 19から その符号データを読み出して、 SDR AMI 7に格納する。
SDRAM17に格納されている符号データは、 カードコントローラ 122に よって読み出され、 記録メディア 23に書き込まれる。
本実施の形態による撮像システムによれば、 解像度の高い画像を表示する必要 がないモニタモードと、 解像度の高い画像を記録しなければならない静止画モー ドとで、 間引き回路の動作を変えることができる。 これにより、 モニタモードで は、 ローデータを間引きして、 SDRAMとメモリコントローラとの間のインタ フェース部分における消費電力を低減でき、 静止画モードでは、 解像度の高い良 質な画像を S D RAMに格納できる。
なお、 本実施の形態による撮像システムにおいては、 モニタモードと静止面モ ードとの間でモードの切り替えを行ったが、 さらに、 モエタモード、 静止画モー ド、 及び動画モードの間でモードの切り替えを行ってもよい。 図 16.は、 それら のモードの間でモードの切り替えを行う撮像システムの構成を示すプロック図で ある。 図.16において、 図 15の撮像システムと同一の構成要素には、 同一の符 号を付している。 図 16の撮像システム 1 15が、 図 15の撮像システム.110 と異なる点は、 さらに、 モード切り替えスィッチ 116と、 MPEG (Mo v i n g P i c t u r e Ex p e r t s Gr o u ) 圧縮回路 117とを備える 点である。 ユーザがレリーズポタン 111を押すとき、 静止画を撮影する場合と、 動画を撮影する場合がある。 ユーザは、 モード切り替えスィッチ 116を用いて、 撮像システムにモードを入力することができる。 モード切り替えスィッチ 116 は、 ユーザがどちらのモードを選択したかを示す信号をマイコン 113に出力す る。 マイコン 113は、 レリ一ズ検知回路 112からレリ一ズポタン 1 11が押 されたことを示す信号が出力されると、 ユーザがどちらのモードを選択した場合 であっても、 間引き回路 103に間引き処理を開始させる。 しかし、 モード切り 替えスィッチ 1 16によって、 ユーザが静止画モードを選択したことを示す信号 が入力されると、 メモリコントローラ 16に、 SDRAM17から記録用の YC データを読み出して、 それを J PEG圧縮回路 19に転送するように指示し、 モ ード切り替えスィッチ 1 16によって、 ユーザが動画モードを選択したことを示 す信号が入力されると、 メモリコントローラ 16に、 SDRAM17から記録用 の YCデータを読み出して、 それを MP EG圧縮回路 117に転送するように指 示する。
なお、 マイコン 113によって駆動回路 13を制御することにより、 駆動回路 13によって撮像素子 12におけるフォトダイオードを制御することが可能であ る。 よって、 各々の水平ラインのデータを間引くと同時に、 撮像素子 12の出力 信号を垂直方向に間引く、 すなわち、 水平ライン数を間引くことも可能である。
(第 8の実施の形態）
本実施の形態による撮像システムは、 A/D変換回路とメモリコント口一ラと の間に、 前処理回路として、 捕間回路と間引き回路とを含むズーム処理回路を備 る。
図 17は、 本発明の第 8の実施の形態による撮像システムの構成を示すプロッ ク図である。 図 17において、 図 17の撮像システムと同一の構成要素には同一 の符号を付し、 説明を省略する。 本実施の形態による撮像システム 120が、 第 6の実施の形態による撮像システム 1 15と異なる点は、 前処理回路 102が、 間引き回路と補間回路とを含むズーム処理回路 121を有する点である。
図 18は、 ズーム処理回路 121の構成を示すプロック図である。 図 18に示 されるように、 ズーム処理回路 121は、 間引き回路 103及び捕間回路 122 を備える。 A/D変換回路 15から出力されたローデータは、 補間回路 122に 入力される。 補間回路 122から出力されたデータは、 メモリコントローラ 16 に入力される。
以下に、 補間回路 122について説明する。 図 19は、 補間回路 122の構成 を示す図である。 図 Ί 9に示されるように、 補間回路 122は、 ディレイフリッ ププロップ （d e l a y f 1 i p— f 1 o p ：以下、 「Dフリップフロップ J という。 ） 125、 第 1の乗算回路 1 26、 第 2の乗算回路 127、 及び加算回 路 128を備える。 補間回路 122に入力されだ信号は、 2つに分岐し （ 「分離 J ではない。 補間回路 122に入力された信号が 2方向に流れる。 ） 、 その一方 が Dフリップフロップ 125に入力され、 他方が第 2の乗算回路 127に入力さ れる。 Dフリップフロップ 125は、 入力された信号を、 2クロック （1クロッ クは、 撮像システムの動作周波数の 1周期分） だけ遅らせて、 第 1の乗算回路 1 26に出力する。 第 1の乗算回路 126は、 入力された信号を k倍 （kはズーム 係数） して、 その k倍された信号を出力し、 第 2の乗算回路 127は、 入力され た信号を （l— k) 倍して、 その （1一 k) 倍された信号を出力する。 第 1の乗 算回路 126及び第 2の乗算回路 127から出力される信号は、 それぞれ、 加算 回路 128に入力される。 加算回路 128は、 第 1の乗算回路 126の出力信号 と、 第 2の乗算回路 127の出力信号とを足し合わせて、 その結果得られる信号 をメモリコントローラ 16に出力する。 加算回路 128は、 ある中心画素の画素 データを 1—k倍したものと、 その中心画素の画素データより 2クロック早く出 力された画素データを k倍したものを加算する処理を行う。
以下に、 撮像素子 12の色フィルタが図 1 1のように配列されている場合に A /D変換回路 15が出力するローデータに対して、 1/2倍のズーム処理を行う 場合について説明する。 図 20は、 補間回路 122が、 メモリコントローラ 16 にローデータを出力する場合の、 メモリコントローラ 16に入力されるローデ一 タと SDRAM書き込み制御信号とを説明するタイミングを示す。 図 20におい て、 （1) は、 前処 回路 102に入力されるローデータ、 （2) は、 メモリコ ントローラ 16に入力されるローデータ、 （3) は、 ズーム係数 k (0 < k<
1) 、 （4) は、 メモリコントローラ Γ6に入力される SDRAM書き込み制御 信号を示す。
図 20を参照すると、 まず、 補間回路 122に Rデータが入力される。 補間回 路 122に入力された Rデータは、 2つに分岐し、 その一方が Dフリップフロッ プ 125に入力され、 他方が第 2の乗算回路 127に入力される。 図 20の
(3) に示されるように、 この場合のズーム係数は 1/3であり、 第 2の乗算回 路 127に入力された Rデータは、 2/3 (= 1— 1/3) 倍される。 2Z3倍 された Rデータは、 第 2の乗算回路 127から加算回路 128に出力される。 ― 方、 第 1の乗算回路 126から出力される Rデータは、 第 2の乗算回路 127よ りも 2クロック遅延して加算回路 1 2 8から出力される。 よって、 加算回路 1 2 8には、 2ノ 3倍された Rデータしか出力されず、 捕間回路 1 2 2は、 この 2ノ 3倍された Rデータをメモリコントローラ 1 6に出力する。 これは、 次に捕間回 路 1 2 2に入力される Gデータについても同様である。 なお、 Gデータが補間回 路 1 2 2に入力された場合、 ズーム係数は、 2 / 3である。
次に、 補間回路 1 2 2に 2個目の Rデータが入力される。 この Rデータも、 上 述のように 2つに分岐し、 一方が Dフリップフロップ 1 2 5に入力され、 他方が 第 2の乗算回路 1 2 7に入力される。 図 2 0の （3 ) に示されるように、 このと きのズーム係数は 1ノ3であり、 第 2の乗算回路 1 2 7に入力された Rデータは、 2ノ3倍される。 そして、 この 2ノ3倍された Rデータ （以下、 「第 1の Rデー タ J という。 ） が加算回路 1 2 8に出力される。 このとき、 第 1の乗算回路 1 2 6から加算回路 1 2 8に、 2クロック前に捕間回路 1 2 2に入力された Rデータ を 1ノ3倍した Rデータ (以下、 「第 2の Rデータ J ) が出力される。 加算回路 1 2 8は、 この第 1の Rデータと第 2の Rデータとを加算して、 その結果得られ る Rデータをメモリコントローラ 1 6に出力する。
これ以降に補間回路 1 2 2に入力される Rデータ及び Gデータについても、 同 様の処理が行われる。 このとき、 補間回路 1 2 2に Rデータ及び Gデータが入力 された場合のズーム係数は、 それぞれ、 1 / 3及び2 // 3でぁる。 図 2 0に示さ れた矢印は、 補間回路 1 2 2に入力されたある画素データと、 それよりも.2クロ ック前に補間回路 1 2 2に入力された画素データとが捕間処理されて、 メモリコ ントローラ 1 6に入力されることを示す。
図 2 0の （4 ) は、 図 2 0の （2 ) に示されるローデータと同時にメモリコン トローラ 1 6に出力される S D R AM書き込み制御信号を示す。 図 2 0の （4 ) に示されるように、 S D R AM書き込み制御信号は、 一定の周期で高レベルにな る。 具体的に、 S D R AM書き込み制御信号は、 Rデータと Gデータが、 それぞ れ、 最初にメモリコントローラ 1 6に入力されるときに低レべノレであり、 その後、 続いて 2個の画素データ （2個目の Rデータと 2個目の Gデータ） がメモリコン トローラ 1 6に入力されるときには高レベルとなる。 そして、 S D R AM書き込 み制御信号は、 その 2個の画素データがメモリコントローラ 1 6に入力された後、 続いて 2個の画素データ （3個目の Rデータと 3個目の Gデータ） が入力される ときに再び低レベルになる。 以上のように、 画素データが、 メモリコント口 ラ 16に 2個ずつ入力される毎に、 S D RAM書きこみ制御信号の信号レベルが変 化する。 SDRAM書込み制御信号が高レベルになるタイミングと同じタイミン グでメモリコントローラ 16に入力される画素データのみが、 メモリコントロー ラ 16から SDRAM17に出力される。
図 21は、 上述のズーム処理 （補間処理と間引き処理） 後のローデータにおけ る Rデータ及び Gデータの相対的位置関係を示す。 図.21に示されるように、 口 一データにおいて、 Rデータ及び Gデータは、 等間隔に配置される。 このような Rデータと Gデータの等間隔の位置関係は、 補間処理におけるズーム係数と間引 き処理における間引き率とをうまく選択することによって、 実現することができ る。
この撮像システムにおいて、 前処理回路 102により、 AZD変換回路 15か ら出力される口一データに 1ノ 2倍のズーム処理を行った場合、 撮影した画像を 液晶表示装置 21に表示するときのメモリコントローラ 16と SDRAM 17と の間でやりとりされるデータのデータ量は、 1つの水平ライン当たり、 以下の式 (8) で表わされる。 なお、 ローデータに 1つの水平ライン当たり 1ノ 2倍のズ ーム処理を行った場合、 その 1つの水平ラインの画素数は、 1280画素である。 【数 8】
1280画素 X 10ろ X 2 + 720画素 x (8 + %)bit x2 = 48640ろ ( 8 ) 式 （7) 及び式 （8) を参照すると、 ズーム処理を行う場合と行わない場合と では、 メモリコントローラ 16と SDRAM 17との間でやりとりされるデータ の全データ量は異なる。 具体的に、 48640 74240 = 0. 66が成り立 つことにより、 ズーム処理を行った場合にメモリコントローラ 16と SDRAM 17との間でやりとりされるデータの全データ量は、 ズーム処理を行わない場合 の 66%になる。 よって、 本実施の形態による撮像システムによれば、 ズーム処 理回路 121によってズーム処理を行うことにより、 撮影した画像を液晶表示装 置 21に表示する場合に、 34%程度の電力を削減することができる。
本実施の形態による撮像システムによれば、 AZD変換回路 15から、 前処理 回路 102及びメモリコントローラ 16を介して、 SDRAM17に格納される 信号は、 A D変換回路 15から出力される全ての画素データを補間処理した結 果得られる信号である。 よって、 これらの信号に対して処理を行い、 その処理さ れた信号を用いて表示する画像の品質は良質になるという効果がある。
また、 本実施の形態による撮像システムによれば、 カメラ信号処理回路 18で 信号処理をする際に、 SDRAM17から読み出すローデータのデータ量が、 従 来の撮像システムに比べて削減されている。 従って、 SDRAM17からローデ ータを読み出す際の処理速度が速くなる。
なお、 捕間処理は、 上述したものに限られない。 よって、 補間回路は、 上述の 回路以外の他の回路であってもよレ、。 図 22は、 捕間回路 122の別の構成を示 すブロック図である。 図 22において、 図 1 9と同一の構成要素には同一の符号 を付し、 説明を省略する。 補間回路 122は、 乗算回路 126， 127の代わり に、 乗算回路 130, 131を備える。 図 22に示されるように、 補間回路 12 2は、 ある画素に対応する第 1の信号を 2倍したものと、 その第 1の信号に対し、 2クロック早く出力された第 2の信号を 1倍したものと、 第 1の信号に対し、 2 クロック遅延して出力された第 3の信号を 1倍したものとを加算して平均する処 理を行う。 この補間処理後のローデータは、 メモリコントローラ 16に入力され る。
なお、 上述の説明では、 ズーム処理の倍率は 1/2倍であつたが、 これに限ら れない。 図 23は、 撮像素子 12の色フィルタが図 1 1のように配列されている 場合に、 AZD変換回路 15が出力するローデータに対して、 1/3倍のズーム 処理を行うときのメモリコントローラ 16に入力されるローデータと SDRAM 書き込み制御信号とを説明するタイミング図である。 図 23において、 （1) は、 前処理回路 102に入力されるローデータ、 （2) は、 メモリコントローラ 16 に入力されるローデータ、 (3) は、 メモリコントローラ 16に入力される SD
RAM書き込み制御信号を示す。 図 23における矢印は、 図 22の補間回路が 3 つの画素データを用いて補間処理を行うことを示す。 ズーム処理において、 捕間 処理を行った後の間引き処理は、 図 13を用いて説明した処理と同一であるので、 ここでは説明を省略する。 図 2 2及び図 2 3を用いて説明したズーム処理 （補間処理及び間引き処理） を 行った場合であっても、 図 1 9及び図 2 0を用いて説明したズーム処理を行った 場合と同様の効果が得られる。
なお、 これまでズーム処理回路 1 2 1の構成及び動作を詳細に説明したが、 ズ ーム処理回路 1 0 4の構成及び動作も、 ズーム処理回路 1 2 1のそれらと同様で ある。
(第 9の実施の形態）
図 2 4は、 本努明の第 9の実施の形態による撮像システムの構成を示すプロッ グ図である。 図 2 4において、 図 1 7の撮像システムと同一の構成要素には同一 の符号を付し、 説明を省略する。 本実施の形態による撮像システム 1 4 0が、 第 8の実施の形態による撮像システム 1 2 0と異なる点は、 レリーズボタン 1 1 1、 レリーズ検知回路 1 1 2、 及びマイコン 1 1 3を備える点である。 レリーズ検知 回路 1 1· 2は、 レリーズポタン 1 1 1が押されている力 かを示す信号を出力す る。 マイコン 1 1 3は、 レリーズボタン 1 1 2の状態 （レリーズ検知回路 1 1 2 カ ら出力される信号） に応じて、 ズーム処理回路 1 2 1を制御する。
図 2 5は、 ズーム処理回路 1 2 1の構成を示すプロック図である。 図 2 5にお いて、 図 1 8のズーム処理回路 1 2 1と同一の構成要素には同一の符号を付し、 説明を省略する。 図 2 5のズーム処理回路が、 図 1 8のズーム処理回路と異なる 点は、 セレクタ回路 1 3 2を有する点である。 前処理回路 1 2 1に入力された信 号は、 2つに分岐して、 補間回路 1 2 2及びセレクタ回路 1 3 2に入力される。 セレクタ回路 1 3 2は、 A/D変換回路 1 5から出力されたそのままのデジタル 信号、 及ぴ AZD変換回路 1 5から出力されたデジタル信号を補間回路 1 2 2に よって補間して得られる信号のいずれかを選択して、 メモリコントローラ 1 6に 出力する。
マイコン 1 1 1は、 レリーズポタン 1 1 2の状態に応じて、 間引き回路 1 0 3 とセレクタ回路 1 3 2を制御する。 マイコン 1 1 3による間引き回路 Ί 0 3の制 御は、 第 7の実施の形態で説明した通りである。 すなわち、 マイコン 1 1 3は、 レリーズ検知回路 1 1 2からレリーズボタン 1 1 1が押されていることを示す信 号が入力されない （又は、 レリーズ検知回路 1 1 2からレリーズポタン 1 1 1が 押されていないことを示す信号が入力される） と、 間引き回路 1 0 3に間引き処 理をさせるが、 レリーズ検知回路 1 1 2からレリーズボタン 1 1 1が押されたこ とを示す信号が入力されると、 間引き回路 1 0 3に、 間引きの停止を指示する。 さらに、 マイコン 1 1 3は、 レリーズ検知回路 1 1 2からレリーズボタン 1 1 1 が押されていることを示す信号が入力されないと、 セレクタ回路 1 3 2に、 捕間 回路 1 2 2によって補間された信号を出力するように指示する。 一方、 マイコン 1 1 3は、 レリーズ検知回路 1 1 2からレリーズポタン 1 1 1が押されたことを 示す信号が入力されると、 セレクタ回路 1 3 2に、 A/D変換回路 1 5から出力 されたデジタノレ信号をそのままで出力するように指示する。
本実施の形態による撮像システムによれば、 第 7の実施の形態による撮像シス テムと同様の効果が得られる。
なお、 上述の撮像システムにおいて、 セレクタ回路 1 3 2は、 レリーズボタン 1 1 1が押ざれた場合には、 A/D変換回路 1 5から出力されたデジタノレ信号を そのまま出力するが、 レリーズポタン 1 1 1が押された場合であっても、 補間回 路 1 2 2によって捕間された信号を出力してもよい。
(第 1 0の実施の形態）
図 2 6は、 本実施の形態による撮像システムの構成を示すプロック図である。 図 2 6において、 図 1 5の撮像システムと同一の構成要素には同一の符号を付し、 説明を省略する。 本実施の形態による撮像システムが、 第 7の実施の形態による 撮像システムと異なる点は、 記録画素数選択スィッチを備える点である。
図 2 6に示されるように、 本実施の形態による撮像システム 1 5 0は、 記録画 素数選択スィツチ 1 5 1を備える。 ユーザは、 この記録画素数選択スィツチ 1 5 1を用いて、 記録時の画素数を設定することができる。 このとき、 前処理回路 1 0 2の間引き回路 1 0 3は、 間引き率の異なる複数の間引きモードで動作可能で ある。 ユーザが選択した記録画素数を示す信号が、 記録画素数選択スィッチ 1 5 1からマイコン 1 1 3に入力されると、 マイコン 1 1 3は、 その記録画素数から 間引き率を判定し、 口一データがその間引き率で間引力れるように、 間引き回路 1 0 3を制御する。 以下に、 例として、 撮像素子 1 2の画素数が 5 0 0万画素の とき、ュ一ザが記録時の画素数を 1 3 0万画素と設定した場合について説明する。 撮像素子 1 2の画素数が 5 0 0万画素のとき、 1ライン当たり 2 5 6 0画素の水 平ラインが、 垂直方向に 1 9 2 0ライン並ぶ。 また、 1 3 0万画素の画像は、 1 ライン 1 2 8 0画素の水平ライン力 垂直方向に 9 6 0ライン並ぶ。 画素数が 5 0 0万画素の撮像素子 1 2によって撮像された画像を、 1 3 0万画素の画像とし て記録するとき、 1つの水平ラインの画素数を、 2 5 6 0画素から 1 2 8 0画素 にする必要がある。 この場合、 マイコン 1 1 3は、 記録画素数選択スィッチ 1 5 1力ゝら、 選択された記録画素数が 1 3 0万画素数であることを示す信号が入力さ れると、 ローデータが 1 Z 2の間引き率で間引力れるように、 間引き回路 1 0 5 を制御する。 これにより、 間引き回路 1 0 5は、 メモリコントローラ 1 6に、 例 えば、 図 1 4に示される S D RAM書き込み制御信号を出力する。
なお、 本実施の形態による撮像システムによれば、 選択された記録画素数に応 じて、 間引き回路が制御されたが、 ズーム処理回路が制御されてもよい。 このと き、 マイコンは、 ユーザが選択した記録画素数を示す信号がく 記録画素数選択ス ィツチからマイコンに入力されると、 その記録画素数からズーム倍率を判定し、 ローデータがそのズーム倍率でズーム処理されるように、 ズーム処理回路を制御 する。 図 2 7は、 選択された記録画素数に応じてズーム処理回路を制御する撮像 システムの構成を示すブロック図である。 図 2 7に示される撮像システム 1 6 0 は、 第 9の実施の形態による撮像システム 1 4 0に、 記録画素数選択スィツチ 1 5 1を追加した構成を有する。 図 2 7に示される撮像システムによれば、 図 2 6 に示された撮像システムと同一の効果が得られる。
なお、 本発明による撮像システムにおいて、 AZD変換回路とメモリコン十ロ ーラとの間に設けられる前処理回路は、 情報量低減回路、 及び、 間引き回路若し くはズーム処理回路を両方含んでもよい。
なお、 本発明は、 特定の実施形態について説明されてきたが、 当業者にとって は他の多くの変形例、 修正、 他の利用が明らかである。 それゆえ、 本発明は、 こ こでの特定の開示に限定されず、 添付の請求の範囲によつてのみ限定され得る。

Claims

請 求 の 範 囲
1 . 2次元に配列された画素に光が照射されると、 各画素に照射された光の 量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する前処理装置と、 デジタル信号を処理するデジタル信号処理装置と、
デジタル信号を記憶する記憶装置と、
前記前処理装置が出力するデジタル信号を前記記憶装置に格納し、 カゝつ、 前記 デジタル信号を前記記憶装置から読み出して前記デジタル信号処理装置に出力す る記憶制御装置と
を備える撮像システム。
2 . 前記前処理装置が、 前記デジタル信号の情報量を低減する情報量低減装 置を備える請求項 1に記載の撮像システム。
3 . 前記情報量低減装置が、
2次元に配列された前記画素に光が照射されたとき、 前記撮像装置が出力する 複数のデジタル信号の信号量の 1画面に相当する平均値である平均信号量.を検出 する検出装置と、
前記平均信号量が所定の値になるように、 複数の前記デジタル信号に与えるベ きゲインを計算する計算装置と、
前記ゲインを用いて、 複数の前記デジタル信号のゲイン調整を行うゲイン調整 を備える請求項 2に記載の撮像システム。
4 . 前記画素は、 複数の色成分の光を検知する画素で構成され、
前記撮像装置は、 前記画素に光が照射されると、 前記画素が検知する光の量を 示す複数のデジタノレ信号を出力し、
前記情報量低減装置が、
前記撮像装置が出力する、 複数の前記色成分のいずれかに対応する複数の前記 デジタル信号を用いて、 複数の前記色成分について、 その色成分に対応した複数 の前記デジタノレ信号の信号量の 1画面に相当する平均値である複数の平均信号量 を検出する検出装置と、
複数の前記色成分に対応する複数の前記平均信号量が一致するように、 複数の 前記色成分について、 対応レた複数の前記デジタル信号に与えるべきゲインを計 算する計算装置と、
複数の前記色成分に対応する前記ゲインを用いて、 複数の前記色成分に対応す る前記デジタル信号のゲイン調整を行レ、、 ホワイトバランス調整する第 1のホヮ ィトバランス調整装置と
を備える請求項 2に記載の撮像システム。
5 . 前記情報量低減装置が、 さらに、 第 2のホワイトバランス調整装置を備 え、
前記第 2のホワイトバランス調整装置は、 複数の前記色成分に対応するあらか じめ決められたゲインを用いて、 前記撮像装置が出力する、 複数の前記色成分に 対応する複数の前記デジタル信号のゲイン調整を行い、 ホワイトバランス調整し、 前記第 1のホワイ トバランス調整装置には、 前記第 2のホワイ トバランス調整 装置の出力信号を入力する請求項 4に記載の撮像システム。
6 . 前記情報量低減装置が、 さらに、 階調補正装置を備え、
前記階調捕正装置は、 デジタル信号の階調を補正することにより、 前記撮像装 置、 前記ゲイン調整装置、 及ぴ前記第 1のホワイトバラ.ンス調整装置のいずれか から入力されるデジタル信号を、 そのデジタル信号の情報量よりも小さい所定の 情報量を有するデジタル信号に変換する請求項 2から請求項 5のいずれかに記載 の撮像システム。
7 . 前記情報量低減装置が、 さらに、 入力されるデジタル信号を圧縮して、 前記デジタル信号の情報量を低減するデータ圧縮装置を備える請求項 2から請求 項 6のいずれかに記載の撮像システム。
8 . 前記データ圧縮装置が、 入力される前記デジタノレ信号を、 全て同一の情 報量をもつデジタル信号に圧縮する請求項 7に記載の撮像システム。
9 . さらに、
前記撮像装置を駆動する駆動装置と、 前記情報量低減装置、 前記記憶制御装置、 及び前記デジタル信号処理装置の間 のデジタル信号のやりとりを制御する機能制御装置と、
前記駆動装置及び前記機能制御装置に対して、 異なる 2つのモードのうち 1つ を設定するモード設定装置と
を備え、
前記情報量低減装置が、 第 1の情報量低減装置及び第 2の情報量低減装置から 成り、
前記第 1の情報量低減装置及び前記第 2の情報量低減装置は、 前記撮像装置か ら出力されたデジタル信号の情報量を低減し、
前記機能制御装置は、
前記モード設定装置によって第 1のモードが設定されると、 前記第 1の情報量 低減装置から入力された信晉を前記第 2の情報量低減装置に出力し、 前記第 2の 情報量低減装置から入力された信号を、 前記記憶制御装置に出力し、 前記記億制 御装置から入力された信号を、 前記デジタル信号処理装置に出力し、
前記モード設定手段によって第 2のモードが設定されると、 前記第 1の情報量 低減装置から入力された信号を前記記憶制御装置に出力し、 前記記憶制御装置か ら入力された信号を前記第 2の情報量低減装置に出力し、 前記第 2の情報量低減 装置から入力された信号を前記デジタル信号処理装置に出力する請求項 2に記載
1 0 . 前記前処理装置は、 複数の前記デジタル信号を間引く間引き装置を備 える請求項 1に記載の撮像システム。
1 1 . 前記間引き装置は、 前記記憶制御装置に、 一定周期でレベルが変化す る制御信号を出力し、
前記前処理装置は、 前記撮像装置が出力するデジタル信号と前記制御信号とを、 同時に前記記憶制御装置に出力し、
前記記憶制御装置は、 前記制御信号が所定のレベルであるときに入力されるデ ジタル信号のみを前記記憶装置に格納する請求項 1 0に記載の撮像システム。
1 2 . 前記前処理装置が、 さらに、 補間装置を備え、
前記補間装置は、 前記撮像装置が出力するデジタル信号を補間して、 その補間 の結果得られる補間デジタル信号を出力し、
前記前処理装置は、 前記補間デジタノレ信号と前記制御信号とを、 同時に前記記 憶制御装置に出力する請求項 1 1に記載の撮像システム。
1 3 . さらに、 レリーズボタンと
5 前記レリーズボタンが押されている力否かを示す状態信号を出力する検知装置 と、 前記検知装置から出力される前記状態信号に応じて、 前記間引き装置の動 作を開始又は停止させる間引き制御装置と
を備える請求項 1 1又は請求項 1 2に記載の撮像システム。
1 4 . さらに、 第 1のモード又は第 2のモードに対応するモード信号を出力 L0 するモード切り替え装置と、
前記モード切り替え装置から出力される前記モード信号に応じて前記記憶制御 装置を制御するモード制御装置と
を備え、
前記デジタル信号処理装置は、 第 1の圧縮装置と第 2の圧縮装置とを備え、 15 前記モード制御装置は、 前記第 1のモードを示すモード信号が入力されると、 前記記憶制御装置に、 前記記憶装置から読み出した前記デジタル信号を前記第 1 の圧縮装置に出力させ、
前記第 2のモードを示すモード信号が入力されると、 前記記憶制御装置に、 前 記記憶装置から読み出した前記デジタノレ信号を前記第 2の圧縮装置に出力させる 20 請求項 1 3に記載の撮像システム。
1 5 . さらに、 記録画素数を選択し、 その選択した記録画素数に応じた信号 を出力する記録画素数選択装置と、
前記記録画素数選択装置から出力される信号に応じて、 前記デジタル信号を問 引く間引き率を判断し、 その間引き率に応じて、 前記間引き装置が出力する前記 25 制御信号のレベル変化の周期を制御する間引き率制御装置と
を備える請求項 1 1から請求項 1 4のいずれかに記載の撮像システム。
PCT/JP2003/009407 2002-07-24 2003-07-24 撮像システム Ceased WO2004017628A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004528840A JP4372686B2 (ja) 2002-07-24 2003-07-24 撮像システム
EP03788017.6A EP1542453B1 (en) 2002-07-24 2003-07-24 Image pickup system
US10/522,066 US7382402B2 (en) 2002-07-24 2003-07-24 Imaging system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002214765 2002-07-24
JP2002-214765 2002-07-24
JP2002301829 2002-10-16
JP2002-301829 2002-10-16

Publications (1)

Publication Number Publication Date
WO2004017628A1 true WO2004017628A1 (ja) 2004-02-26

Family

ID=31890508

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/009407 Ceased WO2004017628A1 (ja) 2002-07-24 2003-07-24 撮像システム

Country Status (5)

Country Link
US (1) US7382402B2 (ja)
EP (1) EP1542453B1 (ja)
JP (1) JP4372686B2 (ja)
CN (1) CN100477738C (ja)
WO (1) WO2004017628A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008271528A (ja) * 2007-03-28 2008-11-06 Hitachi Kokusai Electric Inc 撮像装置
CN1855790B (zh) * 2005-04-29 2010-06-09 韩国科学技术院 减少和补偿波分复用无源光网络的传输损耗的方法及装置
JP2017208810A (ja) * 2016-05-17 2017-11-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080218458A1 (en) * 2007-03-02 2008-09-11 Taro Endo Color display system
KR100794785B1 (ko) * 2004-07-29 2008-01-21 삼성전자주식회사 자기 기록/재생장치의 헤드드럼 조립체
JP2006319430A (ja) * 2005-05-10 2006-11-24 Fuji Photo Film Co Ltd カメラシステム
JP5118466B2 (ja) * 2007-12-14 2013-01-16 三星電子株式会社 記録装置、再生装置、記録方法、再生方法及びプログラム
CN101582245B (zh) * 2008-05-13 2013-05-01 奇美电子股份有限公司 液晶面板驱动方法及液晶显示器
WO2009145201A1 (ja) * 2008-05-27 2009-12-03 三洋電機株式会社 画像処理装置、画像処理方法及び撮像装置
US8279308B1 (en) * 2009-07-30 2012-10-02 Adobe Systems Incorporated Optimized log encoding of image data
US20110149111A1 (en) * 2009-12-22 2011-06-23 Prentice Wayne E Creating an image using still and preview
US8737755B2 (en) * 2009-12-22 2014-05-27 Apple Inc. Method for creating high dynamic range image
US9554108B2 (en) 2010-06-25 2017-01-24 Nikon Corporation Image processing device and storage medium storing image processing program
JP2015122618A (ja) * 2013-12-24 2015-07-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
CN117579834A (zh) 2018-01-16 2024-02-20 株式会社尼康 编码装置、解码装置、编码方法、解码方法、编码程序及解码程序
CN113259582B (zh) * 2020-02-13 2022-09-16 青岛海信移动通信技术股份有限公司 图片生成方法及终端
CN111510698A (zh) * 2020-04-23 2020-08-07 惠州Tcl移动通信有限公司 图像处理方法、装置、存储介质及移动终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059656A (ja) * 1998-08-06 2000-02-25 Minolta Co Ltd デジタルカメラ
JP2000092376A (ja) * 1998-07-17 2000-03-31 Sony Corp 撮像装置
JP2000354193A (ja) * 1999-06-11 2000-12-19 Sony Corp カメラシステムおよび映像信号処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08186761A (ja) * 1994-12-30 1996-07-16 Sony Corp ビデオカメラ装置及びビデオカメラ露出制御方法
JP3483411B2 (ja) 1996-12-19 2004-01-06 キヤノン株式会社 撮像装置及び該装置におけるメモリ制御方法
JP4350809B2 (ja) * 1997-03-24 2009-10-21 富士フイルム株式会社 ディジタルカメラ
US20040209849A1 (en) * 1998-11-27 2004-10-21 Sanochemia Pharmazeutika Aktiengesellschaft Use of effectors of the central cholinergic nervous system for treatment of delirium
JP2001249858A (ja) * 2000-03-03 2001-09-14 Canon Inc 印刷システム、情報処理装置、発呼装置、印刷制御装置、印刷装置、通信制御方法及び記憶媒体
JP4700164B2 (ja) * 2000-04-24 2011-06-15 富士フイルム株式会社 画像記録装置及び方法
TW513822B (en) * 2000-10-06 2002-12-11 Sony Corp Method for producing cathode active material and method for producing non-aqueous electrolyte cell
US7298402B2 (en) * 2000-10-26 2007-11-20 Olympus Corporation Image-pickup apparatus with expanded dynamic range capabilities
JP2002152552A (ja) * 2000-11-10 2002-05-24 Mitsubishi Electric Corp ガンマ補正回路
US7170633B2 (en) * 2001-01-23 2007-01-30 Minolta Co., Ltd. Imaging apparatus
US20030235609A1 (en) * 2002-01-25 2003-12-25 Lautt Wilfred Wayne Use of cholinesterase antagonists to treat insulin resistance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092376A (ja) * 1998-07-17 2000-03-31 Sony Corp 撮像装置
JP2000059656A (ja) * 1998-08-06 2000-02-25 Minolta Co Ltd デジタルカメラ
JP2000354193A (ja) * 1999-06-11 2000-12-19 Sony Corp カメラシステムおよび映像信号処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1542453A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1855790B (zh) * 2005-04-29 2010-06-09 韩国科学技术院 减少和补偿波分复用无源光网络的传输损耗的方法及装置
JP2008271528A (ja) * 2007-03-28 2008-11-06 Hitachi Kokusai Electric Inc 撮像装置
JP2017208810A (ja) * 2016-05-17 2017-11-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20060119712A1 (en) 2006-06-08
EP1542453A4 (en) 2007-02-28
JP4372686B2 (ja) 2009-11-25
JPWO2004017628A1 (ja) 2005-12-15
CN100477738C (zh) 2009-04-08
EP1542453B1 (en) 2017-12-27
US7382402B2 (en) 2008-06-03
EP1542453A1 (en) 2005-06-15
CN1685709A (zh) 2005-10-19

Similar Documents

Publication Publication Date Title
US10708563B2 (en) Image capturing apparatus and image capturing method
US6784941B1 (en) Digital camera with video input
JP4131052B2 (ja) 撮像装置
JP4372686B2 (ja) 撮像システム
JP4253881B2 (ja) 撮像装置
JP3822380B2 (ja) 画像信号処理装置
EP1091572A2 (en) Image pickup apparatus with function of adjusting incident light quality
JP4616429B2 (ja) 画像処理装置
US7236194B2 (en) Image signal processing apparatus
US7609306B2 (en) Solid-state image pickup apparatus with high- and low-sensitivity photosensitive cells, and an image shooting method using the same
JP2620433B2 (ja) 画像処理のためのフィールド補間回路及び方法
CN1972413B (zh) 摄像装置和摄像方法
JP3674420B2 (ja) 固体撮像装置
EP2515543B1 (en) Image capturing apparatus and image capturing method
JP2003134386A (ja) 撮像装置および撮像方法
JP2004357335A (ja) 固体撮像装置
JP2008124671A (ja) 撮像装置および撮像方法
JP4195148B2 (ja) 固体撮像装置および信号読出し方法
JPH07131721A (ja) ディジタルスチルカメラ
JP4264602B2 (ja) 画像処理装置
JP2006041867A (ja) 画像処理方法および画像処理装置並びに撮像装置およびタイミング制御装置
JP2001136420A (ja) 撮像装置
JP2006340100A (ja) 撮影装置
JP4055052B2 (ja) デジタルカメラ
JP2003333421A (ja) ディジタルカメラおよびそのシェーディング補正方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004528840

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2003788017

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20038225697

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2003788017

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006119712

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10522066

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10522066

Country of ref document: US