WO2023210197A1 - 撮像装置および信号処理方法 - Google Patents

撮像装置および信号処理方法 Download PDF

Info

Publication number
WO2023210197A1
WO2023210197A1 PCT/JP2023/009946 JP2023009946W WO2023210197A1 WO 2023210197 A1 WO2023210197 A1 WO 2023210197A1 JP 2023009946 W JP2023009946 W JP 2023009946W WO 2023210197 A1 WO2023210197 A1 WO 2023210197A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
imaging device
signals
weighted average
weighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/009946
Other languages
English (en)
French (fr)
Inventor
純也 水谷
孝文 朝原
和幸 奥池
直人 小林
真理子 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to EP23795944.0A priority Critical patent/EP4518335A4/en
Publication of WO2023210197A1 publication Critical patent/WO2023210197A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Definitions

  • the present disclosure relates to an imaging device and a signal processing method.
  • Imaging devices capable of performing multispectral imaging have been developed (for example, see Patent Documents 1 to 3). With multispectral imaging, multispectral images using more wavelength bands can be captured in one shot compared to imaging with an RGB sensor that uses red (R), green (G), and blue (B) as imaging wavelengths. It is possible to obtain it. Generally, a single wavelength band is used for AE (Auto Exposure) control.
  • RGB red
  • G green
  • B blue
  • JP2018-98341A Japanese Patent Application Publication No. 2020-115640 Japanese Patent Application Publication No. 2007-127657
  • An imaging device includes a multispectral sensor section, a narrowband signal generation section, and a control section.
  • the multispectral sensor unit outputs a plurality of (N) wavelength signals as pixel signals.
  • the narrowband signal generation unit generates a plurality of (M (M>N) narrowband signals having a narrower band than the wavelength signal) from the plurality of wavelength signals output from the multispectral sensor using a coefficient matrix.
  • the control unit calculates an evaluation value by performing weighted average processing on multiple wavelength signals or multiple detection values generated using multiple wavelength signals, and operates the multispectral sensor based on the calculated evaluation value. control the exposure of the area.
  • a signal processing method includes the following two.
  • a plurality of wavelength signals as pixel signals output from a multispectral sensor or a plurality of detected values generated using the plurality of wavelength signals are weighted.
  • An evaluation value is calculated by performing averaging processing. Exposure control of the multispectral sensor section is then performed based on the calculated evaluation value.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an imaging device according to a first embodiment of the present disclosure.
  • 2 is a diagram illustrating an example of a schematic configuration of an image acquisition section in FIG. 1.
  • FIG. 2 is a diagram illustrating an example of a schematic configuration of a weighting factor determining section in FIG. 1.
  • FIG. 4 is a diagram illustrating an example of a method for deriving weighting coefficients in the weighting coefficient determining section of FIG. 3;
  • 2 is a diagram illustrating an example of a schematic configuration of an evaluation value calculation section in FIG. 1.
  • FIG. 2 is a diagram illustrating an example of AE control in the imaging device of FIG. 1.
  • FIG. 2 is a diagram showing an example of spectral sensitivity characteristics of the image acquisition section in FIG. 1;
  • FIG. 2 is a diagram illustrating a modified example of the schematic configuration of the weighting factor determining section in FIG. 1;
  • FIG. 9 is a diagram illustrating an example of a method for deriving weighting coefficients in the weighting coefficient determining section of FIG. 8;
  • 2 is a diagram illustrating a modified example of the schematic configuration of the imaging device in FIG. 1.
  • FIG. 11 is a diagram illustrating an example of a schematic configuration of the weighting coefficient calculation device of FIG. 10.
  • FIG. 11 is a diagram illustrating an example of a method for deriving weighting coefficients in the weighting coefficient calculation device of FIG. 10.
  • FIG. 10 is a diagram showing an example of spectral sensitivity characteristics of the image acquisition section in FIG. 1;
  • FIG. 2 is a diagram illustrating a modified example of the schematic configuration of the weighting factor determining section in FIG. 1;
  • FIG. 9 is
  • FIG. 2 is a diagram illustrating a modified example of the schematic configuration of the imaging device in FIG. 1.
  • FIG. FIG. 14 is a diagram for explaining a method of deriving a detected value in the detection section of FIG. 13;
  • FIG. 14 is a diagram illustrating an example of a schematic configuration of an evaluation value calculation unit in FIG. 13;
  • 2 is a diagram illustrating a modified example of the schematic configuration of the imaging device in FIG. 1.
  • FIG. 11 is a diagram illustrating a modified example of the schematic configuration of the imaging device in FIG. 10.
  • FIG. 14 is a diagram illustrating a modified example of the schematic configuration of the imaging device in FIG. 13.
  • FIG. FIG. 2 is a diagram illustrating an example of a schematic configuration of an imaging device according to a second embodiment of the present disclosure.
  • FIG. 20 is a diagram illustrating an example of a schematic configuration of a weighted average processing section in FIG. 19.
  • FIG. 20 is a diagram illustrating an example of AE control in the imaging device of FIG. 19.
  • FIG. 20 is a diagram illustrating a modified example of the schematic configuration of the imaging device in FIG. 19.
  • FIG. 20 is a diagram illustrating a modified example of the schematic configuration of the imaging device in FIG. 19.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 2 is an explanatory diagram showing an example of installation positions of an outside-vehicle information detection section and an imaging section.
  • FIG. 1 shows a schematic configuration example of an imaging device 1 according to a first embodiment of the present disclosure.
  • the imaging device 1 includes an image acquisition section 10, a narrowband signal generation section 20, a detection section 30, a weighting factor determination section 40, a weighted average processing section 50, and an exposure control section 60.
  • the image acquisition unit 10 corresponds to a specific example of the “multispectral sensor unit” of the present disclosure.
  • the narrowband signal generation section 20 corresponds to a specific example of the "narrowband signal generation section” of the present disclosure.
  • a module including the detection section 30, the weighted average processing section 50, and the exposure control section 60 corresponds to a specific example of the "control section" of the present disclosure.
  • the weighting coefficient determining unit 40 corresponds to a specific example of the “weighting coefficient determining unit” of the present disclosure.
  • the image acquisition section 10 includes, for example, a pixel array section 11, as shown in FIG. 2.
  • the pixel array section 11 has a plurality of pixels 12 arranged two-dimensionally, and each pixel 12 outputs a pixel signal corresponding to the incident light that has entered through the aperture and the photographing lens.
  • Each pixel 12 includes a photoelectric conversion element such as a photodiode.
  • the pixel array section 11 is a multispectral sensor that outputs a plurality of (N) wavelength signals as pixel signals.
  • the multispectral sensor is, for example, a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • Multispectral sensors provide multiple wavelength signals such as R (red), G (green), B (blue), Y (yellow), M (magenta), C (cyan), UV (ultraviolet), and NIR. Outputs signals in four or more wavelength bands (near infrared).
  • the image acquisition unit 10 performs A/D conversion on pixel signals from the multispectral sensor, and outputs a RAW signal I raw based on the pixel signals.
  • the image acquisition unit 10 sets exposure based on the exposure control value Ex input from the exposure control unit 60.
  • the image acquisition unit 10 sets, for example, at least one of shutter speed, gain, and aperture based on the exposure control value Ex.
  • the RAW signal I raw includes a plurality of (N) wavelength signals for each pixel 12.
  • FIG. 1 illustrates a case where the RAW signal I raw is composed of N channel RAW signals I raw1 , . . . , I rawN .
  • FIG. 2 exemplifies the configuration of subpixels included in each pixel 12 when the number of channels N is four.
  • "ch1", “ch2”, “ch3”, and "ch4" represent that each pixel 12 includes four channels. Note that the pixel configuration in the pixel array section 11 is not limited to the above.
  • the narrowband signal generation unit 20 generates a narrowband wavelength signal (narrowband A signal I nb ) is generated.
  • the narrowband signal generation unit 20 uses the coefficient matrix described in equation (2) to generate a plurality of RAW signals I raw1 ,..., I rawk ,..., I rawN (1 ⁇ k ⁇ ) output from the image acquisition unit 10. N), a plurality of (M) narrowband signals I nb1 , ..., I nbt , ..., I nbM (1 ⁇ t ⁇ M) that are narrower than the wavelength signal output from the image acquisition unit 10 are generated.
  • FIG. 1 exemplifies a case where the narrowband signal I nb is composed of M channel narrowband signals I nb1 , . . . , I nbM , which are larger than N channels.
  • the detection unit 30 includes a detection circuit that generates a plurality of detection values (detection value D) based on a plurality of wavelength signals (RAW signal I raw ).
  • the detected value D is composed of N channel detected values D 1 , D 2 , . . . , D k , . . . , DN , as shown in equation (3).
  • the detected values D 1 , ..., D N correspond to the RAW signals I raw1 , ..., I rawN for each channel k.
  • the detection circuit generates N-channel detection values D 1 , ..., D N based on the N-channel RAW signals I raw1 , ..., I rawN acquired from the image acquisition section 10 .
  • the detection circuit generates a detection value D k based on the RAW signal I rawk .
  • the detection section 30 outputs the detection value D generated by the detection circuit to the weighted average processing section 50.
  • the weighting factor determining unit 40 determines a weighting factor W avg (Equation (4)) corresponding to the detected value D.
  • the weighting coefficient W avg is composed of N-channel weighting coefficients w 1 avg , w 2 avg , ..., w k avg , ..., w N avg , as shown in equation (4).
  • the weighting factor determination unit 40 assigns a plurality of weighting factors w 1 avg , w 2 avg , ..., w k avg , ... one to each detected value D 1 , D 2 , ..., D k , ..., D N , w N avg .
  • the weighting factor determining unit 40 determines a weighting factor w k avg corresponding to the detected value D k .
  • the weighting factor determining unit 40 derives the weighting factor w k avg using equations (5) and (6).
  • the weighting coefficient w k t for channel k is one element of the weighting coefficient list W_list , as shown in equations (7) and (8).
  • the weighting coefficient w k t is the absolute value of one element included in the coefficient matrix described in equation (2). Therefore, the weighting coefficient list W_list is configured by the absolute value of each element included in the coefficient matrix described in equation (2).
  • the weighting coefficient determining unit 40 determines the weighting coefficients W avg (weighting coefficients of N channels w 1 avg , w 2 avg , ..., w k avg , ... , w N avg ).
  • the weighting coefficient determining unit 40 includes, for example, as shown in FIG. 3, a storage unit 41, an absolute value calculation unit 42, a weighting coefficient generation unit 43, and an average processing unit 44.
  • the storage unit 41 is configured by, for example, non-volatile memory (NVM).
  • the storage unit 41 stores the coefficient matrix described in equation (2).
  • the absolute value calculation unit 42 acquires the coefficient matrix from the storage unit 41 (step S101, FIG. 4).
  • the absolute value calculation unit 42 calculates the absolute value of each element of the coefficient matrix acquired from the storage unit 41 using equation (9) (step S102, FIG. 4).
  • the weighting coefficient generation unit 43 generates the weighting coefficient list W_list shown in equation (7) using the calculated absolute value (step S102, FIG. 4).
  • the average processing unit 44 calculates the average value (weighting coefficient W avg ) of the weighting coefficient list W _list using equations (4) to (6).
  • the average processing unit 44 calculates a weighting coefficient W k avg for each channel k.
  • the average processing section 44 outputs the calculated weighting coefficient W avg to the weighted average processing section 50 .
  • the weighted average processing unit 50 calculates the evaluation value Ev by performing weighted average processing on the detected values D (detected values D 1 , D 2 , . . . , D k , . . . , D N of N channels).
  • the weighted average processing unit 50 performs weighted average processing based on the weighting coefficient W avg determined by the weighting coefficient determining unit 40 .
  • the weighted average processing unit 50 performs weighted average processing based on each element included in the coefficient matrix.
  • the weighted average processing section 50 includes, for example, a multiplication section 51 and an integration section 52, as shown in FIG.
  • the multiplication unit 51 multiplies the detected value D k and the weighting coefficient w k avg for each channel k, and outputs the resulting value (D k ⁇ w k avg ) to the integration unit 52 .
  • the integration unit 52 integrates the value (D k ⁇ w k avg ) input from the multiplication unit 51 over all channels, and outputs the evaluation value Ev obtained thereby to the exposure control unit 60 .
  • the exposure control unit 60 calculates an exposure control value Ex based on the evaluation value Ev input from the weighted average processing unit 50. For example, the exposure control unit 60 calculates an exposure value (time) by dividing the exposure target value by the evaluation value Ev, and calculates the exposure control value Ex based on the calculated exposure value (time). The exposure control section 60 outputs the calculated exposure control value Ex to the image acquisition section 10. In this way, the exposure control section 60 performs exposure control (AE control) of the image acquisition section 10 (multispectral sensor) based on the evaluation value Ev.
  • AE control exposure control
  • FIG. 6 shows an example of AE control in the imaging device 1.
  • the image acquisition unit 10 sets the exposure based on the initial value of the exposure control value Ex, and then performs imaging. Thereby, the image acquisition unit 10 acquires the RAW signal I raw based on the initial value of the exposure control value Ex (step S201).
  • the detection unit 30 generates a detection value D based on the RAW signal I raw (step S202).
  • the weighting factor determining unit 40 determines a weighting factor W avg corresponding to the detected value D (step S203).
  • the weighted average processing unit 50 performs weighted average processing on the detected value D (step S204). Thereby, the weighted average processing unit 50 obtains the evaluation value Ev.
  • the exposure control unit 60 calculates an exposure control value Ex based on the evaluation value Ev (step S205).
  • the exposure control section 60 outputs the calculated exposure control value Ex to the image acquisition section 10.
  • the image acquisition unit 10 can perform imaging after setting the exposure based on the input new exposure control value Ex.
  • Imaging devices capable of performing multispectral imaging have been developed (for example, see Patent Documents 1 to 3).
  • multispectral imaging multispectral images using more wavelength bands can be captured in one shot compared to imaging with an RGB sensor that uses red (R), green (G), and blue (B) as imaging wavelengths. It is possible to obtain it.
  • RGB red
  • G green
  • B blue
  • a single wavelength band is used for AE control.
  • exposure control using only a single wavelength band it is difficult to properly expose a desired subject, for example, when capturing an image that includes a plurality of subjects with large differences in illuminance.
  • the evaluation value Ev is calculated by performing weighted average processing on the detection value D generated using a plurality of wavelength signals as pixel signals output from the image acquisition unit 10. . Exposure control of the image acquisition unit 10 is then performed based on the calculated evaluation value Ev. In this way, by performing weighted average processing on the detection value D, it is possible to decide which channel of the image acquisition unit 10 is to be given importance. As a result, it is possible to effectively suppress deterioration (overexposure or underexposure of the image) in the output narrowband signal Inb . Therefore, in this embodiment, it is possible to perform appropriate exposure so as to suppress blown-out highlights or blown-out shadows in the image.
  • weighted average processing is performed based on each element included in the coefficient matrix.
  • weighted average processing is performed based on the weighting coefficient W avg determined by the weighting coefficient determination unit 40.
  • the weighting coefficient W avg is determined based on each element included in the coefficient matrix. Therefore, it is possible to decide which channel of the image acquisition unit 10 is to be given importance. As a result, it is possible to effectively suppress deterioration (overexposure or underexposure of the image) in the output narrowband signal Inb . Therefore, in this embodiment, it is possible to perform appropriate exposure so as to suppress blown-out highlights or blown-out shadows in the image.
  • the weighting coefficient determination unit 40 may determine the weighting coefficient W avg based on the spectral sensitivity characteristics of the image acquisition unit 10 (multispectral sensor).
  • the weighted average processing unit 50 can perform weighted average processing based on the spectral sensitivity characteristics (spectral sensitivity data S k ) for each channel k as shown in FIG. 7, for example.
  • the spectral sensitivity data S k of channel k is data quantized into R pieces, as shown in equation (10). Furthermore, the spectral sensitivity data S' k corresponding to each band of the narrowband signal I nb extracted from the spectral sensitivity data S k of channel k are expressed as S' k 1 , S ' k 2 ,..., S' k t ,..., S' k M. In this modification, the weighting coefficient w k t for channel k is S' k t , as shown in equation (12).
  • the weighting coefficient list W_list is composed of spectral sensitivity data S' k t corresponding to each band of the narrowband signal I nb extracted from the spectral sensitivity data S k of each channel k.
  • the weighting coefficient determination unit 40 determines the weighting coefficient W avg ( weight of N channels The coefficients w 1 avg , w 2 avg , ..., w k avg , ..., w N avg ) are determined.
  • the weighting coefficient determining unit 40 includes, for example, a storage unit 45, a band extraction unit 46, a weighting coefficient generation unit 47, and an average processing unit 48, as shown in FIG.
  • the storage unit 45 is made up of, for example, a nonvolatile memory.
  • spectral sensitivity data S k described in equation (10) is stored for each channel k.
  • the band extraction unit 46 acquires the spectral sensitivity data Sk from the storage unit 45 (step S301, FIG. 9).
  • the band extractor 46 extracts spectral sensitivity data S'k corresponding to each band of the narrowband signal Inb from the spectral sensitivity data Sk acquired from the storage unit 45 (step S302, FIG. 9).
  • the weighting coefficient generation unit 47 generates a weighting coefficient list W_list using the extracted spectral sensitivity data S'k (step S303, FIG. 9).
  • the average processing unit 48 calculates the average value (weighting coefficient W avg ) of the weighting coefficient list W _list using equations (4) to (6) (step S304, FIG. 9).
  • the average processing unit 48 calculates a weighting coefficient W k avg for each channel k.
  • the average processing section 48 outputs the calculated weighting coefficient W avg to the weighted average processing section 50 .
  • weighted average processing is performed based on the spectral sensitivity characteristics (spectral sensitivity data S k ) for each channel k.
  • the weighting coefficient W avg is determined based on the spectral sensitivity characteristics (spectral sensitivity data S k ) for each channel k.
  • the weighting coefficient calculation device 100 calculates weights suitable for the input narrow band signals I nb1 , ..., I nbt , ..., I nbM . It is configured to include a learning model trained to output the coefficient W avg .
  • the weighting coefficient calculation device 100 includes, for example, an evaluation section 110, a storage section 120, an update processing section 130, and an optimum value acquisition section 140, as shown in FIG.
  • the storage unit 120 stores the initial value of the weighting coefficient W avg .
  • the update processing unit 130 first reads the initial value of the weighting coefficient W avg from the storage unit 120 and outputs it to the imaging device 1 (step S401, FIG. 12).
  • the imaging device 1 calculates an exposure control value Ex using the weighting coefficient W avg input from the weighting coefficient calculation device 100, and sets exposure based on the calculated exposure control value Ex.
  • the imaging device 1 performs imaging after setting the exposure based on the exposure control value Ex. As a result, the imaging device 1 outputs the narrowband signal I nb based on the initial value of the weighting coefficient W avg .
  • the evaluation unit 110 acquires the narrowband signal Inb from the imaging device 1 (step S402, FIG. 12). When the evaluation unit 110 acquires the narrowband signal I nb from the narrowband signal generation unit 20, it evaluates the acquired narrowband signal I nb (step S403, FIG. 12). The evaluation unit 110 generates a new weighting coefficient W avg based on the evaluation result of the acquired narrowband signal I nb (step S404, FIG. 12). The evaluation unit 110 stores the evaluation result and the weighting coefficient W avg in the storage unit 120 in association with each other. The evaluation unit 110 outputs a flag indicating completion of the evaluation (1 loop completion flag) to the update processing unit 130.
  • the update processing unit 130 When the update processing unit 130 obtains a flag indicating completion of evaluation (one loop completion flag) from the evaluation unit 110, the update processing unit 130 reads the evaluation result and the weighting coefficient W avg from the storage unit 120, and applies the new weighting coefficient W avg to the imaging device 1. (Step S405, FIG. 12).
  • the evaluation section 110, the storage section 120, and the update processing section 130 execute the above processing every time the narrowband signal Inb is input from the narrowband signal generation section 20.
  • the update processing unit 130 When the value of the weighting coefficient W avg converges, the update processing unit 130 generates a flag indicating convergence (update completion flag) and outputs it to the optimum value acquisition unit 140 .
  • the optimal value acquisition unit 140 receives the flag from the update processing unit 130, it reads the weighting coefficient W avg from the storage unit 120 and outputs the read weighting coefficient W avg to the outside.
  • the value generated by the learning model in the weighting factor calculation device 100 is determined as the weighting factor W avg .
  • the weighting coefficient determination unit 40 uses each element included in the coefficient matrix and the specification information input from the application device 200 connected to the imaging device 1, as shown in FIG. 13, for example.
  • the weighting coefficient W avg may be determined based on this.
  • the weighted average processing unit 50 can perform weighted average processing based on each element included in the coefficient matrix and the designation information input from the application device 200 connected to the imaging device 1.
  • the above-mentioned "designation information” is information that designates at least one band among the plurality of bands included in the narrowband signal Inb .
  • two bands specified by the above-mentioned “designation information” are illustrated by thick solid lines.
  • the narrowband signal generation unit 20 may output M narrowband signals I nb1 , ..., I nbt , ..., I nbM as the narrowband signal I nb to the application device 200, and may also output the M narrowband signals I nb1 , ..., I nbt , ..., I nbM to the application device 200, and may output the M narrowband signals I nb1 , ..., I nbt , ..., I nbM to the application device 200, and may also output the M narrowband signals I nb1 , ..., I nbt , ..., I nbM to the application device 200 .
  • Only one or more narrowband signals Inbt specified by Inbt may be output to the application device 200.
  • the narrowband signal generation unit 20 outputs only one or more narrowband signals Inbt specified by the above-mentioned "designation information" to the application device 200, the amount of data transmitted from the imaging device 1 to the application device 200 is kept low. be able to.
  • the weighting coefficient determining unit 40 determines the weighting coefficient for each divided area ⁇ j (FIG. 14) that divides the pixel area of the pixel array unit 11, for example. W avg may also be determined. At this time, in the divided area ⁇ j, a plurality of pixels 12 are allocated to each channel k.
  • the detection unit 30 classifies the plurality of pixel signals output from the pixel array unit 11 (multispectral sensor) for each partitioned area ⁇ j, and integrates the plurality of pixel signals for each channel k for each partitioned area ⁇ j. Thereby, the detection circuit can generate a detection value D k j for each channel k and for each partitioned area ⁇ j, as shown in equations (3) and (13).
  • the weighted average processing unit 50 calculates the evaluation value Ev by performing weighted average processing on the detected values D k j generated for each channel k and each divided area ⁇ j.
  • the weighted average processing section 50 includes, for example, multiplication sections 51 and 53, an integration section 52, and a normalization section 54, as shown in FIG.
  • the multiplier 53 multiplies the weighting coefficient W k_avg for each channel k and the weighting coefficient W j_avg for each divided area ⁇ j.
  • the normalization unit 54 normalizes the value (W k_avg ⁇ W j_avg ) obtained by the multiplication unit 53. Let w k avg be the value obtained by normalization in the normalization unit 54 .
  • the multiplication unit 51 multiplies the detected value D k and the value w k avg obtained by normalization in the normalization unit 54 for each channel, and the obtained value (D k ⁇ w k avg ) is output to the integration section 52.
  • the integration unit 52 integrates the value (D k ⁇ w k avg ) input from the multiplication unit 51 over all channels, and outputs the evaluation value Ev obtained thereby to the exposure control unit 60 .
  • the detection unit 30 may generate a number Q of detected values different from the number N of channels. .
  • the weighting coefficient determination unit 40 determines Q weighting coefficients corresponding to the Q detected values. Even in this case, it is possible to obtain the same effects as in the above-described embodiment and modifications 1-1, 1-2, 1-3, and 1-4.
  • the detection section 30 may be omitted.
  • the detection section 30 is omitted, and instead of the detection value D, the output of the image acquisition section 10 (RAW signal I raw ) is input to the weighted average processing section 50. may be done.
  • the weighting factor determination unit 40 determines the weighting factor W avg (Equation (4)) corresponding to the RAW signal I raw .
  • the weighting factor determining unit 40 assigns a plurality of weighting factors w 1 avg , w 2 avg , ..., w k avg , ..., w N that are assigned one to each RAW signal I raw1 , ..., I rawk , ..., I rawN . Determine avg .
  • the weighting factor determining unit 40 determines a weighting factor w k avg corresponding to the RAW signal w k avg .
  • the weighted average processing unit 50 calculates the evaluation value Ev by performing weighted average processing on the RAW signal I raw .
  • the weighted average processing unit 50 performs weighted average processing based on the weighting coefficient W avg determined by the weighting coefficient determining unit 40 . Even in this case, it is possible to obtain the same effects as in the above-described embodiment and modifications 1-1, 1-2, 1-3, and 1-4.
  • FIG. 19 shows a schematic configuration example of an imaging device 2 according to a second embodiment of the present disclosure.
  • the imaging device 2 includes an image acquisition section 10, a narrowband signal generation section 20, a weighting factor determination section 40, a weighted average processing section 80, a detection section 90, and an exposure control section 60.
  • the image acquisition unit 10 corresponds to a specific example of the “multispectral sensor unit” of the present disclosure.
  • the narrowband signal generation section 20 corresponds to a specific example of the "narrowband signal generation section” of the present disclosure.
  • a module including the weighted average processing section 80, the detection section 90, and the exposure control section 60 corresponds to a specific example of the "control section" of the present disclosure.
  • the weighting coefficient determining unit 40 corresponds to a specific example of the “weighting coefficient determining unit” of the present disclosure.
  • the weighted average processing unit 80 calculates the RAW signal I′ raw by performing weighted average processing on the RAW signal I raw (N channel RAW signals I raw1 , . . . , I rawN ).
  • the weighted average processing unit 80 performs weighted average processing based on each element included in the coefficient matrix.
  • the weighted average processing section 80 includes, for example, a multiplication section 81 and an integration section 82, as shown in FIG.
  • the multiplier 81 multiplies the RAW signal I rawk and the weighting coefficient w k avg for each channel k, and outputs the resulting value (I rawk ⁇ w k avg ) to the integrating unit 82 .
  • the integrating unit 82 integrates the value (I rawk ⁇ w k avg ) input from the multiplying unit 81 over all channels, and uses the resulting value as the RAW signal I' raw for one channel to the detecting unit. Output to 90.
  • the detection section 90 has a detection circuit that generates p detection values (p ⁇ 1) based on the RAW signal I' raw .
  • the detection unit 90 calculates an evaluation value Ev based on the p detection values generated by the detection circuit.
  • the evaluation value calculation unit 83 outputs the calculated evaluation value Ev to the exposure control unit 60.
  • FIG. 21 shows an example of AE control in the imaging device 2.
  • the image acquisition unit 10 sets the exposure based on the initial value of the exposure control value Ex, and then performs imaging. Thereby, the image acquisition unit 10 acquires the RAW signal I raw based on the initial value of the exposure control value Ex (step S501).
  • the weighting coefficient determination unit 40 determines the weighting coefficient W avg corresponding to each channel k (step S502).
  • the weighted average processing unit 80 performs weighted average processing on the N-channel RAW signal I rawk (step S503). Thereby, the weighted average processing section 80 obtains the RAW signal I' raw for one channel.
  • the detection unit 90 generates a detection value D for one channel based on the RAW signal I' raw , and calculates an evaluation value Ev based on the generated detection value D.
  • the exposure control unit 60 calculates an exposure control value Ex based on the evaluation value Ev (step S504).
  • the exposure control section 60 outputs the calculated exposure control value Ex to the image acquisition section 10.
  • the image acquisition unit 10 can perform imaging after setting the exposure based on the input new exposure control value Ex.
  • the RAW signal I' raw is calculated by performing weighted average processing on the RAW signal I raw obtained from the image acquisition unit 10, and the evaluation is performed based on the calculated RAW signal I' raw .
  • a value Ev is calculated.
  • Exposure control of the image acquisition unit 10 is then performed based on the calculated evaluation value Ev.
  • the weighting coefficient determination unit 40 may determine the weighting coefficient W avg based on the spectral sensitivity characteristics of the image acquisition unit 10 (multispectral sensor). At this time, the evaluation value calculation unit 50 can perform weighted average processing based on the spectral sensitivity characteristics (spectral sensitivity data S k ) for each channel k as shown in FIG. 7, for example.
  • the weighting factor determining section 40 includes, for example, as shown in FIG. 8, a storage section 45, a band extraction section 46, a weighting factor generation section 47, and an averaging section 48.
  • weighted average processing is performed based on the spectral sensitivity characteristics (spectral sensitivity data S k ) for each channel k.
  • the weighting coefficient W avg is determined based on the spectral sensitivity characteristics (spectral sensitivity data S k ) for each channel k.
  • a weighting coefficient determination unit 70 may be provided that determines the weighting coefficient as follows.
  • the value generated by the learning model in the weighting factor calculation device 100 is determined as the weighting factor W avg .
  • the weighting coefficient determination unit 40 for example, as shown in FIG.
  • the weighting coefficient W avg may be determined based on the information.
  • the weighted average processing unit 80 can perform weighted average processing based on each element included in the coefficient matrix and the designation information input from the application device 200 connected to the imaging device 2.
  • the above-mentioned "designation information” is information that designates at least one band among the plurality of bands included in the narrowband signal Inb .
  • the imaging device 2 determines a weighting coefficient W avg that can suppress deterioration in a band in which deterioration (overexposure or overshadowing of an image) is particularly desired to be suppressed. can be generated. As a result, it is possible to effectively suppress deterioration (blown-out highlights or blocked-up shadows in an image) in a specific band.
  • the exposure control unit 60 receives the evaluation value Ev input from the weighted average processing unit 50 and the application device connected to the imaging device 1.
  • the exposure control value Ex may be calculated based on the information.
  • the application device is a device that performs processing using the plurality of narrowband signals Inb output from the imaging device 1.
  • Information input from the application device may include, for example, the maximum exposure time determined based on system hardware constraints or the maximum gain determined based on sensor usage.
  • the exposure control value Ex By calculating the exposure control value Ex based on such known information, for example, if the score is low in a scene where blur is likely to occur, the exposure time may be shortened, or if the score is low in a scene where noise is likely to occur. You can reduce the gain to
  • examples of information input from the application device include evaluation values.
  • Examples of the evaluation value include recognition processing results and S/N results.
  • the results of the recognition process include, for example, information regarding whether a specific object has been detected, the class of the detected object, or a setting value according to the velocity vector of the moving object.
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as a car, electric vehicle, hybrid electric vehicle, motorcycle, bicycle, personal mobility, airplane, drone, ship, robot, etc. It's okay.
  • FIG. 24 is a block diagram illustrating a schematic configuration example of a vehicle control system, which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/image output section 12052, and an in-vehicle network I/F (Interface) 12053 are illustrated as the functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
  • the body system control unit 12020 controls the operations of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
  • radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 12020.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
  • the external information detection unit 12030 detects information external to the vehicle in which the vehicle control system 12000 is mounted.
  • an imaging section 12031 is connected to the outside-vehicle information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the external information detection unit 12030 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electrical signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver condition detection section 12041 that detects the condition of the driver is connected to the in-vehicle information detection unit 12040.
  • the driver condition detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver condition detection unit 12041. It may be calculated, or it may be determined whether the driver is falling asleep.
  • the microcomputer 12051 calculates control target values for the driving force generation device, steering mechanism, or braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, Control commands can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or impact mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or impact mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of autonomous driving, etc., which does not rely on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of preventing glare, such as switching from high beam to low beam. It can be carried out.
  • the audio and image output unit 12052 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
  • an audio speaker 12061, a display section 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 25 is a diagram showing an example of the installation position of the imaging section 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at, for example, the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield inside the vehicle.
  • An imaging unit 12101 provided in the front nose and an imaging unit 12105 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 12100.
  • Imaging units 12102 and 12103 provided in the side mirrors mainly capture images of the sides of the vehicle 12100.
  • An imaging unit 12104 provided in the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 25 shows an example of the imaging range of the imaging units 12101 to 12104.
  • An imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • an imaging range 12114 shows the imaging range of the imaging unit 12101 provided on the front nose.
  • the imaging range of the imaging unit 12104 provided in the rear bumper or back door is shown. For example, by overlapping the image data captured by the imaging units 12101 to 12104, an overhead image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of image sensors, or may be an image sensor having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104. By determining the following, it is possible to extract, in particular, the closest three-dimensional object on the path of vehicle 12100, which is traveling at a predetermined speed (for example, 0 km/h or more) in approximately the same direction as vehicle 12100, as the preceding vehicle. can. Furthermore, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving, etc., in which the vehicle travels autonomously without depending on the driver's operation.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 transfers three-dimensional object data to other three-dimensional objects such as two-wheeled vehicles, regular vehicles, large vehicles, pedestrians, and utility poles based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic obstacle avoidance. For example, the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceeds a set value and there is a possibility of a collision, the microcomputer 12051 transmits information via the audio speaker 12061 and the display unit 12062. By outputting a warning to the driver via the vehicle control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceed
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether the pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • pedestrian recognition involves, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and a pattern matching process is performed on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not.
  • the audio image output unit 12052 creates a rectangular outline for emphasis on the recognized pedestrian.
  • the display unit 12062 is controlled to display the .
  • the audio image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • control using multispectral images can be performed.
  • the present disclosure can take the following configuration. (1) a multispectral sensor unit that outputs a plurality of (N) wavelength signals as pixel signals; a narrowband signal generation unit that uses a coefficient matrix to generate a plurality of (M (M>N) narrowband signals narrower than the wavelength signals from the plurality of wavelength signals output from the multispectral sensor); and, An evaluation value is calculated by performing weighted average processing on the plurality of wavelength signals or a plurality of detection values generated using the plurality of wavelength signals, and the multispectral sensor is calculated based on the calculated evaluation value.
  • An imaging device comprising: a control section for controlling exposure of the section; (2) The imaging device according to (1), wherein the control unit performs the weighted average processing based on each element included in the coefficient matrix. (3) The imaging device according to (1), wherein the control unit performs the weighted average processing based on spectral sensitivity characteristics of the multispectral sensor unit. (4) The imaging device according to (1) or (2), wherein the control unit performs the weighted average processing based on each element included in the coefficient matrix and designation information that designates the narrowband signal.
  • (5) further comprising a weighting coefficient determination unit that determines a plurality of weighting coefficients to be assigned to each of the wavelength signals or to each of the detected values,
  • the control unit performs the weighted average processing based on the plurality of weighting coefficients determined by the weighting coefficient determining unit.
  • the weighting coefficient determination unit determines the plurality of weighting coefficients based on each element included in the coefficient matrix.
  • the weighting coefficient determining unit determines the plurality of weighting coefficients based on spectral sensitivity characteristics of the multispectral sensor unit.
  • the imaging device wherein the weighting coefficient determination unit determines the plurality of weighting coefficients based on each element included in the coefficient matrix and designation information that designates the narrowband signal.
  • the weighting coefficient determination unit determines the plurality of weighting coefficients for each partitioned area that partitions a pixel area of the multispectral sensor unit.
  • the control unit may classify each of the wavelength signals into divided areas that partition a pixel area of the multispectral sensor unit, and perform weighted average processing on the plurality of detected values generated for each divided area.
  • the imaging device wherein the evaluation value is calculated by: (11)
  • the control unit performs the exposure control based on the evaluation value and information obtained from a device that performs processing using the plurality of narrowband signals.
  • the imaging device described in (12) Using a coefficient matrix, from a plurality of (N) wavelength signals as pixel signals output from a multispectral sensor, generate a plurality of (M (M>N) narrowband signals narrower than the wavelength signals) to do and
  • An evaluation value is calculated by performing weighted average processing on the plurality of wavelength signals or a plurality of detection values generated using the plurality of wavelength signals, and the multispectral sensor is calculated based on the calculated evaluation value.
  • a signal processing method comprising controlling the exposure of a portion of the image.
  • a plurality of wavelength signals as pixel signals output from a multispectral sensor or a plurality of detected values generated using the plurality of wavelength signals are weighted.
  • An evaluation value is calculated by performing averaging processing. Exposure control of the multispectral sensor section is then performed based on the calculated evaluation value.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本開示の一側面に係る撮像装置は、マルチスペクトルセンサ部と、狭帯域信号生成部と、制御部とを備えている。マルチスペクトルセンサ部は、画素信号として複数（Ｎ個）の波長信号を出力する。狭帯域信号生成部は、係数行列を用いて、マルチスペクトルセンサから出力された複数の波長信号から、波長信号よりも狭帯域の複数（Ｍ個（Ｍ＞Ｎ）の狭帯域信号を生成する。制御部は、複数の波長信号、もしくは複数の波長信号を用いて生成された複数の検波値に対して加重平均処理を行うことにより評価値を算出し、算出した評価値に基づいてマルチスペクトルセンサ部の露出制御を行う。

Description

撮像装置および信号処理方法
　本開示は、撮像装置および信号処理方法に関する。
　マルチスペクトル撮影を行うことが可能な撮像装置が開発されている（例えば、特許文献１～３参照）。マルチスペクトル撮影では、撮影波長として、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）を用いるＲＧＢセンサによる撮影と比べて、より多くの波長帯を用いたマルチスペクトル画像が１回の撮影で取得可能である。一般に、ＡＥ（Auto Exposure）制御で用いる波長帯は単一の波長帯となっている。
特開２０１８－９８３４１号公報 特開２０２０－１１５６４０号公報 特開２００７－１２７６５７号公報
　単一の波長帯のみを用いた露出制御では、例えば照度差の大きい複数の被写体を含む画像の撮影を行う場合、所望の被写体を適正露出にすることが困難である。その結果、例えば得られる画像が飽和して、画像が白飛びまたは黒つぶれしてしまう可能性ある。従って、適正な露出を行うことが可能な撮像装置および信号処理方法を提供することが望ましい。
　本開示の一側面に係る撮像装置は、マルチスペクトルセンサ部と、狭帯域信号生成部と、制御部とを備えている。マルチスペクトルセンサ部は、画素信号として複数（Ｎ個）の波長信号を出力する。狭帯域信号生成部は、係数行列を用いて、マルチスペクトルセンサから出力された複数の波長信号から、波長信号よりも狭帯域の複数（Ｍ個（Ｍ＞Ｎ）の狭帯域信号を生成する。制御部は、複数の波長信号、もしくは複数の波長信号を用いて生成された複数の検波値に対して加重平均処理を行うことにより評価値を算出し、算出した評価値に基づいてマルチスペクトルセンサ部の露出制御を行う。
　本開示の一側面に係る信号処理方法は、以下の２つを含む。
（Ａ）係数行列を用いて、マルチスペクトルセンサから出力された画素信号としての複数（Ｎ個）の波長信号から、波長信号よりも狭帯域の複数（Ｍ個（Ｍ＞Ｎ）の狭帯域信号を生成すること
（Ｂ）複数の波長信号、もしくは複数の波長信号を用いて生成された複数の検波値に対して加重平均処理を行うことにより評価値を算出し、算出した評価値に基づいてマルチスペクトルセンサ部の露出制御を行うこと
　本開示の一側面に係る撮像装置および信号処理方法では、マルチスペクトルセンサから出力された画素信号としての複数の波長信号、もしくは複数の波長信号を用いて生成された複数の検波値に対して加重平均処理を行うことにより評価値が算出される。そして、算出した評価値に基づいてマルチスペクトルセンサ部の露出制御が行われる。このように、複数の波長信号もしくは複数の検波値に対して加重平均処理を行うことにより、マルチスペクトルセンサのどのチャネルを重要視するかを決めることができる。その結果、出力される複数の狭帯域信号における劣化を効果的に抑制することができる。
本開示の第１の実施の形態に係る撮像装置の概略構成の一例を表す図である。 図１の画像取得部の概略構成の一例を表す図である。 図１の重み係数決定部の概略構成の一例を表す図である。 図３の重み係数決定部における重み係数の導出方法の一例を表す図である。 図１の評価値算出部の概略構成の一例を表す図である。 図１の撮像装置におけるＡＥ制御の一例を表す図である。 図１の画像取得部の分光感度特性の一例を表す図である。 図１の重み係数決定部の概略構成の一変形例を表す図である。 図８の重み係数決定部における重み係数の導出方法の一例を表す図である。 図１の撮像装置の概略構成の一変形例を表す図である。 図１０の重み係数算出装置の概略構成の一例を表す図である。 図１０の重み係数算出装置における重み係数の導出方法の一例を表す図である。 図１の撮像装置の概略構成の一変形例を表す図である。 図１３の検波部における検波値の導出方法について説明するための図である。 図１３の評価値算出部の概略構成の一例を表す図である。 図１の撮像装置の概略構成の一変形例を表す図である。 図１０の撮像装置の概略構成の一変形例を表す図である。 図１３の撮像装置の概略構成の一変形例を表す図である。 本開示の第２の実施の形態に係る撮像装置の概略構成の一例を表す図である。 図１９の加重平均処理部の概略構成の一例を表す図である。 図１９の撮像装置におけるＡＥ制御の一例を表す図である。 図１９の撮像装置の概略構成の一変形例を表す図である。 図１９の撮像装置の概略構成の一変形例を表す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。
＜１．第１の実施の形態＞
　図１は、本開示の第１の実施の形態に係る撮像装置１の概略構成例を表したものである。撮像装置１は、例えば、図１に示したように、画像取得部１０、狭帯域信号生成部２０、検波部３０、重み係数決定部４０、加重平均処理部５０および露出制御部６０を備えている。画像取得部１０が、本開示の「マルチスペクトルセンサ部」の一具体例に相当する。狭帯域信号生成部２０が、本開示の「狭帯域信号生成部」の一具体例に相当する。検波部３０、加重平均処理部５０および露出制御部６０からなるモジュールが、本開示の「制御部」の一具体例に相当する。重み係数決定部４０が、本開示の「重み係数決定部」の一具体例に相当する。
　画像取得部１０は、例えば、図２に示したように、画素アレイ部１１を有している。画素アレイ部１１は、２次元配置された複数の画素１２を有しており、絞りおよび撮影レンズを介して入射した入射光に応じた画素信号を各画素１２から出力する。各画素１２は、フォトダイオード等の光電変換素子を含んで構成されている。
　画素アレイ部１１は、画素信号として複数（Ｎ個）の波長信号を出力するマルチスペクトルセンサである。マルチスペクトルセンサは、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子である。マルチスペクトルセンサは、複数の波長信号として、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｙ（黄）、Ｍ（マゼンダ）、Ｃ（シアン）、ＵＶ（紫外）、およびＮＩＲ（近赤外）のうち、４以上の波長帯の信号を出力する。画像取得部１０は、マルチスペクトルセンサからの画素信号のＡ／Ｄ変換を行い、画素信号に基づくＲＡＷ信号Ｉｒａｗを出力する。画像取得部１０は、露出制御部６０から入力される露出制御値Ｅｘに基づいて露出を設定する。画像取得部１０は、例えば、シャッタ速度、ゲインおよび絞りのうち少なくとも１つを露出制御値Ｅｘに基づいて設定する。
　ＲＡＷ信号Ｉｒａｗには、１つの画素１２あたり複数（Ｎ個）の波長信号が含まれる。図１には、ＲＡＷ信号Ｉｒａｗが、ＮチャンネルのＲＡＷ信号Ｉｒａｗ１，…，ＩｒａｗＮで構成されている場合が例示されている。図２には、チャンネル数Ｎが４のときの、各画素１２に含まれる副画素の構成が例示されている。図２において、「ｃｈ１」「ｃｈ２」「ｃｈ３」「ｃｈ４」は、各画素１２に４つのチャンネルが含まれていることを表している。なお、画素アレイ部１１における画素構成については、上記に限定されるものではない。
　狭帯域信号生成部２０は、ＲＡＷ信号Ｉｒａｗに対して、式（１）を用いたマトリクス演算を施すことで、ＲＡＷ信号Ｉｒａｗよりも波長分解能を細かく区切った狭帯域の波長信号（狭帯域信号Ｉｎｂ）を生成する。狭帯域信号生成部２０は、式（２）に記載の係数行列を用いて、画像取得部１０から出力された複数のＲＡＷ信号Ｉｒａｗ１，…，Ｉｒａｗｋ，…，ＩｒａｗＮ（１≦ｋ≦Ｎ）から、画像取得部１０から出力された波長信号よりも狭帯域の複数（Ｍ個）の狭帯域信号Ｉｎｂ１，…，Ｉｎｂｔ，…，ＩｎｂＭ（１≦ｔ≦Ｍ）を生成する。図１には、狭帯域信号ＩｎｂがＮチャンネルよりも多いＭチャンネルの狭帯域信号Ｉｎｂ１，…，ＩｎｂＭで構成されている場合が例示されている。
Figure JPOXMLDOC01-appb-M000001
  
Figure JPOXMLDOC01-appb-M000002
  
 
　検波部３０は、複数の波長信号（ＲＡＷ信号Ｉｒａｗ）に基づいて複数の検波値（検波値Ｄ）を生成する検波回路を有している。検波値Ｄは、式（３）に示したように、Ｎチャンネルの検波値Ｄ１，Ｄ２，…，Ｄｋ，…，ＤＮで構成されている。検波値Ｄ１，…，ＤＮは、チャンネルｋごとに、ＲＡＷ信号Ｉｒａｗ１，…，ＩｒａｗＮと対応している。検波回路は、画像取得部１０から取得したＮチャンネルのＲＡＷ信号Ｉｒａｗ１，…，ＩｒａｗＮに基づいて、Ｎチャンネルの検波値Ｄ１，…，ＤＮを生成する。検波回路は、ＲＡＷ信号Ｉｒａｗｋに基づいて検波値Ｄｋを生成する。検波部３０は、検波回路によって生成された検波値Ｄを加重平均処理部５０に出力する。
Figure JPOXMLDOC01-appb-M000003
  
　重み係数決定部４０は、検波値Ｄに対応する重み係数Ｗａｖｇ（式（４））を決定する。重み係数Ｗａｖｇは、式（４）に示したように、Ｎチャンネルの重み係数ｗ１ ａｖｇ，ｗ２ ａｖｇ，…，ｗｋ ａｖｇ，…，ｗＮ ａｖｇで構成されている。重み係数決定部４０は、検波値Ｄ１，Ｄ２，…，Ｄｋ，…，ＤＮごとに１つずつ割り当てられる複数の重み係数ｗ１ ａｖｇ，ｗ２ ａｖｇ，…，ｗｋ ａｖｇ，…，ｗＮ ａｖｇを決定する。重み係数決定部４０は、検波値Ｄｋに対応する重み係数ｗｋ ａｖｇを決定する。重み係数決定部４０は、式（５）、式（６）を用いて重み係数ｗｋ ａｖｇを導出する。
Figure JPOXMLDOC01-appb-M000004
  
Figure JPOXMLDOC01-appb-M000005
  
Figure JPOXMLDOC01-appb-M000006
  
　チャネルｋに対する重み係数ｗｋ ｔは、式（７）、式（８）に示したように、重み係数リストＷ＿ｌｉｓｔの１つの要素となっている。
Figure JPOXMLDOC01-appb-M000007
  
Figure JPOXMLDOC01-appb-M000008
  
　重み係数ｗｋ ｔは、式（９）に示したように、式（２）に記載の係数行列に含まれる１つの要素の絶対値である。従って、重み係数リストＷ＿ｌｉｓｔは、式（２）に記載の係数行列に含まれる各要素の絶対値によって構成されている。重み係数決定部４０は、式（２）に記載の係数行列に含まれる各要素に基づいて、重み係数Ｗａｖｇ（Ｎチャンネルの重み係数ｗ１ ａｖｇ，ｗ２ ａｖｇ，…，ｗｋ ａｖｇ，…，ｗＮ ａｖｇ）を決定する。
Figure JPOXMLDOC01-appb-M000009
  
　重み係数決定部４０は、例えば、図３に示したように、保存部４１、絶対値算出部４２、重み係数生成部４３および平均処理部４４を有している。
　保存部４１は、例えば、不揮発性メモリ（ＮＶＭ：Non-Volatile Memory)によって構成されている。保存部４１には、式（２）に記載の係数行列が保存されている。絶対値算出部４２は、保存部４１から係数行列を取得する（ステップＳ１０１、図４）。絶対値算出部４２は、式（９）を用いて、保存部４１から取得した係数行列の各要素の絶対値を算出する（ステップＳ１０２、図４）。重み係数生成部４３は、算出した絶対値を用いて、式（７）に示した重み係数リストＷ＿ｌｉｓｔを生成する（ステップＳ１０２、図４）。平均処理部４４は、式（４）～式（６）を用いて、重み係数リストＷ＿ｌｉｓｔの平均値（重み係数Ｗａｖｇ）を算出する。平均処理部４４は、チャンネルｋごとに重み係数Ｗｋ ａｖｇを算出する。平均処理部４４は、算出した重み係数Ｗａｖｇを加重平均処理部５０に出力する。
　加重平均処理部５０は、検波値Ｄ（Ｎチャンネルの検波値Ｄ１，Ｄ２，…，Ｄｋ，…，ＤＮ）に対して加重平均処理を行うことにより評価値Ｅｖを算出する。加重平均処理部５０は、重み係数決定部４０によって決定された重み係数Ｗａｖｇに基づいて加重平均処理を行う。加重平均処理部５０は、係数行列に含まれる各要素に基づいて加重平均処理を行う。加重平均処理部５０は、例えば、図５に示したように、乗算部５１および積算部５２を有している。
　乗算部５１は、チャンネルｋごとに、検波値Ｄｋと、重み係数ｗｋ ａｖｇとを互いに乗算し、それにより得られた値（Ｄｋ×ｗｋ ａｖｇ）を積算部５２に出力する。積算部５２は、乗算部５１から入力された値（Ｄｋ×ｗｋ ａｖｇ）を全てのチャンネルに渡って積算し、それにより得られた評価値Ｅｖを露出制御部６０に出力する。
　露出制御部６０は、加重平均処理部５０から入力された評価値Ｅｖに基づいて、露出制御値Ｅｘを算出する。露出制御部６０は、例えば、露出目標値を評価値Ｅｖで除算することにより露出値（時間）を算出し、算出した露出値（時間）に基づいて露出制御値Ｅｘを算出する。露出制御部６０は、算出した露出制御値Ｅｘを画像取得部１０に出力する。このようにして、露出制御部６０は、評価値Ｅｖに基づいて画像取得部１０（マルチスペクトルセンサ）の露出制御（ＡＥ制御）を行う。
[動作]
　次に、撮像装置１におけるＡＥ制御について説明する。図６は、撮像装置１におけるＡＥ制御の一例を表したものである。
　まず、画像取得部１０は、露出制御値Ｅｘの初期値に基づいて露出を設定した上で撮像を行う。これにより、画像取得部１０は、露出制御値Ｅｘの初期値に基づいたＲＡＷ信号Ｉｒａｗを取得する（ステップＳ２０１）。次に、検波部３０は、ＲＡＷ信号Ｉｒａｗに基づいて検波値Ｄを生成する（ステップＳ２０２）。次に、重み係数決定部４０は、検波値Ｄに対応する重み係数Ｗａｖｇを決定する（ステップＳ２０３）。次に、加重平均処理部５０は、検波値Ｄに対して加重平均処理を行う（ステップＳ２０４）。これにより、加重平均処理部５０は、評価値Ｅｖを取得する。次に、露出制御部６０は、評価値Ｅｖに基づいて露出制御値Ｅｘを算出する（ステップＳ２０５）。露出制御部６０は、算出した露出制御値Ｅｘを画像取得部１０に出力する。その結果、画像取得部１０は、入力された新たな露出制御値Ｅｘに基づいて露出を設定した上で撮像を行うことができる。
［効果］
　次に、撮像装置１の効果について説明する。
　マルチスペクトル撮影を行うことが可能な撮像装置が開発されている（例えば、特許文献１～３参照）。マルチスペクトル撮影では、撮影波長として、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）を用いるＲＧＢセンサによる撮影と比べて、より多くの波長帯を用いたマルチスペクトル画像が１回の撮影で取得可能である。一般に、ＡＥ制御で用いる波長帯は単一の波長帯となっている。しかし、単一の波長帯のみを用いた露出制御では、例えば照度差の大きい複数の被写体を含む画像の撮影を行う場合、所望の被写体を適正露出にすることが困難である。
　一方、本実施の形態では、画像取得部１０から出力された画素信号としての複数の波長信号を用いて生成された検波値Ｄに対して加重平均処理を行うことにより評価値Ｅｖが算出される。そして、算出した評価値Ｅｖに基づいて画像取得部１０の露出制御が行われる。このように、検波値Ｄに対して加重平均処理を行うことにより、画像取得部１０のどのチャネルを重要視するかを決めることができる。その結果、出力される狭帯域信号Ｉｎｂにおける劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。従って、本実施の形態では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
　また、本実施の形態では、係数行列に含まれる各要素に基づいて加重平均処理が行われる。これにより、画像取得部１０のどのチャネルを重要視するかを決めることができる。その結果、出力される狭帯域信号Ｉｎｂにおける劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。従って、本実施の形態では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
　また、本実施の形態では、重み係数決定部４０によって決定された重み係数Ｗａｖｇに基づいて加重平均処理が行われる。これにより、画像取得部１０のどのチャネルを重要視するかを決めることができる。その結果、出力される狭帯域信号Ｉｎｂにおける劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。従って、本実施の形態では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
　また、本実施の形態では、係数行列に含まれる各要素に基づいて重み係数Ｗａｖｇが決定される。これにより、画像取得部１０のどのチャネルを重要視するかを決めることができる。その結果、出力される狭帯域信号Ｉｎｂにおける劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。従って、本実施の形態では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
＜２．第１の実施の形態の変形例＞
[変形例１－１]
　上記実施の形態において、重み係数決定部４０は、画像取得部１０（マルチスペクトルセンサ）の分光感度特性に基づいて重み係数Ｗａｖｇを決定してもよい。このとき、加重平均処理部５０は、例えば、図７に示したようなチャネルｋごとの分光感度特性（分光感度データＳｋ）に基づいて加重平均処理を行うことが可能である。
　チャネルｋの分光感度データＳｋは、式（１０）に示したように、Ｒ個に量子化されたデータとなっている。さらに、チャネルｋの分光感度データＳｋから抽出される、狭帯域信号Ｉｎｂの各帯域に相当する分光感度データＳ’ｋは、式（１１）に示したように、Ｓ’ｋ １，Ｓ’ｋ ２，…，Ｓ’ｋ ｔ，…，Ｓ’ｋ Mで構成されている。本変形例では、チャネルｋに対する重み係数ｗｋ ｔは、式（１２）に示したように、Ｓ’ｋ ｔである。従って、本変形例では、重み係数リストＷ＿ｌｉｓｔは、各チャネルｋの分光感度データＳｋから抽出される、狭帯域信号Ｉｎｂの各帯域に相当する分光感度データＳ’ｋ ｔによって構成されている。重み係数決定部４０は、各チャネルｋの分光感度データＳｋから抽出される、狭帯域信号Ｉｎｂの各帯域に相当するデータＳ’ｋ ｔに基づいて、重み係数Ｗａｖｇ（Ｎチャンネルの重み係数ｗ１ ａｖｇ，ｗ２ ａｖｇ，…，ｗｋ ａｖｇ，…，ｗＮ ａｖｇ）を決定する。
Figure JPOXMLDOC01-appb-M000010
  
Figure JPOXMLDOC01-appb-M000011
  
Figure JPOXMLDOC01-appb-M000012
  
　重み係数決定部４０は、例えば、図８に示したように、保存部４５、帯域抽出部４６、重み係数生成部４７および平均処理部４８を有している。
　保存部４５は、例えば、不揮発性メモリによって構成されている。保存部４５には、式（１０）に記載の分光感度データＳｋがチャネルｋごとに保存されている。帯域抽出部４６は、保存部４５から分光感度データＳｋを取得する（ステップＳ３０１、図９）。帯域抽出部４６は、保存部４５から取得した分光感度データＳｋから、狭帯域信号Ｉｎｂの各帯域に相当する分光感度データＳ’ｋを抽出する（ステップＳ３０２、図９）。重み係数生成部４７は、抽出した分光感度データＳ’ｋを用いて、重み係数リストＷ＿ｌｉｓｔを生成する（ステップＳ３０３、図９）。平均処理部４８は、式（４）～式（６）を用いて、重み係数リストＷ＿ｌｉｓｔの平均値（重み係数Ｗａｖｇ）を算出する（ステップＳ３０４、図９）。平均処理部４８は、チャンネルｋごとに重み係数Ｗｋ ａｖｇを算出する。平均処理部４８は、算出した重み係数Ｗａｖｇを加重平均処理部５０に出力する。
　本変形例では、チャネルｋごとの分光感度特性（分光感度データＳｋ）に基づいて加重平均処理が行われる。これにより、画像取得部１０のどのチャネルを重要視するかを決めることができる。その結果、出力される複数の狭帯域信号Ｉｎｂにおける劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。従って、本変形例では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
　また、本変形例では、チャネルｋごとの分光感度特性（分光感度データＳｋ）に基づいて重み係数Ｗａｖｇが決定される。これにより、画像取得部１０のどのチャネルを重要視するかを決めることができる。その結果、出力される複数の狭帯域信号Ｉｎｂにおける劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。従って、本変形例では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
[変形例１－２]
　上記実施の形態において、重み係数決定部４０の代わりに、例えば、図１０に示したように、撮像装置１と連結された重み係数算出装置１００から得られた値を重み係数Ｗａｖｇとして決定する重み係数決定部７０が設けられていてもよい。
　重み係数算出装置１００は、狭帯域信号Ｉｎｂ１，…，Ｉｎｂｔ，…，ＩｎｂＭが入力されると、入力された狭帯域信号Ｉｎｂ１，…，Ｉｎｂｔ，…，ＩｎｂＭに適した重み係数Ｗａｖｇを出力するように学習された学習モデルを含んで構成されている。重み係数算出装置１００は、例えば、図１１に示したように、評価部１１０、保存部１２０、更新処理部１３０および最適値取得部１４０を含んで構成されている。
　保存部１２０には、重み係数Ｗａｖｇの初期値が保存されている。更新処理部１３０は、まず、保存部１２０から重み係数Ｗａｖｇの初期値を読み出し、撮像装置１に出力する（ステップＳ４０１、図１２）。撮像装置１は、重み係数算出装置１００から入力された重み係数Ｗａｖｇを用いて露出制御値Ｅｘを算出し、算出した露出制御値Ｅｘに基づいて露出を設定する。撮像装置１は、露出制御値Ｅｘに基づいて露出を設定した上で撮像を行う。その結果、撮像装置１は、重み係数Ｗａｖｇの初期値に基づいた狭帯域信号Ｉｎｂを出力する。
　評価部１１０は、撮像装置１から狭帯域信号Ｉｎｂを取得する（ステップＳ４０２、図１２）。評価部１１０は、狭帯域信号生成部２０から狭帯域信号Ｉｎｂを取得すると、取得した狭帯域信号Ｉｎｂを評価する（ステップＳ４０３、図１２）。評価部１１０は、取得した狭帯域信号Ｉｎｂの評価結果に基づいて新たな重み係数Ｗａｖｇを生成する（ステップＳ４０４、図１２）。評価部１１０は、評価結果および重み係数Ｗａｖｇを互いに対応付けて保存部１２０に保存する。評価部１１０は、評価完了を示すフラグ（１ループ完了フラグ）を更新処理部１３０に出力する。更新処理部１３０は、評価部１１０から、評価完了を示すフラグ（１ループ完了フラグ）を取得すると、保存部１２０から評価結果および重み係数Ｗａｖｇを読み出し、新たな重み係数Ｗａｖｇを撮像装置１に出力する（ステップＳ４０５、図１２）。
　評価部１１０、保存部１２０および更新処理部１３０は、狭帯域信号生成部２０から狭帯域信号Ｉｎｂが入力される度に、上記の処理を実行する。更新処理部１３０は、重み係数Ｗａｖｇの値が収束すると、収束を示すフラグ（更新完了フラグ）を生成し、最適値取得部１４０に出力する。最適値取得部１４０は、更新処理部１３０からフラグが入力されると、保存部１２０から重み係数Ｗａｖｇを読み出し、読み出した重み係数Ｗａｖｇを外部に出力する。
　本変形例では、重み係数算出装置１００における学習モデルによって生成された値が重み係数Ｗａｖｇとして決定される。これにより、画像取得部１０のどのチャネルを重要視するかを決めることができる。その結果、出力される狭帯域信号Ｉｎｂにおける劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。従って、本変形例では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
[変形例１－３]
　上記実施の形態において、重み係数決定部４０は、例えば、図１３に示したように、係数行列に含まれる各要素と、撮像装置１と連結されたアプリケーション装置２００から入力された指定情報とに基づいて重み係数Ｗａｖｇを決定してもよい。このとき、加重平均処理部５０は、係数行列に含まれる各要素と、撮像装置１と連結されたアプリケーション装置２００から入力された指定情報とに基づいて加重平均処理を行うことが可能である。
　上記「指定情報」は、狭帯域信号Ｉｎｂに含まれる複数の帯域のうち少なくとも１つの帯域を指定する情報である。図１３には、上記「指定情報」によって指定された２つの帯域が太い実線で例示されている。アプリケーション装置２００から撮像装置１に対して「指定情報」を伝えることにより、撮像装置１は、特に劣化（画像の白飛びまたは黒つぶれ）を抑制したい帯域における劣化を抑制可能な重み係数Ｗａｖｇを生成することができる。その結果、特定の帯域における劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。
　狭帯域信号生成部２０は、狭帯域信号Ｉｎｂとして、Ｍ個の狭帯域信号Ｉｎｂ１，…，Ｉｎｂｔ，…，ＩｎｂＭをアプリケーション装置２００に出力してもよいし、上記「指定情報」で指定された１または複数の狭帯域信号Ｉｎｂｔだけをアプリケーション装置２００に出力してもよい。狭帯域信号生成部２０が上記「指定情報」で指定された１または複数の狭帯域信号Ｉｎｂｔだけをアプリケーション装置２００に出力する場合、撮像装置１からアプリケーション装置２００に送信するデータ量を低く抑えることができる。
[変形例１－４]
　上記実施の形態および変形例１－１，１－２，１－３において、重み係数決定部４０は、例えば、画素アレイ部１１の画素領域を区画する区画領域αｊ（図１４）ごとに重み係数Ｗａｖｇを決定してもよい。このとき、区画領域αｊでは、チャンネルｋごとに複数の画素１２が割り当てられている。
　検波部３０は、画素アレイ部１１（マルチスペクトルセンサ）から出力された複数の画素信号を区画領域αｊごとに分類し、区画領域αｊごとに、複数の画素信号をチャンネルｋ別に積算する。これにより、検波回路は、式（３）、式（１３）に示したように、チャンネルｋごとおよび区画領域αｊごとに検波値Ｄｋ ｊを生成することができる。
Figure JPOXMLDOC01-appb-M000013
　加重平均処理部５０は、チャンネルｋごとおよび区画領域αｊごとに生成された検波値Ｄｋ ｊに対して加重平均処理を行うことにより評価値Ｅｖを算出する。加重平均処理部５０は、例えば、図１５に示したように、乗算部５１，５３、積算部５２および正規化部５４を有している。
　乗算部５３は、チャンネルｋごとの重み係数Ｗｋ＿ａｖｇと、区画領域αｊごとの重み係数Ｗｊ＿ａｖｇとを互いにかけ合わせる。正規化部５４は、乗算部５３で得られた値（Ｗｋ＿ａｖｇ×Ｗｊ＿ａｖｇ）を正規化する。正規化部５４における正規化により得られた値をｗｋ ａｖｇとする。乗算部５１は、チャンネルごとに、検波値Ｄｋと、正規化部５４での正規化により得られた値ｗｋ ａｖｇとを互いに乗算し、それにより得られた値（Ｄｋ×ｗｋ ａｖｇ）を積算部５２に出力する。積算部５２は、乗算部５１から入力された値（Ｄｋ×ｗｋ ａｖｇ）を全てのチャンネルに渡って積算し、それにより得られた評価値Ｅｖを露出制御部６０に出力する。
　このように、区画領域αｊごとに重み係数Ｗａｖｇが決定されることにより、例えば、画素領域における注目領域に大きな値の重み係数を付与し、注目領域から離れるほど重み係数を小さくすることも可能となる。このようにした場合には、注目領域での劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することが可能となる。
　次に、上記実施の形態とは異なる実施形態について説明する。なお、以下では、上記実施の形態と共通の構成に対しては、上記実施の形態と共通の符号が付与される。また、以下では、上記実施の形態と共通の効果については、適宜、省略されるものとする。
[変形例１－５]
　上記実施の形態および変形例１－１，１－２，１－３，１－４において、検波部３０は、チャンネル数Ｎとは異なる数Ｑの検波値を生成するようになっていてもよい。このとき、重み係数決定部４０は、Ｑ個の検波値に対応するＱ個の重み係数を決定するようになっている。このようにした場合であっても、上記実施の形態および変形例１－１，１－２，１－３，１－４と同様の効果を得ることができる。
[変形例１－６]
　上記実施の形態および変形例１－１，１－２，１－３，１－４において、検波部３０が省略されていてもよい。例えば、図１６、図１７、図１８に示したように、検波部３０が省略され、検波値Ｄの代わりに、画像取得部１０の出力（ＲＡＷ信号Ｉｒａｗ）が加重平均処理部５０に入力されてもよい。このとき、重み係数決定部４０は、ＲＡＷ信号Ｉｒａｗに対応する重み係数Ｗａｖｇ（式（４））を決定する。重み係数決定部４０は、ＲＡＷ信号Ｉｒａｗ１，…，Ｉｒａｗｋ，…，ＩｒａｗＮごとに１つずつ割り当てられる複数の重み係数ｗ１ ａｖｇ，ｗ２ ａｖｇ，…，ｗｋ ａｖｇ，…，ｗＮ ａｖｇを決定する。重み係数決定部４０は、ＲＡＷ信号ｗｋ ａｖｇに対応する重み係数ｗｋ ａｖｇを決定する。加重平均処理部５０は、ＲＡＷ信号Ｉｒａｗに対して加重平均処理を行うことにより評価値Ｅｖを算出する。加重平均処理部５０は、重み係数決定部４０によって決定された重み係数Ｗａｖｇに基づいて加重平均処理を行う。このようにした場合であっても、上記実施の形態および変形例１－１，１－２，１－３，１－４と同様の効果を得ることができる。
＜３．第２の実施の形態＞
　図１９は、本開示の第２の実施の形態に係る撮像装置２の概略構成例を表したものである。撮像装置２は、例えば、図１９に示したように、画像取得部１０、狭帯域信号生成部２０、重み係数決定部４０、加重平均処理部８０、検波部９０および露出制御部６０を備えている。画像取得部１０が、本開示の「マルチスペクトルセンサ部」の一具体例に相当する。狭帯域信号生成部２０が、本開示の「狭帯域信号生成部」の一具体例に相当する。加重平均処理部８０、検波部９０および露出制御部６０からなるモジュールが、本開示の「制御部」の一具体例に相当する。重み係数決定部４０が、本開示の「重み係数決定部」の一具体例に相当する。
　加重平均処理部８０は、ＲＡＷ信号Ｉｒａｗ（ＮチャンネルのＲＡＷ信号Ｉｒａｗ１，…，ＩｒａｗＮ）に対して加重平均処理を行うことにより、ＲＡＷ信号Ｉ’ｒａｗを算出する。加重平均処理部８０は、係数行列に含まれる各要素に基づいて加重平均処理を行う。加重平均処理部８０は、例えば、図２０に示したように、乗算部８１および積算部８２を有している。乗算部８１は、チャンネルｋごとに、ＲＡＷ信号Ｉｒａｗｋと、重み係数ｗｋ ａｖｇとを互いに乗算し、それにより得られた値（Ｉｒａｗｋ×ｗｋ ａｖｇ）を積算部８２に出力する。積算部８２は、乗算部８１から入力された値（Ｉｒａｗｋ×ｗｋ ａｖｇ）を全てのチャンネルに渡って積算し、それにより得られた値を１チャネル分のＲＡＷ信号Ｉ’ｒａｗとして検波部９０に出力する。
　検波部９０は、ＲＡＷ信号Ｉ’ｒａｗに基づいてｐ個（ｐ≧１）の検波値を生成する検波回路を有している。検波部９０は、検波回路によって生成されたｐ個の検波値に基づいて評価値Ｅｖを算出する。評価値算出部８３は、算出した評価値Ｅｖを露出制御部６０に出力する。
[動作]
　次に、撮像装置２におけるＡＥ制御について説明する。図２１は、撮像装置２におけるＡＥ制御の一例を表したものである。
　まず、画像取得部１０は、露出制御値Ｅｘの初期値に基づいて露出を設定した上で撮像を行う。これにより、画像取得部１０は、露出制御値Ｅｘの初期値に基づいたＲＡＷ信号Ｉｒａｗを取得する（ステップＳ５０１）。次に、重み係数決定部４０は、各チャンネルｋに対応する重み係数Ｗａｖｇを決定する（ステップＳ５０２）。次に、加重平均処理部８０は、ＮチャンネルのＲＡＷ信号Ｉｒａｗｋに対して加重平均処理を行う（ステップＳ５０３）。これにより、加重平均処理部８０は、１チャネル分のＲＡＷ信号Ｉ’ｒａｗを取得する。次に、検波部９０は、ＲＡＷ信号Ｉ’ｒａｗに基づいて１チャネル分の検波値Ｄを生成し、生成した検波値Ｄに基づいて評価値Ｅｖを算出する。次に、露出制御部６０は、評価値Ｅｖに基づいて露出制御値Ｅｘを算出する（ステップＳ５０４）。露出制御部６０は、算出した露出制御値Ｅｘを画像取得部１０に出力する。その結果、画像取得部１０は、入力された新たな露出制御値Ｅｘに基づいて露出を設定した上で撮像を行うことができる。
［効果］
　次に、撮像装置２の効果について説明する。
　本実施の形態では、画像取得部１０から得られたＲＡＷ信号Ｉｒａｗに対して加重平均処理を行うことにより、ＲＡＷ信号Ｉ’ｒａｗが算出され、算出されたＲＡＷ信号Ｉ’ｒａｗに基づいて評価値Ｅｖが算出される。そして、算出した評価値Ｅｖに基づいて画像取得部１０の露出制御が行われる。このように、ＲＡＷ信号Ｉｒａｗに対して加重平均処理を行うことにより、画像取得部１０のどのチャネルを重要視するかを決めることができる。その結果、出力される狭帯域信号Ｉｎｂにおける劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。従って、本実施の形態では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
＜４．第２の実施の形態の変形例＞
[変形例２－１]
　上記第２の実施の形態において、重み係数決定部４０は、画像取得部１０（マルチスペクトルセンサ）の分光感度特性に基づいて重み係数Ｗａｖｇを決定してもよい。このとき、評価値算出部５０は、例えば、図７に示したようなチャネルｋごとの分光感度特性（分光感度データＳｋ）に基づいて加重平均処理を行うことが可能である。重み係数決定部４０は、例えば、図８に示したように、保存部４５、帯域抽出部４６、重み係数生成部４７および平均処理部４８を有している。
　本変形例では、チャネルｋごとの分光感度特性（分光感度データＳｋ）に基づいて加重平均処理が行われる。これにより、画像取得部１０のどのチャネルを重要視するかを決めることができる。その結果、出力される複数の狭帯域信号Ｉｎｂにおける劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。従って、本変形例では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
　また、本変形例では、チャネルｋごとの分光感度特性（分光感度データＳｋ）に基づいて重み係数Ｗａｖｇが決定される。これにより、画像取得部１０のどのチャネルを重要視するかを決めることができる。その結果、出力される複数の狭帯域信号Ｉｎｂにおける劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。従って、本変形例では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
[変形例２－２]
　上記第２の実施の形態において、重み係数決定部４０の代わりに、例えば、図２２に示したように、撮像装置２と連結された重み係数算出装置１００から得られた値を重み係数Ｗａｖｇとして決定する重み係数決定部７０が設けられていてもよい。
　本変形例では、重み係数算出装置１００における学習モデルによって生成された値が重み係数Ｗａｖｇとして決定される。これにより、画像取得部１０のどのチャネルを重要視するかを決めることができる。その結果、出力される複数の狭帯域信号Ｉｎｂにおける劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。従って、本変形例では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
[変形例２－３]
　上記第２の実施の形態において、重み係数決定部４０は、例えば、図２３に示したように、係数行列に含まれる各要素と、撮像装置２と連結されたアプリケーション装置２００から入力された指定情報とに基づいて重み係数Ｗａｖｇを決定してもよい。このとき、加重平均処理部８０は、係数行列に含まれる各要素と、撮像装置２と連結されたアプリケーション装置２００から入力された指定情報とに基づいて加重平均処理を行うことが可能である。
　上記「指定情報」は、狭帯域信号Ｉｎｂに含まれる複数の帯域のうち少なくとも１つの帯域を指定する情報である。アプリケーション装置２００から撮像装置２に対して「指定情報」を伝えることにより、撮像装置２は、特に劣化（画像の白飛びまたは黒つぶれ）を抑制したい帯域における劣化を抑制可能な重み係数Ｗａｖｇを生成することができる。その結果、特定の帯域における劣化（画像の白飛びまたは黒つぶれ）を効果的に抑制することができる。
＜５．各実施の形態に共通の変形例＞
　上記第１および第２の実施の形態およびそれらの変形例において、露出制御部６０は、加重平均処理部５０から入力された評価値Ｅｖと、撮像装置１に接続されたアプリケーション装置から入力される情報とに基づいて、露出制御値Ｅｘを算出してもよい。アプリケーション装置は、撮像装置１から出力された複数の狭帯域信号Ｉｎｂを利用した処理を行う装置である。
　アプリケーション装置から入力される情報としては、例えば、システム・ハードウェアの制約に基づき決まる最大露出時間、または、センサの使用に基づき決まる最大ゲインが挙げられる。このような既知の情報に基づいて露出制御値Ｅｘが算出されることにより、例えば、Ｂｌｕｒが生じやすいシーンでスコアが低い場合に露出時間を短くしたり、ノイズが生じやすいシーンでスコアが低い場合にゲインを落としたりすることができる。
　また、アプリケーション装置から入力される情報としては、例えば、評価値が挙げられる。評価値とは、例えば、認識処理の結果や、Ｓ／Ｎの結果などが挙げられる。認識処理の結果とは、例えば、特定の物体が検出されたか否かについての情報、検出された物体のクラス、または、動く物体の速度ベクトルに応じた設定値が挙げられる。このような認識処理の結果に基づいて露出制御値Ｅｘが算出されることにより、例えば、Ｂｌｕｒが生じやすいシーンで特定の物体が検出された場合に露出時間を短くしたり、Ｂｌｕｒが生じやすいシーンで物体の移動速度が所定の閾値を超えた場合に露出時間を短くしたりすることができる。また、Ｓ／Ｎの結果に基づいて露出制御値Ｅｘが算出されることにより、例えば、Ｓ／Ｎが所定の閾値を超えた場合にゲインを落としたりすることができる。
　＜３．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２５は、撮像部１２０３１の設置位置の例を示す図である。
　図２５では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。撮像部１２０３１に本開示に係る技術を適用することにより、マルチスペクトル画像を用いた制御を行うことができる。
　以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
　また、例えば、本開示は以下のような構成を取ることができる。
（１）
　画素信号として複数（Ｎ個）の波長信号を出力するマルチスペクトルセンサ部と、
　係数行列を用いて、前記マルチスペクトルセンサから出力された前記複数の波長信号から、前記波長信号よりも狭帯域の複数（Ｍ個（Ｍ＞Ｎ）の狭帯域信号を生成する狭帯域信号生成部と、
　前記複数の波長信号、もしくは前記複数の波長信号を用いて生成された複数の検波値に対して加重平均処理を行うことにより評価値を算出し、算出した前記評価値に基づいて前記マルチスペクトルセンサ部の露出制御を行う制御部と
　を備えた
　撮像装置。
（２）
　前記制御部は、前記係数行列に含まれる各要素に基づいて前記加重平均処理を行う
　（１）に記載の撮像装置。
（３）
　前記制御部は、前記マルチスペクトルセンサ部の分光感度特性に基づいて前記加重平均処理を行う
　（１）に記載の撮像装置。
（４）
　前記制御部は、前記係数行列に含まれる各要素と、前記狭帯域信号を指定する指定情報とに基づいて前記加重平均処理を行う
　（１）または（２）に記載の撮像装置。
（５）
　前記波長信号ごとに、もしくは前記検波値ごとに１つずつ割り当てられる複数の重み係数を決定する重み係数決定部を更に備え、
　前記制御部は、前記重み係数決定部によって決定された前記複数の重み係数に基づいて前記加重平均処理を行う
　（１）ないし（４）のいずれか１つに記載の撮像装置。
（６）
　前記重み係数決定部は、前記係数行列に含まれる各要素に基づいて前記複数の重み係数を決定する
　（５）に記載の撮像装置。
（７）
　前記重み係数決定部は、前記マルチスペクトルセンサ部の分光感度特性に基づいて前記複数の重み係数を決定する
　（５）に記載の撮像装置。
（８）
　前記重み係数決定部は、前記係数行列に含まれる各要素と、前記狭帯域信号を指定する指定情報とに基づいて前記複数の重み係数を決定する
　（５）に記載の撮像装置。
（９）
　前記重み係数決定部は、前記マルチスペクトルセンサ部の画素領域を区画する区画領域ごとに前記複数の重み係数を決定する
　（５）に記載の撮像装置。
（１０）
　前記制御部は、各前記波長信号を、前記マルチスペクトルセンサ部の画素領域を区画する区画領域ごとに分類し、前記区画領域ごとに生成した前記複数の検波値に対して加重平均処理を行うことにより前記評価値を算出する
　（１）に記載の撮像装置。
（１１）
　前記制御部は、前記評価値と、前記複数の狭帯域信号を利用した処理を行う装置から得られた情報とに基づいて、前記露出制御を行う
　（１）ないし（１０）のいずれか１つに記載の撮像装置。
（１２）
　係数行列を用いて、マルチスペクトルセンサから出力された画素信号としての複数（Ｎ個）の波長信号から、前記波長信号よりも狭帯域の複数（Ｍ個（Ｍ＞Ｎ）の狭帯域信号を生成することと、
　前記複数の波長信号、もしくは前記複数の波長信号を用いて生成された複数の検波値に対して加重平均処理を行うことにより評価値を算出し、算出した前記評価値に基づいて前記マルチスペクトルセンサ部の露出制御を行うことと
　を含む
　信号処理方法。
　本開示の一側面に係る撮像装置および信号処理方法では、マルチスペクトルセンサから出力された画素信号としての複数の波長信号、もしくは複数の波長信号を用いて生成された複数の検波値に対して加重平均処理を行うことにより評価値が算出される。そして、算出した評価値に基づいてマルチスペクトルセンサ部の露出制御が行われる。このように、複数の波長信号もしくは複数の検波値に対して加重平均処理を行うことにより、マルチスペクトルセンサのどのチャネルを重要視するかを決めることができる。その結果、出力される複数の狭帯域信号における劣化を効果的に抑制することができる。従って、本開示では、画像の白飛びまたは黒つぶれを抑制できるような、適性な露光を行うことができる。
　本出願は、日本国特許庁において２０２２年４月２７日に出願された日本特許出願番号第２０２２－０７３７９１号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (12)

  1. 　画素信号として複数（Ｎ個）の波長信号を出力するマルチスペクトルセンサ部と、
    　係数行列を用いて、前記マルチスペクトルセンサから出力された前記複数の波長信号から、前記波長信号よりも狭帯域の複数（Ｍ個（Ｍ＞Ｎ）の狭帯域信号を生成する狭帯域信号生成部と、
    　前記複数の波長信号、もしくは前記複数の波長信号を用いて生成された複数の検波値に対して加重平均処理を行うことにより評価値を算出し、算出した前記評価値に基づいて前記マルチスペクトルセンサ部の露出制御を行う制御部と
    　を備えた
    　撮像装置。
  2. 　前記制御部は、前記係数行列に含まれる各要素に基づいて前記加重平均処理を行う
    　請求項１に記載の撮像装置。
  3. 　前記制御部は、前記マルチスペクトルセンサ部の分光感度特性に基づいて前記加重平均処理を行う
    　請求項１に記載の撮像装置。
  4. 　前記制御部は、前記係数行列に含まれる各要素と、前記狭帯域信号を指定する指定情報とに基づいて前記加重平均処理を行う
    　請求項１に記載の撮像装置。
  5. 　前記波長信号ごとに、もしくは前記検波値ごとに１つずつ割り当てられる複数の重み係数を決定する重み係数決定部を更に備え、
    　前記制御部は、前記重み係数決定部によって決定された前記複数の重み係数に基づいて前記加重平均処理を行う
    　請求項１に記載の撮像装置。
  6. 　前記重み係数決定部は、前記係数行列に含まれる各要素に基づいて前記複数の重み係数を決定する
    　請求項５に記載の撮像装置。
  7. 　前記重み係数決定部は、前記マルチスペクトルセンサ部の分光感度特性に基づいて前記複数の重み係数を決定する
    　請求項５に記載の撮像装置。
  8. 　前記重み係数決定部は、前記係数行列に含まれる各要素と、前記狭帯域信号を指定する指定情報とに基づいて前記複数の重み係数を決定する
    　請求項５に記載の撮像装置。
  9. 　前記重み係数決定部は、前記マルチスペクトルセンサ部の画素領域を区画する区画領域ごとに前記複数の重み係数を決定する
    　請求項５に記載の撮像装置。
  10. 　前記制御部は、各前記波長信号を、前記マルチスペクトルセンサ部の画素領域を区画する区画領域ごとに分類し、前記区画領域ごとに生成した前記複数の検波値に対して加重平均処理を行うことにより前記評価値を算出する
    　請求項１に記載の撮像装置。
  11. 　前記制御部は、前記評価値と、前記複数の狭帯域信号を利用した処理を行う装置から得られた情報とに基づいて、前記露出制御を行う
    　請求項１に記載の撮像装置。
  12. 　係数行列を用いて、マルチスペクトルセンサから出力された画素信号としての複数（Ｎ個）の波長信号から、前記波長信号よりも狭帯域の複数（Ｍ個（Ｍ＞Ｎ）の狭帯域信号を生成することと、
    　前記複数の波長信号、もしくは前記複数の波長信号を用いて生成された複数の検波値に対して加重平均処理を行うことにより評価値を算出し、算出した前記評価値に基づいて前記マルチスペクトルセンサ部の露出制御を行うことと
    　を含む
    　信号処理方法。
PCT/JP2023/009946 2022-04-27 2023-03-14 撮像装置および信号処理方法 Ceased WO2023210197A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP23795944.0A EP4518335A4 (en) 2022-04-27 2023-03-14 IMAGING DEVICE AND SIGNAL PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-073791 2022-04-27
JP2022073791 2022-04-27

Publications (1)

Publication Number Publication Date
WO2023210197A1 true WO2023210197A1 (ja) 2023-11-02

Family

ID=88518601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009946 Ceased WO2023210197A1 (ja) 2022-04-27 2023-03-14 撮像装置および信号処理方法

Country Status (2)

Country Link
EP (1) EP4518335A4 (ja)
WO (1) WO2023210197A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086383A (ja) * 1999-09-10 2001-03-30 Fuji Photo Film Co Ltd 画像形成方法および装置
JP2002158857A (ja) * 2000-11-20 2002-05-31 Fuji Photo Film Co Ltd マルチバンド画像処理方法及び装置と該画像処理方法を実行するためのプログラムを記録した記録媒体
JP2007127657A (ja) 1995-05-23 2007-05-24 Olympus Corp 撮像装置、撮像方法、色分類装置、色分類方法および色むら検査装置
JP2016218991A (ja) * 2015-05-22 2016-12-22 キヤノン株式会社 画像処理装置、撮像システム、画像処理方法
JP2018098641A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
JP2018098341A (ja) 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
JP2020115640A (ja) 2012-10-19 2020-07-30 ハイパーメツド・イメージング・インコーポレイテツド 単一センサのハイパースペクトル撮像デバイス
JP2022073791A (ja) 2020-11-02 2022-05-17 株式会社三洋物産 遊技機

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022099436A (ja) * 2020-12-23 2022-07-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007127657A (ja) 1995-05-23 2007-05-24 Olympus Corp 撮像装置、撮像方法、色分類装置、色分類方法および色むら検査装置
JP2001086383A (ja) * 1999-09-10 2001-03-30 Fuji Photo Film Co Ltd 画像形成方法および装置
JP2002158857A (ja) * 2000-11-20 2002-05-31 Fuji Photo Film Co Ltd マルチバンド画像処理方法及び装置と該画像処理方法を実行するためのプログラムを記録した記録媒体
JP2020115640A (ja) 2012-10-19 2020-07-30 ハイパーメツド・イメージング・インコーポレイテツド 単一センサのハイパースペクトル撮像デバイス
JP2016218991A (ja) * 2015-05-22 2016-12-22 キヤノン株式会社 画像処理装置、撮像システム、画像処理方法
JP2018098641A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
JP2018098341A (ja) 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
JP2022073791A (ja) 2020-11-02 2022-05-17 株式会社三洋物産 遊技機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4518335A4

Also Published As

Publication number Publication date
EP4518335A1 (en) 2025-03-05
EP4518335A4 (en) 2025-08-06

Similar Documents

Publication Publication Date Title
JP7014218B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
TWI800722B (zh) 圖像辨識裝置及圖像辨識方法
CN113875217B (zh) 图像识别装置和图像识别方法
US20200057149A1 (en) Optical sensor and electronic device
WO2020230660A1 (ja) 画像認識装置、固体撮像装置、および画像認識方法
JP6977722B2 (ja) 撮像装置、および画像処理システム
JP2018064007A (ja) 固体撮像素子、および電子装置
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
US11928848B2 (en) Light receiving device, solid-state imaging apparatus, electronic equipment, and information processing system
CN110012215B (zh) 图像处理装置和图像处理方法
CN114174864A (zh) 设备、测量设备、距离测量系统和方法
CN114270798B (zh) 摄像装置
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2018179695A1 (ja) 制御装置、撮像装置、制御方法及びプログラム
US20210297589A1 (en) Imaging device and method of controlling imaging device
WO2017195459A1 (ja) 撮像装置、および撮像方法
CN113677955A (zh) 距离测量传感器、信号处理方法和距离测量模块
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
EP3836530B1 (en) Vehicle-mounted camera and drive control system using same
WO2023210197A1 (ja) 撮像装置および信号処理方法
JP7614096B2 (ja) 測定装置および測距装置
CN116940893A (zh) 摄像装置和摄像系统
WO2018220993A1 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
WO2021166601A1 (ja) 撮像装置、および撮像方法
CN109076168B (zh) 控制装置、控制方法和计算机可读介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23795944

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18855319

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023795944

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023795944

Country of ref document: EP

Effective date: 20241127

NENP Non-entry into the national phase

Ref country code: JP