WO2016076016A1 - 車載カメラシステム - Google Patents

車載カメラシステム Download PDF

Info

Publication number
WO2016076016A1
WO2016076016A1 PCT/JP2015/076861 JP2015076861W WO2016076016A1 WO 2016076016 A1 WO2016076016 A1 WO 2016076016A1 JP 2015076861 W JP2015076861 W JP 2015076861W WO 2016076016 A1 WO2016076016 A1 WO 2016076016A1
Authority
WO
WIPO (PCT)
Prior art keywords
white balance
exposure
balance correction
image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/076861
Other languages
English (en)
French (fr)
Inventor
勉 薄井
憲彦 中野
崇英 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to US15/525,406 priority Critical patent/US10356376B2/en
Priority to EP15859559.5A priority patent/EP3220637B1/en
Publication of WO2016076016A1 publication Critical patent/WO2016076016A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network

Definitions

  • the present invention relates to an in-vehicle camera system.
  • a technique for obtaining an image having a wide dynamic range (high dynamic range image) by controlling the exposure time in frame units or pixel units is known. This can be obtained by long exposure photography and short exposure photography obtained by long exposure photography by performing long exposure photography with a relatively long exposure time and short exposure photography with a relatively short exposure time. A high dynamic range image is generated by combining with the short exposure image. Further, a technique for performing appropriate white balance correction processing on each of the long-time exposure image and the short-time exposure image before combining the long-time exposure image and the short-time exposure image has been proposed (for example, patents). Reference 1).
  • an in-vehicle camera system that is provided in a vehicle and photographs the surroundings of the vehicle has become widespread. Also in an in-vehicle camera system, it is important to acquire a high dynamic range image, and a long exposure image and a short exposure image are acquired.
  • the usage environment of the in-vehicle camera system is characterized in that the illumination environment when taking an image changes variously.
  • Examples of the lighting environment include daytime outdoors using sunlight as a light source, night outdoors without sunlight, and places that are not exposed to sunlight but are illuminated with a single light source.
  • the outdoors in the daytime are strongly affected by sunlight.
  • Outside the night there is no sunlight, but in addition to the reflected light illuminated by the headlights, there are self-luminous light sources such as signal lights, street lights, and electrical decorations.
  • As a place illuminated by a single light source for example, there are a tunnel illuminated by a sodium lamp, an indoor parking lot illuminated by a fluorescent lamp, and the like.
  • Such technologies include, for example, white lines and signs that divide lanes based on images taken with an in-vehicle camera system, functions for detecting other vehicles and pedestrians, functions as drive recorders for recording images, and images There is a head-up display function that projects the image onto the windshield. In order to accurately operate these functions based on the image, it is necessary to appropriately perform white balance correction processing on the captured image.
  • the present invention has been made in view of the above circumstances, and even in an illumination environment that changes variously, an appropriate white balance correction process according to the illumination environment is performed on two or more types of obtained exposure images.
  • An object is to provide an in-vehicle camera system.
  • the present invention corrects white balance on an in-vehicle camera that is provided in a vehicle and that captures images with at least two types of exposure times, and two or more types of exposure images that are respectively captured with at least two types of exposure times.
  • a signal processing device that generates a high dynamic range image based on the two or more types of exposure images each subjected to the white balance correction process, and an illumination environment in which the vehicle is placed
  • a processing switching device that switches white balance correction processing for the two or more types of exposure images by the signal processing device according to the acquired illumination environment.
  • an appropriate white balance correction process corresponding to the illumination environment is performed on each of the two or more types of exposure images obtained. Can do.
  • FIG. 1 is a block diagram showing a configuration of an in-vehicle camera system 100 according to an embodiment of the present invention.
  • a solid line in FIG. 1 is a flow of an image signal (video signal), and a broken line is a flow of a control signal.
  • the illustrated in-vehicle camera system 100 is provided in a vehicle (not illustrated), and includes an in-vehicle camera 10, a signal processing unit 20 (an example of a signal processing device), a system control unit 40 (an example of a processing switching device), and an output interface ( I / F) unit 30.
  • the in-vehicle camera 10 mainly uses a range including a road surface in front of the vehicle as a subject.
  • the in-vehicle camera 10 includes a color image sensor 12 and a lens 11 that forms an image of a subject on the image sensor 12.
  • the image sensor 12 is controlled by a system control unit 40 to be described later so as to perform short exposure photography with a relatively short exposure time and long exposure photography with a relatively long exposure time. Therefore, the image sensor 12 alternately outputs a short-exposure image photographed by short-exposure photography and a long-exposure image photographed by long-exposure photography.
  • the exposure time for short exposure photography is, for example, 1/3000 [seconds], and the exposure time for long exposure photography, for example, is 1/30 [seconds], but is not limited to these exposure times.
  • the signal processing unit 20 performs various signal processes on the long exposure image and the short exposure image output from the image sensor 12.
  • the signal processing unit 20 includes a white balance processing unit 25.
  • the white balance processing unit 25 performs white balance correction processing on the long-exposure image and the short-exposure image based on the parameters.
  • the white balance correction processing parameters are set by a white balance (WB) control unit 45 (to be described later) of the system control unit 40. Accordingly, the white balance processing unit 25 performs white balance correction processing according to the parameters set by the white balance control unit 45.
  • WB white balance
  • the signal processing unit 20 performs a short exposure image and a long time based on the short exposure image after the white balance correction processing and the long exposure image after the white balance correction processing are performed.
  • a high dynamic range image having a wider dynamic range than the time exposure image is generated.
  • Various known methods can be applied as processing for generating a high dynamic range image.
  • the system control unit 40 is input with position information indicating the position where the vehicle is placed and time information indicating the current time.
  • the position information and time information are input from the position / time information acquisition unit 210 of the navigation system 200 provided in the vehicle, which is an external configuration of the in-vehicle camera system 100.
  • the navigation system 200 includes a map information holding unit 220 that holds map information, and the map information output from the map information holding unit 220 is also input to the system control unit 40.
  • the system control unit 40 identifies the place where the vehicle is placed based on the input position information and map information. In addition, the system control unit 40 acquires the lighting environment in which the vehicle is placed based on the location information representing the specified location and the input time information. Specifically, the locations specified by the system control unit 40 are, for example, outdoors (roads, parking lots, etc., excluding tunnels) and tunnels.
  • the system control unit 40 acquires (specifies) the day / night classification at the current time at the position.
  • the day / night classification is stored in the system control unit 40 in a database corresponding to the position and time.
  • being divided into daytime represents an environment in which the sun is exposed, that is, daytime
  • being divided into night represents an environment in which the sun is not emitted, that is, nighttime other than daytime.
  • the system control unit 40 determines (1) daytime outdoor lighting environment, (2) nighttime outdoor lighting environment, and (3) single light source lighting environment. Get one of the lighting environments.
  • the daytime outdoor lighting environment is an outdoor lighting environment divided into daytime, and is an illumination environment using sunlight as a light source.
  • the outdoor lighting environment at night is an outdoor lighting environment that is divided into night. There is no sunlight, and there are no self-luminous light sources such as signal lights, street lights, and lighting, and subjects illuminated mainly by headlights. This is an illumination environment that uses reflected light as a light source.
  • the illumination environment of a single light source is an illumination environment in a tunnel illuminated with a single light source (often a single wavelength) such as a sodium lamp regardless of day or night.
  • the system control unit 40 sets parameters for white balance correction processing performed by the white balance processing unit 25 in accordance with the acquired illumination environment, so that white balance correction processing and short processing for a long-exposure image are performed.
  • a white balance control unit 45 that switches white balance correction processing for the time exposure image is provided. Parameters for white balance correction processing can be obtained by various known methods. Specifically, the white balance control unit 45 can select any one of the following (A), (B), and (C). The parameter corresponding to the white balance correction process is set.
  • the white balance correction process for the short exposure image and the white balance correction process for the long exposure image are respectively automatic white balance correction processes.
  • the white balance correction process for the short exposure image is the auto white balance (AWB) correction process for the fixed white balance correction process in which parameters are set in advance.
  • AVB auto white balance
  • the white balance correction process for the short exposure image is performed. Correction processing and white balance correction processing for a long-exposure image are fixed white balance correction processing in which parameters are set in advance.
  • the white balance control unit 45 performs the white balance correction process (AWB for the long exposure image and the short exposure image individually). Switch to setting 47).
  • white balance correction processing (B) above (individual AWB setting 47 for long exposure images, fixed WB setting for short exposure images) Switch to 46).
  • the process is switched to the white balance correction processing (fixed WB setting 46 for each of the long exposure image and the short exposure image) in (C).
  • the system control unit 40 outputs a parameter corresponding to the set white balance correction processing to the signal processing unit 20.
  • the white balance processing unit 25 of the signal processing unit 20 performs white balance correction processing based on parameters input from the system control unit 40 for each of the long exposure image and the short exposure image.
  • the output interface unit 30 uses the high dynamic range image output from the signal processing unit 20 as a white line or a sign that separates the lane based on an image captured by an external device, for example, the in-vehicle camera system 100, other vehicles, pedestrians Is output to a device having a function of detecting the image, a drive recorder for recording an image, and a head-up display for projecting the image onto the windshield.
  • an external device for example, the in-vehicle camera system 100, other vehicles, pedestrians Is output to a device having a function of detecting the image, a drive recorder for recording an image, and a head-up display for projecting the image onto the windshield.
  • FIG. 2 is a flowchart showing the operation (processing) of the system control unit 40 of the in-vehicle camera system 100 of the embodiment shown in FIG. The processing of this in-vehicle camera system 100 will be described below.
  • the vehicle-mounted camera 10 performs the above-described short-time exposure shooting and long-time exposure shooting alternately in succession under the control of the system control unit 40.
  • the short-time exposure image and the long-time exposure image obtained by photographing are output to the signal processing unit 20.
  • the system control unit 40 acquires, from the navigation system 200, vehicle position information, time information, and map information corresponding to the timing when the in-vehicle camera 10 is captured.
  • the signal processing unit 20 outputs a red (R) component signal, a green (G) component signal, and a blue (B) component signal from the image signal of each exposure image (short exposure image, long exposure image). And the obtained RGB ratio is output to the system control unit 40.
  • the RGB ratio is a precondition for setting parameters for white balance correction processing.
  • the system control unit 40 is based on the position information, time information, and map information acquired corresponding to the timing when the short-time exposure image and the long-time exposure image to which the RGB ratio is input are captured by the in-vehicle camera 10.
  • the location information is specified, and the day / night classification is specified.
  • the system control unit 40 determines whether the location is a tunnel based on the specified location information (step (S) 1).
  • the system control unit 40 performs white balance correction processing (C) (fixed WB setting 46 in FIG. 1) for the short-exposure image and the long-exposure image, respectively. ) Are output to the signal processing unit 20 (S2).
  • the white balance processing unit 25 of the signal processing unit 20 performs white balance correction processing corresponding to the fixed WB setting 46 for each of the short-time exposure image and the long-time exposure image.
  • the inside of the tunnel is an illumination environment illuminated by a single light source such as a sodium lamp.
  • a single light source such as a sodium lamp.
  • the sodium lamp is a light source that emits light of a single wavelength
  • white balance correction processing is performed with any parameter.
  • the RGB components cannot be corrected to 1: 1: 1.
  • the short-time exposure image and the long-time exposure image obtained in the tunnel are images taken in an illumination environment (for example, a color temperature of 5000 Kelvin) using, for example, sunlight.
  • a parameter for white balance correction processing to be generally performed on an image shot in an illumination environment using sunlight as a light source is experimentally obtained in advance, and this is determined as a fixed WB setting 46 of the system control unit 40.
  • an appropriate white balance correction process can be performed on the image obtained by the tunnel.
  • the image obtained in the tunnel for example, even a white line that divides the lane is output to an external device through the output interface unit 30 as an orange line by irradiation with a sodium lamp. May be dealt with by a process such as removing the hue with an external device and converting it to a grayscale image.
  • the short-exposure image and the long-exposure image that have been subjected to the white balance correction process described above are combined by the signal processing unit 20 to become a high dynamic range image, and are output to an external device via the output interface unit 30.
  • the system control unit 40 determines the day / night classification (S3). When it is determined that the day / night classification is daytime (Yes in S3), the system control unit 40 performs white balance correction processing (A3) for the short-time exposure image and the long-time exposure image, respectively.
  • a parameter corresponding to (in FIG. 1, individual AWB setting 47) is output to the signal processing unit 20 (S4). Thereby, the white balance processing unit 25 of the signal processing unit 20 performs white balance correction processing corresponding to the individual AWB setting 47 for the short-time exposure image and the long-time exposure image, respectively.
  • the short-time exposure image and long-time exposure image obtained outdoors in the daytime are images obtained in an illumination environment using sunlight as a light source. Even in an illumination environment using sunlight as a light source, the color temperature differs between the illumination environment in the sun and the illumination environment in the shade. Then, auto white balance correction processing corresponding to the lighting environment in the sun is performed on the short exposure image, and auto white balance correction processing corresponding to the lighting environment in the shadow is performed on the long exposure image. If this is done, the white balance of the high dynamic range image after synthesis will be good.
  • the system control unit 40 outputs a parameter corresponding to the individual AWB setting 47 to the signal processing unit 20 (S4), and the white balance processing unit 25 applies the short exposure image and the long exposure image.
  • the white balance correction process corresponding to each individual AWB setting 47, it is possible to obtain a high dynamic range image having a color close to that seen with the driver's naked eye.
  • the short-exposure image and the long-exposure image that have been subjected to the white balance correction process described above are combined by the signal processing unit 20 to become a high dynamic range image, and are output to an external device via the output interface unit 30.
  • the system control unit 40 performs the white balance correction process (B) for the short-time exposure image in FIG. Then, parameters corresponding to the fixed WB setting 46 and the individual AWB setting 47) for the long-time exposure image are output to the signal processing unit 20 (S5).
  • the white balance processing unit 25 of the signal processing unit 20 performs white balance correction processing corresponding to the fixed WB setting 46 for the short-time exposure image, and supports individual AWB setting 47 for the long-time exposure image. The white balance correction process is performed.
  • the short-exposure images obtained outdoors at night are mainly images of self-luminous light sources such as signal lights, street lights, and electric lights.
  • signal lights that are lit in green In a short-time exposure image in which the image is mainly captured, if auto white balance correction processing is performed, green may be converted to white. The same applies to signal lights that are lit in red or yellow.
  • the system control unit 40 performs a white balance correction process of the fixed WB setting 46 on the short-time exposure image, so that the emission color of such a signal lamp or the like becomes a different color from the appearance. Can be prevented.
  • long-time exposure images obtained outdoors at night mainly reflect the reflected light of a subject such as a white line illuminated by a headlight.
  • the white line may be used by the above-described external device, for example, for functions such as running lane maintenance. Since the system control unit 40 according to the present embodiment performs an auto white balance correction process on the long-exposure image, the detection accuracy of white lines and the like can be improved.
  • the short-exposure image and the long-exposure image that have been subjected to the white balance correction process described above are combined by the signal processing unit 20 to become a high dynamic range image, and are output to an external device via the output interface unit 30.
  • a plurality of types of white balance can be applied to a long-time exposure image and a short-time exposure image obtained in various lighting environments.
  • An appropriate white balance correction process according to the lighting environment selected from the correction processes can be performed.
  • the in-vehicle camera system 100 has (3) a lighting environment in a tunnel that is illuminated with a single light source (often a single wavelength) such as a sodium lamp as an illumination environment of a single light source.
  • a single light source such as a sodium lamp
  • the location of the lighting environment with a single light source regardless of day or night can include, for example, an indoor (including underground) parking lot.
  • the in-vehicle camera system 100 of the present embodiment generates a high dynamic range image based on two types of exposure images, a long exposure image and a short exposure image.
  • the high dynamic range image the gradation of the low illumination area in the image is enhanced based on the long exposure image, and the gradation of the high illumination area in the image is enhanced based on the short exposure image. It becomes an image.
  • the in-vehicle camera system may generate a high dynamic range image based on three or more types of exposure images having different exposure times.
  • the gradation of the low illumination area in the image is enhanced based on the long exposure image
  • the gradation of the high illumination area in the image is enhanced based on the short exposure image
  • an image in which the gradation of the medium illuminance region in the image is enhanced based on a medium-time exposure image an image exposed with an exposure time shorter than that of the long-time exposure image and longer than that of the short-time exposure image. It becomes.
  • application of white balance correction processing to each exposure image can be applied as follows. That is, two or more types of exposure images having a relatively long exposure time including a specific exposure time image among three or more types of exposure images are applied in the same manner as the long-time exposure image in the present embodiment, and three or more types of exposure images are applied. Among the exposure images, one or more types of exposure images having a relatively short exposure time that do not include the specific exposure time image are applied in the same manner as the short-time exposure image in the present embodiment.
  • one or more types of exposure images having a relatively long exposure time that do not include a specific exposure time image among three or more types of exposure images are applied in the same manner as the long-time exposure image in the present embodiment, and three or more types of exposure images are used.
  • two or more types of exposure images having a relatively short exposure time including the specific exposure time image are applied in the same manner as the short-time exposure image in the present embodiment.
  • correction processing different from the long-time exposure image and the short-time exposure image in the present embodiment may be applied to a specific exposure time image among the three or more types of exposure images.
  • the white balance correction processes (A), (B), and (C) described above corresponding to the parameters set by the white balance control unit 45 can be performed as follows as an example.
  • (A) White balance correction processing for short exposure images, white balance correction processing for long exposure images, and white balance correction processing for other exposure images excluding these short exposure images and long exposure images
  • (B) The white balance correction process for a short-time exposure image is a fixed white balance correction process in which parameters are set in advance, and the white balance correction for a long-time exposure image is performed.
  • the correction process is an auto white balance (AWB) correction process, and the white balance correction process for the other exposure images excluding the short-time exposure image and the long-time exposure image is a fixed white balance in which parameters are set in advance.
  • AVB auto white balance
  • AVB auto white balance
  • C White balance correction processing for short exposure images, white balance correction processing for long exposure images, and other exposure images excluding these short exposure images and long exposure images
  • the white balance correction process is a fixed white balance correction process in which parameters are set in advance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

車載カメラシステムにおいて、種々変化する照明環境で撮影された長時間露光画像と短時間露光画像とに対して、状況に応じた適切なホワイトバランスの補正処理を行う。 車載カメラシステム（１００）は、露光時間が相対的に長い長時間露光撮影と相対的に短い短時間露光撮影とを行う車載カメラ（１０）と、長時間露光画像及び短時間露光画像にぞれぞれホワイトバランスの補正処理を施し、その後に両者を合成してハイダイナミックレンジ画像を生成する信号処理部（２０）（信号処理装置）と、車両が置かれている照明環境を取得し、その照明環境に応じて、長時間露光画像に対するホワイトバランスの補正処理及び短時間露光画像に対するホワイトバランスの補正処理を切り替えるシステム制御部（４０）（処理切替装置）と、を備える。

Description

車載カメラシステム
　本発明は、車載カメラシステムに関する。
　フレーム単位又は画素単位で露光時間を制御して、ダイナミックレンジの広い画像（ハイダイナミックレンジ画像）を得る技術が知られている。これは、露光時間が相対的に長い長時間露光撮影と露光時間が相対的に短い短時間露光撮影とを行い、長時間露光撮影で得られた長時間露光画像及び短時間露光撮影で得られた短時間露光画像との合成により、ハイダイナミックレンジ画像を生成するものである。
　さらに、長時間露光画像と短時間露光画像とを合成する前に、長時間露光画像及び短時間露光画像に対してそれぞれ適切なホワイトバランスの補正処理を行う技術も提案されている（例えば、特許文献１参照）。
特開２００３－１８９３１５号公報
　ところで、車両に設けられて、車両の周囲を撮影する車載カメラシステムが普及している。車載カメラシステムにおいても、ハイダイナミックレンジ画像を取得することは重要であり、長時間露光画像及び短時間露光画像が取得される。
　しかし、車載カメラシステムの使用環境は、画像を撮影するときの照明環境が種々変化するという特徴がある。
　照明環境としては、例えば、太陽光を光源とする日中屋外、太陽光の無い夜間屋外及び太陽光は受けないが単一光源で照明された場所などがある。ここで、日中屋外は太陽光の影響を強く受ける。夜間屋外は、太陽光は無いが、ヘッドライトにより照らされた反射光の他に、信号灯や街灯、電飾等の自発光光源がある。単一光源で照明される場所としては、例えば、ナトリウムランプで照らされたトンネルや蛍光灯などで照らされた屋内駐車場などがある。
　一方、車載カメラシステムで得られた画像に基づいて、運転者や車両に対して有益な情報を与える技術が開発されている。そのような技術としては、例えば、車載カメラシステムで撮影された画像に基づいて車線を区切る白線や標識、他車や歩行者を検知する機能や、画像を記録するドライブレコーダとしての機能や、画像をフロントガラスに投影するヘッドアップディスプレイ機能などがある。
　そして、画像に基づいたこれらの機能を精度よく動作させるためには、撮影された画像に対するホワイトバランスの補正処理を適切に行う必要がある。
　本発明は上記事情に鑑みなされたものであって、種々変化する照明環境であっても、得られた２種類以上の露光画像に対して、照明環境に応じた適切なホワイトバランスの補正処理を行う車載カメラシステムを提供することを目的とする。
　本発明は、車両に設けられた、少なくとも２種類の露光時間で撮影を行う車載カメラと、前記少なくとも２種類の露光時間でそれぞれ撮影して得られた２種類以上の露光画像にホワイトバランスの補正処理を施すとともに、前記ホワイトバランスの補正処理がそれぞれ施された前記２種類以上の露光画像に基づいてハイダイナミックレンジ画像を生成する信号処理装置と、前記車両が置かれている照明環境を取得し、取得された前記照明環境に応じて、前記信号処理装置による前記２種類以上の露光画像に対するホワイトバランスの補正処理を切り替える処理切替装置と、を備えた車載カメラシステムである。
　本発明に係る車載カメラシステムによれば、種々変化する照明環境であっても、得られた２種類以上の露光画像に対してそれぞれ、照明環境に応じた適切なホワイトバランスの補正処理を行うことができる。
本発明の一実施形態に係る車載カメラシステムの構成を示すブロック図である。 図１に示した実施形態の車載カメラシステムの作用（処理）を示すフローチャートである。
　以下、本発明に係る車載カメラシステムの具体的な実施の形態について、図面を参照して説明する。
＜車載カメラシステムの構成＞
　図１は、本発明の一実施形態に係る車載カメラシステム１００の構成を示すブロック図である。図１中の実線は画像信号（映像信号）の流れであり、破線は制御信号の流れである。図示の車載カメラシステム１００は図示しない車両に設けられていて、車載カメラ１０と、信号処理部２０（信号処理装置の一例）と、システム制御部４０（処理切替装置の一例）と、出力インターフェース（Ｉ／Ｆ）部３０とを備えている。
　車載カメラ１０は、主に、車両の前方の路面を含む範囲を被写体としている。車載カメラ１０は、カラーの撮像素子１２と、撮像素子１２に被写体の像を結像させるレンズ１１とを備えている。
　撮像素子１２は、後述のシステム制御部４０によって、露光時間が相対的に短い短時間露光撮影と露光時間が相対的に長い長時間露光撮影とを行うように制御されている。したがって、撮像素子１２からは、短時間露光撮影で撮影された短時間露光画像と長時間露光撮影で撮影された長時間露光画像とが交互に出力される。短時間露光撮影の露光時間は、例えば１／３０００［秒］、長時間露光撮影の露光時間は、例えば１／３０［秒］であるが、これらの露光時間に限定されない。
　信号処理部２０は、撮像素子１２から出力された長時間露光画像及び短時間露光画像に対して種々の信号処理を施す。信号処理部２０は、ホワイトバランス処理部２５を備えている。ホワイトバランス処理部２５は、長時間露光画像及び短時間露光画像に対してそれぞれ、パラメータに基づいて、ホワイトバランスの補正処理を施す。
　ホワイトバランスの補正処理のパラメータは、システム制御部４０の後述するホワイトバランス（ＷＢ）制御部４５によって設定される。したがって、ホワイトバランス処理部２５は、ホワイトバランス制御部４５で設定されたパラメータにしたがってホワイトバランスの補正処理を行う。
　また、信号処理部２０は、ホワイトバランスの補正処理が施された後の短時間露光画像とホワイトバランスの補正処理が施された後の長時間露光画像とに基づいて、短時間露光画像や長時間露光画像よりもダイナミックレンジが広いハイダイナミックレンジ画像を生成する。ハイダイナミックレンジ画像を生成する処理としては、公知の種々の方法を適用することができる。
　システム制御部４０には、車両の置かれている位置を表す位置情報と現在時刻を表す時刻情報とが入力されている。この位置情報及び時刻情報は、車載カメラシステム１００の外部の構成である、車両に備えられたナビゲーションシステム２００の位置／時刻情報取得部２１０から入力されている。また、ナビゲーションシステム２００は、地図情報を保持した地図情報保持部２２０を備えていて、地図情報保持部２２０から出力された地図情報も、システム制御部４０に入力されている。
　システム制御部４０は、入力された位置情報と地図情報とに基づいて、車両の置かれている場所を特定する。また、システム制御部４０は、特定した場所を表す場所情報と、入力された時刻情報とに基づいて、車両が置かれている照明環境を取得する。
　システム制御部４０が特定する場所としては、具体的には例えば、屋外（道路、駐車場等。トンネルを除く。）及びトンネルである。
　システム制御部４０は、位置情報と時刻情報とに基づいて、その位置における現在時刻での昼夜の区分を取得（特定）する。昼夜の区分は、位置及び時刻に対応してデータベース化されてシステム制御部４０に備えられている。ここで、昼に区分されるのは、太陽が出ている環境すなわち日中を表し、夜に区分されるのは、太陽が出ていない環境すなわち日中以外の夜間を表す。
　システム制御部４０は、上述した場所情報及び時刻情報すなわち昼夜の区分に基づいて、（１）日中屋外の照明環境、（２）夜間屋外の照明環境及び（３）単一光源の照明環境のうちいずれかの照明環境を取得する。
　ここで、（１）日中屋外の照明環境は、昼に区分された屋外での照明環境であり、太陽光を光源とする照明環境である。（２）夜間屋外の照明環境は、夜に区分された屋外での照明環境であり、太陽光は無く、信号灯や街灯、電飾等の自発光光源や、主としてヘッドライトで照らされた被写体の反射光などを光源とする照明環境である。（３）単一光源の照明環境は、昼夜を問わず、ナトリウムランプ等の単一の光源（単一波長の場合が多い）で照明されたトンネル内での照明環境である。
　システム制御部４０は、取得された照明環境に応じて、ホワイトバランス処理部２５で行われるホワイトバランスの補正処理のためのパラメータを設定することで、長時間露光画像に対するホワイトバランスの補正処理及び短時間露光画像に対するホワイトバランスの補正処理を切り替えるホワイトバランス制御部４５を備えている。
　ホワイトバランスの補正処理のためのパラメータは、公知の種々の方法で求めることができ、ホワイトバランス制御部４５は、具体的には、以下の（Ａ）、（Ｂ）及び（Ｃ）のうちいずれかのホワイトバランスの補正処理に対応したパラメータを設定する。
　（Ａ）短時間露光画像に対するホワイトバランスの補正処理と長時間露光画像に対するホワイトバランスの補正処理とをそれぞれ、オートホワイトバランスの補正処理とする
　（Ｂ）短時間露光画像に対するホワイトバランスの補正処理を、予めパラメータが設定された固定のホワイトバランスの補正処理とし、長時間露光画像に対するホワイトバランスの補正処理を、オートホワイトバランス（ＡＷＢ）の補正処理とする
　（Ｃ）短時間露光画像に対するホワイトバランスの補正処理と長時間露光画像に対するホワイトバランスの補正処理とを、予めパラメータが設定された固定のホワイトバランスの補正処理とする
　ホワイトバランス制御部４５は、場所情報及び昼夜の区分を上記（１）に特定したときは、上記（Ａ）のホワイトバランスの補正処理（長時間露光画像及び短時間露光画像に対してそれぞれ個別ＡＷＢ設定４７）に切り替える。場所情報及び昼夜の区分を上記（２）に特定したときは、上記（Ｂ）のホワイトバランスの補正処理（長時間露光画像に対して個別ＡＷＢ設定４７、短時間露光画像に対して固定ＷＢ設定４６）に切り替える。場所情報及び昼夜の区分を上記（３）に特定したときは、上記（Ｃ）のホワイトバランスの補正処理（長時間露光画像及び短時間露光画像に対してそれぞれ固定ＷＢ設定４６）に切り替える。
　そして、システム制御部４０は、設定されたホワイトバランスの補正処理に対応したパラメータを信号処理部２０に出力する。信号処理部２０のホワイトバランス処理部２５は、長時間露光画像及び短時間露光画像のそれぞれに対して、システム制御部４０から入力されたパラメータに基づいたホワイトバランスの補正処理を行う。
　出力インターフェース部３０は、信号処理部２０から出力されたハイダイナミックレンジ画像を、外部の装置、例えば、車載カメラシステム１００で撮影された画像に基づいて車線を区切る白線や標識、他車や歩行者を検知する機能を有する装置や、画像を記録するドライブレコーダや、画像をフロントガラスに投影するヘッドアップディスプレイに出力する。
＜車載カメラシステムの作用＞
　図２は、図１に示した実施形態の車載カメラシステム１００のシステム制御部４０の作用（処理）を示すフローチャートである。この車載カメラシステム１００の処理について、以下に説明する。
　まず、車載カメラ１０は、システム制御部４０の制御により、上述した短時間露光撮影と長時間露光撮影とを連続して交互に行う。撮影して得られた短時間露光画像及び長時間露光画像は信号処理部２０に出力される。システム制御部４０は、車載カメラ１０による撮影が行われたタイミングに対応した車両の位置情報及び時刻情報並びに地図情報を、ナビゲーションシステム２００から取得する。
　信号処理部２０は、各露光画像（短時間露光画像、長時間露光画像）の画像信号から赤（Ｒ）の成分の信号、緑（Ｇ）の成分の信号、青（Ｂ）の成分の信号の比率を算出し、得られたＲＧＢの比をシステム制御部４０に出力する。ＲＧＢの比はホワイトバランスの補正処理のパラメータを設定する前提となる。
　システム制御部４０は、ＲＧＢの比が入力された短時間露光画像及び長時間露光画像が車載カメラ１０で撮影されたときのタイミングに対応して取得した位置情報及び時刻情報並びに地図情報に基づいて場所情報を特定するとともに、昼夜の区分を特定する。
　そして、システム制御部４０は、図２に示すように、特定された場所情報に基づいて、場所がトンネルか否かを判定する（ステップ（Ｓ）１）。場所がトンネルの場合（Ｓ１にてＹｅｓ）は、システム制御部４０は、短時間露光画像及び長時間露光画像に対してそれぞれ（Ｃ）のホワイトバランスの補正処理（図１において、固定ＷＢ設定４６）に対応したパラメータを信号処理部２０に出力する（Ｓ２）。
　これにより、信号処理部２０のホワイトバランス処理部２５は、短時間露光画像及び長時間露光画像に対して、それぞれ固定ＷＢ設定４６に対応したホワイトバランスの補正処理を行う。
　ここで、トンネルの内部は、例えばナトリウムランプという単一光源で照明された照明環境であるが、ナトリウムランプは、単一波長の光を出射する光源であるため、如何なるパラメータでホワイトバランスの補正処理を行ったとしても、ＲＧＢの成分を１：１：１に補正することはできない。
　そこで、トンネルで得られた短時間露光画像及び長時間露光画像に対しては、例えば太陽光を光源とする照明環境（例えば、５０００ケルビンの色温度）で撮影された画像であると仮定する。太陽光を光源とする照明環境で撮影された画像に対して一般的に行うべきホワイトバランスの補正処理のためのパラメータを予め実験的に求めておき、これをシステム制御部４０の固定ＷＢ設定４６に記憶させておく。
　トンネルで得られた短時間露光画像及び長時間露光画像に対して、その記憶されているパラメータによるホワイトバランスの補正処理（固定ＷＢ設定４６）を行うと、運転者が肉眼で見た色味に近い色の画像を得ることができる。これにより、ＲＧＢの成分を強制的に１：１：１に補正するオートホワイトバランスの補正処理を行った場合に予測し得ない結果が生じるのを防止することができる。
　つまり、トンネルで得られた画像に対して適切なホワイトバランスの補正処理を施すことができる。
　なお、トンネル内で得られた画像に対しては、例えば車線を区切る白線であっても、ナトリウムランプの照射によって橙色の線として、出力インターフェース部３０を通じて外部の装置に出力されるが、この場合は、外部の装置で色相を除去してグレースケールの画像に変換するなどの処理で対応すればよい。
　上述したホワイトバランスの補正処理が施された短時間露光画像と長時間露光画像とは、信号処理部２０により合成されてハイダイナミックレンジ画像となり、出力インターフェース部３０を介して外部の装置に出力される。
　Ｓ１の判定において、場所がトンネルでない場合（Ｓ１にてＮｏ）は、システム制御部４０は、昼夜の区分を判定する（Ｓ３）。そして、昼夜の区分が日中であると判定したとき（Ｓ３にてＹｅｓ）は、システム制御部４０は、短時間露光画像及び長時間露光画像に対してそれぞれ（Ａ３）のホワイトバランスの補正処理（図１において、個別ＡＷＢ設定４７）に対応したパラメータを信号処理部２０に出力する（Ｓ４）。
　これにより、信号処理部２０のホワイトバランス処理部２５は、短時間露光画像及び長時間露光画像に対して、それぞれ個別ＡＷＢ設定４７に対応したホワイトバランスの補正処理を行う。
　ここで、日中の屋外（トンネル内を除く）で得られた短時間露光画像及び長時間露光画像は、太陽光を光源とする照明環境で得られた画像である。太陽光を光源とする照明環境であっても、日向での照明環境と日影での照明環境とでは色温度が異なる。そして、短時間露光画像に対して、日向での照明環境に対応したオートホワイトバランスの補正処理を行い、長時間露光画像に対して、日影での照明環境に対応したオートホワイトバランスの補正処理を行うと、合成後のハイダイナミックレンジ画像のホワイトバランスは良好なものとなる。
　本実施形態のシステム制御部４０は、個別ＡＷＢ設定４７に対応したパラメータを信号処理部２０に出力（Ｓ４）して、ホワイトバランス処理部２５が、短時間露光画像及び長時間露光画像に対して、それぞれ個別ＡＷＢ設定４７に対応したホワイトバランスの補正処理を行うことで、運転者の肉眼で見たままの状態に近い色味のハイダイナミックレンジ画像を得ることができる。
　上述したホワイトバランスの補正処理が施された短時間露光画像と長時間露光画像とは、信号処理部２０により合成されてハイダイナミックレンジ画像となり、出力インターフェース部３０を介して外部の装置に出力される。
　Ｓ３の判定において、昼夜の区分が日中でないと判定したとき（Ｓ３にてＮｏ）は、システム制御部４０は、（Ｂ）のホワイトバランスの補正処理（図１において、短時間露光画像に対して固定ＷＢ設定４６、長時間露光画像に対して個別ＡＷＢ設定４７）に対応したパラメータを信号処理部２０に出力する（Ｓ５）。
　これにより、信号処理部２０のホワイトバランス処理部２５は、短時間露光画像に対して固定ＷＢ設定４６に対応したホワイトバランスの補正処理を行い、長時間露光画像に対して個別ＡＷＢ設定４７に対応したホワイトバランスの補正処理を行う。
　ここで、夜間の屋外（トンネル内を除く）で得られた短時間露光画像は、主として信号灯や街灯、電飾等の自発光光源が写ったものであるが、例えば緑色で点灯している信号灯が主として写っている短時間露光画像では、オートホワイトバランスの補正処理を施すと、緑色が白色に変換されるおそれがある。赤色や黄色で点灯している信号灯についても同様である。
　本実施形態では、システム制御部４０が、短時間露光画像に対して固定ＷＢ設定４６のホワイトバランスの補正処理を施すことで、このような信号灯等の発光色が見た目と異なる色になるのを防止することができる。
　一方、夜間の屋外（トンネル内を除く）で得られた長時間露光画像は、主としてヘッドライトで照らされた白線等被写体の反射光が写ったものである。白線は前述した外部の装置によって、例えば、走行車線維持等の機能のために用いられることもある。本実施形態におけるシステム制御部４０は、この長時間露光画像に対して、オートホワイトバランスの補正処理を施すため、白線等の検出精度を高めることができる。
　上述したホワイトバランスの補正処理が施された短時間露光画像と長時間露光画像とは、信号処理部２０により合成されてハイダイナミックレンジ画像となり、出力インターフェース部３０を介して外部の装置に出力される。
　以上、詳細に説明したように、本実施形態の車載カメラシステム１００によれば、種々変化する照明環境で得られた長時間露光画像と短時間露光画像とに対して、複数種類のホワイトバランスの補正処理のうちから選択された、その照明環境の状況に応じた適切なホワイトバランスの補正処理を施すことができる。
　なお、本実施形態の車載カメラシステム１００は、（３）単一光源の照明環境として、ナトリウムランプ等の単一の光源（単一波長の場合が多い）で照明されたトンネル内での照明環境を例示したものであるが、昼夜を問わず単一光源の照明環境の場所としては、例えば屋内（地下を含む）の駐車場も含めることができる。
　本実施形態の車載カメラシステム１００は、長時間露光画像及び短時間露光画像という２種類の露光画像に基づいて、ハイダイナミックレンジ画像を生成する。この場合、ハイダイナミックレンジ画像は、長時間露光画像に基づいて画像中の低照度領域の階調が高められ、かつ短時間露光画像に基づいて画像中の高照度領域の階調が高められた画像となる。
　しかし、本発明に係る車載カメラシステムは、露光時間が互いに異なる３種類以上の露光画像に基づいて、ハイダイナミックレンジ画像を生成するものであってもよい。この場合、ハイダイナミックレンジ画像は、長時間露光画像に基づいて画像中の低照度領域の階調が高められ、かつ短時間露光画像に基づいて画像中の高照度領域の階調が高められ、さらに中時間露光画像（長時間露光画像よりも短い露光時間で、かつ短時間露光画像よりも長い露光時間で露光された画像）に基づいて画像中の中照度領域の階調が高められた画像となる。
　このように３種類以上の露光時間の露光画像でハイダイナミックレンジ画像を生成する場合、各露光画像に対するホワイトバランスの補正処理の適用については、以下のように適用することができる。
　すなわち、３種類以上の露光画像のうち特定の露光時間画像を含めた相対的に露光時間の長い２種類以上の露光画像を、本実施形態における長時間露光画像と同様に適用し、３種類以上の露光画像のうち上記特定の露光時間画像を含まない相対的に露光時間の短い１種類以上の露光画像を、本実施形態における短時間露光画像と同様に適用する。
　または、３種類以上の露光画像のうち特定の露光時間画像を含まない相対的に露光時間の長い１種類以上の露光画像を、本実施形態における長時間露光画像と同様に適用し、３種類以上の露光画像のうち上記特定の露光時間画像を含めた相対的に露光時間の短い２種類以上の露光画像を、本実施形態における短時間露光画像と同様に適用する。
　または、３種類以上の露光画像のうち特定の露光時間画像については、本実施形態における長時間露光画像及び短時間露光画像とは異なる補正処理を適用してもよい。
　具体的には、ホワイトバランス制御部４５が設定するパラメータに対応した上述のホワイトバランスの補正処理（Ａ）、（Ｂ）及び（Ｃ）を、一例として以下のように行うことができる。
　（Ａ）短時間露光画像に対するホワイトバランスの補正処理と、長時間露光画像に対するホワイトバランスの補正処理と、これら短時間露光画像及び長時間露光画像を除いた他の露光画像に対するホワイトバランスの補正処理とをそれぞれ、オートホワイトバランスの補正処理とする
　（Ｂ）短時間露光画像に対するホワイトバランスの補正処理を、予めパラメータが設定された固定のホワイトバランスの補正処理とし、長時間露光画像に対するホワイトバランスの補正処理を、オートホワイトバランス（ＡＷＢ）の補正処理とし、これら短時間露光画像及び長時間露光画像を除いた他の露光画像に対するホワイトバランスの補正処理を、予めパラメータが設定された固定のホワイトバランスの補正処理又はオートホワイトバランス（ＡＷＢ）の補正処理とする
　（Ｃ）短時間露光画像に対するホワイトバランスの補正処理と、長時間露光画像に対するホワイトバランスの補正処理と、これら短時間露光画像及び長時間露光画像を除いた他の露光画像に対するホワイトバランスの補正処理とを、予めパラメータが設定された固定のホワイトバランスの補正処理とする
関連出願の相互参照
　本出願は、２０１４年１１月１３日に日本国特許庁に出願された特願２０１４－２３０６０８に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。

Claims (5)

  1. 　車両に設けられた、少なくとも２種類の露光時間で撮影を行う車載カメラと、
    　前記少なくとも２種類の露光時間でそれぞれ撮影して得られた２種類以上の露光画像にホワイトバランスの補正処理を施すとともに、前記ホワイトバランスの補正処理がそれぞれ施された前記２種類以上の露光画像に基づいてハイダイナミックレンジ画像を生成する信号処理装置と、
    　前記車両が置かれている照明環境を取得し、取得された前記照明環境に応じて、前記信号処理装置による前記２種類以上の露光画像に対するホワイトバランスの補正処理を切り替える処理切替装置と、を備えた車載カメラシステム。
  2. 　前記信号処理装置は、前記ホワイトバランスの補正処理として、下記（Ａ）、（Ｂ）及び（Ｃ）の処理を備え、
    　前記処理切替装置は、前記車両が置かれている照明環境として、（１）日中屋外の照明環境、（２）夜間屋外の照明環境及び（３）単一光源の照明環境のうちいずれか１つに特定し、前記（１）を特定したときは前記信号処理装置を前記（Ａ）のホワイトバランスの補正処理に切り替え、前記（２）を特定したときは前記信号処理装置を前記（Ｂ）のホワイトバランスの補正処理に切り替え、前記（３）を特定したときは前記信号処理装置を前記（Ｃ）のホワイトバランスの補正処理に切り替える請求項１に記載の車載カメラシステム。
    （Ａ）前記２種類以上の露光画像のうち相対的に露光時間の短い短時間露光画像に対するホワイトバランスの補正処理と前記２種類以上の露光画像のうち相対的に露光時間の長い長時間露光画像に対するホワイトバランスの補正処理とをそれぞれ、オートホワイトバランスの補正処理とする
    （Ｂ）前記２種類以上の露光画像のうち相対的に露光時間の短い短時間露光画像に対するホワイトバランスの補正処理を、予めパラメータが設定された固定のホワイトバランスの補正処理とし、前記２種類以上の露光画像のうち相対的に露光時間の長い長時間露光画像に対するホワイトバランスの補正処理を、オートホワイトバランスの補正処理とする
    （Ｃ）前記２種類以上の露光画像のうち相対的に露光時間の短い短時間露光画像に対するホワイトバランスの補正処理と前記２種類以上の露光画像のうち相対的に露光時間の長い長時間露光画像に対するホワイトバランスの補正処理とを、予めパラメータが設定された固定のホワイトバランスの補正処理とする
  3. 　前記２種類以上の露光画像が、露光時間が互いに異なる３種類以上の露光画像であるときは、前記短時間露光画像及び前記長時間露光画像を除いた他の露光画像に対するホワイトバランスの補正処理として、前記（Ａ）のホワイトバランスの補正処理については、オートホワイトバランスの補正処理とし、前記（Ｂ）のホワイトバランスの補正処理については、予めパラメータが設定された固定のホワイトバランスの補正処理又はオートホワイトバランス（ＡＷＢ）の補正処理とし、前記（Ｃ）のホワイトバランスの補正処理については、予めパラメータが設定された固定のホワイトバランスの補正処理とする請求項２に記載の車載カメラシステム。
  4. 　前記処理切替装置は、前記車両の置かれている場所を表す場所情報と時刻を表す時刻情報とに基づいて、前記照明環境を取得する請求項１から３のうちいずれか１項に記載の車載カメラシステム。
  5. 　前記処理切替装置は、前記車両に備えられたナビゲーションシステムから出力された位置情報と地図情報とに基づいて前記場所情報を取得する請求項４に記載の車載カメラシステム。
PCT/JP2015/076861 2014-11-13 2015-09-24 車載カメラシステム Ceased WO2016076016A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/525,406 US10356376B2 (en) 2014-11-13 2015-09-24 Vehicle-mounted camera system
EP15859559.5A EP3220637B1 (en) 2014-11-13 2015-09-24 Vehicle-mounted camera system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-230608 2014-11-13
JP2014230608A JP6533050B2 (ja) 2014-11-13 2014-11-13 車載カメラシステム

Publications (1)

Publication Number Publication Date
WO2016076016A1 true WO2016076016A1 (ja) 2016-05-19

Family

ID=55954109

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/076861 Ceased WO2016076016A1 (ja) 2014-11-13 2015-09-24 車載カメラシステム

Country Status (4)

Country Link
US (1) US10356376B2 (ja)
EP (1) EP3220637B1 (ja)
JP (1) JP6533050B2 (ja)
WO (1) WO2016076016A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
JP7081835B2 (ja) * 2016-08-09 2022-06-07 コントラスト， インコーポレイテッド 車両制御のためのリアルタイムｈｄｒビデオ
JP6740866B2 (ja) 2016-11-07 2020-08-19 株式会社デンソー 画像出力装置
CN112204612B (zh) 2018-03-29 2024-10-18 罗伯特·博世有限公司 用于由车辆先验信息引导的基于视觉的车辆内部环境感测的方法和系统
EP3585047B1 (de) * 2018-06-20 2021-03-24 ZKW Group GmbH Verfahren und vorrichtung zur erstellung von hochkontrastbildern
TWI751717B (zh) 2020-09-22 2022-01-01 環鴻科技股份有限公司 提升影像辨識率的前處理方法及系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035120A (ja) * 2008-07-29 2010-02-12 Advas Co Ltd ビデオカメラ撮像装置
JP2012032992A (ja) * 2010-07-30 2012-02-16 Yazaki Corp ドライブレコーダ
JP2012049600A (ja) * 2010-08-24 2012-03-08 Seiko Epson Corp 画像処理装置、画像処理方法及び撮像装置
JP2013192057A (ja) * 2012-03-14 2013-09-26 Canon Inc 撮像装置、その制御方法、および制御プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5170069A (en) * 1986-05-21 1992-12-08 Canon Kabushiki Kaisha Image pickup apparatus
US5872433A (en) * 1986-05-21 1999-02-16 Canon Kabushiki Kaisha Image pickup apparatus including interruption means for causing recordation of an electrical image signal in response to operation of a second trigger before completion of a predetermined step by a first trigger
US6952233B2 (en) * 1992-07-23 2005-10-04 Canon Kabushiki Kaisha Video camera having a material element for controlling light transmission
JPH06205249A (ja) * 1992-10-22 1994-07-22 Konica Corp ビデオカメラ
JP2000050238A (ja) * 1998-07-27 2000-02-18 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP2003174619A (ja) * 2001-12-07 2003-06-20 Konica Corp 電子機器
JP2003189315A (ja) 2001-12-18 2003-07-04 Hitachi Ltd 撮像装置
US7599550B1 (en) * 2003-11-21 2009-10-06 Arecont Vision Llc Method for accurate real-time compensation for changing illumination spectra in digital video cameras
JP4424088B2 (ja) * 2004-06-25 2010-03-03 株式会社日立製作所 撮像装置
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
FR2899696B1 (fr) * 2006-04-06 2008-06-20 Dxo Labs Sa Procede de traitement d'un phenomene d'eclairement relatif sur une image numerique et systeme de traitement associe
JP5181294B2 (ja) * 2008-03-31 2013-04-10 富士フイルム株式会社 撮像システム、撮像方法、およびプログラム
JP5375457B2 (ja) * 2008-09-03 2013-12-25 株式会社リコー 撮像装置及び撮像方法
JP5366584B2 (ja) * 2009-02-16 2013-12-11 キヤノン株式会社 撮像装置、画像処理方法およびプログラム
US9085261B2 (en) * 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
US8947555B2 (en) 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
US9654738B1 (en) * 2013-08-07 2017-05-16 Waymo Llc Using multiple exposures to improve image processing for autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035120A (ja) * 2008-07-29 2010-02-12 Advas Co Ltd ビデオカメラ撮像装置
JP2012032992A (ja) * 2010-07-30 2012-02-16 Yazaki Corp ドライブレコーダ
JP2012049600A (ja) * 2010-08-24 2012-03-08 Seiko Epson Corp 画像処理装置、画像処理方法及び撮像装置
JP2013192057A (ja) * 2012-03-14 2013-09-26 Canon Inc 撮像装置、その制御方法、および制御プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3220637A4 *
VUONG, QUOC KIEN ET AL.: "A New Auto Exposure and Auto White-Balance Algorithm to Detect High Dynamic Range Conditions Using CMOS Technology", PROCEEDINGS OF THE WORLD CONGRESS ON ENGINEERING AND COMPUTER SCIENCE 2008 WCECS 2008, October 2008 (2008-10-01), XP055441130, ISBN: 978-988-98671-0-2, Retrieved from the Internet <URL:http://www.iaeng.org/publication/WCECS2008/WCECS2008_pp1204-1208.pdf> *

Also Published As

Publication number Publication date
US20170339385A1 (en) 2017-11-23
EP3220637B1 (en) 2020-09-02
JP6533050B2 (ja) 2019-06-19
JP2016096417A (ja) 2016-05-26
US10356376B2 (en) 2019-07-16
EP3220637A4 (en) 2018-05-23
EP3220637A1 (en) 2017-09-20

Similar Documents

Publication Publication Date Title
JP6026670B2 (ja) 車両灯体制御装置
JP6533050B2 (ja) 車載カメラシステム
JP6325000B2 (ja) 車載画像認識装置
CN104937637B (zh) 用于识别交通标志牌的车辆用影像识别系统
CN107709096B (zh) 用于处理流式传输视频图像以校正经调幅光的闪变的系统和方法
US12167141B2 (en) Imaging system including difference image generator that generates difference images
CN112776706A (zh) 一种车辆大灯控制方法和装置
WO2016093117A1 (ja) 表示システム及び表示装置
JP6478138B2 (ja) 画像処理装置、撮像装置、画像処理プログラム、画像処理方法
JP5712821B2 (ja) 撮影表示制御システム
CN105745670B (zh) 用于为机动车辆形成夜间影像的系统和方法
CN112565618B (zh) 曝光控制装置
CN113126252B (zh) 微光成像系统
JP4782491B2 (ja) 撮像装置
JP2013009041A (ja) 車両用撮影表示制御システム
GB2586802A (en) System and method for identifying light emitter flicker
JP6866212B2 (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム
JP7784456B2 (ja) 赤外画像のための背景光減算
US12200369B2 (en) Method and system for mitigating image flicker from strobed lighting systems
JP7176208B2 (ja) システムおよび撮像装置
WO2019003361A1 (ja) 撮像システム及び撮像装置
WO2024202557A1 (ja) 映像記録制御装置および映像記録方法
JP2021044667A (ja) 露光制御装置
GB2586804A (en) Method and system for mitigating image flicker from strobed lighting systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15859559

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015859559

Country of ref document: EP