WO2015016461A2 - 교통표지판 인식을 위한 차량용 영상인식시스템 - Google Patents

교통표지판 인식을 위한 차량용 영상인식시스템 Download PDF

Info

Publication number
WO2015016461A2
WO2015016461A2 PCT/KR2014/003902 KR2014003902W WO2015016461A2 WO 2015016461 A2 WO2015016461 A2 WO 2015016461A2 KR 2014003902 W KR2014003902 W KR 2014003902W WO 2015016461 A2 WO2015016461 A2 WO 2015016461A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
gain
frame
control frame
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2014/003902
Other languages
English (en)
French (fr)
Other versions
WO2015016461A3 (ko
Inventor
박광일
임상묵
김진혁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLK Technologies Co Ltd
Original Assignee
PLK Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLK Technologies Co Ltd filed Critical PLK Technologies Co Ltd
Priority to US14/765,004 priority Critical patent/US9639764B2/en
Priority to CN201480005780.7A priority patent/CN104937637B/zh
Priority to EP14831532.8A priority patent/EP3029632A4/en
Publication of WO2015016461A2 publication Critical patent/WO2015016461A2/ko
Publication of WO2015016461A3 publication Critical patent/WO2015016461A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Definitions

  • the present invention relates to an ADAS image recognition technology for automobiles, and more particularly, to an ADAS image recognition system for recognizing a traffic sign installed on a road while driving.
  • ADAS Advanced Driver Assistance System
  • ADAS image recognition device is a device that recognizes the information (lanes, other vehicles, light sources, pedestrians, traffic signs) on the road using image recognition technology.
  • Traffic signs have traditionally been used by drawing standardized symbols of specific shapes on round or triangular plates, and have developed traffic sign recognition devices that recognize these signs and symbols with image processing techniques. Efforts have been made to improve the driving stability and convenience by informing the driving environment.
  • LEDs are applied to traffic signs mainly in Europe, and have been partially introduced in Korea.
  • the light-emitting signs are less affected by the ambient light, and can display the contents of the signs variably or change the brightness, so that they are applied to improve visibility at night and to change the speed limit according to traffic volume and weather.
  • the ADAS image recognition device processes the image input in the digital form through the camera using a numerical analysis technique, the performance of the ADAS image recognition device may be greatly influenced by the characteristics of the input image.
  • the present invention provides a vehicle image recognition system for traffic sign recognition for improving the recognition performance of the traffic sign.
  • the present invention also provides an image recognition system for a vehicle for traffic sign recognition for improving the recognition performance of the reflective traffic sign and the light emitting traffic sign by adjusting the exposure time of the camera.
  • the present invention provides a vehicle image recognition system for recognizing a traffic sign for improving the recognition performance of the reflective traffic sign and the light emitting traffic sign by adjusting the amplification ratio of the video signal.
  • the present invention provides a vehicle image recognition system for traffic sign recognition for improving the recognition performance of the reflective traffic sign and the light emitting traffic sign by adjusting the exposure time of the camera and the amplification ratio of the image signal at the same time.
  • the vehicle image recognition system for recognizing a traffic sign adjusts an exposure time of a camera lens or a gain of an image output from an image sensor to form at least one image having a plurality of frames having different exposure time and the gain.
  • a group may be generated, and the image that is closest to a predetermined setting value may be selected by comparing the sign area in the plurality of frames.
  • At least one frame of the plurality of frames is an automatic exposure control frame in which the brightness of the entire screen or the ROI in the screen is kept constant.
  • the auto exposure control frame may be obtained by fixing the exposure time of the camera lens and adjusting the gain of the image.
  • the auto exposure control frame may be obtained by fixing the gain of the image and adjusting the exposure time of the camera lens.
  • the auto exposure control frame can be obtained by adjusting the exposure time of the camera lens and the gain of the image.
  • At least one of the plurality of frames is an overexposure control frame that maintains the brightness of the image brighter than the autoexposure control frame.
  • the overexposure control frame can be obtained by keeping the exposure time of the camera lens the same as that of the autoexposure control frame and increasing the gain of the image.
  • the overexposure control frame can be obtained by maintaining the gain of the image equal to that of the autoexposure control frame and extending the exposure time of the camera lens.
  • the overexposure control frame can be obtained by making the gain of the image and the exposure time of the camera lens higher than those of the autoexposure control frame.
  • the overexposure control frame may be obtained by making the product of the gain of the image and the exposure time of the camera lens higher than their product of the autoexposure control frame.
  • At least one of the plurality of frames is a low exposure control frame in which the brightness of the image is kept darker than the automatic exposure control frame.
  • the low exposure control frame may be obtained by keeping the exposure time of the camera lens the same as that of the automatic exposure control frame and lowering the gain of the image.
  • the low exposure control frame can be obtained by keeping the gain of the image equal to that of the automatic exposure control frame and shortening the exposure time of the camera lens.
  • the low exposure control frame can be obtained by making the gain of the image and the exposure time of the camera lens lower than those of the auto exposure control frame.
  • the low exposure control frame may be obtained by making the product of the gain of the image and the exposure time of the camera lens lower than their product of the auto exposure control frame.
  • At least one of the plurality of frames is a fixed exposure frame in which the exposure time of the camera lens and the gain of the image are kept constant.
  • At least one of the plurality of frames is a frame in which the gain of the image is controlled such that the average brightness of the ROI is equal to a set reference value while maintaining the exposure time of the camera lens.
  • the brightness of the input image is equal to or greater than the brightness of the automatic exposure control frame by comparing the brightness of the automatic exposure control frame with the brightness of the input image, a plurality of frames forming the image group
  • the exposure time or the gain may be changed and applied to at least one frame.
  • the headlamp signal when the headlamp signal is OFF by using the headlamp signal of the vehicle, it is determined as the daytime condition, and when the headlamp signal is ON, it is determined as the night condition, and at least one frame of the plurality of frames forming one group is determined. Can be applied by changing parameter settings.
  • the traffic sign recognition method comprises the steps of: obtaining an image group comprising a plurality of frames; Searching for a band having a predetermined color and a predetermined shape in the automatic exposure control frame among the plurality of frames; Comparing the brightness of the bands present in a plurality of frames in the image group when the bands having the predetermined color and the predetermined shape exist; Selecting a frame including a band closest to a set reference value among the bands existing in the plurality of frames; And recognizing a sign by image processing the selected frame.
  • the vehicle image recognition system for recognizing a traffic sign by adjusting the exposure time of the camera lens or the gain of the image output from the image sensor at least one image forming a frame different from the exposure time and the gain
  • a central control unit for creating a group A central control unit for creating a group;
  • a first storage unit configured to set the exposure time and the gain to one parameter set and store the plurality of parameter sets;
  • the recognition performance of the reflective traffic sign and the light-emitting traffic sign by adjusting the exposure time of the camera, the recognition performance of the reflective traffic sign and the light-emitting traffic sign by adjusting the amplification ratio of the image signal
  • the recognition time of the reflective traffic sign and the light emitting sign can be improved by controlling the exposure time of the camera and the amplification ratio of the image signal at the same time.
  • FIG. 1 is a schematic diagram in which pure light is incident on a camera of an image recognition device
  • FIG. 2 is a schematic diagram in which backlight is incident on a camera of an image recognition device
  • 3 is a conceptual diagram of image generation of a digital camera
  • FIG. 4 is a photograph showing a region of interest on a road in a video screen
  • FIG. 5 is a block diagram of an image recognition device according to an embodiment of the present invention.
  • FIG. 6 is a conceptual diagram of generating a plurality of images according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating frame selection according to an embodiment of the present invention.
  • the luminous signs are treated too brightly, and if you control the camera to recognize reflective traffic signs in the bright light, the luminous signs are too bright. It is darkened.
  • the characteristics appearing on the screen vary according to the ambient light.
  • the comparison between the case of the light source and the backlight is as follows.
  • Backlight refers to the case where the light of the light source is directly incident on the camera
  • pure light refers to the case where the light of the light source is not directly incident on the camera
  • the road is a reflection of most of the light of the light source is incident, while the plate-shaped sign is a part of the scattered light of the light source is reflected on the sign to enter the camera Because it appears relatively dark compared to the surroundings.
  • FIG. 3 is a conceptual diagram of image generation of a digital camera, in which the image sensors of the camera are arranged in an array in the form of photo sensors, and when light is incident, electric charges are generated by photoelectric effect (S310).
  • the charge is accumulated to accumulate charges (S320), amplify again (S330), and generate an image including brightness corresponding to each pixel (S340).
  • the brightness of the image is determined by the time of exposure to light and the amplification ratio of the signal to accumulate charge.
  • the camera of the image recognition apparatus adjusts the exposure and amplification ratios so that the average brightness of the entire screen or the region of interest (ROI) is kept constant.
  • This is called auto-exposure control. . That is, the relation of Equation 1 is established between the target brightness of the screen, the luminance of interest area, the exposure, and the gain.
  • the brightness of the screen it is possible to control the brightness of the screen to be constant by simultaneously adjusting the exposure, the gain, or the exposure and the gain in response to the luminance of the ROI.
  • the present invention has been made in view of these points.
  • FIG. 5 is a block diagram of an image recognition apparatus according to an exemplary embodiment of the present invention, which includes a camera unit 510 and an image processing unit 520.
  • the camera unit 510 includes a lens 511, an image sensor 513, a lens fixing part 515 fixing the lens and the image sensor, an operation control memory 517, and a first power supply unit supplying power to the image sensor. City).
  • the operation control memory 517 stores setting parameters (exposure time, gain) for operating the camera for each image frame.
  • the image processing unit 520 assigns the setting parameter for each frame to the operation control memory 517 at predetermined time intervals, and the CPU 521 processing the image output from the image sensor 513 and the original image data.
  • FIG. 6 is a conceptual diagram of generating a plurality of images according to an embodiment of the present invention, and may repeatedly generate a plurality of image frames in which elements for adjusting a target brightness of a screen are differently set by the camera unit 510 of the image recognition apparatus. have.
  • the image recognition system may form four frames (frames 0 to 3) into one group and periodically generate four frames. That is, images of different characteristics are photographed at the same time, each image is analyzed to select an image suitable for sign recognition, and sign information is recognized by analyzing sign regions of the corresponding image.
  • the image recognition system applies an automatic exposure control method in the frame 0 with the road area or the entire screen as the ROI.
  • the exposure time of the camera lens and the gain of the image in the frame 0 are stored in the operation control memory 517 and provided as a reference value for adjusting the brightness of another frame.
  • Frame 0 can be used to recognize signs in extreme backlighting or extreme backlighting.
  • the image recognition system may maintain the brightness of the entire screen or the ROI by fixing the exposure time of the camera lens and adjusting the gain of the image.
  • the image recognition system may maintain the brightness of the entire screen or the ROI by fixing the gain of the image and adjusting the exposure time of the camera lens.
  • the image recognition system may maintain the brightness of the entire screen or the ROI by adjusting the exposure time of the camera lens and the gain of the image.
  • the extreme backlight refers to the case where the sun is located at the front of the camera and the back of the sign
  • the extreme backlight refers to the case where the sun is located at the back of the camera and the front of the sign.
  • Equation 1 the reason why the recognition of the sign is difficult will be described with reference to Equation 1 as follows.
  • the CPU 521 of the image processor 520 is configured to adjust the camera lens according to the automatic exposure control function. Reduce the exposure and gain of the image.
  • the backlight (Luminance) is reduced due to the backlight, the brightness (Brightness) of the sign is reduced, the situation is impossible to recognize.
  • the exposure time of the camera lens corresponding to the frame 1 and the gain of the image are stored in the operation control memory 517, and the CPU 521 in the image processor 520 may store the frame 1.
  • a parameter exposure time and / or gain
  • the overexposure control method which adjusts the brightness of the screen on the screen brighter than that of frame 0 (automatic exposure control)
  • the overexposure control method which adjusts the brightness of the screen on the screen brighter than that of frame 0 (automatic exposure control)
  • Frame 1 the other part is saturated, but the sign part is bright so that the sign can be recognized.
  • the exposure time of the camera lens is set to be longer than that of frame 0, and the gain of the image is set equal to that of frame 0. Can be stored.
  • the gain of the image is a certain ratio higher than that of frame 0, and the exposure time of the camera lens is the same as that of frame 0. Can be set and stored.
  • the exposure time of the camera lens and the gain of the image are respectively higher than those of the frame 0 by a predetermined value. Can be set and stored.
  • the motion control memory 517 in the image recognition system may have a product of the exposure time of the camera lens and the gain of the image higher than their product in frame 0. Can be set and stored.
  • the reason for the difficulty of recognizing the sign with reference to equation (1) is as follows. If the luminance of the ROI decreases due to bright light while the target brightness of the screen is kept constant, the image processor 520 may adjust the target brightness of the screen according to the automatic exposure control function. The exposure time of the camera lens and the gain of the image are increased to remain constant. On the other hand, since the brightness (Luminance) of the sign due to the pure light increases, the brightness (Brightness) of the sign is increased to saturate, the situation is impossible to recognize.
  • the CPU 521 in the image processing unit 520 applies a parameter to which a low exposure control method is applied in which the brightness of the screen is darker than that of frame 0 (automatic exposure control) in frame 2 ( Exposure time and / or gain) set values are read from the operation control memory 517 to process an image.
  • frame 2 Exposure time and / or gain
  • the exposure time of the camera lens is shorter than that of frame 0, and the gain of the image is equal to that of frame 0. The same can be set and stored.
  • the gain of the image is lower by a predetermined value than that of frame 0, and the exposure time of the camera lens is frame 0. Can be set and stored the same as that of.
  • the exposure time of the camera lens and the gain of the image are each lower by a predetermined value than those of the frame 0, respectively. Can be set and stored.
  • the product of the exposure time of the camera lens and the gain of the image is lower than their product in frame 0. Can be set and stored.
  • the CPU 521 in the image processor 520 may obtain the exposure time of the camera lens and the gain of the image regardless of the brightness of the entire screen or the ROI in the frame 3. ) Is set by reading a parameter (exposure time and / or gain) set value to which a constant exposure control method is kept constant from the operation control memory 517 to process an image.
  • the exposure control (exposure) of the camera lens and the gain of the image may be fixedly set to a predetermined value and stored in the operation control memory 517 in the image recognition system in response to the frame 3. have.
  • the light-emitting signs maintain a constant brightness regardless of the brightness of the surroundings, so the frame is more than frame 0 according to the automatic exposure control method that controls the exposure time of the camera lens or the gain of the image differently according to the surrounding brightness. 3 is easy to recognize.
  • At least one of the plurality of frames forming one group may be a frame whose gain is controlled such that the average brightness of the road area is equal to a predetermined reference brightness while maintaining a constant exposure time of the camera lens. Can be.
  • the parameter setting of at least one frame among a plurality of frames forming one group may be changed and applied.
  • the headlamp signal when the headlamp signal is OFF by using the headlamp signal of the vehicle, it is determined as a day condition, and when the headlamp signal is ON, it is determined as a night condition, a plurality of groups forming one group The parameter setting of at least one frame among the frames may be changed and applied.
  • the image processing controller of the camera may periodically generate at least two or more frames of frames 0 to 3 as a group. For example, when driving on a highway in a backlit state, the image processing controller of the camera may periodically generate frame 0, frame 1, and frame 3. Alternatively, when driving on the highway in the state of pure light, the image processing controller of the camera may periodically generate the frame 0, the frame 2, and the frame 3. Alternatively, when driving on a road at night, the image processing controller of the camera may generate the frame 0 and the frame 3 periodically.
  • FIG. 7 is a flowchart illustrating frame selection according to an embodiment of the present invention.
  • a red circular band is searched for in frame 0 (automatic exposure control frame) (S720), and if a red circular band exists (S730). ), The brightness of the circular bands existing in the frames in the group is compared (S740), a frame including the circular band closest to the set reference value is selected (S750), the selected frame is image-processed, and the sign is recognized (S760). Then, it ends (S770).
  • traffic signs are not limited to this color and shape.
  • it may be rectangular or triangular, and may be blue or green.
  • the technology for detecting a traffic sign having such a color and shape is obvious to those skilled in the art of image processing, and thus a detailed description thereof will be omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 교통표지판의 인식 성능을 향상시키고, 카메라의 노출시간을 조절하여 반사형 교통표지판과 발광형 교통표지판의 인식 성능을 향상시키고, 영상신호의 게인을 조절하여 반사형 교통표지판과 발광형 교통표지판의 인식 성능을 향상시키고, 카메라의 노출시간과 영상신호의 게인을 동시에 조절하여 반사형 교통표지판과 발광형 교통표지판의 인식 성능을 향상시킬 수 있다. 본 발명에 따른 교통표지판 인식을 위한 차량용 영상인식시스템은 카메라 렌즈의 노출 시간 또는 이미지 센서로부터 출력되는 영상의 게인을 조절하여 상기 노출 시간과 상기 게인이 서로 다른 복수의 프레임을 형성하는 적어도 하나의 영상 그룹을 생성하고, 상기 복수의 프레임 내 표지판 영역을 비교하여 소정의 설정값과 가장 가까운 영상을 선택할 수 있다.

Description

교통표지판 인식을 위한 차량용 영상인식시스템
본 발명은 자동차용 ADAS 영상 인식 기술에 관한 것으로, 더욱 상세하게는 자동차에 장착되어 도로에 설치된 교통표지판을 주행 중에 인식하는 ADAS 영상 인식 시스템에 관한 것이다.
ADAS(Advanced Driver Assistance System)는 차량의 주행 중 주변환경을 인지할 수 있는 센서와 차량의 주행상황을 판단하고 차량의 거동을 결정할 수 있는 제어장치들을 포함하여 운전자의 편의 및 안전을 증진하는 기술을 통칭한다. ADAS 영상인식장치는 영상인식기술을 이용하여 주행중인 도로의 정보(차선, 다른 차량, 광원, 보행자, 교통표지판)를 인지하는 장치이다.
교통표지판은 전통적으로 원형 또는 삼각형 형태의 판재에 특정 형태의 표준화된 기호를 그려서 사용되었으며, 이와 같은 교통표지판의 형태와 기호를 영상처리기법으로 인지하는 교통표지판 인식장치를 개발하여 운전자에게 현재 도로에서의 주행환경을 알려주어 주행안정성과 편의성을 향상시키고자 하는 노력이 이루어졌다.
최근, 유럽을 중심으로 교통표지판에 LED를 적용하고 있으며, 국내에서도 부분적으로 도입되고 있다. 발광형 표지판은 주변 조도의 영향을 적게 받고, 표지판의 내용을 가변적으로 표시하거나, 휘도를 변경할 수 있기 때문에, 야간의 시인성 향상과, 교통량, 날씨에 따른 제한속도 변경을 위해 적용되고 있다.
ADAS 영상인식장치는 카메라를 통하여 디지털 형태로 입력된 영상에 대하여 수치해석기법을 이용하여 처리하기 때문에 입력되는 영상의 특성에 따라 그 성능이 크게 좌우될 수 있다.
반사형 교통표지판의 경우, 주간에는 주로 태양광이, 야간에는 가로등, 자차량 및 타차량의 전조등이 교통표지판에 반사되어 ADAS 영상인식장치의 카메라로 입사(入射)되어 디지털 영상으로 변환되는 과정을 거치기 때문에 주변 광원의 밝기나, 방향에 크게 영향을 받는다. 한편, 발광형 표지판의 경우, 다른 광원과 관계없이 자체 광원에서 발생하는 빛이 영상인식장치의 카메라에 입사되기 때문에 주변 광원의 영향을 받지 않는다. 이와 같은 특성의 차이로 인해 동일한 카메라에서 두 가지 교통표지판이 인식 가능하도록 촬영하는 것은 쉽지 않다.
즉, 무인 주행이 가능한 지능형 자동차 시스템을 실현하기 위하여 교통 표지판 검출 내지 인식 기술에 개발되고 있으나, 아직까지 이들 문헌들에는 반사형 교통표지판과 발광형 교통표지판을 모두 잘 인식할 수 있도록 제어하는 기술이 제시되지 않고 있다.
본 발명은 교통표지판의 인식 성능을 향상시키기 위한 교통표지판 인식을 위한 차량용 영상인식시스템을 제공한다.
또한, 본 발명은 카메라의 노출시간을 조절하여 반사형 교통표지판과 발광형 교통표지판의 인식 성능을 향상시키기 위한 교통표지판 인식을 위한 차량용 영상인식시스템을 제공한다.
또한, 본 발명은 영상신호의 증폭비를 조절하여 반사형 교통표지판과 발광형 교통표지판의 인식 성능을 향상시키기 위한 교통표지판 인식을 위한 차량용 영상인식시스템을 제공한다.
또한, 본 발명은 카메라의 노출시간과 영상신호의 증폭비를 동시에 조절하여 반사형 교통표지판과 발광형 교통표지판의 인식 성능을 향상시키기 위한 교통표지판 인식을 위한 차량용 영상인식시스템을 제공한다.
본 발명에 따른 교통표지판 인식을 위한 차량용 영상인식시스템은 카메라 렌즈의 노출 시간 또는 이미지 센서로부터 출력되는 영상의 게인을 조절하여 상기 노출 시간과 상기 게인이 서로 다른 복수의 프레임을 형성하는 적어도 하나의 영상 그룹을 생성하고, 상기 복수의 프레임 내 표지판 영역을 비교하여 소정의 설정값과 가장 가까운 영상을 선택할 수 있다.
바람직하게는, 상기 복수의 프레임 중 적어도 하나의 프레임은 화면 전체 또는 상기 화면 내 관심 영역의 밝기가 일정하게 유지되는 자동노출제어 프레임이다.
바람직하게는, 상기 자동노출제어 프레임은 상기 카메라 렌즈의 노출 시간을 고정하고, 상기 영상의 게인을 조절하여 획득될 수 있다.
바람직하게는, 상기 자동노출제어 프레임은 상기 영상의 게인을 고정하고, 상기 카메라 렌즈의 노출 시간을 조절하여 획득될 수 있다.
바람직하게는, 상기 자동노출제어 프레임은 카메라 렌즈의 노출 시간과 영상의 게인을 조절하여 획득될 수 있다.
바람직하게는, 상기 복수의 프레임 중 적어도 하나의 프레임은 상기 자동노출제어 프레임보다 상기 영상의 밝기가 밝도록 유지되는 과노출제어 프레임이다.
바람직하게는, 상기 과노출제어 프레임은 상기 카메라 렌즈의 노출 시간을 상기 자동노출제어 프레임의 그것과 동일하게 유지하고, 상기 영상의 게인을 높여 획득될 수 있다.
바람직하게는, 상기 과노출제어 프레임은 상기 영상의 게인을 상기 자동노출제어 프레임의 그것과 동일하게 유지하고, 상기 카메라 렌즈의 노출 시간을 연장시켜 획득될 수 있다.
바람직하게는, 상기 과노출제어 프레임은 상기 영상의 게인과 상기 카메라 렌즈의 노출 시간을 상기 자동노출제어 프레임의 그것들보다 높게 하여 획득될 수 있다.
바람직하게는, 상기 과노출제어 프레임은 상기 영상의 게인과 상기 카메라 렌즈의 노출 시간의 곱을 상기 자동노출제어 프레임의 그것들의 곱보다 높게 하여 획득될 수 있다.
바람직하게는, 상기 복수의 프레임 중 적어도 하나의 프레임은 상기 자동노출제어 프레임보다 상기 영상의 밝기가 어둡도록 유지되는 저노출제어 프레임이다.
바람직하게는, 상기 저노출제어 프레임은 상기 카메라 렌즈의 노출 시간을 상기 자동노출제어 프레임의 그것과 동일하게 유지하고, 상기 영상의 게인을 낮춰 획득될 수 있다.
바람직하게는, 상기 저노출제어 프레임은 상기 영상의 게인을 상기 자동노출제어 프레임의 그것과 동일하게 유지하고, 상기 카메라 렌즈의 노출 시간을 단축시켜 획득될 수 있다.
바람직하게는, 상기 저노출제어 프레임은 상기 영상의 게인과 상기 카메라 렌즈의 노출 시간을 상기 자동노출제어 프레임의 그것들보다 낮게 하여 획득될 수 있다.
바람직하게는, 상기 저노출제어 프레임은 상기 영상의 게인과 상기 카메라 렌즈의 노출 시간의 곱을 상기 자동노출제어 프레임의 그것들의 곱보다 낮게 하여 획득될 수 있다.
바람직하게는, 상기 복수의 프레임 중 적어도 하나의 프레임은 상기 카메라 렌즈의 노출 시간과 상기 영상의 게인이 일정하게 유지되는 고정노출 프레임이다.
바람직하게는, 상기 복수의 프레임 중 적어도 하나의 프레임은 상기 카메라 렌즈의 노출 시간을 일정하게 유지하면서 관심 영역의 평균 밝기가 설정된 기준값과 동일하도록 상기 영상의 게인이 제어되는 프레임이다.
바람직하게는, 상기 자동노출제어 프레임의 밝기와 입력되는 영상의 밝기를 비교하여 상기 입력되는 영상의 밝기가 상기 자동노출제어 프레임의 밝기 이상이면 주간으로 판단하고, 상기 영상 그룹을 형성하는 복수의 프레임 중 적어도 하나의 프레임에 대하여 상기 노출 시간 또는 상기 게인을 변경하여 적용할 수 있다.
바람직하게는, 차량의 헤드램프 신호를 이용하여 헤드램프 신호가 OFF이면 주간 조건으로 판단하고, 헤드램프 신호가 ON이면 야간 조건으로 판단하여, 1 그룹을 형성하는 복수의 프레임 중 적어도 하나의 프레임의 파라미터 설정을 변경하여 적용할 수 있다.
또한, 본 발명에 따른 교통표지판 인식 방법은, 복수의 프레임을 포함하는 영상 그룹을 획득하는 단계; 상기 복수의 프레임 중 자동노출제어 프레임에서 소정 색상과 소정 형태를 가진 띠를 검색하는 단계; 상기 소정 색상과 소정 형태를 가진 띠가 존재하면, 상기 영상 그룹 내 복수의 프레임에 존재하는 상기 띠의 밝기를 비교하는 단계; 상기 복수의 프레임에 존재하는 띠 중 설정된 기준값에 가장 가까운 띠를 포함하는 프레임을 선택하는 단계; 및 선택된 상기 프레임을 영상처리하여 표지판을 인식하는 단계를 포함한다.
또한, 본 발명에 따른 교통표지판 인식을 위한 차량용 영상인식시스템은 카메라 렌즈의 노출 시간 또는 이미지 센서로부터 출력되는 영상의 게인을 조절하여 상기 노출 시간과 상기 게인이 서로 다른 프레임을 형성하는 적어도 하나의 영상 그룹을 생성하는 중앙 제어부; 상기 노출 시간과 상기 게인이 하나의 파라미터 세트로 설정되고, 상기 파라미터 세트가 복수개 저장되는 제1 저장부; 및 상기 서로 다른 적어도 2 이상의 영상 프레임이 저장되는 제2 저장부를 포함한다.
본 발명에 따르면, 카메라의 노출시간을 조절하여 반사형 교통표지판과 발광형 교통표지판의 인식 성능을 향상시킬 수 있고, 영상신호의 증폭비를 조절하여 반사형 교통표지판과 발광형 교통표지판의 인식 성능을 향상시킬 수 있고, 카메라의 노출시간과 영상신호의 증폭비를 동시에 조절하여 반사형 교통표지판과 발광형 교통표지판의 인식 성능을 향상시킬 수 있다.
도 1은 영상인식장치의 카메라에 순광이 입사되는 모식도,
도 2는 영상인식장치의 카메라에 역광이 입사되는 모식도,
도 3은 디지털 카메라의 영상 생성 개념도,
도 4는 영상화면 속의 도로상 관심영역 표시사진,
도 5는 본 발명의 일실시예에 따른 영상인식장치 블럭도,
도 6은 본 발명의 일실시예에 따른 복수 영상 생성 개념도, 및
도 7은 본 발명의 일실시예에 따른 프레임 선택 흐름도이다.
이하, 본 발명의 바람직한 실시예(들)에 대하여 첨부도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호로 표기되었음에 유의하여야 한다. 또한, 하기의 설명에서는 많은 특정사항들이 도시되어 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
어두운 곳에서 반사형 교통표지판을 잘 인식할 수 있도록 카메라를 제어하면, 발광형 표지판은 너무 밝게 처리되고, 밝은 곳에서 반사형 교통표지판을 잘 인식할 수 있도록 카메라를 제어하면, 발광형 표지판은 너무 어둡게 처리된다.
반사형 표지판의 경우, 주변 조도에 따라 화면에 나타나는 특성이 달라지는데 광원이 순광인 경우와 역광인 경우를 비교하면 다음과 같다.
역광은 광원의 빛이 카메라에 직접 입사되는 경우를 의미하고, 순광은 광원의 빛이 카메라에 직접 입사되지 않는 경우를 의미한다.
도 1은 영상인식장치의 카메라에 순광이 입사되는 경우로, 도로는 광원의 빛 중 일부 산란되는 빛만이 카메라에 입사되는 반면, 판 형태의 표지판은 대부분의 빛이 반사되어 카메라에 입사되기 때문에 표지판은 주변에 비해 상대적으로 밝게 나타난다.
도 2는 영상인식장치의 카메라에 역광이 입사되는 경우로, 도로는 광원의 빛 중 대부분이 반사되어 입사되는 반면, 판 형태의 표지판은 광원의 산란된 빛 중 일부가 표지판에 반사되어 카메라에 입사되기 때문에 주변에 비해 상대적으로 어둡게 나타난다.
도 3은 디지털 카메라의 영상 생성 개념도로서, 카메라의 이미지 센서는 픽셀 단위의 광센서들이 어레이 형태로 배열되어 있으며, 빛이 입사되면 광전효과에 의해 전하가 발생하며(S310), 이를 소정 시간 동안 빛에 노출하여 전하를 축적하고(S320), 다시 증폭하고(S330), 각 픽셀에 해당하는 밝기로 구성된 영상을 생성한다(S340). 여기서, 전하를 축적하기 위하여 빛에 노출하는 시간과 신호의 증폭비에 의해 영상의 밝기가 결정된다.
한편, 영상이 과도하게 밝은 경우, 차선 등 인식하고자 하는 형상이 포화되어 인식이 불가능하고, 영상이 과도하게 어두운 경우, 차량 등 인식하고자 하는 형상이 배경이 묻히게 되어 역시 인식이 어렵다. 따라서, 영상 인식 성능을 향상시키기 위해서는 화면의 밝기를 적절하게 유지하는 것이 필요하다.
그리고, 영상인식장치의 카메라에서는 화면의 전체 또는 관심영역(ROI, Region of Interest)의 평균 밝기가 일정하게 유지되도록 노출과 증폭비를 조절하는바, 이를 자동노출제어(auto-exposure control)이라고 한다. 즉, 화면의 목표 밝기(Brightness)와 관심영역 휘도(Inminance), 노출(exposure), 그리고 게인(gain) 간에는 수학식1의 관계가 성립한다.
수학식 1
Figure PCTKR2014003902-appb-M000001
즉, 관심영역의 휘도에 대응하여, 노출, 게인 또는 노출과 게인을 동시에 조정하여 화면의 밝기가 일정하게 유지되도록 제어하는 것이 가능하다.
그런데, 도 4의 영상화면 속의 도로상 관심영역 표시사진에 보이는 바와 같이, 영상인식장치의 카메라에서 도로는 항상 보여 예측가능하기 때문에 관심영역으로 지정하여 영상인식장치의 카메라를 자동노출제어하는 것이 가능하나(420), 교통표지판의 경우, 주행 시 잠깐 나타났다가 사라지기 때문에 교통표지판을 관심영역으로 지정하여 영상인식장치의 카메라를 자동노출제어하는 것이 불가능하다(410).
따라서, 반사형 표지판은 태양의 방향에 따라 도로와 다른 반사 특성을 갖기 때문에 반사형 표지판을 영상인식장치의 카메라로 촬영하는 경우, 카메라로 촬영한 영상에서 반사형 표지판을 인식하기가 어려울 가능성이 높다.
본 발명은 이러한 점들을 고려하여 안출된 것이다.
도 5는 본 발명의 일실시예에 따른 영상인식장치 블럭도로서, 카메라부(510)와 영상처리부(520)를 포함한다.
카메라부(510)는 렌즈(511), 이미지센서(513), 렌즈와 이미지센서를 고정하는 렌즈고정부(515), 동작 제어 메모리(517), 이미지센서에 전원을 공급하는 제1 전원부(미도시)를 포함한다.
동작 제어 메모리(517)는 영상 프레임별로 카메라의 동작을 위한 설정 파라미터(노출시간, 게인)를 저장한다.
영상처리부(520)는 해당 프레임별 설정 파라미터를 소정 시간 간격으로 동작 제어 메모리(517)에 지정하고, 이미지센서(513)로부터 출력되는 영상을 처리하는 CPU(521), 원래의 영상 데이터와 처리 중인 영상 데이터를 저장하는 휘발성 메모리(523), 비휘발성 메모리(525), 자동차의 다른 전자 장치와 신호를 송수신하기 위한 인터페이스부(527), 및 각부에 전원을 공급하는 전원공급부(미도시)를 포함한다.
도 6은 본 발명의 일실시예에 따른 복수 영상 생성 개념도로서, 영상인식장치의 카메라부(510)에 의해 화면의 목표 밝기를 조절하는 요소가 서로 다르게 설정된 복수의 영상 프레임을 반복적으로 생성할 수 있다.
본 발명의 일실시예에 따르면, 영상인식시스템은 4개 프레임(프레임0 내지 프레임3)을 하나의 그룹으로 형성하고, 4개 프레임을 주기적으로 생성할 수 있다. 즉, 동일 시간 대에 서로 다른 특성의 영상을 촬영하고, 각 영상을 분석하여 표지판 인식에 적합한 영상을 선택하고, 해당 영상의 표지판 영역을 분석함으로써 표지판 정보를 인식한다.
구체적으로, 본 발명의 일실시예에 따르면, 영상인식시스템은 프레임0에서 도로 영역 또는 화면 전체를 관심영역으로 하여 자동노출제어방식을 적용한다. 그리고, 프레임0에서의 카메라 렌즈의 노출 시간과, 영상의 게인은 동작 제어 메모리(517)에 저장되고, 다른 프레임의 밝기를 조절하는 기준값으로 제공될 수 있다. 프레임0은 극단적인 역광이나 극단적인 순광이 아닌 경우, 표지판을 인식하는 데에 사용가능하다. 본 발명의 일실시예에 따르면, 영상인식시스템은 카메라 렌즈의 노출 시간을 고정하고, 영상의 게인을 조절하여 화면 전체 또는 관심 영역의 밝기를 일정하게 유지할 수 있다. 본 발명의 다른 실시예에 따르면, 영상인식시스템은 영상의 게인을 고정하고, 카메라 렌즈의 노출 시간을 조절하여 화면 전체 또는 관심 영역의 밝기를 일정하게 유지할 수 있다. 본 발명의 또 다른 실시예에 따르면, 영상인식시스템은 카메라 렌즈의 노출 시간과 영상의 게인을 조절하여 화면 전체 또는 관심 영역의 밝기를 일정하게 유지할 수 있다.
여기서, 극단적인 역광이라 함은 태양이 카메라의 정면과 표지판의 배면에 위치하는 경우와, 극단적인 순광이라 함은 태양이 카메라의 배면과 표지판의 정면에 위치하는 경우를 의미한다.
극단적인 역광의 경우, 수학식1을 참조하여 표지판의 인식이 어려운 이유를 설명하면 다음과 같다. 화면의 목표 밝기(Brightness)를 일정하게 유지한 상태에서, 역광으로 인해 관심 영역의 휘도(Luminance)가 증가하면, 자동노출제어기능에 따라, 영상처리부(520) 내 CPU(521)는 카메라 렌즈의 노출 시간(Exposure)과 영상의 게인(gain)을 감소시킨다. 한편, 역광으로 인해 표지판의 휘도(Luminance)가 감소하므로, 표지판의 밝기(Brightness)가 감소하여 인식이 불가능한 상황이 발생하게 된다.
따라서, 본 발명의 일실시예에 따르면, 프레임1에 대응하는 카메라 렌즈의 노출 시간과, 영상의 게인은 동작 제어 메모리(517)에 저장되고, 영상처리부(520) 내 CPU(521)는 프레임1에서의 화면의 밝기를 프레임0(자동노출제어)의 그것보다 밝게 조절하는 과노출제어방식이 적용된 파라미터(노출시간 및/또는 게인) 설정값을 동작 제어 메모리(517)로부터 독출하여 영상을 처리한다. 프레임1에서는 다른 부분은 포화되지만, 표지판 부분은 밝게 나타나 표지판의 인식이 가능하다.
본 발명의 일실시예에 따르면, 영상인식시스템 내 동작 제어 메모리(517)에는 카메라 렌즈의 노출 시간(exposure)이 프레임0의 그것에 비해 소정 시간 길고, 영상의 게인이 프레임0의 그것과 동일하게 설정되어 저장될 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 영상인식시스템 내 동작 제어 메모리(517)에는 영상의 게인(gain)이 프레임0의 그것에 비해 소정 비율 높고, 카메라 렌즈의 노출 시간이 프레임0의 그것과 동일하게 설정되어 저장될 수 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 영상인식시스템 내 동작 제어 메모리(517)에는 카메라 렌즈의 노출 시간(exposure)과 영상의 게인(gain)이 각각 프레임0의 그것들에 비해 소정 값만큼 높도록 설정되어 저장될 수 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 영상인식시스템 내 동작 제어 메모리(517)에는 카메라 렌즈의 노출 시간(exposure)과 영상의 게인(gain)의 곱이 프레임0에서의 그것들의 곱보다 높도록 설정되어 저장될 수 있다.
한편, 극단적인 순광의 경우, 수학식1을 참조하여 표지판의 인식이 어려운 이유를 설명하면 다음과 같다. 화면의 목표 밝기(Brightness)를 일정하게 유지한 상태에서, 순광으로 인해 관심 영역의 휘도(Luminance)가 감소하면, 자동노출제어기능에 따라, 영상처리부(520)는 화면의 목표 밝기(Brightness)를 일정하게 유지하도록 카메라 렌즈의 노출 시간(Exposure)과 영상의 게인(gain)을 증가시킨다. 한편, 순광으로 인해 표지판의 휘도(Luminance)가 증가하므로, 표지판의 밝기(Brightness)가 증가하여 포화됨으로써 인식이 불가능한 상황이 발생하게 된다.
따라서, 본 발명의 일실시예에 따르면, 영상처리부(520) 내 CPU(521)는 프레임2에서 화면의 밝기를 프레임0(자동노출제어)의 그것보다 어둡게 조절하는 저노출제어방식이 적용된 파라미터(노출시간 및/또는 게인) 설정값을 동작 제어 메모리(517)로부터 독출하여 영상을 처리한다. 프레임2에서는 다른 부분은 어둡지만, 표지판 부분은 밝게 나타나 표지판의 인식이 가능하다.
본 발명의 일실시예에 따르면, 영상인식시스템 내 동작 제어 메모리(517)에는 카메라 렌즈의 노출 시간(exposure)이 프레임0의 그것에 비해 소정 시간 짧고, 영상의 게인(gain)이 프레임0의 그것과 동일하게 설정되어 저장될 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 영상인식시스템 내 동작 제어 메모리(517)에는 영상의 게인(gain)이 프레임0의 그것에 비해 소정 값만큼 낮고, 카메라 렌즈의 노출 시간(exposure)이 프레임0의 그것과 동일하게 설정되어 저장될 수 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 영상인식시스템 내 동작 제어 메모리(517)에는 카메라 렌즈의 노출 시간(exposure)과 영상의 게인(gain)이 각각 프레임0의 그것들에 비해 소정 값만큼 낮도록 설정되어 저장될 수 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 영상인식시스템 내 동작 제어 메모리(517)에는 카메라 렌즈의 노출 시간(exposure)과 영상의 게인(gain)의 곱이 프레임0에서의 그것들의 곱보다 낮도록 설정되어 저장될 수 있다.
본 발명의 일실시예에 따르면, 영상처리부(520) 내 CPU(521)는 프레임3에서 화면전체 또는 관심영역의 밝기(Brightness)의 무관하게 카메라 렌즈의 노출시간(exposure)과 영상의 게인(gain)을 일정하게 유지하는 일정노출제어방식이 적용된 파라미터(노출시간 및/또는 게인) 설정값을 동작 제어 메모리(517)로부터 독출하여 영상을 처리한다. 본 발명의 일실시예에 따르면, 영상인식시스템 내 동작 제어 메모리(517)에는 프레임3에 대응하여 카메라 렌즈의 노출 시간(exposure)과 영상의 게인(gain)이 소정값으로 고정 설정되어 저장될 수 있다.
발광형 표지판은 주변의 밝기와 무관하게 일정한 밝기를 유지하므로, 주변의 밝기에 따라 카메라 렌즈의 노출시간(exposure) 또는 영상의 게인(gain)을 다르게 제어하는 자동노출제어방식에 따른 프레임0보다 프레임3에서 인식하기가 용이하다.
본 발명의 일실시예에 따르면, 1그룹을 형성하는 복수의 프레임 중 적어도 하나는 카메라 렌즈의 노출 시간을 일정하게 유지하면서도 도로 영역의 평균 밝기가 소정의 기준 밝기와 같게 되도록 게인이 제어된 프레임일 수 있다.
또한, 본 발명의 일실시예에 따르면, 프레임0의 밝기(Brightness)와 입력되는 영상의 밝기를 비교하여 프레임0의 밝기 이상이면 주간 조건으로 판단하고, 프레임0의 밝기 이하이면 야간 조건으로 판단하여, 1 그룹을 형성하는 복수의 프레임 중 적어도 하나의 프레임의 파라미터 설정을 변경하여 적용할 수 있다.
또한, 본 발명의 일실시예에 따르면, 차량의 헤드램프 신호를 이용하여 헤드램프 신호가 OFF이면 주간 조건으로 판단하고, 헤드램프 신호가 ON이면 야간 조건으로 판단하여, 1 그룹을 형성하는 복수의 프레임 중 적어도 하나의 프레임의 파라미터 설정을 변경하여 적용할 수 있다.
본 발명의 다른 실시예에 따르면, 카메라의 영상처리제어부는 프레임0 내지 프레임3 중 적어도 둘 이상의 프레임을 하나의 그룹으로 형성하여 주기적으로 생성할 수 있다. 예컨대, 역광인 상태로 고속도로를 주행하는 경우, 카메라의 영상처리제어부는 프레임0와 프레임1 그리고 프레임3을 주기적으로 생성할 수 있다. 또는, 순광인 상태로 고속도로를 주행하는 경우, 카메라의 영상처리제어부는 프레임0와 프레임2 그리고 프레임3을 주기적으로 생성할 수 있다. 또는 야간에 도로를 주행하는 경우, 카메라의 영상처리제어부는 프레임0와 프레임3을 주기적을 생성할 수 있다.
도 7은 본 발명의 일실시예에 따른 프레임 선택 흐름도이다.
1 그룹의 영상 프레임이 획득되어 프레임을 선택하기 위한 절차가 시작되면(S710), 프레임0(자동노출제어 프레임) 중 적색의 원형 띠를 검색하여(S720), 적색의 원형 띠가 존재하면(S730), 그룹 내 프레임들에 존재하는 원형 띠의 밝기를 비교하고(S740), 설정된 기준값에 가장 가까운 원형 띠를 포함하는 프레임을 선택하여(S750), 선택된 프레임을 영상처리하고 표지판을 인식하고(S760), 종료한다(S770).
한편, 적색의 원형 띠로 예시하였으나, 교통표지판이 이와 같은 색상 및 형상으로 한정되는 것은 아니다. 예컨대, 직사각형이나 삼각형일 수 있고, 청색이나 녹색일 수 있다. 이러한 색상 및 형상을 가진 교통표지판을 검출하는 기술은 영상처리기술분야에 종사하는 통상의 지식을 가진 자에게 자명한 사항이므로 구체적인 설명은 생략하기로 한다.

Claims (21)

  1. 카메라 렌즈의 노출 시간 또는 이미지 센서로부터 출력되는 영상의 게인을 조절하여 상기 노출 시간과 상기 게인이 서로 다른 복수의 프레임을 형성하는 적어도 하나의 영상 그룹을 생성하고, 상기 복수의 프레임 내 표지판 영역을 비교하여 소정의 설정값과 가장 가까운 영상을 선택하는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  2. 제1항에 있어서,
    상기 복수의 프레임 중 적어도 하나의 프레임은 화면 전체 또는 상기 화면 내 관심 영역의 밝기가 일정하게 유지되는 자동노출제어 프레임인 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  3. 제2항에 있어서,
    상기 자동노출제어 프레임은 상기 카메라 렌즈의 노출 시간을 고정하고, 상기 영상의 게인을 조절하여 획득되는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  4. 제2항에 있어서,
    상기 자동노출제어 프레임은 상기 영상의 게인을 고정하고, 상기 카메라 렌즈의 노출 시간을 조절하여 획득되는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  5. 제2항에 있어서,
    상기 자동노출제어 프레임은 카메라 렌즈의 노출 시간과 영상의 게인을 조절하여 획득되는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  6. 제2항에 있어서,
    상기 복수의 프레임 중 적어도 하나의 프레임은 상기 자동노출제어 프레임보다 상기 영상의 밝기가 밝도록 유지되는 과노출제어 프레임인 것을 특징으로 하는 차량용 영상인식시스템.
  7. 제6항에 있어서,
    상기 과노출제어 프레임은 상기 카메라 렌즈의 노출 시간을 상기 자동노출제어 프레임의 그것과 동일하게 유지하고, 상기 영상의 게인을 높여 획득되는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  8. 제6항에 있어서,
    상기 과노출제어 프레임은 상기 영상의 게인을 상기 자동노출제어 프레임의 그것과 동일하게 유지하고, 상기 카메라 렌즈의 노출 시간을 연장시켜 획득되는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  9. 제6항에 있어서,
    상기 과노출제어 프레임은 상기 영상의 게인과 상기 카메라 렌즈의 노출 시간을 상기 자동노출제어 프레임의 그것들보다 높게 하여 획득되는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  10. 제6항에 있어서,
    상기 과노출제어 프레임은 상기 영상의 게인과 상기 카메라 렌즈의 노출 시간의 곱을 상기 자동노출제어 프레임의 그것들의 곱보다 높게 하여 획득되는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  11. 제2항에 있어서,
    상기 복수의 프레임 중 적어도 하나의 프레임은 상기 자동노출제어 프레임보다 상기 영상의 밝기가 어둡도록 유지되는 저노출제어 프레임인 것을 특징으로 하는 차량용 영상인식시스템.
  12. 제11항에 있어서,
    상기 저노출제어 프레임은 상기 카메라 렌즈의 노출 시간을 상기 자동노출제어 프레임의 그것과 동일하게 유지하고, 상기 영상의 게인을 낮춰 획득되는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  13. 제11항에 있어서,
    상기 저노출제어 프레임은 상기 영상의 게인을 상기 자동노출제어 프레임의 그것과 동일하게 유지하고, 상기 카메라 렌즈의 노출 시간을 단축시켜 획득되는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  14. 제11항에 있어서,
    상기 저노출제어 프레임은 상기 영상의 게인과 상기 카메라 렌즈의 노출 시간을 상기 자동노출제어 프레임의 그것들보다 낮게 하여 획득되는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  15. 제11항에 있어서,
    상기 저노출제어 프레임은 상기 영상의 게인과 상기 카메라 렌즈의 노출 시간의 곱을 상기 자동노출제어 프레임의 그것들의 곱보다 낮게 하여 획득되는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  16. 제2항에 있어서,
    상기 복수의 프레임 중 적어도 하나의 프레임은 상기 카메라 렌즈의 노출 시간과 상기 영상의 게인이 일정하게 유지되는 고정노출 프레임인 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  17. 제2항에 있어서,
    상기 복수의 프레임 중 적어도 하나의 프레임은 상기 카메라 렌즈의 노출 시간을 일정하게 유지하면서 관심 영역의 평균 밝기가 설정된 기준값과 동일하도록 상기 영상의 게인이 제어되는 프레임인 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  18. 제2항에 있어서,
    상기 자동노출제어 프레임의 밝기와 입력되는 영상의 밝기를 비교하여 상기 입력되는 영상의 밝기가 상기 자동노출제어 프레임의 밝기 이상이면 주간으로 판단하고, 상기 영상 그룹을 형성하는 복수의 프레임 중 적어도 하나의 프레임에 대하여 상기 노출 시간 또는 상기 게인을 변경하여 적용하는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  19. 제2항에 있어서,
    차량의 헤드램프 신호를 이용하여 헤드램프 신호가 OFF이면 주간 조건으로 판단하고, 헤드램프 신호가 ON이면 야간 조건으로 판단하여, 1 그룹을 형성하는 복수의 프레임 중 적어도 하나의 프레임의 파라미터 설정을 변경하여 적용하는 것을 특징으로 하는 교통표지판 인식을 위한 차량용 영상인식시스템.
  20. 복수의 프레임을 포함하는 영상 그룹을 획득하는 단계;
    상기 복수의 프레임 중 자동노출제어 프레임에서 소정 색상과 소정 형태를 가진 띠를 검색하는 단계;
    상기 소정 색상과 소정 형태를 가진 띠가 존재하면, 상기 영상 그룹 내 복수의 프레임에 존재하는 상기 띠의 밝기를 비교하는 단계;
    상기 복수의 프레임에 존재하는 띠 중 설정된 기준값에 가장 가까운 띠를 포함하는 프레임을 선택하는 단계; 및
    선택된 상기 프레임을 영상처리하여 표지판을 인식하는 단계
    를 포함하는 교통표지판 인식 방법.
  21. 차량용 영상인식장치에 있어서,
    카메라 렌즈의 노출 시간 또는 이미지 센서로부터 출력되는 영상의 게인을 조절하여 상기 노출 시간과 상기 게인이 서로 다른 프레임을 형성하는 적어도 하나의 영상 그룹을 생성하는 중앙 제어부;
    상기 노출 시간과 상기 게인이 하나의 파라미터 세트로 설정되고, 상기 파라미터 세트가 복수개 저장되는 제1 저장부; 및
    상기 서로 다른 적어도 2 이상의 영상 프레임이 저장되는 제2 저장부
    를 포함하는 교통표지판 인식을 위한 카메라 다중 노출 제어 장치.
PCT/KR2014/003902 2013-07-31 2014-05-01 교통표지판 인식을 위한 차량용 영상인식시스템 Ceased WO2015016461A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/765,004 US9639764B2 (en) 2013-07-31 2014-05-01 Image recognition system for vehicle for traffic sign board recognition
CN201480005780.7A CN104937637B (zh) 2013-07-31 2014-05-01 用于识别交通标志牌的车辆用影像识别系统
EP14831532.8A EP3029632A4 (en) 2013-07-31 2014-05-01 Vehicular image recognition system for display-board recognition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130090630A KR101353052B1 (ko) 2013-07-31 2013-07-31 교통표지판 인식을 위한 차량용 영상인식시스템
KR10-2013-0090630 2013-07-31

Publications (2)

Publication Number Publication Date
WO2015016461A2 true WO2015016461A2 (ko) 2015-02-05
WO2015016461A3 WO2015016461A3 (ko) 2015-04-09

Family

ID=50145938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/003902 Ceased WO2015016461A2 (ko) 2013-07-31 2014-05-01 교통표지판 인식을 위한 차량용 영상인식시스템

Country Status (5)

Country Link
US (1) US9639764B2 (ko)
EP (1) EP3029632A4 (ko)
KR (1) KR101353052B1 (ko)
CN (1) CN104937637B (ko)
WO (1) WO2015016461A2 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102174000B1 (ko) * 2014-05-30 2020-11-04 주식회사 만도 차량 표지판 인식 시스템 및 그를 위한 방법
DE102015207902A1 (de) 2015-04-29 2016-11-03 Mando Corporation Verfahren und Vorrichtung zur Bestätigung des relevanten inneren weißen Kreises bei der Erkennung des Umfelds eines kreisförmigen Verkehrszeichens
KR102465335B1 (ko) * 2015-11-19 2022-11-11 주식회사 에이치엘클레무브 헤드램프 인식 장치 및 방법
US10325339B2 (en) * 2016-04-26 2019-06-18 Qualcomm Incorporated Method and device for capturing image of traffic sign
US10169649B2 (en) 2016-07-28 2019-01-01 International Business Machines Corporation Smart image filtering method with domain rules application
KR102883417B1 (ko) * 2017-02-24 2025-11-06 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
US10453208B2 (en) 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
JP6759460B2 (ja) * 2017-06-07 2020-09-23 日立オートモティブシステムズ株式会社 画像処理装置
KR102519662B1 (ko) 2017-07-31 2023-04-07 삼성전자주식회사 영상 획득 방법 및 영상 획득 장치
DE102017119394A1 (de) * 2017-08-28 2019-02-28 HELLA GmbH & Co. KGaA Verfahren zur Ansteuerung mindestens eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium
JP6866934B2 (ja) * 2017-12-05 2021-04-28 日産自動車株式会社 車両の制御方法及び制御装置
JP6868932B2 (ja) * 2018-01-12 2021-05-12 日立Astemo株式会社 物体認識装置
KR101900073B1 (ko) 2018-01-15 2018-09-19 김홍진 정보 생성 기능을 갖는 반사체
JP7289723B2 (ja) * 2019-05-23 2023-06-12 日立Astemo株式会社 物体認識装置
CN110519526B (zh) * 2019-09-09 2021-02-26 Oppo广东移动通信有限公司 曝光时长控制方法、装置、存储介质及电子设备
US11702140B2 (en) 2019-11-19 2023-07-18 Robert Bosch Gmbh Vehicle front optical object detection via photoelectric effect of metallic striping
KR20210079638A (ko) 2019-12-20 2021-06-30 한국건설기술연구원 영상 자료를 활용한 교통표지의 인식장치 및 인식방법
CN111212223B (zh) * 2020-01-10 2021-01-22 奥比中光科技集团股份有限公司 一种设定成像参数的方法、系统及计算机可读存储介质
KR102538104B1 (ko) * 2022-06-17 2023-05-31 한국건설기술연구원 라이다 검지형 도로 시설물
WO2026041933A1 (en) * 2024-08-23 2026-02-26 Samsung Electronics Co., Ltd. Method and system for operating a flashlight of a camera unit

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6295415B1 (en) * 1995-06-01 2001-09-25 Canon Kabushiki Kaisha Camera
ATE386951T1 (de) 2002-08-05 2008-03-15 Elbit Systems Ltd Nachtsichtabbildungssystem und -verfahren zur montage in einem fahrzeug
US20050128063A1 (en) * 2003-11-28 2005-06-16 Denso Corporation Vehicle driving assisting apparatus
JP2008028957A (ja) * 2006-07-25 2008-02-07 Denso Corp 車両用画像処理装置
US8064643B2 (en) * 2006-12-06 2011-11-22 Mobileye Technologies Limited Detecting and recognizing traffic signs
JP2008187317A (ja) * 2007-01-29 2008-08-14 Fujifilm Corp 撮影装置およびその制御方法並びにプログラム
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
CN101359148B (zh) 2007-08-03 2011-04-06 深圳艾科创新微电子有限公司 一种用于自动曝光调节的方法及控制系统
ATE499671T1 (de) * 2007-08-17 2011-03-15 Magneti Marelli Spa Verfahren und system zur erkennung von verkehrszeichen mit zusatztafeln
JP4433046B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
ES2585214T3 (es) * 2008-09-22 2016-10-04 Freedom Scientific Inc. Sistemas y métodos para formar imagen de objetos
EP3975138B1 (en) * 2008-10-06 2024-12-11 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems
JP4666049B2 (ja) * 2008-10-17 2011-04-06 株式会社デンソー 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置
JP5294995B2 (ja) * 2009-06-03 2013-09-18 パナソニック株式会社 距離計測装置及び距離計測方法
CN102598650A (zh) * 2009-11-04 2012-07-18 丰田自动车株式会社 摄像装置、调整装置和摄像装置的光轴调整系统
US8558913B2 (en) * 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
JP5246254B2 (ja) * 2010-12-24 2013-07-24 株式会社デンソー 車載カメラの露出制御値の決定方法
JP2012221103A (ja) * 2011-04-06 2012-11-12 Denso Corp 車両用画像処理装置
KR101259836B1 (ko) * 2011-08-08 2013-05-02 주식회사 피엘케이 테크놀로지 우적 감응형 와이퍼 장치
KR20130030667A (ko) * 2011-09-19 2013-03-27 최재순 증강 현실을 이용한 자동차 운행 보조 시스템
JP5832855B2 (ja) * 2011-11-01 2015-12-16 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラム
KR101298937B1 (ko) * 2011-11-11 2013-08-23 서강대학교산학협력단 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
JP5937832B2 (ja) * 2012-01-30 2016-06-22 クラリオン株式会社 車載カメラ用露出制御装置
CN102819728A (zh) * 2012-07-17 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种基于分类模板匹配的交通标志检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Also Published As

Publication number Publication date
EP3029632A2 (en) 2016-06-08
CN104937637B (zh) 2017-09-15
US20150371097A1 (en) 2015-12-24
CN104937637A (zh) 2015-09-23
US9639764B2 (en) 2017-05-02
KR101353052B1 (ko) 2014-01-20
EP3029632A4 (en) 2017-03-29
WO2015016461A3 (ko) 2015-04-09

Similar Documents

Publication Publication Date Title
WO2015016461A2 (ko) 교통표지판 인식을 위한 차량용 영상인식시스템
KR102173852B1 (ko) 카메라 어셈블리 및 모바일 전자장치
WO2014193135A1 (ko) 조명장치의 휘도 제어장치
JP3782322B2 (ja) 車載用画像処理カメラ装置
KR100367594B1 (ko) 씨씨디 카메라의 제어 방법
WO2018202050A1 (en) Camera assembly and mobile electronic device
KR100995890B1 (ko) 카메라를 이용한 전광판 휘도조절장치 및 그 제어방법
WO2015056890A1 (ko) 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
KR101723401B1 (ko) 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
JP2009017474A (ja) 画像処理装置および画像処理方法
JP6533050B2 (ja) 車載カメラシステム
JP2002260165A (ja) 車両監視システム
JP4328865B2 (ja) 赤外線照明内蔵型監視用デイナイトカメラ
JP2006030713A (ja) 表示装置
EP3637758B1 (en) Image processing device
US20160321509A1 (en) Image processing device, warning device and method for processing image
CN205864557U (zh) 一种具有自动补光功能的摄像机
US9832398B2 (en) Camera system, especially for a vehicle, and method for ascertaining image information of a signal source pulsed as a function of time
JP4918375B2 (ja) 撮像装置
KR20230125424A (ko) 카메라 이미지 처리 장치
KR102584316B1 (ko) 스펙트럼 확장형 도로전광표지 제어 시스템 및 이를 이용하는 교통정보 취득장치
KR20170129523A (ko) 횡단보도용 조명 스마트 제어 시스템
JP2002152560A (ja) 撮像装置
KR20040062302A (ko) 적외선을 이용한 씨씨디 카메라
JP2019054452A (ja) 撮像システム、出力側信号処理装置、撮像装置、入力側信号処理装置および表示記録装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14831532

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 14765004

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2014831532

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE