WO2012043045A1 - 画像処理装置及びそれを用いた撮像装置 - Google Patents

画像処理装置及びそれを用いた撮像装置 Download PDF

Info

Publication number
WO2012043045A1
WO2012043045A1 PCT/JP2011/067118 JP2011067118W WO2012043045A1 WO 2012043045 A1 WO2012043045 A1 WO 2012043045A1 JP 2011067118 W JP2011067118 W JP 2011067118W WO 2012043045 A1 WO2012043045 A1 WO 2012043045A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
processing apparatus
calculation unit
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/067118
Other languages
English (en)
French (fr)
Inventor
未来 樋口
盛彦 坂野
健 志磨
彰二 村松
門司　竜彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to US13/818,625 priority Critical patent/US20130147948A1/en
Priority to EP11828606.1A priority patent/EP2624575A4/en
Publication of WO2012043045A1 publication Critical patent/WO2012043045A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an image processing apparatus that executes calibration of an imaging apparatus and an imaging apparatus using the same.
  • the stereo camera calculates the positional deviation (parallax) of the same object on a plurality of images taken at the same time by template matching, and the position of the object in real space based on the calculated parallax, This is a device that calculates using a well-known conversion formula.
  • This stereo camera uses a pair of images captured by two imaging devices to calculate the distance of an object, and the stereo camera apparatus that recognizes the object detects whether a suspicious person has entered or detected an abnormality.
  • the present invention can be applied to systems and in-vehicle systems that support safe driving of vehicles.
  • a stereo camera used in the above-described monitoring system or in-vehicle system is to obtain a distance by applying a triangulation technique to a pair of captured images captured at a position interval.
  • it includes at least two imaging devices and a stereo image processing LSI (Large Scale Integration) that applies triangulation processing to at least two captured images output by these imaging devices.
  • the stereo image processing LSI realizes triangulation processing by performing processing of obtaining pixel shift amounts (parallax) between the two images by superimposing pixel information included in a pair of images.
  • FIG. 2 is a diagram showing the general principle of a stereo camera device.
  • ⁇ represents the parallax
  • Z represents the measurement distance
  • f represents the focal length
  • b represents the baseline length
  • Equation (1) When the distance is obtained by Equation (1), the farther away, the smaller the parallax ⁇ . If the calculation performance of the parallax ⁇ decreases, the distance accuracy decreases. Therefore, in order to accurately obtain the parallax ⁇ , calibration for obtaining the parameters of each camera and the parameters representing the positional relationship between the cameras is important.
  • Non-Patent Document 1 As a method for calibrating an imaging apparatus, for example, a method described in Non-Patent Document 1 has been proposed. This is done by drawing a predefined pattern such as a lattice pattern on a plane, capturing the plane pattern with a camera multiple times from different angles, and then defining the lattice points of the predefined lattice pattern from the planar pattern in the captured image. Are detected as feature points, and calibration is performed using the known feature points.
  • the method described in Non-Patent Document 1 can determine internal camera parameters such as the pixel size of the image sensor, the image center, and the focal length.
  • Patent Document 1 As a method for obtaining a parameter representing a positional relationship between cameras called external parameters, a method described in Patent Document 1 has been proposed. This is because the traffic signal is detected by image processing and the parallax at that moment is obtained, and after further running for a while, the traffic light detected earlier is detected again to obtain the parallax, and the angle deviation of the camera is calculated using these two parallaxes and the travel distance. Is what you want.
  • Non-Patent Document 1 since it is necessary to capture a plane pattern on which a predefined pattern is drawn a plurality of times from different angles, facilities for moving the plane pattern, facilities for arranging a plurality of planes, etc. Special equipment is required.
  • the only external parameter that can be obtained is an angular deviation in a direction parallel to the base line length of the camera. Further, in addition to the parallax of the same object obtained at different moments, a travel distance is necessary, but there is a problem that it is difficult to accurately obtain an angle shift due to an error in the travel distance.
  • An object of the present invention is to provide an image processing apparatus that can be calibrated easily and accurately without requiring simple equipment or special equipment, and an imaging apparatus using the same.
  • the image processing apparatus and the imaging apparatus of the present invention mainly correct in advance two images that are captured so that at least one of position, angle, and zoom rate is different with overlapping fields of view.
  • Correction data reading unit for reading stored correction data calculated by calculation, image correction unit for correcting an image captured using the correction data read by the correction data reading unit, and correction by the image correction unit
  • a corresponding region calculation unit that calculates a corresponding corresponding region from the two images, a matching degree of image patterns extracted from the corresponding region, a matching degree of coordinates between the corresponding regions, a matching degree of an interval between the corresponding regions,
  • a coincidence degree calculation unit that calculates at least one of the above, a camera parameter calculation unit that calculates camera parameters based on the coincidence degree calculated by the coincidence degree calculation unit, Camera parameters calculated in La parameter calculating unit, or the correction data based on the camera parameters, and the correction data storage unit that stores, configured to have a.
  • FIG. 1 is a block diagram illustrating a first embodiment of a calibration method for an imaging apparatus according to the present invention.
  • FIG. It is a figure which shows the principle of a stereo camera. It is a figure which shows the outline
  • FIG. 1 is a block diagram illustrating an example of a basic configuration of an image processing apparatus including a camera calibration method that is an imaging apparatus according to a first embodiment of the present invention. Details will be described later.
  • the horizontal magnification and the vertical magnification are the same for the left camera based on the right camera, the right camera based on the left camera, or the right camera and left Adjust with the camera so that they are equal on the left and right, but if you can capture a target with a known size or a target with a known distance, the size and distance of the target in the real space and the captured image
  • the horizontal magnification and the vertical magnification can be obtained from the size of.
  • the optical axis direction is the Z axis
  • the horizontal direction is the X axis
  • the vertical direction is the Y axis
  • the external parameters, internal parameters, and distortion parameters are The vertical and horizontal enlargement ratios of the internal parameters are equivalent to obtaining the enlargement ratios of the left and right images to be the same. If these parameters are obtained, the image plane can be converted so that the epipolar lines are on the same straight line by rectification processing described later.
  • the imaging apparatus calibration method according to the present invention is applied to a camera unit 1 that is an imaging apparatus as shown in FIG. 4, and the surrounding environment is recognized by the cameras 4 a and 4 b (imaging apparatus) included in the camera unit 1.
  • the camera unit 1 may include three or more cameras.
  • the camera unit 1 moves, pans, tilts, or zooms the camera to capture images with different shooting conditions at different timings with one camera, and uses these multiple images to create a surrounding environment.
  • This camera unit 1 includes cameras 4a and 4b, which are image pickup devices installed so that the fields of view overlap, and a CPU 6 that is a processing means for processing images picked up by these cameras 4a and 4b. It comprises a RAM 9 as recording means, a program ROM 10 as program recording means, and a data ROM 7 as recording means.
  • a CPU 6 that is a processing means for processing images picked up by these cameras 4a and 4b. It comprises a RAM 9 as recording means, a program ROM 10 as program recording means, and a data ROM 7 as recording means.
  • an image processing LSI is further mounted so that a part of the processing is processed by a dedicated LSI, and not only one RAM but also a RAM for the image processing LSI. For example, a configuration using a plurality of RAMs may be used. And it becomes the structure which functions as a stereo camera which can measure distance using the image obtained from the cameras 4a and 4b.
  • the camera unit 1 is mounted so that the cameras are arranged on the left and right of the rear mirror in the vehicle cabin, for example.
  • the right camera is referred to as the right camera
  • the left camera is referred to as the left camera.
  • the number of cameras does not have to be two and does not need to be lined up on the left and right, and calibration can be performed according to the present invention as long as the fields of view overlap.
  • the camera may be arranged in another configuration such as vertically arranged instead of horizontally.
  • a plurality of images captured at different timings by one camera may be used.
  • a captured image and a lens can be handled by a pinhole camera model on the assumption that no lens distortion is included.
  • lens distortion is not included
  • lens distortion is included
  • the angle formed by the two coordinate axes of the image sensor can be regarded as a right angle due to recent advances in manufacturing technology
  • the angle formed by the two coordinate axes of the image will be described as a right angle.
  • ⁇ u is the horizontal magnification of the camera
  • ⁇ v is the vertical magnification of the camera
  • u 0 and v 0 are the camera image centers.
  • ⁇ u and ⁇ v are composed of a focal length and a pixel size.
  • s is a scalar.
  • the internal parameters can be expressed as the following equation (4) when expressed in a matrix.
  • the enlargement ratio and the image center are collectively called internal parameters.
  • Distortion when incident light is exposed with an image sensor through a lens, the captured image is distorted. Distortion can be roughly divided into three categories. The first is a lens distortion in which incident light is imaged inward of the pinhole camera model as the distance from the center of the image increases, and the second is a distortion caused by a shift of the center of each lens in the case of a lens composed of a plurality of lenses. The third is distortion caused by the occurrence of an angular deviation because the optical axis and the imaging surface are not orthogonal to each other. There are a plurality of possible causes of the distortion.
  • the distortion model is expressed by the following equations (5) and (6).
  • this distortion model is not an essential requirement, and a different model may be used.
  • x ′ and y ′ are coordinate positions after distortion correction in the normalized coordinate system when the focal length f represented by the equations (7) and (8) is 1, and x ′′, y "" Is a coordinate position before distortion correction in the normalized coordinate system.
  • the pixel position (u ′, v ′) before distortion correction in the finally obtained image coordinate system can be obtained by the following equations (9) and (10) from the image enlargement ratio and the image center.
  • distortion can be corrected by obtaining k 1 , k 2 , p 1 , and p 2 by calibration.
  • these parameters are referred to as distortion parameters.
  • the external parameter is a parameter representing a correspondence relationship between two three-dimensional coordinate systems, and includes a three-degree-of-freedom rotation matrix representing a rotation component and a three-degree-of-freedom translation vector.
  • an external parameter representing the correspondence between the camera coordinate systems of the right camera and the left camera is obtained. If the point in the right camera coordinate system is (X R , Y R , Z R ), the point in the left camera coordinate system is (X L , Y L , Z L ), the rotation matrix is R, and the translation vector is t The relationship (11) is obtained.
  • the arbitrary rotation is represented by, for example, three stages of rotation ⁇ Z around the Z axis, next rotation ⁇ Y around the new Y axis, and finally rotation ⁇ X around the new X axis. It is represented by (12).
  • the notation of rotation may represent the rotation axis and the rotation amount by Euler angles or rotation vectors.
  • the search for corresponding points may be a one-dimensional search along the epipolar line, not a two-dimensional search.
  • the coefficients a, b, c of the equation of the epipolar line are expressed by the equation (19), and the epipolar line can be obtained.
  • the epipolar line on the right image with respect to the point on the left image after distortion correction can be similarly obtained.
  • Figure 3 outlines the rectification process.
  • the origin CR of the right camera coordinate system and the origin CL of the left camera coordinate system do not move, and a new parallel image plane is generated by rotating the camera coordinate system.
  • the magnitude of the translation vector t from CR to CL is as shown in the following equation (20).
  • three direction vectors e 1 , e 2 , and e 3 shown in the following equations (21), (22), and (23) are defined, and the respective direction vectors of the XYZ axes after rectification are defined.
  • the images can be collimated, and the epipolar lines are on the same straight line on the new left and right image planes. That is, conversion may be performed with a rotation matrix that rotates the right image and a rotation matrix that rotates the left image so that the XYZ axes after rectification coincide with the direction vectors e 1 , e 2 , and e 3 .
  • these parameters are collectively referred to as camera parameters.
  • camera parameters it is not necessary to obtain all of the internal parameters, external parameters, and distortion parameters, and any of them may be obtained by being fixed.
  • parameters that can be converted into these parameters parameters of mathematical expressions that approximate the camera model using the above-described camera parameters, and the like may be estimated.
  • each element such as a projective transformation matrix, a basic matrix, and an affine transformation that can calculate pixel positions after correction and before correction may be obtained.
  • the camera parameters are defined as follows. Internal parameters: image sensor focal length, pixel vertical size, pixel horizontal size, vertical magnification, horizontal magnification, angle between vertical and horizontal axes of image sensor, The coordinates of the center of the optical axis. External parameters: rotation angle between image sensors, amount of parallel movement between image sensors, and the like. Distortion parameters: parameters for correcting image distortion, etc.
  • a calibration program relating to the present embodiment is stored in the program ROM 10, and when the power is turned on, the CPU 6 executes these programs, thereby realizing a calibration function.
  • 1 functions as a correction data reading unit 21, an image correction unit 22, a corresponding area calculation unit 23, a matching degree calculation unit 24, a camera parameter calculation unit 25, and a correction data storage unit 26 as shown in the functional block diagram of FIG. It has become.
  • the correction data reading unit 21 is a pixel before and after conversion obtained from the camera parameters and camera parameters from the data ROM 7 and RAM 9 as recording means in order to correct the images captured by the cameras 4a and 4b as the two image sensors. It has a function of reading correction data such as a conversion table in which position correspondences are tabulated. Alternatively, a parameter calculated by the CPU 6 using variables, constants, random numbers, etc. in the program, or a conversion table for correcting an image obtained from the parameter may be used.
  • the image correction unit 22 has a function of performing image correction such as distortion correction and rectification processing on a captured image using the read correction data. Note that the image correction unit 22 may correct an image captured by the other camera 4b using the camera parameter of one camera 4a of the two cameras as correction data.
  • the corresponding area calculation unit 23 has a function of obtaining a corresponding area between the images of the cameras 4a and 4b corrected by the image correction unit 22.
  • a plurality of corresponding areas may be provided.
  • a corresponding area may be obtained by detecting feature points of a known pattern from each image and collating the feature points.
  • a configuration in which a corresponding area can be input from an external device by connecting to an external device such as a PC (not shown) is obvious.
  • the coincidence degree calculation unit 24 has a function of obtaining a coincidence degree indicating how much the images in the corresponding region between the images captured and corrected by the cameras 4a and 4b are coincident. Specifically, the coincidence degree calculation unit 24 calculates at least one coincidence degree between the coincidence degree of the image pattern extracted from the corresponding area, the coincidence degree of the coordinates between the corresponding areas, and the coincidence degree of the interval between the corresponding areas. To do.
  • the degree of coincidence of image patterns the luminance value, luminance variation, luminance variation direction, color information, color variation, color variation direction, luminance histogram, luminance variation histogram of the pixels in the corresponding region , A color change amount histogram, a luminance change direction histogram, a color change direction histogram, and the like, which can change the image pattern, can be used.
  • the degree of coincidence between the corresponding areas it is calculated from the intervals of the corresponding areas such as the average value of the distance between the corresponding areas, the minimum value of the distance between the corresponding areas, and the maximum value of the distance between the corresponding areas. At least one of a value calculated from at least one of the possible values, a parallel pattern width value stored or defined in advance, or a parallel pattern width value received from a map database or an external device. The degree of coincidence is calculated by comparison.
  • the camera parameter calculation unit 25 calculates camera parameters based on the degree of coincidence obtained by the degree of coincidence calculation unit 24. Specifically, the camera parameters are obtained so that the calculated degree of coincidence becomes a higher value (or a lower value). Whether the camera parameter is obtained so that the degree of coincidence becomes a higher value or the camera parameter is obtained so that the degree of coincidence becomes a lower value depends on an index such as an evaluation function used for the degree of coincidence.
  • the correction data storage unit 26 is a camera parameter (external parameter, internal parameter, distortion parameter, etc.) obtained by the camera parameter calculation unit 25, or a conversion table indicating the correspondence relationship before and after correction calculated based on the camera parameter. It has a function of temporarily holding or storing it in the RAM 9 or the data ROM 7 as recording means. Alternatively, the correction data based on the camera parameters (external parameters, internal parameters, distortion parameters, etc.), specifically, the coordinates of the pixel after correction using the camera parameters and the coordinates of the pixel before correction are calculated and looked up. Correction data for correcting each pixel in the form of a table or the like is stored in the RAM 9 or the data ROM 7 as recording means.
  • the camera unit 1 configured as described above can execute a calibration process until the CPU 6 obtains camera parameters and stores correction data by the CPU 6 executing a calibration program.
  • functions such as solid object detection by image processing may be performed in the camera unit 1 separately from the calibration processing.
  • the series of processes shown in FIG. 9 starts when the power is turned on and is repeated until the power is turned off.
  • the calibration process may be executed a predetermined number of times and the calibration process may be terminated.
  • the image correction processing can be performed at high speed when performed by the image processing LSI.
  • the same processing can be executed even if all processing is performed by the CPU.
  • step 101 initialization processing of the RAM 9 is executed (step 101).
  • step 102 it is determined whether or not it is time to execute calibration (step 102). If it is time to execute calibration in step 103, the process proceeds to step 104. If it is not time to execute calibration, the process proceeds to step 102. Return.
  • a calibration execution command signal is transmitted by an external device (not shown), and is received and determined by the camera unit 1 to perform calibration during maintenance of the camera unit 1.
  • the timing when other image processing programs do not need to operate such as when the vehicle is stopped or retreating, from far to short distances is within the field of view.
  • the calibration timing is determined for an environment with good lighting conditions such as daytime, an environment with little disturbance such as clear sky, cloudy, indoors, and the like.
  • the correction data reading unit 21 When the calibration timing is determined, the correction data reading unit 21 performs a lookup table format correction table that holds the correspondence between the corrected image and the uncorrected image, an internal parameter, an external parameter, a distortion parameter, and the like. Is read from either the data ROM 7 as recording means or the program ROM 10 as program recording means (step 104). Alternatively, a configuration in which correction data stored in the data ROM 7 or the program ROM 10 in the initialization process (step 101) is stored in the RAM 9 and read from the RAM may be used. Alternatively, a parameter calculated by the CPU 6 or the like using variables, constants, random numbers, etc. in the program, or a conversion table for correcting an image obtained from the parameter may be used.
  • the image correction unit 22 corrects the image using the correction data (step 105). Specifically, the luminance value and color information of each pixel after correction is obtained using a correction table in a lookup table format, or the camera parameters described in the above equations (2) to (23) are used. Parallelize the image.
  • the corresponding area calculation unit 23 obtains a corresponding area between images captured by each camera and corrected by the image correction unit 22 (step 106).
  • An example is shown in FIG. FIG. 6 shows an example in which the upper row is the corrected right image, the lower row is the corrected left image, and the vehicle portion is determined as the first corresponding region and the pedestrian portion is determined as the second corresponding region.
  • lens distortion or the like is not included for simplicity, but an image in which lens distortion has occurred may be used.
  • the number of corresponding areas is not necessarily two, but may be three or more or one.
  • the corresponding areas are the pedestrian part and the vehicle part, but are not limited to this.
  • road markers such as lane markers such as white lines, road surfaces, speed limit signs, houses, factories, hospitals, etc.
  • the corresponding region may include a structure such as an object, a utility pole, a guardrail, a floor-wall boundary existing in a room, a ceiling-wall boundary, and a window frame.
  • the epipolar lines are parallel because the camera parameters are not obtained correctly, a shift has occurred due to secular change, or the initial value is used because calibration has not been performed. Explain that it is not.
  • the corresponding area calculation unit 23 adjusts the position of one of the corresponding areas so that the vertical coordinates of the images of the corresponding areas become equal as shown in FIG.
  • FIG. 7 shows an example in which the corresponding area of the left image is adjusted.
  • FIG. 7A shows the position before adjustment
  • FIG. 7B shows the position after adjustment.
  • this embodiment describes the case where the left and right epipolar lines are parallel and the coordinates in the vertical direction of the image are the same.
  • the corresponding region is adjusted to be on the ideal epipolar line.
  • the respective images may be converted into images from the same viewpoint, and in this case, since the images are from the same viewpoint, for example, adjustment is made so that the coordinates of the corresponding regions match.
  • the area used when the corresponding area calculation unit 23 calculates the corresponding area is, for example, by detecting pedestrians, vehicles, etc. using known template matching, pedestrian detection using a support vector machine or a neural network, or vehicle detection.
  • the corresponding area of the image obtained from the left and right cameras is obtained using the area.
  • an area including many of the same parallax may be obtained, and the area may be used for calculating the corresponding area.
  • each region used for the corresponding region calculation can be calibrated with high accuracy by selecting a region including many pixels having a short distance. This is because, in principle, the corresponding areas do not match because the parallaxes are different when the distance is different.
  • the camera according to the present invention can calculate the degree of coincidence by calculating the parallax of each pixel from the angle of the plane or the distance to the plane, even if the distance differs within one region. Parameters can be determined.
  • the epipolar line is parallel and close to the same straight line on the right side of the image, but an error may occur on the left side of the image Because there is.
  • the coincidence calculation unit 24 calculates the coincidence between corresponding areas (step 108).
  • the degree of coincidence is obtained by, for example, the sum of differences in luminance values (SAD: Sum of Absolute Difference), the sum of squares of differences in luminance values (SSD: Sum of SquaredifDifference), normalized cross-correlation (NCC: Normalized Cross Correlation), and the like. be able to.
  • SAD or SSD is used as the degree of coincidence, the smaller the degree of coincidence, the more the images in the corresponding area match.
  • normalized cross-correlation or the like the larger the degree of coincidence, the corresponding area The images inside match.
  • the degree of coincidence e using the SSD can be obtained by, for example, the equation (24). However, it is assumed that the size of the corresponding area of the right image and that of the left image is the same, there are M pairs of corresponding areas, and N j pixels exist in each corresponding area. However, it is not necessary to use all Nj pixels in the corresponding region, and calculation may be performed using a part of them.
  • I j is the luminance value obtained by performing a coordinate transformation of W R using the parameters p pixels of coordinates i of the pixel in the j-th corresponding region of the right image
  • T j is the left image j
  • It represents the luminance value obtained by performing a coordinate transformation of W L with the second parameter q pixels of coordinates i of the pixel in the corresponding region.
  • a luminance change amount other than the luminance value may be used.
  • W R is a conversion equation for obtaining coordinates before rectification from coordinates i after rectification during the rectification process described above
  • W L is a coordinate obtained by shifting coordinates i by the parallax m j of the corresponding region. This is a conversion formula for obtaining coordinates before rectification.
  • each element such as a projective transformation matrix, a basic matrix, and an affine transformation that can calculate pixel positions after correction and before correction may be obtained.
  • each element of the projective transformation matrix of the right image may be used as the parameter p
  • each element of the projective transformation matrix of the left image may be used as the q
  • the internal parameters and the external parameters of the camera may be used.
  • each m in the corresponding area is determined from the distance to the plane, the angle of the plane, the direction of the normal vector, etc.
  • the camera parameter calculation unit 25 obtains camera parameters so that the coincidence degree e obtained by the coincidence degree computation unit 24 is smaller (large in the case of NCC or the like) (step 109).
  • the camera parameter calculation unit 25 is optimized so that the degree of coincidence e is minimized by using an optimization algorithm such as a known gradient method, Newton method, Gauss-Newton method, Levenberg-Marquardt method (modified Gauss-Newton method).
  • Camera parameters can be obtained by performing the processing.
  • all of the internal parameters, external parameters, and distortion parameters may be optimized, or some of them may be treated as fixed values and other parameters may be optimized. For example, if an internal parameter and a distortion parameter are fixed and only an external parameter is obtained, it can be used for correction when the camera installation position is shifted due to secular change or the like.
  • ⁇ I is the amount of change in luminance of the coordinates before correction obtained by W R (i; p)
  • ⁇ T is the amount of change in luminance of the coordinates obtained by W L (i; q)
  • ⁇ p is an update amount of the parameter p
  • ⁇ q is an update amount of the parameter q. Since the parameter is optimal when the value obtained by differentiating the equation (25) by ⁇ p and ⁇ q is 0, the following equation (26) is obtained.
  • H p the Hessian matrix in the case of differentiating equation (26) in Delta] p
  • H q is the Hessian matrix of when differentiated by ⁇ q the formula (26).
  • the subscript T represents transposition.
  • a parameter for further reducing the error can be obtained by obtaining the equations (27) and (28). Specifically, the parameters may be updated by substituting p + ⁇ p for p and q + ⁇ q for q.
  • Step 110 the correspondence between the coordinate positions before and after correction of each pixel is calculated in a lookup table format, and the lookup table is stored as correction data.
  • the coordinates before conversion corresponding to the converted coordinates (1, 1) are looked up at every pixel after conversion, such as (0.8, 0.6), or at regular intervals. Create a table.
  • the camera parameters obtained by the camera parameter calculation unit 25 are stored in one of the data ROM 7, the program ROM 10, and the RAM 9 (step 111). However, the creation of the lookup table may be omitted and the camera parameters may be saved.
  • FIG. 8 This process is shown in FIG. First, in the upper stage, since the camera parameters are not obtained, the epipolar lines are not parallel in the left and right cameras. However, when the calibration process from step 104 to step 111 is performed, the camera parameters approach the optimum values (FIG. 8). If the process from step 104 to step 111 is repeated, the epipolar line can be finally made parallel (the lower part of FIG. 8), and the matching degree of the corresponding region is minimum (or maximum) in the lower part of FIG. ) In the example of FIG. 8, there is an error only in the left camera and only the parameters relating to the left camera are optimized, but the optimization can be similarly performed even when an error exists in both the left and right images.
  • step 112 In the determination of the end of the calibration in step 112, if the degree of coincidence e is larger (or smaller) than a predetermined value after performing calibration a predetermined number of times, an abnormality has occurred in the camera, and calibration cannot be performed normally.
  • Output a stop signal to stop the camera that is the image sensor output a warning signal from the speaker to sound a driver or a warning sound to the user, or warn the display based on the warning signal
  • the imaging device calibration method to which the first embodiment is applied the corresponding regions of the images obtained from the left and right cameras are matched without using a planar pattern on which a known pattern is drawn. Calibration can be performed by obtaining camera parameters. However, it goes without saying that a known pattern for calibration may be used. In the conventional method, since the feature point is detected and calibrated, an error also occurs in the calibration result due to the feature point detection error.
  • the parameter can be obtained with higher accuracy than the conventional method.
  • the vehicle is mounted on a road, running on a road, after being attached to a building as a surveillance camera, Calibration can be performed.
  • Calibration can be performed again even when external parameters of the camera are shifted due to vibration, temperature change, impact, or the like. It is clear that the present embodiment can be applied to any place other than a vehicle or a building as long as it is an environment where images with overlapping fields of view between cameras can be taken.
  • a plurality of corresponding regions with different distances are obtained by the corresponding region calculation unit, and a calibration process is performed, thereby imaging a short distance and a long distance.
  • the camera parameters can be accurately obtained so that the epipolar lines are parallel.
  • the camera parameters are obtained by directly comparing the images without detecting the above, the camera parameters can be obtained with high accuracy.
  • the corresponding area calculation unit 23 obtains the corresponding area so that many images having a close distance are included in the corresponding area, the images between the corresponding areas are more accurately matched when the epipolar lines are parallelized. Parameters can be determined.
  • calibration is performed using not only images captured at a certain moment but also images captured at a plurality of different timings, a larger number of corresponding areas can be used. Obtainable.
  • the present embodiment can be applied even when there are three or more cameras if the fields of view overlap. It is. Further, even if there is only one camera, the present embodiment can be applied by using images taken at different timings, such as images taken at different positions.
  • all or some of the internal parameters, distortion parameters, etc. of at least one camera are obtained in advance by another method (for example, the method of Non-Patent Document 1), and the other cameras
  • another method for example, the method of Non-Patent Document 1
  • the internal parameters, distortion parameters, and external parameters, the internal parameters, distortion parameters, and the like of other cameras can be obtained with reference to the camera image for which the camera parameters have been obtained in advance.
  • parameters that allow approximate conversion of image correction using camera parameters such as parameters related to image enlargement, rotation, and parallel movement, and parameters that can be converted from camera parameters It may be used.
  • each element such as a projective transformation matrix, a basic matrix, and an affine transformation that can calculate pixel positions after correction and before correction may be obtained.
  • the coincidence calculation unit 24 calculates the coincidence using the luminance value of the image.
  • the luminance value instead of the luminance value, the luminance change amount, the color information, the color change amount, the luminance
  • Various feature amounts obtained from an image such as a histogram may be used.
  • the camera unit 1 may include an input device such as a display, a mouse, a keyboard, and a touch panel, and the user may specify, for example, a human region or a car region using the input device.
  • an input device such as a display, a mouse, a keyboard, and a touch panel
  • the user may specify, for example, a human region or a car region using the input device.
  • the camera parameters are obtained so that the corresponding regions match in the image after rectification processing for parallelizing the images. For example, image conversion is performed so that the viewpoints of the left and right cameras are the same. You may use the image after a process.
  • FIG. 5 it is configured by an in-vehicle system including a control unit 2 in addition to a camera unit 1 which is an imaging device.
  • a control unit 2 in addition to a camera unit 1 which is an imaging device.
  • the camera 4a, 4b demonstrates the example attached so that it may attach to a vehicle and the front may be imaged, it does not necessarily need to be a vehicle and may be attached to a building etc.
  • the camera unit 1 is the same as that of the first embodiment.
  • the control unit 2 includes a CPU 12, a RAM 11, a program ROM 14, and a data ROM 13.
  • the camera unit 1 and the control unit 2 are connected to each other, and a display 15 that is installed in the passenger compartment and displays various images and various information, and the risk that the vehicle collides with an obstacle.
  • a speaker 19 that generates a warning sound or a navigation voice guidance or the like is connected to an ignition switch 31 that is turned on when the engine is started. As a result, the control unit 2 controls the operation of the entire in-vehicle system.
  • the parallax calculation unit is provided between the image correction unit 22 and the corresponding region calculation unit 23 as compared to the first embodiment in FIG. 1. 27, and further includes an image recognition unit 28 next to the parallax calculation unit 27.
  • the calibration method of the imaging apparatus according to the present invention is applied to an in-vehicle system as shown in FIG. 5 and realizes a function of recognizing the environment around the vehicle by the in-vehicle cameras 4a and 4b provided in the camera unit 1. At this time, three or more in-vehicle cameras may be provided. Alternatively, even if there is only one camera, for example, images taken at different timings may be used. Moreover, the structure which the control unit separate from the vehicle-mounted cameras 4a and 4b captures and processes an image from the vehicle-mounted cameras 4a and 4b, and sets a process area to the vehicle-mounted cameras 4a and 4b may be sufficient.
  • the camera unit 1 shown in FIG. 5 is mounted on a vehicle and applied to the in-vehicle system shown in FIG.
  • the vehicle-mounted camera unit 1 detects an obstacle or the like existing in front of the host vehicle, and controls the vehicle based on the detection result under the control of the control unit 2 or notifies the occupant of the danger. It is a device for.
  • an image processing program for detecting an obstacle or the like and a calibration program are stored in the program ROM 10, and the CPU 6 executes these programs to detect an obstacle or the like and the calibration of the imaging apparatus. Function is realized.
  • the in-vehicle camera unit 1 is configured to receive information from the vehicle speed sensor 17, the handle angle sensor 16, and the reverse switch 18 from the control unit 2. You may make it the structure which can receive the signal regarding a motion and a position of a vehicle from the yaw rate sensor which is not shown in figure, a gyro sensor, a GPS sensor, a map database, etc.
  • the camera unit 1 has a correction data reading unit 21, an image correction unit 22, a parallax calculation unit 27, as shown in the functional block diagram of the image processing apparatus in FIG. It functions as an image recognition unit 28, a corresponding region calculation unit 23, a coincidence calculation unit 24, a camera parameter calculation unit 25, and a correction data storage unit 26.
  • the correction data reading unit 21, the image correction unit 22, the corresponding region calculation unit 23, the matching degree calculation unit 24, the camera parameter calculation unit 25, and the correction data storage unit 26 have the same functions as those in the first embodiment. is there.
  • the parallax calculation unit 27 has a function of calculating a difference in appearance of images (parallax information) obtained from a camera that is a left and right imaging element corrected by the image correction unit 22.
  • the image recognizing unit 28 uses at least one of parallax information obtained from the parallax calculating unit 27, images obtained from the cameras 4a and 4b, and images obtained from the cameras 4a and 4b and corrected by the image correcting unit 22, etc. It has functions such as a function for detecting (pedestrians, animals, vehicles, buildings such as houses, factories, and hospitals, structures such as utility poles and guardrails), and an image processing function such as changing the viewpoint of an image.
  • the series of processing shown in FIG. 13 starts when the ignition switch is turned on and is repeated until the ignition switch is turned off.
  • the program is executed regardless of whether the host vehicle is traveling or stopped, and whether the image displayed on the display 15 is a travel route guidance image or other video of the navigation system.
  • step 102 each process from step 102, step 106, step 108, step 109, and step 113 to step 118 will be described with reference to the flowchart shown in FIG.
  • the calibration timing is determined using information obtained from the handle angle sensor 16, the vehicle speed sensor 17, the reverse switch 18 and the like of the in-vehicle system 3. For example, when the value obtained from the handle angle sensor 16 is equal to or less than a predetermined value, the calibration timing is determined. This can prevent a decrease in calibration accuracy due to image blurring that occurs while the vehicle is turning.
  • the calibration timing is determined. For example, image processing can be stopped while the vehicle is stopped, and only calibration can be executed.
  • the calibration can be executed on a road with good visibility such as an expressway. If the information obtained from the reverse switch 18 is used, the image processing is stopped when the vehicle moves backward, and only the calibration can be executed.
  • These calibration timing determinations are examples and may be determined using information obtained from a yaw rate sensor, gyro sensor, radar, car navigation, map database, illuminance sensor, raindrop sensor, etc. (not shown). If a yaw rate sensor or a gyro sensor is used, the same determination as when the handle angle sensor 16 is used can be made. When radar is used, a case where an object such as a vehicle does not exist at a short distance ahead of the host vehicle can be determined as a calibration timing.
  • the illuminance sensor controls ON / OFF of the headlight and can detect ambient brightness such as day or night, so only when the brightness is above a predetermined value is determined as the calibration timing. it can.
  • the raindrop sensor is for automatically controlling the wiper, and can detect water droplets attached to the windshield, so that a case where no water droplets are attached to the front can be determined as the calibration timing.
  • step 103 If it is the timing for executing calibration in step 103, the process proceeds to step 113. If it is not the timing for executing calibration, the calibration timing determination process is repeated.
  • a calibration image is copied to the RAM 9 or the like (step 113).
  • the calibration process can be performed using the same image, and the image process can be performed in parallel. For this reason, calibration processing and image processing are executed as a multitask. For example, the image processing can be repeated at a constant cycle, and the time remaining in the image processing can be allocated to the calibration processing.
  • steps 115 and 116 processing similar to that in steps 104 and 105 is performed.
  • step 114 and step 117 processing for obtaining a difference (parallax) in the appearance of the left and right cameras is performed.
  • a small area such as 8 ⁇ 8 is set in the right image, and an area corresponding to the small area is detected by searching on the epipolar line of the left image or by two-dimensional searching on the left image, and each small area is detected.
  • This parallax calculation can be realized by a known technique.
  • the corresponding area calculation process for example, the right white line and the left white line are detected as corresponding areas.
  • the end points of structures composed of parallel patterns such as guardrails and curbs may be detected as corresponding regions.
  • step 108 the width between corresponding areas is obtained, and the coincidence is obtained from the width.
  • FIG. 11 shows the detection result of the corresponding area of the lane mark (FIG. 11A) and the relationship between the width of the parallel pattern and the parameter deviation (FIG. 11B).
  • a rotation parameter about the Y axis can be obtained. Furthermore, if the width of the parallel pattern is known, the distance between the cameras and the internal parameter's horizontal magnification and vertical magnification can be obtained. This is because when the parameter is deviated from the optimum value (no parameter deviation), a certain error occurs in the calculated parallax regardless of the distance.
  • the parallax obtained by the parallax calculation process (step 114) is 66, and the parallax at the distance d2 is 4 ( Even when the error is 2 pixels, the parallax obtained in the parallax calculation process (step 114) becomes 6 when the error 2 pixels occurs. Therefore, when the distance is obtained from the parallax using the equation (2), the error 2 increases as the distance increases. The influence of a pixel becomes large (FIG. 11B).
  • step 108 as shown in FIG. 12, for example, G actual measured values (W (1; a), W (2; a),..., W (G; The sum of the difference between the a)) and the lane mark width Wm when there is no parameter deviation, the sum of the squares of the differences, and the like are obtained as the degree of coincidence.
  • the width of the lane mark when there is no parameter deviation may be obtained from car navigation or the like, defined in the program in advance, or a value stored in the data ROM 7 may be used.
  • an average value, a maximum value, a minimum value, and the like may be obtained from the measured values of the widths of the lane marks at a plurality of distances, and the values obtained from the measured values may be used as the lane mark width when there is no parameter deviation.
  • an actually measured value of the width of the lane mark at a certain reference distance may be used as the width of the lane mark when there is no parameter deviation.
  • the configuration may be such that the sum of the difference between the width of the lane mark and the actual measurement value, the sum of the square of the difference, and the like when there is no parameter deviation is used as the degree of coincidence.
  • An example of the degree of coincidence is shown in Expression (29).
  • Wm is a value such as an average value, maximum value, minimum value, etc. of the width of the parallel pattern when there is no parameter deviation and the width of the parallel pattern obtained from each corresponding region. That is, in the calculation of the camera parameter (step 109), the camera parameter is obtained so that the above-mentioned coincidence becomes small (or becomes large depending on the coincidence index). At this time, if the width of the lane mark is obtained when there is no parameter deviation, the parallel movement parameter in the X-axis direction can also be obtained.
  • step 112 it is determined whether or not the calibration is completed. If the degree of coincidence is smaller (or larger) than the predetermined value, the calibration is terminated. Alternatively, if the calibration process has been executed a predetermined number of times, the calibration is terminated.
  • the camera is stopped, and the camera is connected to the control unit. Processing is performed to stop the system by transmitting a signal indicating that it has been stopped, to issue a warning sound to the driver by voice from the speaker, and to display a warning on the display.
  • step 118 at least one of the parallax data obtained in the parallax calculation process (step 117), the image data acquired from the left and right cameras, and the image data obtained by correcting the image acquired from the left and right cameras in the image correction process (step 116).
  • obstacles, lane marks, etc. are detected by a known technique.
  • the end point of the parallel pattern can be detected as the corresponding region, and the camera parameter can be obtained using the information on the width between the corresponding regions.
  • the calibration process can be executed even when only a part of the parallel pattern is in the field of view. Further, there is an advantage that the patterns need only be parallel, and that the straight line is not an essential condition.
  • a parallel pattern existing in a room such as a boundary line between a floor and a wall surface, a boundary line between a ceiling and a wall surface, or a window frame may be used. That is, an area including at least one of a boundary line between a floor and a wall surface, a boundary line between a ceiling and a wall surface, and a window frame that are detected from a captured image may be calculated as a target area.
  • the calibration processing can be executed with priority when calibration is required, such as at the time of startup.
  • the calibration timing is determined when the system is started, when the temperature changes greatly, or when a predetermined time has elapsed since the previous calibration was performed. Then, at the calibration timing, the calibration process is executed until the calibration is completed, and the image process is performed after the calibration is completed.
  • the calibration process can be prioritized at the timing when calibration is required. While the calibration process is being executed, a process of displaying a warning that the image process has been stopped on the display, a warning by voice, or the like may be performed. Further, it is apparent that the present embodiment may use a parallel pattern or the like in the camera production line even when the vehicle is not traveling.
  • the corresponding area calculation unit 23 detects the corners of an object as feature points from an image as shown in FIG. 18, and detects and associates the detected feature points from other images.
  • the upper left corner of the vehicle is obtained as the third corresponding area
  • the tip of the pedestrian's hand is obtained as the second corresponding area and the third corresponding area. There is no need to be one.
  • the coincidence calculation unit calculates the coincidence using, for example, the difference between the coordinate values in the vertical direction of the images of the corresponding regions.
  • the degree of coincidence is calculated by the equation (31) using the difference in the vertical coordinates of the G corresponding areas.
  • the vertical coordinate difference e 1 of the first corresponding region is as shown in FIG.
  • whether or not to use the vertical coordinate difference in the evaluation function depends on the installation position of the camera.
  • v R (j; p ′) is the vertical coordinate of the j-th corresponding area in the image corrected by the image correction unit using the camera parameter p ′
  • v L (j; q ′) is the vertical coordinate of the j-th corresponding region in the image corrected by the image correction unit using the camera parameter q ′.
  • p ′ and q ′ are, for example, internal parameters, external parameters, and distortion parameters of the left and right cameras, as in the first embodiment. What is necessary is just to optimize p ', q' using well-known optimization methods, such as a Newton method, a Gauss Newton method, and a correction Gauss Newton method, so that the agreement of Formula (31) may become the minimum.
  • the camera parameter By combining the first embodiment, the second embodiment, and the third embodiment described above, the camera parameter, the parameter that can be converted from the camera parameter, or the parameter that approximates the camera parameter In addition to obtaining parallax data (three-dimensional data) with less erroneous matching, three-dimensional measurement with less error can be performed.
  • the camera parameter further includes a step 120 for calculating the initial value of the camera parameter
  • the calibration is performed even when the camera parameter is largely deviated from the optimum value or the design value is not known. It can be carried out.
  • the initial value of the camera parameter is obtained by a known method using a calibration pattern, or a plurality of feature points are detected from an image, and points corresponding to the detected feature points are detected from other images. Thus, an external parameter or the like can be obtained using the plurality of feature point pairs.
  • the optimal value of the camera parameter can be obtained from the initial value obtained in step 120.
  • the calibration processing is divided into N times, and the calibration processing is executed in the remaining time after performing the image processing in the processing cycle. Thus, it is possible to prevent the processing cycle from being lowered.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

　特別な設備を必要とせず、簡易且つ精度良くキャリブレーションができる画像処理装置及びそれを用いた撮像装置を提供する。少なくとも２台のカメラ４ａ，４ｂを具備し、各カメラから得られる画像の領域の対応関係を求める対応領域算出部２３と、各カメラから得られる画像の対応領域から得られる情報の一致度を求める一致度算出部２４と、一致度算出部が算出した一致度をもとにカメラパラメータを求めるカメラパメータ算出部２５を具備する。

Description

画像処理装置及びそれを用いた撮像装置
　撮像装置のキャリブレーションを実行する画像処理装置及びそれを用いた撮像装置に関する。
　近年、ステレオカメラなど複数のカメラを用いて歩行者や車両などの障害物を検出する障害物検出装置が実用化されている。ステレオカメラとは、同時刻に撮像された複数の画像上における同一対象物の位置ずれ（視差）を、テンプレートマッチングにより算出し、算出した視差をもとに対象物の実空間上の位置を、周知の変換式により算出する装置である。
　このステレオカメラは、２台の撮像装置で撮像した１対の画像を用いて、対象物の距離を算出し、対象物の認識を行うステレオカメラ装置が、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用することができる。
　上述の監視システムや車載システムで利用されるステレオカメラは、位置間隔をあけて撮像された一対の撮像画像に対して三角測量技術を適用して距離を求めるというものであり、このステレオカメラは、すくなくとも２つの撮像装置と、これらの撮像装置が出力する少なくとも２つの撮像画像に対して三角測量処理を適用するステレオ画像処理ＬＳＩ（Large Scale Integration）と、を備えているのが一般的である。このステレオ画像処理ＬＳＩは、一対の画像に含まれる画素情報を重ね合わせて２つの画像の一致した位置のずれ量（視差）を求めるという処理を行うことによって、三角測量処理を実現する。そのため、一対の画像間には視差以外のずれが存在しないことが理想的であり、各々の撮像装置ごとに、光学特性や信号特性のずれがないよう調整するか、カメラ間の位置関係などを求めておく必要がある。
　図２はステレオカメラ装置の一般的な原理を示す図である。図２において、δは視差、Ｚは計測距離、ｆは焦点距離、ｂは基線長をそれぞれ表し、これらの間には式（１）で示すような関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　式（１）により距離を求めるとき、遠ければ遠いほど視差δは小さくなる。この視差δの算出性能が低下すると距離精度が低下する。そのため、視差δを正確に求めるために、各カメラのパラメータや、各カメラ間の位置関係を表すパラメータを求めるキャリブレーションが重要となる。
　撮像装置のキャリブレーションを行う方法として、例えば、非特許文献１に記載された方法が提案されている。これは、平面上に格子模様などの予め定義したパターンを描画し、その平面パターンを異なった角度からカメラで複数回撮像して、撮像した画像中の平面パターンから予め定義した格子模様の格子点等を特徴点として検出し、その既知の特徴点を用いてキャリブレーションを行うものである。この非特許文献１に記載された方法は、撮像素子の画素サイズや画像中心，焦点距離といったカメラの内部パラメータを求めることができる。
　また、外部パラメータと呼ばれるカメラ間の位置関係などを表すパラメータを求める方法としては、特許文献１に記載された方法が提案されている。これは、信号機などを画像処理により検出しその瞬間の視差を求め、さらにしばらく走行した後に先ほど検出した信号機を再度検出して視差を求め、これら２つの視差と走行距離を用いてカメラの角度ずれを求めるものである。
特開平１０－３４１４５８号公報
Z. Zhang, et al., "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp. 1330-1334, Nov 2000.
　しかし、非特許文献１の手法では、予め定義したパターンが描画されている平面パターンを異なった角度から複数回撮像する必要があるため、平面パターンを動かす設備や、複数の平面を配置した設備など特別な設備が必要である。
　また、特許文献１の方法では、求めることができる外部パラメータは、カメラの基線長と平行な方向の角度ずれのみである。さらに、異なった瞬間で求めた同一物体の視差に加え走行距離が必要であるが、走行距離の誤差などが原因で精度良く角度ずれを求めることが難しいといった課題があった。
　本発明の目的は、簡易な設備を必要とせず、あるいは特別な設備を必要とせず、簡易且つ精度良くキャリブレーションができる画像処理装置及びそれを用いた撮像装置を提供することである。
　前記課題を解決するために、本発明の画像処理装置及び撮像装置は主として、視野が重複し、位置，角度，ズーム率のいずれか少なくとも１つが異なるように撮像された２つの画像を補正する予め記憶された、あるいは演算により算出された補正データを読み込む補正データ読み込み部と、補正データ読み込み部で読み込まれた補正データを用いて撮像された画像を補正する画像補正部と、画像補正部で補正された２つの画像中から対応する対応領域を算出する対応領域算出部と、対応領域から抽出された画像パターンの一致度、対応領域間の座標の一致度、対応領域間の間隔の一致度、の少なくとも１つを算出する一致度算出部と、一致度算出部で算出された一致度に基づいてカメラパラメータを算出するカメラパラメータ算出部と、カメラパラメータ算出部で算出されたカメラパラメータ、又はカメラパラメータに基づく補正データ、を格納する補正データ格納部と、を有する構成とする。
　簡易な設備を必要とせず、あるいは特別な設備を必要とせず、簡易且つ精度良くキャリブレーションができる画像処理装置及びそれを用いた撮像装置を提供できる。
本発明に係る撮像装置のキャリブレーション方法の第１の実施の形態を示すブロック図である。 ステレオカメラの原理を示す図である。 ステレオカメラのレクティフィケーション処理の概要を示す図である。 本発明のキャリブレーション方法を適用したカメラユニットの一構成例を示す図である。 本発明のキャリブレーション方法を適用した車載システムの一構成例を示す図である。 本発明の対応領域算出部により画像間の対応領域を求めた結果の一例を示す図である。 本発明の一致度算出部により画像間の対応領域の位置を調整した結果の一例を示す図である。 本発明のカメラパラメータ算出部がカメラパラメータを求めることで撮像画像が平行化されていく過程の一例を示す図である。 本発明に係る撮像装置のキャリブレーション方法の第１の実施の形態の処理フローを示す図である。 本発明に係る撮像装置のキャリブレーション方法の第２の実施の形態を示すブロック図である。 本発明の対応領域算出部の結果と一致度算出部の結果を説明する図である。 本発明の一致度算出部により１対の対応領域から求めた幅とパラメータがずれていない場合の幅とを用いて一致度を算出する過程を示す図である。 本発明に係る撮像装置のキャリブレーション方法の第２の実施の形態の処理フローを示す図である。 本発明のキャリブレーション方法において、異なったタイミングで撮像した複数の画像を用いる一例を示す図である。 本発明のキャリブレーション方法において、異なったタイミングで撮像した複数の画像を用いる他の例を示す図である。 本発明のキャリブレーション方法において、キャリブレーション処理を分割して実行する例を示す図である。 本発明に係る撮像装置のキャリブレーション方法の第２の実施の形態のキャリブレーション処理を優先する処理フロー示す図である。 本発明に係る撮像装置のキャリブレーション方法の第２の実施の形態において、特徴点を用いて対応領域を算出例を示す図である。
　以下、図面を参照して、本発明の実施の形態について説明する。
（第１の実施の形態）
　図１は、本発明の第１の実施の形態における撮像装置であるカメラのキャリブレーション方法を備えた画像処理装置の基本構成の例を示したブロック図である。詳細は後述する。
　第１の実施の形態では、カメラの外部パラメータ，内部パラメータ，歪みパラメータを推定する手法について説明する。
　ただし、本実施例では、内部パラメータのうち横方向の拡大率と縦方向の拡大率は、右カメラを基準に左カメラを合わせるか、左カメラを基準に右カメラを合わせるか、右カメラと左カメラとも調整し左右で等しくなるように合わせるが、既知の大きさの対象や距離が既知の対象を撮像することができれば、撮像対象の実空間での大きさ、距離と撮像された画像上での大きさから横方向の拡大率と縦方向の拡大率を求めることができる。
　つまり、図２のように右カメラのレンズ中心を車両に搭載した例では、光軸方向をＺ軸、水平方向をＸ軸、垂直方向をＹ軸とすると、外部パラメータ、内部パラメータ、歪みパラメータを求め、内部パラメータの縦横の拡大率は左右の画像の拡大率が一致するように求めることに相当する。これらのパラメータが求められれば、後述のレクティフィケーション処理により、画像平面はエピポーラ線が同一直線上になるように変換することができる。
　本発明に係る撮像装置のキャリブレーション方法は、図４に示すような撮像装置であるカメラユニット１に適用されて、このカメラユニット１が備えるカメラ４ａ，４ｂ（撮像装置）により周囲の環境を認識する機能を実現する。このとき、カメラユニット１は、カメラを３つ以上備えていても良い。あるいは、カメラユニット１は、カメラを移動，パン，チルト，又はズームすることにより、撮影条件の異なる画像を、1台のカメラで異なったタイミングで撮像し、これら複数の画像を用いて周囲の環境を認識する機能を実現しても良い。また、カメラを備えるカメラユニット１とは別の図示しないコンピュータなどの処理ユニットに、カメラ４ａ，４ｂから得られる画像を取り込んで処理する構成でも良い。
　このカメラユニット１は、視野が重複するように設置された撮像素子であるカメラ４ａおよび４ｂと、これらのカメラ４ａ，４ｂにて撮像した画像を処理するための処理手段であるＣＰＵ６、ＣＰＵ用の記録手段であるＲＡＭ９、プログラム記録手段であるプログラムＲＯＭ１０と、記録手段であるデータＲＯＭ７から構成されている。ただし、この構成は必須な要件ではなく、ＣＰＵ６に加え、さらに画像処理ＬＳＩを搭載して処理の一部を専用のＬＳＩで処理する構成や、１つのＲＡＭのみでなくを画像処理ＬＳＩ用のＲＡＭなど複数のＲＡＭを用いる構成でも良い。そして、カメラ４ａと４ｂとから得られた画像を用いて距離を計測することができるステレオカメラとして機能する構成となっている。
　本カメラユニット１は、例えば車両車室内のルームミラーの左右にカメラが配置されるように取り付ける。以降では、右側のカメラを右カメラ、左側のカメラを左カメラと表記する。ただし、カメラは２台である必要はなく、左右に並んでいる必要もなく、視野が重複していれば本発明によりキャリブレーションすることができる。また、カメラの位置も左右方向に配置する代わりに、上下に配置するなど他の構成であっても良い。あるいは、車両が移動した際に、１台のカメラで異なったタイミングで撮像した複数の画像を用いても良い。
　ここで、第１の実施の形態を具体的に説明する前に、キャリブレーションで求める各種パラメータについて概要を説明する。
　一般的に撮像画像とレンズは、レンズ歪みを含まないと仮定するとピンホールカメラモデルで扱うことができる。以降では、まずレンズ歪みを含まない場合について説明し、その後、レンズ歪みを含む場合について説明する。また、近年の製造技術の進歩により撮像素子の両座標軸の成す角度は直角とみなせるようになってきているため、画像の両座標軸の成す角度が直角として説明するが、画像の両座標軸の成す角度を含む形で扱うこともできる。
　カメラ座標系の点を（Ｘ，Ｙ，Ｚ）とし、それぞれの点の画像座標系の点を（ｕ，ｖ）とすると、ピンホールカメラモデルは式（２）で表される。
Figure JPOXMLDOC01-appb-M000002
　ここで、αuはカメラの横方向の拡大率、αvはカメラの縦方向の拡大率、ｕ0，ｖ0はカメラの画像中心である。ただし、αu，αvは焦点距離と画素サイズから成る。また、式（２）を同次座標を用いて行列表記すると式（３）が得られる。
Figure JPOXMLDOC01-appb-M000003
　ただし、ｓはスカラーである。また、撮像素子の両座標軸の成す角度θを考慮に入れて、内部パラメータを行列表記すると下記式（４）の通り表すことができる。
Figure JPOXMLDOC01-appb-M000004
　以降、前記拡大率や画像中心などを総称して内部パラメータと呼ぶ。
　また、レンズを通して入射光を撮像素子で露光した際に、撮像される画像に歪みが生じる。歪みを大別すると３つに分けることができる。１つ目は、画像中心から離れるほど入射光がピンホールカメラモデルよりも内側に撮像されるレンズ歪み、２つ目は、複数枚から成るレンズの場合に各レンズ中心のずれにより発生する歪み、３つ目は、光軸と撮像面が直交せず角度ずれが発生することによる歪みである。このように歪みの原因としては、複数考えられる。
　例えば、レンズ歪み等を考慮した歪みモデルを用いることとすると、歪みモデルは、下記の式（５），式（６）で表される。ただし、この歪みモデルは必須の要件ではなく、異なったモデルを用いても良い。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　ここで、ｘ′，ｙ′は、式（７），式（８）で表される焦点距離ｆを１とした場合の正規化座標系における歪み補正後の座標位置であり、ｘ″，ｙ″は、正規化座標系における歪み補正前の座標位置である。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　よって、最終的に得られる画像座標系における歪み補正前の画素位置（ｕ′，ｖ′）は、画像の拡大率と画像中心から次式（９）（１０）で求めることができる。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　つまり、キャリブレーションにより、ｋ1，ｋ2，ｐ1，ｐ2を求めることで歪みを補正することができる。以降では、これらのパラメータを歪みパラメータと呼ぶ。
　次に外部パラメータについて説明する。外部パラメータとは、２つの３次元座標系の対応関係を表すパラメータであり、回転成分を表す３自由度の回転行列と、３自由度の平行移動ベクトルから成る。ステレオカメラのキャリブレーションでは、右カメラと左カメラの各カメラ座標系の対応関係を表す外部パラメータを求めることになる。右カメラ座標系の点を（ＸR，ＹR，ＺR）、左カメラ座標系の点を（ＸL，ＹL，ＺL）、回転行列をＲ、平行移動ベクトルをｔとすると、式（１１）の関係が得られる。
Figure JPOXMLDOC01-appb-M000011
　ここで、任意の回転は、例えばＺ軸まわりの回転φZ、次に新しいＹ軸まわりの回転φY、最後に新しいＸ軸まわりの回転φXの３段階によって表し、回転行列Ｒは次式（１２）で表される。また、回転の表記は、オイラー角や、回転ベクトルにより回転軸と回転量を表すものであっても良い。
Figure JPOXMLDOC01-appb-M000012
　また、平行移動ベクトルは次式（１３）の通りである。
Figure JPOXMLDOC01-appb-M000013
　キャリブレーションでは、以上で述べた内部パラメータ，歪みパラメータ，外部パラメータの全て、あるいは一部を求める。
　次に、上記の外部パラメータを用いて視差を求めるための方法について説明する。
　ステレオ画像を用いて３次元計測を行う際には、左右の画像間での対応点の探索が重要になる。この対応点の探索の際に重要な概念が、エピポーラ幾何である。２つのカメラの幾何関係が既知の場合、一方の画像で１点が与えられると、エピポーラ平面と各画像上のエピポーラ線が決まる。３次元空間のもとの座標が未知でも他方の画像では、対応点がエピポーラ線上に限定される。従って、対応点の探索は、２次元の探索ではなく、エピポーラ線に沿った１次元の探索で良い。
　回転行列Ｒの各要素ｒ11からｒ33と、平行移動ベクトルの各要素を用いると、下記の関係式（１４）～（１７）を得る。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
　ここで、式（１３），式（１４）を式（１５）および式（１６）に代入して、Ｚを消去すると下記の方程式（１８）が成立する。
Figure JPOXMLDOC01-appb-M000018
　エピポーラ線の方程式の係数ａ，ｂ，ｃは式（１９）となり、エピポーラ線を求めることができる。また、歪み補正後の左画像上の点に対する右画像上のエピポーラ線に関しても同様に求めることができる。
Figure JPOXMLDOC01-appb-M000019
　上記では、エピポーラ線を算出し、そのエピポーラ線上で対応点を探索する場合について述べてきたが、エピポーラ線を求める方法以外に左右の画像を平行化する方法（レクティフィケーション）が用いられる。レクティフィケーション後の画像座標系では、左右の画像内の対応点が同一水平線上に存在することになるため、対応点の探索を画像の水平ライン軸に沿って行えば良い。組込みシステムでは、特に計算コストの問題からレクティフィケーションを用いることが多い。
　図３にレクティフィケーション処理の概要を示す。このレクティフィケーション処理では、右カメラ座標系の原点ＣＲと左カメラ座標系の原点ＣＬは移動せずに、カメラ座標系を回転させることにより新しい平行な画像面を生成する。ＣＲからＣＬへの平行移動ベクトルｔの大きさは、以下の式（２０）の通りである。
Figure JPOXMLDOC01-appb-M000020
　このとき、以下の式（２１）、式（２２）、式（２３）に示す３つの方向ベクトルｅ1，ｅ2，ｅ3を定義し、それぞれの方向ベクトルをレクティフィケーション後のＸＹＺ軸の方向ベクトルとすることで画像の平行化を行うことができ、新しい左右の画像平面上ではエピポーラ線が同一直線上となる。つまり、レクティフィケーション後のＸＹＺ軸が方向ベクトルｅ1，ｅ2，ｅ3と一致するように右画像を回転させる回転行列、左画像を回転させる回転行列で変換すれば良い。
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
Figure JPOXMLDOC01-appb-M000023
　組込みシステムでは、リアルタイムで処理するためにレクティフィケーションのアプローチを採用するのが一般的である。以降では、レクティフィケーションにより画像を平行化する画像補正を用いた場合を例に説明する。
　次に、前述の内部パラメータ，外部パラメータ，歪みパラメータを求める方法について説明する。以下、これらのパラメータを総称してカメラパラメータと呼ぶことにする。また、内部パラメータ，外部パラメータ，歪みパラメータはすべて求める必要がなく、いずれかを固定して求めても良い。あるいは、これらのパラメータの代わりに、これらのパラメータに変換可能なパラメータ、前述のカメラパラメータを用いたカメラモデルを近似した数式のパラメータなどを推定する構成としても良い。また、内部パラメータ、外部パラメータ、歪みパラメータの代わりに、補正後と補正前の画素位置を算出することができる射影変換行列、基礎行列、アフィン変換等の各要素を求めても良い。
　なお、カメラパラメータをまとめると、以下のように定義される。　
　・内部パラメータ：撮像素子の焦点距離，画素の縦方向の大きさ，画素の横方向の大きさ、縦方向の拡大率，横方向の拡大率，撮像素子の縦軸と横軸の成す角度，光軸中心の座標など。　
　・外部パラメータ：撮像素子間の回転角度、撮像素子間の平行移動量など。　
　・歪みパラメータ：画像の歪みを補正するパラメータなど。
　撮像装置であるカメラユニット１では、プログラムＲＯＭ１０に本実施の形態に関するキャリブレーションプログラムが格納されており、電源をＯＮにするとＣＰＵ６がこれらのプログラムを実行することで、キャリブレーション機能が実現され、図１の画像処理装置の機能ブロック図のように補正データ読み込み部２１，画像補正部２２，対応領域算出部２３，一致度算出部２４，カメラパラメータ算出部２５，補正データ格納部２６として機能するようになっている。
　補正データ読み込み部２１は、２つの撮像素子であるカメラ４ａ，４ｂで撮像された画像に補正する為に、記録手段であるデータＲＯＭ７，ＲＡＭ９等からカメラパラメータやカメラパラメータから求めた変換前後の画素位置の対応関係をテーブル化した変換テーブルなどの補正データを読み込む機能を有するものである。あるいは、ＣＰＵ６がプログラム内の変数，定数，乱数等を用いて算出したパラメータ、パラメータから求めた画像を補正する変換テーブルを用いても良い。
　画像補正部２２は、読み込んだ補正データを用いて、撮像された画像に対して、歪みの補正、レクティフィケーション処理などの画像補正を行う機能を有するものである。なお、画像補正部２２は、２つのカメラの一方のカメラ４ａのカメラパラメータを補正データとして他方のカメラ４ｂで撮像された画像を補正しても良い。
　対応領域算出部２３は、画像補正部２２で補正されたカメラ４ａと４ｂの画像間で対応する対応領域を求める機能を有するものである。なお、対応領域は、複数設けても良い。また、既知パターンを撮像してキャリブレーションを行う場合は、予めどの領域が対応する領域かを定義することができるため、予めプログラム内等に定義しておいても良い。または、既知パターンの特徴点をそれぞれの画像から検出し、その特徴点を照合することで対応領域を求めても良い。あるいは、図示しないＰＣ等の外部機器と接続し、外部機器から対応領域を入力できる構成としても良いことは明らかである。
　一致度算出部２４は、カメラ４ａと４ｂにより撮像され補正された画像間の対応領域内の画像がどの程度一致しているかを表す一致度を求める機能を有するものである。具体的には、一致度算出部２４は、対応領域から抽出された画像パターンの一致度、対応領域間の座標の一致度、対応領域間の間隔の一致度、の少なくとも１つの一致度を算出する。なお、画像パターンの一致度では、対応領域内の画素の輝度値，輝度変化量，輝度変化の方向，カラー情報，カラーの変化量，カラーの変化の方向，輝度のヒストグラム，輝度変化量のヒストグラム，カラーの変化量のヒストグラム，輝度変化の方向のヒストグラム，カラー変化の方向のヒストグラム等の画像パターンを変えられる特徴量を用いることができる。対応領域間の間隔の一致度を算出する場合、対応領域間の間隔の平均値，対応領域間の間隔の最小値，対応領域間の間隔の最大値等の複数の対応領域の間隔から算出することができる値をうち少なくとも１つから算出した値、予め記憶又は定義された平行なパターンの幅の値、地図データベースや外部機器から受信された平行なパターンの幅の値、の少なくとも１つを比較して一致度を算出する。
　カメラパラメータ算出部２５は、一致度算出部２４により求めた一致度に基づいてカメラパラメータを算出する。具体的には、算出された一致度がより高い値（あるいは低い値）になるようにカメラパメータを求める。一致度がより高い値になるようにカメラパラメータを求めるか、低い値になるようにカメラパラメータを求めるかは、一致度に用いる評価関数などの指標によって異なる。
　補正データ格納部２６は、カメラパラメータ算出部２５で求めたカメラパラメータ（外部パラメータ，内部パラメータ，歪みパラメータ等）、又は、カメラパラメータに基づいて算出された補正前後の対応関係を示す変換テーブルを、記録手段であるＲＡＭ９やデータＲＯＭ７等に一時的に保持、あるいは格納する機能を有する。または、カメラパラメータ（外部パラメータ，内部パラメータ，歪みパラメータ等）に基づいた補正データ、具体的には、カメラパラメータを用いた補正後の画素の座標と補正前の画素の座標を計算し、ルックアップテーブル等の形式で各画素を補正するための補正データを、記録手段であるＲＡＭ９やデータＲＯＭ７等に格納する。
　以上のように構成されるカメラユニット１は、上述したように、ＣＰＵ６がキャリブレーションプログラムを実行することで、カメラパラメータを求めて補正データを格納するまでのキャリブレーション処理を実行できる。ただし、キャリブレーション処理とは別にカメラユニット１で画像処理による立体物検知などの機能をカメラユニット１内で行っても良い。
　ここで、以上のようなカメラユニット１において、キャリブレーションの一連の処理の流れをフローチャートを参照しながら説明する。
　この図９に示す一連の処理は、電源がオンとなったときにスタートし、電源がオフとなるまで繰り返し行われる。あるいは、キャリブレーション処理を所定回数実行し、キャリブレーション処理を終了する構成としても良い。また、図４のカメラユニット１の構成の場合は、画像の補正処理は、画像処理ＬＳＩで行うと高速に処理することができる。もちろん、すべてをＣＰＵで処理しても同一の処理を実行できる。
　まず、電源がオンとなると、カメラユニット１によりキャリブレーション処理が実行され、ＲＡＭ９の初期化処理などを実行する（ステップ１０１）。次に、キャリブレーションを実行するタイミングか否かを判定し（ステップ１０２）、ステップ１０３でキャリブレーションを実行するタイミングであればステップ１０４に移行し、キャリブレーションを実行するタイミングでなければステップ１０２に戻る。
　このキャリブレーションのタイミング判定は、例えば図示しない外部機器によりキャリブレーションの実行の指令信号を送信し、それをカメラユニット１で受信して判定することでカメラユニット１のメンテナンス時にキャリブレーションを実行する。または、車両に搭載して車両が走行中にキャリブレーションを行う場合は、自車両が停車中や後退中など、他の画像処理プログラムが動作する必要のないタイミング、遠方から近距離までが視野内に含まれているタイミング、昼など照明条件の良い環境や、晴天，曇り，室内など外乱の少ない環境などを、キャリブレーションタイミングとして判定する。
　そして、キャリブレーションタイミングと判定された場合は、補正データ読み込み部２１が、補正後と補正前の画像の対応関係を保持するルックアップテーブル形式の補正テーブルや、内部パラメータ，外部パラメータ，歪みパラメータ等からなる補正データを記録手段であるデータＲＯＭ７、プログラム記録手段であるプログラムＲＯＭ１０のいずれかから読み込む（ステップ１０４）。あるいは初期化処理（ステップ１０１）で、データＲＯＭ７あるいはプログラムＲＯＭ１０に保存されている補正データを、ＲＡＭ９に保存しておき、ＲＡＭから読み込む構成等であっても良い。または、ＣＰＵ６等がプログラム内の変数，定数，乱数等を用いて算出したパラメータや、パラメータから求めた画像を補正する変換テーブルを用いても良い。
　その後、画像補正部２２にて補正データを用いて画像を補正する（ステップ１０５）。具体的には、ルックアップテーブル形式の補正テーブルを用いて、補正後の各画素の輝度値、カラー情報を求めるか、前述の式（２）から式（２３）で説明したカメラパラメータを用いて画像の平行化を行う。
　そして、対応領域算出部２３が、各カメラで撮像し、画像補正部２２で補正した画像間で対応する領域を求める（ステップ１０６）。その例を、図６に示す。図６は、上段が補正後の右画像、下段が補正後の左画像であり、車両部分を第１の対応領域、歩行者部分を第２の対応領域として求めた例である。図６の例では、簡単のためレンズ歪み等を含まないが、レンズ歪みが生じている画像であっても良い。対応領域は、２つである必要はなく、３つ以上でもあるいは１つでも良い。また、図６では、対応領域は、歩行者部分と車両部分だが、これに限るものではなく、例えば、白線等のレーンマーカ，路面，速度制限標示などの路面標示，家，工場，病院などの建造物，電柱，ガードレールなどの構造物，室内に存在する床と壁面の境界線，天井と壁面の境界線，窓枠の部分を含むように対応領域としても良い。このときの補正画像は、カメラパラメータが正しく求まっていない、経年変化によりずれが発生している、キャリブレーションが未実施のため初期値を使用しているなどの理由からエピポーララインが平行になっていないものとし、説明する。
　さらに、対応領域算出部２３では、図７に示すように対応領域の画像の垂直方向の座標が等しくなるように、片方の対応領域の位置を調整する。図７は、左画像の対応領域を調整した例であり、図７（ａ）が位置の調整前、図７（ｂ）が位置の調整後である。ただし、本実施例では左右エピポーラ線が平行かつ、画像の垂直方向の座標が等しい場合について説明しているが、エピポーラ線が平行でない場合等でも、対応領域を理想的なエピポーラ線上なるように調整する等により同様の処理が可能である。または、求めたパラメータを用いて、同一の視点からの画像にそれぞれの画像を変換しても良く、その場合は同一視点の画像であることから例えば対応領域の座標が一致するように調整する。
　対応領域算出部２３が、対応領域を求める際に用いる領域は、例えば公知のテンプレートマッチングやサポートベクターマシンやニューラルネットワークを用いた歩行者検知、車両検知を用いて歩行者，車両等を検知して、その領域を用いて左右のカメラから得られる画像の対応領域を求める。
　または、視差データを用いて、同じ視差を多く含む領域を求め、その領域を対応領域算出に用いても良い。このとき、対応領域算出に用いるそれぞれの領域は、距離が近い画素を多く含む領域を選択することで精度良くキャリブレーションを行うことができる。これは、距離が異なるとそれぞれの視差が異なるため原理的に対応領域間が一致しないためである。または、平面等を対応領域として用いる場合は、平面の角度や平面までの距離から各画素の視差を求めて一致度を算出することで、１つの領域内で距離が異なる場合でも本発明によりカメラパラメータを求めることができる。
　これは、距離が異なる画素では、左右の視差が異なるため、左右の対応領域間の一致度を求める際に誤差が大きくなるためである。また、複数の対応領域を用いる場合、画像の一カ所に集中させず、画像の全体に配置することで、より精度の良いキャリブレーションを行うことができる。
　これは、例えば画像右端のみに対応領域を配置した場合、求めたカメラパラメータでレクティフィケーションを行うと画像右側ではエピポーラ線が平行かつ同一直線上に近くなるものの画像左側では誤差が発生する可能性があるためである。
　その後、一致度算出部２４が、対応領域間の一致度を算出する（ステップ１０８）。一致度は、例えば輝度値の差分の総和（ＳＡＤ：Sum of Absolute Difference），輝度値の差分の二乗和（ＳＳＤ：Sum of Squared Difference）、正規化相互相関（ＮＣＣ：Normalized Cross Correlation）などで求めることができる。ＳＡＤやＳＳＤなどを一致度として利用した場合は、一致度が小さいほど対応領域内の画像が一致していることになり、正規化相互相関などを利用した場合は、一致度が大きいほど対応領域内の画像が一致していることになる。
　本実施の形態では、ＳＳＤを用いた場合を例に説明する。ＳＳＤを用いた一致度ｅは、例えば式（２４）により求めることができる。ただし、右画像と左画像の対応領域のサイズは同じとし、対応領域はＭ個の対が存在し、各対応領域内にはＮj個の画素が存在することとする。ただし、対応領域内の画素Nj個すべてを用いる必要はなく、その一部を用いて計算しても良い。また、Ｉjは右画像のｊ番目の対応領域内の画素のうち座標ｉの画素をパラメータｐを用いてＷRの座標変換を行って得られる輝度値であり、Ｔjは左画像のｊ番目の対応領域内の画素のうち座標ｉの画素をパラメータｑを用いてＷLの座標変換を行って得られる輝度値を表す。ただし、前述の通り、輝度値以外に輝度の変化量などを用いても良い。ＷRは前述のレクティフィケーション処理時にレクティフィケーション後の座標ｉから、レクティフィケーション前の座標を求める変換式であり、ＷLは座標ｉを対応領域の視差ｍj分だけシフトした座標に対する、レクティフィケーション前の座標を求める変換式である。
Figure JPOXMLDOC01-appb-M000024
　なお、歪みのモデルや、回転の表現形式などは異なったものを用いても良い。また、内部パラメータ、外部パラメータ、歪みパラメータの代わりに、補正後と補正前の画素位置を算出することができる射影変換行列、基礎行列、アフィン変換等の各要素を求めても良い。例えば、射影変換行列を用いる場合、カメラの内部パラメータ、外部パラメータの代わりに、パラメータｐに右画像の射影変換行列の各要素を、ｑに左画像の射影変換行列の各要素を用いれば良い。ただし、対応領域内に例えば平面等が撮像されている場合は、対応領域に対して１つのｍjではなく、平面までの距離、平面の角度や法線ベクトルの方向等から対応領域内の各画素の視差を求めても良い。この場合は、ｍjではなく、平面までの距離，平面の角度や法線ベクトルの方向等を最適化する。平行な複数の平面や、距離が既知でかつ平行な複数な平面，垂直に交わる平面等が存在する場合は、平面の平行であることや垂直であること、平面間の距離が既知であることを利用して各対応領域間の視差ｍｊを求める構成としても良い。複数の平面が、平行，垂直でなくてもその平面間の成す角度が既知であれば同様である。通常の二乗誤差を最小とする問題では、片側（例えばＴ）を固定し、もう一方（例えばＩ）が固定したＴに一致するパラメータを求める。一方、本発明で用いる式（２４）はＴだけでなく、Ｉも変換し、それぞれを変換した際に誤差が最小となるパラメータｐ，ｑを求めるため、通常の最小二乗問題とは異なる。
　次に、カメラパラメータ算出部２５では、一致度算出部２４で求めた一致度ｅがより小さく（ＮＣＣ等の場合は大きく）なるようにカメラパラメータを求める（ステップ１０９）。
　カメラパラメータ算出部２５は、例えば公知の勾配法，ニュートン法，ガウスニュートン法，Levenberg－Marquardt法（修正ガウスニュートン法）などの最適化アルゴリズムを用いて、一致度ｅが最小となるように最適化処理を行うことでカメラパラメータを求めることができる。このとき、内部パラメータ，外部パラメータ，歪みパラメータのすべてを最適化しても良く、あるいはいくつかを固定値として扱い、それ以外のパラメータを最適化しても良い。例えば、内部パラメータ，歪みパラメータを固定し、外部パラメータのみを求める構成にすれば、経年変化等によりカメラの設置位置がずれた際の補正に利用することができる。
　ここで、式（２４）の誤差が最小となるパラメータを推定する方法について説明する。Ｉj(ＷR(ｉ；ｐ))をテイラー展開して２次以上の項は微小と仮定し無視し、同様にＴj(ＷL(ｉ；ｑ))をテイラー展開して２次以上の項は微小と仮定し無視すると、次式（２５）が得られる。
Figure JPOXMLDOC01-appb-M000025
　ただし、∇ＩはＷR(ｉ；ｐ)により得られる補正前の座標の輝度の変化量、∇ＴはＷL(ｉ；ｑ)により得られる座標の輝度の変化量である。また、Δｐはパラメータｐの更新量、Δｑはパラメータｑの更新量である。そして、式（２５）をΔｐ，Δｑで微分した値が０のときにパラメータが最適となるため、次式（２６）が得られる。
Figure JPOXMLDOC01-appb-M000026
　よって、ΔｐおよびΔｑは式（２７），式（２８）により求めることができる。
Figure JPOXMLDOC01-appb-M000027
Figure JPOXMLDOC01-appb-M000028
　Ｈpは式（２６）をΔｐで微分した場合のヘッセ行列、Ｈqは式（２６）をΔｑで微分した場合のヘッセ行列である。また、添え字Ｔは転置を表す。
　この式（２７），式（２８）を求めることで誤差をより小さくするパラメータを求めることができる。具体的には、ｐにｐ＋Δｐを、ｑにｑ＋Δｑを代入してパラメータを更新すれば良い。
　そして、式（２）から式（２３）で説明した原理を用いて各画素の補正前と補正後の座標位置の対応関係をルックアップテーブル形式で算出し、そのルックアップテーブルを補正データとして保存する（ステップ１１０）。具体的には、例えば変換後の座標（１，１）に対応する変換前の座標は（０.８，０.６）といったように変換後の座標１画素ごと、あるいは一定間隔ごとにルックアップテーブルを作成する。
　次に、カメラパラメータ算出部２５で求めたカメラパラメータをデータＲＯＭ７，プログラムＲＯＭ１０，ＲＡＭ９のいずれかに保存する（ステップ１１１）。ただし、前記ルックアップテーブルの作成を省略し、カメラパラメータを保存するようにしても良い。
　そして最後に、一致度ｅが予めプログラムで設定されている閾値等よりも小さい（あるいは大きい）か、繰り返し回数が予めプログラムで設定されている上限等を超えているかなどを判定し、一致度ｅが予めプログラムで設定されている閾値等よりも小さい（あるいは大きい）場合、あるいは繰り返し回数が予めプログラムで設定されている上限等を超えている場合にキャリブレーション終了し、それ以外の場合は再度ステップ１０４からキャリブレーション処理を実行する。
　この過程を図８に示す。まず、上段では、カメラパラメータが求まっていないため左右のカメラでエピポーラ線が平行になっていないが、ステップ１０４からステップ１１１までのキャリブレーション処理を行うとカメラパラメータが最適な値に近づき（図８中段）、さらにステップ１０４からステップ１１１までの処理を繰り返すと最終的にはエピポーラ線を平行化することができ（図８下段）、図８下段の画像で対応領域の一致度が最小（あるいは最大）に近づく。図８の例では、左カメラのみに誤差が存在し、左カメラに関するパラメータのみが最適化されているが、左右画像ともに誤差が存在する場合でも同様に最適化することができる。
　ステップ１１２のキャリブレーション終了の判定において、所定回数キャリブレーションを実行後に一致度ｅが所定の値よりも大きい（あるいは小さい）場合、カメラに異常が発生している、キャリブレーションが正常に実行できなかったと判断して、撮像素子であるカメラを停止する停止信号を出力する、スピーカーから音声でドライバ、又はユーザに警告音を発する警告信号を出力する、又は、その警告信号に基づいてディスプレイに警告を表示するといった処理を行うことで、カメラの位置ずれが発生した際の誤動作を防止することができる。
　以上までに述べたように。第１の実施の形態を適用した撮像装置のキャリブレーション方法を用いることで、既知のパターンが描画された平面パターンなどを用いずに、左右のカメラからえられる画像の対応領域間が一致するようにカメラパラメータを求めることで、キャリブレーションを行うことができる。ただし、キャリブレーション用の既知のパターンを用いても良いことは言うまでもない。従来の手法では、特徴点を検出してキャリブレーションしていたため、特徴点の検出誤差によりキャリブレーション結果にも誤差が発生していた。
　本発明は、画像を直接比較するため、従来の手法よりも精度良くパラメータを求めることができる。
　また、第１の実施の形態を適用した撮像装置のキャリブレーション方法を用いることで、工場出荷時以外に、車両に搭載し道路を走行中、建物に監視カメラとして取り付けた後などの環境でも、キャリブレーションを行うことができる。振動や温度変化，衝撃などが原因で、カメラの外部パラメータ等がずれた場合でも、再度キャリブレーションを行うことができるといった利点もある。設置場所は、車両や建物以外でも、カメラ間の視野が重複している画像が撮像できる環境であれば、本実施の形態を適用できることは明らかである。
　さらに、第１の実施の形態を適用した撮像装置のキャリブレーション方法では、距離の異なる複数の対応領域を対応領域算出部で求めキャリブレーション処理を実施することで、近距離，遠距離を撮像した場合どちらにおいてもエピポーラ線が平行になるようにカメラパラメータを精度良く求めることができる。
　また、平面パターン上の特徴点を検出し、その特徴点を用いてキャリブレーションを行う従来の方法では、特徴点の検出時に誤差が発生するといった問題があったが、本実施の形態では特徴点の検出は行わず、直接画像を比較することでカメラパラメータを求めるため、精度良くカメラパラメータを求めることができる。さらに、対応領域算出部２３が、対応領域内に距離の近い画像が多く含まれるように対応領域を求めると、エピポーラ線を平行化した際に対応領域間の画像がより一致するため精度良くカメラパラメータを求めることができる。また、ある瞬間に撮像された画像のみではなく、複数の異なるタイミングで撮像した画像を用いてキャリブレーションを行えば、より多くの対応領域を利用することができるため、より精度良くキャリブレーション結果を得ることができる。
　以上までに述べた方法は、カメラを２台用いるステレオカメラに関して説明したが、カメラが３台以上存在する場合でも、視野が重複していれば本実施の形態を適用することができるのは明らかである。また、カメラが１台であっても撮像する位置等が異なる画像を、例えば異なるタイミングで撮像した画像を用いれば本実施の形態を適用することができる。
　また、少なくとも１台のカメラの内部パラメータ，歪みパラメータ等のすべてを、あるいはその一部を、事前に別の方法（例えば、非特許文献１の方法）によって事前に求めておき、その他のカメラの内部パラメータ，歪みパラメータ，外部パラメータを求めることで、事前にカメラパラメータを求めたカメラの画像を基準として、他のカメラの内部パラメータ，歪みパラメータ等を求めることができる。
　また、内部パラメータ，歪みパラメータ，外部パラメータを求める代わりに、画像の拡大，回転，並行移動に関するパラメータなど、カメラパラメータによる画像補正の近似的な変換が可能なパラメータ、カメラパラメータから変換可能なパラメータを用いても良い。また、内部パラメータ、外部パラメータ、歪みパラメータの代わりに、補正後と補正前の画素位置を算出することができる射影変換行列、基礎行列、アフィン変換等の各要素を求めても良い。
　さらに、以上までに述べた方法は、画像の輝度値を用いて一致度算出部２４で一致度を算出したが、輝度値の代わりに輝度の変化量，カラー情報，カラーの変化量，輝度のヒストグラムなど画像から得られる各種特徴量などを用いても良い。
　また、カメラユニット１がディスプレイ，マウス，キーボード，タッチパネル等の入力装置を具備し、入力装置を用いてユーザが例えば人の領域や車の領域を指定する構成でも良く、人手で対応領域算出部で用いる領域を指定することで、異なった距離の画素が多く含まれる領域を除外することができ、キャリブレーションの精度が向上する等の効果がある。
　第１の実施の形態では、画像を平行化するレクティフィケーション処理後の画像で、対応領域が一致するようにカメラパラメータを求めたが、例えば左右のカメラの視点が同一になるような画像変換処理後の画像を用いても良い。
（第２の実施の形態）
　第２の実施の形態について、図面を参照して詳細に説明する。
　なお、第２の実施の形態に拘わるキャリブレーション方法の構成について、上述した第１の実施の形態と同様の構成については図中同一の符号を付し、重複した説明は省略する。
　第２の実施の形態では、図５に示すように撮像装置であるカメラユニット１に加え、コントロールユニット２とからなる車載システムで構成されている。カメラ４ａ，４ｂは、車両に取り付けて前方を撮像するように取り付けられている例について説明するが、必ずしも車両である必要はなく、建物等に取り付けても良い。
　カメラユニット１は、第１の実施の形態と同一である。また、コントロールユニット２はＣＰＵ１２，ＲＡＭ１１，プログラムＲＯＭ１４，データＲＯＭ１３とから構成されている。そして、車載システムでは、このカメラユニット１とコントロールユニット２が接続されており、さらに車室内に設置されて各種画像および各種情報を表示するためのディスプレイ１５と、自車が障害物に衝突する危険性が高い場合などに警告音声を発生する、あるいはナビゲーションの音声案内等を発生するスピーカー１９と、エンジンを始動する際にＯＮとなるイグニッションスイッチ３１が接続されており、ディスプレイ１５の表示制御をはじめとして当該車載システム全体の動作をコントロールユニット２が制御する構成となっている。
　本実施の形態は、図１０の画像処理装置に示す機能ブロック図のように、図１の第１の実施の形態に比べ、画像補正部２２と対応領域算出部２３の間に、視差算出部２７を設け、さらに視差算出部２７の次に画像認識部２８を具備することを特徴とする。
　本発明に係る撮像装置のキャリブレーション方法は、図５に示すような車載システムに適用されて、カメラユニット１が備える車載カメラ４ａ，４ｂにより車両周囲の環境を認識する機能を実現する。このとき、車載カメラは３つ以上備えていても良い。あるいは、カメラが１台であっても撮像する位置等が異なる画像を、例えば異なるタイミングで撮像した画像を用いても良い。また、車載カメラ４ａ，４ｂとは別体のコントロールユニットが車載カメラ４ａ，４ｂから画像を取り込んで処理し、処理領域を車載カメラ４ａ，４ｂに設定する構成でも良い。
　図５に示すカメラユニット１は車両に搭載されて図５に示す車載システムに適用される。このシステムは、例えば、車載カメラユニット１が自車両の前方に存在する障害物等を検出し、コントロールユニット２の制御の基で、検出結果に基づいて車両を制御、あるいは乗員に危険を報知するための装置である。
　カメラユニット１では、プログラムＲＯＭ１０に障害物等を検知する画像処理プログラムとキャリブレーションプログラムが格納されており、ＣＰＵ６がこれらのプログラムを実行することで、障害物等を検知する機能および撮像装置のキャリブレーション機能が実現されるようになっている。
　また、この車載のカメラユニット１は、車速センサ１７，ハンドル角センサ１６，リバーススイッチ１８の情報をコントロールユニット２から受信できる構成になっている。図示しないヨーレートセンサや、ジャイロセンサ，ＧＰＳセンサ，地図データベースなどから車両の動きや位置に関する信号を受信できる構成にしても良い。
　さらに、エンジンを始動すると画像処理プログラムとキャリブレーションプログラムが実行され、カメラユニット１が図１０の画像処理装置の機能ブロック図のように補正データ読み込み部２１，画像補正部２２，視差算出部２７，画像認識部２８，対応領域算出部２３，一致度算出部２４，カメラパラメータ算出部２５，補正データ格納部２６として機能するようになっている。
　補正データ読み込み部２１，画像補正部２２，対応領域算出部２３，一致度算出部２４，カメラパラメータ算出部２５，補正データ格納部２６は、第一の実施の形態と同様の機能を有するものである。
　視差算出部２７は、画像補正部２２で補正された左右の撮像素子であるカメラから得られる画像の見え方の差（視差情報）を算出する機能を有するものである。
　画像認識部２８は、視差算出部２７から得られる視差情報、カメラ４ａ，４ｂから得られる画像、カメラ４ａ，４ｂから取得し画像補正部２２で補正した画像の少なくともいずれかを用いて障害物等（歩行者，動物，車両，家や工場や病院などの建造物、電柱やガードレールなどの構造物等）を検出する機能，画像の視点変更等の画像処理機能などの機能を有するものである。
　ここで、以上のような車載システムにおいて、撮像装置のキャリブレーション処理、および画像処理の流れをフローチャートを参照しながら説明する。
　この図１３に示す一連の処理は、イグニッションスイッチがオンとなったときにスタートし、イグニッションスイッチがオフとなるまで繰り返し行われる。例えば、自車両が走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がナビゲーションシステムの走行経路案内画像かその他の映像であるかに拘わらずプログラムは実行される。
　以下では、ステップ１０２，ステップ１０６，ステップ１０８，ステップ１０９、およびステップ１１３からステップ１１８の個々の処理について図１３に示すフローチャートに沿って説明する。
　ステップ１０２では、車載システム３のハンドル角センサ１６，車速センサ１７，リバーススイッチ１８等から得られる情報を用いてキャリブレーションのタイミングを判定する。例えば、ハンドル角センサ１６から得られる値が所定値以下の場合にキャリブレーションタイミングと判定する。これは、車両が旋回中に生じる画像のぶれによるキャリブレーション精度の低下を防止することができる。
　また、車速センサ１７等から得られる自車の速度が、所定値以下（あるいは所定値以上）の場合にキャリブレーションタイミングと判定する。これは、例えば車両が停車中に画像処理を停止して、キャリブレーションのみを実行することができる。
　または、自車の速度が所定値以上のときにキャリブレーションを実行タイミングと判定すれば、高速道路など見通しの良い道路でキャリブレーションを実行することができる。リバーススイッチ１８から得られる情報を用いれば、車両が後退時に画像処理を停止して、キャリブレーションのみを実行することができる。これらのキャリブレーションタイミング判定は、一例であり図示しないヨーレートセンサ，ジャイロセンサ，レーダ，カーナビゲーションや地図データベース，照度センサ，雨滴センサ等から得られる情報を用いて判定しても良い。ヨーレートセンサ，ジャイロセンサを用いれば、ハンドル角センサ１６を用いた場合と同様の判定をすることができる。レーダを用いると、自車前方の近距離に車両等の物体が存在しない場合を、キャリブレーションタイミングとして判定することができる。
　カーナビゲーションや地図データベースを用いれば、自車が見通しの良い道路を走行中か、走行の方角、時間帯から逆光となっていないかといった判定ができる。照度センサは、ヘッドライトのＯＮ，ＯＦＦを制御するためのものであり、昼か夜といった周囲の明るさを検知することができるため、明るさが所定値以上の場合のみをキャリブレーションタイミングと判定できる。雨滴センサは、ワイパーを自動制御するためのものであり、フロントガラスに付いた水滴を検知することができるため、フロントに水滴が付いていない場合をキャリブレーションタイミングと判定できる。
　そして、ステップ１０３でキャリブレーションを実行するタイミングであればステップ１１３に移行し、キャリブレーションを実行するタイミングでなければキャリブレーションタイミング判定の処理を繰り返す。
　キャリブレーションのタイミングと判定された場合は、キャリブレーション用の画像をＲＡＭ９などにコピーする（ステップ１１３）。キャリブレーション用の画像を複写、コピーすることで、同一の画像を用いてキャリブレーション処理を行うことができるとともに、並行して画像処理を実行することができる。このため、キャリブレーション処理と画像処理をマルチタスクとして実行し、例えば画像処理は一定周期で処理を繰り返し、画像処理で余った時間をキャリブレーション処理に割り当てることができる。
　また、ステップ１１５，ステップ１１６は、ステップ１０４，ステップ１０５と同様な処理を行う。
　ステップ１１４，ステップ１１７では、左右のカメラの見え方の差（視差）を求める処理を行う。例えば、右画像に８×８などの小領域を設定し、その小領域に対応する領域を左画像のエピポーラ線上を探索、あるいは左画像上を２次元探索することで検出して、各小領域毎の視差を求める処理である。この視差算出は、公知の技術によって実現できる。対応領域算出処理（ステップ１０６）では、例えば右側の白線と左側の白線を対応する領域として検出する。白線などのレーンマーク等の路面標示以外にガードレールや縁石などの平行なパターンからなる構造物の端点を対応領域として検出しても良い。
　そして、一致度の算出処理（ステップ１０８）では、対応領域間の幅を求め、その幅から一致度を求める。
　図１１に、レーンマークの対応領域の検出結果（図１１（ａ））と、平行パターンの幅とパラメータのずれの関係（図１１（ｂ））を示す。
　本実施の形態では、Ｙ軸まわりの回転パラメータを求めることができる。さらに、平行パターンの幅が既知であれば、カメラ間の距離や、内部パラメータの横方向の拡大率，縦方向の拡大率を求めることができる。これは、前記パラメータが最適値（パラメータずれ無し）からずれている場合は、算出した視差に距離に関わらず一定の誤差が発生する。例えば、距離ｄ１のときの視差が６４（近距離）であった場合に誤差２画素が発生すると視差算出処理（ステップ１１４）で求めた視差は６６となり、また距離ｄ２のときの視差が４（遠距離）であった場合にも誤差２画素が発生すると視差算出処理（ステップ１１４）で求めた視差は６となるため、式（２）を用いて視差から距離を求めると遠距離ほど誤差２画素の影響が大きくなる（図１１（ｂ））。
　そこで、ステップ１０８では、例えば図１２のように、複数の距離のレーンマークの幅のＧ個の実測値（Ｗ(１；ａ)，Ｗ(２；ａ)，・・・，Ｗ(Ｇ；ａ)）と、パラメータずれが無い場合のレーンマークの幅Ｗｍとの差の総和，差の二乗の総和などを一致度として求める。パラメータずれが無い場合のレーンマークの幅は、カーナビゲーション等から取得するか、予めプログラム内に定義するか、データＲＯＭ７に保存しておいた値を用いても良い。
　平行パターンの幅を既知とすることで内部パラメータのうち横方向の拡大率と縦方向の拡大率を正確に求めることができる。または複数の距離のレーンマークの幅の実測値から、平均値，最大値，最小値といった値を求め、その実測値から求めた値をパラメータずれが無い場合のレーンマークの幅として用いても良く、あるいはある基準の距離のレーンマークの幅の実測値をパラメータずれが無い場合のレーンマークの幅として用いても良い。そのパラメータずれが無い場合のレーンマークの幅と実測値との差の総和，差の二乗の総和などを一致度とする構成であっても良い。一致度の一例を式（２９）に示す。
Figure JPOXMLDOC01-appb-M000029
　また、Ｗｍは、パラメータずれが無い場合の平行パターンの幅やそれぞれの対応領域から求めた平行パターンの幅の平均値，最大値，最小値等の値である。つまり、カメラパラメータの算出（ステップ１０９）では、前述の一致度が小さくなる（一致度の指標によっては大きくなる）ようにカメラパラメータを求める。このとき、パラメータずれが無い場合のレーンマークの幅が得られる場合は、Ｘ軸方向の平行移動パラメータも求めることができる。
　例えば、ａはｔｘとｄｃから成るとすると、式（３０）を満たすｔｘ、ｄｃを求めればよい。
Figure JPOXMLDOC01-appb-M000030
　その後ステップ１１２では、キャリブレーション終了の判定を行い、一致度が所定の値よりも小さい（あるいは大きい）場合はキャリブレーションを終了する。または、キャリブレーション処理を所定回数実行済みであれば、キャリブレーションを終了する。
　このとき、一致度が所定の値よりも大きい（あるいは小さい）場合は、カメラに異常が発生しているか、キャリブレーションが正常に実行できなかったと判定し、カメラを停止してコントロールユニットにカメラが停止している旨の信号を送信しシステムを停止する、スピーカーから音声でドライバに警告音を発する、ディスプレイに警告を表示するといった処理を行う。
　ステップ１１８では、視差算出処理（ステップ１１７）で求めた視差データ、左右カメラから取得した画像データ、左右カメラから取得した画像を画像補正処理（ステップ１１６）で補正した画像データのいずれか少なくとも一つを処理することで、公知の技術により障害物やレーンマーク等を検出する。
　以上説明したように、本実施の形態では、平行パターンの端点を対応領域として検出し、対応領域間の幅の情報を用いてカメラパラメータを求めることができる。平行なパターンの幅を用いることで、平行パターンの一部しか視野に入っていない場合などであってもキャリブレーション処理を実行することができる。また、パターンが平行であれば良く、直線であることは必須の条件では無いといった利点がある。
　平行なパターンは、道路だけでなく室内などでも多く存在するため、本実施の形態は室内等で利用する監視カメラシステムにも利用することができる。室内では、例えば床と壁面の境界線，天井と壁面の境界線，窓枠などの室内に存在する平行パターンを用いればよい。つまり、撮像された画像から検知された、室内に存在する床と壁面の境界線，天井と壁面の境界線，窓枠、の少なくとも１つを含む領域を対象領域として算出しても良い。
　また、キャリブレーションを図１４に示すフローチャートの処理手順で実行すれば、起動時などキャリブレーションが必要な場合に、キャリブレーション処理を優先して実行することができる。例えば、キャリブレーションタイミング判定（ステップ１０２）で、システムの起動時や、温度が大きく変化した場合、前回のキャリブレーション実施から所定時間が経過した場合などにキャリブレーションタイミングと判定する。そして、キャリブレーションタイミングであればキャリブレーションが終了するまで、キャリブレーション処理を実行し、キャリブレーションが終了した後に、画像処理を行う。
　図１４に示す処理を繰り返すことで、キャリブレーションが必要なタイミングで、キャリブレーション処理を優先することができる。キャリブレーション処理を実行している間は、画像処理が停止している旨ディスプレイに表示する、音声等で警告する処理等を実施しても良い。また、本実施の形態は、車両の走行中以外であっても、カメラの製造ライン中の平行なパターン等を用いても良いことは明らかである。
（第３の実施の形態）
　第３の実施の形態について、図面を参照して詳細に説明する。
　なお、第３の実施の形態に拘わるキャリブレーション方法の構成について、上述した第１の実施の形態および第２の実施の形態と同様の構成については図中同一の符号を付し、重複した説明は省略する。
　第３の実施の形態では、対応領域算出部２３が、図１８に示すように画像から物体の角などを特徴点として検出し、その検出した特徴点を他の画像からも検出して対応付ける。図１８の例では、車両の左上の角を第３の対応領域として求め、歩行者の手の先を第２の対応領域、第３の対応領域として求めた例であるが、対応領域は３つである必要はない。
　そして一致度算出部は例えば、それぞれの対応領域の画像の垂直方向の座標値の差を用いて一致度を算出する。Ｇ個の対応領域を求めた場合に、Ｇ個の対応領域の縦方向の座標の差を用いて式（３１）により一致度を算出する。例えば第１の対応領域の縦方向の座標の差ｅ1は、図１８の通りである。ただし、縦方向の座標の差を評価関数に用いるか否かは、カメラの設置位置により異なる。
Figure JPOXMLDOC01-appb-M000031
　ただし、ｖR(ｊ；ｐ′)は、カメラパラメータｐ′を用いて画像補正部が右画像を補正した画像中のｊ番目の対応領域の縦方向の座標、ｖL(ｊ；ｑ′)は、カメラパラメータｑ′を用いて画像補正部が左画像を補正した画像中のｊ番目の対応領域の縦方向の座標である。ｐ′，ｑ′は例えば、第１の実施の形態と同様に左右カメラの内部パラメータ，外部パラメータ，歪みパラメータである。式（３１）の一致度が最小になるようにニュートン法，ガウスニュートン法，修正ガウスニュートン法等の公知の最適化手法を用いてｐ′，ｑ′を最適化すれば良い。
　以上までに説明した第１の実施の形態，第２の実施の形態，第３の実施の形態を組み合わせれば、精度良くカメラパラメータ、あるいはカメラパラメータから変換可能なパラメータ、カメラパラメータを近似したパラメータを求めることができ、誤マッチングの少ない視差データ（３次元データ）を得られるだけでなく、誤差の少ない３次元計測が可能となる。
　また、図１５に示すようにカメラパラメータの初期値を算出するステップ１２０をさらに具備すれば、カメラパラメータが最適な値から大きくずれた場合や、設計値が分からない場合であってもキャリブレーションを行うことができる。カメラパラメータの初期値は、キャリブレーション用のパターンを用いる公知の手法などで求めるか、画像中から複数の特徴点を検出し、検出した複数の特徴点に対応する点を他の画像中から検出してその複数の特徴点の対を用いて外部パラメータ等を求めることができる。そして、初期値を用いて画像補正データを作成し（ステップ１２１）し、補正データを格納（ステップ１２２）することで、ステップ１２０で求めた初期値からカメラパラメータの最適値を求めることができる。
　また図１６に示すように、異なったタイミングで撮像した画像を用いることでより多くの対応領域を用いてキャリブレーションを行うことができ、キャリブレーションの精度を向上させることができる。例えば、時刻ｔに撮像した画像に加え、時刻ｔ－１に撮像した画像を用いる。また、時刻ｔ－１に画像処理により検出した歩行者，車両等の領域を用いて、テンプレートマッチング等の公知の技術により時刻ｔの対応領域算出に用いる領域を求めても良い。さらに、画像処理とキャリブレーションを処理する際に、図１７に示すようにキャリブレーション処理をＮ回に分割し、処理周期のうち、画像処理を実施後に余った時間でキャリブレーション処理を実行することで、処理周期が低下することを防止することができる。
１　カメラユニット
４ａ，４ｂ　カメラ
６　ＣＰＵ
７　データＲＯＭ
９　ＲＡＭ
１０　プログラムＲＯＭ
２１　補正データ読み込み部
２２　画像補正部
２３　対応領域算出部
２４　一致度算出部
２５　カメラパラメータ算出部
２６　補正データ格納部

Claims (20)

  1. 　視野が重複し、位置，角度，ズーム率のいずれか少なくとも１つが異なるように撮像された２つの画像を補正する予め記憶された、あるいは演算により算出された補正データを読み込む補正データ読み込み部と、
    　前記補正データ読み込み部で読み込まれた前記補正データを用いて撮像された画像を補正する画像補正部と、
    　前記画像補正部で補正された２つの画像中から対応する対応領域を算出する対応領域算出部と、
    　前記対応領域から抽出された画像パターンの一致度、前記対応領域間の座標の一致度、
    前記対応領域間の間隔の一致度、の少なくとも１つを算出する一致度算出部と、
    　前記一致度算出部で算出された前記一致度に基づいてカメラパラメータを算出するカメラパラメータ算出部と、
    　前記カメラパラメータ算出部で算出された前記カメラパラメータ、又は前記カメラパラメータに基づく補正データ、を格納する補正データ格納部と、を有する画像処理装置。
  2. 　請求項１記載の画像処理装置において、
    　前記カメラパラメータ算出部で算出された前記カメラパラメータは、前記撮像素子の焦点距離，画素の縦方向の大きさ，画素の横方向の大きさ，縦方向の拡大率，横方向の拡大率，前記撮像素子の縦軸と横軸の成す角度，光軸中心の座標、の少なくとも１からなる内部パラメータ、又は、前記撮像素子間の回転角度、前記撮像素子間の平行移動量の少なくとも１つからなる外部パラメータ、又は画像の歪みを補正する歪みパラメータである画像処理装置。
  3. 　請求項１記載の画像処理装置において、
    　前記対応領域算出部は、撮像された２つの画像中から平行なパターンの端点の組を対応領域として算出する画像処理装置。
  4. 　請求項３記載の画像処理装置において、
    　前記一致度算出部は、前記対応領域間の間隔の一致度を算出する場合、前記対応領域間の間隔の平均値、前記対応領域間の間隔の最小値、前記対応領域間の間隔の最大値の少なくとも１つから算出した値、予め記憶又は定義された平行なパターンの幅の値、外部機器から受信された平行なパターンの幅の値、の少なくとも１つを比較して一致度を算出する画像処理装置。
  5. 　請求項１記載の画像処理装置において、
    　前記一致度算出部は、前記対応領域内の輝度値，輝度変化量，輝度変化の方向，カラー情報，カラーの変化量，輝度のヒストグラム，輝度変化量のヒストグラム，カラーの変化量のヒストグラム，輝度変化の方向のヒストグラム，カラー変化の方向のヒストグラム、の少なくとも１つの画像から得られる特徴量に基づいて前記対応領域間の一致度を算出する画像処理装置。
  6. 　請求項１記載の画像処理装置において、
    　前記補正データは、予め記憶されたカメラパラメータ、又は前記カメラパラメータに基づいて算出された補正前後の対応関係を示す変換テーブルである画像処理装置。
  7. 　請求項６記載の画像処理装置において、
    　前記カメラパラメータ算出部で算出された前記カメラパラメータ、又は前記変換テーブル、を補正データとして格納する補正データ格納部を有する画像処理装置。
  8. 　請求項１記載の画像処理装置において、
    　前記画像補正部は、前記２つの撮像素子の一方の撮像素子のカメラパラメータを補正データとして他方の撮像素子で撮像された画像を補正する画像処理装置。
  9. 　請求項３記載の画像処理装置において、
    　前記対応領域算出部は、撮像された画像から検知された、歩行者，車両，路面，路面標示，建造物，構造物の少なくとも１つのパターンを含む領域を前記対応領域として算出する画像処理装置。
  10. 　請求項３記載の画像処理装置において、
    　前記対応領域算出部は、撮像された画像から検知された、室内に存在する床と壁面の境界線，天井と壁面の境界線，窓枠、の少なくとも１つのパターンを含む領域を前記対応領域として算出する画像処理装置。
  11. 　請求項１記載の画像処理装置において、
    　前記一致度算出部が算出した一致度に基づいて、前記撮像素子に異常が発生しているか否か、又は読み込んだ前記補正データが正常か否かを判定し、
    　判定した結果に基づいて、前記撮像素子の動作を停止する停止信号の出力、又はユーザに警告を発する警告信号の出力を行う画像処理装置。
  12. 　請求項１記載の画像処理装置において、
    　前記対応領域算出部は、撮像された１つの画像に複数の対応領域が算出された画像処理装置。
  13. 　請求項１２記載の画像処理装置において、
    　前記複数の対応領域は、前記撮像素子からの距離の異なる対応領域を有する画像処理装置。
  14. 　請求項１記載の画像処理装置において、
    　前記撮像素子で撮像された画像は、異なるタイミングで撮像された画像である画像処理装置。
  15. 　請求項１記載の画像処理装置において、
    　前記撮像素子で撮像された画像を複写する手段を有する画像処理装置。
  16. 　請求項１記載の画像処理装置において、
    　前記画像補正部で補正された前記２つの画像から視差情報を算出する視差算出部と、
    　前記視差情報に基づいて歩行者，車両，建造物，構造物，路面，路面標示の少なくとも１つの物体を検出する画像認識部と、を有する画像処理装置。
  17. 　請求項１６記載の画像処理装置において、
    　前記対応領域算出部は、前記画像認識部で認識された前記物体を含む領域を前記対応領域として算出する画像処理装置。
  18. 　画像を撮像する２つの撮像素子と、
    　撮像された画像を画像処理する処理手段と、を有し、
    　前記処理手段は、
    　前記２つの撮像素子で撮像された２つの画像を補正する予め記憶された補正データを読み込む補正データ読み込み部と、
    　前記補正データ読み込み部で読み込まれた前記補正データを用いて撮像された画像を補正する画像補正部と、
    　前記画像補正部で補正された２つの画像中から対応する対応領域を算出する対応領域算出部と、
    　前記対応領域から抽出された画像パターンの一致度、前記対応領域間の座標の一致度、前記対応領域間の間隔の一致度、の少なくとも１つを算出する一致度算出部と、
    　前記一致度算出部で算出された前記一致度に基づいてカメラパラメータを算出するカメラパラメータ算出部と、を有する撮像装置。
  19. 　請求項１８記載の撮像装置において、
    　前記補正データを記録する記録手段を有する撮像装置。
  20. 　請求項１８記載の撮像装置において、
    　前記撮像素子のキャリブレーションを実行するキャリブレーションプログラムが記録されたプログラム記録手段を有し、
    　前記処理手段は、電源ＯＮ信号が入力された場合、前記プログラム記録手段に記録された前記キャリブレーションプログラムに基づいて、前記補正データ読み込み部と、前記画像補正部と、前記対応領域算出部と、前記一致度算出部と、前記カメラパラメータ算出部と、を実行する撮像装置。
PCT/JP2011/067118 2010-09-30 2011-07-27 画像処理装置及びそれを用いた撮像装置 Ceased WO2012043045A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/818,625 US20130147948A1 (en) 2010-09-30 2011-07-27 Image processing apparatus and imaging apparatus using the same
EP11828606.1A EP2624575A4 (en) 2010-09-30 2011-07-27 Image processing device and image capturing device using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010220250A JP5588812B2 (ja) 2010-09-30 2010-09-30 画像処理装置及びそれを用いた撮像装置
JP2010-220250 2010-09-30

Publications (1)

Publication Number Publication Date
WO2012043045A1 true WO2012043045A1 (ja) 2012-04-05

Family

ID=45892522

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/067118 Ceased WO2012043045A1 (ja) 2010-09-30 2011-07-27 画像処理装置及びそれを用いた撮像装置

Country Status (4)

Country Link
US (1) US20130147948A1 (ja)
EP (1) EP2624575A4 (ja)
JP (1) JP5588812B2 (ja)
WO (1) WO2012043045A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017516089A (ja) * 2014-04-30 2017-06-15 ホリバ ジョヴァン イボン エスアーエス 試料のエッチング深さをその場（ｉｎ ｓｉｔｕ）測定するためのグロー放電分光分析の方法およびシステム

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527764A (ja) * 2012-06-08 2015-09-17 ノキア コーポレイション マルチ・フレーム画像キャリブレータ
JP6082802B2 (ja) * 2013-02-27 2017-02-15 日立オートモティブシステムズ株式会社 物体検知装置
CN105122787B (zh) * 2013-04-16 2018-11-27 富士胶片株式会社 摄像装置、校准系统、校准方法
KR102122905B1 (ko) * 2013-12-13 2020-06-16 청주대학교 산학협력단 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체
US9196039B2 (en) 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
KR102331534B1 (ko) * 2014-04-11 2021-11-26 한화테크윈 주식회사 카메라 시스템 및 카메라 제어 방법
JP6183305B2 (ja) 2014-07-02 2017-08-23 株式会社デンソー 故障検出装置および故障検出プログラム
DE102014213175A1 (de) * 2014-07-07 2016-01-07 Conti Temic Microelectronic Gmbh Vorrichtung zur entfernungsmessung, fahrzeug und verfahren
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
DE102014219423B4 (de) * 2014-09-25 2023-09-21 Continental Autonomous Mobility Germany GmbH Dynamisches Modell zur Kompensation von Verzeichnungen einer Windschutzscheibe
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
KR101671073B1 (ko) 2014-12-12 2016-10-31 숭실대학교산학협력단 랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버
US10931933B2 (en) * 2014-12-30 2021-02-23 Eys3D Microelectronics, Co. Calibration guidance system and operation method of a calibration guidance system
JP6121641B1 (ja) * 2015-06-24 2017-04-26 京セラ株式会社 画像処理装置、ステレオカメラ装置、車両、及び画像処理方法
WO2016047808A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 撮像装置の校正システム、作業機械及び撮像装置の校正方法
US10587863B2 (en) 2015-09-30 2020-03-10 Sony Corporation Image processing apparatus, image processing method, and program
CN108139202B (zh) * 2015-09-30 2021-06-11 索尼公司 图像处理装置、图像处理方法和程序
KR101815269B1 (ko) * 2015-10-15 2018-01-04 가부시키가이샤 고마쓰 세이사쿠쇼 위치 계측 시스템 및 위치 계측 방법
EP3176750B1 (en) 2015-12-04 2019-03-13 Veoneer Sweden AB Vision system for a motor vehicle and method of controlling a vision system
US9952317B2 (en) * 2016-05-27 2018-04-24 Uber Technologies, Inc. Vehicle sensor calibration system
JP6560159B2 (ja) * 2016-06-01 2019-08-14 株式会社Ｓｏｋｅｎ 位置計測装置
CN107808398B (zh) 2016-09-08 2023-04-07 松下知识产权经营株式会社 摄像头参数算出装置以及算出方法、程序、记录介质
CN107809610B (zh) 2016-09-08 2021-06-11 松下知识产权经营株式会社 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质
JP6716442B2 (ja) * 2016-12-14 2020-07-01 シャープ株式会社 撮影制御装置、移動体、撮影制御方法、および撮影制御プログラム
JP6636963B2 (ja) 2017-01-13 2020-01-29 株式会社東芝 画像処理装置及び画像処理方法
JP7016058B2 (ja) * 2017-04-28 2022-02-04 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP7038346B2 (ja) 2017-05-01 2022-03-18 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出方法、カメラパラメータ算出プログラム、及びカメラパラメータ算出装置
US10269140B2 (en) * 2017-05-04 2019-04-23 Second Spectrum, Inc. Method and apparatus for automatic intrinsic camera calibration using images of a planar calibration pattern
WO2018223882A1 (en) 2017-06-08 2018-12-13 Zhejiang Dahua Technology Co., Ltd. Methods and devices for processing images of traffic light
JP7054803B2 (ja) * 2017-07-21 2022-04-15 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
JP6838225B2 (ja) 2017-09-20 2021-03-03 日立Astemo株式会社 ステレオカメラ
US10636173B1 (en) * 2017-09-28 2020-04-28 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US11012683B1 (en) 2017-09-28 2021-05-18 Alarm.Com Incorporated Dynamic calibration of surveillance devices
JP7099832B2 (ja) * 2018-02-28 2022-07-12 株式会社Soken 測距装置および較正パラメータの推定方法
JP6895403B2 (ja) 2018-03-20 2021-06-30 株式会社東芝 画像処理装置、運転支援システム、及び画像処理方法
JP7219561B2 (ja) * 2018-07-18 2023-02-08 日立Astemo株式会社 車載環境認識装置
JP7296340B2 (ja) * 2018-08-07 2023-06-22 住友建機株式会社 ショベル
CN108989796A (zh) * 2018-08-09 2018-12-11 浙江大华技术股份有限公司 一种图像采集设备选择方法及装置
US11699207B2 (en) 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
US11227409B1 (en) 2018-08-20 2022-01-18 Waymo Llc Camera assessment techniques for autonomous vehicles
JP6956051B2 (ja) * 2018-09-03 2021-10-27 株式会社東芝 画像処理装置、運転支援システム、画像処理方法及びプログラム
CN113486797B (zh) * 2018-09-07 2023-08-11 百度在线网络技术（北京）有限公司 无人车位置检测方法、装置、设备、存储介质及车辆
CN109272041B (zh) * 2018-09-21 2021-10-22 联想(北京)有限公司 特征点的选取方法及装置
CN109242914B (zh) * 2018-09-28 2021-01-01 上海爱观视觉科技有限公司 一种可动视觉系统的立体标定方法
WO2020121882A1 (ja) * 2018-12-13 2020-06-18 ソニー株式会社 制御装置、制御方法、および制御プログラム
JP7146608B2 (ja) * 2018-12-14 2022-10-04 日立Astemo株式会社 画像処理装置
TWI705011B (zh) * 2019-03-12 2020-09-21 緯創資通股份有限公司 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統
CN110458895B (zh) * 2019-07-31 2020-12-25 腾讯科技（深圳）有限公司 图像坐标系的转换方法、装置、设备及存储介质
JP7269130B2 (ja) * 2019-08-14 2023-05-08 日立Astemo株式会社 画像処理装置
US10867190B1 (en) * 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
JP7492372B2 (ja) * 2020-05-08 2024-05-29 株式会社Subaru 画像処理装置
CN112053349B (zh) * 2020-09-03 2024-09-03 重庆市公安局沙坪坝区分局 一种用于法医鉴定的伤情图像处理方法
US12417851B2 (en) * 2023-01-23 2025-09-16 Proximie Inc. Hybrid media distribution for telehealth sessions
US12587509B2 (en) 2023-01-23 2026-03-24 Proximie Inc. Hybrid media distribution for telehealth sessions
US12316886B2 (en) * 2023-01-23 2025-05-27 Proximie Inc. Hybrid media distribution for telehealth sessions
CN116203532A (zh) * 2023-02-20 2023-06-02 劢微机器人科技(深圳)有限公司 雷达水平度一致性的调节方法、装置、设备及存储介质
US12536721B2 (en) 2023-04-11 2026-01-27 Motorola Mobility Llc Method and system for creating group highlight reels of consumers consuming media content at different locations/times
JP2025079677A (ja) * 2023-11-10 2025-05-22 株式会社日立製作所 距離測定システムおよびこれを搭載した車両
CN120689425A (zh) * 2024-03-15 2025-09-23 鸿海精密工业股份有限公司 相机外参标定方法、车载装置及存储介质
JP2026007515A (ja) * 2024-07-03 2026-01-16 Ａｓｔｅｍｏ株式会社 画像処理装置およびカメラパラメータの変化検出方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341458A (ja) 1997-06-10 1998-12-22 Toyota Motor Corp 車載ステレオカメラの校正方法、および、その方法を適用した車載ステレオカメラ
JP2002027507A (ja) * 2000-07-13 2002-01-25 Sony Corp カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
JP2004354257A (ja) * 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2010181209A (ja) * 2009-02-03 2010-08-19 Toyota Motor Corp カメラの自動キャリブレーション装置及び自動キャリブレーション方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3977776B2 (ja) * 2003-03-13 2007-09-19 株式会社東芝 ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
WO2004106856A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
JP4435525B2 (ja) * 2003-09-17 2010-03-17 富士重工業株式会社 ステレオ画像処理装置
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
JP4681856B2 (ja) * 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341458A (ja) 1997-06-10 1998-12-22 Toyota Motor Corp 車載ステレオカメラの校正方法、および、その方法を適用した車載ステレオカメラ
JP2002027507A (ja) * 2000-07-13 2002-01-25 Sony Corp カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
JP2004354257A (ja) * 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2010181209A (ja) * 2009-02-03 2010-08-19 Toyota Motor Corp カメラの自動キャリブレーション装置及び自動キャリブレーション方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP2624575A4
Z. ZHANG ET AL.: "A Flexible New Technique for Camera Calibration", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 22, no. 11, November 2000 (2000-11-01), pages 1330 - 1334, XP055037019, DOI: doi:10.1109/34.888718

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017516089A (ja) * 2014-04-30 2017-06-15 ホリバ ジョヴァン イボン エスアーエス 試料のエッチング深さをその場（ｉｎ ｓｉｔｕ）測定するためのグロー放電分光分析の方法およびシステム

Also Published As

Publication number Publication date
JP2012075060A (ja) 2012-04-12
EP2624575A1 (en) 2013-08-07
EP2624575A4 (en) 2017-08-09
US20130147948A1 (en) 2013-06-13
JP5588812B2 (ja) 2014-09-10

Similar Documents

Publication Publication Date Title
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
CN113673282B (zh) 目标检测方法和装置
CN111986506B (zh) 基于多视觉系统的机械式停车位泊车方法
US10268201B2 (en) Vehicle automated parking system and method
JP3895238B2 (ja) 障害物検出装置及びその方法
EP3842754A1 (en) System and method of detecting change in object for updating high-definition map
US8259998B2 (en) Image processing device for vehicle
JP4406381B2 (ja) 障害物検出装置及び方法
US7321386B2 (en) Robust stereo-driven video-based surveillance
CN111862673A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
EP3842751B1 (en) System and method of generating high-definition map based on camera
JP2006053756A (ja) 物体検出装置
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
JP2012185011A (ja) 移動体位置測定装置
JP6758160B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
WO2021215199A1 (ja) 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN108007456A (zh) 一种室内导航方法、装置及系统
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
CN110766760A (zh) 用于相机标定的方法、装置、设备和存储介质
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP2000293693A (ja) 障害物検出方法および装置
JP2001076128A (ja) 障害物検出装置及び方法
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
Li et al. Automatic surround camera calibration method in road scene for self-driving car

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11828606

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13818625

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011828606

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE