WO2010113239A1 - 画像統合装置および画像統合方法 - Google Patents

画像統合装置および画像統合方法 Download PDF

Info

Publication number
WO2010113239A1
WO2010113239A1 PCT/JP2009/056590 JP2009056590W WO2010113239A1 WO 2010113239 A1 WO2010113239 A1 WO 2010113239A1 JP 2009056590 W JP2009056590 W JP 2009056590W WO 2010113239 A1 WO2010113239 A1 WO 2010113239A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
time
points
stationary body
body region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/056590
Other languages
English (en)
French (fr)
Inventor
墨友　博則
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2010503315A priority Critical patent/JP4553072B1/ja
Priority to US13/258,974 priority patent/US9415723B2/en
Priority to PCT/JP2009/056590 priority patent/WO2010113239A1/ja
Priority to EP09842595.2A priority patent/EP2416292A4/en
Publication of WO2010113239A1 publication Critical patent/WO2010113239A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an image integration device and an image integration method for integrating time-series images.
  • a crisis avoidance system using an image sensor provided with an imaging device has been developed.
  • a system has been developed that identifies obstacles around the vehicle, analyzes the movement of the obstacles, and avoids obstacles based on images captured by the imaging device. ing.
  • Patent Document 1 discloses a system that analyzes images of an accident such as the speed of an accident vehicle by acquiring images before and after the accident using an imaging device installed at an intersection or the like and analyzing the images. It is disclosed. This system prepares plan view data, which is data including only stationary objects such as road surfaces such as intersections and pedestrian crossings, which are accident sites, and projects images at the time of the accident on this plan view data. , Analyze the situation of the accident. Moreover, it is preferable to obtain three-dimensional information in the analysis of the accident situation.
  • three-dimensional information can be obtained by analyzing images from multiple angles, and it is useful to analyze the situation of an accident based on the three-dimensional information.
  • Patent Document 2 discloses a technique in which image data input from multiple viewpoints is subjected to coordinate conversion and pasted to easily integrate three-dimensional information.
  • Patent Document 1 can only handle an accident situation analysis at a place where a camera as an imaging device is fixedly installed and a plan view data is prepared in advance, It can only handle. Therefore, the technique disclosed in Patent Document 1 cannot be applied to a camera mounted on a vehicle that is a moving body. Further, the technique disclosed in Patent Document 2 is not a technique assumed to be used for accident situation analysis, and can only obtain three-dimensional information of a stationary body. Therefore, with the technique disclosed in Patent Document 2, even if it is possible to obtain three-dimensional information on a stationary object such as a road surface, a traffic light, a sign, etc., three-dimensional information on a moving object such as a vehicle or a passerby is obtained. It is difficult. JP 2004-102426 A JP-A-7-174538
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an image integration device and an image integration method capable of integrating time-series images captured while moving with high accuracy. .
  • the image integration device of the present invention extracts time-series images from each time-series image and integrates the time-series images by matching the corresponding still-body regions between the time-series images. This makes it possible to accurately integrate time-series images including moving objects and stationary objects.
  • FIGS. 3A and 3B are diagrams for explaining a case where an operator selects a stationary body region
  • FIG. 3A is a diagram illustrating a state where a stationary body region is selected in an image at time T
  • FIG. It is a figure which shows the state which selected the stationary body area
  • DELTA stationary body area
  • FIG. 8A is a diagram illustrating an integrated image in an embodiment of the present invention
  • FIG. 8A is a diagram illustrating an integrated image based on an image captured by the imaging unit
  • FIG. 8B is an overhead view of the integrated image. It is a figure which shows the image converted into the display.
  • FIG. 1 is a block diagram showing a configuration of an image integration device according to an embodiment of the present invention.
  • the image integration device 100 includes an imaging unit 1, an arithmetic processing unit 2, a display device 3, and an input unit 4.
  • the imaging unit 1 is mounted on a moving body such as a vehicle and acquires a time-series image.
  • the imaging unit 1 is a camera having an imaging element such as a CCD (Charge-Coupled Device).
  • the imaging part 1 is a stereo camera comprised including two cameras installed in the right and left separated by an appropriate distance.
  • the image integration device 100 can obtain the three-dimensional image information of the image captured by the imaging unit 1.
  • the left and right cameras in the stereo camera capture the subject at the same timing to obtain a pair of left and right images.
  • the aberrations of the left and right cameras are well corrected, and they are installed in parallel to each other.
  • each camera is installed in parallel, and a parallelized image is obtained.
  • the three-dimensional image information refers to three-dimensional coordinates, two-dimensional and three-dimensional motion vectors, and the like that can be obtained from a stereo time-series image or the like.
  • the arithmetic processing unit 2 includes various electronic components, integrated circuit components, a CPU (Central Processing Unit), a storage unit, and the like.
  • the storage unit temporarily stores, for example, a ROM (Read Only Memory) that stores a control program of the image integration device 100, data such as arithmetic processing and control processing, and an image captured by the imaging unit 1.
  • EEPROM Electrically Erasable Programmable ROM
  • RAM Random Access Memory
  • non-volatile memory such as flash memory.
  • the arithmetic processing unit 2 includes a three-dimensional image information calculation unit 5, a stationary body region extraction unit 6, and an integration unit 7.
  • the three-dimensional image information calculation unit 5 calculates the three-dimensional image information in each image based on the time-series stereo image captured by the imaging unit 1. Specifically, the three-dimensional image information calculation unit 5 obtains the three-dimensional coordinates of the points on the image and the optical flow.
  • a technique for obtaining three-dimensional image information (three-dimensional coordinates, optical flow, etc.) of an image based on a time-series stereo image is known. Specifically, the three-dimensional image information of an image is obtained by searching for a point corresponding to a point on a certain image from the image corresponding to the image (corresponding point search). For example, by performing corresponding point search between a pair of stereo images, three-dimensional coordinates at that time can be obtained.
  • the image integration device 100 may include a device capable of three-dimensional measurement, for example, a measuring instrument using laser or millimeter waves. Then, the three-dimensional image information calculation unit 5 can obtain three-dimensional image information by associating the measurement value of the measuring instrument with the time-series image captured by the monocular camera.
  • the correspondence point search will be described below.
  • a correlation method as a method of searching for and obtaining a point (corresponding point) on a reference image corresponding to an arbitrary point of interest on a standard image.
  • the reference image is an image corresponding to the standard image.
  • one of a pair of images taken at the same time is a standard image, and the other is a reference image.
  • the temporally previous image is a reference image
  • the temporally subsequent image is a reference image.
  • a template is set for the attention point on the reference image, a window on the reference image corresponding to the template is searched, and a corresponding point is obtained from the searched window.
  • One of the images captured by the imaging unit 1 is set as a reference image, a point of interest is set in the reference image, and a template including the point of interest is set on the reference image.
  • the template is a range divided by a certain area in the reference image, and has information (image pattern) such as a luminance value of each pixel in the range.
  • a correlation value (similarity) between the template and a plurality of windows set in the reference image corresponding to the reference image is calculated, and based on the correlation value, whether or not the template and the window correspond to each other. Is judged.
  • a window is an area in the range of the same size as the template generated in the reference image, and has information (image pattern) such as a luminance value of each pixel in the range.
  • the correlation value is obtained from the image pattern of the template and the window. For example, the correlation value between the template and one of the windows is obtained, and if these correlation values are low, if it is determined that they do not correspond, for example, it is generated at a position shifted in one direction of one pixel. A correlation value between the determined window and the template is obtained. In this way, the correlation value is obtained while the windows are sequentially changed, and a window in which the correlation value takes a peak value, that is, a window corresponding to the template is obtained.
  • Such a method for searching for corresponding points is publicly known and various methods have been proposed. For example, various methods for shortening the time for obtaining a window corresponding to a template have been proposed. Some of these methods will be briefly described. For example, as described above, when the standard image is one of the stereo images, the reference image is the other image, and the cameras that have captured the images are arranged in parallel, the standard image and the reference image Are arranged almost in parallel. Then, since the corresponding point on the reference image can be assumed to be at the same height position as the target point on the standard image, only the window at this height position needs to obtain the correlation value with the template.
  • the setting range of the window can be further limited. In this way, if the window setting range is limited, the number of windows for which the correlation value with the template is obtained is suppressed, so that the corresponding window can be searched in a short time.
  • Another method is called a search method based on a multi-resolution strategy.
  • this method once the base image and the reference image are reduced in resolution, that is, the number of pixels is reduced. Then, the correlation value calculation is performed in this state, and the coordinates at which the correlation value reaches a peak with respect to the point of interest are obtained. Then, the resolution is returned to the original, the window setting range is narrowed down to the coordinates around the low resolution, and the corresponding point search is performed. In a state where the resolution of the reference image and the reference image is low, the information of the image pattern is reduced, so that the correlation value can be obtained in a short time.
  • the correlation value is a function for obtaining a sum of absolute values of templates and windows, and a correlation value for each window is obtained by this function.
  • the correlation value calculation method is a method of performing similarity calculation using a signal of only a phase component in which an amplitude component is suppressed from a frequency resolution signal of an image pattern.
  • This correlation value calculation method is less susceptible to differences in the shooting conditions of the left and right cameras in a stereo image, noise, and the like, and makes it possible to realize a correlation value calculation having robustness.
  • the method of calculating the frequency-resolved signal of the image pattern is, for example, fast Fourier transform (FFT), discrete Fourier transform (DFT), discrete cosine transform (DCT), discrete sine transform (DST), wavelet transform, Hadamard transform, etc. It has been known.
  • FFT fast Fourier transform
  • DFT discrete Fourier transform
  • DCT discrete cosine transform
  • DST discrete sine transform
  • wavelet transform Hadamard transform
  • a template is set on the standard image and a window having the same size is set on the reference image. Then, a correlation value (POC value) between the template and each window is calculated while shifting the window on the reference image, and a window corresponding to the template is obtained from the correlation value.
  • the template of the standard image and the window of the reference image are each subjected to two-dimensional discrete Fourier transform, normalized, synthesized, and then subjected to two-dimensional inverse discrete Fourier transform. In this way, a POC value that is a correlation value is obtained. Further, since the POC value is obtained discretely for each pixel, the correlation value for each pixel in the window can be obtained.
  • a correlation value for each window is obtained, but in the POC method, a correlation value for each pixel in the window is also obtained. Therefore, it is easy to narrow down the setting range of the window, and there is an effect that processing for obtaining corresponding points can be performed at high speed.
  • the correlation value calculation method having robustness such as the POC method, it is not necessary to calculate the correlation value by shifting the window by one pixel as in the SAD method, and the window is divided into a plurality of pixels. Even if it is shifted, the correlation value is calculated. Specifically, how much can be shifted depends on the searchable range of corresponding points, but is generally said to be about half the window size.
  • the shifted window and the window before being shifted may be set so as to overlap in about half of the window size.
  • the window size is 31 ⁇ 31, and the range that can be searched by the POC method is ⁇ 8 pixels with respect to the center of gravity of the window, this parallax is searched.
  • the windows need only be shifted by 16 pixels, so eight windows need only be set.
  • the search method based on the above multi-resolution strategy can be used. In the above example, it is only necessary to set eight windows. However, by using a search method based on a multi-resolution strategy, for example, if the image is reduced to 1/16, only one window may be set. This makes it possible to search for corresponding points more easily.
  • a method of performing a correlation value calculation using a signal having only a phase component in which an amplitude component is suppressed from a frequency resolution signal of an image pattern is known.
  • DCT code only correlation method Fusion of image signal processing and image pattern recognition-DCT code limited correlation and its application", Hitoshi Kiya, Tokyo Metropolitan University, Faculty of System Design, Dynamic Image Processing Utilization Workshop 2007, 2007.3 .. 8-9), etc., and correlation value calculation may be performed using these.
  • FIG. 2 is a diagram for explaining the corresponding point search. Note that the image shown in FIG. 2 is an image captured by a fixed stereo camera.
  • FIG. 2 shows an image L1 and an image R1, which are stereo images taken at time T1.
  • each camera is arranged in parallel in a stereo camera having a pair of left and right cameras that capture these images.
  • an image L2 and an image R2 taken at time T2, which is a time later than time T1 are shown.
  • each square indicates one pixel.
  • the point 11a in the image L1 at the time T1 is input as an attention point (starting point).
  • a point 11b on the image R1, which is a point corresponding to the point 11a, is obtained by a corresponding point search.
  • the point 11a is set as the attention point
  • the point 12a corresponding to the point 11a is obtained by the corresponding point search on the image L2 at the time T2.
  • a point 12b corresponding to the point 12b in the image R2 at time T2 is obtained by the corresponding point search.
  • Each point 11a, 11b, 12a, 12b is actually a point, but in view of ease of viewing, in FIG.
  • the coordinates of the point 11a are (p1x, p1y), the coordinates of the point 11b are (q1x, q1y), the coordinates of the point 12a are (p2x, p2y), and the coordinates of the point 12b are (q2x, q2y).
  • the vertical direction in the drawing is the Y direction of each image, and the horizontal direction is the X direction of each image.
  • the Y coordinates of the points 11a and 11b are the same, and the Y coordinates of the points 12a and 12b are also the same.
  • ⁇ d1 which is a vector indicating the parallax in the images L1 and R1 is obtained from the coordinates of the point 11b obtained from the points 11a and 11a.
  • ⁇ d1 is (q1x ⁇ p1x, 0).
  • ⁇ f1 which is a vector indicating the motion in the images L1 and L2, is obtained from the coordinates of the point 11a obtained from the points 11a and 11a.
  • ⁇ f1 is (p2x ⁇ p1x, p2y ⁇ p1y).
  • ⁇ d2 which is a vector indicating the parallax in the image at time T2 is obtained from the coordinates of the point 12b obtained from the points 12a and 12a.
  • ⁇ d2 is (q2x ⁇ p2x, 0).
  • the depth distance D1 of the image obtained from the image at time T1 is obtained.
  • the distance D1 is a coordinate in the direction perpendicular to the paper surface in FIG. 2, and this coordinate is a Z coordinate.
  • D1 is represented by Formula 1 when the focal length of each camera is set to f and the base line length of each camera is set to B.
  • Equation 2 the distance D2 of the depth (Z coordinate direction) of the image obtained from the image at time T2 is expressed by Equation 2 using ⁇ d2.
  • the three-dimensional coordinates (X1, Y1, Z1) at the points 11a and 11b at time T1 can be expressed as (p1x ⁇ D1 / f, p1y ⁇ D1 / f, D1), and the points 12a and 12 at time T2
  • the three-dimensional coordinates (X2, Y2, Z2) in 12b can be expressed as (p2x ⁇ D2 / f, p2y ⁇ D2 / f, D2).
  • a three-dimensional optical flow is obtained from these three-dimensional coordinates (X1, Y1, Z1) and (X2, Y2, Z2). Specifically, the three-dimensional optical flow is a vector represented by (X2-X1, Y2-Y1, Z2-Z1).
  • the three-dimensional image information calculation unit 5 calculates the three-dimensional coordinates, the optical flow, and the like for an arbitrary point on the image captured by the imaging unit 1.
  • a two-dimensional optical flow can be calculated from a time-series image taken by a monocular camera.
  • the images L1 and L2 are acquired, the point 12a corresponding to the point 11a is searched for and obtained, and the two-dimensional optical flow is obtained from the points 11a and 12a. That is, the two-dimensional optical flow is expressed by ⁇ f1.
  • the 3D image information calculation unit 5 calculates 3D image information based on the measurement value of the device capable of 3D measurement in addition to the 2D optical flow.
  • the three-dimensional image information calculation unit 5 may calculate the three-dimensional image information by a method other than the method described above.
  • the stationary body region extraction unit 6 extracts a stationary body region in each image based on the 3D coordinates, the 2D optical flow, the 3D optical flow, and the like calculated by the 3D image information calculation unit 5.
  • the stationary body refers to, for example, a traffic light, a road surface, a pedestrian crossing, a wall, and the like that are actually fixed, and does not refer to those that are stationary on the image.
  • the imaging unit 1 is mounted on a vehicle or the like that is a moving body, the imaging unit 1 itself is also moving. Thereby, the traffic light, the road surface, the pedestrian crossing, and the wall are moving on the time-series image.
  • the stationary body region refers to a range occupied by a stationary body in an image. As described above, there are several known techniques for extracting a stationary body region that is not fixed on the screen but is not actually moved from the image. The stationary body region extraction unit 6 uses these methods to extract a stationary body region from the image.
  • the vanishing point of motion is a point where straight lines extending the optical flow at each pixel on the image intersect. This vanishing point is determined according to the moving direction of the object on the image. That is, when the camera is moving in the same direction or when the camera is fixed, since the same object moves in the same direction, there is a vanishing point for that object.
  • the stationary object region is stationary, the vanishing point of all stationary object regions is the same point (“Examination of moving object recognition method using principal component analysis”, IPSJ Research Report -Computer Vision and Image Media Vol. 1996, No.
  • the vanishing point for the most optical flow is the vanishing point of the stationary body region. That is, of the vanishing points obtained from the image, the vanishing point for the largest number of pixels is the vanishing point of the stationary object region, and the stationary object region is extracted from the extended optical flow that intersects at the vanishing point. Further, since the optical flow is calculated by the three-dimensional image information calculation unit 5, it is not necessary to newly calculate the optical flow in order to obtain the vanishing point, and the vanishing point can be easily calculated. Play.
  • a stationary object region may be extracted by detecting a stationary object that is expected to exist, that is, a landmark, such as a traffic light, a sign, or a signboard, by pattern recognition or template matching.
  • a landmark such as a traffic light, a sign, or a signboard
  • pattern recognition landmarks such as traffic lights are learned and stored in advance in the arithmetic processing unit 2, so that a traffic light that is a stationary body region from an image is, for example, SVM (Support vector machine) or AdaBoost or the like. It is detected by using a technique.
  • template matching a landmark template image such as a traffic light is prepared in advance and stored in, for example, the storage unit of the arithmetic processing unit 2.
  • a spot having a high correlation value with the template image is searched from the image, and landmarks such as traffic lights are extracted.
  • FIG. 3 is a diagram for explaining a case where the operator selects a stationary body region
  • FIG. 3A is a diagram illustrating a state where the stationary body region is selected in the image at time T
  • FIG. B is a diagram showing a state where a stationary body region is selected in the image at time T + ⁇ t.
  • the operator may display a captured image on the display device 3 and select a stationary body region in the image displayed on the display device 3 by operating a mouse or the like that is the input unit 4. .
  • a stationary body region 21 including the vicinity of the boundary between the road and the sidewalk and a wall surface, and a stationary body including a road surface such as a traffic light and a pedestrian crossing.
  • a stationary body region 23 including a region 22, a sidewalk, a road surface and a wall surface, and a stationary body region 24 including a road surface and a lane formed on the road surface are set.
  • the operation of setting the stationary body regions 21, 22, 23, and 24 may be performed for all the captured images.
  • the operation may be performed for one image, and the image may be used as a reference image for the other images.
  • the image may be tracked by searching for corresponding points to obtain a stationary body region.
  • FIG. 3A is the time T and FIG. 3B is the image at time T + ⁇ t
  • FIG. 3B is the image after ⁇ t from FIG.
  • the moving body on which the imaging unit 1 is mounted is moving, the positions of the stationary body regions 21, 22, 23, and 24 are different in FIGS. 3 (A) and 3 (B).
  • the stationary object region 24 cannot be searched by the corresponding point search because the vehicle which is a moving object is interrupted in FIG. Therefore, in such a case, the stationary body region 24 may be excluded from the stationary body region candidates.
  • the method of inputting the stationary body region first and then tracking the stationary body region is not limited to the method based on the corresponding point search.
  • the optical flow such as the Lucas-Kanade method is calculated.
  • the stationary body region extraction unit 6 may directly extract the stationary body region in the image as described above. However, after extracting the moving body region from the image, the other region may be extracted as the stationary body region. Good.
  • the moving body is an actually moving object, such as a vehicle, a motorcycle, a bicycle, or a pedestrian. In the image, a range occupied by a moving object is referred to as a moving object region.
  • the stationary body region extraction unit 6 may extract a moving body region by detecting them by pattern recognition or template matching. Further, for example, the stationary body region extraction unit 6 may extract a moving body region by a method described in JP-A-7-334800. Specifically, the method described in Japanese Patent Application Laid-Open No.
  • the stationary body region extraction unit 6 may extract a moving body region by these methods, and thereby extract a moving body region other than the moving body region in the image as a stationary body region.
  • distance information and an optical flow are obtained from a stereo time-series image captured by the image capturing unit 1 mounted on the moving body, and further, these are corrected by the speed of the image capturing unit 1 so that a stationary object on the image is detected.
  • a moving object may be discriminated (see, for example, JP-A-2006-134035).
  • the stationary body region extraction unit 6 may extract a stationary body region by this method.
  • the stationary body region extraction unit 6 does not have to extract all the stationary body regions on the image. Further, the stationary body region does not need to be a region having an area, and may be a point (pixel). Although several methods have been described above as methods for extracting a stationary body region, the stationary body region extraction unit 6 may extract a stationary body region by one of these methods. The stationary body region may be extracted selectively. For example, the pedestrian cannot be detected by the method described in Japanese Patent Laid-Open No. 7-334800, so the stationary body region extracting unit 6 first uses this method. If the moving body region cannot be extracted by this method, the stationary body region extracting unit 6 may extract the moving body region by another method and then extract other regions of the image as the stationary body region. Good.
  • the stationary body region extraction unit 6 normally extracts a stationary body region by pattern recognition or template matching using a landmark. If there is no landmark prepared on the image, another method is used. It is also possible to extract a stationary body region. Note that the stationary body region extraction unit 6 may extract a stationary body region by a method other than the above-described method.
  • the image integration device 100 when used as a driving recorder for investigating the cause of a traffic accident such as a rear-end collision between vehicles, not only the time-series position change of the moving object but also the related matter.
  • the display of traffic lights is also important. Therefore, it is preferable to extract the information indicating which of the red, blue and yellow lamps is lit in the traffic light in association with the time. Therefore, it is preferable that the stationary body region extraction unit (signal extraction unit) 6 extracts the stationary body region of the traffic signal.
  • the integration unit 7 integrates each time series image by matching the stationary body region extracted by the stationary body region extraction unit 6 in each time series image. Therefore, in the integrated image, there is no change in the stationary body region, but a plurality of moving body regions may exist for the same subject. That is, since the position of the moving object varies depending on time, a moving object corresponding to the number of integrated time-series images (the number of frames) may exist on the integrated image.
  • the integration unit 7 selects any three points from the stationary body region in the reference image extracted by the stationary body region extraction unit 6. These three points are not on the same straight line in the three-dimensional coordinates. Three-dimensional coordinates at each point (pixel) on the image are calculated by the three-dimensional image information calculation unit 5. Therefore, since the three-dimensional coordinates of these three points are also calculated by the three-dimensional image information calculation unit 5, the integration unit 7 can easily select three points that are not on the same straight line. When integrating this image and the image of the next frame, the integration unit 7 needs points on the image of the next frame corresponding to these three points. For example, the integration unit 7 may calculate the corresponding three points by the above-described corresponding point search method.
  • the integration unit 7 may obtain the corresponding three points by using an arithmetic method for obtaining an optical flow such as the Lucas-Kaneda method. For example, when integrating the image at time T and the image at time T + ⁇ t, the integration unit 7 selects three points that are not on the same straight line from the stationary body region of the image at time T, and corresponds to these. A point on the image at time T + ⁇ t is obtained. Then, the integration unit 7 performs coordinate conversion of the three-dimensional coordinates of the three points at time T + ⁇ t, which is necessary to match the surface constituted by the three points at time T + ⁇ t with the surface constituted by the three points at time T. Calculate the necessary rotation and translation components.
  • an arithmetic method for obtaining an optical flow such as the Lucas-Kaneda method.
  • the integration unit 7 matches the normal vector of the surface composed of the three points at time T + ⁇ t with the normal vector of the surface composed of the three points at time T, and selects any one of the three points at time T.
  • the rotation component and the translation component are calculated such that any one of the three points at time T + ⁇ t is matched with the point, or the centroid of the three points at time T + ⁇ t is matched with the centroid of the three points at time T.
  • the integration unit 7 converts each pixel in the image at time T + ⁇ t with the calculated rotation component and translation component, so that the stationary body region of the image at time T + ⁇ t matches the stationary body region of the image at time T. It is done. Since the images of the moving object regions do not match each other, two moving objects exist on the integrated image. In addition, when the moving speed of a moving body is slow, the two moving bodies may not exist on the integrated image.
  • the three points selected in the reference image are separated from each other in three-dimensional coordinates.
  • the stationary body region matches in a wide range of the stationary body region, not the local matching, so that the matching is performed more reliably, and a highly accurate integrated image can be obtained.
  • the greater the distance between the three selected points the lower the probability that there will be points corresponding to these three selected points in each time-series image. Therefore, the distance between the selected three points may be set to a preferable value as appropriate according to the image created by integration. Specifically, when it is necessary to obtain a highly accurate integrated image, the area of a triangle formed by connecting these three selected points is 0, which is the maximum area of the triangle that can be formed by three points in the image.
  • the sum of the three sides of the triangle formed by connecting these three points is preferably 0.8 or more of the maximum of the three sides of the triangle that can be formed by the three points in the image. If both accuracy and ease of selection are taken into consideration, the area of the triangle formed by connecting the three selected points is 0. 0, which is the maximum area of the triangle that can be formed by the three points in the image. It is preferably 6 or more. Further, the sum of the three sides of the triangle formed by connecting these three points is preferably 0.6 or more of the maximum of the three sides of the triangle that can be formed by the three points in the image.
  • a triangle formed by connecting these three selected points Is preferably 0.4 or more of the maximum area of a triangle that can be formed by three points in the image.
  • the sum of the three sides of the triangle formed by connecting these three points is preferably 0.4 or more of the maximum of the three sides of the triangle that can be formed by the three points in the image.
  • the above three points for matching the stationary body region may be set as a plurality of sets of three points as one set. Then, the integration unit 7 may calculate the rotation component and the translation component in a least square manner using these plural sets. Thereby, the integration unit 7 can obtain a more stable solution (rotation component and translation component), and the accuracy of image integration is increased.
  • the integration unit 7 uses three-dimensional coordinates at a plurality of points in the stationary body region in the reference image extracted by the stationary body region extraction unit 6 as initial values, and corresponds to the plurality of points. Then, the points on the image to be integrated (the image of the next frame) are obtained by the corresponding point search method or the Lucas-Kaneda method. Then, the integration unit 7 can perform alignment of a plurality of points in each of these two images by using an ICP (Iterative Closest Points) algorithm.
  • ICP Iterative Closest Points
  • the integration unit 7 needs a time T + ⁇ t necessary to match a plurality of points in the stationary body region at the time T + ⁇ t corresponding to a plurality of points in the stationary body region at the reference time T in three-dimensional coordinates. It is possible to calculate the rotation component and the translation component necessary for coordinate conversion in the three-dimensional coordinates of a plurality of points. Then, the integration unit 7 converts each pixel in the image at time T + ⁇ t by the calculated rotation component and translation component, so that the stationary body region of the image at time T + ⁇ t matches the stationary body region of the image at time T. To match. Since the images of the moving object regions do not match each other, there are two moving objects on the integrated image. In addition, when the moving speed of a moving body is slow, the two moving bodies may not exist on the integrated image.
  • the integration unit 7 can perform robust alignment that is less affected by noise at a plurality of corresponding points.
  • the integration unit 7 may integrate more images in the same manner.
  • the integration unit 7 may integrate the images at time T + 2 ⁇ ⁇ t, time T + 3 ⁇ ⁇ t.
  • points corresponding to the three points selected for matching the stationary body regions may not exist on the image. Therefore, it is preferable that these three points are changed (updated) according to each time-series image.
  • the integration unit 7 may set the color of the signal lamp in the integrated image to the color of the signal lamp in any frame. For example, among the lamps of the traffic light in all the integrated frames, the color of the lamp having the maximum luminance value may be set as the color of the lamp of the traffic light in the integrated image.
  • the display device 3 is, for example, a display device such as a CRT (Cathode Ray Tube) display, an LCD (Liquid Crystal Display), an organic EL (Electro-Luminescence) display, or a plasma display. The previous image or the like is displayed.
  • a display device such as a CRT (Cathode Ray Tube) display, an LCD (Liquid Crystal Display), an organic EL (Electro-Luminescence) display, or a plasma display. The previous image or the like is displayed.
  • the input unit 4 is, for example, a keyboard, a mouse, or the like, and is used for inputting an operation command of the image integration device 100, selecting the stationary body region, or the like.
  • FIG. 4 is a flowchart for explaining the operation of the image integration device 100 according to an embodiment of the present invention.
  • the imaging unit 1 mounted on the vehicle (moving body) is installed, for example, with the lens facing in the traveling direction of the vehicle, and repeats imaging at any time (S101).
  • the imaging unit 1 is preferably a pair of left and right stereo cameras, and the pair of cameras capture images simultaneously to obtain time-series stereo images.
  • the imaging part 1 is a monocular camera
  • the apparatus which can perform the said three-dimensional measurement is measuring.
  • FIG. 1 is a monocular camera
  • FIG. 5 is a diagram illustrating a time-series image captured by the imaging apparatus according to the embodiment of the present invention.
  • the upper row is an image taken at time T
  • the lower row is an image taken at time T + ⁇ t, which is ⁇ t after time T.
  • a traffic light 34a that is a stationary body
  • a pedestrian 31a that is a moving body
  • a vehicle 32a and a vehicle 33a
  • a traffic light 34b that is a stationary body
  • a pedestrian 31b that is a moving body, and a vehicle 32b are present on the image.
  • the traffic light 34a and the traffic light 34b are images of the same traffic light, and the traffic light 34b is displayed larger than the traffic light 34a because the imaging unit 1 is closer to the traffic light.
  • the pedestrian 31a and the pedestrian 31b are the images of the same pedestrian, and the pedestrian 31b has advanced to the roadway side (right direction in a figure).
  • the vehicle 32a and the vehicle 32b are images of the same vehicle, and the vehicle 32b is closer to the traffic signal.
  • the vehicle 32b is displayed larger than the vehicle 32a because the imaging unit 1 is approaching the vehicle.
  • the same vehicle as the vehicle 32a is not displayed in the image at time T + ⁇ t. Since the vehicle 32a moves in a direction away from the traffic signal 34a, the vehicle 32a moves out of the image range at time T + ⁇ t.
  • the image captured by the imaging unit 1 is sent to the tertiary image source information calculation unit 5.
  • the 3D image information calculation unit 5 calculates 3D image information of each point in each image (S102). Specifically, the three-dimensional image information calculation unit 5 calculates a two-dimensional optical flow, a three-dimensional coordinate, a three-dimensional optical flow, and the like of each point.
  • the stationary body region extraction unit 6 extracts a stationary body region in each image based on the 3D image information from the 3D image information calculation unit 5 (S103). At this time, the operator may directly indicate the stationary body region in the image by using the input unit 4 while viewing each image displayed on the display device 3.
  • FIG. 6 is a diagram showing a time-series image in a state where a stationary body region is extracted in one embodiment of the present invention.
  • the upper row is an image taken at time T
  • the lower row is an image taken at time T + ⁇ t, which is ⁇ t after time T.
  • a stationary body region is extracted based on the image of FIG.
  • the traffic light 44a which is a stationary body is displayed, but the pedestrian and the vehicle which are moving bodies are displayed as moving body areas 41a, 42a and 43a.
  • the displayed image is a stationary body region.
  • the traffic light 44b that is a stationary body is displayed, but the pedestrian and the vehicle that are moving bodies are displayed as moving body areas 41b and 42b.
  • the integration unit 7 calculates a rotation component and a translation component that transform the image at the time T + ⁇ t so that the still body regions of the images extracted by the stationary body region extraction unit 6 match, and at the time T + ⁇ t.
  • the image is converted, and the image at time T and the image at time T + ⁇ t are overlapped to integrate the images (S104).
  • the integration unit 7 selects three points or a plurality of points in the stationary body region in the reference image extracted by the stationary body region extraction unit 6, and from the image to be integrated into the image, Three points corresponding to these three points or a plurality of points corresponding to these plural points are searched.
  • the integration unit 7 calculates a rotation component and a translation component necessary for coordinate conversion to match a surface constituted by the three points of the reference image with a surface constituted by the three points corresponding thereto. .
  • the integration unit 7 calculates a conversion component by using an ICP algorithm when a plurality of points are selected. Then, the integration unit 7 converts the image to be integrated into the reference image using the conversion component, and integrates the converted image and the reference image.
  • FIG. 7 is a flowchart for explaining the operation of the integration unit according to the embodiment of the present invention. Specifically, FIG. 7 is a flowchart for explaining the operation of the integration unit 7 in the case where the rotation component and the translation component (conversion component) necessary for coordinate conversion are calculated from three points in the stationary body region. It is. Here, a case where a highly accurate integrated image is required will be described. First, the integration unit 7 selects any three points in the stationary body region in the reference image extracted by the stationary body region extraction unit 6 (S201).
  • the integration unit 7 determines whether the three points are on a straight line in the three-dimensional coordinates (S202). If these three points are on a straight line, the process returns to step S201, and the integration unit 7 again selects arbitrary three points. In this case, the integration unit 7 may change only one point, for example. If it is not in a straight line in step S202, the integration unit 7 determines whether these three points are sufficiently separated from each other and these distances are appropriate. Specifically, it is determined whether or not the area of the triangle formed by connecting these three points is 0.8 or more of the maximum area of the triangle that can be formed by the three points in the image.
  • the unit 7 searches for three points corresponding to these three points from the image to be integrated with the image (S204).
  • the integration unit 7 rotates and translates components (for conversion) necessary for coordinate transformation to match a surface constituted by three points of the reference image with a surface constituted by the three points corresponding thereto. Component) is calculated (step S205). Then, the integration unit 7 converts the image to be integrated into the reference image using the conversion component (step S206), and integrates the converted image and the reference image (step S207).
  • the color of the lamp of the traffic light may be the color of the lamp having the maximum brightness among the lamps of the traffic light of each image.
  • FIG. 8 is a diagram illustrating an image integrated in an embodiment of the present invention
  • FIG. 8A is a diagram illustrating an integrated image based on an image captured by the imaging unit
  • FIG. It is a figure which shows the image which converted the image into the bird's-eye view display.
  • the stationary object regions including the traffic lights 54 in both images are coincident and overlapped, but there are two vehicles 52a and 52b and vehicles 53a and 53b which are moving objects. That is, the vehicle 52a and the vehicle 52b are displays of the same vehicle.
  • the vehicle 52a is at time T
  • the vehicle 52b is at time T + ⁇ t.
  • the vehicle 53a and the vehicle 53b are displays of the same vehicle.
  • the vehicle 53a is at time T
  • the vehicle 53b is at time T + ⁇ t.
  • the pedestrian 51 is also a moving object, since the moving speed is slower than that of the vehicle and hardly moves during ⁇ t, the pedestrian 51 is superimposed and displayed.
  • this integrated image has three-dimensional image information, it can be converted into an image viewed from a different direction.
  • a bird's-eye view display is also possible.
  • the distance between the vehicle 53a and the vehicle 53b is longer than the distance between the vehicle 52a and the vehicle 52b. Accordingly, the speed of the vehicles 53a and 53b is faster than that of the vehicles 52a and 52b.
  • the integrated image obtained by the image integration device according to the present embodiment matches the time-series images in the stationary body region, the movement of the moving object is easy to understand, and the operation state of the vehicle or the like can be easily seen at a glance. Recognize. Therefore, by using this integrated image, there is an effect that situation analysis such as an accident can be easily performed.
  • the imaging unit of the image integration device according to the present embodiment can be used by being mounted on a vehicle or the like, the imaging location is not limited.
  • An image integration device is mounted on a moving body, based on an imaging unit that captures a plurality of time-series images at different times, and the time-series image captured by the imaging unit, A three-dimensional image information calculation unit that calculates three-dimensional image information in each time-series image; a stationary body region extraction unit that extracts a stationary body region in each time-series image based on the three-dimensional image information; From each stationary body region extracted in each time-series image, calculate the corresponding stationary body region between each time-series image, and integrate the time-series images by matching the corresponding stationary body regions. And an integration unit.
  • the image integration device integrates these images with reference to stationary body regions in a plurality of temporally different images, so that accurate image integration is possible.
  • the image integration device also has an effect of being able to obtain an integrated image that can grasp the motion of a moving object at a glance.
  • the imaging unit can acquire a pair of left and right stereo images, each of the plurality of time-series images is the stereo image, and the three-dimensional image information calculation unit includes: It is preferable that three-dimensional image information in each time-series image is calculated using the stereo image.
  • the image integration device obtains 3D image information using a stereo image, it can obtain highly accurate 3D image information.
  • the integration unit selects an arbitrary plurality of points in one of the corresponding stationary body regions, and corresponds to the arbitrary plurality of points in the other of the corresponding stationary body regions. It is preferable to calculate a plurality of points to be calculated, and to calculate a rotation component and a translation component that match the plurality of arbitrary points and the plurality of points corresponding to the plurality of arbitrary points.
  • the integration unit can easily match the corresponding stationary body regions by using the rotation component and the translation component.
  • the plurality of arbitrary points selected in one of the stationary body regions are arbitrary three points
  • the calculated point in the other of the corresponding stationary body regions is Preferably, there are three points corresponding to any three points, and the rotation component and the translation component are calculated so that the three points corresponding to the three arbitrary points and the three arbitrary points coincide.
  • the integration unit can calculate the rotation component and the translation component using a small number of points, the processing is fast.
  • the three arbitrary points are changed according to the respective time-series images to be integrated.
  • the three points are selected from points that are surely present on the image to be integrated. Therefore, even if there are a plurality of images to be integrated and the number of images increases as needed, the image integration device can reliably integrate the images.
  • the three points are set such that the area of the triangle formed by connecting the three arbitrary points is equal to or greater than a predetermined ratio of the maximum area of the triangle formed by the three points. Preferably it is selected.
  • the sum of the three sides of the triangle formed by connecting the three arbitrary points is not less than a predetermined ratio of the maximum of the three sides of the triangle formed by the three points. It is preferable that the three points are selected.
  • the integration unit obtains the coincidence of the stationary body region in the local part.
  • more accurate stationary can be achieved by separating each point from each other.
  • Body region matching can be realized.
  • the integration unit uses the ICP algorithm to match the rotation component and the translation that match the plurality of arbitrary points and the plurality of points corresponding to the arbitrary plurality of points. It is preferable to calculate the components.
  • the integration unit can perform robust alignment that is less affected by noise at the plurality of corresponding points by using the ICP algorithm.
  • the stationary body region extraction unit extracts a stationary body region using a vanishing point of motion.
  • the stationary body region extraction unit can easily extract the stationary body region by using the vanishing point of the motion. Further, in order to obtain the vanishing point of motion, it is necessary to obtain an optical flow. However, since the three-dimensional image information calculation unit calculates an optical flow, there is no need to newly calculate an optical flow. Also play.
  • the stationary body region extraction unit extracts a stationary body region by pattern recognition or template matching using a landmark.
  • the stationary body region extraction unit can extract the stationary body region by a simple method such as pattern recognition or template matching.
  • the landmark for example, a landmark whose shape is known in advance, such as a sign, a traffic light, or a signboard, may be used.
  • the stationary body region extraction unit extracts a moving body region in the time-series image and extracts a region other than the moving body region in the time-series image as a stationary body region.
  • the stationary body region extraction unit can extract the stationary body region using the method of extracting the moving body region.
  • the three-dimensional image information calculation unit calculates the three-dimensional image information using a corresponding point search between images, and is frequency-resolved in the corresponding point search, and an amplitude component is calculated. It is preferred to use a suppressed window image pattern.
  • the corresponding point search used by the three-dimensional image information calculation unit by suppressing the amplitude component from the frequency component, the corresponding point search having robustness is less likely to be affected by the luminance difference and noise between images. Is possible.
  • the frequency decomposition is any one of FFT, DFT, DCT, DST, wavelet transform, and Hadamard transform.
  • the three-dimensional image information calculation unit is generally used and performs frequency decomposition by an already established technique, it is possible to reliably perform frequency decomposition.
  • the corresponding point search uses a phase-only correlation method.
  • the three-dimensional image information calculation unit can search for corresponding points with higher accuracy by using the phase-only correlation method.
  • the image integration device further includes a traffic light extraction unit that extracts a traffic light in the time-series image, and the integration unit determines the color of the lamp of the extracted traffic signal in any of the time-series images. It is preferable that the color of the extracted lamp of the traffic light in the image integrated by the integration unit is used.
  • the integration unit is an image obtained by integrating the color of the signal lamp in the extracted image having the maximum luminance of the signal lamp among the time-series images by the integration unit. It is preferable that the color of the extracted lamp of the traffic light is used.
  • An image integration method is based on the imaging step of capturing a plurality of time-series images at different times while moving, and the time-series images captured by the imaging step.
  • a three-dimensional image information calculating step for calculating three-dimensional image information in each time-series image, and a static in each time-series image based on the three-dimensional image information calculated by the three-dimensional image information calculating step. From the stationary body region extracting step for extracting a body region and each stationary body region extracted in each time-series image, the corresponding stationary body region is calculated between the time-series images, and the stationary body region is matched. And an integration step of integrating the time-series images.
  • this image integration method also has an effect that it is possible to create an integrated image that can grasp the motion of a moving object at a glance.
  • an image integration device and an image integration method for integrating time-series images it is possible to provide an image integration device and an image integration method for integrating time-series images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mechanical Engineering (AREA)

Abstract

　移動体に搭載され、異なる時間における複数の時系列画像を撮像する撮像部と、撮像部により撮像された時系列画像をもとに、各時系列画像における３次元画像情報を算出する３次元画像情報算出部と、３次元画像情報をもとに、各時系列画像における静止体領域を抽出する静止体領域抽出部と、各時系列画像において抽出された各静止体領域から、各時系列画像間において対応する静止体領域を算出し、対応する静止体領域を一致させることで、時系列画像を統合する統合部とを備えている。

Description

画像統合装置および画像統合方法
　本発明は、時系列画像を統合する画像統合装置および画像統合方法に関する。
　近年、自動車業界では、安全性向上を目的とした様々なシステムの研究がなされている。特に、撮像装置を備えた画像センサを利用した危機回避システム等が開発されている。具体的には、撮像装置により撮像した画像をもとに、車両周辺の障害物等の特定や、その障害物の動きの解析等を行い、障害物を回避等するようなシステムが、開発されている。
　また、危険を回避できずに事故が起きた場合には、事故の原因究明等に役立つような様々な情報を、事故前後の画像を分析して抽出するシステムも開発されている。例えば、特許文献１には、交差点等に設置された撮像装置により、事故の前後の画像を取得し、この画像を解析することで、例えば事故車両の速度等の事故の状況を分析するシステムが開示されている。このシステムは、あらかじめ事故現場である交差点等の路面や横断歩道等の静止体のみを含むデータである平面図データを用意しておき、この平面図データに事故の際の画像を投影させることで、事故の状況を分析する。また、事故の状況の分析においては、３次元情報を得ることが好ましい。例えば多角度からの画像で分析することで、３次元情報を得ることが可能であり、３次元情報をもとに事故の状況を分析することは有用である。例えば、特許文献２には、多視点から入力された画像データをそれぞれ座標変換して、貼り合わせて３次元情報を容易に統合する技術が開示されている。
　しかし、特許文献１に開示された技術は、撮像装置であるカメラを固定設置し、あらかじめ平面図データを用意している場所での事故の状況分析にしか対応できないため、決まった場所の事故にしか対応できない。したがって、特許文献１に開示された技術は、移動体である車両に搭載されたカメラには適用できない。また、特許文献２に開示された技術は、事故の状況分析に使用することを想定した技術ではなく、静止体の３次元情報しか得ることができない。したがって、特許文献２に開示された技術では、例えば道路面、信号機、標識等の静止体の３次元情報を得ることができたとしても、車両や通行人等の動体における３次元情報を得ることは困難である。
特開２００４－１０２４２６号公報 特開平７－１７４５３８号公報
　本発明は、上述の事情に鑑みて為された発明であり、その目的は、移動しながら撮像された、時系列画像を高精度で統合できる画像統合装置および画像統合方法を提供することである。
　本発明の画像統合装置は、各時系列画像中から静止体領域を抽出し、各時系列画像間において対応する前記静止体領域を一致させることで、時系列画像を統合する。これにより、動体および静止体を含む時系列画像を正確に統合することができる。
本発明の一実施形態に係る画像統合装置の構成を示すブロック図である。 対応点探索について説明するための図である。 操作者が静止体領域を選択する場合について説明するための図であって、図３（Ａ）は時刻Ｔにおける画像において静止体領域を選択した状態を示す図であり、図３（Ｂ）は時刻Ｔ＋Δｔにおける画像における静止体領域を選択した状態を示す図である。 本発明の一実施形態に係る画像統合装置の動作について説明するためのフローチャートである。 本発明の一実施形態に係る撮像装置により撮像された時系列画像を示す図である。 本発明の一実施形態において静止体領域を抽出した状態の時系列画像を示す図である。 本発明の一実施形態に係る統合部の動作を説明するためのフローチャートである。 本発明の一実施形態において統合された画像を示す図であって、図８（Ａ）は撮像部により撮像された画像による統合画像を示す図であり、図８（Ｂ）は統合画像を俯瞰表示に変換した画像を示す図である。
　以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
　まず、本発明の実施形態に係る画像統合装置の構成について説明する。図１は本発明の一実施形態に係る画像統合装置の構成を示すブロック図である。図１に示すように、画像統合装置１００は、撮像部１と、演算処理部２と、表示装置３と、入力部４とを備えて構成される。なお、撮像部１は車両等の移動体に搭載され、時系列画像を取得するものである。撮像部１は、例えばＣＣＤ（Charge-Coupled Devices）等の撮像素子を有するカメラである。また、撮像部１は、適当な距離だけ離間させて左右に設置された２つのカメラを備えて構成される、ステレオカメラであることが好ましい。これにより、画像統合装置１００は、撮像部１により撮像した画像の３次元画像情報を得ることができる。ここで、前記ステレオカメラにおける左右それぞれのカメラは、被写体を同じタイミングで撮像し、左右一対の画像を得る。なお、左右のカメラの収差は良好に補正されており、かつ、これらは相互に平行に設置されていることが好ましい。このように、ステレオカメラにおいて、各カメラが平行に設置されることで、平行化された画像が得られる。なお、３次元画像情報とは、ステレオ時系列画像等から得ることができる、カメラの位置を基準とした３次元座標、２次元および３次元動きベクトル等をいう。
　演算処理部２は、各種電子部品や集積回路部品、ＣＰＵ（Central　Processing　Unit）、記憶部等からなる。なお、記憶部は、例えば、画像統合装置１００の制御プログラム等を記憶するＲＯＭ（Read　Only　Memory）や、演算処理、制御処理などのデータや、撮像部１により撮像された画像を一時的に格納するＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ROM）やＲＡＭ（Random　Access　Memory）やフラッシュメモリ等の不揮発性メモリ等を備えて構成されている。演算処理部２は、３次元画像情報算出部５と、静止体領域抽出部６と、統合部７とを備えて構成される。３次元画像情報算出部５は、撮像部１で撮像した時系列ステレオ画像をもとに、各画像における３次元画像情報を算出する。具体的には、３次元画像情報算出部５は、画像上の点の３次元座標およびオプティカルフローを求める。時系列ステレオ画像をもとに、画像の３次元画像情報（３次元座標およびオプティカルフロー等）を得る技術は、公知である。具体的には、画像の３次元画像情報は、ある画像上の点に対応する点を、その画像に対応する画像上から探索する（対応点探索）ことで得られる。例えば、一対のステレオ画像同士において、対応点探索を行うことで、その時刻における３次元座標が得られる。また、例えば、同一のカメラで撮像した、撮像時間の異なる画像同士において、対応点探索を行うことで、その点のオプティカルフローが求められる。なお、撮像部１がステレオカメラでなく、単眼カメラである場合は、画像統合装置１００は、３次元計測ができる機器、例えば、レーザやミリ波による計測器を備えることとすればよい。そして、３次元画像情報算出部５は、この計測器の計測値および、単眼カメラにより撮像された時系列画像を関連づけて、３次元画像情報を得ることができる。
　以下に、対応点探索について説明する。例えば、基準画像上の任意の注目点に対応する参照画像上の点（対応点）を探索して求める方法として相関法がある。なお、参照画像は、基準画像に対応する画像である。具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が基準画像であり、他方は参照画像である。また、時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が基準画像であり、時間的に後の画像が参照画像である。この基準画像上の注目点に対してテンプレートが設定され、このテンプレートと対応する参照画像上のウィンドウが探索され、この探索されたウィンドウから対応点が求められる。
　以下に、具体的な対応点探索について説明する。撮像部１により撮像された画像のいずれかは基準画像とされ、その基準画像に注目点が設定され、基準画像上に注目点を含むテンプレートが設定される。ここで、テンプレートとは基準画像において一定の領域で区切られた範囲であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。そして、このテンプレートと、当該基準画像と対応する参照画像において複数設定されたウィンドウとの相関値（類似度）が算出され、相関値に基づいて、これらテンプレートとウィンドウとが対応しているか否かが判断される。なお、ウィンドウとは参照画像において複数生成された、テンプレートと同一の大きさの範囲の領域であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。上述のように、テンプレートとウィンドウとの画像パターンから相関値が求められる。例えば、テンプレートといずれかのウィンドウとの相関値が求められ、仮に、これらの相関値が低いことから、これらが対応しないと判断されれば、例えば１画素いずれかの方向にずれた位置に生成されたウィンドウとテンプレートとの相関値が求められる。このようにして、順次ウィンドウが変更されながら相関値が求められ、相関値がピークの値をとるウィンドウ、つまりテンプレートに対応するウィンドウが求められる。
　このような、対応点探索の方法は、公知であり種々の方法が提案されている。例えば、テンプレートに対応するウィンドウを求める時間を短縮する方法についても種々提案されている。これらの方法のうち、いくつかについて、簡単に説明する。例えば、上述したように、基準画像がステレオ画像の一方の画像であり、参照画像が他方の画像であって、各画像を撮像したカメラは平行に配置されている場合は、基準画像と参照画像とがほとんど平行に配置されている。そうすると、参照画像上における対応点は、基準画像上における注目点と同じ高さ位置にあると仮定できるので、この高さ位置のウィンドウのみ、テンプレートとの相関値が求められればよい。また、基準画像と参照画像とがほとんど平行に配置されていて、かつ基準画像と参照画像との視差がある程度分かっている場合は、ウィンドウの設定範囲はさらに限定され得る。このように、ウィンドウの設定範囲が限定されれば、テンプレートとの相関値を求めるウィンドウの数が抑制されるので、対応するウィンドウの探索は短時間でなされ得る。
　また、別の方法としては、多重解像度戦略による探索方法とよばれているものがある。この方法は、一旦、基準画像および参照画像が低解像度化されて、すなわち画素数が減少される。そして、その状態で相関値演算が行われ、注目点に対して相関値がピークになる座標が求められる。そして、解像度が元に戻されて、ウィンドウの設定範囲が低解像度で求まった座標周辺に絞り込まれて、対応点探索が行われる。基準画像および参照画像の解像度が低い状態では、画像パターンの情報が減少しているので、相関値は短時間で求められ得る。また、そうして求められた低解像度での相関値がピークである座標付近に、本来の解像度における相関値がピークとなる座標が存在するはずである。このように、対応するウィンドウが存在する範囲が短時間で確定されるので、対応するウィンドウも短時間で探索され得る。なお、この方法においては、何段階かに分けた複数の低解像度画像が作成されることとし、徐々に探索範囲が絞り込まれることとしてもよい。
　次に、相関値の具体的な算出方法について説明する。相関値を求めるための関数としては、例えば、ＳＡＤ（Sum　of　Absolute　Difference）法、ＳＳＤ(Sum　of　Squared　Difference)法（２乗残差法）、ＮＣＣ（Normalize　cross　Correlation）法（正規化相互相関法）等が知られている。例えばＳＡＤ法は、テンプレートおよびウィンドウの輝度値の絶対値による総和を求める関数であって、この関数により、ウィンドウごとの相関値が求められる。また、上記ＳＡＤ法等に比べてロバスト性を有する相関値演算の方法もある。具体的には、この相関値演算の方法は、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法である。この相関値演算の方法は、ステレオ画像における左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関値演算を実現可能とする。なお、画像パターンの周波数分解信号を計算する手法は、例えば高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換などが知られている。ここでは、このようなロバスト性を有する相関値演算のうち位相限定相関法（以下、ＰＯＣ法という）について簡単に説明する。
　ＰＯＣ法においても、基準画像上にテンプレートが設定され、参照画像上に同じ大きさを持つウィンドウが設定される。そして、参照画像上のウィンドウをずらしながら、テンプレートと各ウィンドウとの相関値（ＰＯＣ値）が計算され、その相関値からテンプレートに対応するウィンドウが求められる。まず、基準画像のテンプレートおよび参照画像のウィンドウは、それぞれ２次元離散フーリエ変換され、規格化された後、合成され、２次元逆離散フーリエ変換される。このようにして、相関値であるＰＯＣ値が求められる。また、ＰＯＣ値は画素ごとに離散的に求まるため、ウィンドウ内における画素ごとの相関値を求めることができる。つまり、上述のＳＡＤ法等では、ウィンドウごとの相関値が求められるが、ＰＯＣ法はウィンドウ内の画素ごとの相関値も求められる。したがって、ウィンドウの設定範囲を絞り込むことが容易であり、対応点を求める処理が高速でできるという効果を奏する。また、上記ＰＯＣ法等のロバスト性を有する相関値演算方法においては、ＳＡＤ法等のようにウィンドウが１画素ずつずらされることで、相関値の算出が行われる必要はなく、ウィンドウが複数画素分ずらされても、相関値の算出は行われる。具体的に、どれだけずらすことができるかは、対応点の探索可能範囲に依存するが、一般的には、ウィンドウサイズの半分くらいであるといわれている。つまり、例えば、ずらされたウィンドウと、ずらされる前のウィンドウとが、ウィンドウサイズの半分程度において重なるように設定されればよい。例えば、基準画像と参照画像との視差の最大を１２８画素とし、ウィンドウサイズを３１×３１とし、ＰＯＣ法により探索できる範囲をウィンドウの重心位置に対して±８画素と仮定すると、この視差を探索するためには、ウィンドウは１６画素ずつずらされればよいので、８個のウィンドウが設定されればよい。なお、ＰＯＣ法においても、上述の多重解像度戦略による探索方法を用いることができる。上述の例では、８個のウィンドウが設定されればよかったが、さらに多重解像度戦略による探索方法を用いることで、例えば画像を１／１６に縮小すれば、設定されるウィンドウは１個でよくなる。これにより、さらに容易に対応点の探索ができる。
　なお、ＰＯＣ法以外でも、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて相関値演算を行う方法は知られている。例えばＤＣＴ符号限定相関法（「画像信号処理と画像パターン認識の融合－ＤＣＴ符号限定相関とその応用」，貴家仁志，首都大学東京　システムデザイン学部　動的画像処理実利用化ワークショップ２００７，２００７．３．８－９参照）等があり、これらを用いて相関値演算を行ってもよい。
　上述の対応点探索の方法により、注目点に対応する対応点が求められた場合は、必要であれば、その対応点を注目点として、新たな対応点探索が行われる。このような処理が繰り返されることで、時系列ステレオ画像において、任意の注目点に対応する点が複数の画像から求められる。ここで、時系列ステレオ画像における対応点探索について、簡単に説明する。図２は対応点探索について説明するための図である。なお、図２に示された画像は、固定されたステレオカメラにより撮像された画像である。
　図２において、時刻Ｔ１に撮影されたステレオ画像である画像Ｌ１と画像Ｒ１とが示されている。なお、説明を簡略化するために、これらの画像を撮像した一対の左右に配置されたカメラを有するステレオカメラにおいて、各カメラは平行配置されているとする。また、時刻Ｔ１よりも後の時刻である時刻Ｔ２に撮影された画像Ｌ２と画像Ｒ２とが示されている。なお、画像Ｌ１、Ｒ１、Ｌ２、Ｒ２において、各マス目が１画素を示している。まず、時刻Ｔ１における画像Ｌ１における点１１ａが注目点（始点）として入力されているとする。この点１１ａに対応する点である、画像Ｒ１上の点１１ｂが対応点探索により求められる。また、点１１ａを注目点とした場合に、時刻Ｔ２での画像Ｌ２上において点１１ａに対応する点１２ａが対応点探索により求められている。そして、この点１２ａを注目点として、時刻Ｔ２における画像Ｒ２においてこれに対応する点１２ｂが対応点探索により求められている。なお、各点１１ａ、１１ｂ、１２ａ、１２ｂは実際には点であるが、見易さを考慮して、図２においては画素と同じ大きさで図示している。
　点１１ａの座標を（ｐ１ｘ，ｐ１ｙ)とし、点１１ｂの座標を（ｑ１ｘ，ｑ１ｙ)とし、点１２ａの座標を（ｐ２ｘ，ｐ２ｙ)とし、点１２ｂの座標を（ｑ２ｘ，ｑ２ｙ)とする。なお、図面の上下方向が各画像のＹ方向であり、左右方向が各画像のＸ方向である。なお、上述したように、各カメラは平行配置されているので、点１１ａおよび点１１ｂのＹ座標は同じであり、点１２ａおよび点１２ｂのＹ座標も同じである。
　まず、点１１ａおよび点１１ａにより求めた点１１ｂの座標より、画像Ｌ１およびＲ１における視差を示すベクトルであるΔｄ１が求められる。具体的には、Δｄ１は（ｑ１ｘ－ｐ１ｘ，０）である。また、点１１ａおよび点１１ａにより求めた点１２ａの座標より、画像Ｌ１およびＬ２における動きを示すベクトルであるΔｆ１が求められる。具体的には、Δｆ１は（ｐ２ｘ－ｐ１ｘ，ｐ２ｙ－ｐ１ｙ）である。また、点１２ａおよび点１２ａにより求めた点１２ｂの座標より、時刻Ｔ２の画像における視差を示すベクトルであるΔｄ２が求められる。具体的には、Δｄ２は（ｑ２ｘ－ｐ２ｘ，０）である。
　なお、Δｄ１をもとに、時刻Ｔ１における画像より得た画像の奥行きの距離Ｄ１が求まる。ここで、距離Ｄ１は、図２における紙面垂直方向の座標であり、この座標をＺ座標とする。また、画像Ｌ１、Ｒ１、Ｌ２、Ｒ２を撮像したステレオカメラにおける、各カメラの焦点距離をｆとし、各カメラ同士の基線長をＢとすると、Ｄ１は式１で表される。なお、式１において、Δｄ１はベクトルの大きさである。
　Ｄ１＝ｆＢ／Δｄ１・・・（１）
　また、同様に、時刻Ｔ２における画像より得た画像の奥行き（Ｚ座標方向）の距離Ｄ２は、Δｄ２を用いて、式２で表される。なお、式２において、Δｄ２はベクトルの大きさである。
　Ｄ２＝ｆＢ／Δｄ２・・・（２）
　これらより、時刻Ｔ１における点１１ａおよび１１ｂにおける３次元座標（Ｘ１，Ｙ１，Ｚ１）は、（ｐ１ｘ・Ｄ１／ｆ，ｐ１ｙ・Ｄ１／ｆ，Ｄ１）と表すことができ、時刻Ｔ２における点１２ａおよび１２ｂにおける３次元座標（Ｘ２，Ｙ２，Ｚ２）は、（ｐ２ｘ・Ｄ２／ｆ，ｐ２ｙ・Ｄ２／ｆ，Ｄ２）と表すことができる。
　これら３次元座標（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）から３次元オプティカルフローが求められる。具体的には、３次元オプティカルフローは、（Ｘ２－Ｘ１，Ｙ２－Ｙ１，Ｚ２－Ｚ１）で表されるベクトルである。
　このようにして、３次元画像情報算出部５は撮像部１により撮像された画像上の任意の点について、その３次元座標およびオプティカルフロー等を算出する。
　なお、単眼カメラにより撮影された時系列画像からは、２次元オプティカルフローを算出することができる。この場合は、上述したステレオカメラによる画像のうち、一方のカメラで撮影した画像について考えればよい。例えば画像Ｌ１およびＬ２を取得して、点１１ａに対応する点１２ａを探索して求め、点１１ａおよび１２ａから２次元オプティカルフローを求めればよい。つまり、２次元オプティカルフローは上記Δｆ１で表される。撮像部１が単眼カメラであれば、３次元画像情報算出部５は、２次元オプティカルフローに加えて、前記３次元計測ができる機器の計測値をもとに３次元画像情報を算出する。
　なお、３次元画像情報算出部５は、上述の方法以外の方法により３次元画像情報を算出してもよい。
　静止体領域抽出部６は、３次元画像情報算出部５において算出された３次元座標、２次元オプティカルフローおよび３次元オプティカルフロー等をもとに、各画像における静止体領域を抽出する。ここで、静止体とは、例えば、信号機や、路面、横断歩道、壁等であって、実際に固定されているものをいい、画像上で静止しているものを指すわけではない。撮像部１は移動体である車両等に搭載されていることから、撮像部１自体も移動している。それにより、時系列画像上において、信号機や、路面、横断歩道、壁は、移動している。ここで、静止体領域とは、画像における静止体が占める範囲をいう。このように、画面上では固定されていないが、実際には移動していない静止体領域を画像から抽出する方法として、いくつかの公知技術がある。静止体領域抽出部６は、これらの方法を用いて、画像より静止体領域を抽出する。
　まず、例えば、動きの消失点を用いて静止体領域を抽出する方法について説明する。ここで、動きの消失点とは、画像上の各画素におけるオプティカルフローを延長した直線が交わる点である。この消失点は、画像上の物体の移動方向に応じて定まる。すなわち、カメラが同一方向に移動している場合またはカメラが固定である場合において、同一物体であれば同一方向に移動していることから、その物体に対しての消失点が存在する。また、静止体領域に関しては、静止していることから、すべての静止体領域の消失点は同一の点となる（「主成分分析を用いた移動物体認識法の検討」，情報処理学会　研究報告　－　コンピュータビジョンとイメージメディアＶｏｌ．１９９６，Ｎｏ．３１，１９９５－ＣＶＩＭ－０９９，文献番号：ＩＰＳＪ－ＣＶＩＭ９５０９９００８参照）。つまり、信号機や、路面、横断歩道、壁等のいずれを構成する点におけるオプティカルフローを延長した直線は同一の点で交わる。なお、撮像部１により撮像される画像のほとんどは、静止体領域であると考えられる。したがって、最も多くのオプティカルフローに対する消失点が静止体領域の消失点であると推測される。つまり、画像から求めた消失点のうち、最も多くの画素に対する消失点は静止体領域の消失点であるとされ、その消失点で交わる延長されたオプティカルフローから静止体領域が抽出される。また、オプティカルフローは、３次元画像情報算出部５により算出しているので、消失点を求めるために新たにオプティカルフローを算出する必要はなく、消失点を容易に算出することができるという効果を奏する。
　また、信号機、標識、看板等のように、存在することが予想される静止体すなわちランドマークを、パターン認識あるいはテンプレートマッチングにより検出することで、静止体領域が抽出されることとしてもよい。パターン認識においては、信号機等のランドマークはあらかじめ演算処理部２において学習・記憶され、それにより、画像から静止体領域である信号機は、例えばＳＶＭ（Support vector machine；サポートベクターマシン）やＡｄａＢｏｏｓｔ等の手法を用いることで検出される。テンプレートマッチングにおいても、信号機等のランドマークのテンプレート画像があらかじめ用意され、例えば演算処理部２の記憶部に記憶されている。上述の対応点探索と同様に、そのテンプレート画像と相関値の高い箇所が画像上から探索されることで、信号機等のランドマークが抽出される。
　また、パターン認識やテンプレートマッチングのように、あらかじめ静止体領域の物体についての情報が用意・記憶されているのではなく、撮像部１により撮像した画像を見ながら操作者が静止体領域を選ぶことで、静止体領域が選択されることとしてもよい。図３は操作者が静止体領域を選択する場合について説明するための図であって、図３（Ａ）は時刻Ｔにおける画像において静止体領域を選択した状態を示す図であり、図３（Ｂ）は時刻Ｔ＋Δｔにおける画像における静止体領域を選択した状態を示す図である。例えば、操作者は、表示装置３に撮像した画像を表示させて、入力部４であるマウス等を操作することで、表示装置３に表示された画像における静止体領域を選択していけばよい。例えば、図３（Ａ）に示すように、表示装置３に表示された画像から、道路と歩道との境界付近および壁面等を含む静止体領域２１、信号機および横断歩道等の路面を含む静止体領域２２、歩道、路面および壁面等を含む静止体領域２３および路面および路面に形成された車線等を含む静止体領域２４を設定している。このように、静止体領域２１、２２、２３、２４を設定する作業をすべての撮像された画像に関して行うこととしてもよいし、例えば、一つの画像について行い、その画像を基準画像として、その他の画像について対応点探索により追尾して、静止体領域を求めていくこととしてもよい。例えば、図３（Ａ）が時刻Ｔであり、図３（Ｂ）は時刻Ｔ＋Δｔの画像であるから、図３（Ｂ）は図３（Ａ）からΔｔ後の画像である。撮像部１が搭載された移動体は移動しているため、図３（Ａ）および図３（Ｂ）において、静止体領域２１、２２、２３、２４の位置は異なっている。また、静止体領域２４は図３（Ｂ）においては移動体である車両が割り込んできているので、対応点探索では探索することはできない。そこで、このような場合は、静止体領域２４は、静止体領域の候補からはずすこととすればよい。なお、このように、はじめに静止体領域を入力し、あとはこの静止体領域を追尾していく方法としては、対応点探索による方法だけでなく、例えば、Ｌｕｃａｓ－Ｋａｎａｄｅ法等のオプティカルフローを算出する演算を用いる方法等がある。
　静止体領域抽出部６は、上述のように画像中の静止体領域を直接抽出してもよいが、動体領域を画像中から抽出した後に、それ以外の領域を静止体領域として抽出してもよい。ここで、動体とは、実際に移動している物体であり、例えば、車両、バイク、自転車、歩行者等である。また、画像において、動体が占める範囲を動体領域という。静止体領域抽出部６は、これらを、パターン認識あるいはテンプレートマッチングにより検出することで動体領域を抽出してもよい。また、例えば、特開平７－３３４８００号公報に記載された方法により、静止体領域抽出部６は、動体領域を抽出してもよい。特開平７－３３４８００号公報に記載された方法は、具体的には、画像中のエッジ分布と左右対称性等から、画像上の車両を検出する方法である。なお、この方法では、歩行者を検出することは困難であると考えられる。静止体領域抽出部６は、これらの方法により、動体領域を抽出し、それにより画像における動体領域以外を静止体領域として抽出してもよい。
　また、移動体に搭載された撮像部１により撮像されたステレオ時系列画像より、距離情報およびオプティカルフローを求めて、さらに、撮像部１の速度によりこれらを補正することで画像上の静止体と動体とを判別してもよい（例えば、特開２００６－１３４０３５号参照）。静止体領域抽出部６は、この方法により、静止体領域を抽出してもよい。
　なお、静止体領域抽出部６は、画像上の静止体領域をすべて抽出する必要はない。また、静止体領域は、面積を有する領域である必要はなく、点（画素）であってもかまわない。静止体領域を抽出する方法として、いくつかの方法を上述したが、静止体領域抽出部６は、これらのうち、一つの方法により静止体領域を抽出してもよいし、いずれかの方法を選択的に用いて静止体領域を抽出することとしてもよい。例えば、特開平７－３３４８００号公報に記載の方法では、歩行者を検出することはできないことから、静止体領域抽出部６は、まずこの方法を使用する。そして、静止体領域抽出部６が、この方法で動体領域を抽出できない場合は、他の方法で動体領域を抽出して、その後、画像のそれら以外の領域を静止体領域として抽出することとしてもよい。また、静止体領域抽出部６は、通常は、ランドマークによりパターン認識またはテンプレートマッチングにより、静止体領域を抽出することとし、画像上に用意されたランドマークが存在しない場合は、別の方法にて静止体領域を抽出することとしてもよい。なお、静止体領域抽出部６は、上述の方法以外により静止体領域を抽出することとしてもよい。
　なお、画像統合装置１００が、自動車同士の追突等の交通事故の原因等を究明するためのドライビングレコーダとして使用される場合は、動体の時系列的な位置の変化だけでなく、それと関連して信号機の表示も重要となる。そこで、時刻に関連づけて、信号機において、赤、青、黄のいずれのランプが点灯しているかの情報を合わせて抽出することが好ましい。そこで、静止体領域抽出部（信号機抽出部）６は、信号機の静止体領域を抽出しておくことが好ましい。
　統合部７は、静止体領域抽出部６により抽出された静止体領域を、各時系列画像において一致させることで、各時系列画像を統合する。したがって、統合した画像においては、静止体領域には変化がないが、動体領域は同一の被写体に対して複数存在し得る。すなわち、時間によって、動体の存在位置が異なることから、統合した画像上には、統合した時系列画像の数（フレーム数）に応じた動体が存在し得る。
　具体的には、統合部７は、静止体領域抽出部６により抽出された、基準となる画像における静止体領域のうちの任意の３点を選択する。なお、この３点は３次元座標において同一直線上にないものとする。画像上の各点（画素）における３次元座標は、３次元画像情報算出部５により算出されている。したがって、これら３点の３次元座標も３次元画像情報算出部５によって算出されているため、統合部７が、同一直線上にない３点を選択することは容易にできる。この画像と次フレームの画像とを統合する場合は、統合部７は、これら３点に対応する、次フレームの画像上の点が必要である。例えば、統合部７は、上述した対応点探索の方法により、対応する３点を算出してもよい。また、統合部７は、例えば、Ｌｕｃａｓ－Ｋａｎｅｄａ法等のオプティカルフローを求めるための演算方法を用いて、対応する３点を求めてもよい。統合部７は、例えば、時刻Ｔにおける画像と、時刻Ｔ＋Δｔにおける画像とを統合する場合は、時刻Ｔにおける画像の静止体領域から同一直線上にはない３点を選択し、これらに対応する、時刻Ｔ＋Δｔにおける画像上の点を求める。そして、統合部７は、時刻Ｔにおける３点により構成される面に、時刻Ｔ＋Δｔにおける３点により構成される面を一致させるために必要な、時刻Ｔ＋Δｔにおける３点の３次元座標の座標変換に必要な回転成分および並進成分を算出する。つまり、統合部７は、時刻Ｔにおける３点から構成される面の法線ベクトルに、時刻Ｔ＋Δｔにおける３点から構成される面の法線ベクトルを一致させ、時刻Ｔにおける３点のいずれか１点に時刻Ｔ＋Δｔにおける３点のいずれかを合わせるか、時刻Ｔにおける３点の重心に時刻Ｔ＋Δｔにおける３点の重心を合わせるような回転成分および並進成分を算出する。統合部７は、時刻Ｔ＋Δｔの画像における各画素を、算出された回転成分および並進成分により変換することで、時刻Ｔの画像の静止体領域に時刻Ｔ＋Δｔの画像の静止体領域が一致して合わせられる。動体領域については互いの画像は一致しないことから、各動体は、統合された画像上において２つ存在することになる。なお、動体の移動速度が遅い場合は、その動体は、統合された画像上に、２つ存在しない場合もあり得る。
　ここで、基準となる画像において選択された３点は、３次元座標においてそれぞれ互いに離れていることが好ましい。それにより、局所的な一致でなく、静止体領域の広い範囲において、静止体領域が一致することとなり、より確実に一致することとなり、高精度の統合画像を得ることができる。しかし、選択された３点間の距離が広くなるほど、各時系列画像において、これら選択された３点に対応する点が存在する可能性が低くなる。そのため、選択された３点間の距離は、統合により作成される画像に応じて、適宜好ましい値とすればよい。具体的には、高精度の統合画像を得る必要がある場合は、これら選択された３点を結んで形成される三角形の面積が、画像中の３点により形成され得る三角形の最大面積の０．８以上となることが好ましい。また、これら３点を結んで形成される三角形の３辺の和が、画像中の３点により形成され得る三角形において最大となる３辺の和の０．８以上となることが好ましい。また、精度および選択しやすさの両面を考慮するのであれば、これら選択された３点を結んで形成される三角形の面積が、画像中の３点により形成され得る三角形の最大面積の０．６以上となることが好ましい。また、これら３点を結んで形成される三角形の３辺の和が、画像中の３点により形成され得る三角形において最大となる３辺の和の０．６以上となることが好ましい。また、各時系列画像のコントラストが低く、それぞれに対応する点も少ない場合であって、最低限の精度を有する統合画像を得るためには、これら選択された３点を結んで形成される三角形の面積が、画像中の３点により形成され得る三角形の最大面積の０．４以上となることが好ましい。また、これら３点を結んで形成される三角形の３辺の和が、画像中の３点により形成され得る三角形において最大となる３辺の和の０．４以上となることが好ましい。
　また、静止体領域を一致させるための上記３点は、３点を一つの組として、複数組設定することとしてもよい。そして、統合部７は、これら複数組により、最小二乗的に、上記回転成分および並進成分を算出すればよい。それにより、統合部７は、より安定した解（回転成分および並進成分）を求めることができ、画像統合の精度が高くなる。
　また、静止体領域を一致させる方法としては、ＩＣＰ（Iterative　Closest　Points）アルゴリズムを用いる方法がある。具体的には、統合部７は静止体領域抽出部６により抽出された、基準となる画像における静止体領域における任意の複数の点における３次元座標を初期値とし、これら複数の点に対応する、統合する画像（次フレームの画像）上の点を、対応点探索の方法またはＬｕｃａｓ－Ｋａｎｅｄａ法等により求める。そして、統合部７は、ＩＣＰ（Iterative　Closest　Points）アルゴリズムを用いることで、これら２つの画像それぞれの複数の点の位置合わせを行うことができる。つまり、統合部７は、基準となる時刻Ｔの静止体領域における複数の点に、これらに対応する時刻Ｔ＋Δｔの静止体領域における複数の点を３次元座標において一致させるために必要な、時刻Ｔ＋Δｔにおける複数の点の３次元座標における座標変換に必要な回転成分および並進成分を算出することができる。そして、統合部７は、時刻Ｔ＋Δｔの画像における各画素を、算出された回転成分および並進成分により変換することで、時刻Ｔの画像の静止体領域に時刻Ｔ＋Δｔの画像の静止体領域が一致して合わせられる。なお、動体領域については互いの画像は一致しないことから、各動体は、統合された画像上において２つ存在することになる。なお、動体の移動速度が遅い場合は、その動体は、統合された画像上に、２つ存在しない場合もあり得る。
　このように、ＩＣＰアルゴリズムを用いることで、対応する複数の点について、統合部７は、ノイズに影響されにくいロバストな位置合わせが可能である。
　なお、時刻Ｔにおける画像と時刻Ｔ＋Δｔにおける画像との統合について上述したが、統合部７は、同様に、さらに多くの画像を統合していけばよい。統合部７は、例えば、時刻Ｔ＋２×Δｔ、時刻Ｔ＋３×Δｔ・・・における画像も合わせて時刻Ｔの画像に統合すればよい。また、このように複数の時系列画像を統合する場合は、静止体領域を一致させるために選択した３点に対応する点が画像上に存在しなくなっていることもある。そこで、各時系列画像に応じて、これら３点は変更（更新）されることが好ましい。
　また、統合部７は、統合する各時系列画像中に信号機が存在する場合は、統合された画像における信号機のランプの色は、いずれかのフレームにおける信号機のランプの色とすればよい。例えば、統合したすべてのフレームにおける信号機のランプのうち、輝度値が最大値のランプの色を統合された画像における信号機のランプの色とすればよい。
　表示装置３は、例えば、ＣＲＴ（Cathode　Ray　Tube）ディスプレイ、ＬＣＤ（Liquid　Crystal　Display）、有機ＥＬ（Electro-Luminescence）ディスプレイおよびプラズマディスプレイ等の表示装置であり、上記統合された画像や、統合される前の画像等が表示される。
　入力部４は、例えば、キーボードや、マウス等であり、画像統合装置１００の操作指令の入力や、上記静止体領域の選択等に用いられる。
　次に、本発明の一実施形態に係る画像統合装置１００の動作について図４を用いて説明する。なお、図４は本発明の一実施形態に係る画像統合装置１００の動作について説明するためのフローチャートである。車両（移動体）に搭載された撮像部１は、例えば車両の進行方向にレンズを向けて設置され、随時撮像を繰り返す（Ｓ１０１）。なお、撮像部１は左右一対のステレオカメラであることが好ましく、これら一対のカメラは同時に撮像を行い、時系列ステレオ画像を得る。なお、撮像部１が単眼カメラである場合は、上記３次元計測ができる機器は計測を行っている。ここで、時系列画像の一例について図を用いて説明する。図５は本発明の一実施形態に係る撮像装置により撮像された時系列画像を示す図である。図５において、上段は時刻Ｔにおいて撮像された画像であり、下段は時刻ＴよりもΔｔ後である、時刻Ｔ＋Δｔにおいて撮像された画像である。時刻Ｔにおける画像において、静止体である信号機３４ａ、動体である歩行者３１ａ、車両３２ａ、車両３３ａが画像上に存在している。そして、時刻Ｔ＋Δｔにおける画像においては、静止体である信号機３４ｂ、動体である歩行者３１ｂ、車両３２ｂが画像上に存在している。これらの画像より、信号機３４ａおよび信号機３４ｂは同一の信号機の画像であり、信号機３４ａに比べて信号機３４ｂが大きく表示されているのは、撮像部１が信号機により接近しているからである。また、歩行者３１ａと歩行者３１ｂとは同一の歩行者の画像であり、歩行者３１ｂの方がより車道側（図において右方向）へ進んでいる。また、車両３２ａおよび車両３２ｂは同一の車両の画像であり、車両３２ｂの方がより信号機に近づいている。また、車両３２ｂは車両３２ａに比べて大きく表示されているが、これは撮像部１が当該車両に接近しているからである。また、車両３２ａと同一の車両は時刻Ｔ＋Δｔの画像においては、表示されていない。車両３２ａは信号機３４ａから離れる方向へと移動していることから、時刻Ｔ＋Δｔにおいては画像の範囲外に移動している。
　撮像部１によって撮像された画像は３次画像元情報算出部５に送られる。３次元画像情報算出部５では、各画像における各点の３次元画像情報を算出する（Ｓ１０２）。具体的には、３次元画像情報算出部５は、各点の２次元オプティカルフロー、３次元座標、３次元オプティカルフロー等を算出する。
　静止体領域抽出部６は３次元画像情報算出部５からの３次元画像情報をもとに、各画像における静止体領域を抽出する（Ｓ１０３）。なお、この際に、操作者は表示装置３に表示された各画像を見ながら、その画像における静止体領域を入力部４により直接指示することとしてもよい。ここで、静止体領域を抽出した状態の時系列画像の一例について図を用いて説明する。図６は本発明の一実施形態において静止体領域を抽出した状態の時系列画像を示す図である。図６において、上段は時刻Ｔにおいて撮像された画像であり、下段は時刻ＴよりもΔｔ後である、時刻Ｔ＋Δｔにおいて撮像された画像である。なお、図６に示した画像は、図５の画像をもとに静止体領域を抽出している。時刻Ｔにおける画像において、静止体である信号機４４ａは表示されているが、動体である歩行者、車両については、動体領域４１ａ、４２ａ、４３ａとして塗りつぶされて表示されている。図６において、表示されている画像が静止体領域である。そして、時刻Ｔ＋Δｔにおける画像においては、静止体である信号機４４ｂは表示されているが、動体である歩行者、車両については、動体領域４１ｂ、４２ｂとして塗りつぶされて表示されている。
　そして、統合部７は、静止体領域抽出部６により抽出された各画像の静止体領域が一致するように、時刻Ｔ＋Δｔにおける画像を変換するような回転成分および並進成分を算出し、時刻Ｔ＋Δｔにおける画像を変換して、時刻Ｔにおける画像と時刻Ｔ＋Δｔにおける画像とを重ね合わせて、各画像を統合する（Ｓ１０４）。統合部７は、具体的には、静止体領域抽出部６により抽出された、基準となる画像における静止体領域のうちの３点あるいは複数の点を選択し、その画像に統合する画像から、これら３点に対応する３点あるいはこれら複数の点に対応する複数の点を探索する。そして、統合部７は、基準となる画像の３点により構成される面に、それらに対応する３点により構成される面を一致させるための座標変換に必要な回転成分および並進成分を算出する。なお、統合部７は、複数の点を選択している場合は、ＩＣＰアルゴリズムを用いることで、変換用成分を算出する。そして、統合部７は、基準とする画像に統合する画像を、変換用成分を用いて変換し、変換した画像と基準となる画像を統合する。
　ここで、静止体領域のうちの３点により座標変換に必要な回転成分および並進成分（変換用成分）を算出する場合の、統合部７の動作について、特に図７を用いて説明する。図７は、本発明の一実施形態に係る統合部の動作を説明するためのフローチャートである。具体的には、図７は、静止体領域のうちの３点により座標変換に必要な回転成分および並進成分（変換用成分）を算出する場合の、統合部７の動作を説明するためのフローチャートである。なお、ここでは、高精度の統合画像が必要である場合について説明する。まず、統合部７は、静止体領域抽出部６により抽出された、基準となる画像における静止体領域のうちの任意の３点を選択する（Ｓ２０１）。そして、統合部７は、その３点が３次元座標において、一直線上にあるかを判断する（Ｓ２０２）。これら３点が一直線上にある場合は、ステップＳ２０１に戻り、統合部７は再び任意の３点を選択し直す。この場合は、統合部７は、例えば、一点のみ変更することとしてもよい。ステップＳ２０２において一直線上にない場合は、統合部７はこれら３点がそれぞれ十分に離れていて、これらの距離が適当であるかを判断する。具体的には、これら３点を結んで形成される三角形の面積が、画像中の３点により形成される得る三角形の最大面積の０．８以上となるか否かを判断する。ここで、画像中の３点により形成される三角形の面積が、画像中の３点により形成される得る三角形の最大面積の０．８以上でなければ、３点の距離は十分離れているとはいえないので、ステップＳ２０１に戻り、統合部７は再び任意の３点を選択し直す。また、画像中の３点により形成される三角形の面積が画像中の３点により形成される得る三角形の最大面積の０．８以上であれば、３点の距離は十分離れているので、統合部７は、その画像に統合する画像から、これら３点に対応する３点を探索する（Ｓ２０４）。そして、統合部７は、基準となる画像の３点により構成される面に、それらに対応する３点により構成される面を一致させるための座標変換に必要な回転成分および並進成分（変換用成分）を算出する（ステップＳ２０５）。そして、統合部７は、基準とする画像に統合する画像を、変換用成分を用いて変換し（ステップＳ２０６）、変換した画像と基準となる画像を統合する（ステップＳ２０７）。なお、信号機のランプの色については、各画像の信号機のランプの内、最大輝度を有するランプの色とすればよい。
　表示装置３は、統合された画像を表示する。ここで、統合された画像の一例について図を用いて説明する。図８は本発明の一実施形態において統合された画像を示す図であって、図８（Ａ）は撮像部により撮像された画像による統合画像を示す図であり、図８（Ｂ）は統合画像を俯瞰表示に変換した画像を示す図である。図８（Ａ）に示すように、両画像において信号機５４を含む静止体領域は一致し、重ね合わされているが、動体である車両５２ａ、５２ｂおよび車両５３ａ、５３ｂはそれぞれ２つ存在する。つまり、車両５２ａおよび車両５２ｂは同一の車両の表示であり。車両５２ａが時刻Ｔにおけるものであり、車両５２ｂが時刻Ｔ＋Δｔにおけるものである。また、車両５３ａおよび車両５３ｂは同一の車両の表示であり。車両５３ａが時刻Ｔにおけるものであり、車両５３ｂが時刻Ｔ＋Δｔにおけるものである。なお、歩行者５１も動体であるが、移動速度が車両に比べて遅く、Δｔの間にほとんど移動していないので、歩行者５１は重ね合わされて表示されている。また、この統合画像は３次元画像情報を有していることから、異なる方向から見た画像に変換することも可能である。具体的には、図８（Ｂ）に示すように、俯瞰表示とすることも可能である。例えば、このように俯瞰表示とすることで、車両５２ａ、５２ｂおよび車両５３ａ、５３ｂの速度の差等がよくわかる。車両５２ａと車両５２ｂ間の距離に比べて、車両５３ａと車両５３ｂ間の距離の方が長い。したがって、車両５３ａ、５３ｂの方が、車両５２ａ、５２ｂよりも速度が速い。
　このように、本実施の形態に係る画像統合装置により得られた統合画像は静止体領域で時系列画像を一致させていることから、動体の動きがわかりやすく、一目で車両等の動作状況がわかる。したがって、この統合画像を用いることで、事故等の状況分析を容易に行うことができるという効果を奏する。また、本実施の形態に係る画像統合装置の撮像部は、車両等に搭載して使用できることから、撮像場所が限定されることがない。
　本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
　本発明に係る一態様に係る画像統合装置は、移動体に搭載され、異なる時間における複数の時系列画像を撮像する撮像部と、前記撮像部により撮像された前記時系列画像をもとに、前記各時系列画像における３次元画像情報を算出する３次元画像情報算出部と、前記３次元画像情報をもとに、前記各時系列画像における静止体領域を抽出する静止体領域抽出部と、前記各時系列画像において抽出された各静止体領域から、前記各時系列画像間において対応する前記静止体領域を算出し、前記対応する静止体領域を一致させることで、前記時系列画像を統合する統合部とを備える。
　このように、画像統合装置は、時間的に異なる複数の画像における静止体領域を基準として、これら画像を統合するため、正確な画像の統合が可能である。また、画像統合装置は、一目で動体の動きを把握することが可能な、統合された画像を得ることができるという効果も奏する。
　また、上述の画像統合装置において、前記撮像部は、左右一対のステレオ画像を取得することができ、前記複数の時系列画像はそれぞれ前記ステレオ画像であって、前記３次元画像情報算出部は、前記ステレオ画像を用いて、前記各時系列画像における３次元画像情報を算出することが好ましい。
　このように、画像統合装置は、ステレオ画像を用いて３次元画像情報を得ることから、高精度の３次元画像情報を得ることができる。
　また、上述の画像統合装置において、前記統合部は、前記対応する静止体領域の一方において任意の複数の点を選択し、前記対応する静止体領域の他方において、前記任意の複数の点に対応する複数の点を算出し、前記任意の複数の点および前記任意の複数の点に対応する複数の点を一致させるような回転成分および並進成分を算出することが好ましい。
　このように、統合部は、前記回転成分および並進成分を用いることで、前記対応する静止体領域を容易に一致させることができる。
　また、上述の画像統合装置において、前記静止体領域の一方において選択される前記任意の複数の点は任意の３点であり、前記対応する静止体領域の他方において、算出される点は、前記任意の３点に対応する３点であり、前記回転成分および前記並進成分は、前記任意の３点および前記任意の３点に対応する３点が一致するように算出されることが好ましい。
　これにより、統合部は、少数の点を用いて、上記回転成分および並進成分を算出することができるので、処理が高速である。
　また、上述の画像統合装置において、前記任意の３点は、統合される前記各時系列画像に応じて、変更されることが好ましい。
　これにより、前記３点は、統合される画像上に確実に存在する点の中から選択されることになる。したがって、統合される画像が複数であり、画像が随時増えていっても、画像統合装置は、確実に画像を統合することができる。
　また、上述の画像統合装置において、前記任意の３点を結んで形成される三角形の面積が、前記３点により形成される三角形の最大面積の所定の割合以上となるように、前記３点が選択されることが好ましい。
　これにより、各点同士の距離が離れることになる。これら３点が接近しすぎる場合には、統合部は、局所的な部分における静止体領域の一致を求めることになるが、このように、各点を離れた位置とすることで、より正確な静止体領域の一致を実現できる。
　また、上述の画像統合装置において、前記任意の３点を結んで形成される三角形の３辺の和が、前記３点により形成される三角形において最大となる３辺の和の所定の割合以上となるように、前記３点が選択されることが好ましい。
　これにより、各点同士の距離が離れることになる。これら３点が接近しすぎる場合には、統合部は、局所的な部分における静止体領域の一致を求めることになるが、このように、各点を離れ対置とすることで、より正確な静止体領域の一致を実現できる。
　また、上述の画像統合装置において、前記統合部は、ＩＣＰアルゴリズムを用いて、前記任意の複数の点および前記任意の複数の点に対応する複数の点を一致させるような前記回転成分および前記並進成分を算出することが好ましい。
　これにより、統合部は、ＩＣＰアルゴリズムを用いることで、前記対応する複数の点について、ノイズに影響されにくいロバストな位置合わせが可能である。
　また、上述の画像統合装置において、前記静止体領域抽出部は、動きの消失点を用いて静止体領域を抽出することが好ましい。
　このように、静止体領域抽出部は、動きの消失点を用いることで、静止体領域を容易に抽出することができる。また、動きの消失点を求めるためには、オプティカルフローを求める必要があるが、前記３次元画像情報算出部はオプティカルフローを算出しているため、新たにオプティカルフローを算出する必要がないという効果も奏する。
　また、上述の画像統合装置において、前記静止体領域抽出部は、ランドマークを用いて、パターン認識またはテンプレートマッチングにより、静止体領域を抽出することが好ましい。
　これにより、静止体領域抽出部は、パターン認識またはテンプレートマッチングといった、簡易な方法により、静止体領域を抽出することができる。なお、ランドマークとしては、例えば、標識、信号機、看板等のように、あらかじめ形状のわかるものを用いればよい。
　また、上述の画像統合装置において、前記静止体領域抽出部は、前記時系列画像中の動体領域を抽出し、前記時系列画像中の前記動体領域以外を静止体領域として抽出することが好ましい。
　これにより、静止体領域抽出部は、動体領域を抽出する方法を用いて、静止体領域を抽出することができる。
　また、上述の画像統合装置において、前記３次元画像情報算出部は、画像間における対応点探索を用いて、前記３次元画像情報を算出し、前記対応点探索において、周波数分解され、振幅成分が抑制されたウィンドウの画像パターンを用いることが好ましい。
　このように、３次元画像情報算出部が用いる対応点探索において、周波数成分から振幅成分を抑制することで、画像間の輝度差やノイズの影響を受けにくいため、ロバスト性を有する対応点探索が可能である。
　また、上述の画像統合装置において、前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかであることが好ましい。
　このように、３次元画像情報算出部は、一般的に使用され、すでに確立されている手法により周波数分解を行うので、確実に周波数分解を行うことができる。
　また、上述の画像統合装置において、前記対応点探索は、位相限定相関法を用いていることが好ましい。
　このように、３次元画像情報算出部は、位相限定相関法を用いることで、より高精度な対応点探索が可能となる。
　また、上述の画像統合装置において、前記時系列画像中における信号機を抽出する信号機抽出部をさらに備え、前記統合部は、いずれかの前記時系列画像における前記抽出された信号機のランプの色を、前記統合部により統合された画像における前記抽出された信号機のランプの色とすることが好ましい。
　これにより、統合された画像から、操作者はより具体的に状況を判断することができるという効果を奏する。
　また、上述の画像統合装置において、前記統合部は、前記時系列画像のうち、前記抽出された信号機のランプの輝度が最大の画像における信号機のランプの色を、前記統合部により統合された画像における前記抽出された信号機のランプの色とすることが好ましい。
　これにより、統合された画像から、操作者は、より具体的に状況を判断することができるという効果を奏する。
　また、本発明の他の一態様に係る画像統合方法は、移動しながら、異なる時間における複数の時系列画像を撮像する撮像工程と、前記撮像工程により撮像された前記時系列画像をもとに、前記各時系列画像における３次元画像情報を算出する３次元画像情報算出工程と、前記３次元画像情報算出工程により算出された前記３次元画像情報をもとに、前記各時系列画像における静止体領域を抽出する静止体領域抽出工程と、前記各時系列画像において抽出された各静止体領域から、前記各時系列画像間において対応する前記静止体領域を算出し、前記静止体領域を一致させることで、前記時系列画像を統合する統合工程とを備えている。
　このように、時間的に異なる複数の画像における静止体領域が基準とされて、これら画像が統合されるため、正確な画像の統合が可能である。また、この画像統合方法は、一目で動体の動きを把握することができる、統合された画像を作成することができるという効果も奏する。
　本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
　本発明によれば、時系列画像を統合する画像統合装置および画像統合方法を提供することができる。

Claims (17)

  1. 　移動体に搭載され、異なる時間における複数の時系列画像を撮像する撮像部と、
    　前記撮像部により撮像された前記時系列画像をもとに、前記各時系列画像における３次元画像情報を算出する３次元画像情報算出部と、
    　前記３次画像元情報をもとに、前記各時系列画像における静止体領域を抽出する静止体領域抽出部と、
    　前記各時系列画像において抽出された各静止体領域から、前記各時系列画像間において対応する前記静止体領域を算出し、前記対応する静止体領域を一致させることで、前記時系列画像を統合する統合部とを備えた画像統合装置。
  2. 　前記撮像部は、左右一対のステレオ画像を取得することができ、
    　前記複数の時系列画像はそれぞれ前記ステレオ画像であって、
    　前記３次元画像情報算出部は、前記ステレオ画像を用いて、前記各時系列画像における３次元画像情報を算出する請求項１に記載の画像統合装置。
  3. 　前記統合部は、前記対応する静止体領域の一方において任意の複数の点を選択し、前記対応する静止体領域の他方において、前記任意の複数の点に対応する複数の点を算出し、
    　前記任意の複数の点および前記任意の複数の点に対応する複数の点を一致させるような回転成分および並進成分を算出する請求項１または請求項２に記載の画像統合装置。 
  4. 　前記静止体領域の一方において選択される前記任意の複数の点は任意の３点であり、
    　前記対応する静止体領域の他方において、算出される点は、前記任意の３点に対応する３点であり、
    　前記回転成分および前記並進成分は、前記任意の３点および前記任意の３点に対応する３点が一致するように算出される請求項３に記載の画像統合装置。 
  5. 　前記任意の３点は、統合される前記各時系列画像に応じて、変更される請求項４に記載の画像統合装置。
  6. 　前記任意の３点を結んで形成される三角形の面積が、前記３点により形成される三角形の最大面積の所定の割合以上となるように、前記３点が選択される請求項４に記載の画像統合装置。
  7. 　前記任意の３点を結んで形成される三角形の３辺の和が、前記３点により形成される三角形において最大となる３辺の和の所定の割合以上となるように、前記３点が選択される請求項４に記載の画像統合装置。
  8. 　前記統合部は、ＩＣＰアルゴリズムを用いて、前記任意の複数の点および前記任意の複数の点に対応する複数の点を一致させるような前記回転成分および前記並進成分を算出する請求項３に記載の画像統合装置。
  9. 　前記静止体領域抽出部は、動きの消失点を用いて静止体領域を抽出する請求項１または請求項２に記載の画像統合装置。
  10. 　前記静止体領域抽出部は、ランドマークを用いて、パターン認識またはテンプレートマッチングにより、静止体領域を抽出する請求項１または請求項２に記載の画像統合装置。
  11. 　前記静止体領域抽出部は、前記時系列画像中の動体領域を抽出し、前記時系列画像中の前記動体領域以外を静止体領域として抽出する請求項１または請求項２に記載の画像統合装置。
  12. 　前記３次元画像情報算出部は、画像間における対応点探索を用いて、前記３次元画像情報を算出し、
    　前記対応点探索において、周波数分解され、振幅成分が抑制されたウィンドウの画像パターンを用いる請求項１に記載の画像統合装置。
  13. 　前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかである請求項１２に記載の画像統合装置。     
  14. 　前記対応点探索は、位相限定相関法を用いている請求項１２に記載の画像統合装置。
  15. 　前記時系列画像中における信号機を抽出する信号機抽出部をさらに備え、
    　前記統合部は、いずれかの前記時系列画像における前記抽出された信号機のランプの色を、前記統合部により統合された画像における前記抽出された信号機のランプの色とする、請求項１に記載の画像統合装置。
  16. 　前記統合部は、前記時系列画像のうち、前記抽出された信号機のランプの輝度が最大の画像における信号機のランプの色を、前記統合部により統合された画像における前記抽出された信号機のランプの色とする、請求項１５に記載の画像統合装置。
  17. 　移動しながら、異なる時間における複数の時系列画像を撮像する撮像工程と、
    　前記撮像工程により撮像された前記時系列画像をもとに、前記各時系列画像における３次元画像情報を算出する３次元画像情報算出工程と、
    　前記３次元画像情報算出工程により算出された前記３次元画像情報をもとに、前記各時系列画像における静止体領域を抽出する静止体領域抽出工程と、
    　前記各時系列画像において抽出された各静止体領域から、前記各時系列画像間において対応する前記静止体領域を算出し、前記静止体領域を一致させることで、前記時系列画像を統合する統合工程とを備えた画像統合方法。
PCT/JP2009/056590 2009-03-31 2009-03-31 画像統合装置および画像統合方法 Ceased WO2010113239A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010503315A JP4553072B1 (ja) 2009-03-31 2009-03-31 画像統合装置および画像統合方法
US13/258,974 US9415723B2 (en) 2009-03-31 2009-03-31 Image integration unit and image integration method
PCT/JP2009/056590 WO2010113239A1 (ja) 2009-03-31 2009-03-31 画像統合装置および画像統合方法
EP09842595.2A EP2416292A4 (en) 2009-03-31 2009-03-31 IMAGE INTEGRATION UNIT AND IMAGE INTEGRATION PROCESS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/056590 WO2010113239A1 (ja) 2009-03-31 2009-03-31 画像統合装置および画像統合方法

Publications (1)

Publication Number Publication Date
WO2010113239A1 true WO2010113239A1 (ja) 2010-10-07

Family

ID=42827571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/056590 Ceased WO2010113239A1 (ja) 2009-03-31 2009-03-31 画像統合装置および画像統合方法

Country Status (4)

Country Link
US (1) US9415723B2 (ja)
EP (1) EP2416292A4 (ja)
JP (1) JP4553072B1 (ja)
WO (1) WO2010113239A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123751A (ja) * 2010-12-10 2012-06-28 Toshiba Alpine Automotive Technology Corp 車両用画像処理装置および車両用画像処理方法
JP2015011502A (ja) * 2013-06-28 2015-01-19 株式会社Ｊｖｃケンウッド 先方状況判定装置、安全運転支援装置
JP2022191334A (ja) * 2017-02-21 2022-12-27 ヘイリー ブラスウェイト パーソナルナビゲーションシステム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011233039A (ja) * 2010-04-28 2011-11-17 Sony Corp 画像処理装置、画像処理方法、撮像装置、およびプログラム
PT2447884E (pt) * 2010-10-28 2015-02-27 Cyclomedia Technology B V Método para detectar e reconhecer um objecto numa imagem e aparelho e programa de computador para o mesmo
JP5110235B1 (ja) * 2011-06-27 2012-12-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
US20140297575A1 (en) * 2013-04-01 2014-10-02 Google Inc. Navigating through geolocated imagery spanning space and time
US9990004B2 (en) * 2013-04-02 2018-06-05 Samsung Dispaly Co., Ltd. Optical detection of bending motions of a flexible display
US10331733B2 (en) 2013-04-25 2019-06-25 Google Llc System and method for presenting condition-specific geographic imagery
US9672223B2 (en) 2013-04-25 2017-06-06 Google Inc. Geo photo searching based on current conditions at a location
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
WO2014192487A1 (ja) * 2013-05-29 2014-12-04 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
US9098754B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
JP6658054B2 (ja) * 2016-02-16 2020-03-04 トヨタ車体株式会社 車体部品の施工部位判定システム及び施工部位判定方法
US10688662B2 (en) 2017-12-13 2020-06-23 Disney Enterprises, Inc. Robot navigation in context of obstacle traffic including movement of groups
DE102018133461A1 (de) * 2018-12-21 2020-06-25 Man Truck & Bus Se Positionsbestimmungssystem und Verfahren zum Betreiben eines Positionsbestimmungssystems für eine mobile Einheit
DE102019117559A1 (de) * 2019-06-28 2020-12-31 Connaught Electronics Ltd. Verfahren und System zum Fusionieren von zweidimensionalen semantischen Informationen aus Bildern mit einer dreidimensionalen Punktwolke
JP7446756B2 (ja) * 2019-10-02 2024-03-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN116071945A (zh) * 2021-10-29 2023-05-05 通用汽车环球科技运作有限责任公司 交通灯可见性检测和增强显示

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07174538A (ja) 1993-12-20 1995-07-14 Minolta Co Ltd 画像入力カメラ
JPH07334800A (ja) 1994-06-06 1995-12-22 Matsushita Electric Ind Co Ltd 車両認識装置
JP2000244897A (ja) * 1999-02-16 2000-09-08 Mitsubishi Electric Inf Technol Center America Inc 状態認識システムおよび状態認識表示生成方法
WO2004008744A1 (ja) * 2002-07-12 2004-01-22 Iwane Laboratories, Ltd. 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置
JP2004102426A (ja) 2002-09-05 2004-04-02 Mitsubishi Electric Engineering Co Ltd 交通事故記録映像解析システム
JP2006134035A (ja) 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668631A (en) 1993-12-20 1997-09-16 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
US6407817B1 (en) 1993-12-20 2002-06-18 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
CN1160210C (zh) * 1999-09-20 2004-08-04 松下电器产业株式会社 驾驶提醒装置
JP4989557B2 (ja) * 2008-02-05 2012-08-01 矢崎総業株式会社 交通事故解析装置、交通事故解析方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07174538A (ja) 1993-12-20 1995-07-14 Minolta Co Ltd 画像入力カメラ
JPH07334800A (ja) 1994-06-06 1995-12-22 Matsushita Electric Ind Co Ltd 車両認識装置
JP2000244897A (ja) * 1999-02-16 2000-09-08 Mitsubishi Electric Inf Technol Center America Inc 状態認識システムおよび状態認識表示生成方法
WO2004008744A1 (ja) * 2002-07-12 2004-01-22 Iwane Laboratories, Ltd. 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置
JP2004102426A (ja) 2002-09-05 2004-04-02 Mitsubishi Electric Engineering Co Ltd 交通事故記録映像解析システム
JP2006134035A (ja) 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"A moving object recognition method by principal component analysis", SPECIAL INTEREST GROUP TECHNICAL REPORTS OF IPS - COMPUTER VISION AND IMAGE MEDIA, vol. 1996, no. 31, 1995
HITOSHI KIYA: "Dynamic Image Processing for Real Application", 2007, FACULTY OF SYSTEM DESIGN, article "Integration of image signal processing and image pattern recognition - DCT code-only correlation and application thereof", pages: 3.8 - 3.9
See also references of EP2416292A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123751A (ja) * 2010-12-10 2012-06-28 Toshiba Alpine Automotive Technology Corp 車両用画像処理装置および車両用画像処理方法
JP2015011502A (ja) * 2013-06-28 2015-01-19 株式会社Ｊｖｃケンウッド 先方状況判定装置、安全運転支援装置
JP2022191334A (ja) * 2017-02-21 2022-12-27 ヘイリー ブラスウェイト パーソナルナビゲーションシステム
US11705018B2 (en) 2017-02-21 2023-07-18 Haley BRATHWAITE Personal navigation system
US12154451B1 (en) 2017-02-21 2024-11-26 Haley BRATHWAITE Personal navigation system

Also Published As

Publication number Publication date
US20120013713A1 (en) 2012-01-19
JPWO2010113239A1 (ja) 2012-10-04
US9415723B2 (en) 2016-08-16
EP2416292A4 (en) 2014-09-03
JP4553072B1 (ja) 2010-09-29
EP2416292A1 (en) 2012-02-08

Similar Documents

Publication Publication Date Title
JP4553072B1 (ja) 画像統合装置および画像統合方法
JP4406381B2 (ja) 障害物検出装置及び方法
JP4609603B2 (ja) ３次元情報表示装置および３次元情報表示方法
JP5109691B2 (ja) 解析装置
JP4363295B2 (ja) ステレオ画像による平面推定方法
JP5267596B2 (ja) 移動体検出装置
JP5267330B2 (ja) 画像処理装置および方法
JP6515704B2 (ja) 車線検出装置及び車線検出方法
EP3324359B1 (en) Image processing device and image processing method
US11087150B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
JP2015175598A (ja) 画像処理装置
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP4553071B1 (ja) ３次元情報表示装置および３次元情報表示方法
KR20190134303A (ko) 영상 인식 장치 및 그 방법
Fregin et al. Three ways of using stereo vision for traffic light recognition
JP2005217883A (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP4946896B2 (ja) 距離計測装置及び距離計測方法
JP2009092551A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
JP5472928B2 (ja) 対象物検出装置及び方法
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
EP3168779A1 (en) Method for identifying an incoming vehicle and corresponding system
JP5256508B2 (ja) ３次元情報算出装置および３次元情報算出方法
JP4762026B2 (ja) 道路標識データベース構築装置
JP4946898B2 (ja) 距離計測装置及び距離計測方法
JP2025041151A (ja) 車載画像処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2010503315

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09842595

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13258974

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2009842595

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009842595

Country of ref document: EP