WO2020183711A1 - 画像処理装置及び３次元計測システム - Google Patents

画像処理装置及び３次元計測システム Download PDF

Info

Publication number
WO2020183711A1
WO2020183711A1 PCT/JP2019/010590 JP2019010590W WO2020183711A1 WO 2020183711 A1 WO2020183711 A1 WO 2020183711A1 JP 2019010590 W JP2019010590 W JP 2019010590W WO 2020183711 A1 WO2020183711 A1 WO 2020183711A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parallax
predicted
map
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/010590
Other languages
English (en)
French (fr)
Inventor
松本　慎也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to PCT/JP2019/010590 priority Critical patent/WO2020183711A1/ja
Priority to EP19919470.5A priority patent/EP3832601B1/en
Priority to CN201980054085.2A priority patent/CN112602118B/zh
Priority to JP2021505461A priority patent/JP7078173B2/ja
Priority to US17/272,919 priority patent/US11803982B2/en
Publication of WO2020183711A1 publication Critical patent/WO2020183711A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to three-dimensional measurement using an image.
  • various methods for performing three-dimensional measurement of an object are known, and they are roughly classified into a method using the straightness of light and a method using the speed of light, focusing on the properties of light.
  • methods that use the straightness of light include methods that are classified into either active measurement (active measurement) or passive measurement (passive measurement), and methods that use the speed of light include methods that use the speed of light.
  • Methods classified as active measurement (active measurement) are included.
  • Non-Patent Document 1 as a specific example of the spatially coded pattern projection method, which is an example of the active measurement method, a spatially encoded (coded) pattern illumination is projected onto an object, and the pattern is projected. A method of acquiring a three-dimensional shape by analyzing an image of a captured object is described.
  • FIG. 14 shows the principle of stereo matching.
  • stereo matching for example, two cameras arranged on the left and right photograph the object O at the same time to obtain two images. One is the reference image I1 and the other is the comparison image I2, and the pixel (reference point P1) in the reference image I1 and the pixel (corresponding point P2) having the closest image feature are searched along the epipolar line E in the comparison image I2. Then, the difference in coordinates (parallax) between the reference point P1 and the corresponding point P2 is obtained. Since the geometrical position of each camera is known, the distance D (depth) in the depth direction can be calculated from the parallax by the principle of triangulation, and the three-dimensional shape of the object O can be restored.
  • the difference in reflection characteristics on the surface of the object and environmental changes such as lighting tend to cause variations and deterioration in measurement accuracy.
  • the illumination light is specularly reflected on the surface of a metal part and halation occurs, or if the dark area gradation is crushed by an object with low reflectance such as rubber, the amount of information required for distance estimation is insufficient and the accuracy is remarkable. There are cases where it drops or becomes unmeasurable.
  • the measurement accuracy is affected when the amount of light of the illumination is insufficient, when the object is shaded by another object and the object is not sufficiently illuminated, or when the reflected light from the other object hits the object (so-called mutual reflection). Can exert.
  • Patent Documents 1 and 2 disclose the idea of performing stereo matching a plurality of times on the same object and synthesizing the results in order to improve the measurement accuracy.
  • the conventional stereo matching may be repeated a plurality of times to reduce the variation, the effect cannot be expected in the case where the amount of image information is insufficient.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for improving accuracy and robustness in measurement by stereo matching.
  • One aspect of the present invention is an image processing device that generates a depth map, which is data in which distance information is associated with the coordinates of each pixel, by stereo matching using an image pair.
  • Disparity prediction that predicts the disparity between the first image and the second image by an image acquisition means that acquires an image pair consisting of a first image and a second image taken from different viewpoints and a method different from stereo matching.
  • the setting means for setting the search range of the corresponding point in stereo matching based on the predicted parallax, and the set search range.
  • a disparity map generation means that searches for points and generates a disparity map that is data in which disparity information is associated with the coordinates of each pixel based on the search result, and a plurality of disparity maps generated from each of a plurality of image pairs. It is characterized by having a parallax map synthesizing means for generating a composite parallax map by synthesizing the above, and a depth map generating means for converting the parallax information of the composite parallax map into distance information and generating the depth map.
  • An image processing apparatus is provided.
  • the search range of the corresponding point is limited based on the predicted parallax.
  • the time required for the corresponding point search can be significantly shortened as compared with the conventional general stereo matching, but also the search can be narrowed down to a range in which the corresponding point is likely to exist.
  • the accuracy and reliability of the corresponding point search can be improved.
  • the predicted parallax generated by a method different from stereo matching the effect of complementing the part that is difficult to measure by stereo matching can be expected. Then, since the parallax maps obtained from the plurality of image pairs are combined, the variation in measurement can be reduced. Therefore, as a whole, highly accurate and highly reliable measurement results can be stably obtained.
  • the parallax predicting means may generate a plurality of predicted parallax, and the setting means may use a composite predicted parallax obtained by synthesizing the plurality of predicted parallax to set a search range of the plurality of image pairs. By generating (measuring) the predicted parallax a plurality of times in this way, the accuracy and robustness can be further improved.
  • the parallax predicting means may generate a plurality of predicted parallax, and the setting means may change the predicted parallax used for setting the search range for each image pair. By generating (measuring) the predicted parallax a plurality of times in this way, the accuracy and robustness can be further improved.
  • the parallax predicting means When the parallax predicting means generates the predicted parallax from an image taken by a camera, the plurality of predicted parallax are generated from different images taken by changing the camera and / or shooting conditions. It may be a new one. Even if there are objects with different reflection characteristics in the field of view, or if there is concern about the shadow of the object or mutual reflection, if you shoot with different cameras and / or shooting conditions, you can start with at least one of the images. The possibility of extracting parallax information increases.
  • the image acquisition means acquires a first image pair and a second image pair, and the disparity prediction means generates a first predicted disparity from the first image of the first image pair.
  • a second predicted shift is generated from the second image of the second image pair, and the setting means combines the first predicted shift and the second predicted shift to obtain a composite predicted shift. It may be used for setting the search range of the first image pair and the second image pair.
  • the image acquisition means acquires a first image pair and a second image pair, and the parallax prediction means generates a first predicted parallax from the first image of the first image pair.
  • a second predicted parallax is generated from the second image of the second image pair, and the setting means obtains one of the first predicted parallax and the second predicted parallax. It may be used for setting the search range of the first image pair, and the other predicted parallax may be used for setting the search range of the second image pair.
  • the viewpoints of the first image and the second image are different, it is possible to obtain highly accurate predicted parallax by predicting the parallax from both images. Moreover, even if the information of one image is missing, there is a high possibility that the parallax can be predicted using the other image. Therefore, the search range of the corresponding points can be set more appropriately, and the accuracy and robustness can be further improved. Further, by sharing the image between the generation of the predicted parallax and the stereo matching, the number of times of imaging and image transfer can be reduced, so that the efficiency and speed of the entire process can be improved. Further, since the same camera can be used, there is an advantage that the device configuration can be simplified and miniaturized.
  • the plurality of image pairs may include two or more image pairs shot under different shooting conditions.
  • the two or more image pairs taken under the different shooting conditions may include image pairs taken under different exposure conditions and / or lighting conditions.
  • the parallax prediction means may predict the parallax based on the distance information obtained by the spatially coded pattern projection method as the method different from the stereo matching. This is because the spatially coded pattern projection method can obtain distance information in a much shorter processing time than stereo matching when an image sensor having the same resolution as stereo matching is used. Although the spatial resolution of the distance measurement of the spatially coded pattern projection method is lower than that of the stereo matching method, it can be said that it is necessary and sufficient for the purpose of predicting parallax.
  • One aspect of the present invention provides a three-dimensional measurement system characterized by having a sensor unit having at least two cameras and an image processing device that generates a depth map using an image captured from the sensor unit. To do.
  • the present invention may be regarded as an image processing device having at least a part of the above means, or may be regarded as a three-dimensional measurement system having a sensor unit and an image processing device. Further, the present invention may be regarded as an image processing including at least a part of the above processing, a three-dimensional measurement method, a distance measuring method, a control method of an image processing device, or the like, or a program for realizing such a method.
  • the program can also be regarded as a recording medium for recording non-temporarily.
  • the present invention can be constructed by combining each of the above means and treatments with each other as much as possible.
  • FIG. 1 is a diagram schematically showing a configuration example of a three-dimensional measurement system, which is one of the application examples of the present invention.
  • FIG. 2 is a diagram schematically showing an outline of functions and processing of a three-dimensional measurement system.
  • FIG. 3 is a functional block diagram of the three-dimensional measurement system according to the first embodiment.
  • FIG. 4 is a flow chart showing the flow of the measurement process of the first embodiment.
  • FIG. 5 is a timing chart of the first embodiment.
  • FIG. 6 is a flow chart showing the flow of the measurement process of the second embodiment.
  • FIG. 7 is a timing chart of the second embodiment.
  • FIG. 8 is a diagram showing a configuration example of the sensor unit of the third embodiment.
  • FIG. 9 is a flow chart showing the flow of the measurement process of the fourth embodiment.
  • FIG. 1 is a diagram schematically showing a configuration example of a three-dimensional measurement system, which is one of the application examples of the present invention.
  • FIG. 2 is a diagram schematically showing
  • FIG. 10 is a timing chart of the fourth embodiment.
  • FIG. 11 is a flow chart showing the flow of the measurement process of the fifth embodiment.
  • FIG. 12 is a timing chart of the fifth embodiment.
  • 13A to 13B are diagrams showing an example of controlling the brightness of the pattern floodlight section.
  • FIG. 14 is a diagram illustrating the principle of stereo matching.
  • FIG. 1 is a diagram schematically showing a configuration example of a three-dimensional measurement system, which is one of the application examples of the present invention.
  • the three-dimensional measurement system 1 is a system for measuring the three-dimensional shape of the object 12 by image sensing, and is roughly composed of a sensor unit 10 and an image processing device 11.
  • the sensor unit 10 includes at least a camera (also called an image sensor or an image pickup device), and may include other sensors as needed.
  • the output of the sensor unit 10 is taken into the image processing device 11.
  • the image processing device 11 is a device that performs various processes using the data captured from the sensor unit 10.
  • the processing of the image processing device 11 may include, for example, distance measurement (distance measurement), three-dimensional shape recognition, object recognition, scene recognition, and the like.
  • the processing result of the image processing device 11 is output to an output device such as a display, transferred to the outside, and used for inspection, control of other devices, and the like.
  • an output device such as a display
  • Such a three-dimensional measurement system 1 is applied to a wide range of fields, including, for example, computer vision, robot vision, and machine vision.
  • the configuration shown in FIG. 1 is just an example, and the hardware configuration may be appropriately designed according to the application of the three-dimensional measurement system 1.
  • the sensor unit 10 and the image processing device 11 may be wirelessly connected, or the sensor unit 10 and the image processing device 11 may be configured as an integrated device.
  • the sensor unit 10 and the image processing device 11 may be connected via a wide area network such as a LAN or the Internet.
  • a plurality of sensor units 10 may be provided for one image processing device 11, or conversely, the output of one sensor unit 10 may be provided to the plurality of image processing devices 11.
  • the viewpoint of the sensor unit 10 may be movable by attaching the sensor unit 10 to a robot or a moving body.
  • FIG. 2 is a diagram schematically showing an outline of the functions and processing of the three-dimensional measurement system 1.
  • the three-dimensional measurement system 1 includes two measurement systems, a first measurement system 21 and a second measurement system 22, as measurement systems for measuring the distance of the object 12.
  • the functions and processes of the measurement systems 21 and 22 are realized by the sensor unit 10 and the image processing device 11 in cooperation with each other.
  • the first measurement system 21 measures the depth distance (depth) to the object 12 by stereo matching (also called stereo vision, stereo camera method, etc.). Since stereo matching enables measurement with high spatial resolution, the distance information generated by the first measurement system 21 is used as the final output in the system 1.
  • the second measurement system 22 also measures the distance of the object 12, but the distance information obtained by the second measurement system 22 roughly predicts the parallax observed by the first measurement system 21. It is used as an auxiliary for the purpose of narrowing the search range in stereo matching. As the second measurement system 22, any measurement system may be used as long as the distance measurement is performed by a method different from stereo matching.
  • active measurement methods that use the straightness of light include, for example, a spatial coded pattern projection method based on triangulation, a time coded pattern projection method, a moire topography method (contour line method), and illuminance.
  • a spatial coded pattern projection method based on triangulation a time coded pattern projection method
  • a moire topography method a moire topography method
  • illuminance examples include a difference stereo method (illumination direction / Photometric Stereo), an illuminance difference method based on coaxial distance measurement, a laser cofocal method, a white cofocal method, an optical interference method, and the like.
  • a passive measurement method using the straightness of light for example, a visual volume crossing method (Shape from silhouette), a factorization method (factorization), a Depth from Motion (Structure from Motion) method, a Depth from Shading method, etc. , Depth from focusing method, Depth from defocus method, Depth from zoom method, etc., which are based on coaxial ranging.
  • an optical time difference (TOF) measurement method based on simultaneous distance measurement for example, an optical phase difference (TOF) measurement method, and radio waves, sound waves, and millimeter waves ( TOF) method and the like can be mentioned.
  • TOF optical time difference
  • TOF optical phase difference
  • TOF radio waves, sound waves, and millimeter waves
  • the second measurement system 22 any of the above methods may be adopted as the second measurement system 22.
  • the purpose of the second measurement system 22 is to roughly predict the parallax, the measurement accuracy and spatial resolution may be lower than those of stereo matching. Therefore, a high-speed method having a shorter measurement time than stereo matching should be used. Is preferable.
  • the spatial coding pattern projection method is used because of the advantage that the measurement time is short and the advantage that the sensor and the image can be shared with the first measurement system 21.
  • the first measurement system 21 acquires a stereo image pair consisting of two images (referred to as a first image and a second image) from the sensor unit 10. These two images are taken of the object 12 from different viewpoints (line-of-sight directions) so as to cause parallax with respect to the object 12.
  • the sensor unit 10 includes a plurality of cameras
  • the first image and the second image may be captured by the two cameras at the same time.
  • the first image and the second image may be acquired by a single camera by continuously shooting while moving the camera.
  • the second measurement system 22 measures the distance of the object 12, predicts the parallax between the first image and the second image based on the obtained distance information, and uses the predicted parallax as a reference parallax map. Output as.
  • the parallax map generated by the second measurement system 22 is referred to as a “reference parallax map” in order to distinguish it from the parallax map generated by the stereo matching of the first measurement system 21. Since the reference parallax map is used as an auxiliary for narrowing down the search range in the stereo matching of the first measurement system 21, the spatial resolution may be lower (coarse) than that of the first image and the second image. Absent.
  • the reference parallax map may be generated on the image processing device 11 side based on the image obtained from the sensor unit 10 or other sensing data, or when the sensor unit 10 itself has a distance measuring function (TOF method).
  • a reference parallax map may be generated on the sensor unit 10 side (such as an image sensor).
  • the first measurement system 21 sets the search range of the corresponding points in stereo matching using the reference parallax map acquired from the second measurement system 22.
  • the search range of the corresponding point may be set so as to include the error range. For example, when the value of the predicted parallax is d [pixels] and the error is ⁇ derr [pixels], the search range may be set as d-derr-c to d + derr + c. c is a margin.
  • the search range may be set individually for all the pixels of the first image, or if the change in local parallax in the image is not large, the first image is divided into a plurality of areas. The search range may be set for each area.
  • the first measurement system 21 searches for the corresponding point of each pixel between the first image and the second image from the set search range. For example, when the first image is a reference image and the second image is a comparison image, the pixel in the second image having the closest image feature to the pixel (reference point) in the first image is selected as the corresponding point, and the reference point is selected. The difference between the coordinates of the corresponding point and the corresponding point is obtained as the parallax at the reference point.
  • a search for corresponding points is performed for all the pixels in the first image, and a parallax map is generated from the search results.
  • the parallax map is data in which parallax information is associated with the coordinates of each pixel.
  • the first measurement system 21 performs the above-mentioned processes (1) to (4) twice or more to obtain a plurality of parallax maps. Then, the first measurement system 21 generates a composite parallax map by synthesizing a plurality of parallax maps.
  • the first measurement system 21 uses the principle of triangulation to convert the parallax information of the composite parallax map into distance information (depth) to generate a depth map.
  • the search range of the corresponding point is limited based on the predicted parallax.
  • the time required for the corresponding point search can be significantly shortened as compared with the conventional general stereo matching, but also the search can be narrowed down to a range in which the corresponding point is likely to exist.
  • the accuracy and reliability of the corresponding point search can be improved.
  • the predicted parallax generated by a method different from stereo matching the effect of complementing the part that is difficult to measure by stereo matching can be expected. Then, since the parallax maps obtained from the plurality of image pairs are combined, the variation in measurement can be reduced. Therefore, as a whole, highly accurate and highly reliable measurement results can be stably obtained.
  • FIG. 3 is a functional block diagram of the three-dimensional measurement system 1.
  • the sensor unit 10 includes a first camera 101, a second camera 102, a pattern floodlight unit 103, an illumination unit 104, an image transfer unit 105, and a drive control unit 106.
  • the first camera 101 and the second camera 102 are a pair of cameras constituting a so-called stereo camera, and are arranged at a predetermined distance. By simultaneously shooting with the two cameras 101 and 102, an image pair shot from different viewpoints can be obtained (the image of the first camera 101 is called the first image, and the image of the second camera 102 is called the second image). ).
  • the two cameras 101 and 102 may be arranged so that their optical axes intersect each other and the horizontal lines (or vertical lines) are on the same plane. By adopting such an arrangement, the epipolar line becomes parallel to the horizontal line (or vertical line) of the image, so that the corresponding point in stereo matching may be searched from within the horizontal line (or vertical line) at the same position. This is because the search process can be simplified.
  • a monochrome camera or a color camera may be used as the cameras 101 and 102.
  • the pattern floodlight unit 103 is a device for projecting the pattern illumination used in the distance measurement of the space-coded pattern projection method onto the object 12, and is also called a projector.
  • the pattern floodlight unit 103 includes, for example, a light source unit, a light guide lens, a pattern generation unit, a projection lens, and the like.
  • a light source unit an LED, a laser, a VCSEL (Vertical cavity Surface-emitting Laser), or the like can be used.
  • the light guide lens is an optical element for guiding light from the light source unit to the pattern generation unit, and a lens, a glass rod, or the like can be used.
  • the pattern generator is a member or device that generates a coded pattern, and is a photomask, a diffractive optical element (for example, DOE (Diffractive Optical Element)), an optical modulation element (for example, DLP (Digital Light Processing), LCD (for example). LiquidCrystalDisplay), LCoS (LiquidCrystalonSilicon), MEMS (MicroElectroMechanicalSystems), etc. can be used.
  • a projection lens is an optical element that magnifies and projects a generated pattern.
  • the illumination unit 104 is uniform illumination used for capturing a general visible light image.
  • white LED lighting is used.
  • the illumination may be in the same wavelength band as the active projection.
  • the image transfer unit 105 transfers the data of the first image taken by the first camera 101 and the data of the second image taken by the second camera 102 to the image processing device 11.
  • the image transfer unit 105 may transfer the first image and the second image as separate image data, or join the first image and the second image to generate a side-by-side image and transfer it as a single image data. You may. Further, the image transfer unit 105 may connect a plurality of images (for example, a plurality of images having different exposure times) taken under different shooting conditions to generate a side-by-side image and transfer the images as a single image data.
  • the drive control unit 106 is a unit that controls the first camera 101, the second camera 102, the pattern floodlight unit 103, and the illumination unit 104. The image transfer unit 105 and the drive control unit 106 may be provided on the image processing device 11 side instead of the sensor unit 10 side.
  • the image processing device 11 includes an image acquisition unit 110, a pattern decoding unit 111, a parallax prediction unit 112, a preprocessing unit 113, a search range setting unit 115, a corresponding point search unit 116, a parallax map synthesis unit 114, and a parallax map post-processing unit 117. , Has a depth map generator 118.
  • the image acquisition unit 110 has a function of capturing necessary image data from the sensor unit 10.
  • the image acquisition unit 110 sends an image pair composed of the first image and the second image to the pattern decoding unit 111 and the preprocessing unit 113.
  • the pattern decoding unit 111 has a function of acquiring distance information from the first image or the second image by the spatially coded pattern projection method.
  • the spatial resolution is determined depending on the size of the unit pattern used. For example, when a unit pattern of 5 pixels ⁇ 5 pixels is used, the spatial resolution of the distance information is 1/25 of the input image.
  • the parallax prediction unit 112 has a function of predicting the parallax between the first image and the second image based on the distance information obtained by the pattern decoding unit 111 and outputting a reference parallax map.
  • the preprocessing unit 113 has a function of performing necessary preprocessing on the first image and the second image.
  • the search range setting unit 115 has a function of setting the search range of the corresponding point based on the predicted parallax.
  • the corresponding point search unit 116 has a function of searching for a corresponding point between the first image and the second image and generating a parallax map based on the search result.
  • the parallax map synthesizing unit 114 has a function of generating a composite parallax map by synthesizing a plurality of parallax maps generated from each of the plurality of image pairs.
  • the parallax map post-processing unit 117 has a function of performing necessary post-processing on the composite parallax map.
  • the depth map generation unit 118 has a function of converting the parallax information of the composite parallax map into the distance information and generating the depth map.
  • the image processing device 11 is composed of, for example, a computer including a CPU (processor), a RAM (memory), a non-volatile storage device (hard disk, SSD, etc.), an input device, an output device, and the like.
  • the CPU expands the program stored in the non-volatile storage device into the RAM and executes the program to realize the various functions described above.
  • the configuration of the image processing device 11 is not limited to this, and all or part of the above-mentioned functions may be realized by a dedicated circuit such as FPGA or ASIC, or realized by cloud computing or distributed computing. You may.
  • the first camera 101, the pattern floodlight unit 103, the image transfer unit 105, the image acquisition unit 110, the drive control unit 106, the pattern decoding unit 111, and the parallax prediction unit 112 make up the second measurement system 22 in FIG.
  • the first measurement system 21 in FIG. 2 is configured by the map composition unit 114, the parallax map post-processing unit 117, and the depth map generation unit 118.
  • FIG. 4 is a flow chart showing a flow of processing executed by the image processing device 11.
  • FIG. 5 is a timing chart.
  • the first measurement is performed using the start signal from the drive control unit 106 as a trigger.
  • the pattern projection unit 103 lights up, and a predetermined pattern illumination is projected onto the object 12.
  • the first camera 101 and the second camera 102 simultaneously perform image capture, and the image transfer unit 105 transfers the first image and the second image.
  • the image acquisition unit 110 acquires a first image pair composed of a first image and a second image.
  • the image acquisition unit 110 sends the first image to the pattern decoding unit 111, and sends the first image and the second image to the preprocessing unit 113.
  • the second measurement is performed using the start signal from the drive control unit 106 as a trigger.
  • the pattern projection unit 103 lights up, and a predetermined pattern illumination is projected onto the object 12.
  • the first camera 101 and the second camera 102 simultaneously perform image capture, and the image transfer unit 105 transfers the first image and the second image.
  • the image acquisition unit 110 acquires a second image pair composed of the first image and the second image.
  • the image acquisition unit 110 sends the second image to the pattern decoding unit 111, and sends the first image and the second image to the preprocessing unit 113.
  • step S402 image processing for the first image pair obtained in the first measurement is started.
  • the preprocessing unit 113 performs parallelization processing (rectification) on the first image and the second image.
  • the parallelization process is a process of geometrically transforming one or both images so that the corresponding points between the two images are on the same horizontal line (or vertical line) in the image. Since the epipolar line becomes parallel to the horizontal line (or vertical line) of the image by the parallelization process, the process of searching for the corresponding point in the subsequent stage becomes easy. If the parallelism of the image captured from the sensor unit 10 is sufficiently high, the parallelization process may be omitted.
  • step S403 the preprocessing unit 113 calculates the hash feature amount for each pixel of the parallelized first image and the second image, and replaces the value of each pixel with the hash feature amount.
  • the hash feature amount represents the luminance feature of the local region centered on the pixel of interest, and here, the hash feature amount consisting of a bit string of eight elements is used.
  • step S404 the pattern decoding unit 111 analyzes the first image and decodes the pattern to acquire distance information in the depth direction at a plurality of points on the first image.
  • processing for the first image may be started from the time when the transfer of the first image is completed ( ⁇ in FIG. 5) to shorten the overall processing time.
  • step S412 the preprocessing unit 113 performs parallelization processing (rectification) on the first image and the second image.
  • the preprocessing unit 113 calculates the hash feature amount for each pixel of the parallelized first image and the second image, and replaces the value of each pixel with the hash feature amount.
  • step S414 the pattern decoding unit 111 analyzes the second image and decodes the pattern to acquire the distance information based on the second image. Then, in step S415, the parallax prediction unit 112 calculates the predicted parallax based on the distance information.
  • the predicted parallax obtained in the first time (step S405) and the predicted parallax obtained in the second time (step S415) should be the same, but in reality they are not exactly the same. This is because the first and second times use images taken by different cameras (viewpoints), so there is a difference in the appearance (that is, image information) of the images. Therefore, it is possible that there is a difference in the predicted parallax value between the first and second times, or that one succeeds in predicting the parallax but the other fails. Therefore, in step S420, the parallax prediction unit 112 synthesizes the first predicted parallax and the second predicted parallax to obtain the combined predicted parallax.
  • the synthesis method is not particularly limited, but for example, when the predicted parallax is obtained in both the first and second times, the average value thereof is set as the composite predicted parallax, and the predicted parallax is obtained only in either the first time or the second time. If is obtained, the value may be used as it is as the composite predicted parallax.
  • the search range setting unit 115 sets the search range of the corresponding points for each of the first image pair and the second image pair based on the composite predicted parallax.
  • the size of the search range is determined in consideration of the prediction error. For example, when the prediction error is ⁇ 10 pixels, it is considered sufficient to set about ⁇ 20 pixels centered on the predicted parallax in the search range even if the margin is included. If the horizontal line has 640 pixels and the search range can be narrowed down to ⁇ 20 pixels (that is, 40 pixels), the search process can be simply reduced to 1/16 compared to searching the entire horizontal line. Can be done.
  • step S422 the corresponding point search unit 116 searches for the corresponding point between the first image pairs and obtains the parallax of each pixel.
  • the corresponding point search unit 116 generates parallax data in which parallax information is associated with points (pixel coordinates) that have succeeded in detecting the corresponding points. This information is the parallax map 1.
  • step S423 the corresponding point search unit 116 searches for the corresponding point between the second image pairs and generates the parallax map 2.
  • the parallax map compositing unit 114 synthesizes the parallax map 1 obtained from the first image pair and the parallax map 2 obtained from the second image pair to generate a composite parallax map.
  • the composition method is not particularly limited, but for example, when parallax is obtained in both the parallax map 1 and the parallax map 2, the average value thereof is used as the composite parallax, and only one of the parallax map 1 and the parallax map 2 is used. When the parallax is obtained, the value may be used as it is as the composite parallax.
  • step S425 the parallax map post-processing unit 117 corrects the composite parallax map. Since the parallax map estimated by the corresponding point search includes erroneous measurement points and measurement omissions, the erroneous measurement points are corrected and the measurement omissions are complemented based on the parallax information of the surrounding pixels. Either of the processes of steps S424 and S425 may be performed first.
  • the depth map generation unit 118 converts the parallax information of each pixel of the composite parallax map into three-dimensional information (distance information in the depth direction) to generate a depth map. This depth map (three-dimensional point cloud data) is used, for example, for shape recognition and object recognition of the object 12.
  • the time required for the corresponding point search can be significantly shortened as compared with the conventional general stereo matching, but also the accuracy of the corresponding point search and the accuracy of the corresponding point search can be achieved. Reliability can be improved.
  • the predicted parallax generated by the spatially coded pattern projection method an effect of complementing a part that is difficult to measure by stereo matching can be expected. Then, since the parallax maps obtained from the plurality of image pairs are combined, the variation in measurement can be reduced. Therefore, as a whole, highly accurate and highly reliable measurement results can be stably obtained.
  • the search range of the corresponding points can be set more appropriately, and the accuracy and robustness can be further improved.
  • the number of times of imaging and image transfer can be reduced, so that the efficiency and speed of the entire process can be improved. Further, since the same camera can be used, there is an advantage that the device configuration can be simplified and miniaturized.
  • FIG. 6 is a flow chart showing a flow of processing executed by the image processing device 11.
  • FIG. 7 is a timing chart.
  • the predicted parallax obtained from the first image and the predicted parallax obtained from the second image are combined, and the search range is set based on the combined predicted parallax, whereas in the second embodiment, individual predictions are made.
  • the search range is set based on the parallax (steps S600, S610). Since the other processing is the same as that of the first embodiment, the same reference numerals as those in FIG. 4 are added and the description thereof will be omitted.
  • the same effects as those of the first embodiment can be obtained by the configuration and processing of the present embodiment.
  • the processing of the present embodiment does not synthesize the predicted parallax, as shown in FIG. 7, as soon as the image processing 1 is completed (that is, when the predicted parallax for the first image pair is obtained).
  • the parallax map 1 generation process can be started. Therefore, the total processing time can be shortened as compared with the first embodiment.
  • FIG. 8 schematically shows the configuration of the sensor unit 10 of the three-dimensional measurement system according to the third embodiment.
  • the sensor unit 10 of the present embodiment has a structure in which four cameras 81, 82, 83, and 84 are arranged around the pattern floodlight unit 80.
  • the four cameras 81 to 84 simultaneously shoot with the pattern illumination projected from the pattern floodlight unit 80 onto the object 12, and four images having different viewpoints are captured.
  • An image pair selected from these four images is used for stereo matching. There are six combinations of image pairs, and any pair may be selected, or two or more pairs may be selected. For example, an image pair whose horizontal line or vertical line is parallel to the epipolar line may be preferentially selected, or an image pair having less loss of image information may be preferentially selected. Since the other configurations and processes are the same as those in the above-described embodiment, the description thereof will be omitted.
  • FIG. 8 is an example, and the arrangement of the pattern floodlight and the camera, the number of the pattern floodlight, the number of cameras, and the like can be arbitrarily designed.
  • FIG. 9 is a flow chart showing a flow of processing executed by the image processing device 11.
  • FIG. 10 is a timing chart.
  • the first measurement and the second measurement are performed under the same shooting conditions, whereas in the fourth embodiment, the exposure time is changed between the first measurement and the second measurement.
  • the image processing device 11 performs stereo matching by the image pair (steps S900, S901) of the first image and the second image captured in the exposure time 1, and also captures the image in the exposure time 2. Stereo matching is performed by the image pair (steps S910 and S911) of the first image and the second image, and the two obtained disparity maps 1 and 2 are combined to output the final measurement result.
  • the parallax map 1 obtained from the image pair having the exposure time 1 and the parallax map 2 obtained from the image pair having the exposure time 2 the difference in reflection characteristics, the lighting condition, and the like can be obtained.
  • robust three-dimensional measurement can be realized.
  • two images, a first image taken at the exposure time 1 and a first image taken at the exposure time 2 were used for predicting the parallax, but the same as in the first embodiment, the first image was used.
  • Two of the 1st image and the 2nd image may be used for predicting the misalignment.
  • the configuration in which three or more cameras described in the third embodiment are provided may be applied to the present embodiment.
  • FIG. 11 is a flow chart showing a flow of processing executed by the image processing device 11.
  • FIG. 12 is a timing chart.
  • the search range is set based on the combined predicted parallax
  • the search range is set based on the individual predicted parallax (steps S1100 and S1110). Since the other processing is the same as that of the fourth embodiment, the same reference numerals as those in FIG. 9 are added and the description thereof will be omitted.
  • the same effects as those of the fourth embodiment can be obtained by the configuration and processing of the present embodiment.
  • the processing of the present embodiment does not synthesize the predicted parallax, as shown in FIG. 12, as soon as the image processing 1 is completed (that is, when the predicted parallax for the first image pair is obtained).
  • the parallax map 1 generation process can be started. Therefore, the total processing time can be shortened as compared with the fourth embodiment.
  • the configuration in which three or more cameras described in the third embodiment are provided may be applied to the present embodiment.
  • the exposure conditions of the camera are changed, but the same processing can be performed by changing the lighting conditions instead. That is, in the first measurement, the pattern floodlight unit 103 is set to the first brightness for shooting, and in the second measurement, the pattern floodlight unit 103 is changed to the second brightness for shooting. At this time, if the setting is set as "first brightness ⁇ second brightness" and the exposure conditions of the camera are the same in the first measurement and the second measurement, the first measurement will be a mirror object or the like.
  • An image suitable for obtaining 3D information (parallax information) of a bright-colored object is obtained, and in the second measurement, 3D information (parallax information) of a low-reflectance object or a shaded part is obtained.
  • An image suitable for is obtained. Therefore, by performing stereo matching on each image pair, synthesizing the obtained parallax map, and generating the final measurement result, robust three-dimensional measurement can be performed for differences in reflection characteristics and lighting conditions. realizable.
  • a method of controlling the brightness of the pattern floodlight unit 103 there are a method of controlling the lighting time, a method of controlling the duty ratio, a method of controlling the lighting intensity, and the like, and any method may be used.
  • 13A to 13C show an example of a drive signal of the pattern floodlight unit 103.
  • the above-described embodiment is merely an example of a configuration example of the present invention.
  • the present invention is not limited to the above-mentioned specific form, and various modifications can be made within the scope of its technical idea.
  • the space-coded pattern projection method is illustrated, but any method may be adopted as the distance measuring method of the second measurement system as long as it is a method other than stereo matching.
  • the hash feature amount is used for stereo matching, but another method may be used for evaluating the similarity of the corresponding points.
  • an evaluation index of similarity there is a similarity calculation method of pixels of left and right images by SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), NC (Normalized Correlation) and the like. Further, in the above embodiment, the image of the camera shared by the generation of the reference depth map (prediction of parallax) and the stereo matching is used, but different images of the cameras for three-dimensional measurement may be used.
  • An image processing device (11) that generates a depth map that is data in which distance information is associated with the coordinates of each pixel by stereo matching using an image pair.
  • An image acquisition means (110) for acquiring an image pair consisting of a first image and a second image taken from different viewpoints, and Parallax prediction means (112) that predicts the parallax between the first image and the second image by a method different from stereo matching, and
  • a setting means (115) for setting a search range for corresponding points in stereo matching based on the predicted parallax, and The corresponding point of each pixel between the first image and the second image is searched only in the set search range, and based on the search result, the data in which the parallax information is associated with the coordinates of each pixel is used.
  • Parallax map generation means (116) that generates a certain parallax map
  • a parallax map synthesizing means (114) that generates a composite parallax map by synthesizing a plurality of parallax maps generated from each of a plurality of image pairs
  • Depth map generation means (118) that converts the parallax information of the composite parallax map into distance information and generates the depth map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置が、ステレオマッチングとは異なる方式により第１画像と第２画像の間の視差を予測し、前記予測視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、前記設定された探索範囲に限定して前記第１画像と前記第２画像の間の各画素の対応点を探索し視差マップを生成する視差マップ生成手段と、複数の画像ペアのそれぞれから生成された複数の視差マップを合成する視差マップ合成手段と、を有する。

Description

画像処理装置及び３次元計測システム
　本発明は、画像を用いた３次元計測に関する。
　従来、対象物の３次元計測を行うための種々の手法が知られており、それらは、光の性質に着目して、光の直進性を用いる手法と光の速度を用いる手法に大別される。これらのうち、光の直進性を用いる手法には、アクティブ計測（能動型計測）及びパッシブ計測（受動型計測）の何れかに分類される方式が含まれ、光の速度を用いる手法には、アクティブ計測（能動型計測）に分類される方式が含まれる。
　非特許文献１には、アクティブ計測方式の一例である空間コード化パターン投影方式の具体例として、空間的な符号化（コード化）がなされたパターン照明を対象物に投影し、そのパターンが投影された対象物を撮影した画像を解析することにより３次元形状を取得する方法が記載されている。
　また、パッシブ計測方式の一例として、異なる視点から撮影された２つの画像を用いて対象物の３次元形状を計測する、いわゆるステレオマッチング（ステレオビジョンとも呼ばれる）が知られている（特許文献１、２参照）。図１４にステレオマッチングの原理を示す。ステレオマッチングでは、例えば左右に配置した２台のカメラで対象物Ｏを同時に撮影し、２枚の画像を得る。一方を基準画像Ｉ１、他方を比較画像Ｉ２とし、基準画像Ｉ１中の画素（基準点Ｐ１）と画像特徴が最も近い画素（対応点Ｐ２）を、比較画像Ｉ２中のエピポーラ線Ｅに沿って探索し、基準点Ｐ１と対応点Ｐ２の間の座標の差（視差）を求める。各カメラの幾何学的な位置は既知であるので、三角測量の原理により、視差から奥行方向の距離Ｄ（デプス）を算出でき、対象物Ｏの３次元形状を復元することができる。
特開平５－３０３６２９号公報 特開２０１２－２４８２２１号公報
P. Vuylsteke and A. Oosterlinck, Range Image Acquisition with a Single Binary-Encoded Light Pattern, IEEE PAMI 12(2), pp. 148-164, 1990.
　ステレオマッチングのような画像を用いた計測方式は、対象物表面の反射特性の違いや、照明などの環境変動が、計測精度のばらつき及び低下を招きやすい。例えば、金属部品の表面で照明光が鏡面反射しハレーションが発生したり、ゴムなど反射率の低い物体で暗部階調が潰れてしまうと、距離推定に必要な情報量が不足し、精度が著しく低下し又は計測不能になるケースがある。また、照明の光量不足の場合、他の物体の陰となり対象物に照明が十分に当たらない場合、他の物体での反射光が対象物に当たる場合（いわゆる相互反射）なども、計測精度に影響を及ぼし得る。
　特許文献１、２には、計測精度の向上を図るために、同じ対象物に対し複数回のステレオマッチングを行い、それらの結果を合成するというアイデアが開示されている。しかしながら、従来型のステレオマッチングを複数回繰り返すだけでは、ばらつきの低減効果はあるかもしれないが、画像の情報量が不足しているケースには効果が期待できない。
　本発明は、上記実情に鑑みてなされたものであり、ステレオマッチングによる計測において、精度及びロバスト性の向上を図るための技術を提供することを目的とする。
　本発明の一側面は、画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置であって、
　異なる視点から撮影された第１画像及び第２画像からなる画像ペアを取得する画像取得手段と、ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段と、前記予測視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、前記設定された探索範囲に限定して前記第１画像と前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段と、複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成する視差マップ合成手段と、前記合成視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段と、を有することを特徴とする画像処理装置を提供する。
　上記構成では、予測された視差に基づき対応点の探索範囲が限定される。これにより、従来の一般的なステレオマッチングに比べて、対応点探索に要する時間を大幅に短縮することができるだけでなく、対応点が存在する蓋然性が高い範囲に絞り込んで探索を行うことができることから、対応点探索の精度及び信頼性を向上できる。また、ステレオマッチングとは異なる方式により生成された予測視差を利用することによって、ステレオマッチングでは計測が困難な部分を補完する効果も期待できる。そして、複数の画像ペアから得られた視差マップを合成することから、計測のばらつきを低減することもできる。したがって、総じて、高精度かつ信頼性の高い計測結果を安定して得ることができる。
　前記視差予測手段は、複数の予測視差を生成し、前記設定手段は、前記複数の予測視差を合成した合成予測視差を、前記複数の画像ペアの探索範囲の設定に用いてもよい。このように予測視差の生成（計測）も複数回行うことによって、精度及びロバスト性をさらに向上することができる。
　前記視差予測手段は、複数の予測視差を生成し、前記設定手段は、探索範囲の設定に用いる予測視差を、画像ペアごとに変えてもよい。このように予測視差の生成（計測）も複数回行うことによって、精度及びロバスト性をさらに向上することができる。
　前記視差予測手段が、カメラで撮影された画像から前記予測視差の生成を行うものである場合、前記複数の予測視差は、カメラ及び／又は撮影条件を変えて撮影された、異なる画像から生成されたものであってもよい。視野内に異なる反射特性をもつ物体が存在していたり、物体の陰や相互反射が懸念されるような場合でも、カメラ及び／又は撮影条件を変えて撮影をすれば、少なくともいずれかの画像から視差情報を抽出できる可能性が高まる。
　例えば、前記画像取得手段が、第１の画像ペアと第２の画像ペアを取得し、前記視差予測手段が、前記第１の画像ペアのうちの第１画像から第１の予測視差を生成するとともに、前記第２の画像ペアのうちの第２画像から第２の予測視差を生成し、前記設定手段が、前記第１の予測視差と前記第２の予測視差を合成した合成予測視差を、前記第１の画像ペア及び前記第２の画像ペアの探索範囲の設定に用いてもよい。あるいは、前記画像取得手段が、第１の画像ペアと第２の画像ペアを取得し、前記視差予測手段が、前記第１の画像ペアのうちの第１画像から第１の予測視差を生成するとともに、前記第２の画像ペアのうちの第２画像から第２の予測視差を生成し、前記設定手段が、前記第１の予測視差と前記第２の予測視差のうちの一方の予測視差を前記第１の画像ペアの探索範囲の設定に用い、他方の予測視差を前記第２の画像ペアの探索範囲の設定に用いてもよい。
　第１画像と第２画像は視点が異なるため、両方の画像から視差を予測することで高精度な予測視差を得ることができる。また、仮に一方の画像の情報が欠損していたとしても、他方の画像を使って視差を予測できる可能性が高い。したがって、対応点の探索範囲をより適切に設定でき、精度及びロバスト性をさらに向上することができる。また、予測視差の生成とステレオマッチングとで、画像を共通化することにより、撮像及び画像転送の回数を削減できるため、処理全体の効率化及び高速化を図ることができる。また、同じカメラを利用できることから、装置構成の簡易化及び小型化を図ることができるという利点もある。
　前記複数の画像ペアは、異なる撮影条件で撮影された２以上の画像ペアを含んでもよい。このようにステレオマッチングに用いる画像のバリエーションを増すことで、視野内に異なる反射特性をもつ物体が存在していたり、物体の陰や相互反射が懸念されるような場合でも、少なくともいずれかの画像ペアから３次元情報を抽出できる可能性が高まる。例えば、前記異なる撮影条件で撮影された２以上の画像ペアは、露光条件及び／又は照明条件を変えて撮影された画像ペアを含んでもよい。
　前記視差予測手段は、前記ステレオマッチングとは異なる前記方式として、空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測してもよい。空間コード化パターン投影方式は、ステレオマッチングと同じ解像度のイメージセンサを用いた場合、ステレオマッチングよりも格段に短い処理時間で距離情報を得ることができるからである。なお、空間コード化パターン投影方式の測距の空間分解能は、ステレオマッチング方式に比べて低いものの、視差の予測に用いる目的であれば必要十分といえる。
　本発明の一側面は、少なくとも２つのカメラを有するセンサユニットと、前記センサユニットから取り込まれる画像を用いてデプスマップを生成する画像処理装置と、を有することを特徴とする３次元計測システムを提供する。
　本発明は、上記手段の少なくとも一部を有する画像処理装置として捉えてもよいし、センサユニットと画像処理装置を有する３次元計測システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む画像処理、３次元計測方法、測距方法、画像処理装置の制御方法などとして捉えてもよく、または、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、ステレオマッチングによる計測において、精度及びロバスト性の向上を図ることが可能である。
図１は、本発明の適用例の一つである３次元計測システムの構成例を模式的に示す図である。 図２は、３次元計測システムの機能及び処理の概要を模式的に示す図である。 図３は、第１実施形態に係る３次元計測システムの機能ブロック図である。 図４は、第１実施形態の計測処理の流れを示すフロー図である。 図５は、第１実施形態のタイミングチャートである。 図６は、第２実施形態の計測処理の流れを示すフロー図である。 図７は、第２実施形態のタイミングチャートである。 図８は、第３実施形態のセンサユニットの構成例を示す図である。 図９は、第４実施形態の計測処理の流れを示すフロー図である。 図１０は、第４実施形態のタイミングチャートである。 図１１は、第５実施形態の計測処理の流れを示すフロー図である。 図１２は、第５実施形態のタイミングチャートである。 図１３Ａ～図１３Ｂは、パターン投光部の明るさの制御例を示す図である。 図１４は、ステレオマッチングの原理を説明する図である。
　＜適用例＞
　図１は、本発明の適用例の一つである３次元計測システムの構成例を模式的に示す図である。３次元計測システム１は、画像センシングによって対象物１２の３次元形状を計測するためのシステムであり、概略、センサユニット１０と画像処理装置１１から構成される。センサユニット１０は、少なくともカメラ（イメージセンサや撮像装置とも呼ばれる）を備えており、必要に応じて他のセンサを備える場合もある。センサユニット１０の出力は画像処理装置１１に取り込まれる。画像処理装置１１は、センサユニット１０から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置１１の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。画像処理装置１１の処理結果は、例えば、ディスプレイなどの出力装置に出力されたり、外部に転送されて検査や他の装置の制御等に利用される。このような３次元計測システム１は、例えば、コンピュータビジョン、ロボットビジョン、マシンビジョンをはじめとして、幅広い分野に適用される。
　なお、図１の構成はあくまで一例であり、３次元計測システム１の用途に応じてそのハードウェア構成は適宜設計すればよい。例えば、センサユニット１０と画像処理装置１１は無線で接続されてもよいし、センサユニット１０と画像処理装置１１が一体の装置で構成されていてもよい。また、センサユニット１０と画像処理装置１１をＬＡＮ又はインターネット等の広域ネットワークを介して接続してもよい。また、１つの画像処理装置１１に対し複数のセンサユニット１０を設けてもよいし、逆に、１つのセンサユニット１０の出力を複数の画像処理装置１１に提供してもよい。さらに、センサユニット１０をロボットや移動体に取り付けるなどしてセンサユニット１０の視点を移動可能にしてもよい。
　図２は、３次元計測システム１の機能及び処理の概要を模式的に示す図である。３次元計測システム１は、対象物１２の距離を計測するための計測系として、第１の計測系２１と第２の計測系２２の２つを備えている。各計測系２１、２２の機能及び処理は、センサユニット１０と画像処理装置１１とが協働して実現されるものである。
　第１の計測系２１は、ステレオマッチング（ステレオビジョン、ステレオカメラ方式などとも呼ばれる）によって対象物１２までの奥行距離（デプス）を計測する。ステレオマッチングは空間分解能の高い計測が可能であることから、本システム１では第１の計測系２１によって生成される距離情報を最終的な出力とする。
　他方、第２の計測系２２も対象物１２の測距を行うものであるが、第２の計測系２２で得られる距離情報は、第１の計測系２１で観測される視差を大まかに予測しステレオマッチングにおける探索範囲を絞り込むという目的で、補助的に利用される。第２の計測系２２としては、ステレオマッチングとは異なる方式で測距を行うものであれば如何なる方式の計測系を用いてもよい。
　３次元計測方式のうち光の直進性を用いるアクティブ計測方式としては、例えば、三角測量を基本原理とする空間コード化パターン投影方式、時間コード化パターン投影方式、モアレトポグラフィ方式（等高線方式）、照度差ステレオ方式（照射方向／Photometric Stereo）等、及び、同軸測距を基本原理とする照度差方式、レーザ共焦点方式、白色共焦点方式、光干渉方式等が挙げられる。また、光の直進性を用いるパッシブ計測方式としては、例えば、視体積交差方式（Shape from silhouette）、因子分解方式（factorization）、Depth from Motion（Structure from Motion）方式、Depth from Shading方式等、及び、同軸測距を基本原理とするDepth from focusing方式、Depth from defocus方式、Depth from zoom方式等が挙げられる。さらに、光の速度を用いるアクティブ計測方式としては、例えば、同時測距を基本原理とする光時間差（TOF）測定方式、光位相差（TOF）測定方式、並びに、電波、音波及びミリ波による（TOF）方式等が挙げられる。
　上記したいずれの方式を第２の計測系２２として採用してもよい。ただし、第２の計測系２２は視差の大まかな予測が目的であるため、ステレオマッチングより計測精度や空間分解能が低くて構わないので、ステレオマッチングに比べて計測時間が短い高速な方式を用いることが好ましい。後述する実施形態では、計測時間が短いという利点、及び、第１の計測系２１とセンサ及び画像を共用できるという利点から、空間コード化パターン投影方式を用いる。
　続いて、図２を参照して、３次元計測システム１による計測処理の大まかな流れを説明する。
　（１）第１の計測系２１が、センサユニット１０から２枚の画像（第１画像、第２画像と呼ぶ）からなるステレオ画像ペアを取得する。この２枚の画像は、対象物１２に対する視差が生ずるように、対象物１２を異なる視点（視線方向）から撮影したものである。センサユニット１０が複数のカメラを備えている場合には、２台のカメラで第１画像と第２画像を同時に撮影してもよい。あるいは、カメラを移動させながら連続的に撮影することで、単一のカメラで第１画像と第２画像を取得してもよい。
　（２）第２の計測系２２が、対象物１２の距離計測を行い、得られた距離情報に基づき第１画像と第２画像の間の視差を予測し、その予測した視差を参考視差マップとして出力する。本明細書では、第１の計測系２１のステレオマッチングで生成される視差マップと区別するため、第２の計測系２２で生成される視差マップを「参考視差マップ」と呼ぶ。参考視差マップは、第１の計測系２１のステレオマッチングにおける探索範囲を絞り込むために補助的に用いられるものであるため、第１画像及び第２画像よりも空間分解能が低い（粗い）もので構わない。なお、参考視差マップは、センサユニット１０から得られる画像又はその他のセンシングデータに基づき画像処理装置１１側で生成されてもよいし、センサユニット１０自身が測距機能を具備する場合（ＴＯＦ方式のイメージセンサなど）にはセンサユニット１０側で参考視差マップが生成されてもよい。
　（３）第１の計測系２１が、第２の計測系２２から取得した参考視差マップを用いて、ステレオマッチングにおける対応点の探索範囲を設定する。前述のように参考視差マップの空間分解能ないし精度はそれほど高くないため、予測視差がある程度の誤差を含むことは避けられない。したがって、対応点の探索範囲は、その誤差範囲を包含するように設定するとよい。例えば、予測視差の値がｄ［画素］であり、誤差が±ｄｅｒｒ［画素］である場合には、探索範囲をｄ－ｄｅｒｒ－ｃ～ｄ＋ｄｅｒｒ＋ｃのように設定してもよい。ｃはマージンである。なお、第１画像のすべての画素に対し個別に探索範囲を設定してもよいし、画像内での局所的な視差の変化が大きくない場合などは、第１画像を複数のエリアに分割してエリア単位で探索範囲を設定してもよい。
　（４）第１の計測系２１が、設定された探索範囲の中から、第１画像と第２画像の間の各画素の対応点を探索する。例えば、第１画像を基準画像、第２画像を比較画像とした場合、第１画像中の画素（基準点）と画像特徴が最も近い第２画像中の画素が対応点として選ばれ、基準点と対応点の座標の差が、当該基準点における視差として求まる。第１画像中のすべての画素について対応点の探索が行われ、その探索結果から視差マップが生成される。視差マップは、各画素の座標に視差情報が関連付けられたデータである。
　（５）第１の計測系２１が、上述した（１）～（４）の処理を２回以上行い、複数の視差マップを得る。そして、第１の計測系２１が、複数の視差マップを合成することにより合成視差マップを生成する。
　（６）第１の計測系２１は、三角測量の原理を用いて、合成視差マップの視差情報を距離情報（デプス）に変換し、デプスマップを生成する。
　上記構成では、予測された視差に基づき対応点の探索範囲が限定される。これにより、従来の一般的なステレオマッチングに比べて、対応点探索に要する時間を大幅に短縮することができるだけでなく、対応点が存在する蓋然性が高い範囲に絞り込んで探索を行うことができることから、対応点探索の精度及び信頼性を向上できる。また、ステレオマッチングとは異なる方式により生成された予測視差を利用することによって、ステレオマッチングでは計測が困難な部分を補完する効果も期待できる。そして、複数の画像ペアから得られた視差マップを合成することから、計測のばらつきを低減することもできる。したがって、総じて、高精度かつ信頼性の高い計測結果を安定して得ることができる。
　＜第１実施形態＞
　図３を参照して、第１実施形態に係る３次元計測システム１の構成例について説明する。図３は、３次元計測システム１の機能ブロック図である。
　（センサユニット）
　センサユニット１０は、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、照明部１０４、画像転送部１０５、駆動制御部１０６を有する。
　第１カメラ１０１と第２カメラ１０２は、いわゆるステレオカメラを構成するカメラ対であり、所定の距離だけ離れて配置されている。２つのカメラ１０１、１０２で同時に撮影を行うことで、異なる視点から撮影した画像ペアを得ることができる（第１カメラ１０１の画像を第１画像、第２カメラ１０２の画像を第２画像と呼ぶ）。２つのカメラ１０１、１０２は、互いの光軸が交差し、且つ、水平ライン（又は垂直ライン）が同一平面上にくるように、配置されるとよい。このような配置をとることで、エピポーラ線が画像の水平ライン（又は垂直ライン）と平行になるため、ステレオマッチングにおける対応点を同じ位置の水平ライン（又は垂直ライン）内から探索すればよく、探索処理の簡易化が図れるからである。なお、カメラ１０１、１０２としては、モノクロのカメラを用いてもよいし、カラーのカメラを用いてもよい。
　パターン投光部１０３は、空間コード化パターン投影方式の測距で用いるパターン照明を対象物１２に投影するための装置であり、プロジェクタとも呼ばれる。パターン投光部１０３は、例えば、光源部、導光レンズ、パターン生成部、投写レンズなどから構成される。光源部としては、ＬＥＤ、レーザー、ＶＣＳＥＬ（Vertical cavity Surface-emitting Laser）などを用いることができる。導光レンズは光源部からパターン生成部に光を導くための光学素子であり、レンズ又はガラスロッドなどを用いることができる。パターン生成部は、コード化されたパターンを生成する部材ないし装置であり、フォトマスク、回折光学素子（例えばDOE（Diffractive Optical Element））、光変調素子（例えば、ＤＬＰ（Digital Light Processing）、ＬＣＤ（Liquid Crystal Display）、ＬＣｏＳ（Liquid Crystal on Silicon）、ＭＥＭＳ（Micro Electro Mechanical Systems））などを用いることができる。投写レンズは生成されたパターンを拡大し投写する光学素子である。
　照明部１０４は、一般的な可視光画像を撮影するために用いられる均一照明である。例えば白色ＬＥＤ照明などが用いられる。もしくはアクティブ投光と同じ波長帯の照明でもよい。
　画像転送部１０５は、第１カメラ１０１で撮影された第１画像のデータ、及び、第２カメラ１０２で撮影された第２画像のデータを、画像処理装置１１へ転送する。画像転送部１０５は、第１画像と第２画像を別々の画像データとして転送してもよいし、第１画像と第２画像を繋ぎ合わせてサイドバイサイド画像を生成し単一の画像データとして転送してもよい。また、画像転送部１０５は、撮影条件を変えて撮影した複数の画像（例えば露光時間の異なる複数の画像）を繋ぎ合わせてサイドバイサイド画像を生成し単一の画像データとして転送してもよい。駆動制御部１０６は、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、及び、照明部１０４を制御するユニットである。なお、画像転送部１０５と駆動制御部１０６は、センサユニット１０側ではなく、画像処理装置１１側に設けてもよい。
　（画像処理装置）
　画像処理装置１１は、画像取得部１１０、パターン復号部１１１、視差予測部１１２、前処理部１１３、探索範囲設定部１１５、対応点探索部１１６、視差マップ合成部１１４、視差マップ後処理部１１７、デプスマップ生成部１１８を有する。
　画像取得部１１０は、センサユニット１０から必要な画像データを取り込む機能を有する。画像取得部１１０は、第１画像及び第２画像からなる画像ペアを、パターン復号部１１１及び前処理部１１３に送る。
　パターン復号部１１１は、空間コード化パターン投影方式によって、第１画像又は第２画像から距離情報を取得する機能をもつ。空間コード化パターン投影方式は、用いる単位パターンのサイズに依存して空間分解能が決まる。例えば、５画素×５画素の単位パターンを用いる場合、距離情報の空間分解能は入力画像の１／２５となる。視差予測部１１２は、パターン復号部１１１で得られた距離情報に基づき第１画像と第２画像の間の視差を予測し参考視差マップを出力する機能を有する。
　前処理部１１３は、第１画像と第２画像に対して、必要な前処理を行う機能を有する。探索範囲設定部１１５は、予測視差に基づいて対応点の探索範囲を設定する機能を有する。対応点探索部１１６は、第１画像と第２画像の間の対応点を探索し、その探索結果に基づき視差マップを生成する機能を有する。視差マップ合成部１１４は、複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成する機能を有する。視差マップ後処理部１１７は、合成視差マップに対して必要な後処理を行う機能を有する。デプスマップ生成部１１８は、合成視差マップの視差情報を距離情報に変換し、デプスマップを生成する機能を有する。
　画像処理装置１１は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、上述した各種の機能が実現される。ただし、画像処理装置１１の構成はこれに限られず、上述した機能のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
　本例では、第１カメラ１０１、パターン投光部１０３、画像転送部１０５、画像取得部１１０、駆動制御部１０６、パターン復号部１１１、視差予測部１１２によって、図２の第２の計測系２２が構成されており、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、画像転送部１０５、駆動制御部１０６、前処理部１１３、探索範囲設定部１１５、対応点探索部１１６、視差マップ合成部１１４、視差マップ後処理部１１７、デプスマップ生成部１１８によって、図２の第１の計測系２１が構成されている。
　（計測処理）
　図４及び図５を参照して、第１実施形態の計測処理の流れを説明する。図４は、画像処理装置１１により実行される処理の流れを示すフロー図である。図５は、タイミングチャートである。
　駆動制御部１０６からの開始信号をトリガとして、１回目の計測が実施される。まずパターン投光部１０３が点灯し、所定のパターン照明を対象物１２に投影する。そして、第１カメラ１０１と第２カメラ１０２で同時に撮像が行われ、画像転送部１０５から第１画像及び第２画像の転送が行われる。ステップＳ４００、Ｓ４０１において、画像取得部１１０が、第１画像及び第２画像からなる第１の画像ペアを取得する。画像取得部１１０は、パターン復号部１１１に第１画像を送り、前処理部１１３に第１画像と第２画像を送る。
　続いて、駆動制御部１０６からの開始信号をトリガとして、２回目の計測が実施される。まずパターン投光部１０３が点灯し、所定のパターン照明を対象物１２に投影する。そして、第１カメラ１０１と第２カメラ１０２で同時に撮像が行われ、画像転送部１０５から第１画像及び第２画像の転送が行われる。ステップＳ４１０、Ｓ４１１において、画像取得部１１０が、第１画像及び第２画像からなる第２の画像ペアを取得する。画像取得部１１０は、パターン復号部１１１に第２画像を送り、前処理部１１３に第１画像と第２画像を送る。
　２回目の計測と並列に、１回目の計測で得られた第１の画像ペアに対する画像処理が開始される。ステップＳ４０２において、前処理部１１３が、第１画像及び第２画像に対し平行化処理（レクティフィケーション）を行う。平行化処理とは、２つの画像の間の対応点が画像中の同じ水平ライン（又は垂直ライン）上に存在するように、一方又は両方の画像を幾何変換する処理である。平行化処理によりエピポーラ線が画像の水平ライン（又は垂直ライン）と平行になるため、後段の対応点探索の処理が簡単になる。なお、センサユニット１０から取り込まれる画像の平行度が十分高い場合には、平行化処理は省略してもよい。
　ステップＳ４０３において、前処理部１１３が、平行化された第１画像及び第２画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。ハッシュ特徴量は、注目画素を中心とする局所領域の輝度特徴を表すものであり、ここでは、８要素のビット列からなるハッシュ特徴量を用いる。このように、各画像の輝度値をハッシュ特徴量に変換しておくことで、後段の対応点探索における局所的な輝度特徴の類似度計算が極めて効率化される。
　ステップＳ４０４において、パターン復号部１１１が、第１画像を解析しパターンを復号することによって、第１画像上の複数の点における奥行方向の距離情報を取得する。
　ステップＳ４０５において、視差予測部１１２が、ステップＳ４０４で得られた各点の距離情報に基づき、各点を平行化された第１画像の画像座標系に射影したときの２次元座標と、同じ点を平行化された第２画像の画像座標系に射影したときの２次元座標とを計算し、２つの画像の間での座標の差を計算する。この差が予測視差である。視差予測部１１２は、ステップＳ４０４で距離情報が得られたすべての点についての予測視差を求め、そのデータを参考視差マップとして出力する。
　なお、第１画像に対する処理は、第１画像の転送が完了した時点（図５のα）から開始することにより全体の処理時間の短縮を図ってもよい。
　２回目の計測で得られた第２の画像ペアの転送が完了すると、第２の画像ペアに対する画像処理が開始される。ステップＳ４１２において、前処理部１１３が、第１画像及び第２画像に対し平行化処理（レクティフィケーション）を行う。ステップＳ４１３において、前処理部１１３が、平行化された第１画像及び第２画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。ステップＳ４１４において、パターン復号部１１１が、第２画像を解析しパターンを復号することによって、第２画像に基づく距離情報を取得する。そして、ステップＳ４１５において、視差予測部１１２が、距離情報に基づいて予測視差を計算する。
　理論上は、１回目（ステップＳ４０５）で得られる予測視差と２回目（ステップＳ４１５）で得られる予測視差は同じになるはずであるが、実際は完全に同一にはならない。１回目と２回目では異なるカメラ（視点）で撮影された画像を用いるため、画像の見え（つまり画像情報）に差異があるからである。それゆえ、１回目と２回目で予測視差の値に差が生じたり、一方は視差の予測に成功したが他方は失敗するということもあり得る。そこで、ステップＳ４２０において、視差予測部１１２が１回目の予測視差と２回目の予測視差を合成し、合成予測視差を求める。合成方法は特に限定されないが、例えば、１回目と２回目の両方で予測視差が得られている場合はそれらの平均値を合成予測視差とし、１回目と２回目のいずれか一方だけで予測視差が得られた場合はその値をそのまま合成予測視差とすればよい。
　ステップＳ４２１において、探索範囲設定部１１５が、合成予測視差に基づいて、第１の画像ペアと第２の画像ペアのそれぞれに対し、対応点の探索範囲を設定する。探索範囲の大きさは、予測の誤差を考慮して決定される。例えば、予測の誤差が±１０画素である場合には、マージンを含めても、予測視差を中心とした±２０画素程度を探索範囲に設定すれば十分と考えられる。仮に水平ラインが６４０画素である場合に、探索範囲を±２０画素（つまり４０画素）に絞り込むことができれば、水平ライン全体を探索するのに比べて探索処理を単純に１／１６に削減することができる。
　ステップＳ４２２において、対応点探索部１１６が、第１の画像ペアの間で対応点の探索を行い、各画素の視差を求める。対応点探索部１１６は、対応点の検出に成功した点（画素の座標）に視差情報を関連付けた視差データを生成する。この情報が視差マップ１である。同様に、ステップＳ４２３において、対応点探索部１１６が、第２の画像ペアの間で対応点の探索を行い、視差マップ２を生成する。
　ステップＳ４２４において、視差マップ合成部１１４が、第１の画像ペアから得られた視差マップ１と第２の画像ペアから得られた視差マップ２を合成し、合成視差マップを生成する。合成方法は特に限定されないが、例えば、視差マップ１と視差マップ２の両方で視差が得られている場合はそれらの平均値を合成視差とし、視差マップ１と視差マップ２のいずれか一方だけで視差が得られた場合はその値をそのまま合成視差とすればよい。
　ステップＳ４２５において、視差マップ後処理部１１７が、合成視差マップの修正を行う。対応点探索によって推定された視差マップには誤計測点や計測抜けなどが含まれるため、周囲の画素の視差情報に基づき誤計測点の修正や計測抜けの補完を行う。なお、ステップＳ４２４とＳ４２５の処理はどちらを先に行ってもよい。ステップＳ４２６において、デプスマップ生成部１１８が、合成視差マップの各画素の視差情報を３次元情報（奥行方向の距離情報）に変換し、デプスマップを生成する。このデプスマップ（３次元点群データ）は、例えば、対象物１２の形状認識、物体認識などに利用される。
　上記で述べた第１実施形態の構成及び処理によれば、従来の一般的なステレオマッチングに比べて、対応点探索に要する時間を大幅に短縮することができるだけでなく、対応点探索の精度及び信頼性を向上できる。また、空間コード化パターン投影方式により生成された予測視差を利用することによって、ステレオマッチングでは計測が困難な部分を補完する効果も期待できる。そして、複数の画像ペアから得られた視差マップを合成することから、計測のばらつきを低減することもできる。したがって、総じて、高精度かつ信頼性の高い計測結果を安定して得ることができる。
　また、第１画像と第２画像の両方から視差を予測することで、高精度な予測視差を得ることができる。また、仮に一方の画像の情報が欠損していたとしても、他方の画像を使って視差を予測できる可能性が高い。したがって、対応点の探索範囲をより適切に設定でき、精度及びロバスト性をさらに向上することができる。また、予測視差の生成とステレオマッチングとで、画像を共通化することにより、撮像及び画像転送の回数を削減できるため、処理全体の効率化及び高速化を図ることができる。また、同じカメラを利用できることから、装置構成の簡易化及び小型化を図ることができるという利点もある。
　＜第２実施形態＞
　図６及び図７を参照して、第２実施形態の計測処理の流れを説明する。図６は、画像処理装置１１により実行される処理の流れを示すフロー図である。図７は、タイミングチャートである。第１実施形態では、第１画像から求めた予測視差と第２画像から求めた予測視差を合成し、合成予測視差に基づき探索範囲を設定したのに対し、第２実施形態では、個別の予測視差に基づき探索範囲を設定する（ステップＳ６００、Ｓ６１０）。それ以外の処理は第１実施形態と同様であるため、図４と同一の符号を付して説明を省略する。
　本実施形態の構成及び処理によっても、第１実施形態と同様の作用効果を得ることができる。加えて、本実施形態の処理では、予測視差の合成を行わないため、図７に示すように、画像処理１が完了したら（つまり、第１の画像ペア用の予測視差が得られたら）直ぐに視差マップ１の生成処理を開始できる。したがって、第１実施形態よりもトータルの処理時間を短縮することができる。
　＜第３実施形態＞
　図８に第３実施形態に係る３次元計測システムのセンサユニット１０の構成を模式的に示す。本実施形態のセンサユニット１０は、パターン投光部８０を中心にして４つのカメラ８１、８２、８３、８４が配置された構造を有している。
　計測処理においては、パターン投光部８０から対象物１２にパターン照明を投影した状態で、４つのカメラ８１～８４が同時に撮影を行い、互いに視点の異なる４つの画像が取り込まれる。ステレオマッチングには、この４つの画像の中から選択された画像ペアが用いられる。画像ペアの組み合わせは６通りあるが、その中のいずれのペアを選択してもよいし、２つ以上のペアを選択してもよい。例えば、エピポーラ線に対し水平ライン又は垂直ラインが平行な画像ペアを優先的に選択してもよいし、あるいは、画像情報の欠損が少ない画像ペアを優先的に選択してもよい。それ以外の構成及び処理は前述の実施形態と同様であるため説明を省略する。
　本実施形態の構成及び処理によっても、前述の実施形態と同様の作用効果を得ることができる。加えて、本実施形態では、多視点でのステレオ計測が実現できるため、計測のロバスト性をさらに向上することができる。なお、図８の構成は例示であり、パターン投光部及びカメラの配置や、パターン投光部の数、カメラの数などは任意に設計できる。
　＜第４実施形態＞
　図９及び図１０を参照して、第４実施形態の計測処理の流れを説明する。図９は、画像処理装置１１により実行される処理の流れを示すフロー図である。図１０は、タイミングチャートである。第１実施形態では、同一の撮影条件で１回目の計測と２回目の計測を行ったのに対し、第４実施形態では、１回目の計測と２回目の計測とで露光時間を変える。
　具体的には、図１０に示すように、１回目の計測においては「露光時間１」で第１カメラ及び第２カメラによる撮影を行い、２回目の計測においては「露光時間２」で第１カメラ及び第２カメラによる撮影を行う（露光時間２＞露光時間１）。そして、画像処理装置１１は、図９に示すように、露光時間１で撮影された第１画像及び第２画像の画像ペア（ステップＳ９００、Ｓ９０１）によりステレオマッチングを行うと共に、露光時間２で撮影された第１画像及び第２画像の画像ペア（ステップＳ９１０、Ｓ９１１）によりステレオマッチングを行い、得られた２つの視差マップ１及び２を合成して最終的な計測結果を出力する。
　短い露光時間１で撮影した場合は、ハレーション（いわゆる白飛び）を低減できると共に、画像中の明部領域の階調性を高めることができる。それゆえ、鏡面物体や明るい色の物体の３次元情報（視差情報）を得るには、露光時間１で撮影した画像の方が適している。他方、長い露光時間２で撮影した場合は、暗部領域の階調性を高めることができるため、低反射率の物体や陰になっている部分の３次元情報（視差情報）を得るには、露光時間２で撮影した画像の方が適している。したがって、本実施形態のように、露光時間１の画像ペアから得た視差マップ１と露光時間２の画像ペアから得た視差マップ２を合成することで、反射特性の違いや照明の状況などに対してロバストな３次元計測が実現できる。なお、図９の例では、露光時間１で撮影された第１画像と露光時間２で撮影された第１画像の２つを視差の予測に用いたが、第１実施形態と同じように第１画像と第２画像の２つを視差の予測に用いてもよい。また、第３実施形態で述べた３台以上のカメラを設ける構成を本実施形態に適用してもよい。
　＜第５実施形態＞
　図１１及び図１２を参照して、第５実施形態の計測処理の流れを説明する。図１１は、画像処理装置１１により実行される処理の流れを示すフロー図である。図１２は、タイミングチャートである。第４実施形態では、合成予測視差に基づき探索範囲を設定したのに対し、第５実施形態では、個別の予測視差に基づき探索範囲を設定する（ステップＳ１１００、Ｓ１１１０）。それ以外の処理は第４実施形態と同様であるため、図９と同一の符号を付して説明を省略する。
　本実施形態の構成及び処理によっても、第４実施形態と同様の作用効果を得ることができる。加えて、本実施形態の処理では、予測視差の合成を行わないため、図１２に示すように、画像処理１が完了したら（つまり、第１の画像ペア用の予測視差が得られたら）直ぐに視差マップ１の生成処理を開始できる。したがって、第４実施形態よりもトータルの処理時間を短縮することができる。また、第３実施形態で述べた３台以上のカメラを設ける構成を本実施形態に適用してもよい。
　＜第６実施形態＞
　第４及び第５実施形態では、カメラの露光条件を変化させたが、代わりに照明条件を変化させることによっても、同様の処理を行うことが可能である。すなわち、１回目の計測ではパターン投光部１０３を第１の明るさに設定して撮影を行い、２回目の計測ではパターン投光部１０３を第２の明るさに変更して撮影を行う。このとき、「第１の明るさ＜第２の明るさ」のように設定し、１回目の計測と２回目の計測でカメラの露光条件を同一にすれば、１回目の計測では鏡面物体や明るい色の物体の３次元情報（視差情報）を得るのに適した画像が得られ、２回目の計測では低反射率の物体や陰になっている部分の３次元情報（視差情報）を得るのに適した画像が得られる。したがって、それぞれの画像ペアでステレオマッチングを行い、得られた視差マップを合成し、最終的な計測結果を生成することにより、反射特性の違いや照明の状況などに対してロバストな３次元計測が実現できる。
　パターン投光部１０３の明るさを制御する方法としては、点灯時間を制御する方法、デューティ比を制御する方法、点灯強度を制御する方法などがあり、いずれの方法を用いてもよい。図１３Ａ～図１３Ｃは、パターン投光部１０３の駆動信号の例を示している。
　＜その他＞
　上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば上記実施形態では、空間コード化パターン投影方式を例示したが、第２の計測系の測距方式はステレオマッチング以外の方式であれば如何なる方式を採用してもよい。また、上記実施形態では、ステレオマッチングにハッシュ特徴量を利用したが、対応点の類似度評価には他の手法を用いてもよい。例えば、類似度の評価指標としてはSAD（Sum of Absolute Difference）、SSD（Sum of Squared Difference）、NC（Normalized Correlation）などによる左右画像の画素の類似度計算法がある。また、上記実施形態では、参考デプスマップの生成（視差の予測）とステレオマッチングとで共有するカメラの画像を用いたが、それぞれ異なる三次元計測用のカメラの画像を用いてもよい。
　＜付記＞
（１）　画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置（１１）であって、
　異なる視点から撮影された第１画像及び第２画像からなる画像ペアを取得する画像取得手段（１１０）と、
　ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段（１１２）と、
　前記予測視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段（１１５）と、
　前記設定された探索範囲に限定して前記第１画像と前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段（１１６）と、
　複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成する視差マップ合成手段（１１４）と、
　前記合成視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段（１１８）と、
を有することを特徴とする画像処理装置（１１）。
１：３次元計測システム
１０：センサユニット
１１：画像処理装置
１２：対象物
２１：第１の計測系
２２：第２の計測系

Claims (12)

  1. 　画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置であって、
    　異なる視点から撮影された第１画像及び第２画像からなる画像ペアを取得する画像取得手段と、
    　ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段と、
    　前記予測視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、
    　前記設定された探索範囲に限定して前記第１画像と前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段と、
    　複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成する視差マップ合成手段と、
    　前記合成視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段と、
    を有することを特徴とする画像処理装置。
  2. 　前記視差予測手段は、複数の予測視差を生成し、
    　前記設定手段は、前記複数の予測視差を合成した合成予測視差を、前記複数の画像ペアの探索範囲の設定に用いる
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記視差予測手段は、複数の予測視差を生成し、
    　前記設定手段は、探索範囲の設定に用いる予測視差を、画像ペアごとに変える
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 　前記視差予測手段は、カメラで撮影された画像から前記予測視差の生成を行うものであり、
    　前記複数の予測視差は、カメラ及び／又は撮影条件を変えて撮影された、異なる画像から生成されたものである
    ことを特徴とする請求項２又は３に記載の画像処理装置。
  5. 　前記画像取得手段が、第１の画像ペアと第２の画像ペアを取得し、
    　前記視差予測手段が、前記第１の画像ペアのうちの第１画像から第１の予測視差を生成するとともに、前記第２の画像ペアのうちの第２画像から第２の予測視差を生成し、
    　前記設定手段が、前記第１の予測視差と前記第２の予測視差を合成した合成予測視差を、前記第１の画像ペア及び前記第２の画像ペアの探索範囲の設定に用いる
    ことを特徴とする請求項２に記載の画像処理装置。
  6. 　前記画像取得手段が、第１の画像ペアと第２の画像ペアを取得し、
    　前記視差予測手段が、前記第１の画像ペアのうちの第１画像から第１の予測視差を生成するとともに、前記第２の画像ペアのうちの第２画像から第２の予測視差を生成し、
    　前記設定手段が、前記第１の予測視差と前記第２の予測視差のうちの一方の予測視差を前記第１の画像ペアの探索範囲の設定に用い、他方の予測視差を前記第２の画像ペアの探索範囲の設定に用いる
    ことを特徴とする請求項３に記載の画像処理装置。
  7. 　前記複数の画像ペアは、異なる撮影条件で撮影された２以上の画像ペアを含む
    ことを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
  8. 　前記異なる撮影条件で撮影された２以上の画像ペアは、露光条件及び／又は照明条件を変えて撮影された画像ペアを含む
    ことを特徴とする請求項７に記載の画像処理装置。
  9. 　前記視差予測手段は、空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測する
    ことを特徴とする請求項１～８のいずれか１項に記載の画像処理装置。
  10. 　少なくとも２つのカメラを有するセンサユニットと、
    　前記センサユニットから取り込まれる画像を用いてデプスマップを生成する請求項１～９のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする３次元計測システム。
  11. 　コンピュータを、請求項１～９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
  12. 　画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理方法であって、
    　異なる視点から撮影された第１画像及び第２画像からなる画像ペアを複数取得するステップと、
    　前記複数の画像ペアのそれぞれについて、ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測するステップと、
    　前記予測視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定するステップと、
    　前記複数の画像ペアのそれぞれについて、前記設定された探索範囲に限定して前記第１画像と前記第２画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成するステップと、
    　複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成するステップと、
    　前記合成視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するステップと、
    を有することを特徴とする画像処理方法。
PCT/JP2019/010590 2019-03-14 2019-03-14 画像処理装置及び３次元計測システム Ceased WO2020183711A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2019/010590 WO2020183711A1 (ja) 2019-03-14 2019-03-14 画像処理装置及び３次元計測システム
EP19919470.5A EP3832601B1 (en) 2019-03-14 2019-03-14 Image processing device and three-dimensional measuring system
CN201980054085.2A CN112602118B (zh) 2019-03-14 2019-03-14 图像处理装置和三维测量系统
JP2021505461A JP7078173B2 (ja) 2019-03-14 2019-03-14 画像処理装置及び３次元計測システム
US17/272,919 US11803982B2 (en) 2019-03-14 2019-03-14 Image processing device and three-dimensional measuring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010590 WO2020183711A1 (ja) 2019-03-14 2019-03-14 画像処理装置及び３次元計測システム

Publications (1)

Publication Number Publication Date
WO2020183711A1 true WO2020183711A1 (ja) 2020-09-17

Family

ID=72426687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010590 Ceased WO2020183711A1 (ja) 2019-03-14 2019-03-14 画像処理装置及び３次元計測システム

Country Status (5)

Country Link
US (1) US11803982B2 (ja)
EP (1) EP3832601B1 (ja)
JP (1) JP7078173B2 (ja)
CN (1) CN112602118B (ja)
WO (1) WO2020183711A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091578A1 (ja) * 2020-10-26 2022-05-05 オムロン株式会社 制御装置、ロボット、制御方法、プログラム
EP4310784A1 (en) 2022-07-21 2024-01-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989896B2 (en) * 2019-11-27 2024-05-21 Trinamix Gmbh Depth measurement through display
WO2021177163A1 (ja) * 2020-03-05 2021-09-10 ファナック株式会社 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置
JP7398749B2 (ja) * 2021-12-06 2023-12-15 国立大学法人東北大学 ３次元形状計測方法及び３次元形状計測装置
EP4332499A1 (en) * 2022-08-30 2024-03-06 Canon Kabushiki Kaisha Three-dimensional measuring apparatus, three-dimensional measuring method, storage medium, system, and method for manufacturing an article
CN117367331B (zh) * 2023-12-04 2024-03-12 山西阳光三极科技股份有限公司 一种矿区地表形变的雷达监测方法、装置以及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05303629A (ja) 1991-11-29 1993-11-16 Nec Corp 形状合成方法
JP2011013706A (ja) * 2009-06-30 2011-01-20 Hitachi Ltd ステレオ画像処理装置およびステレオ画像処理方法
JP2012248221A (ja) 2012-09-07 2012-12-13 Casio Comput Co Ltd 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
US20140153816A1 (en) * 2012-11-30 2014-06-05 Adobe Systems Incorporated Depth Map Stereo Correspondence Techniques
US20150178936A1 (en) * 2013-12-20 2015-06-25 Thomson Licensing Method and apparatus for performing depth estimation
JP2017045283A (ja) * 2015-08-26 2017-03-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2418314A (en) * 2004-09-16 2006-03-22 Sharp Kk A system for combining multiple disparity maps
US7561731B2 (en) * 2004-12-27 2009-07-14 Trw Automotive U.S. Llc Method and apparatus for enhancing the dynamic range of a stereo vision system
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
JP5158223B2 (ja) 2011-04-06 2013-03-06 カシオ計算機株式会社 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP2012257198A (ja) * 2011-05-17 2012-12-27 Canon Inc 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
US9762881B2 (en) * 2011-11-03 2017-09-12 Texas Instruments Incorporated Reducing disparity and depth ambiguity in three-dimensional (3D) images
CN103868460B (zh) * 2014-03-13 2016-10-05 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
JP6805534B2 (ja) * 2015-07-02 2020-12-23 株式会社リコー 視差画像生成装置、視差画像生成方法及び視差画像生成プログラム、物体認識装置、機器制御システム
KR101690645B1 (ko) * 2015-09-21 2016-12-29 경북대학교 산학협력단 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치
JP6899673B2 (ja) * 2017-03-15 2021-07-07 日立Astemo株式会社 物体距離検出装置
EP3832600B1 (en) * 2019-03-14 2025-09-17 OMRON Corporation Image processing device and three-dimensional measuring system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05303629A (ja) 1991-11-29 1993-11-16 Nec Corp 形状合成方法
JP2011013706A (ja) * 2009-06-30 2011-01-20 Hitachi Ltd ステレオ画像処理装置およびステレオ画像処理方法
JP2012248221A (ja) 2012-09-07 2012-12-13 Casio Comput Co Ltd 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
US20140153816A1 (en) * 2012-11-30 2014-06-05 Adobe Systems Incorporated Depth Map Stereo Correspondence Techniques
US20150178936A1 (en) * 2013-12-20 2015-06-25 Thomson Licensing Method and apparatus for performing depth estimation
JP2017045283A (ja) * 2015-08-26 2017-03-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
P. VUYLSTEKEA. OOSTERLINCK: "Range Image Acquisition with a Single Binary-Encoded Light Pattern", IEEE PAMI, vol. 12, no. 2, 1990, pages 148 - 164

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091578A1 (ja) * 2020-10-26 2022-05-05 オムロン株式会社 制御装置、ロボット、制御方法、プログラム
JP7512839B2 (ja) 2020-10-26 2024-07-09 オムロン株式会社 制御装置、ロボット、制御方法、プログラム
US12377547B2 (en) 2020-10-26 2025-08-05 Omron Corporation Control device, robot, control method, and program
EP4310784A1 (en) 2022-07-21 2024-01-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
US12620111B2 (en) 2022-07-21 2026-05-05 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Also Published As

Publication number Publication date
US20220398760A1 (en) 2022-12-15
CN112602118A (zh) 2021-04-02
EP3832601B1 (en) 2025-09-03
US11803982B2 (en) 2023-10-31
EP3832601A1 (en) 2021-06-09
CN112602118B (zh) 2024-06-07
JP7078173B2 (ja) 2022-05-31
EP3832601A4 (en) 2022-03-16
JPWO2020183711A1 (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
JP7078173B2 (ja) 画像処理装置及び３次元計測システム
JP7078172B2 (ja) 画像処理装置及び３次元計測システム
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
JP7168077B2 (ja) ３次元計測システム及び３次元計測方法
JP7184203B2 (ja) 画像処理装置、３次元計測システム、画像処理方法
WO2019230813A1 (ja) 三次元再構成方法および三次元再構成装置
JP7607229B2 (ja) 三次元変位計測方法及び三次元変位計測装置
EP3688407B1 (en) Light projection systems
JP2016217833A (ja) 画像処理システム及び画像処理方法
JP2026034619A (ja) 撮像装置および撮像処理方法
JP2021018219A (ja) ３次元形状計測システム、３次元形状計測方法、及び３次元形状計測プログラム
JPH11183142A (ja) 三次元画像撮像方法及び三次元画像撮像装置
JP7581638B2 (ja) 情報処理装置および情報処理方法
JP2016223980A (ja) 情報処理装置、情報処理方法及びプログラム
WO2023084790A1 (ja) ３次元計測システム、並びにその制御方法及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19919470

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021505461

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019919470

Country of ref document: EP

Effective date: 20210304

NENP Non-entry into the national phase

Ref country code: DE

WWG Wipo information: grant in national office

Ref document number: 2019919470

Country of ref document: EP