WO2017057054A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017057054A1
WO2017057054A1 PCT/JP2016/077427 JP2016077427W WO2017057054A1 WO 2017057054 A1 WO2017057054 A1 WO 2017057054A1 JP 2016077427 W JP2016077427 W JP 2016077427W WO 2017057054 A1 WO2017057054 A1 WO 2017057054A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
stereo
sub
pose
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/077427
Other languages
English (en)
French (fr)
Inventor
貝野　彰彦
辰吾 鶴見
江島　公志
嵩明 加藤
福地　正樹
辰起 柏谷
俊一 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017543143A priority Critical patent/JP6872128B2/ja
Priority to EP16851228.3A priority patent/EP3358294A4/en
Priority to US15/761,893 priority patent/US10803600B2/en
Priority to CN201680055412.2A priority patent/CN108449945B/zh
Publication of WO2017057054A1 publication Critical patent/WO2017057054A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/28—Mobile studios
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and in particular, an information processing device, an information processing method, and a program that are suitable for use in, for example, mounting on a moving body such as an automobile and estimating a self-position. About.
  • SLAM Simultaneous Localization and Mapping
  • the self-position estimation technology by SLAM using a stereo camera etc. consists of the following processes. That is, first, a texture region having a feature is detected from a pair of stereo images with different parallax captured by a stereo camera, a feature point is detected from the texture region, and depth estimation is performed, that is, the 3D coordinates of the feature point are calculated. An estimation process is performed. Next, a process of tracking the obtained feature points over a plurality of frames, that is, a 2D coordinate tracking process of the feature points is performed.
  • the SLAM self-localization technology is composed of the above-mentioned processes, so that in general, when the majority of images captured by a stereo camera are occupied by textured walls and floors, the surrounding environment (other automobiles) If the spatial distribution of the 3D coordinates of the feature points is biased, the self-position estimation becomes difficult.
  • the present disclosure has been made in view of such a situation, and enables the self-position to be continuously estimated.
  • An information processing apparatus includes a main imaging unit that includes a stereo camera mounted on a moving body and outputs a time-series stereo main image pair by capturing a moving image at a predetermined frame rate.
  • the main imaging unit is mounted on the moving body so as to have an imaging direction different from that of the main imaging unit, and one or a plurality of sub imaging units that capture a moving image at a predetermined frame rate, and a stereo main image captured by the main imaging unit
  • a final pose determination unit that estimates a pose of the moving body based on a pair and a sub-image captured by the sub-imaging unit;
  • the sub-imaging unit is composed of a stereo camera and can output a time-series stereo sub-image pair by capturing a moving image at a predetermined frame rate
  • the final pose determination unit is configured by the main imaging unit.
  • a main estimation unit that estimates a pose of the moving object based on a captured time-series stereo main image pair, and a pose of the moving object based on a time-series stereo sub-image pair captured by the sub-imaging unit.
  • the main estimation unit estimates a 3D coordinate of a feature point detected from the stereo main image pair, and tracks the feature point over one of the plurality of frames of the stereo main image pair, thereby posing the moving body.
  • the estimated pose and its reliability can be output to the integration unit
  • the sub-estimation unit estimates the 3D coordinates of the feature point detected from the stereo sub-image pair, and the feature point
  • the pose of the moving body can be estimated by tracking over a plurality of frames of one of the stereo sub-image pairs, and the estimated pose and its reliability can be output to the integration unit. Based on the reliability, the final pose is obtained by integrating the pose estimated by the main estimator and the pose estimated by the sub-estimator. It can be determined.
  • the reliability is the number of the feature points effective in estimating the pose, the 3D spatial distribution of the feature points, the difference between the estimated pose and the last final pose, or the remaining in the optimization calculation in the estimation. At least one of the differences can be included.
  • the sub-imaging unit is composed of a wide-angle camera, a fish-eye camera, or an omnidirectional camera, and can capture time-series sub-images by capturing moving images at a predetermined frame rate.
  • a pose estimator that estimates a final pose based on the 2D coordinates at.
  • the 3D estimation unit can estimate 3D coordinates of feature points detected from the stereo main image pair imaged by the main imaging unit, and can estimate 2D coordinates of the feature points in the sub-image,
  • a 2D tracking unit that tracks the feature point over a plurality of frames of the sub-image based on the 2D coordinates of the sub-image of the feature point estimated by the 3D estimation unit; It can be converted to 2D coordinates in pairs.
  • the plurality of sub-imaging units can selectively switch to the 2D coordinates in the sub-image of the feature point by the 3D estimation unit based on the estimation result to perform imaging.
  • An information processing method is an information processing method by an information processing device, which includes a stereo camera mounted on a moving body by the information processing device and captures a moving image at a predetermined frame rate.
  • the stereo main image pair imaged by the main imaging unit that outputs a time-series stereo main image pair and the main imaging unit are mounted on the moving body so that the imaging direction is different, and a moving image is transmitted at a predetermined frame rate.
  • a program is a program for controlling an information processing apparatus, which is configured by a stereo camera mounted on a moving body, and that captures a moving image at a predetermined frame rate to obtain a time-series stereo main image.
  • One or a plurality of stereo main image pairs imaged by the main imaging unit that outputs the pair and the main imaging unit are mounted on the moving body so that the imaging directions are different, and capture a moving image at a predetermined frame rate.
  • the computer of the information processing apparatus is caused to execute a process including a final pose determination step of estimating the pose of the moving body based on the sub-image captured by the sub-imaging unit.
  • a stereo imaged by a main imaging unit that includes a stereo camera mounted on a moving body and outputs a time-series stereo main image pair by capturing a moving image at a predetermined frame rate. Based on a main image pair and a sub-image captured by one or more sub-imaging units that are mounted on the moving body so that the imaging direction of the main imaging unit is different and that captures a moving image at a predetermined frame rate. Thus, the pose of the moving object is estimated.
  • the self-position can be continuously estimated.
  • FIG. 11 is a block diagram illustrating a configuration example of a general-purpose computer.
  • FIG. 1 illustrates a first configuration example of an information processing apparatus to which the present disclosure is applied.
  • the first configuration example includes first imaging units 11-1 to 11-4, SLAM processing units 12-1 to 12-4, and an integration unit 13.
  • the first imaging unit 11-1 is composed of a high-resolution stereo camera, captures a moving image at a predetermined frame rate, and supplies the resulting stereo image pair with different parallax to the SLAM processing unit 12-1. To do.
  • the second imaging unit 11-2 to the fourth imaging unit 11-4 are configured in the same manner as the first imaging unit 11-1. Instead of a stereo camera, a polarization sensor or an active sensor (ToF sensor, SL sensor, etc.) that can measure the distance (3D coordinates) between one camera and a subject may be used.
  • FIG. 2 shows an example of the arrangement of the first imaging unit 11-1 to the fourth imaging unit 11-4 in the automobile.
  • FIG. 2A shows a side view and
  • FIG. 2B shows a top view. ing.
  • the first imaging unit 11-1 to the fourth imaging unit 11-4 are arranged so that different directions are used as imaging ranges.
  • the first imaging unit 11-1 is arranged on the front side of the automobile so that the imaging range is the front.
  • the second imaging unit 11-2 is arranged on the right side of the automobile so that the right side is the imaging range.
  • the third imaging unit 11-3 is arranged on the left side of the automobile so that the left side is the imaging range.
  • the fourth imaging unit 11-4 is arranged on the rear side of the automobile so that the rear side is the imaging range.
  • the arrangement of the first imaging unit 11-1 to the fourth imaging unit 11-4 is not limited to the arrangement example of FIG. 2, and the surroundings of the automobile can be imaged by a plurality of high-resolution stereo cameras. You can do it.
  • any one of the second imaging unit 11-2 to the fourth imaging unit 11-4 may be arranged below the automobile so that the road surface is an imaging range.
  • the SLAM processing unit 12-1 performs SLAM processing on a pair of stereo images with different parallax that are sequentially supplied from the first imaging unit 11-1 at a predetermined frame rate, and the resulting pose and its reliability Is output to the integration unit 13.
  • the pose is a self-position of 6 DOF.
  • the reliability includes at least one of the number of effective feature points, a three-dimensional space portion of the feature points, a difference from the last pose obtained immediately before, or a residual in an optimization operation in estimation.
  • the SLAM processing units 12-2 to 12-4 perform SLAM processing on stereo image pairs with different parallaxes sequentially supplied at a predetermined frame rate from the previous stage.
  • the pose and its reliability are output to the integration unit 13.
  • SLAM processing performed by the SLAM processing units 12-1 to 12-4 may be executed by a so-called cloud server.
  • the integration unit 13 integrates the poses input from the SLAM processing units 12-1 to 12-4 based on the reliability and determines a final pose. Specifically, the poses input from the SLAM processing units 12-1 to 12-4 are weighted and averaged based on their reliability, the pose with the highest reliability is adopted, the SLAM processing units 12-1 to 12-4 The final pose is determined by integrating the poses input from 12-4 by a Kalman filter based on the reliability.
  • FIG. 3 is a flowchart for explaining final pose determination processing according to the first configuration example of the information processing apparatus.
  • combinations of the SLAM processing units 12-1 to 12-4 corresponding to the first imaging unit 11-1 to the fourth imaging unit 11-4 will be referred to as stereo camera systems, respectively.
  • the imaging unit 11 When there is no need to distinguish the first imaging unit 11-1 to the fourth imaging unit 11-4, they are referred to as the imaging unit 11, and the SLAM processing units 12-1 to 12-4 are individually distinguished. When there is no need to do this, it is referred to as a SLAM processing unit 12.
  • step S1 the imaging unit 11 of each stereo camera system starts imaging a moving image at a predetermined frame rate, and supplies the stereo image pair obtained as a result with different parallaxes to the SLAM processing unit 12.
  • step S2 the SLAM processing unit 12 of each stereo camera system performs SLAM processing on a pair of stereo images having different parallaxes that are sequentially supplied from the imaging unit 11 in the previous stage, and in step S3, The resulting pose and its reliability are output to the integration unit 13.
  • step S4 the integration unit 13 determines the final pose by integrating the poses input from the SLAM processing unit 12 of each stereo camera system based on the reliability. Specifically, any of the three types of integration methods described above may be employed.
  • the number of stereo camera systems is not limited to four but may be two or more. Of course, if the number increases, the accuracy of the final pose can be improved.
  • FIG. 4 illustrates a second configuration example of the information processing apparatus to which the present disclosure is applied.
  • the second configuration example is roughly composed of a 3D estimation unit 21, a 2D tracking unit 27, and a pause estimation unit 31.
  • the 3D estimation unit 21 includes a stereo imaging unit 22, a feature point detection unit 23, a depth estimation unit 24, a coordinate conversion unit 25, and a holding unit 26.
  • the stereo imaging unit 22 includes a high-resolution stereo camera that captures the front of the automobile.
  • the stereo imaging unit 22 captures a moving image at a predetermined frame rate, and obtains a stereo image pair having different parallax as a feature point detection unit 23. Supply.
  • the feature point detection unit 23 detects a texture region having a feature from the stereo image pair supplied from the stereo imaging unit 22, detects one or more feature points from the texture region, and indicates a detection result 2D feature point group @ cam0 is output to the depth estimation unit 24.
  • the depth estimation unit 24 performs the process of estimating the depth of the feature points in the stereo image pair, that is, the process of estimating the 3D coordinates of the feature points, and holds the 3D feature point group @ cam0 indicating the processing result and the coordinate conversion unit 25. To the unit 26.
  • the 2D coordinates are estimated, and the estimated 2D feature point group @cam [1] obtained as a result is output to the holding unit 26.
  • the 2D coordinates in the image are estimated, and the estimated 2D feature point group @cam [2] obtained as a result is output to the holding unit 26.
  • the coordinate conversion unit 25 performs a third imaging of the feature points in the stereo image pair by the third imaging unit 28-3 (described later) based on the 3D feature point group @ cam0 obtained from the depth estimation unit 24.
  • the 2D coordinates in the image are estimated, and the estimated 2D feature point group @cam [3] obtained as a result is output to the holding unit 26.
  • the 2D tracking unit 27 includes a first imaging unit 28-1 to a third imaging unit 28-3, tracking units 29-1 to 29-3, and coordinate conversion units 30-1 to 30-3.
  • the first imaging unit 28-1 is composed of a camera with a wide imaging range such as a wide-angle camera or a fisheye camera.
  • the first imaging unit 28-1 captures a moving image at a predetermined frame rate, and detects a tracking feature point from the resulting first image.
  • the second imaging unit 28-2 supplies the second image to the tracking feature point detection unit 23-2
  • the third imaging unit 28-3 transmits the third image to the tracking feature point detection unit 23-2. 23-3.
  • each of the first imaging unit 28-1 to the third imaging unit 28-3 is not a stereo camera in which calibration based on parallax is indispensable, but each is configured by a single wide-angle camera or the like. Therefore, the cost can be reduced as compared with the case of using a stereo camera, and the labor of calibration can be saved.
  • an effective texture range is selected from the first to third images obtained from the first imaging unit 28-1 to the third imaging unit 28-3, and the high-resolution stereo camera constituting the stereo imaging unit 22 is selected.
  • the direction and zoom ratio may be controlled.
  • FIG. 5 shows an arrangement example of the first imaging unit 28-1 to the third imaging unit 28-3 in the automobile.
  • the first imaging unit 28-1 is attached at a position where the left side of the automobile is the imaging range, for example.
  • the second imaging unit 28-2 is attached, for example, at a position where the right side of the automobile is the imaging range.
  • the third imaging unit 28-3 is attached, for example, at a position where the rear of the automobile is an imaging range.
  • the images may be switched selectively. Specifically, select so that the spatial distribution of feature points detected from the stereo image pair (particularly the distribution in the depth direction) is not biased, or select a feature that does not image the surrounding environment with movement, You may make it image by selecting what is imaging the texture effective as a point. Thereby, power saving can be achieved.
  • an omnidirectional camera 28 having an imaging range of 360 degrees around is provided on the roof of an automobile or the like. You may arrange.
  • a downward camera 28 having an imaging range on the road surface is arranged at the bottom of the automobile or the like. Also good.
  • the tracking unit 29-1 acquires the estimated 2D feature point group @cam [1] from the holding unit 26, and the feature points detected from the stereo image pair based on the acquired estimated 2D feature point group @cam [1]. Are tracked on the first image obtained from the first imaging unit 28-1, and the 2D feature point group @cam [1] obtained as a result is output to the coordinate transformation unit 30-1. Of the feature points detected from the stereo image pair, feature points that do not exist on the first image are deleted from the 2D feature point group @cam [1]. Similarly, the tracking unit 29-2 outputs the 2D feature point group @cam [2] to the coordinate conversion unit 30-2, and the tracking unit 29-3 outputs the 2D feature point group @cam [3] to the coordinate conversion unit. Output to 30-3.
  • the coordinate conversion unit 30-1 converts the 2D coordinates of the feature points tracked on the first image based on the 2D feature point group @cam [1] input from the tracking unit 29-1 into the 2D coordinates in the stereo image pair.
  • the 2D feature point group @ cam0-1 obtained as a result is output to the pose estimation unit 31.
  • the coordinate conversion unit 30-2 outputs the D feature point group @ cam0-2 to the pose estimation unit 31, and the coordinate conversion unit 30-3 outputs the D feature point group @ cam0-3 to the pose estimation unit 31. .
  • the pose estimation unit 31 acquires the 3D feature point group @ cam0 from the holding unit 26, and based on the acquired 3D feature point group @ cam0 and 2D feature point group @ cam0-1 to 2D feature point group @ cam0-3 A final pose (6 DOF) is estimated that a combination of 3D coordinates and 2D coordinates can be expressed appropriately.
  • FIG. 8 is a flowchart for explaining final pose determination processing according to the second configuration example of the information processing apparatus.
  • the stereo imaging unit 22 has already started capturing moving images at a predetermined frame rate, and has output a stereo image pair obtained as a result to the subsequent stage.
  • step S11 the feature point detection unit 23 of the 3D estimation unit 21 detects a texture region having a feature from the stereo image pair, detects one or more feature points from the texture region, and a 2D feature point group indicating a detection result.
  • @ cam0 is output to the depth estimation unit 24.
  • step S12 the depth estimation unit 24 estimates 3D coordinates of feature points in the stereo image pair, and outputs a 3D feature point group @ cam0 indicating the result to the coordinate conversion unit 25 and the holding unit 26.
  • step S13 the coordinate conversion unit 25 estimates 2D coordinates in the first to third images of the feature points in the stereo image pair based on the 3D feature point group @ cam0, and the estimated 2D feature points obtained as a result thereof
  • the first imaging unit 28-1 to the third imaging unit 28-3 of the 2D tracking unit 27 are selectively switched to start capturing a moving image.
  • step S15 the tracking unit 29-i deletes the record of the feature point that could not be tracked on the i-th image from the 2D feature point group @cam [i] and outputs it to the coordinate conversion unit 30-i. To do.
  • the 2D coordinates of the feature points are converted into 2D coordinates in the stereo image pair, and the resulting 2D feature point group @ cam0-i is output to the pose estimation unit 31.
  • step S17 the pose estimation unit 31 acquires the 3D feature point group @ cam0 from the holding unit 26, the acquired 3D feature point group @ cam0, and the 2D feature point group @ cam0-1 to 2D feature point group @ cam0- Based on 3, a final pose (6 DOF) is estimated that the combination of 3D coordinates and 2D coordinates can be expressed appropriately.
  • any one of the first imaging unit 28-1 to the third imaging unit 28-3 is specifically, Since the feature points detected from the stereo image pair can be continuously tracked, and the feature points that are not affected by the surrounding environment can be selectively switched so that the spatial distribution of the feature points is not biased, It is possible to continuously estimate the final pose.
  • FIG. 9 shows a conceptual diagram when the second configuration example of the information processing apparatus is mounted on an HMD (head mounted display).
  • the HMD shown in the figure is used, the user's head position and posture can be estimated continuously, so video can be presented according to the user's state in video playback and AR / VR applications. It becomes possible.
  • FIG. 10 shows a conceptual diagram when the second configuration example of the information processing apparatus is mounted on an autonomous cleaning robot.
  • FIG. 11 shows a conceptual diagram when the second configuration example of the information processing apparatus is mounted on a drone (autonomous unmanned aerial vehicle).
  • the information processing apparatus is attached to a wild animal or the like to be protected in a small size, the position can be estimated continuously, so that it is possible to contribute to their behavior analysis.
  • FIG. 12 shows a conceptual diagram when the second configuration example of the information processing apparatus is applied to creation of a 3D model and an arbitrary viewpoint video.
  • each imaging unit is arranged around a stationary subject (in the case of the figure, a building), the position and orientation of each imaging unit can be estimated, so images captured by each imaging unit Can be used to create 3D models and arbitrary viewpoint videos.
  • a series of processes according to the first and second configuration examples of the information processing apparatus described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 13 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.
  • the input unit 106 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 107 includes a display, a speaker, and the like.
  • the storage unit 108 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 109 includes a network interface or the like.
  • the drive 110 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 101 loads the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. A series of processing is performed.
  • the program executed by the computer 100 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.
  • a main imaging unit that is composed of a stereo camera mounted on a moving body and outputs a time-series stereo main image pair by capturing a moving image at a predetermined frame rate;
  • One or more sub-imaging units that are mounted on the moving body so that the imaging direction is different from the main imaging unit, and that captures moving images at a predetermined frame rate;
  • An information processing apparatus comprising: a stereo main image pair imaged by the main imaging unit; and a final pose determining unit that estimates a pose of the moving object based on the subimage imaged by the sub imaging unit.
  • the sub-imaging unit is composed of a stereo camera, and outputs a time-series stereo sub-image pair by capturing a moving image at a predetermined frame rate
  • the final pose determination unit A main estimation unit that estimates a pose of the moving object based on a time-series stereo main image pair imaged by the main imaging unit; A sub-estimator for estimating a pose of the moving body based on a time-series stereo sub-image pair imaged by the sub-imaging unit;
  • the information processing apparatus further including: an integration unit that determines a final pose by integrating the pose estimated by the main estimation unit and the pose estimated by the sub-estimation unit.
  • the main estimation unit estimates a 3D coordinate of a feature point detected from the stereo main image pair, and tracks the feature point over one of the plurality of frames of the stereo main image pair, thereby posing the moving body. And outputs the estimated pose and its reliability to the integration unit,
  • the sub-estimator estimates a 3D coordinate of a feature point detected from the stereo sub-image pair, and tracks the feature point over one of the plurality of frames of the stereo sub-image pair, thereby posing the moving body.
  • the integration unit determines a final pose by integrating the pose estimated by the main estimation unit and the pose estimated by the sub-estimation unit based on the reliability.
  • Information processing device is a 3D coordinate of a feature point detected from the stereo main image pair, and tracks the feature point over one of the plurality of frames of the stereo main image pair, thereby posing the moving body.
  • the reliability is the number of the feature points effective in estimating the pose, the 3D spatial distribution of the feature points, the difference between the estimated pose and the last final pose, or the remaining in the optimization calculation in the estimation.
  • the information processing apparatus according to (3) including at least one of the differences.
  • the sub-imaging unit is composed of a wide-angle camera, a fish-eye camera, or an omnidirectional camera, and outputs a time-series sub-image by capturing a moving image at a predetermined frame rate.
  • the final pose determination unit A 3D estimation unit that estimates 3D coordinates of feature points detected from the stereo main image pair imaged by the main imaging unit; A 2D tracking unit that tracks the feature points over a plurality of frames of the sub-image and converts a tracking result into 2D coordinates in the stereo main image pair; A pose estimation unit that estimates a final pose based on the 3D coordinates of the feature points estimated by a 3D estimation unit and the 2D coordinates of the feature points in the stereo main image pair converted by the 2D tracking unit; The information processing apparatus according to (1).
  • the 3D estimation unit estimates 3D coordinates of feature points detected from the stereo main image pair imaged by the main imaging unit, and estimates 2D coordinates of the feature points in the sub-image
  • the 2D tracking unit tracks the feature point over a plurality of frames of the sub-image based on the 2D coordinates in the sub-image of the feature point estimated by the 3D estimation unit, and the tracking result is recorded on the stereo main image.
  • the information processing apparatus according to (5), wherein the information is converted into 2D coordinates in the image pair.
  • the plurality of sub-imaging units perform imaging while being selectively switched based on an estimation result of the 2D coordinates in the sub-image of the feature point by the 3D estimation unit.
  • Information processing device is described by the 3D estimation unit.
  • a stereo main image pair captured by a main image capturing unit configured to output a time-series stereo main image pair by capturing a moving image at a predetermined frame rate, the stereo main image pair including a stereo camera mounted on a moving body, and the main image capturing
  • the pose of the moving body is estimated based on the sub-image captured by one or a plurality of sub-imaging units that are mounted on the moving body so that the imaging direction differs from that of the unit and that captures a moving image at a predetermined frame rate.
  • Information processing method including a final pose determination step.
  • a stereo main image pair captured by a main image capturing unit configured to output a time-series stereo main image pair by capturing a moving image at a predetermined frame rate, the stereo main image pair including a stereo camera mounted on a moving body, and the main image capturing
  • the pose of the moving body is estimated based on the sub-image captured by one or a plurality of sub-imaging units that are mounted on the moving body so that the imaging direction differs from that of the unit and that captures a moving image at a predetermined frame rate.
  • a program that causes a computer of an information processing device to execute processing including a final pose determination step.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本開示は、継続的に自己位置を推定することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 本開示の一側面である情報処理装置は、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する複数の副撮像部と、前記主撮像部によって撮像されたステレオ主画像対と、前記副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定部とを備える。本開示は、例えば、車載用途の自己位置センサに適用できる。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、自動車などの移動体に搭載して自己位置を推定する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
　自動車などの移動体に搭載して自己位置を推定する技術としてSLAM(Simultaneous Localization and Mapping)が知られている。
　ステレオカメラ等を用いたSLAMによる自己位置推定技術は以下の処理から構成される。すなわち、初めに、ステレオカメラにより撮像された視差の異なるステレオ画像対から特徴があるテクスチャ領域を検出し、テクスチャ領域から特徴点を検出して奥行推定を行う処理、すなわち、特徴点の３Ｄ座標を推定する処理が行われる。次に、得られた特徴点を複数フレームに亘ってトラッキングする処理、すなわち、特徴点の２Ｄ座標トラッキング処理が行われる。最後に、推定された特徴点の３Ｄ座標と、追跡された特徴点の２Ｄ座標の組み合わせを尤も適切に表現できるポーズ（自己位置と向き）を推定する処理、すなわち、６DOF（自由度６）の自己位置を推定する処理が行われる（例えば、特許文献１参照）。
特開２００８－３０４２６８号公報
　SLAMによる自己位置推定技術が上述した処理から構成されることにより、一般的には、ステレオカメラにより撮像された画像の大部分がテクスチャのない壁や床によって占められる場合、周辺環境（他の自動車や歩行者など)が動く場合、特徴点の３Ｄ座標の空間分布が偏る場合には自己位置推定が困難となる。
　特に、屋外で使用される自動車などの移動体にSLAMによる自己位置推定技術を適用する場合には、以下のような問題が発生して自己位置の推定が困難となる事態が起こり得る。
　すなわち、例えば、近くに特徴のある被写体が存在せず、遠方の建物がテクスチャとして検出される場合、テクスチャの時間変動が得られない。画像上において周辺環境が移動する場合、自己が動いているのか、周辺環境が動いているのかを区別することができない。自己（自動車）が高速に移動する場合、画面上から特徴点が消失してしまい、トラッキングが困難となる。
　本開示はこのような状況に鑑みてなされたものであり、継続的に自己位置を推定できるようにするものである。
　本開示の一側面である情報処理装置は、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部と、前記主撮像部によって撮像されたステレオ主画像対と、前記副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定部とを備える。
　前記副撮像部は、ステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ副画像対を出力することができ、前記最終ポーズ決定部は、前記主撮像部によって撮像された時系列のステレオ主画像対に基づいて前記移動体のポーズを推定する主推定部と、前記副撮像部によって撮像された時系列のステレオ副画像対に基づいて前記移動体のポーズを推定する副推定部と、前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する統合部とを有することができる。
　前記主推定部は、前記ステレオ主画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ主画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力することができ、前記副推定部は、前記ステレオ副画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ副画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力することができ、前記統合部は、前記信頼度に基づいて、前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定することができる。
　前記信頼度は、前記ポーズを推定するに際して有効な前記特徴点の数、前記特徴点の３Ｄ空間分布、推定された前記ポーズと直近の最終ポーズとの差分、または、推定における最適化演算における残差のうちの少なくとも一つを含むことができる。
　前記副撮像部は、広角カメラ、魚眼カメラ、または全方位カメラから構成され、所定のフレームレートで動画像を撮像することにより、時系列の副画像を出力することができ、前記最終ポーズ決定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定する３Ｄ推定部と、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する２Ｄトラッキング部と、３Ｄ推定部によって推定された前記特徴点の前記３Ｄ座標と、前記２Ｄトラッキング部によって変換された前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて最終ポーズを推定するポーズ推定部とを有することができる。
　前記３Ｄ推定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定するとともに、前記特徴点の前記副画像における２Ｄ座標を推定することができ、前記２Ｄトラッキング部は、前記３Ｄ推定部によって推定された前記特徴点の前記副画像における前記２Ｄ座標に基づき、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換することができる。
　複数の前記副撮像部は、前記３Ｄ推定部による前記特徴点の前記副画像における前記２Ｄ座標に推定結果に基づき、選択的に切り替えられて撮像を行うことができる。
　本開示の一側面である情報処理方法は、情報処理装置による情報処理方法において、前記情報処理装置による、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを含む。
　本開示の一側面であるプログラムは、情報処理装置の制御用のプログラムにおいて、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを含む処理を情報処理装置のコンピュータに実行させる。
　本開示の一側面においては、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズが推定される。
　本開示の一側面によれば、継続的に自己位置を推定することができる。
本開示を適用した情報処理装置の第１の構成例を示すブロック図である。 図１の第１乃至第４の撮像部の自動車における配置例を示す図である。 情報処理装置の第１の構成例による最終ポーズ決定処理を説明するフローチャートである。 本開示を適用した情報処理装置の第２の構成例を示すブロック図である。 図４の第１乃至第３の撮像部の自動車における配置例を示す図である。 第１乃至第３の撮像部の代わりに全方位カメラを配置した例を示す図である。 第１乃至第３の撮像部の代わりに下向きカメラを配置した例を示す図である。 情報処理装置の第２の構成例による最終ポーズ決定処理を説明するフローチャートである。 本開示を適用した情報処理装置をヘッドマウントディスプレイに搭載した場合の概念図である。 本開示を適用した情報処理装置を自立型掃除ロボットに搭載した場合の概念図である。 本開示を適用した情報処理装置をドローン（自律型無人飛行機）に搭載した場合の概念図である。 本開示を適用した情報処理装置を３Ｄモデルや任意視点映像などの作成に応用する場合の概念図である。 汎用のコンピュータの構成例を示すブロック図である。
　以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。以下においては、本開示の実施の形態である情報処理装置は、屋外で使用される自動車に搭載して使用することを想定して説明する。
　＜本開示を適用した情報処理装置の第１の構成例＞
　図１は、本開示を適用した情報処理装置の第１の構成例を示している。
　該第１の構成例は、第１の撮像部１１－１乃至第４の１１－４、SLAM処理部１２－１乃至１２－４、および統合部１３から構成される。
　第１の撮像部１１－１は、高解像度ステレオカメラから構成されており、所定のフレームレートで動画像を撮像し、その結果得られる視差が異なるステレオ画像対をSLAM処理部１２－１に供給する。第２の撮像部１１－２乃至第４の撮像部１１－４についても第１の撮像部１１－１と同様に構成される。なお、ステレオカメラの代わりに、１台のカメラと被写体までの距離（３Ｄ座標）を測定できる偏光センサ、アクティブ系センサ（ToFセンサ、ＳＬセンサなど）を用いてもよい。
　図２は、第１の撮像部１１－１乃至第４の撮像部１１－４の自動車における配置例を示しており、同図Ａは側面図を示しており、同図Ｂは上面図を示している。
　第１の撮像部１１－１乃至第４の撮像部１１－４は、それぞれ異なる方向を撮像範囲とするように配置される。同図の場合、第１の撮像部１１－１は、前方を撮像範囲とするように、自動車の前側に配置されている。第２の撮像部１１－２は、右側方を撮像範囲とするように、自動車の右側に配置されている。第３の撮像部１１－３は、左側方を撮像範囲とするように、自動車の左側面に配置されている。第４の撮像部１１－４は、後方を撮像範囲とするように、自動車の後側に配置されている。
　なお、第１の撮像部１１－１乃至第４の撮像部１１－４の配置は、図２の配置例に限定されるものではなく、複数の高解像度ステレオカメラによって自動車の周囲を撮像できるようにすればよい。また、図示は省略するが、路面を撮像範囲とするように、自動車の下部に第２の撮像部１１－２乃至第４の撮像部１１－４のいずれかを配置するようにしてもよい。
　図１に戻る。SLAM処理部１２－１は、第１の撮像部１１－１から順次所定のフレームレートで供給される、視差が異なるステレオ画像対を対象としてSLAM処理を行い、その結果えられるポーズとその信頼度を統合部１３に出力する。ここで、ポーズとは、６DOFの自己位置である。信頼度は、有効な特徴点の数、特徴点の３次元空間部分、直前に得られた最終ポーズとの差分、または、推定における最適化演算における残差のうちの少なくとも一つを含むものとする。
　SLAM処理部１２－２乃至１２－４についてもSLAM処理部１２－１と同様、前段から順次所定のフレームレートで供給される、視差が異なるステレオ画像対を対象としてSLAM処理を行い、その結果得られるポーズとその信頼度を統合部１３に出力する。
　なお、SLAM処理部１２－１乃至１２－４が行うSLAM処理の一部または全部を、いわゆるクラウド上のサーバに実行させるようにしてもよい。
　統合部１３は、SLAM処理部１２－１乃至１２－４から入力されるポーズを、その信頼度に基づいて統合して最終的なポーズを決定する。具体的には、SLAM処理部１２－１乃至１２－４から入力されるポーズをその信頼度に基づいて重み付け平均したり、信頼度が最も高いポーズを採用したり、SLAM処理部１２－１乃至１２－４から入力されるポーズを、その信頼度に基づくカルマンフィルタ(Kalman Filter)によって統合したりして最終的なポーズを決定する。
　＜情報処理装置の第１の構成例による最終ポーズ決定処理＞
　次に、図３は、情報処理装置の第１の構成例による最終ポーズ決定処理を説明するフローチャートである。
　以下、第１の撮像部１１－１乃至第４の撮像部１１－４のそれぞれに対応するSLAM処理部１２－１乃至１２－４の組み合わせをそれぞれステレオカメラ系と称する。また、第１の撮像部１１－１乃至第４の撮像部１１－４を個々に区別する必要が無い場合には撮像部１１と称し、SLAM処理部１２－１乃至１２－４を個々に区別する必要が無い場合にはSLAM処理部１２と称する。
　ステップＳ１において、各ステレオカメラ系の撮像部１１によって所定のフレームレートで動画像の撮像を開始し、その結果得られる視差が異なるステレオ画像対を対象としてSLAM処理部１２に供給する。
　ステップＳ２において、各ステレオカメラ系のSLAM処理部１２は、前段の撮像部１１から順次所定のフレームレートで供給される、視差が異なるステレオ画像対を対象としてSLAM処理を行い、ステップＳ３において、その結果えられるポーズとその信頼度を統合部１３に出力する。
　ステップＳ４において、統合部１３は、各ステレオカメラ系のSLAM処理部１２から入力されるポーズを、その信頼度に基づいて統合して最終的なポーズを決定する。具体的には、上述した３種類の統合方法のいずれを採用してもよい。
　以上に説明した最終ポーズ決定処理によれば、全てのステレオカメラ系で自己位置が推定され、その結果が統合されるので、仮に１つのステレオカメラ系で自己位置推定ができなかったり、誤差が有ったりしても、継続的に最終的なポーズを推定することができる。
　なお、ステレオカメラ系の数は４に限らず、２以上であればよい。当然ながら、その数が増えれば、最終的なポーズの正確性を高めることができる。
　＜本開示を適用した情報処理装置の第２の構成例＞
　図４は、本開示を適用した情報処理装置の第２の構成例を示している。
　該第２の構成例は、大別して３Ｄ推定部２１、２Ｄトラッキング部２７、およびポーズ推定部３１から構成される。
　３Ｄ推定部２１は、ステレオ撮像部２２、特徴点検出部２３、奥行推定部２４、座標変換部２５および保持部２６を有する。
　ステレオ撮像部２２は、自動車の前方を撮像する高解像度ステレオカメラから構成されており、所定のフレームレートで動画像を撮像し、その結果得られる視差が異なるステレオ画像対を特徴点検出部２３に供給する。
　特徴点検出部２３は、ステレオ撮像部２２から供給されるステレオ画像対から特徴があるテクスチャ領域を検出し、テクスチャ領域から１以上の特徴点を検出して、検出結果を示す２Ｄ特徴点群@cam0を奥行推定部２４に出力する。
　奥行推定部２４は、ステレオ画像対における特徴点の奥行推定を行う処理、すなわち、特徴点の３Ｄ座標を推定する処理を行い、処理結果を示す３Ｄ特徴点群@cam0を座標変換部２５および保持部２６に出力する。
　座標変換部２５は、奥行推定部２４から得られる３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第１の撮像部２８－１（後述）によって撮像される第１の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[1]を保持部２６に出力する。また、座標変換部２５は、奥行推定部２４から得られる３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第２の撮像部２８－２（後述）によって撮像される第２の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[2]を保持部２６に出力する。さらに、座標変換部２５は、奥行推定部２４から得られる３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第３の撮像部２８－３（後述）によって撮像される第３の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[3]を保持部２６に出力する。
　保持部２６は、奥行推定部２４から入力される３Ｄ特徴点群@cam0と、座標変換部２５から入力される推定２Ｄ特徴点群@cam[i]（i=1,2,3）を保持する。
　２Ｄトラッキング部２７は、第１の撮像部２８－１乃至第３の撮像部２８－３、トラッキング部２９－１乃至２９－３、および座標変換部３０－１乃至３０－３を有する。
　第１の撮像部２８－１は、広角カメラまたは魚眼カメラなどの撮像範囲が広いカメラから成り、所定のフレームレートで動画像を撮像し、その結果得られる第１の画像をトラッキング特徴点検出部２３－１に供給する。同様に、第２の撮像部２８－２は、第２の画像をトラッキング特徴点検出部２３－２に供給し、第３の撮像部２８－３は、第３の画像をトラッキング特徴点検出部２３－３に供給する。上述したように、第１の撮像部２８－１乃至第３の撮像部２８－３は、視差に基づくキャリブレーションなどが必須となるステレオカメラではなく、それぞれが１台の広角カメラなどで構成することができるので、ステレオカメラを用いた場合に比較して、低コスト化を実現でき、キャリブレーションの手間を省くことができる。
　なお、第１の撮像部２８－１乃至第３の撮像部２８－３から得られる第１乃至第３の画像から有効なテクスチャ範囲を選定し、ステレオ撮像部２２を構成する高解像度ステレオカメラの向きやズーム率を制御するようにしてもよい。
　図５は、第１の撮像部２８－１乃至第３の撮像部２８－３の自動車における配置例を示している。
　同図に示されるように、第１の撮像部２８－１は、例えば、自動車の左側を撮像範囲とする位置に取り付けられる。第２の撮像部２８－２は、例えば、自動車の右側を撮像範囲とする位置に取り付けられる。第３の撮像部２８－３は、例えば、自動車の後方を撮像範囲とする位置に取り付けられる。
　なお、第１の撮像部２８－１乃至第３の撮像部２８－３の全てに対して同時に撮像を行わせるのではなく、第１の撮像部２８－１乃至第３の撮像部２８－３を選択的に切り替えて撮像させてもよい。具体的には、ステレオ画像対から検出された特徴点の空間分布（特に奥行方向の分布）が偏らないように選択したり、動きが有る周辺環境を撮像していないものを選択したり、特徴点として有効なテクスチャを撮像しているものを選択したりして撮像させるようにしてもよい。これにより、省電力化を図ることができる。
　また、第１の撮像部２８－１乃至第３の撮像部２８－３を設ける代わりに、図６に示されるように、周囲３６０度を撮像範囲とする全方位カメラ２８を自動車の屋根などに配置してもよい。または、図７に示されるように、第１の撮像部２８－１乃至第３の撮像部２８－３を設ける代わりに、路面を撮像範囲とする下向きカメラ２８を自動車の底部などに配置してもよい。
　図４に戻る。トラッキング部２９－１は、保持部２６から推定２Ｄ特徴点群@cam[1]を取得し、取得した推定２Ｄ特徴点群@cam[1]に基づいて、ステレオ画像対から検出された特徴点を、第１の撮像部２８－１から得られる第１の画像上でトラッキングし、その結果得られる２Ｄ特徴点群@cam[1]を座標変換部３０－１に出力する。なお、ステレオ画像対から検出された特徴点のうち、第１の画像上に存在しない特徴点については、２Ｄ特徴点群@cam[1]から削除する。同様に、トラッキング部２９－２は、２Ｄ特徴点群@cam[2]を座標変換部３０－２に出力し、トラッキング部２９－３は、２Ｄ特徴点群@cam[3]を座標変換部３０－３に出力する。
　座標変換部３０－１は、トラッキング部２９－１から入力された２Ｄ特徴点群@cam[1]に基づき、第１の画像上でトラッキングした特徴点の２Ｄ座標を、ステレオ画像対における２Ｄ座標に変換し、その結果得られる２Ｄ特徴点群@cam0-1をポーズ推定部３１に出力する。同様に、座標変換部３０－２はＤ特徴点群@cam0-2をポーズ推定部３１に出力し、座標変換部３０－３はＤ特徴点群@cam0-3をポーズ推定部３１に出力する。
　ポーズ推定部３１は、保持部２６から３Ｄ特徴点群@cam0を取得し、取得した３Ｄ特徴点群@cam0と、２Ｄ特徴点群@cam0-1乃至２Ｄ特徴点群@cam0-3に基づいて、３Ｄ座標と２Ｄ座標との組み合わせが尤も適切に表現できる最終ポーズ（６DOF）を推定する。
　＜情報処理装置の第２の構成例による最終ポーズ決定処理＞
　次に、図８は、情報処理装置の第２の構成例による最終ポーズ決定処理を説明するフローチャートである。
　前提として、既にステレオ撮像部２２は所定のフレームレートで動画像の撮像を開始しており、その結果得られるステレオ画像対を後段に出力しているものとする。
　ステップＳ１１において、３Ｄ推定部２１の特徴点検出部２３は、ステレオ画像対から特徴があるテクスチャ領域を検出し、テクスチャ領域から１以上の特徴点を検出して、検出結果を示す２Ｄ特徴点群@cam0を奥行推定部２４に出力する。ステップＳ１２において、奥行推定部２４は、ステレオ画像対における特徴点の３Ｄ座標を推定し、その結果を示す３Ｄ特徴点群@cam0を座標変換部２５および保持部２６に出力する。
　ステップＳ１３において、座標変換部２５は、３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第１の乃至第３の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[i]（i=1,2,3）を保持部２６に出力する。
　この後、２Ｄトラッキング部２７の第１の撮像部２８－１乃至第３の撮像部２８－３は、選択的に切り替えられて動画像の撮像を開始する。
　ステップＳ１４において、トラッキング部２９－ｉ（ｉ＝１，２，３）は、保持部２６から推定２Ｄ特徴点群@cam[i]を取得し、取得した推定２Ｄ特徴点群@cam[i]に基づいて、ステレオ画像対から検出された特徴点を、前段から得られる第ｉの画像上でトラッキングすることによって２Ｄ特徴点群@cam[i]を得る。次に、ステップＳ１５において、トラッキング部２９－ｉは、第ｉの画像上でトラッキングできなかった特徴点の記録を２Ｄ特徴点群@cam[i]から削除して座標変換部３０－ｉに出力する。
　ステップＳ１６において、座標変換部３０－ｉ（ｉ＝１，２，３）は、トラッキング部２９－ｉから入力された２Ｄ特徴点群@cam[i]に基づき、第ｉの画像上にトラッキングした特徴点の２Ｄ座標を、ステレオ画像対における２Ｄ座標に変換し、その結果得られる２Ｄ特徴点群@cam0-iをポーズ推定部３１に出力する。
　ステップＳ１７において、ポーズ推定部３１は、保持部２６から３Ｄ特徴点群@cam0を取得し、取得した３Ｄ特徴点群@cam0と、２Ｄ特徴点群@cam0-1乃至２Ｄ特徴点群@cam0-3に基づいて、３Ｄ座標と２Ｄ座標との組み合わせが尤も適切に表現できる最終ポーズ（６DOF）を推定する。
　以上説明した情報処理装置の第２の構成例による最終ポーズ決定処理によれば、第１の撮像部２８－１乃至第３の撮像部２８－３のうちのいずれかが、具体的には、ステレオ画像対から検出された特徴点を継続的にトラッキングできるように、また、特徴点の空間分布が偏らないように、周辺環境に影響されない特徴点を検出できるように選択的に切り替えられるので、最終的なポーズを継続的に推定することが可能となる。
　＜本開示を適用した情報処理装置の応用例＞
　上述した実施の形態では、車載用途を想定していたが、情報処理装置の第１および第２の構成例は車載用途以外への応用も可能である。
　図９は、情報処理装置の第２の構成例をHMD（ヘッドマウントディスプレイ）に搭載した場合の概念図を示している。
　同図に示されるHMDを用いれば、ユーザの頭部の位置と姿勢を継続的に推定することができるので、動画再生やAR/VRアプリケーションにおいて、ユーザの状態に応じた映像を提示することが可能となる。
　図１０は、情報処理装置の第２の構成例を自律型掃除ロボットに搭載した場合の概念図を示している。図１１は、情報処理装置の第２の構成例をドローン（自律型無人飛行機）に搭載した場合の概念図を示している。
　図１０に示される自律型掃除ロボットや図１１に示されるドローンによれば、継続的に安定して自己のポーズを推定することができるので、安定した移動や飛行が可能となる。
　図示は省略するが、該情報処理装置を小型して保護すべき野生動物などに取り付ければ、位置を継続的に推定できるので、それらの行動解析に資することが可能となる。
　図１２は、情報処理装置の第２の構成例を３Ｄモデルや任意視点映像の作成に応用する場合の概念図を示している。同図に示されるように、不動の被写体（同図の場合、建物）の周囲に各撮像部を配置すれば、各撮像部の位置と姿勢を推定できるので、各撮像部によって撮像された画像を用いて３Ｄモデルや任意視点映像を作成することができる。
　ところで、上述した情報処理装置の第１および第２の構成例による一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
　入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
　以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　本開示は以下のような構成も取ることができる。
（１）
　移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部と、
　前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部と、
　前記主撮像部によって撮像されたステレオ主画像対と、前記副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定部と
　を備える情報処理装置。
（２）
　前記副撮像部は、ステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ副画像対を出力し、
　前記最終ポーズ決定部は、
　　前記主撮像部によって撮像された時系列のステレオ主画像対に基づいて前記移動体のポーズを推定する主推定部と、
　　前記副撮像部によって撮像された時系列のステレオ副画像対に基づいて前記移動体のポーズを推定する副推定部と、
　　前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する統合部とを有する
　前記（１）に記載の情報処理装置。
（３）
　前記主推定部は、前記ステレオ主画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ主画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力し、
　前記副推定部は、前記ステレオ副画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ副画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力し、
　前記統合部は、前記信頼度に基づいて、前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する
　前記（２）に記載の情報処理装置。
（４）
　前記信頼度は、前記ポーズを推定するに際して有効な前記特徴点の数、前記特徴点の３Ｄ空間分布、推定された前記ポーズと直近の最終ポーズとの差分、または、推定における最適化演算における残差のうちの少なくとも一つを含む
　前記（３）に記載の情報処理装置。
（５）
　前記副撮像部は、広角カメラ、魚眼カメラ、または全方位カメラから構成され、所定のフレームレートで動画像を撮像することにより、時系列の副画像を出力し、
　前記最終ポーズ決定部は、
　　前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定する３Ｄ推定部と、
　　前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する２Ｄトラッキング部と、
　　３Ｄ推定部によって推定された前記特徴点の前記３Ｄ座標と、前記２Ｄトラッキング部によって変換された前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて最終ポーズを推定するポーズ推定部とを有する
　前記（１）に記載の情報処理装置。
（６）
　前記３Ｄ推定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定するとともに、前記特徴点の前記副画像における２Ｄ座標を推定し、
　前記２Ｄトラッキング部は、前記３Ｄ推定部によって推定された前記特徴点の前記副画像における前記２Ｄ座標に基づき、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する
　前記（５）に記載の情報処理装置。
（７）
　複数の前記副撮像部は、前記３Ｄ推定部による前記特徴点の前記副画像における前記２Ｄ座標に推定結果に基づき、選択的に切り替えられて撮像を行う
　前記（５）または（６）に記載の情報処理装置。
（８）
　情報処理装置による情報処理方法において、
　前記情報処理装置による、
　　移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
　含む情報処理方法。
（９）
　情報処理装置の制御用のプログラムにおいて、
　移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
　含む処理を情報処理装置のコンピュータに実行させるプログラム。
　１１－１　第１の撮像部，　１１－２　第２の撮像部，　１１－３　第３の撮像部，　１１－４　第４の撮像部，　１２－１乃至１２－４　SLAM処理部，　１３　統合部，　２１　３Ｄ推定部，　２２　ステレオ撮像部，　２３　特徴点検出部，　２４　奥行推定部，　２５　座標変換部，　２６　保持部，　２７　２Ｄトラッキング部，　２８－１　第１の撮像部，　２８－２　第２の撮像部，　２８－３　第３の撮像部，　２９－１乃至２９－３　トラッキング部，　３０－１乃至３０－３　座標変換部，　３１　ポーズ推定部，　１００　コンピュータ，　１０１　CPU

Claims (9)

  1. 　移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部と、
    　前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部と、
    　前記主撮像部によって撮像されたステレオ主画像対と、前記副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定部と
    　を備える情報処理装置。
  2. 　前記副撮像部は、ステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ副画像対を出力し、
    　前記最終ポーズ決定部は、
    　　前記主撮像部によって撮像された時系列のステレオ主画像対に基づいて前記移動体のポーズを推定する主推定部と、
    　　前記副撮像部によって撮像された時系列のステレオ副画像対に基づいて前記移動体のポーズを推定する副推定部と、
    　　前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する統合部とを有する
    　請求項１に記載の情報処理装置。
  3. 　前記主推定部は、前記ステレオ主画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ主画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力し、
    　前記副推定部は、前記ステレオ副画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ副画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力し、
    　前記統合部は、前記信頼度に基づいて、前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する
    　請求項２に記載の情報処理装置。
  4. 　前記信頼度は、前記ポーズを推定するに際して有効な前記特徴点の数、前記特徴点の３Ｄ空間分布、推定された前記ポーズと直近の最終ポーズとの差分、または、推定における最適化演算における残差のうちの少なくとも一つを含む
    　請求項３に記載の情報処理装置。
  5. 　前記副撮像部は、広角カメラ、魚眼カメラ、または全方位カメラから構成され、所定のフレームレートで動画像を撮像することにより、時系列の副画像を出力し、
    　前記最終ポーズ決定部は、
    　　前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定する３Ｄ推定部と、
    　　前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する２Ｄトラッキング部と、
    　　３Ｄ推定部によって推定された前記特徴点の前記３Ｄ座標と、前記２Ｄトラッキング部によって変換された前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて最終ポーズを推定するポーズ推定部とを有する
    　請求項１に記載の情報処理装置。
  6. 　前記３Ｄ推定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定するとともに、前記特徴点の前記副画像における２Ｄ座標を推定し、
    　前記２Ｄトラッキング部は、前記３Ｄ推定部によって推定された前記特徴点の前記副画像における前記２Ｄ座標に基づき、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する
    　請求項５に記載の情報処理装置。
  7. 　複数の前記副撮像部は、前記３Ｄ推定部による前記特徴点の前記副画像における前記２Ｄ座標に推定結果に基づき、選択的に切り替えられて撮像を行う
    　請求項６に記載の情報処理装置。
  8. 　情報処理装置による情報処理方法において、
    　前記情報処理装置による、
    　　移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
    　含む情報処理方法。
  9. 　情報処理装置の制御用のプログラムにおいて、
    　移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
    　含む処理を情報処理装置のコンピュータに実行させるプログラム。
PCT/JP2016/077427 2015-09-30 2016-09-16 情報処理装置、情報処理方法、およびプログラム Ceased WO2017057054A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017543143A JP6872128B2 (ja) 2015-09-30 2016-09-16 情報処理装置、情報処理方法、およびプログラム
EP16851228.3A EP3358294A4 (en) 2015-09-30 2016-09-16 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US15/761,893 US10803600B2 (en) 2015-09-30 2016-09-16 Information processing device, information processing method, and program
CN201680055412.2A CN108449945B (zh) 2015-09-30 2016-09-16 信息处理设备、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-194554 2015-09-30
JP2015194554 2015-09-30

Publications (1)

Publication Number Publication Date
WO2017057054A1 true WO2017057054A1 (ja) 2017-04-06

Family

ID=58423641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077427 Ceased WO2017057054A1 (ja) 2015-09-30 2016-09-16 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US10803600B2 (ja)
EP (1) EP3358294A4 (ja)
JP (1) JP6872128B2 (ja)
CN (1) CN108449945B (ja)
WO (1) WO2017057054A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026390A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
JP2020531793A (ja) * 2017-08-31 2020-11-05 クロネス アーゲー 測定ビークルによってエリアを測定するための方法
JP2021043486A (ja) * 2019-09-06 2021-03-18 株式会社東芝 位置推定装置
JP2022533309A (ja) * 2019-05-21 2022-07-22 マイクロソフト テクノロジー ライセンシング，エルエルシー 画像ベースの位置特定
WO2022186354A1 (ja) * 2021-03-03 2022-09-09 株式会社Preferred Networks 情報処理装置および自律移動ロボット
JP2022166505A (ja) * 2021-04-21 2022-11-02 株式会社東芝 ３次元マップ推定装置および障害物検出装置
WO2024075525A1 (ja) * 2022-10-05 2024-04-11 ソニーグループ株式会社 情報処理装置およびプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6883215B2 (ja) 2015-09-29 2021-06-09 ソニーグループ株式会社 計測装置および方法、並びにプログラム
JP6872128B2 (ja) * 2015-09-30 2021-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN108139202B (zh) 2015-09-30 2021-06-11 索尼公司 图像处理装置、图像处理方法和程序
US10587863B2 (en) 2015-09-30 2020-03-10 Sony Corporation Image processing apparatus, image processing method, and program
US10723018B2 (en) * 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
US20200226787A1 (en) * 2019-01-14 2020-07-16 Sony Corporation Information processing apparatus, information processing method, and program
CN113632459A (zh) * 2019-03-27 2021-11-09 索尼集团公司 信息处理装置、方法和程序
US11654552B2 (en) * 2019-07-29 2023-05-23 TruPhysics GmbH Backup control based continuous training of robots
JP7249919B2 (ja) * 2019-09-17 2023-03-31 株式会社東芝 推定装置、推定方法及びプログラム
US12028619B2 (en) * 2020-03-05 2024-07-02 Sony Group Corporation Image processing device and image processing method
JP7444646B2 (ja) * 2020-03-11 2024-03-06 株式会社メガチップス ポーズデータ生成装置、ｃｇデータ生成システム、ポーズデータ生成方法、および、プログラム
CN113726465B (zh) * 2020-05-26 2022-12-27 华为技术有限公司 时间戳同步方法和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007278871A (ja) * 2006-04-07 2007-10-25 Technical Research & Development Institute Ministry Of Defence 動き量計算装置
JP2010014450A (ja) * 2008-07-01 2010-01-21 Topcon Corp 位置測定方法、位置測定装置、およびプログラム
WO2012176249A1 (ja) * 2011-06-21 2012-12-27 国立大学法人奈良先端科学技術大学院大学 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、及び移動体
JP2014216813A (ja) * 2013-04-25 2014-11-17 日本放送協会 カメラ姿勢推定装置及びそのプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3833786B2 (ja) * 1997-08-04 2006-10-18 富士重工業株式会社 移動体の３次元自己位置認識装置
DE10244148A1 (de) * 2002-09-23 2004-04-08 Daimlerchrysler Ag Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
US7925049B2 (en) * 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
EP2309225A4 (en) * 2008-07-01 2014-10-15 Topcon Corp POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE AND PROGRAM
JP5448617B2 (ja) * 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
US8698875B2 (en) * 2009-02-20 2014-04-15 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame
JP2011215963A (ja) 2010-03-31 2011-10-27 Sony Corp 電子機器、画像処理方法及びプログラム
US20120114181A1 (en) * 2010-11-01 2012-05-10 Borthwick James R Vehicle pose estimation and load profiling
KR20120070291A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 보행 로봇 및 그의 동시 위치 인식 및 지도 작성 방법
US9357208B2 (en) * 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US9538144B2 (en) * 2012-05-02 2017-01-03 GM Global Technology Operations LLC Full speed lane sensing using multiple cameras
JP5901447B2 (ja) * 2012-06-27 2016-04-13 オリンパス株式会社 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム
US9563951B2 (en) * 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
KR102003776B1 (ko) * 2013-08-13 2019-07-26 한화테크윈 주식회사 감시용 카메라의 자세 검출 방법 및 장치
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
US10061324B2 (en) * 2014-07-30 2018-08-28 Hitachi, Ltd. Autonomous moving device and self position estimation method
JP6433200B2 (ja) * 2014-08-28 2018-12-05 株式会社トプコン 演算装置、演算方法、およびプログラム
US10013761B2 (en) * 2015-03-24 2018-07-03 Intel Corporation Automatic orientation estimation of camera system relative to vehicle
JP6883215B2 (ja) 2015-09-29 2021-06-09 ソニーグループ株式会社 計測装置および方法、並びにプログラム
CN108139202B (zh) 2015-09-30 2021-06-11 索尼公司 图像处理装置、图像处理方法和程序
US10587863B2 (en) 2015-09-30 2020-03-10 Sony Corporation Image processing apparatus, image processing method, and program
JP6872128B2 (ja) * 2015-09-30 2021-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007278871A (ja) * 2006-04-07 2007-10-25 Technical Research & Development Institute Ministry Of Defence 動き量計算装置
JP2010014450A (ja) * 2008-07-01 2010-01-21 Topcon Corp 位置測定方法、位置測定装置、およびプログラム
WO2012176249A1 (ja) * 2011-06-21 2012-12-27 国立大学法人奈良先端科学技術大学院大学 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、及び移動体
JP2014216813A (ja) * 2013-04-25 2014-11-17 日本放送協会 カメラ姿勢推定装置及びそのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3358294A4 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7160036B2 (ja) 2017-08-01 2022-10-25 ソニーグループ株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
JPWO2019026390A1 (ja) * 2017-08-01 2020-06-11 ソニー株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
US11257248B2 (en) 2017-08-01 2022-02-22 Sony Corporation Information processing device, information processing method, recording medium, and image capturing apparatus for self-position-posture estimation
WO2019026390A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
US11842515B2 (en) 2017-08-01 2023-12-12 Sony Group Corporation Information processing device, information processing method, and image capturing apparatus for self-position-posture estimation
JP2020531793A (ja) * 2017-08-31 2020-11-05 クロネス アーゲー 測定ビークルによってエリアを測定するための方法
US12235093B2 (en) 2017-08-31 2025-02-25 Krones Ag Method for designing packaging plants
JP7506091B2 (ja) 2019-05-21 2024-06-25 マイクロソフト テクノロジー ライセンシング，エルエルシー 画像ベースの位置特定
JP2022533309A (ja) * 2019-05-21 2022-07-22 マイクロソフト テクノロジー ライセンシング，エルエルシー 画像ベースの位置特定
US11461928B2 (en) 2019-09-06 2022-10-04 Kabushiki Kaisha Toshiba Location estimation apparatus
JP2022190173A (ja) * 2019-09-06 2022-12-22 株式会社東芝 位置推定装置
JP7573004B2 (ja) 2019-09-06 2024-10-24 株式会社東芝 位置推定装置
JP2021043486A (ja) * 2019-09-06 2021-03-18 株式会社東芝 位置推定装置
WO2022186354A1 (ja) * 2021-03-03 2022-09-09 株式会社Preferred Networks 情報処理装置および自律移動ロボット
JP2022166505A (ja) * 2021-04-21 2022-11-02 株式会社東芝 ３次元マップ推定装置および障害物検出装置
US12112502B2 (en) 2021-04-21 2024-10-08 Kabushiki Kaisha Toshiba Three-dimensional map estimation apparatus and obstacle detection apparatus
JP7577600B2 (ja) 2021-04-21 2024-11-05 株式会社東芝 ３次元マップ推定装置および障害物検出装置
WO2024075525A1 (ja) * 2022-10-05 2024-04-11 ソニーグループ株式会社 情報処理装置およびプログラム

Also Published As

Publication number Publication date
EP3358294A1 (en) 2018-08-08
EP3358294A4 (en) 2019-04-10
US10803600B2 (en) 2020-10-13
JPWO2017057054A1 (ja) 2018-08-02
CN108449945B (zh) 2020-12-08
CN108449945A (zh) 2018-08-24
JP6872128B2 (ja) 2021-05-19
US20180286056A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
JP6872128B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR102658707B1 (ko) 화상 처리 장치 및 방법, 및 화상 처리 시스템
US9398287B2 (en) Context-based depth sensor control
WO2018159168A1 (en) System and method for virtually-augmented visual simultaneous localization and mapping
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
JP7063760B2 (ja) 移動体
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
CN102870137A (zh) 用于基于2d运动估计相对3d速度和加速度投影函数的数据挖掘方法和系统
GB2548970A (en) Method and device for generating an image of an area surrounding a vehicle
EP2998934B1 (en) Image processing device, image processing method, and program
JP2021193538A (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP2007263657A (ja) ３次元座標取得装置
WO2021210213A1 (ja) 移動体検知システム及び情報管理装置
KR102404867B1 (ko) 3차원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법
CN113661513A (zh) 一种图像处理方法、设备、图像处理系统及存储介质
Karrer et al. Real-time dense surface reconstruction for aerial manipulation
US11842515B2 (en) Information processing device, information processing method, and image capturing apparatus for self-position-posture estimation
WO2019188392A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP2020030721A (ja) 移動体
JP2013130911A (ja) 位置特定装置
WO2024009377A1 (ja) 情報処理装置、自己位置推定方法、及び非一時的なコンピュータ可読媒体
US12276986B2 (en) Self-localizing system operative in an unknown environment
JP4027294B2 (ja) 移動体検出装置、移動体検出方法及び移動体検出プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851228

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017543143

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15761893

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016851228

Country of ref document: EP