WO2023140189A1 - 情報処理装置、制御方法、プログラム及び記憶媒体 - Google Patents

情報処理装置、制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2023140189A1
WO2023140189A1 PCT/JP2023/000778 JP2023000778W WO2023140189A1 WO 2023140189 A1 WO2023140189 A1 WO 2023140189A1 JP 2023000778 W JP2023000778 W JP 2023000778W WO 2023140189 A1 WO2023140189 A1 WO 2023140189A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
data
interpolation
interpolation target
directions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/000778
Other languages
English (en)
French (fr)
Inventor
雅美 鈴木
令司 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Pioneer Smart Sensing Innovations Corp
Original Assignee
Pioneer Corp
Pioneer Smart Sensing Innovations Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp, Pioneer Smart Sensing Innovations Corp filed Critical Pioneer Corp
Priority to CN202380013332.0A priority Critical patent/CN118159874A/zh
Priority to JP2023575227A priority patent/JP7592897B2/ja
Priority to US18/693,829 priority patent/US20240385327A1/en
Priority to EP23743183.8A priority patent/EP4468036A4/en
Publication of WO2023140189A1 publication Critical patent/WO2023140189A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045—Correction of measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • This disclosure relates to processing of measured data.
  • Patent Literature 1 discloses a lidar that scans the surrounding space by appropriately controlling the emission direction (scanning direction) of light pulses that are repeatedly emitted, and observes the return light to generate point cloud data representing information such as distance and reflectance, which are information about objects existing in the surroundings.
  • holes occur in the 3D data due to the presence of blind spots in the measurement device and sparsely measured portions due to the measurement angle.
  • the present disclosure has been made to solve the problems described above, and the main purpose thereof is to provide an information processing apparatus capable of suitably generating interpolation data for interpolating three-dimensional data of a measurement object.
  • the claimed invention is Acquisition means for acquiring three-dimensional data of the measurement object generated based on measurement data generated by a plurality of measuring devices for measuring a space in which the measurement object is placed; detection means for detecting missing interpolation target portions in the three-dimensional data; Candidate position determination means for determining candidate positions for interpolating the interpolation target location in each of the plurality of directions based on the inclination angle of the measurement object in each of the plurality of directions at the interpolation target location; interpolation data generation means for generating interpolation data of the three-dimensional data corresponding to the interpolation target location based on the candidate position; It is an information processing device having
  • the computer Acquiring three-dimensional data of the measurement object generated based on measurement data generated by a plurality of measurement devices that measure a space in which the measurement object is placed; detecting missing interpolation target locations in the three-dimensional data; determining a candidate position for interpolating the interpolation target point in each of the plurality of directions based on the inclination angle of the measurement object with respect to each of the plurality of directions at the interpolation target point; generating interpolation data of the three-dimensional data corresponding to the interpolation target location based on the candidate position; control method.
  • the invention described in the claims Acquiring three-dimensional data of the measurement object generated based on measurement data generated by a plurality of measurement devices that measure a space in which the measurement object is placed; detecting missing interpolation target locations in the three-dimensional data; determining a candidate position for interpolating the interpolation target point in each of the plurality of directions based on the inclination angle of the measurement object with respect to each of the plurality of directions at the interpolation target point;
  • the program causes a computer to execute a process of generating interpolation data of the three-dimensional data corresponding to the interpolation target location based on the candidate positions.
  • FIG. 1 is a schematic configuration of a three-dimensional data generation system according to an embodiment; An example of a lidar installation in a space where an object to be measured exists is shown.
  • 1 is a block configuration diagram showing an example of a hardware configuration of an information processing device; FIG. It is a figure showing the three-dimensional data of the deposit based on the point cloud data which a lidar outputs.
  • FIG. 4 is a diagram showing an interpolation target grid and its adjacent grids;
  • FIG. 4 is a diagram showing measured heights and candidate heights in a cross section along a certain direction; It is an example of the flowchart in a present Example.
  • the analysis regions set in the second calculation example and the third calculation example of the tilt angle are shown in the diagrams of the measured points of the measurement target observed from directly above.
  • a "vertically elongated analysis area" with respect to the analysis area 1 in FIG. 9 along the scanning direction 1 shows grid points in the analysis area 1 used for principal component analysis (or linear approximation or polynomial approximation) in the cross-sectional view of the object to be measured in FIG.
  • the information processing apparatus includes acquisition means for acquiring three-dimensional data of the measurement object generated based on measurement data generated by a plurality of measurement devices that measure a space in which the measurement object is placed; detection means for detecting an interpolation target point missing in the three-dimensional data; candidate position determination means for determining a candidate position for interpolating the interpolation target point in each of the plurality of directions based on the inclination angle of the measurement object with respect to each of the plurality of directions at the interpolation target point; and interpolation data generation means for generating interpolation data of the three-dimensional data corresponding to the interpolation target portion.
  • the information processing device can suitably generate interpolation data of the three-dimensional data of the measurement object measured by the plurality of measurement devices.
  • the candidate position determining means estimates the tilt angle with respect to an arbitrary direction of the plurality of directions based on the measured position of the measurement object based on the measurement data at a position along the arbitrary direction. According to this aspect, the information processing device can accurately estimate the tilt angle with respect to each direction.
  • the candidate position determining means may calculate the tilt angle based on principal component analysis, linear approximation, or polynomial approximation.
  • the candidate position determination means determines the inclination angle based on the gradient of the slope of the measurement object stored in the storage means. This aspect also allows the information processing device to accurately determine the tilt angle for each direction.
  • the interpolation data generating means generates the interpolation data based on the highest candidate position among the candidate positions for each of the interpolation target locations. According to this aspect, the information processing apparatus can generate highly accurate interpolation data even if the interpolation target portion is a valley or the like of the measurement object.
  • the information processing apparatus further includes dividing means for dividing the horizontal plane of the space represented by the three-dimensional data into grids, and the detecting means detects grids in which the measured positions indicated by the measurement data do not exist as the interpolation target points.
  • the information processing apparatus can accurately detect the interpolation target portion.
  • the plurality of directions may be determined based on the directions on the water surface and the directions in which the grids are arranged vertically, horizontally, or diagonally.
  • the object to be measured is a deposit formed with a plurality of mountains.
  • a deposit on which a plurality of peaks are formed is used as a measurement object, blind spots of the measuring device occur in valleys between the peaks.
  • the information processing device can suitably generate interpolation data that accurately represents the blind spot.
  • the object to be measured is a deposit of powdery matter.
  • a control method executed by a computer in which three-dimensional data of the measurement object generated based on measurement data generated by a plurality of measuring devices for measuring a space in which the measurement object is placed is detected, an interpolation target point lacking in the three-dimensional data is detected, a candidate position for interpolation of the interpolation target point in each of the plurality of directions is determined based on the inclination angle of the measurement target with respect to each of the plurality of directions at the interpolation target point, and a candidate position for interpolation of the interpolation target point in each of the plurality of directions is determined based on the candidate position.
  • the computer can suitably generate interpolated data of the three-dimensional data of the measurement object measured by the plurality of measurement devices.
  • three-dimensional data of the object to be measured is obtained based on measurement data generated by a plurality of measuring devices that measure a space in which the object is placed, an interpolation target point lacking in the three-dimensional data is detected, candidate positions for interpolating the interpolation target point in each of the plurality of directions are determined based on the inclination angles of the measurement object with respect to each of the plurality of directions at the interpolation target point, and the three-dimensional data corresponding to the interpolation target point is interpolated based on the candidate positions.
  • It is a program that causes a computer to execute processing to generate data. By executing this program, the computer can suitably generate interpolated data of the three-dimensional data of the measurement object measured by the plurality of measurement devices.
  • the program is stored in a storage medium.
  • FIG. 1 is a schematic configuration of a three-dimensional data generation system 100 according to an embodiment.
  • the three-dimensional data generation system 100 is a system that generates three-dimensional data of a measurement object, and includes an information processing device 1 that processes data generated by a sensor group 2, and a sensor group 2 that includes at least a lidar (Light Detection and Ranging, or Laser Illuminated Detection And Ranging) 3.
  • FIG. 2 shows an example of installation of the lidar 3 in a space where the object to be measured exists.
  • the deposit 4 stored in the warehouse is the object to be measured.
  • the deposit 4 is a deposit of granular material such as gypsum, and is formed of a plurality of mountains 4A to 4D that are connected.
  • a plurality of riders 3 are installed in the warehouse so that the entire deposit 4 can be measured.
  • the information processing device 1 is electrically connected to the sensor group 2 and processes data output by various sensors included in the sensor group 2 .
  • the information processing apparatus 1 generates point cloud data (also referred to as "integrated point cloud data") obtained by integrating (combining) the point cloud data output by a plurality of installed riders 3 as three-dimensional data representing the three-dimensional shape of the object to be measured.
  • the accumulated point cloud data is, for example, data representing the measured position of the object to be measured by points in a three-dimensional coordinate system (also referred to as a "reference coordinate system”) with a predetermined position in the space of the warehouse as the origin.
  • the information processing device 1 converts the point cloud data output by each rider 3 based on the installation position and orientation of each rider 3 measured in advance into a reference coordinate system, and adds the data after conversion to the reference coordinate system.
  • the axes parallel to the horizontal plane are the X-axis and the Y-axis, respectively, and the height direction perpendicular to the horizontal plane is the Z-axis.
  • the information processing device 1 may integrate (combine) the point cloud data of the rider 3 based on any method other than the above example.
  • the lidar 3 discretely measures the distance to an object in the outside world by emitting a pulse laser, which is an infrared laser, while changing the angle within a predetermined angle range (view range) in the horizontal and vertical directions.
  • the lidar 3 has an irradiation unit that irradiates laser light while changing the irradiation direction (that is, the scanning direction), a light receiving unit that receives reflected light (scattered light) of the irradiated laser light, and an output unit that outputs data based on the light reception signal output by the light receiving unit.
  • the data measured by the lidar 3 for each irradiation direction in which the pulse laser is irradiated is generated based on the irradiation direction corresponding to the laser light received by the light receiving unit and the response delay time (so-called Time of Flight) of the laser light specified based on the light reception signal described above. Then, the lidar 3 generates a group of data corresponding to the points irradiated with the pulse laser in the visual field range of the lidar 3 (that is, the irradiation range of the pulse laser) as one frame of point cloud data for each scanning cycle.
  • the rider 3 is an example of a "measuring device" in the present invention.
  • the lidar 3 is not limited to the above-described scan type lidar, and may be a flash type lidar that generates three-dimensional data by diffusing laser light into the field of view of a two-dimensional array sensor.
  • the point (and its measurement data) measured by being irradiated with the pulsed laser emitted from the irradiating section will also be referred to as a "point to be measured”.
  • the necessary number of lidars 3 are installed so that the entire deposit 4 is included within the total visual field range of the lidars 3 combined.
  • Each rider 3 is provided at a position that overlooks the deposit 4 .
  • the sensor group 2 may include various external sensors and/or internal sensors.
  • the sensor group 2 may include a GNSS (Global Navigation Satellite System) receiver or the like required for generating position information.
  • GNSS Global Navigation Satellite System
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the information processing apparatus 1. As shown in FIG. The information processing device 1 mainly has an interface 11 , a memory 12 and a controller 13 . These elements are interconnected via bus lines.
  • the interface 11 performs interface operations related to data transfer between the information processing device 1 and an external device.
  • the interface 11 acquires output data from the sensor group 2 such as the rider 3 and supplies it to the controller 13 .
  • the interface 11 may be a wireless interface such as a network adapter for wireless communication, or a hardware interface for connecting with an external device via a cable or the like.
  • the interface 11 may perform interface operations with various peripheral devices such as an input device, a display device, and a sound output device.
  • the memory 12 is composed of various volatile and nonvolatile memories such as RAM (Random Access Memory), ROM (Read Only Memory), hard disk drive, and flash memory.
  • the memory 12 stores a program for the controller 13 to execute predetermined processing. Note that the program executed by the controller 13 may be stored in a storage medium other than the memory 12 .
  • the memory 12 stores integrated point cloud data and interpolation data, which are three-dimensional data of the deposit 4 generated by the controller 13 .
  • the controller 13 includes one or more processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a TPU (Tensor Processing Unit), and controls the information processing apparatus 1 as a whole. In this case, the controller 13 executes various processes described later by executing programs stored in the memory 12 or the like. In this embodiment, the controller 13 generates integrated point cloud data as three-dimensional data of the deposit 4 based on the point cloud data output by the rider 3 . Further, the controller 13 detects a location where data is lacking in the generated integrated point cloud data (also referred to as an “interpolation target location”) as an interpolation target, and generates interpolation data representing the estimated position of the deposit 4 at the detected interpolation target location.
  • a location where data is lacking in the generated integrated point cloud data also referred to as an “interpolation target location”
  • the controller 13 functions as "acquisition means”, “detection means”, “candidate position determination means”, “interpolation data generation means”, and a computer that executes programs.
  • the processing executed by the controller 13 is not limited to being realized by program-based software, and may be realized by any combination of hardware, firmware, and software. Also, the processing executed by the controller 13 may be implemented using a user-programmable integrated circuit such as an FPGA (Field-Programmable Gate Array) or a microcomputer. In this case, this integrated circuit may be used to realize the program executed by the controller 13 in this embodiment.
  • a user-programmable integrated circuit such as an FPGA (Field-Programmable Gate Array) or a microcomputer. In this case, this integrated circuit may be used to realize the program executed by the controller 13 in this embodiment.
  • FIGS. 4A and 4B are diagrams showing integrated point cloud data of deposits 4 based on the point cloud data output by the rider 3.
  • FIG. 4(A) the valley formed between the peaks becomes a blind spot for the rider 3, resulting in a missing portion of the data.
  • FIG. 4B there is a portion where the data is lost due to the large gap between the vertically adjacent scanning lines of the lidar 3 . As described above, the gap between adjacent scanning lines is not a blind spot, but it becomes an unmeasurable area.
  • the information processing apparatus 1 detects such a portion as an interpolation target portion, and generates interpolation data corresponding to the interpolation target portion.
  • the information processing apparatus 1 calculates the height based on the integrated point cloud data for each grid. Then, the information processing apparatus 1 detects grids in which the points to be measured of the integrated point cloud data do not exist as interpolation target points, and estimates the corresponding height for each interpolation target point based on the tilt angles of the deposits 4 that are respectively estimated in a plurality of directions.
  • a grid that is an interpolation target location will be referred to as an "interpolation target grid”.
  • the height of the deposit 4 based on the integrated point cloud data for each grid is called “measured height”
  • the height of the deposit 4 estimated in the interpolation target grid is called “estimated height”.
  • the information processing device 1 divides the XY plane (that is, the horizontal plane) of the space in which the deposit 4, which is the object to be measured, exists into grids of a predetermined length by inserting meshes at predetermined intervals along the X and Y axes.
  • the grid size in this case is, for example, 20 cm or 10 cm, and is determined according to the required resolution of the three-dimensional data of the deposit 4 .
  • the information processing device 1 divides the cumulative point cloud data into grids, and calculates the measured height based on the cumulative point cloud data for each grid.
  • the information processing apparatus 1 calculates the measured height by averaging the heights of the measured points in the grid.
  • the information processing apparatus 1 detects grids that have no measured points (that is, grids for which the measured height cannot be calculated) as interpolation target grids. Then, the information processing device 1 calculates the estimated height of the interpolation target grid based on the tilt angles of the deposit 4 estimated in a plurality of directions and the height of the deposit 4 estimated from the tilt angles.
  • the height of the deposit 4 estimated for each direction from the tilt angle is a candidate height for the estimated height, and hereinafter also referred to as a "candidate height".
  • FIG. 5 is a diagram showing a grid to be interpolated and adjacent grids Ga to Gh adjacent thereto.
  • the information processing apparatus 1 obtains the inclination angles of the deposit 4 on the grid to be interpolated for two vertical directions indicated by arrows A1 and A2, two horizontal directions indicated by arrows A3 and A4, and four oblique directions indicated by arrows A5 to A8. A method of calculating the tilt angle will be described later. Then, the information processing device 1 calculates the candidate height for each direction based on the tilt angle, and determines the estimated height from the candidate height for each direction.
  • the information processing apparatus 1 utilizes the premise that the deposit 4 forms a mountain with a substantially constant inclination angle, and based on the measured height and XY coordinate position of another grid existing at a position along an arbitrary direction, calculates the above-mentioned inclination angle and candidate height in that arbitrary direction.
  • the information processing apparatus 1 when the information processing apparatus 1 obtains a candidate height in the direction along the arrow A1, it acquires the measured heights of a predetermined number of nearby grids (that is, the grid including the grid Gg) existing in the direction along the arrow A1 and the XY coordinate positions of the grids. Then, the information processing device 1 estimates the inclination angle and the candidate height in the direction of the arrow A1 by a geometrical calculation method based on the obtained measured height and the XY coordinate position of the grid (for example, the center position of the grid).
  • the information processing device 1 calculates candidate heights corresponding to the directions of the arrows A1 to A8, and determines the candidate height indicating the highest position among the calculated candidate heights as the estimated height in the interpolation target grid. According to this method, the information processing apparatus 1 can also estimate the height of the interpolation object grid in the vicinity of the peaks and valleys of the sediment 4 with high accuracy.
  • FIG. 6 is a diagram showing measured heights and candidate heights in cross sections along two parallel directions among arrows A1 to A8.
  • FIG. 6 shows grids 1-8 near the valleys of the peaks of deposit 4.
  • Line 70 indicates the tilt angle of deposit 4 estimated based on the measured heights and XY coordinate positions of grids 1 to 3
  • line 71 indicates the tilt angle of deposit 4 estimated based on the measured heights and XY coordinate positions of grids 6 to 8.
  • first direction the direction in which grids 1 to 3 exist with respect to the grid to be interpolated
  • second direction the direction in which grids 6 to 8 exist with respect to the grid to be interpolated
  • the information processing device 1 calculates the tilt angle (see line 70) of the deposit 4 estimated based on the measured heights and the XY coordinate positions of the grids 1 to 3 in the first direction in which the grids 1 to 3 exist, and calculates the candidate height 81 of the grid 4 and the candidate height 82 of the grid 5 in the first direction based on the tilt angle.
  • the information processing apparatus 1 calculates the tilt angle (see line 71) of the deposit 4 estimated based on the measured heights and the XY coordinate positions of the grids 6 to 8 in the second direction in which the grids 6 to 8 are present, and calculates the candidate height 83 of the grid 5 and the candidate height 84 of the grid 4 in the second direction based on the tilt angle.
  • the information processing device 1 calculates candidate heights of the grids 4 and 5 for all directions including the first direction and the second direction.
  • the information processing device 1 determines the candidate height that is the highest position in grid 4 (candidate height 81 in FIG. 6) and the candidate height that is the highest position in grid 5 (candidate height 83 in FIG. 6) as estimated heights in each grid. Then, the information processing apparatus 1 generates interpolation data indicating the estimated height of the grid to be interpolated, and stores it in the memory 12 in association with the integrated point cloud data.
  • the information processing apparatus 1 calculates the candidate heights of the interpolation target grid in multiple directions based on the measured heights of the other grids, and determines the highest candidate height among them as the estimated height of the interpolation target grid.
  • the estimated height of the grid to be interpolated that exists in the vicinity of the valley of the deposit 4 can also be calculated with high accuracy.
  • FIG. 7 is an example of a flowchart executed by the information processing device 1 in this embodiment.
  • the information processing device 1 acquires point cloud data from each of the multiple riders 3 (step S11). Then, the information processing device 1 generates integrated point cloud data by integrating the point cloud data obtained from the plurality of riders 3 (step S12). In this case, the information processing device 1 converts the point cloud data of each rider 3 into the reference coordinate system, and acquires data obtained by integrating the converted point cloud data as integrated point cloud data.
  • the information processing device 1 divides the space of the reference coordinate system into grids of a predetermined size on the horizontal plane, calculates the measured height based on the integrated point cloud data for each grid, and detects grids for which the measured height cannot be calculated as interpolation target grids (step S13).
  • the information processing device 1 calculates candidate heights for each direction for each interpolation target grid (step S14). In this case, the information processing apparatus 1 sets candidate heights for each of the eight directions shown in FIG. 5 for each interpolation target grid.
  • the information processing device 1 determines the highest candidate height as the estimated height for each grid to be interpolated (step S15). Then, the information processing device 1 generates interpolation data indicating the estimated height of each interpolation target grid (step S16).
  • the first calculation example is a method based on pre-measurement, in which the gradient of the slope of the mountain mass formed when the object to be measured is naturally stacked (such as when the object is dropped from above using a device or the like) is measured in advance, and the value is stored in the memory 12 of the information processing device 1 in advance.
  • measurements are performed in advance for each type of object to be measured, and the measurement results of the tilt angles are stored in a table or the like in the memory 12 .
  • the information processing device 1 can preferably calculate the tilt angle by referring to the memory 12 .
  • the second calculation example is a method using principal component analysis, in which the information processing apparatus 1 sequentially sets interpolation target locations as grids of interest, sets an analysis region (region having width and thickness in the scanning direction) that is elongated in the vertical direction with respect to the grid of interest in the direction in which the grid is scanned, and performs principal component analysis on a set of grid points included in the region. Then, the information processing apparatus 1 calculates the gradient when the eigenvalue of the second principal component and the third principal component is small (the grid point distribution can be determined to be linear) as the tilt angle of the scanning direction in the grid of interest. In this case, if the grid point distribution is not determined to be linear, it is excluded from the interpolation calculation. In addition, when it becomes an upward slope with respect to the grid of interest, it may be excluded from the object of the interpolation calculation.
  • the third calculation example is a method using linear approximation or polynomial approximation, and the information processing device 1 sets an elongated analysis area (area having width and thickness in the scanning direction) in the vertical direction in the direction of scanning for the presence of the grid of interest set in the same manner as in the second calculation method, and performs linear approximation or polynomial approximation on a set of grid points included in the area.
  • the inclination of the straight line, and in the case of polynomial approximation the inclination of the tangent line at the end point of the approximate curve is calculated as the inclination angle of the scanning direction in the grid of interest.
  • FIG. 8 shows the analysis regions set in the second calculation example and the third calculation example in a diagram obtained by observing the measured point of the measurement object from directly above.
  • FIG. 9 shows a “vertically elongated analysis region” with respect to the analysis region 1 of FIG. 8 on a perspective view of the measurement point of the measurement object.
  • FIG. 10 represents grid points within the analysis region 1 used for principal component analysis (or linear approximation or polynomial approximation) in the cross-sectional view of the measurement object of FIG. 9 along the scanning direction 1 .
  • the information processing apparatus 1 obtains a covariance matrix of a set of grid points distributed in space by principal component analysis, performs eigenvalue analysis of the matrix, and obtains three eigenvectors (mutually orthogonal vectors) and three eigenvalues corresponding to each vector.
  • the magnitude of the eigenvalue represents the distribution of points in the direction of the corresponding eigenvector.
  • the information processing device 1 calculates the angle formed by the direction of the eigenvector corresponding to the first component and the XY plane as the tilt angle.
  • the information processing apparatus 1 approximates a set of grid points distributed in space with a linear equation (that is, a linear equation) or a polynomial equation using the least squares method based on linear approximation or polynomial approximation. Then, in the case of linear approximation, the information processing apparatus 1 calculates the angle formed by the direction vector of the straight line and the XY plane as the tilt angle, and in the case of polynomial approximation, calculates the angle formed by the direction vector of the tangential line at the end point of the approximation curve and the XY plane as the tilt angle.
  • the directions in which candidate heights are calculated for the grids to be interpolated are not limited to the eight directions indicated by arrows A1 to A8 in FIG.
  • the information processing apparatus 1 may calculate candidate heights in the four vertical and horizontal directions indicated by arrows A1 to A4 in the figure, or may calculate candidate heights in the four directions indicated by arrows A5 to A8. In this way, the information processing apparatus 1 calculates candidate heights in a plurality of directions on the horizontal plane, and sets the highest candidate height as the estimated height. As a result, it is possible to calculate a highly accurate estimated height even for the grids to be interpolated near the valley of the deposit 4 .
  • the controller 13 of the information processing device 1 acquires integrated point cloud data, which is three-dimensional data of the object to be measured, generated based on point cloud data generated by a plurality of riders 3 measuring the space in which the object to be measured is placed. Then, the controller 13 detects interpolation target grids missing in the accumulated point cloud data. Then, the controller 13 determines candidate heights for interpolating the interpolation target grid for each of the plurality of directions based on the inclination angles of the measurement object for each of the plurality of directions at the interpolation target location. Then, the controller 13 generates interpolation data corresponding to the interpolation target grid based on the candidate height. As a result, the information processing apparatus 1 can suitably generate interpolation data for interpolating a hole in the three-dimensional data of the measurement target formed by the blind spot of the rider 3 or the like.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic storage media (e.g., flexible discs, magnetic tapes, hard disk drives), magneto-optical storage media (e.g., magneto-optical discs), CD-ROM (Read Only Memory), CD-R, CD-R/W, semiconductor memory (e.g., mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

情報処理装置１のコントローラ１３は、計測対象物が置かれた空間を計測する複数のライダ３が生成する点群データに基づき生成された計測対象物の３次元データである積算点群データを取得する。そして、コントローラ１３は、積算点群データにおいて欠けている補間対象グリッドを検出する。そして、コントローラ１３は、補間対象箇所での複数の方向の各々に対する計測対象物の傾斜角度に基づき、複数の方向の各々に対する補間対象グリッドを補間する候補高を決定する。そして、コントローラ１３は、候補高に基づき、補間対象グリッドに対応する補間データを生成する。

Description

情報処理装置、制御方法、プログラム及び記憶媒体
　本開示は、計測したデータの処理に関する。
　従来から、被検出空間にレーザ光のパルスを照射し、その反射光のレベルに基づいて、被検出空間内の対象物を検出するレーザレーダ装置が知られている。例えば、特許文献１には、繰り返し出射される光パルスの出射方向（走査方向）を適切に制御することにより周辺空間を走査し、その戻り光を観測することにより、周辺に存在する物体に関する情報である距離、反射率などの情報を表す点群データを生成するライダが開示されている。
特開２０１８－００９８３１号公報
　ライダなどの計測装置を複数用いて計測対象物の３次元データを生成する場合、計測装置において死角となる部分や計測角度に起因して疎に計測される部分の存在により３次元データに穴（欠けた部分）が発生してしまう。
　本開示は、上記のような課題を解決するためになされたものであり、計測対象物の３次元データを補間する補間データを好適に生成することが可能な情報処理装置を提供することを主な目的とする。
　請求項に記載の発明は、
　計測対象物が置かれた空間を計測する複数の計測装置が生成する計測データに基づき生成された前記計測対象物の３次元データを取得する取得手段と、
　前記３次元データにおいて欠けている補間対象箇所を検出する検出手段と、
　前記補間対象箇所での複数の方向の各々に対する前記計測対象物の傾斜角度に基づき、前記複数の方向の各々に対する前記補間対象箇所を補間する候補位置を決定する候補位置決定手段と、
　前記候補位置に基づき、前記補間対象箇所に対応する前記３次元データの補間データを生成する補間データ生成手段と、
を有する情報処理装置である。
　また、請求項に記載の発明は、
　コンピュータが、
　計測対象物が置かれた空間を計測する複数の計測装置が生成する計測データに基づき生成された前記計測対象物の３次元データを取得し、
　前記３次元データにおいて欠けている補間対象箇所を検出し、
　前記補間対象箇所での複数の方向の各々に対する前記計測対象物の傾斜角度に基づき、前記複数の方向の各々に対する前記補間対象箇所を補間する候補位置を決定し、
　前記候補位置に基づき、前記補間対象箇所に対応する前記３次元データの補間データを生成する、
制御方法である。
　また、請求項に記載の発明は、
　計測対象物が置かれた空間を計測する複数の計測装置が生成する計測データに基づき生成された前記計測対象物の３次元データを取得し、
　前記３次元データにおいて欠けている補間対象箇所を検出し、
　前記補間対象箇所での複数の方向の各々に対する前記計測対象物の傾斜角度に基づき、前記複数の方向の各々に対する前記補間対象箇所を補間する候補位置を決定し、
　前記候補位置に基づき、前記補間対象箇所に対応する前記３次元データの補間データを生成する処理をコンピュータに実行させるプログラムである。
実施例に係る３次元データ生成システムの概略構成である。 計測対象物が存在する空間でのライダの設置例を示す。 情報処理装置のハードウェア構成の一例を示すブロック構成図である。 ライダが出力する点群データに基づく堆積物の３次元データを表した図である。 補間対象グリッド及びその隣接グリッドを示す図である。 ある方向に沿った断面における計測高及び候補高を示す図である。 本実施例におけるフローチャートの一例である。 傾斜角度の第２算出例及び第３算出例において設定する解析領域を、計測対象物の被計測点を真上から観察した図において表している。 図８の解析領域１に対する「垂直方向に細長な解析領域」を計測対象物の被計測点の斜視図上において表している。 スキャン方向１に沿った図９の計測対象物の断面図において主成分分析（又は直線近似又は多項式近似）に用いられる解析領域１内のグリッド点を表している。
　本発明の好適な実施形態によれば、情報処理装置は、計測対象物が置かれた空間を計測する複数の計測装置が生成する計測データに基づき生成された前記計測対象物の３次元データを取得する取得手段と、前記３次元データにおいて欠けている補間対象箇所を検出する検出手段と、前記補間対象箇所での複数の方向の各々に対する前記計測対象物の傾斜角度に基づき、前記複数の方向の各々に対する前記補間対象箇所を補間する候補位置を決定する候補位置決定手段と、前記候補位置に基づき、前記補間対象箇所に対応する前記３次元データの補間データを生成する補間データ生成手段と、を有する。この態様によれば、情報処理装置は、複数の計測装置により計測した計測対象物の３次元データの補間データを好適に生成することができる。
　上記情報処理装置の一態様では、前記候補位置決定手段は、前記複数の方向の任意の方向に対する前記傾斜角度を、当該任意の方向に沿った位置における前記計測データに基づく前記計測対象物の被計測位置に基づき推定する。この態様により、情報処理装置は、各方向に対する傾斜角度を的確に推定することができる。好適な例では、前記候補位置決定手段は、主成分分析、直線近似、又は多項式近似のいずれかに基づき、前記傾斜角度を算出するとよい。
　上記情報処理装置の他の一態様では、前記候補位置決定手段は、前記傾斜角度を、記憶手段に記憶された前記計測対象物の斜面の勾配に基づき決定する。この態様によっても、情報処理装置は、各方向に対する傾斜角度を的確に決定することができる。
　上記情報処理装置の他の一態様では、前記補間データ生成手段は、前記補間対象箇所ごとの前記候補位置のうち、最も高い位置となる候補位置に基づき前記補間データを生成する。この態様により、情報処理装置は、補間対象箇所が計測対象物の谷間等であっても、高精度な補間データを生成することができる。
　上記情報処理装置の他の一態様では、前記３次元データが表す空間の水平面をグリッドに分割する分割手段をさらに有し、前記検出手段は、前記計測データが示す被計測位置が存在しないグリッドを、前記補間対象箇所として検出する。この態様により、情報処理装置は、補間対象箇所を的確に検出することができる。好適な例では、前記複数の方向は、前記水面上の方向であって、前記グリッドが縦、横又は斜めにおいて並ぶ方向に基づき決定されるとよい。
　上記情報処理装置の他の一態様では、前記計測対象物は、複数の山が形成された堆積物である。複数の山が形成された堆積物を計測対象物とする場合、山の間の谷部分において計測装置の死角が発生する。この場合においても、情報処理装置は、死角部分を的確に表した補間データを好適に生成することができる。好適には、計測対象物は、粉状物の堆積物であるとよい。
　本発明の他の好適な実施形態によれば、コンピュータが実行する制御方法であって、計測対象物が置かれた空間を計測する複数の計測装置が生成する計測データに基づき生成された前記計測対象物の３次元データを取得し、前記３次元データにおいて欠けている補間対象箇所を検出し、前記補間対象箇所での複数の方向の各々に対する前記計測対象物の傾斜角度に基づき、前記複数の方向の各々に対する前記補間対象箇所を補間する候補位置を決定し、前記候補位置に基づき、前記補間対象箇所に対応する前記３次元データの補間データを生成する制御方法である。コンピュータは、この制御方法を実行することで、複数の計測装置により計測した計測対象物の３次元データの補間データを好適に生成することができる。
　本発明の他の好適な実施形態によれば、計測対象物が置かれた空間を計測する複数の計測装置が生成する計測データに基づき生成された前記計測対象物の３次元データを取得し、前記３次元データにおいて欠けている補間対象箇所を検出し、前記補間対象箇所での複数の方向の各々に対する前記計測対象物の傾斜角度に基づき、前記複数の方向の各々に対する前記補間対象箇所を補間する候補位置を決定し、前記候補位置に基づき、前記補間対象箇所に対応する前記３次元データの補間データを生成する処理をコンピュータに実行させるプログラムである。コンピュータは、このプログラムを実行することで、複数の計測装置により計測した計測対象物の３次元データの補間データを好適に生成することができる。好適には、上記プログラムは、記憶媒体に記憶される。
　以下、図面を参照して本発明の好適な実施例について説明する。
　（１）３次元データ生成システムの概要
　図１は、実施例に係る３次元データ生成システム１００の概略構成である。３次元データ生成システム１００は、計測対象物の３次元データを生成するシステムであって、センサ群２が生成するデータに関する処理を行う情報処理装置１と、ライダ（Ｌｉｄａｒ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、または、Ｌａｓｅｒ　Ｉｌｌｕｍｉｎａｔｅｄ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）３を少なくとも含むセンサ群２と、を有する。図２は、計測対象物が存在する空間でのライダ３の設置例を示す。本実施例では、倉庫内に保管された堆積物４が計測対象物となっている。堆積物４は、石膏などの粒状物質が堆積されたものであり、複数の山４Ａ～４Ｄが連なって形成されている。ライダ３は、堆積物４の全体を計測できるように、倉庫内において複数設置されている。
　情報処理装置１は、センサ群２と電気的に接続し、センサ群２に含まれる各種センサが出力するデータの処理を行う。本実施例では、情報処理装置１は、設置された複数のライダ３が出力する点群データを積算（合成）した点群データ（「積算点群データ」とも呼ぶ。）を、計測対象物の３次元形状を表す３次元データとして生成する。積算点群データは、例えば、倉庫内の空間の所定位置を原点とした３次元座標系（「基準座標系」とも呼ぶ。）において計測対象物の被計測位置を点により表したデータである。情報処理装置１は、複数のライダ３を積算する場合、例えば、予め計測した各ライダ３の設置位置及び姿勢に基づき各ライダ３が出力する点群データを基準座標系に変換し、基準座標系に変換後のデータを足し合わせる。以後では、基準座標系は、水平面と平行な軸を夫々Ｘ軸及びＹ軸とし、水平面と垂直な高さ方向をＺ軸とする。なお、情報処理装置１は、上述した例に限らず任意の手法に基づきライダ３の点群データの積算（合成）を行ってもよい。
　ライダ３は、水平方向および垂直方向の所定の角度範囲（視野範囲）に対して角度を変えながら赤外線レーザであるパルスレーザを出射することで、外界に存在する物体までの距離を離散的に計測する。この場合、ライダ３は、照射方向（即ち走査方向）を変えながらレーザ光を照射する照射部と、照射したレーザ光の反射光（散乱光）を受光する受光部と、受光部が出力する受光信号に基づくデータを出力する出力部とを有する。パルスレーザが照射される照射方向ごとにライダ３が計測するデータは、受光部が受光したレーザ光に対応する照射方向と、上述の受光信号に基づき特定される当該レーザ光の応答遅延時間（所謂、Time of Flight）とに基づき生成される。そして、ライダ３は、走査周期ごとに、ライダ３の視野範囲（即ちパルスレーザの照射範囲）においてパルスレーザが照射された点に対応するデータの群を、１フレーム分の点群データとして生成する。ライダ３は、本発明における「計測装置」の一例である。なお、ライダ３は、上述したスキャン型のライダに限らず、２次元アレイ状のセンサの視野にレーザ光を拡散照射することによって３次元データを生成するフラッシュ型のライダであってもよい。以後では、照射部から出射されたパルスレーザが照射されることにより計測された点（及びその計測データ）を、「被計測点」とも呼ぶ。
　本実施例では、各ライダ３の視野範囲を合わせた全体の視野範囲内に堆積物４の全体が含まれるように、必要な台数のライダ３が設置されている。各ライダ３は、堆積物４を俯瞰する位置に夫々設けられている。
　なお、センサ群２には、ライダ３に加え、種々の外界センサ又は／及び内界センサが含まれてもよい。例えば、センサ群２は、位置情報の生成に必要なＧＮＳＳ（Global Navigation Satellite System）受信機等を含んでもよい。
　（２）情報処理装置の構成
　図３は、情報処理装置１のハードウェア構成の一例を示すブロック図である。情報処理装置１は、主に、インターフェース１１と、メモリ１２と、コントローラ１３と、を有する。これらの各要素は、バスラインを介して相互に接続されている。
　インターフェース１１は、情報処理装置１と外部装置とのデータの授受に関するインターフェース動作を行う。本実施例では、インターフェース１１は、ライダ３などのセンサ群２から出力データを取得し、コントローラ１３へ供給する。インターフェース１１は、無線通信を行うためのネットワークアダプタなどのワイヤレスインターフェースであってもよく、ケーブル等により外部装置と接続するためのハードウェアインターフェースであってもよい。また、インターフェース１１は、入力装置、表示装置、音出力装置等の種々の周辺装置とのインターフェース動作を行ってもよい。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスクドライブ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。メモリ１２は、コントローラ１３が所定の処理を実行するためのプログラムが記憶される。なお、コントローラ１３が実行するプログラムは、メモリ１２以外の記憶媒体に記憶されてもよい。また、メモリ１２には、コントローラ１３が生成した堆積物４の３次元データである積算点群データ及び補間データが記憶される。
　コントローラ１３は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの１又は複数のプロセッサを含み、情報処理装置１の全体を制御する。この場合、コントローラ１３は、メモリ１２等に記憶されたプログラムを実行することで、後述する種々の処理を実行する。本実施例では、コントローラ１３は、ライダ３が出力する点群データに基づき、堆積物４の３次元データとなる積算点群データを生成する。さらに、コントローラ１３は、生成した積算点群データにおいてデータが欠けた箇所（「補間対象箇所」とも呼ぶ。）を補間対象として検出し、検出した補間対象箇所での推定される堆積物４の位置を表す補間データを生成する。
　そして、コントローラ１３は、「取得手段」、「検出手段」、「候補位置決定手段」、「補間データ生成手段」及びプログラムを実行するコンピュータ等として機能する。
　なお、コントローラ１３が実行する処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、コントローラ１３が実行する処理は、例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、コントローラ１３が本実施例において実行するプログラムを実現してもよい。
　（３）補間データの生成
　まず、補正対象箇所について図４（Ａ）及び図４（Ｂ）を参照して説明する。図４（Ａ）及び図４（Ｂ）は、ライダ３が出力する点群データに基づく堆積物４の積算点群データを表した図である。ここで、図４（Ａ）では、山の間に形成された谷部分がライダ３の死角となることによってデータが欠損した部分が生じている。また、図４（Ｂ）では、ライダ３の縦の隣接する走査ライン間の隙間が大きくなることに起因してデータが欠損した部分が生じている。このように、隣接する走査ラインの隙間は本来は死角ではないのにも関わらず、計測できない領域となる。
　以上のように、ライダ３を固定設置した場合、各ライダ３が出力する点群データを積算した積算点群データには欠けた部分（穴）が生じる。従って、情報処理装置１は、このような部分を補間対象箇所として検出し、当該補間対象箇所に対応する補間データを生成する。
　次に、具体的な補間データの生成方法について説明する。情報処理装置１は、ＸＹ平面を所定サイズのグリッドに分割後、グリッドごとに積算点群データに基づく高さを算出する。そして、情報処理装置１は、積算点群データの被計測点が存在しないグリッドを補間対象箇所として検出し、各補間対象箇所について、複数の方向において夫々推定される堆積物４の傾斜角度に基づき、該当する高さを推定する。以後では、補間対象箇所となるグリッドを「補間対象グリッド」と呼ぶ。また、グリッドごとの積算点群データに基づく堆積物４の高さを「計測高」と呼び、補間対象グリッドにおいて推定される堆積物４の高さを「推定高」と呼ぶ。
　まず、情報処理装置１は、計測対象物である堆積物４が存在する空間のＸＹ平面（即ち水平面）に対し、Ｘ軸及びＹ軸について所定間隔ごとにメッシュを入れることにより所定長のグリッドに分割する。この場合のグリッドのサイズは、例えば、２０ｃｍ又は１０ｃｍであり、必要とされる堆積物４の３次元データの分解能に応じて決定される。
　次に、情報処理装置１は、積算点群データをグリッドごとに分割し、グリッドごとに積算点群データに基づく計測高を算出する。ここで、情報処理装置１は、複数の被計測点が存在するグリッドでは、当該グリッド内の各被計測点の高さを平均した高さを計測高として算出する。
　次に、情報処理装置１は、被計測点が１個もないグリッド（即ち計測高が算出できないグリッド）を、補間対象グリッドとして検出する。そして、情報処理装置１は、複数の方向において推定される堆積物４の傾斜角度及び当該傾斜角度から推定される堆積物４の高さとに基づき、補間対象グリッドの推定高を算出する。ここで、傾斜角度から方向ごとに推定される堆積物４の高さは、推定高の候補となる高さであり、以後では「候補高」とも呼ぶ。
　図５は、補間対象グリッド及びそれに隣接する隣接グリッドＧａ～Ｇｈを示す図である。本実施例では、情報処理装置１は、矢印Ａ１、Ａ２夫々に示される縦の２方向と、矢印Ａ３、Ａ４に示される横の２方向と、矢印Ａ５～Ａ８に示される斜めの４方向とについて、補間対象グリッドでの堆積物４の傾斜角度を求める。傾斜角度の算出方法については後述する。そして、情報処理装置１は、傾斜角度に基づき候補高を方向ごとに算出し、方向ごとの候補高から推定高を決定する。この場合、情報処理装置１は、堆積物４がほぼ一定の傾斜角度で山が形成されるという前提を利用し、任意の方向に沿った位置に存在する他のグリッドの計測高及びＸＹ座標位置に基づき、当該任意の方向における上述の傾斜角度及び候補高を算出する。
　例えば、情報処理装置１は、矢印Ａ１に沿った方向の候補高を求める場合、矢印Ａ１に沿った方向に存在する所定個数分の近傍のグリッド（即ちグリッドＧｇを含むグリッド）の計測高及びグリッドのＸＹ座標位置を取得する。そして、情報処理装置１は、取得した計測高及びグリッドのＸＹ座標位置（例えばグリッドの中心位置）に基づき、幾何学的算出方法により、矢印Ａ１の方向における傾斜角度及び候補高を推定する。
　そして、情報処理装置１は、矢印Ａ１～Ａ８の各方向に対応する候補高を算出し、算出した候補高のうち最も高い位置を示す候補高を、補間対象グリッドでの推定高として決定する。この方法によれば、情報処理装置１は、堆積物４の山の谷付近における補間対象グリッドについても高精度に高さを推定することができる。
　図６は、矢印Ａ１～Ａ８のうち平行となる２方向に沿った断面における計測高及び候補高を示す図である。図６は、堆積物４の山の谷付近でのグリッド１～８を示している。ここで、グリッド１～８のうち、グリッド４及びグリッド５が補間対象グリッドに相当し、グリッド１～３及びグリッド６～８がその近傍のグリッドに相当する。線７０は、グリッド１～３の計測高及びＸＹ座標位置に基づき推定された堆積物４の傾斜角度を示し、線７１は、グリッド６～８の計測高及びＸＹ座標位置に基づき推定された堆積物４の傾斜角度を示す。以後では、補間対象グリッドを基準としてグリッド１～３が存在する方向を「第１方向」と呼び、補間対象グリッドを基準としてグリッド６～８が存在する方向を「第２方向」と呼ぶ。
　この場合、情報処理装置１は、グリッド１～３が存在する第１方向について、グリッド１～３の計測高及びＸＹ座標位置に基づき推定された堆積物４の傾斜角度（線７０参照）を算出し、当該傾斜角度に基づき、第１方向でのグリッド４の候補高８１及びグリッド５の候補高８２を算出する。同様に、情報処理装置１は、グリッド６～８が存在する第２方向について、グリッド６～８の計測高及びＸＹ座標位置に基づき推定された堆積物４の傾斜角度（線７１参照）を算出し、当該傾斜角度に基づき、第２方向でのグリッド５の候補高８３及びグリッド４の候補高８４を算出する。このように、情報処理装置１は、第１方向及び第２方向を含む全ての方向に対するグリッド４及びグリッド５の候補高を算出する。
　そして、情報処理装置１は、グリッド４において最も高い位置となる候補高（図６では候補高８１）とグリッド５において最も高い位置となる候補高（図６では候補高８３）とを夫々のグリッドでの推定高として定める。そして、情報処理装置１は、補間対象グリッドの推定高を示す補間データを生成し、積算点群データと関連付けてメモリ１２に記憶する。
　以上のように、情報処理装置１は、複数の方向における補間対象グリッドの候補高を他のグリッドの計測高に基づき算出し、そのうち最も高い候補高を補間対象グリッドの推定高として定める。これにより、堆積物４の谷付近に存在する補間対象グリッドの推定高についても高精度に算出することができる。
　図７は、本実施例において情報処理装置１が実行するフローチャートの一例である。
　まず、情報処理装置１は、複数のライダ３から夫々点群データを取得する（ステップＳ１１）。そして、情報処理装置１は、複数のライダ３から取得した点群データを積算した積算点群データを生成する（ステップＳ１２）。この場合、情報処理装置１は、各ライダ３の点群データを基準座標系に変換し、変換した点群データを統合したデータを積算点群データとして取得する。
　次に、情報処理装置１は、基準座標系の空間を水平面上において所定サイズのグリッドに分割し、グリッドごとに積算点群データに基づく計測高を算出し、かつ、計測高が算出できないグリッドを補間対象グリッドとして検出する（ステップＳ１３）。
　そして、情報処理装置１は、各補間対象グリッドについて、方向ごとの候補高を算出する（ステップＳ１４）。この場合、情報処理装置１は、図５に示される８方向の各々に対する候補高を各補間対象グリッドに対して設定する。
　そして、情報処理装置１は、補間対象グリッドごとに、最も高い候補高を推定高として決定する（ステップＳ１５）。そして、情報処理装置１は、各補間対象グリッドの推定高を示す補間データを生成する（ステップＳ１６）。
　（４）傾斜角度の算出方法
　次に、傾斜角度の算出方法の具体例（第１算出例～第３算出例）について具体的に説明する。
　第１算出例は、事前計測をベースとする方法であり、計測対象物を自然に積上げた場合に（上方から装置等を用いてその物体を落とした場合等に）形成される山塊状の形における斜面の勾配を予め計測し、その値を予め情報処理装置１のメモリ１２に記憶しておく。この場合、計測対象物の種類ごとに事前の計測を行い、メモリ１２内のテーブル等に傾斜角度の計測結果を格納しておく。この場合、情報処理装置１は、メモリ１２を参照することで、傾斜角度を好適に算出することができる。
　第２算出例は、主成分分析を用いる方法であり、情報処理装置１は、補間対象箇所を順に着目グリッドとして設定し、着目グリッドに関し、グリッドがあるかをスキャンする方向について、垂直方向に細長な解析領域（スキャン方向への幅と厚みを持つ領域）を設定し、その領域に含まれるグリッド点の集合に対して主成分分析を行う。そして、情報処理装置１は、その第二次主成分、第三次主成分の固有値が小さい結果となる場合（グリッド点の分布が直線的と判断出来る）の勾配を、その着目グリッドにおける、そのスキャン方向の傾斜角度として算出する。この場合、グリッド点の分布が直線的であると判断されなかった場合は補間計算の対象から除外する。なお、着目グリッドに対して上り勾配となる場合は補間計算の対象から除外しても良い。
　第３算出例は、直線近似又は多項式近似を用いる方法であり、情報処理装置１は、第２算出方法と同様に設定した着目グリッドに関し、グリッドがあるかをスキャンする方向について、垂直方向に細長な解析領域（スキャン方向への幅と厚みを持つ領域）を設定し、その領域に含まれるグリッド点の集合に対して直線近似または多項式近似を行う。直線近似の場合は直線の傾きを、多項式近似の場合は近似曲線の端点における接線の傾きを、その着目グリッドにおける、そのスキャン方向の傾斜角度として算出する。なお、着目グリッドに対して上り勾配となる場合は補間計算の対象から除外しても良い。
　図８は、第２算出例及び第３算出例において設定する解析領域を、計測対象物の被計測点を真上から観察した図において表している。また、図９は、図８の解析領域１に対する「垂直方向に細長な解析領域」を計測対象物の被計測点の斜視図上において表している。さらに図１０は、スキャン方向１に沿った図９の計測対象物の断面図において主成分分析（又は直線近似又は多項式近似）に用いられる解析領域１内のグリッド点を表している。
　ここで、第２算出方法について補足説明する。第２算出方法では、情報処理装置１は、主成分分析により、空間に分布するグリッド点の集合の共分散行列を求め、その行列の固有値解析を行い、３つの固有ベクトル（互いに直行するベクトル）と、各ベクトルに対応した３つの固有値を求める。固有値の大きさが、対応する固有ベクトルの方向に関する点の分布状態を表している。点が直線的な分布となる場合、第一成分のみが突出して大きな値（＝第二成分、第三成分は小さな値となる）になる。よって、情報処理装置１は、第一成分に対応する固有ベクトルの方向とＸＹ平面との成す角を、傾斜角度として算出する。
　次に、第３算出方法について補足説明する。第３算出方法では、情報処理装置１は、直線近似もしくは多項式近似に基づき、空間に分布するグリッド点の集合を、最小二乗法を用いて直線の式（即ち一次式）、または多項式で近似する。そして、情報処理装置１は、直線近似の場合はその直線の方向ベクトルとＸＹ平面のなす角を傾斜角度として算出し、多項式近似の場合は近似曲線の端点における接線の方向ベクトルとＸＹ平面のなす角を傾斜角度として算出する。
　（４）変形例
　補間対象グリッドに対して候補高が算出される方向は、グリッドが縦、横、斜めに並ぶ方向である図５の矢印Ａ１～Ａ８の８方向に限定されない。これに代えて、情報処理装置１は、例えば、同図における矢印Ａ１～Ａ４に示される縦横の４方向の候補高を算出してもよく、矢印Ａ５～Ａ８の４方向の候補高を算出してもよい。このように、情報処理装置１は、水平面上における複数の方向における候補高を算出し、最も高い候補高を推定高とする。これにより、堆積物４の谷付近での補間対象グリッドに対しても高精度な推定高を算出することができる。
　以上説明したように、本実施例に係る情報処理装置１のコントローラ１３は、計測対象物が置かれた空間を計測する複数のライダ３が生成する点群データに基づき生成された計測対象物の３次元データである積算点群データを取得する。そして、コントローラ１３は、積算点群データにおいて欠けている補間対象グリッドを検出する。そして、コントローラ１３は、補間対象箇所での複数の方向の各々に対する計測対象物の傾斜角度に基づき、複数の方向の各々に対する補間対象グリッドを補間する候補高を決定する。そして、コントローラ１３は、候補高に基づき、補間対象グリッドに対応する補間データを生成する。これにより、情報処理装置１は、ライダ３の死角等により形成された計測対象物の３次元データの穴を補間する補間データを好適に生成することができる。
　なお、上述した実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるコントローラ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。
　以上、実施例を参照して本願発明を説明したが、本願発明は上記実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献及び非特許文献等の各開示は、本書に引用をもって繰り込むものとする。
　１　情報処理装置
　２　センサ群
　３　ライダ
　１００　３次元データ生成システム

Claims (12)

  1. 　計測対象物が置かれた空間を計測する複数の計測装置が生成する計測データに基づき生成された前記計測対象物の３次元データを取得する取得手段と、
    　前記３次元データにおいて欠けている補間対象箇所を検出する検出手段と、
    　前記補間対象箇所での複数の方向の各々に対する前記計測対象物の傾斜角度に基づき、前記複数の方向の各々に対する前記補間対象箇所を補間する候補位置を決定する候補位置決定手段と、
    　前記候補位置に基づき、前記補間対象箇所に対応する前記３次元データの補間データを生成する補間データ生成手段と、
    を有する情報処理装置。
  2. 　前記候補位置決定手段は、前記複数の方向の任意の方向に対する前記傾斜角度を、当該任意の方向に沿った位置における前記計測データに基づく前記計測対象物の被計測位置に基づき推定する、請求項１に記載の情報処理装置。
  3. 　前記候補位置決定手段は、主成分分析、直線近似、又は多項式近似のいずれかに基づき、前記傾斜角度を算出する、請求項２に記載の情報処理装置。
  4. 　前記候補位置決定手段は、前記傾斜角度を、記憶手段に記憶された前記計測対象物の斜面の勾配に基づき決定する、請求項１に記載の情報処理装置。
  5. 　前記補間データ生成手段は、前記補間対象箇所ごとの前記候補位置のうち、最も高い位置となる候補位置に基づき前記補間データを生成する、請求項１～４のいずれか一項に記載の情報処理装置。
  6. 　前記３次元データが表す空間の水平面をグリッドに分割する分割手段をさらに有し、
    　前記検出手段は、前記計測データが示す被計測位置が存在しないグリッドを、前記補間対象箇所として検出する、請求項１～５のいずれか一項に記載の情報処理装置。
  7. 　前記複数の方向は、前記水面上の方向であって、前記グリッドが縦、横又は斜めにおいて並ぶ方向に基づき決定される、請求項６に記載の情報処理装置。
  8. 　前記計測対象物は、複数の山が形成された堆積物であることを特徴とする請求項１～７のいずれか一項に記載の情報処理装置。
  9. 　前記計測対象物は、粉状物の堆積物である、請求項８に記載の情報処理装置。
  10. 　コンピュータが、
    　計測対象物が置かれた空間を計測する複数の計測装置が生成する計測データに基づき生成された前記計測対象物の３次元データを取得し、
    　前記３次元データにおいて欠けている補間対象箇所を検出し、
    　前記補間対象箇所での複数の方向の各々に対する前記計測対象物の傾斜角度に基づき、前記複数の方向の各々に対する前記補間対象箇所を補間する候補位置を決定し、
    　前記候補位置に基づき、前記補間対象箇所に対応する前記３次元データの補間データを生成する、
    制御方法。
  11. 　計測対象物が置かれた空間を計測する複数の計測装置が生成する計測データに基づき生成された前記計測対象物の３次元データを取得し、
    　前記３次元データにおいて欠けている補間対象箇所を検出し、
    　前記補間対象箇所での複数の方向の各々に対する前記計測対象物の傾斜角度に基づき、前記複数の方向の各々に対する前記補間対象箇所を補間する候補位置を決定し、
    　前記候補位置に基づき、前記補間対象箇所に対応する前記３次元データの補間データを生成する処理をコンピュータに実行させるプログラム。
  12. 　請求項１１に記載のプログラムを記憶した記憶媒体。
PCT/JP2023/000778 2022-01-21 2023-01-13 情報処理装置、制御方法、プログラム及び記憶媒体 Ceased WO2023140189A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202380013332.0A CN118159874A (zh) 2022-01-21 2023-01-13 信息处理装置、控制方法、程序及存储介质
JP2023575227A JP7592897B2 (ja) 2022-01-21 2023-01-13 情報処理装置、制御方法、プログラム及び記憶媒体
US18/693,829 US20240385327A1 (en) 2022-01-21 2023-01-13 Information processing device, control method, program, and storage medium
EP23743183.8A EP4468036A4 (en) 2022-01-21 2023-01-13 INFORMATION PROCESSING DEVICE, CONTROL METHOD, PROGRAM, AND STORAGE MEDIA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-007785 2022-01-21
JP2022007785 2022-01-21

Publications (1)

Publication Number Publication Date
WO2023140189A1 true WO2023140189A1 (ja) 2023-07-27

Family

ID=87348740

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000778 Ceased WO2023140189A1 (ja) 2022-01-21 2023-01-13 情報処理装置、制御方法、プログラム及び記憶媒体

Country Status (5)

Country Link
US (1) US20240385327A1 (ja)
EP (1) EP4468036A4 (ja)
JP (1) JP7592897B2 (ja)
CN (1) CN118159874A (ja)
WO (1) WO2023140189A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236019A (ja) * 2001-02-08 2002-08-23 Pasuko:Kk 地表面抽出処理システム
JP2002343840A (ja) * 2001-05-15 2002-11-29 Tokyo Seimitsu Co Ltd 半導体ウエハの表面形状の補間方法
US20130144579A1 (en) * 2011-12-02 2013-06-06 Schlumberger Technology Corporation Rotations from gradient directions
JP2018009831A (ja) 2016-07-12 2018-01-18 パイオニア株式会社 情報処理装置、光学機器、制御方法、プログラム及び記憶媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204965121U (zh) * 2015-09-29 2016-01-13 吉林省粮油科学研究设计院 基于三维激光扫描的粮食仓储智能监控系统
HUE059001T2 (hu) * 2018-02-26 2022-09-28 Touchless Animal Metrics Sl Eljárás és készülék élõ mintadarabok jellemzéséhez egy adott távolságból

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236019A (ja) * 2001-02-08 2002-08-23 Pasuko:Kk 地表面抽出処理システム
JP2002343840A (ja) * 2001-05-15 2002-11-29 Tokyo Seimitsu Co Ltd 半導体ウエハの表面形状の補間方法
US20130144579A1 (en) * 2011-12-02 2013-06-06 Schlumberger Technology Corporation Rotations from gradient directions
JP2018009831A (ja) 2016-07-12 2018-01-18 パイオニア株式会社 情報処理装置、光学機器、制御方法、プログラム及び記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4468036A4

Also Published As

Publication number Publication date
EP4468036A1 (en) 2024-11-27
US20240385327A1 (en) 2024-11-21
JPWO2023140189A1 (ja) 2023-07-27
EP4468036A4 (en) 2025-12-24
JP7592897B2 (ja) 2024-12-02
CN118159874A (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN109188448B (zh) 点云非地面点过滤方法、装置及存储介质
JP5303873B2 (ja) 車両形状計測方法と装置
CN110109146B (zh) 基于多线激光雷达的路面检测方法及装置
JP2010044050A (ja) レーザレーダの姿勢認識方法及びレーザレーダ
US11247705B2 (en) Train wheel measurement process, and associated system
CA2934760A1 (en) Method for detecting topographical features of a surface and device for such purpose
WO2019100810A1 (zh) 辐射图像校正方法和校正装置及校正系统
US20230367015A1 (en) Inspection system, extraction device, and inspection method
JP6149561B2 (ja) 評価方法および評価装置
JP5698969B2 (ja) 測定装置、位置測定システム、測定方法、較正方法及びプログラム
Antova Registration process of laser scan data in the field of deformation monitoring
CN113256483A (zh) 用于目标识别的点云数据去抖动
KR101403377B1 (ko) 2차원 레이저 센서를 이용한 대상 물체의 6 자유도 운동 산출 방법
CN117670976A (zh) 一种基于视觉成像检测设备的直径测量方法及相关装置
WO2023140189A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP7417750B2 (ja) 固体ｌｉｄａｒ装置の較正
JP7156522B2 (ja) 部材判別装置、部材判別方法及びプログラム
US12270766B2 (en) Inspection support apparatus, inspection support method, and computer-readable medium
US11995761B2 (en) Methods and system for generating virtual sensor data of a virtual single-photon avalanche diode (SPAD) lidar sensor of a virtual vehicle simulator
US12571700B2 (en) Abnormality detection system, abnormality detection method, and computer readable medium
de Asís López et al. Geometric optimization of trough collectors using terrestrial laser scanning: Feasibility analysis using a new statistical assessment method
KR20120083706A (ko) 시공 중인 구조물의 수직 변위량 측정 장치 및 시공 중인 구조물의 기둥 축소량에 대한 보정값 산출 장치
KR101436097B1 (ko) 레이저 센서 기반 비접촉식 6-자유도 운동 측정 방법
KR20120058034A (ko) 고준위 알파/베타선 오염도 원격 측정 방법 및 이를 이용한 시스템
CN113671461A (zh) 检测激光雷达发射光束指向的方法、系统及激光雷达装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23743183

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380013332.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023575227

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18693829

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023743183

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023743183

Country of ref document: EP

Effective date: 20240821