WO2020189909A2 - 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 - Google Patents

3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 Download PDF

Info

Publication number
WO2020189909A2
WO2020189909A2 PCT/KR2020/002651 KR2020002651W WO2020189909A2 WO 2020189909 A2 WO2020189909 A2 WO 2020189909A2 KR 2020002651 W KR2020002651 W KR 2020002651W WO 2020189909 A2 WO2020189909 A2 WO 2020189909A2
Authority
WO
WIPO (PCT)
Prior art keywords
data
information
image
image data
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/002651
Other languages
English (en)
French (fr)
Other versions
WO2020189909A3 (ko
Inventor
박일석
홍승환
송승관
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stryx Inc
Original Assignee
Stryx Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190111249A external-priority patent/KR102200299B1/ko
Application filed by Stryx Inc filed Critical Stryx Inc
Publication of WO2020189909A2 publication Critical patent/WO2020189909A2/ko
Publication of WO2020189909A3 publication Critical patent/WO2020189909A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Definitions

  • the image data is generated as a panoramic image that can be implemented in 3D-VR, such as a head mounted display or a head-up display. Is distorted compared to the flat image (refer to FIG. 6(b)), so it is not easy to extract object information.
  • the mobile platform on which the image sensor is mounted is a drone
  • the utility is degraded due to the limitation of flight altitude in the city center where high-rise buildings and road facilities are concentrated.
  • there is an obstructed area where the current status of the ground facilities cannot be photographed due to bridges, buildings, and facilities spaced apart from the ground, so that all road facilities cannot be photographed.
  • a mobile mapping system equipped with heterogeneous sensors is sometimes used as a technology to check the status and maintenance of road facilities.
  • the mobile mapping system is an integrated sensor system that combines navigation sensors, image sensors, and laser sensors of each unique coordinate system, and geo-referencing and calibration that integrates each coordinate system into one data. Through the (calibration) operation, point cloud data containing 3D spatial information is created.
  • digital maps in the form of vectors or models, precision road maps, and 3D models are generated through drawing and modeling processes based on 3D point cloud data.
  • the image information is used for coloring each point cloud data acquired from the laser sensor.
  • the technical task to be achieved by the present invention is to provide accurate information on each pixel of 2D image data by fusing a 3D survey sensor such as a laser sensor and a navigation sensor around the image sensor so that the current status and maintenance of road facilities can be easily and accurately checked. It is to provide a system that provides a service based on an image pixel by registering 3D spatial information.
  • the object detection and recognition unit detects and recognizes a maintenance part of the road facility along with the road facility based on the image data for spatial information through machine learning, and the object information is the road facility And attribute data including meta data related to the type, name, and detailed information of the object, shape, shape, and texture, in relation to the repair part.
  • the index-based distortion removal unit may include a pixel index assigning unit for assigning an index to each pixel to define a correspondence relationship between the distorted image data from the image data and the reference plane image data, and the distortion image to which the index is assigned.
  • a section decomposition unit that decomposes data into preset sections, and a planar image that generates flat image data by removing distortion of the distorted image data based on a distortion correction model of the decomposed section by referring to the reference plane image data It may include a generating unit.
  • facility information obtained by obtaining and processing facility information corresponding to the road facility from the outside based on the 3D location data belonging to the 3D spatial information and 2D location data included in the image data Further comprising an acquisition unit, wherein the facility information acquisition unit obtains a time-series aerial orthogonal image including the facility information related to the road facility from the outside, and extracts geometric line form information from the aerial orthogonal image.
  • the facility information acquisition unit obtains a time-series aerial orthogonal image including the facility information related to the road facility from the outside, and extracts geometric line form information from the aerial orthogonal image.
  • a method for implementing a road facility management solution based on a 3D-VR multi-sensor system is provided from an image sensor, a navigation sensor, and a 3D survey sensor that acquires 3D geographic data.
  • a three-dimensional survey sensor such as a laser sensor and a navigation sensor are combined with a three-dimensional survey sensor such as a laser sensor centered on an image sensor so that the current status and maintenance of road facilities can be easily and accurately identified, thereby providing an accurate three-dimensional space for each pixel of the two-dimensional image data.
  • a three-dimensional survey sensor such as a laser sensor and a navigation sensor
  • a three-dimensional survey sensor such as a laser sensor centered on an image sensor
  • image-based machine learning and artificial intelligence algorithms can be applied to the system, thereby reducing drawing and modeling work time and improving accuracy.
  • 3 is a configuration diagram of a distortion removing unit.
  • FIG. 5 is a flowchart illustrating a method of implementing a road facility management solution based on a 3D-VR multi-sensor system according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating the concept of a geometric model for generating geometric structure information.
  • FIG. 7 is a diagram illustrating a distorted panoramic image as image data captured from a wide area image sensor.
  • FIG. 8 is a flowchart illustrating a process of removing image distortion by an index-based distortion removing unit.
  • FIG. 12 is a diagram schematically illustrating a process of removing image distortion in a geometric model-based distortion removing unit.
  • FIG. 13 is a diagram illustrating image data from which distortion is removed by a distortion removal unit.
  • the object detection and recognition unit detects and recognizes a maintenance part of a road facility based on image data for spatial information by machine learning, reads it as object information, and stores 3D maintenance section position data in the database unit. It is a drawing.
  • unit to "module” generally refer to components such as software (computer program) and hardware that can be logically separated. Therefore, the module in this embodiment refers not only to the module in the computer program, but also to the module in the hardware configuration. Therefore, the present embodiment is a computer program for making them function as modules (a program for executing each step in a computer, a program for making a computer function as each means, a program for realizing each function in a computer) ), also explains the system and method.
  • phrases equivalent to "save” and “save” are used, but these words are stored in a memory device or stored in a memory device when the embodiment is a computer program. It means to control like that.
  • a system or device is configured by connecting a plurality of computers, hardware, devices, etc. by communication means such as a network (including one-to-one communication connection), and a single computer, hardware, device, etc. This includes cases where it is realized.
  • communication means such as a network (including one-to-one communication connection), and a single computer, hardware, device, etc.
  • the terms “device” and “system” are used as terms of mutual agreement. Of course, the "system” does not include anything but an artificial decision, a social “mechanism” (social system).
  • Road facilities may be facilities such as automobile roads, bicycle paths, walking paths, and roads around rivers, but do not exclude various types of facilities installed on the ground.
  • the system 100 includes an image sensor 102, a 3D survey sensor 104, a sensor data collection unit including a navigation sensor 106, a data fusion unit 108, and a distortion removal unit 110. ), image data processing unit 112, object detection and recognition unit 114, database unit 116, operation/display unit 118, region of interest screen generation unit 120, update unit 122 and facility information acquisition unit (123) may be included.
  • the navigation sensor 106 is a sensor that detects navigation information such as positioning information, position of the platform, attitude, and speed, and acquires observation data for navigation and time information at the time the observation data was acquired, and uses a satellite navigation device (GPS). It can be composed of a position acquisition device that acquires the moving position of the platform through an inertial measurement unit (IMU), an attitude acquisition device that acquires the attitude of the vehicle through an inertial navigation system (INS). .
  • IMU inertial measurement unit
  • INS inertial navigation system
  • Each sensor may be mounted on the same platform, but may be distributed and mounted on a ground mobile platform and an aerial platform such as satellite, aerial, and drone.
  • the ground mobile platform 10 may be a vehicle, a bicycle, a two-wheeled vehicle, or equipment separately configured for walking, and the three-dimensional survey sensor 104 and navigation sensor 106 composed of an image sensor 102 and a lidar sensor are shown in FIG. 2 It may be mounted on the ground mobile platform 10 as described above.
  • the sensor data collection unit provided with each sensor 102 to 106, along with observation data and time information acquired from each sensor 102 to 106, and unique data related to device-specific properties for each sensor 102 to 106, each sensor (102-106) Alternatively, acquired environment information including weather, wind speed, temperature at which the sensor 102-106 or the platform is located, and humidity, which appear when observation data from the platform is acquired, may be collected.
  • the peculiar data of the 3D survey sensor 104 include LiDAR information, for example, the sensor's photographing date and time, sensor model, sensor serial number, laser wavelength, laser intensity, laser transmission/reception time, laser observation angle/distance, laser pulse. , May include at least one of an electronic time delay, a standby delay, and a sensor temperature.
  • the unique data of the navigation sensor 106 includes sensor model information of GNSS/IMU/INS, GNSS reception information, GNSS satellite information, GNSS signal information, GNSS navigation information, ionospheric/convection layer signal delay information of GNSS signals, DOP information, and Earth. Behavior information, dual/multi GNSS equipment information, GNSS base station information, wheel sensor information, gyro sensor scale/bias information, accelerometer scale/bias information, position/position/speed/acceleration/angular velocity/angular acceleration information and predicted error amount, navigation It may include at least one of all or part of the information filtering model and erasure error information, a photographing date/time, and time synchronization information.
  • the data fusion unit 108 includes the observation data, the internal geometry calculated based on the geometric parameters defined for each of the sensors 102 to 106, and the position of the platform 10 on which at least one of the sensors 102 to 106 is mounted. Data fusion for a geometric model is performed based on geometric structure information composed of an external geometry that defines a geometric relationship between each sensor 102 to 106 according to a posture.
  • the internal geometry is an intrinsic value of the sensor itself, and is an error in observed data for each sensor 102 to 106 due to a parameter maintained regardless of whether the platform or the like is moved.
  • the geometric parameter of the navigation sensor may be at least one of a scale in an axial direction and an offset in an axial direction.
  • the point group data related information is at least one of 3D position data, point group color information, point group class information whose type is estimated from the object extracted from 3D position data, and laser intensity information when the 3D survey sensor is a laser sensor. It may include.
  • image data may be input to the index-based distortion removal unit 110 based on the type of the wide area image sensor, and image distortion may be removed. .
  • the image data is converted to the index-based distortion removal unit 110 and the geometric model-based distortion removal unit 110 according to the level of goodness of distortion removal and the user's selection. ) Can be input to remove image distortion.
  • the index-based distortion removal unit 110 includes a pixel index provision unit 128, a section decomposition unit 130, and a planar image generation unit 122 to remove image distortion when image data for a fisheye lens is input. can do.
  • the index-based distortion removal unit 110 may further include a section re-decomposition unit 134 in addition to the above-described member to remove image distortion when omnidirectional image data is input.
  • the section decomposition unit 130 may decompose the distorted image data to which the index is assigned into a preset section.
  • the planar image generator 122 may generate planar image data by removing distortion of the distorted image data based on a distortion correction model of the disassembled section by referring to the planar image data for reference.
  • the distortion correction model may be modeling based on an equation or index of the decomposed section.
  • the section re-decomposition unit 134 is a member used in the case of omnidirectional image data, and may re-decompose the omnidirectional image decomposed by the section decomposition unit 130 into a preset section, as in the third step of FIG. 11. .
  • the planar image generator 122 may remove the distortion based on a distortion correction model of the section re-decomposed by the section re-decomposition unit 134, for example, based on an equation or an index.
  • the geometric model-based distortion removal unit 110 includes a 3D shape restoration unit 136 for restoring a virtual 3D shape from the distortion image data based on a camera geometry based on the distortion image data from the image data and a virtual camera geometry. It may include a planar image generator 138 for generating planar image data by defining and projecting it to a virtual planar camera through the geometrical equation.
  • the distortion removal unit 110 for removing distortion of an image for a fisheye lens and an omnidirectional image relates to lens distortion removal for creating an image data set for application to machine learning.
  • the distortion removal according to the physical lens structure is performed based on the geometric model or index of each sensor, and the projection distortions that change according to the image projection angle are converted to have geometric characteristics similar to those of the plane image, and are applied to the plane image. Make it possible to use the model as it is.
  • the geometric model-based image distortion removal method is performed by restoring a virtual 3D object from an image with distortion and reprojecting it onto a virtual plane camera. This is a method of solving the interrelationship of the plane images of by giving an index to each pixel.
  • the system 100 includes the distortion removal unit 110 as an example, but in another embodiment, the system 100 does not include the distortion removal unit 110 and image data is processed into image data.
  • a panoramic image which is directly input to the unit 112 and without distortion, may be provided to the manipulation/display unit 118.
  • the image data processing unit 112 stores at least the 3D position data with reference to the index, geometry information and time information given to define a correspondence relationship between the pixel of the image data and the 3D position data of the point cloud data related information.
  • Image data for spatial information is generated by registering 3D spatial information generated from the included point cloud data-related information in pixel units of the image data.
  • the index may be assigned to define a correspondence relationship between the pixel of the image data and the 3D position data of the point cloud data related information by absolute coordinates of the point cloud data related information and the image data with reference to the navigation data.
  • the index refers to the coordinate system (S) of the 3D survey sensor 104 and the coordinate system (C) for the image sensor, the class of the data, the object shape, etc., and matches the point cloud data-related information and image data, It may be given to set a virtual absolute coordinate system between them to define a correspondence relationship between pixels and 3D position data according to the absolute coordinate system.
  • an index is assigned to each sensor and data and linked to each other to shorten data processing time and reduce data capacity.
  • the image data processing unit 112 may register 3D spatial information in pixel units of image data using the navigation data and time information of each of the sensors 102 to 106.
  • a model for imparting 3D spatial information to pixels of image data may be defined as in Equation 1, and some equations and variables may be modified or omitted during calculation.
  • Variables included in each image sensor 102, 3D survey sensor 104, navigation sensor 106, and system model are determined by map values or a calibration process to determine the accuracy and precision of 3D spatial information and data fusion. .
  • 3D spatial information may be given to each pixel or time, index, and navigation data may be assigned to each pixel.
  • the image data processing unit 112 may link the entire geocoding image information, 3D spatial information, time information, index, and navigation data for each pixel.
  • the object information may include attribute data including a type, a name, and metadata related to detailed information, a shape, a shape, and a texture in relation to a road facility and a maintenance part.
  • the facility recognition unit 140 and the maintenance part recognition unit 142 detect candidate group data related to the object identified from the spatial information image data using a machine learning technique, and sequentially apply an additional machine learning model to the detected candidate group data.
  • the information of the object can be recognized.
  • the object detection and recognition unit 114 may perform preprocessing to improve the accuracy of object detection and recognition in image data for spatial information before the machine learning technique.
  • Pre-processing of image sensor data for spatial information includes, for example, image brightness adjustment, image color adjustment, image blurring, image sharpness, image texture analysis, and observation geometric characteristics. It may be performed by at least one of movement, rotation, and/or scale transformation of image sensor data due to the difference (converting one or more of Rigid-body, Affine, and Similartiy as 2D transformed data).
  • the database unit 116 links and stores image data for spatial information, road facilities, and object information of a maintenance part.
  • the database unit 116 may store 3D map data including at least maintenance section position data based on image data for spatial information linked to object information, as shown in the left drawing of FIG. 16.
  • the facility information acquisition unit 123 may obtain and process facility information corresponding to the road facility from the outside based on 3D location data belonging to the 3D spatial information and 2D location data included in the image data.
  • the facility information acquisition unit 123 obtains a time-series aerial orthogonal image including facility information related to road facilities from the outside, extracts geometric line form information from the aerial orthogonal image, and Based on the information, it is possible to generate basic road information processed in the form of a document or data sheet in a time series of facility structure information and accessories.
  • the road linear information may be information related to, for example, a road pavement as facility structure information, a ground condition, and a median divider as an accessory, a sign, and a trench-shaped side exit located on the side of the road.
  • the facility information acquisition unit 123 receives two-dimensional drawing data and 3D models accumulated in the form of images in relation to road facilities from outside, and digitalizes drawing data and 3D models through image-based object recognition and 3D model recognition. Drawing information can be created.
  • the 3D model may be a rendered image and a schematic quantity related to the components of the road facility.
  • the updater 122 acquires external data including object information including a plurality of attribute data, and extracts object information including at least metadata related to location data and detailed information of road facilities from the external data.
  • the spatial information image data may be updated with object information of external data.
  • the updated object information is stored in the database unit 116 in association with image data for spatial information.
  • the external data is a digital map or a road precision map, which is obtained from an external device other than the system 100 from the same location as the image data for spatial information of the system 100.
  • the speed limit of a road sign is stored as 30km, but roads in the same location as metadata of external data such as digital maps or road precision maps.
  • the update unit 122 changes object information of the image data for spatial information to 40 km.
  • the operation/display unit 118 and the region of interest screen generation unit 120 may be implemented in a low-cost processing module L, for example, in the cloud or on the client side, which has a lower data processing burden than the above-described member.
  • modules according to the data processing burden have been distinguished and described, but in other embodiments, all of the functions of the above-described members may be implemented in one integrated module.
  • FIGS. 1 to 17 a method of implementing a road facility management solution based on a 3D-VR multi-sensor system according to an embodiment of the present invention will be described with reference to FIGS. 1 to 17.
  • FIG. 5 is a flowchart illustrating a method of implementing a road facility management solution based on a 3D-VR multi-sensor system according to an embodiment of the present invention.
  • the image sensor 102, the 3D survey sensor 104, and the navigation sensor 106 acquire each observation data and time information at the time of acquisition, and the data fusion unit 108 is used for each sensor 102 to 106
  • the internal geometry calculated based on the geometric parameter defined every time is obtained (S505).
  • the sensor data collection unit including the image sensor 102, the 3D survey sensor 104, and the navigation sensor 106 may additionally acquire unique data for each sensor 102 to 106.
  • the internal geometry is described in detail in the description of the system 100 and detailed description thereof will be omitted.
  • the data fusion unit 108 determines the observed data, the internal geometry, and the geometric relationship between the respective sensors 102 to 106 according to the position and posture of the platform 10 on which at least one of the sensors 102 to 106 is mounted. As shown in FIG. 6, data fusion for the geometric model is performed on the basis of the geometry information composed of the external geometry to be defined (S510). 6 is a diagram illustrating the concept of a geometric model for generating geometric structure information.
  • the data fusion unit 108 generates point cloud data related information related to the 3D survey sensor 104 based on observation data, geometric structure information, and time information, and is generated from the data of the image sensor 102 to generate geocoding image information.
  • Image data including a may be generated.
  • the point cloud data-related information and the geocoding image information may include the above-described data, and a detailed description thereof will be omitted.
  • the distortion removing unit 110 determines whether the image sensor is a wide area image sensor (S515).
  • Image data from a wide area image sensor taken at each measurement point (circular point) as in FIG. 7(a) is generated as a distorted image as in FIG. 7(b).
  • 7 is a diagram illustrating a distorted panoramic image as image data captured from a wide area image sensor.
  • the distortion removal unit 110 additionally depends on at least one of a type of a wide area image sensor, a good degree of distortion removal, a user's selection, and other options.
  • An index-based distortion removal unit 110 and a geometric model-based distortion removal unit 110 may be selected.
  • the distortion removal unit 110 removes distortion of the image data (S415).
  • the distortion removal process proceeds to the index-based distortion removal unit 110 or the geometric model-based distortion removal unit 110 selected according to at least one of a type of a wide area image sensor, a good degree of distortion removal, and a user's selection.
  • a distortion removal process will be described in detail by distinguishing between the index-based distortion removal unit 110 and the geometric model-based distortion removal unit 110 with reference to FIGS. 8 to 13.
  • 8 is a flowchart illustrating a process of removing image distortion by an index-based distortion removing unit.
  • 9 is a flowchart illustrating a process of removing distortion of an image by a geometric model-based distortion removing unit.
  • 10 and 11 are diagrams schematically illustrating a process of removing image distortion by an index-based distortion removing unit.
  • 12 is a diagram schematically illustrating a process of removing image distortion in a geometric model-based distortion removing unit.
  • 13 is a diagram illustrating image data from which distortion is removed by a distortion removal unit.
  • the image distortion removal process in the index-based distortion removal unit 110 will be described with reference to FIGS. 8, 10 and 11, and image data for fisheye lenses distorted by a wide-area image sensor equipped with a fisheye lens is input.
  • the pixel index assigning unit 128 assigns an index to each pixel to define a correspondence relationship between the distorted image data from the image data and the reference plane image data, as shown in FIG. 10 (S810). .
  • the section decomposing unit 130 decomposes the distorted image data to which the index is assigned into a preset section (S815).
  • omnidirectional image data is input to the index-based distortion removal unit 110, the pixel indexing unit 128 and the section decomposing unit 130 process the image data, and the processing proceeds to the second step of FIG. 11.
  • the section re-decomposition unit 134 re-decomposes the omnidirectional image decomposed by the section decomposition unit 130 into a preset section, as in the third step of FIG. 11.
  • the planar image generation unit 132 removes the distortion based on a distortion correction model, such as an equation or an index, of the section re-decomposed by the section re-decomposition unit 134, and generates the planar image data as shown in the right figure of FIG. Generate.
  • the image distortion removal process in the geometric model-based distortion removal unit 110 will be described with reference to FIGS. 9 and 12, when the distorted omnidirectional image data is input by a wide area image sensor that generates an omnidirectional image ( S905), the 3D shape restoration unit 136 restores a virtual 3D shape from the distortion image data based on the camera geometry based on the distortion image data from the image data (S910).
  • planar image generation unit 138 defines a virtual camera geometry and generates planar image data by projecting it onto a virtual plane camera through the geometry (S915).
  • an image from which distortion is removed or an image without distortion (in the case of N in S515) is input to the image data processing unit 112, and the image data processing unit 112 includes pixels of the image data and Generated from point cloud data-related information (left drawing of Fig. 14) including at least three-dimensional position data by referring to indexes, geometry information, and time information given to define a correspondence relationship between three-dimensional position data of point cloud data-related information
  • the 3D spatial information 20 is registered in pixel units of the image data to generate image data for spatial information (S525).
  • the 3D spatial information may include not only 3D location data but also the above-described various data constituting point cloud data related information in order to supplement image data including only 2D location data in the coordinate data for geocoding.
  • Image data for spatial information may be configured by combining image information for geocoding and 3D spatial information for each pixel.
  • the object detection and recognition unit 114 detects and recognizes object information related to the road facility and the maintenance part of the facility based on the image data for spatial information through machine learning (S530).
  • Road facility and object information is generated by the facility recognition unit 140 and the repair part recognition unit 142 as shown in FIGS. 15 and 16.
  • a plurality of attribute data and machine learning processes constituting object information are listed above, and detailed descriptions thereof will be omitted.
  • FIG. 15 is a diagram illustrating a screen in which a part of the location data and object information of the road facility is output to the manipulation/display unit when a user designates a specific road facility in the image provided to the manipulation/display unit
  • FIG. 16 is an object detection A diagram illustrating that the recognition unit detects and recognizes a maintenance part of a road facility based on image data for spatial information by machine learning, reads it as object information, and stores 3D maintenance section position data in the database unit.
  • the object detection and recognition unit 114 may perform preprocessing to improve the accuracy of object detection and recognition in image data for spatial information before machine learning, and a preprocessing technique will be omitted in detail.
  • the database unit 116 stores in association with image data for spatial information, road facilities, and object information of a maintenance part.
  • the manipulation/display unit 118 provides image data for spatial information associated with object information to the user in the form of a screen, and the region of interest screen generation unit 120 is used by the user as shown in the right and lower drawings of FIG.
  • the manipulation/display unit 118 is controlled to display the region of interest in the form of an enlarged screen (S540).
  • the operation/display unit 118 provides 3D position data of a specific road facility and maintenance part. And at least the name of the road facility among the object information.
  • a two-dimensional survey sensor 104 such as a laser sensor and a navigation sensor 106 are combined with the image sensor 102 as a center.
  • An image pixel-based service can be provided by registering accurate 3D spatial information in each pixel of image data.
  • the speed limit of a road sign is stored as 30 km as metadata belonging to object information linked to image data for spatial information, but it is stored in the same location as metadata of external data such as digital maps or road precision maps. External data in which the speed limit of a road sign that is present is recorded as 40 km may be acquired.
  • the updater 122 extracts object information including at least metadata related to location data and detailed information of road facilities from external data (S1810).
  • the image data for spatial information is It is updated with object information of external data (S1820).
  • the updated object information is stored in the database unit 116 in association with image data for spatial information.
  • the update unit 122 maintains object information of the image data for spatial information (S1825).
  • Components constituting the system 100 shown in FIGS. 1, 3 and 4 or steps according to the embodiments shown in FIGS. 5, 8, 9, and 18 are in the form of a program for realizing the function Can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium refers to a recording medium that can be read by a computer by storing information such as data or programs by electrical, magnetic, optical, mechanical, or chemical action. Examples of such recording media that can be separated from a computer include portable storage, flexible disks, magneto-optical disks, CD-ROMs, CD-R/Ws, DVDs, DATs, and memory cards.
  • SSDs solid state disks
  • hard disks hard disks
  • ROMs read-only memory cards
  • the present invention is not necessarily limited to these embodiments. That is, within the scope of the object of the present invention, all of the constituent elements may be selectively combined and operated in one or more.
  • all of the components may be each implemented as one independent hardware, some or all of the components are selectively combined to provide a program module that performs some or all functions combined in one or a plurality of hardware. It may be implemented as a computer program having.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 방법이 제공된다. 상기 시스템은 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서로부터 각각 도로 시설물에 대한 관측 데이터 및 시간 정보를 수집하는 센서 데이터 수집부와, 각 센서마다 정의된 내부 기하 및 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행하는 데이터 융합부와, 인덱스, 상기 기하 구조 정보 및 상기 시간 정보를 참조하여, 상기 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 상기 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성하는 영상 데이터 가공부와, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 관련된 객체 정보를 검출하고 인식하는 객체 검출 인식부, 및 상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 데이터베이스부를 포함한다.

Description

3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
본 발명은 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 방법에 관한 것으로, 보다 상세하게는 자동차 도로, 자전거 도로, 도보로, 하천 주위의 도로 등의 도로 시설물의 현황 및 보수 부분을 용이하면서 정확하게 확인할 수 있도록, 영상 센서 중심으로 레이저 센서와 같은 3차원 측량 센서와 항법 센서를 융합하여 2차원 영상 데이터의 각 픽셀에 정확한 3차원 공간 정보를 등록하여 영상 픽셀 기반의 서비스를 제공하는 시스템 등에 관한 것이다.
자동차 도로, 자전거 도로, 도보로, 하천 주변 도로 등의 도로 시설물은 지역별로 관리하고 있으므로, 많은 인력 및 조직이 필요하나, 재원이 충분치 않아 도로 시설물의 관리에 지속적으로 한계가 있다. 이를 극복하기 위해, 보수 부분이 있는지에 대한 현장 실태 조사에 소요되는 비용과 인력이 최소화할 기술이 요구되어지고 있다.
이러한 기술로 지상 또는 공중 이동식 플랫폼에 탑재된 영상 센서를 이용한 도로 시설물의 촬영 등이 활용되어지고 있다.
구체적으로, 다중 카메라 센서를 탑재하여 파노라마 영상으로 도로 시설물의 현황을 제공하는 경우에, 고가도로와 지면과 이격된 시설물은 지면에 위치된 시설물과 중첩되면, 영상에서 동일한 2차원 위치 데이터는 중첩된 시설물들의 다양한 정보들을 확인할 수 없으며, 영상은 2차원 좌표의 위치 데이터만을 보유하고 있으므로, 양 시설물 간의 높이 차이 등으로 인한 다양한 분석이 불가능하다. 또한, 영상 데이터가 더 많은 시설물을 포함하도록 큰 화각을 가진 광역 영상 센서를 사용하는 경우에, 영상 데이터가 3D-VR, 예컨대 헤드 마운트 디스플레이 또는 헤드업 디스플레이 등에 구현가능한 파노라마 영상으로 생성되나, 파노라마 영상은 평면 영상에 비해 왜곡되어 있으므로(도 6(b) 참조), 객체 정보를 추출하는데 용이하지 않다.
이에 더하여, 영상 센서가 탑재된 이동형 플랫폼이 드론인 경우에, 고층 빌딩 및 도로 시설물 등이 집중된 도심에서 비행 고도의 제한으로 인해 활용성이 저하된다. 아울러, 드론에 의한 쵤영인 경우, 교량, 빌딩, 지면과 이격된 시설물 등으로 인해 지면 시설물의 현황을 촬영하지 못하는 폐색 지역이 존재하여, 도로 시설물을 전부 촬영하지 못한다.
한편, 도로 시설물의 현황 및 보수 부분을 확인하기 위한 기술로 이종 센서들이 탑재된 모바일 맵핑 시스템(Mobile Mapping System)이 활용되기도 한다.
모바일 맵핑 시스템은 각각의 고유의 좌표 체계의 항법 센서, 영상 센서, 레이저 센서 등이 조합된 통합 센서 시스템이며, 각각의 좌표 시스템들을 하나의 데이터로 통합시키는 지오레퍼런싱 (Geo-referencing) 및 캘리브레이션 (calibration) 작업을 통해 3차원 공간정보가 포함된 점군 데이터(Point cloud)를 생성한다.
종래에는 3차원 점군 데이터를 기반으로 도화 및 모델링 과정을 통해 벡터 또는 모델 형태의 수치지도, 도로정밀지도, 3차원 모델들을 생성한다.
이는 3차원 좌표를 mm 수준의 정확도로 기록할 수 있는 레이저 센서를 통해 3차원 형상 정보를 기록하여 표현하며, 항법 센서와의 결합을 통해 레이저 센서 데이터들을 지오레퍼런싱하여 공간 좌표들을 부여한다.
여기서 영상 정보는 레이저 센서로부터 취득한 각 점군 데이터에 색상을 입히는 용도로 활용된다.
그러나, 영상의 경우에는 각 픽셀 마다 스케일(scale) 값이 상이하여 영상으로부터는 3차원 위치 데이터과 내부, 외부 기하 등의 기하 구조 정보 등과 같은 정확한 3차원 공간 정보를 획득할 수 없다. 모바일 맵핑 시스템에서의 영상 데이터의 활용은 개략적인 사물의 길이, 위치, 면적 등의 수치를 역산출하는 수준으로만 사용된다.
그리고 영상의 경우에는 영상 픽셀에 3차원 공간 정보를 등록시키기 위해서는 영상 센서의 정확한 위치 및 자세값을 알고 있어야 하지만, 항법 센서와 영상 센서의 중심 간의 불일치로 인해 이격이 발생하게 된다.
이를 해결하기 위한 방안으로 항법 센서, 영상 센서 및 레이저 센서 간의 이격거리를 최소화하거나 영상 센서와 레이저 센서의 시야각을 일치 또는 중첩해야 하는 한계점이 있다.
반면, 객체를 인식하기 위한 인공지능 및 기계학습 알고리즘들은 대부분 평면 영상 데이터에 적용하도록 개발되어 있는 경우가 많아 왜곡 영상으로 생성된 파노라마 영상을 위한 알고리즘들은 실질적으로 전무한 실정이다,
따라서 효과적인 모바일 맵핑 시스템 활용을 위해서는 영상 기반의 대부분 인공지능 및 기계학습 알고리즘들을 모바일 맵핑 시스템에 적용하기 위한 새로운 기술의 개발이 요구되고 있다.
본 발명이 이루고자 하는 기술적 과제는 도로 시설물의 현황 및 보수 부분을 용이하면서 정확하게 확인할 수 있도록, 영상 센서 중심으로 레이저 센서와 같은 3차원 측량 센서와 항법 센서를 융합하여 2차원 영상 데이터의 각 픽셀에 정확한 3차원 공간 정보를 등록하여 영상 픽셀 기반의 서비스를 제공하는 시스템을 제공하는데 있다.
본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 이루기 위한 본 발명의 일 양태에 따르면, 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템은 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서로부터 각각 도로 시설물에 대한 관측 데이터 및 시간 정보를 수집하는 센서 데이터 수집부와, 각 센서마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 상기 센서들 중 적어도 하나가 탑재된 플랫폼의 위치와 자세에 따른 각 센서 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행하는 데이터 융합부와, 상기 영상 센서의 관측 데이터로부터의 영상 데이터의 픽셀과 상기 3차원 측량 센서의 관측 데이터로부터의 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 상기 기하 구조 정보 및 상기 시간 정보를 참조하여, 상기 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 상기 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성하는 영상 데이터 가공부와, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 관련된 객체 정보를 검출하고 인식하는 객체 검출 인식부, 및 상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 데이터베이스부를 포함한다.
다른 실시예에서, 상기 점군 데이터 관련 정보는 3차원 위치 데이터와 함께, 점군용 색상 정보, 상기 3차원 위치 데이터로부터 추출된 대상물에서 종류가 추정된 점군용 클래스 정보 및 상기 3차원 측량 센서가 레이저 센서인 경우의 레이저 강도 정보 중 적어도 어느 하나를 포함할 수 있다.
또 다른 실시예에서, 상기 객체 검출 인식부는 기계 학습을 통해, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 함께, 상기 도로 시설물의 보수 부분을 검출하여 인식하며, 상기 객체 정보는 상기 도로 시설물 및 상기 보수 부분과 관련하여,대상물의 종류, 명칭, 상세 정보와 관련된 메타 데이터, 형상, 모양, 질감을 포함하는 속성 데이터를 포함할 수 있다.
여기서, 상기 데이터베이스부는 상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터에 기초하여 보수 구간 위치 데이터를 적어도 포함하는 3차원 지도 데이터를 저장할 수 있다.
또 다른 실시예에서, 상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터를 사용자에게 화면 형태로 제공하면서 소정 데이터를 편집가능한 조작/표시부를 더 포함하고, 상기 조작/표시부는 사용자가 상기 화면에 표시된 영상 중 특정의 도로 시설물의 적어도 일부를 지정한 경우에, 상기 특정의 도로 시설물의 3차원 위치 데이터 및 상기 객체 정보 중 상기 도로 시설물의 명칭을 적어도 표시하도록 제어하거나, 상기 3차원 위치 데이터 및 상기 객체 정보 중 적어도 어느 하나에 대한 사용자의 편집을 수행하도록 제어하고, 상기 사용자가 상기 영상의 일부를 관심 지역으로 선택한 경우에, 상기 관심 지역을 확대 처리한 화면 형태로 표시하도록 상기 조작/표시부를 제어하는 관심 지역 화면 생성부를 더 포함할 수 있다.
여기서, 상기 영상 데이터 가공부, 상기 객체 검출 인식부 및 상기 데이터베이스부는 고부담 처리 모듈에서 구현되며, 상기 표시/조작부는 상기 고부담 처리 모듈보다 낮은 연산처리능력을 갖는 저부담 처리 모듈에서 구현될 수 있다.
또 다른 실시예에서, 복수의 속성 데이터를 포함하는 객체 정보를 포함하는 외부 데이터를 획득하여, 상기 외부 데이터로부터 위치 데이터 및 상기 도로 시설물의 상세 정보와 관련된 메타 데이터를 적어도 포함하는 객체 정보를 추출하고, 동일한 위치로 기록된 상기 공간 정보용 영상 데이터의 객체 정보의 복수의 속성 데이터 중 적어도 어느 하나가 상기 외부 데이터의 객체 정보와 상이할 경우, 상기 공간 정보용 영상 데이터를 상기 외부 데이터의 상기 객체 정보로 갱신하는 갱신부를 더 포함할 수 있다.
여기서, 상기 영상 센서가 평면 영상을 생성하는 평면 영상 센서보다 넓은 화각을 갖는 광역 영상 센서로 구성되는 경우에, 상기 광역 영상 센서의 관측 데이터로부터의 영상 데이터는 파노라마 영상으로 생성되며, 상기 파노라마 영상의 왜곡을 제거하는 왜곡 제거부를 더 포함하고, 상기 왜곡 제거부는 상기 영상 데이터가 입력되면 인덱스 기반의 영상 왜곡 제거를 수행하는 인덱스 기반 왜곡 제거부와, 상기 영상 데이터가 입력되면 기하 모델 기반의 영상 왜곡 제거를 수행하는 기하 모델 기반 왜곡 제거부를 구비하며, 상기 왜곡 제거부는 상기 광역 영상 센서의 종류, 왜곡 제거의 양호도 및 사용자의 선택 중 적어도 어느 하나에 따라 상기 인덱스 기반 왜곡 제거부와 상기 기하 모델 기반 왜곡 제거부 중 어느 하나로 영상 왜곡 제거를 수행할 수 있다.
또한, 상기 인덱스 기반 왜곡 제거부는, 상기 영상 데이터로부터의 왜곡 영상 데이터와 참조용 평면 영상 데이터 간의 대응 관계를 정의하도록 각 픽셀에 인덱스를 부여하는 픽셀 인덱스 부여부와, 상기 인덱스가 부여된 상기 왜곡 영상 데이터를 기 설정된 구간으로 분해하는 구간 분해부와, 상기 참조용 평면 영상 데이터를 참조하여, 분해된 구간의 왜곡 보정 모델을 기반으로 상기 왜곡 영상 데이터의 왜곡을 제거함으로써 평면 영상 데이터를 생성하는 평면 영상 생성부를 포함할 수 있다.
이에 더하여, 상기 기하 모델 기반 왜곡 제거부는 상기 영상 데이터로부터의 왜곡 영상 데이터에 기반한 카메라 기하식 기반 왜곡 영상 데이터로부터 가상의 3차원 형상을 복원하는 3차원 형상 복원부와, 가상의 카메라 기하식을 정의하고 상기 기하식을 통해 가상의 평면 카메라에 투영함으로써 평면 영상 데이터를 생성하는 평면 영상 생성부를 포함할 수 있다.
또 다른 실시예에서, 상기 제 3 차원 공간 정보에 속한 상기 3차원 위치 데이터와 상기 영상 데이터에 포함된 2차원 위치 데이터를 기초로 상기 도로 시설물과 대응하는 시설물 정보를 외부로부터 입수하여 가공하는 시설물 정보 입수부를 더 포함하고, 상기 시설물 정보 입수부는 상기 도로 시설물과 관련된 상기 시설물 정보를 포함하는 시계열적인 항공정사영상을 외부로부터 입수하여, 상기 항공정사영상으로부터 도로선형정보(geometric line form information)를 추출하고, 상기 도로선형정보에 기초하여 시설물 구조 정보 및 부속물을 시계열적으로 문서 또는 데이터 시트로 형태로 가공된 도로 기본 정보를 생성하고, 상기 시설물 정보 입수부는 상기 도로 시설물과 관련하여 이미지 형태로 축적된 2차원의 도면 데이터와 3D 모델을 외부로부터 접수하여, 이미지 기반 객체인식 및 3D 모델 인식에 의해 상기 도면 데이터와 상기 3D 모델을 디지털화함으로써 도면 정보를 생성하고, 상기 시설물 정보 입수부는 상기 도로 시설물과 관련하여 이미지 형태로 축적된 현황/유지 문서 및 데이터 시트를 입수하여, 이미지 기반 텍스트 인식에 의해 상기 문서 및 상기 데이터 시트를 디지털화함으로써 도로 현황/유지 정보를 생성하고, 상기 도로 기본 정보, 상기 도면 정보 및 상기 도로 현황/유지 정보를 상기 도로 시설물과 연관하여 상기 데이터베이스부에 저장할 수 있다.
상기 기술적 과제를 이루기 위한 본 발명의 다른 양태에 따르면, 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 방법은 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서로부터 각각 도로 시설물에 대한 관측 데이터 및 시간 정보를 수집하는 단계와, 각 센서마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 상기 센서들 중 적어도 하나가 탑재된 플랫폼의 위치와 자세에 따른 각 센서 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행하는 단계와, 상기 영상 센서의 관측 데이터로부터의 영상 데이터의 픽셀과 상기 3차원 측량 센서의 관측 데이터로부터의 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 상기 기하 구조 정보 및 상기 시간 정보를 참조하여, 상기 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 상기 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성하는 단계와, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 관련된 객체 정보를 검출하고 단계, 및 상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 도로 시설물의 현황 및 보수 부분을 용이하면서 정확하게 확인할 수 있도록, 영상 센서 중심으로 레이저 센서와 같은 3차원 측량 센서와 항법 센서를 융합하여 2차원 영상 데이터의 각 픽셀에 정확한 3차원 공간 정보를 등록하여 영상 픽셀 기반의 서비스를 제공할 수 있다.
또한, 영상 센서 중심으로 시스템의 기하를 정의하여 정확도를 향상시키고 처리시간을 단축시킨다.
본 발명에 의하면, 영상 기반의 기계학습 및 인공지능 알고리즘이 시스템에 적용 가능하여 도화 및 모델링 작업시간을 단축시키고 정확도를 향상시킨다.
이에 더하여, 레이저가 이용되는 라이다(Light Detection and Ranging; LiDAR)와 같은 3차원 측량 센서와 영상 센서 간 시야각이 일치하지 않는 경우에, 항법 센서의 데이터와 각 센서 관측에 따른 시간 정보를 사용하여 영상 픽셀에 3차원 공간 정보를 부여할 수 있다.
아울러, 각 센서와 데이터에 인덱스를 부여하고 서로 연계하여 데이터 처리시간을 단축하고 데이터 용량을 감소시킨다.
도 1은 본 발명의 일 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템에 관한 구성도이다.
도 2는 지상 이동형 플랫폼 및 이에 탑재된 센서들을 예시한 도면이다.
도 3은 왜곡 제거부의 구성도이다.
도 4는 객체 검출 인식부의 구성도이다.
도 5는 본 발명의 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 방법에 관한 순서도이다.
도 6은 기하 구조 정보를 생성하기 위한 기하 모델의 개념을 나타내는 도면이다.
도 7은 광역 영상 센서로부터 촬영된 영상 데이터로서 왜곡된 파노라마 영상을 나타내는 도면이다.
도 8은 인덱스 기반 왜곡 제거부에서 영상의 왜곡을 제거하는 과정에 관한 순서도이다.
도 9는 기하 모델 기반 왜곡 제거부에서 영상의 왜곡을 제거하는 과정에 관한 순서도이다.
도 10 및 도 11은 인덱스 기반 왜곡 제거부에서 영상 왜곡 제거의 과정을 개략적으로 도시한 도면이다.
도 12는 기하 모델 기반 왜곡 제거부에서 영상 왜곡 제거의 과정을 개략적으로 도시한 도면이다.
도 13은 왜곡 제거부에서 왜곡이 제거된 영상 데이터를 예시한 도면이다.
도 14는 3차원 공간 정보를 영상 데이터의 픽셀 단위로 등록하여 생성된 공간 정보용 영상 데이터를 예시한 도면이다.
도 15는 사용자가 조작/표시부에 제공된 영상에 있어서 특정의 도로 시설물을 지정한 경우, 도로 시설물의 위치 데이터 및 객체 정보의 일부를 조작/표시부에 출력한 화면을 예시한 도면이다.
도 16은 객체 검출 인식부에서 공간 정보용 영상 데이터에 근거하여 도로 시설물의 보수 부분을 기계 학습에 의해 검출, 인식하여 객체 정보로 판독하고, 데이터베이스부에서 3차원 보수 구간 위치 데이터가 저장된 것을 예시한 도면이다.
도 17은 객체 정보가 포함된 공간 정보용 영상 데이터가 조작/표시부에 제공되는 경우에 제공하는 정보들을 예시한 도면이다.
도 18은 본 발명의 실시예에 따라 갱신부에서 공간 정보용 영상 데이터와 상이한 객체 정보를 포함하는 외부 데이터가 획득되는 경우의 공간 정보용 영상 데이터를 갱신하는 과정을 나타낸 순서도이다.
이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되어지는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한, "부" 내지 모듈 이란, 일반적으로 논리적으로 분리 가능한 소프트웨어(컴퓨터 프로그램), 하드웨어 등의 부품을 가리킨다. 따라서, 본 실시형태에 있어서의 모듈은 컴퓨터 프로그램에 있어서의 모듈뿐만 아니라, 하드웨어 구성에 있어서의 모듈도 가리킨다. 그 때문에, 본 실시형태는, 그것들을 모듈로서 기능시키기 위한 컴퓨터 프로그램(컴퓨터에 각각의 단계를 실행시키기 위한 프로그램, 컴퓨터를 각각의 수단으로서 기능시키기 위한 프로그램, 컴퓨터에 각각의 기능을 실현시키기 위한 프로그램), 시스템 및 방법의 설명도 겸하고 있다. 다만, 설명의 형편상, 「저장한다」, 「저장시킨다」, 이것들과 동등한 문언을 이용하지만, 이들 문언은, 실시형태가 컴퓨터 프로그램일 경우에는, 기억 장치에 기억시키는, 또는 기억 장치에 기억시키는 것과 같이 제어하는 것을 의미한다. 또한, "부" 내지 모듈은 기능에 일대일로 대응하고 있어도 되지만, 실장에 있어서는, 1모듈을 1프로그램으로 구성해도 되고, 복수 모듈을 1프로그램으로 구성해도 되고, 반대로 1모듈을 복수 프로그램으로 구성해도 된다. 또한, 복수 모듈은 1컴퓨터에 의해 실행되어도 되고, 분산 또는 병렬 환경에 있어서의 컴퓨터에 의해 1모듈이 복수 컴퓨터로 실행되어도 된다. 또한, 1개의 모듈에 다른 모듈이 포함되어 있어도 된다. 또한, 이하, 「접속」이란 물리적인 접속 외에, 논리적인 접속(데이터의 주고받기, 지시, 데이터간의 참조 관계 등)일 경우에도 채용한다. 「미리 정해진」이란, 대상으로 하고 있는 처리 전에 정해져 있음을 말하고, 본 실시형태에 의한 처리가 개시되기 전은 물론이고, 본 실시형태에 의한 처리가 개시된 후에도, 대상으로 하고 있는 처리 전이면, 그 때의 상황, 상태에 따라, 또는 그때까지의 상황, 상태에 따라 정해지는 것의 의미를 포함해서 이용한다.
또한, 시스템 또는 장치란, 복수의 컴퓨터, 하드웨어, 장치 등이 네트워크(일대 일 대응의 통신 접속을 포함함) 등의 통신 수단에 의해 접속되어 구성되는 것 외에, 1개의 컴퓨터, 하드웨어, 장치 등에 의해 실현될 경우도 포함된다. 「장치」와 「시스템」이란, 서로 동의(同意)의 용어로서 이용한다. 물론이지만, 「시스템」에는, 인위적인 결정인 사회적인 「기구」(사회 시스템)에 지나지 않는 것은 포함하지 않는다.
또한, 각 부 내지 각 모듈에 의한 처리마다 또는 각 부 내지 모듈 내에서 복수의 처리를 행할 경우는 그 처리마다, 대상이 되는 정보를 기억 장치로부터 판독 입력하고, 그 처리를 행한 후에, 처리 결과를 기억 장치에 기입하는 것이다. 따라서, 처리 전의 기억 장치로부터의 판독 입력, 처리 후의 기억 장치에의 기입에 관해서는, 설명을 생략할 경우가 있다. 또한, 여기에서의 기억 장치로서는, 하드디스크, RAM(Random Access Memory), 외부 기억 매체, 통신 회선을 통한 기억 장치, CPU(Central Processing Unit) 내의 레지스터 등을 포함하고 있어도 된다.
이하, 도 1 내지 도 4를 참조하여, 본 발명의 일 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템에 관한 구성도이다. 도 2는 지상 이동형 플랫폼 및 이에 탑재된 센서들을 예시한 도면이며, 도 3은 왜곡 제거부의 구성도이고, 도 4는 객체 검출 인식부의 구성도이다.
3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템100)은 지상 및/또는 공중 이동체와 같은 플랫폼에 이종 센서들이 탑재되며, 센서들로부터의 데이터를 처리, 분석하여 도로 시설물의 현황 및 보수 부분을 인식하고 분석하는 모바일 맵핑 시스템일 수 있다. 도로 시설물은 자동차 도로, 자전거 도로, 도보로, 하천 주위의 도로 등의 시설물일 수 있으나, 지상에 설치된 다양한 형태의 시설물을 제외하지 않는다.
시스템(100)은 도 1에서와 같이, 영상 센서(102), 3차원 측량 센서(104), 항법 센서(106)를 포함하는 센서 데이터 수집부, 데이터 융합부(108), 왜곡 제거부(110), 영상 데이터 가공부(112), 객체 검출 인식부(114), 데이터베이스부(116), 조작/표시부(118), 관심 지역 화면 생성부(120), 갱신부(122) 및 시설물 정보 입수부(123)를 포함할 수 있다.
영상 센서(102)는 이동 중인 지상 또는 공중 이동형 플랫폼에 탑재되어 그 주위의 주변 대상물, 예컨대 지형, 지물을 이미지로 촬영하여 영상용 관측 데이터 및 관측 데이터가 취득된 당시의 영상용 시간 정보를 취득하는 센서이며, 평면 영상을 생성하는 평면 영상 센서보다 넓은 화각을 갖는 광역 영상 센서, 측량용 또는 비측량용 카메라, 스테레오 카메라일 있으며, 이에 제한되지 않는다. 광역 영상 센서는 3D-VR, 예컨대 헤드 마운트 디스플레이 또는 헤드업 디스플레이 등에 구현가능한 파노라마 영상을 생성하며, 예컨대 어안 렌즈를 구비하여 어안 렌즈 영상을 생성하는 카메라 또는 다수개의 카메라를 용한 다중 카메라에 의해 전방위 영상을 출력하는 다중 카메라 시스템 등일 수 있다.
3차원 측량 센서(104)는 플랫폼에 탑재되어 그 주위의 대상물과 관련된 3차원 지리 데이터, 예컨대 지형, 지물 관련 데이터를 획득하여 3차원 측량용 관측 데이터 및 관측 데이터가 취득된 당시의 3차원 측량용 시간 정보를 취득하는 센서로서, 능동형 원격 탐사용 센서이다. 예를 들어, 3차원 측량 센서(104)는 레이저 또는 초음파 센서 등일 수 있으며, 레이저 센서의 경우, 라이다 센서일 수 있다. 이러한 라이다 센서는 데이터를 취득하고자 하는 대상물에 레이저를 주사하며 대상물로부터 반사되어 복귀하는 전자파의 시차와 에너지 변화를 감지하여 대상물에 대한 거리와 반사 강도를 산출한다.
항법 센서(106)는 측위 정보, 플랫폼의 위치, 자세 및 속도 등의 항법 정보를 검출하여 항법용 관측 데이터 및 관측 데이터가 취득된 당시의 시간 정보를 취득하는 센서로서, 위성 항법 장치(GPS)를 통해 플랫폼의 이동 위치를 취득하는 위치 취득 장치와 관성 측정 장치(Inertial Measurement Unit; IMU), 관성 항법 장치(Inertial Navigation System; INS)를 통해 차량의 자세를 취득하는 자세 취득 장치 등으로 구성될 수 있다.
각 센서는 동일 플랫폼에 탑재될 수 있으나, 지상 이동형 플랫폼과 위성, 항공, 드론 등과 같은 공중 플랫폼에 분산되어 탑재될 수도 있다. 지상 이동형 플랫폼(10)은 자동차, 자전거, 이륜차, 도보시의 별도로 구성된 장비 등일 수 있으며, 영상 센서(102), 라이다 센서로 구성된 3차원 측량 센서(104) 및 항법 센서(106)는 도 2와 같이 지상 이동형 플랫폼(10)에 탑재될 수도 있다.
각 센서(102~106)를 구비한 센서 데이터 수집부는 각 센서(102~106)로부터 획득한 관측 데이터 및 시간 정보와 함께, 각 센서(102~106)마다 장치 고유 속성과 관련된 고유 데이터, 각 센서(102~106) 혹은 플랫폼에서의 관측 데이터 취득시에 나타난 날씨, 풍속, 센서(102~106) 또는 플랫폼이 위치된 기온, 습도를 포함하는 취득 환경 정보를 수집할 수 있다.
영상 센서(102)의 고유 데이터는 센서의 조도, ISO, 셔터속도, 촬영날짜/시간, 시간 동기화정보, 센서 모델, 렌즈 모델, 센서 시리얼번호, 영상파일 이름, 파일 저장 위치 중 적어도 어느 하나를 포함할 수 있다.
3차원 측량 센서(104)의 고유 데이터는 라이다 정보를 예로 들면, 센서의 촬영날짜와 시간, 센서모델, 센서 시리얼 번호, 레이저파장, 레이저강도, 레이저송수신 시간, 레이저 관측 각/거리, 레이저 펄스, 전자적 시간지연, 대기 지연, 센서 온도 중 적어도 하나를 포함할 수 있다.
항법 센서(106)의 고유 데이터는 GNSS/IMU/INS의 센서 모델 정보, GNSS 수신정보, GNSS 위성 정보, GNSS 신호 정보, GNSS 네비게이션 정보, GNSS 신호의 전리층/대류층 신호지연 정보, DOP 정보, 지구 거동정보, 이중/다중 GNSS 장비 정보, GNSS Base Station 정보, Wheel 센서정보, 자이로 센서 Scale/Bias 정보, 가속도계 Scale/Bias 정보, 위치/자세/ 속도/가속도/각속도/각가속도 정보 및 예상오차량, 항법정보 필터링 모델 및 소거 오차 정보, 촬영날짜/시간, 시간동기화 정보 전부 또는 일부 중 적어도 하나를 포함할 수 있다.
데이터 융합부(108)는 관측 데이터, 각 센서(102~106)마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 센서들(102~106) 중 적어도 하나가 탑재된 플랫폼(10)의 위치와 자세에 따른 각 센서(102~106) 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행한다.
데이터 융합부(108)는 관측 데이터, 기하 구조 정보 및 시간 정보 등에 근거하여 3차원 측량 센서(104)와 관련된 점군 데이터 관련 정보를 생성하고, 영상 센서(102)의 데이터로부터 생성되어 지오코딩(geocoding) 영상 정보를 포함하는 영상 데이터를 생성할 수 있다. 본 실시예에서는 점군 데이터 관련 정보 및 지오코딩 영상 정보가 데이터 융합부(108)에서 생성되는 것을 예로 들고 있으나, 영상 데이터 가공부(112)에서 생성될 수도 있다.
구체적으로, 데이터 융합부(108)는 각 센서(102~106)마다 정의된 기하 파라미터를 기초로 내부 기하를 산출하며, 이 경우에 소정의 수학식 내지 모델링을 통해 계산될 수 있다.
내부 기하는 센서 자체의 고유값으로서, 플랫폼 등의 이동 여부에 관계없이 유지되는 파라미터에 기인하는 각 센서(102~106)마다의 관측 데이터의 오차이다.
영상 센서 기하 파라미터는 초점거리, 주점 위치, 렌즈왜곡 파라미터 및 센서 포맷 크기 중 적어도 어느 하나일 수 있다.
3차원 측량 센서 기하 파라미터는 라이다 센서를 예로 들면, 각 레이저의 입사각, 거리 스케일, 거리 방향 오프셋 및 축방향 오프셋 중 적어도 어느 하나일 수 있다.
또한, 항법 센서의 기하 파라미터는 축방향의 스케일 및 축방향의 오프셋 중 적어도 어느 하나일 수 있다.
외부 기하는 이동 중인 플랫폼의 위치와 자세, 즉 각 센서(102~106)의 위치와 자세로 인해, 각 센서(102~106)의 관측 데이터를 취득할 때마다 가변되는 파라미터 값에 기초하여 산출되는 관측 데이터의 오차이며, 이 경우에 소정의 수학식 내지 모델링을 통해 계산될 수 있다.
점군 데이터 관련 정보는 3차원 위치 데이터, 점군용 색상 정보, 3차원 위치 데이터로부터 추출된 대상물에서 종류가 추정된 점군용 클래스 정보 및 3차원 측량 센서가 레이저 센서인 경우의 레이저 강도 정보 중 적어도 어느 하나를 포함할 수 있다.
영상 데이터는 RGB 영상 또는 흑백 영상 데이터일 수 있으며, 영상 데이터에 포함된 지오코딩 영상 정보는 각 픽셀마다의 지오코딩용 좌표 데이터, 지오코딩용 색상 정보 및 지오코딩용 좌표 데이터로부터 추출된 대상물에서 종류가 추정된 지오코딩용 클래스 정보 중 적어도 어느 하나를 포함할 수 있다.
한편, 왜곡 제거부(110)는 영상 센서(102)가 평면 영상을 생성하는 평면 영상 센서보다 넓은 화각을 갖는 광역 영상 센서로 구성되는 경우에, 광역 영상 센서(102)의 관측 데이터로부터의 영상 데이터는 파노라마 영상으로 생성되며, 파노라마 영상의 왜곡(도 6(b) 참조)을 제거할 수 있다.
왜곡 제거부(110)는 구체적으로, 영상 데이터가 입력되면 인덱스 기반의 영상 왜곡 제거를 수행하는 인덱스 기반 왜곡 제거부(110)와, 영상 데이터가 입력되면 기하 모델 기반의 영상 왜곡 제거를 수행하는 기하 모델 기반 왜곡 제거부(110)를 구비할 수 있다.
왜곡 제거부(110)는 광역 영상 센서의 종류, 왜곡 제거의 양호도, 사용자의 선택 및 그 외 옵션 중 적어도 어느 하나에 따라. 인덱스 기반 왜곡 제거부(110)와 기하 모델 기반 왜곡 제거부(110) 중 어느 하나로 영상 왜곡 제거를 수행할 수 있다.
예를 들어, 광역 영상 센서가 어안 렌즈를 구비한 카메라인 경우에, 광역 영상 센서의 종류 등에 기초하여, 영상 데이터가 인덱스 기반 왜곡 제거부(110)에 입력되어 영상 왜곡의 제거를 수행할 수 있다.
또한, 광역 영상 센서가 전방위 영상을 출력하는 다중 카메라 시스템일 경우에, 왜곡 제거의 양호도 및 사용자의 선택 등에 따라, 영상 데이터가 인덱스 기반 왜곡 제거부(110)와 기하 모델 기반 왜곡 제거부(110) 중 어느 하나로 입력되어 영상 왜곡의 제거를 수행할 수 있다.
인덱스 기반 왜곡 제거부(110)는 어안 렌즈용 영상 데이터가 입력되는 경우의 영상 왜곡을 제거하기 위해, 픽셀 인덱스 부여부(128), 구간 분해부(130) 및 평면 영상 생성부(122)를 포함할 수 있다. 또한, 인덱스 기반 왜곡 제거부(110)는 전방위 영상 데이터가 입력되는 경우의 영상 왜곡을 제거하기 위해, 상술한 부재 외에도 구간 재분해부(134)를 더 포함할 수 있다.
픽셀 인덱스 부여부(128)는 도 10에서와 같이, 영상 데이터로부터의 왜곡 영상 데이터와 참조용 평면 영상 데이터 간의 대응 관계를 정의하도록 각 픽셀에 인덱스를 부여할 수 있다.
구간 분해부(130)는 인덱스가 부여된 왜곡 영상 데이터를 기 설정된 구간으로 분해할 수 있다.
평면 영상 생성부(122)는 참조용 평면 영상 데이터를 참조하여, 분해된 구간의 왜곡 보정 모델을 기반으로 왜곡 영상 데이터의 왜곡을 제거함으로써 평면 영상 데이터를 생성할 수 있다. 왜곡 보정 모델은 분해된 구간의 수식 또는 인덱스에 기반한 모델링일 수 있다.
구간 재분해부(134)는 전방위 영상 데이터의 경우에 사용되는 부재로서, 도 11의 3번째 단계에서와 같이, 구간 분해부(130)에 의해 분해된 전방위 영상을 기 설정된 구간으로 재분해할 수 있다. 이 경우에, 평면 영상 생성부(122)는 구간 재분해부(134)에 의해 재분해된 구간의 왜곡 보정 모델, 예컨대 수식 또는 인덱스 기반으로 왜곡을 제거할 수 있다.
기하 모델 기반 왜곡 제거부(110)는 영상 데이터로부터의 왜곡 영상 데이터에 기반한 카메라 기하식 기반 왜곡 영상 데이터로부터 가상의 3차원 형상을 복원하는 3차원 형상 복원부(136) 및 가상의 카메라 기하식을 정의하고 상기 기하식을 통해 가상의 평면 카메라에 투영함으로써 평면 영상 데이터를 생성하는 평면 영상 생성부(138)를 포함할 수 있다.
본 발명에 따른 어안 렌즈용 영상 및 전방위 영상의 왜곡 제거를 위한 왜곡 제거부(110)는 기계 학습에 적용하기 위한 영상 데이터 세트를 만들기 위한 렌즈 왜곡 제거에 관한 것이다.
물리적 렌즈 구조에 따른 왜곡 제거는 각 센서의 기하모델 또는 인덱스를 바탕으로 이루어지고, 영상 투영각에 따라 변화하는 투영 왜곡들을 평면 영상과 유사한 기하적 특성을 지니도록 변환하여 평면 영상에 적용되는 기계학습 모델을 그대로 활용 가능해지도록 한다.
기하모델 기반의 영상 왜곡 제거 방식은 왜곡이 존재하는 영상으로부터 가상의 3차원 물체를 복원하고 이를 가상의 평면 카메라에 재투영하는 방식으로 이루어지고, 인덱스 기반의 영상 왜곡제거 방식은 원본 왜곡영상과 가상의 평면영상의 상호관계를 각 픽셀에 인덱스를 부여하여 해결하는 방식이다.
인덱스 기반의 방식의 경우에는 다수 영상을 처리할 때 기하모델 기반의 방식에 비해 처리 시간에 효율성이 있다.
본 실시예에서는 시스템(100)이 왜곡 제거부(110)가 포함된 것을 예로 들어 설명하나, 다른 실시예로 시스템(100)이 왜곡 제거부(110)를 구비하지 않고, 영상 데이터가 영상 데이터 가공부(112)로 직접 입력되며, 왜곡이 제거되지 않은 파노라마 영상이 조작/표시부(118)에 제공될 수 있다.
한편, 영상 데이터 가공부(112)는 영상 데이터의 픽셀과 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 기하 구조 정보 및 시간 정보를 참조하여, 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성한다.
3차원 공간 정보는 지오코딩용 좌표 데이터에서 2차원 위치 데이터만 포함하는 영상 데이터를 보완하기 위해 3차원 위치 데이터 뿐만 아니라 점군 데이터 관련 정보를 구성하는 상술의 다양한 데이터 등을 포함할 수 있다. 공간 정보용 영상 데이터는 각 픽셀마다 지오코딩용 영상 정보와 3차원 공간 정보를 결합하여 구성될 수 있다.
인덱스는 항법 데이터를 참조하여 점군 데이터 관련 정보와 영상 데이터를 절대 좌표화하여, 영상 데이터의 픽셀과 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여될 수 있다. 다른 실시예에서는, 인덱스는 3차원 측량 센서(104)의 좌표계(S) 및 영상 센서용 좌표계(C), 데이터의 클래스, 객체 형상 등을 참조하여, 점군 데이터 관련 정보 및 영상 데이터를 매칭하고, 이들 간에 가상의 절대 좌표계를 설정하여 절대 좌표계에 따라 픽셀과 3차원 위치 데이터 간의 대응 관계를 정의하도록 부여될 수 있다.
이에 의하면, 각 센서와 데이터에 인덱스를 부여하고 서로 연계하여 데이터 처리시간을 단축하고 데이터 용량을 감소시킨다.
영상 센서(102)와 3차원 측량 센서(104)의 시야각이 일치하지 않거나, 3차원 측량 센서(104)의 시야각이 영상 센서(102)의 화각 범위를 충분히 커버하지 못한 경우에, 영상 데이터 가공부(112)는 항법 데이터와 각 센서(102~106)의 시간 정보를 사용하여 영상 데이터의 픽셀 단위로 3차원 공간 정보를 등록할 수 있다.
영상 데이터의 픽셀에 3차원 공간 정보를 부여하기 위한 모델은 수학식 1와 같이 정의될 수 있으며, 일부 수식 및 변수는 계산시 변형되거나 생략될 수 있다.
(수학식 1)
Figure PCTKR2020002651-appb-I000001
각 영상 센서(102), 3차원 측량 센서(104), 항법 센서(106), 시스템 모델에 포함된 변수들은 지도 수치 또는 캘리브레이션 과정에 의해 결정되어 3차원 공간 정보 및 데이터 융합 정확도와 정밀도를 결정한다.
여기서, RGB 영상 또는 흑백 영상의 형태로 영상 데이터가 표시될 때에, 영상에 각 픽셀에 3차원 공간정보를 부여하거나 각 픽셀에 시간, 인덱스, 항법 데이터를 부여할 수 있다. 이를 위해, 영상 데이터 가공부(112)는 각 픽셀마다 지오코딩용 영상 정보, 3차원 공간 정보, 시간 정보, 인덱스, 항법 데이터 전체를 연계할 수 있다.
이에 의해, 영상 데이터의 편집시에 RGB 영상 또는 흑백 영상을 기준으로 편집하고, 3차원 위치 데이터와 정확하게 상응하는 각 픽셀마다 오류없이 등록된 3차원 공간 정보를 이용하여 3차원 도화 또는 모델링을 수행할 수 있다.
한편, 객체 검출 인식부(114)는 공간 정보용 영상 데이터에 근거하여 도로 시설물및 시설물의 보수 부분과 관련된 객체 정보를 기계 학습을 통해 검출하고 인식할 수 있다. 객체 검출 인식부(114)는 도로 시설물의 객체 정보를 검출 인식하는 시설물 인식부(140)와 도로 시설물의 객체 정보와 해당 시설물의 공간 정보용 영상 데이터를 참조하여 시설물의 보수 부분을 검출 인식하는 보수 부분 인식부(142)를 구비할 수 있다.
객체 정보는 도로 시설물 및 보수 부분과 관련하여, 대상물의 종류, 명칭, 상세 정보와 관련된 메타 데이터, 형상, 모양, 질감을 포함하는 속성 데이터를 포함할 수 있다.
시설물 인식부(140) 및 보수 부분 인식부(142)는 공간 정보용 영상 데이터로부터 파악된 대상물과 관련된 후보군 데이터를 머신 러닝 기법으로 검출하고, 검출된 후보군 데이터에 순차적으로 추가 기계학습 모델을 적용하여 대상물의 정보를 인식할 수 있다.
객체 검출 인식부(114)는 머신 러닝 기법 이전에, 공간 정보용 영상 데이터에서의 객체 검출 및 인식의 정확도를 향상시키는 전처리를 수행할 수 있다. 공간 정보용 영상 센서 데이터에 대한 전처리는 예를 들어, 영상 밝기값 조정, 영상 색상 조정, 영상 흐림도 조정(blurring), 영상 선명도 조정(sharpness), 영상 질감도 분석에 따른 조정, 및 관측 기하 특성 차이로 인한 영상 센서 데이터의 이동, 회전 및/또는 스케일(scale) 변환(2차원 변환 데이터로서 Rigid-body, Affine, Similartiy 중 하나 이상을 변환) 중 적어도 어느 하나로 수행될 수도 있다.
데이터베이스부(116)는 공간 정보용 영상 데이터, 도로 시설물 및 보수 부분의 객체 정보를 연계하여 저장한다. 또한, 데이터베이스부(116)는 객체 정보와 연계된 공간 정보용 영상 데이터에 기초하여 보수 구간 위치 데이터를 적어도 포함하는 3차원 지도 데이터를 도 16의 좌측 도면과 같이 저장할 수 있다.
사용자는 데이터베이스부(116)에 접근하여 3차원 공간 정보를 편집하거나, 도화 및 모델링을 위해 3차원 공간 정보를 활용할 수 있다.
시설물 정보 입수부(123)는 제 3 차원 공간 정보에 속한 3차원 위치 데이터와 영상 데이터에 포함된 2차원 위치 데이터를 기초로 상기 도로 시설물과 대응하는 시설물 정보를 외부로부터 입수하여 가공할 수 있다.
구체적으로, 시설물 정보 입수부(123)는 도로 시설물과 관련된 시설물 정보를 포함하는 시계열적인 항공정사영상을 외부로부터 입수하여, 항공정사영상으로부터 도로선형정보(geometric line form information)를 추출하고, 도로선형정보에 기초하여 시설물 구조 정보 및 부속물을 시계열적으로 문서 또는 데이터 시트로 형태로 가공된 도로 기본 정보를 생성할 수 있다. 도로선형정보는 예를 들면, 시설물 구조 정보로서의 도로 포장, 지반 상황 등과 부속물로서의 중앙분리대, 표지, 도로 측방에 위치한 도랑형태의 측구 등과 관련된 정보일 수 있다.
시설물 정보 입수부(123)는 도로 시설물과 관련하여 이미지 형태로 축적된 2차원의 도면 데이터와 3D 모델을 외부로부터 접수하여, 이미지 기반 객체인식 및 3D 모델 인식에 의해 도면 데이터와 3D 모델을 디지털화함으로써 도면 정보를 생성할 수 있다. 3D 모델은 도로 시설물의 구성품과 관련된 렌더링 이미지와 개략 물량 등일 수 있다.
시설물 정보 입수부(123)는 도로 시설물과 관련하여 이미지 형태로 축적된 현황/유지 문서 및 데이터 시트를 입수하여, 이미지 기반 텍스트 인식에 의해 상기 문서 및 상기 데이터 시트를 디지털화함으로써 도로 현황/유지 정보를 생성할 수 있다. 현황/유지 문서 및 데이터 시트는 도로 시설물의 유지관리 내역, 도로 대장 및 도로현황 조서를 이용한 통계 정보 등을 포함할 수 있다.
도로 기본 정보, 도면 정보 및 도로 현황/유지 정보는 도로 시설물과 연관하여 데이터베이스부(116)에 저장되고, 데이터베이스부(116)는 외부 요청에 따라 요구 단말로 상술한 정보를 전송할 수 있다.
한편, 조작/표시부(118)는 객체 정보와 연계된 공간 정보용 영상 데이터를 사용자에게 화면 형태로 제공하면서 사용자 요청에 의한 소정 데이터를 편집할 수 있다. 조작/표시부(118)는 도 15 및 도 17에서와 같이, 사용자가 화면에 표시된 영상 중 특정의 도로 시설물 혹은 보수 부분의 적어도 일부를 지정한 경우에, 특정의 도로 시설물과 보수 부분의 3차원 위치 데이터 및 객체 정보 중 도로 시설물의 명칭을 적어도 표시하도록 제어하거나, 3차원 위치 데이터 및 객체 정보 중 적어도 어느 하나에 대한 사용자의 편집을 행하도록 제어할 수 있다.
조작/표시부(118)에 표현된 영상 데이터는 영상 픽셀에 3차원 공간정보가 포함된 RGB 영상 또는 흑백 영상들로 화면 상에 표시되고 사용자 또는 컴퓨팅 디바이스는 RGB 영상 또는 흑백 영상을 인식할 수 있도록 한다.
이에 더하여, 관심 지역 화면 생성부(120)는 도 15의 우측 및 하측 도면에서와 같이 사용자가 영상의 일부를 관심 지역(Point Of Interest)으로 선택한 경우에, 관심 지역을 확대 처리한 화면 형태로 표시하도록 조작/표시부(118)를 제어할 수 있다.
한편, 갱신부(122)는 복수의 속성 데이터를 포함하는 객체 정보를 포함하는 외부 데이터를 획득하여, 외부 데이터로부터 위치 데이터 및 도로 시설물의 상세 정보와 관련된 메타 데이터를 적어도 포함하는 객체 정보를 추출하고, 동일한 위치로 기록된 공간 정보용 영상 데이터의 객체 정보의 복수의 속성 데이터 중 적어도 어느 하나가 외부 데이터의 객체 정보와 상이할 경우, 공간 정보용 영상 데이터를 외부 데이터의 객체 정보로 갱신할 수 있다. 갱신된 객체 정보는 공간 정보용 영상 데이터와 연계되어 데이터베이스부(116)에 저장된다.
외부 데이터는 수치 지도 또는 도로 정밀 지도로서 본 시스템(100)이 아닌 외부 장치가 시스템(100)의 공간 정보용 영상 데이터와 동일한 위치로부터 획득한 데이터이다.
예를 들면, 공간 정보용 영상 데이터와 연계된 객체 정보에 속한 메타 데이터로서 도로 표지판의 속도 제한이 30km로 저장되어 있으나, 수치지도 또는 도로 정밀 지도 등의 외부 데이터의 메타 데이터로서 동일 위치에 있는 도로 표지판의 속도 제한이 40km로 기록되어 있는 외부 데이터가 획득된 경우에, 갱신부(122)는 공간 정보용 영상 데이터의 객체 정보를 40km로 변경한다.
도 1을 통해 설명한 왜곡 제거부(110), 영상 데이터 가공부(112), 객체 검출 인식부(114), 데이터베이스부(116), 갱신부(122) 및 시설물 정보 입수부(123)는 많은 데이터처리가 필요한 고부담 처리 모듈(H), 예컨대 서버측에서 이루어질 수 있다. 조작/표시부(118) 및 관심 지역 화면 생성부(120)는 상술한 부재보다 데이터처리 부담이 적은 저부담 처리 모듈(L), 예를 들면 클라우드 또는 클라이언트 측에서 구현될 수 있다. 본 실시예에서 데이터처리 부담에 따른 모듈을 구별하여 설명하였으나, 다른 실시예에서는 하나의 통합된 모듈에서 상술한 부재의 기능 전부가 구현될 수 있다.
이하, 도 1 내지 도 17을 참조하여, 본 발명의 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 방법에 대해 설명하기로 한다.
도 5는 본 발명의 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 방법에 관한 순서도이다.
먼저, 영상 센서(102), 3차원 측량 센서(104) 및 항법 센서(106)는 각각의 관측 데이터 및 취득 당시의 시간 정보를 취득하고, 데이터 융합부(108)는 각 센서(102~106)마다 정의된 기하 파라미터를 기초로 산출된 내부 기하를 획득한다(S505).
영상 센서(102), 3차원 측량 센서(104) 및 항법 센서(106)를 포함하는 센서 데이터 수집부는 각 센서(102~106) 마다의 고유 데이터를 추가로 획득할 수 있다. 내부 기하는 시스템(100)에 대한 설명에서 상세하게 기재하여 상세 설명은 생략하기로 한다.
다음으로, 데이터 융합부(108)는 관측 데이터, 내부 기하 및 센서들(102~106) 중 적어도 하나가 탑재된 플랫폼(10)의 위치와 자세에 따른 각 센서(102~106) 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 도 6에서와 같이, 기하 모델에 대한 데이터 융합을 수행한다(S510). 도 6은 기하 구조 정보를 생성하기 위한 기하 모델의 개념을 나타내는 도면이다.
데이터 융합부(108)는 관측 데이터, 기하 구조 정보 및 시간 정보 등에 근거하여 3차원 측량 센서(104)와 관련된 점군 데이터 관련 정보를 생성하고, 영상 센서(102)의 데이터로부터 생성되어 지오코딩 영상 정보를 포함하는 영상 데이터를 생성할 수 있다. 점군 데이터 관련 정보 및 지오코딩 영상 정보는 상술한 데이터를 포함할 수 있으며, 이에 대한 상세 설명은 생략하기로 한다.
이어서, 왜곡 제거부(110)는 영상 센서가 광역 영상 센서인지 여부를 판단한다(S515). 도 7(a)에서와 같이 측정 지점(원 형상의 점)마다 쵤영된 광역 영상 센서로부터의 영상 데이터는 도 7(b)에서와 같이 왜곡된 영상으로 생성된다. 도 7은 광역 영상 센서로부터 촬영된 영상 데이터로서 왜곡된 파노라마 영상을 나타내는 도면이다.
왜곡 제거부(110)는 추가적으로 광역 영상 센서의 종류, 왜곡 제거의 양호도, 사용자의 선택 및 그 외 옵션 중 적어도 어느 하나에 따라. 인덱스 기반 왜곡 제거부(110)와 기하 모델 기반 왜곡 제거부(110)를 선택할 수 있다.
계속해서 광역 영상 센서로부터 영상 데이터가 생성된 경우에, 왜곡 제거부(110)는 영상 데이터의 왜곡을 제거한다(S415). 왜곡 제거 과정은 광역 영상 센서의 종류, 왜곡 제거의 양호도 및 사용자의 선택 중 적어도 어느 하나에 따라 선택된 인덱스 기반 왜곡 제거부(110) 또는 기하 모델 기반 왜곡 제거부(110)로 진행된다. 이하에서는 도 8 내지 도 13을 참조하여, 인덱스 기반 왜곡 제거부(110) 및 기하 모델 기반 왜곡 제거부(110)를 구별하여 왜곡 제거 과정을 상세히 설명한다.
도 8은 인덱스 기반 왜곡 제거부에서 영상의 왜곡을 제거하는 과정에 관한 순서도이다. 도 9는 기하 모델 기반 왜곡 제거부에서 영상의 왜곡을 제거하는 과정에 관한 순서도이다. 도 10 및 도 11은 인덱스 기반 왜곡 제거부에서 영상 왜곡 제거의 과정을 개략적으로 도시한 도면이다. 도 12는 기하 모델 기반 왜곡 제거부에서 영상 왜곡 제거의 과정을 개략적으로 도시한 도면이다. 도 13은 왜곡 제거부에서 왜곡이 제거된 영상 데이터를 예시한 도면이다.
먼저, 인덱스 기반 왜곡 제거부(110)에서의 영상 왜곡 제거 과정을 도 8, 도 10 및 도 11을 참조하여 설명하면, 어안 렌즈를 구비한 광역 영상 센서로 인해 왜곡된 어안 렌즈용 영상 데이터가 입력되는 경우에(S805), 픽셀 인덱스 부여부(128)는 도 10에서와 같이, 영상 데이터로부터의 왜곡 영상 데이터와 참조용 평면 영상 데이터 간의 대응 관계를 정의하도록 각 픽셀에 인덱스를 부여한다(S810).
다음으로, 구간 분해부(130)는 인덱스가 부여된 왜곡 영상 데이터를 기 설정된 구간으로 분해한다(S815).
이어서, 평면 영상 생성부(132)는 참조용 평면 영상 데이터를 참조하여, 분해된 구간의 왜곡 보정 모델을 기반으로 왜곡 영상 데이터의 왜곡을 제거함으로써 평면 영상 데이터를 생성한다(S820).
왜곡 보정 모델은 분해된 구간의 수식 또는 인덱스에 기반한 모델링일 수 있다.
만약, 전방위 영상 데이터가 인덱스 기반 왜곡 제거부(110)에 입력되면, 픽셀 인덱스 부여부(128) 및 구간 분해부(130)에서 처리되며, 처리 과정은 도 11의 2번째 단계까지 진행된다.
다음으로, 구간 재분해부(134)는 도 11의 3번째 단계에서와 같이, 구간 분해부(130)에 의해 분해된 전방위 영상을 기 설정된 구간으로 재분해한다. 이어서, 평면 영상 생성부(132)는 구간 재분해부(134)에 의해 재분해된 구간의 왜곡 보정 모델, 예컨대 수식 또는 인덱스 기반으로 왜곡을 제거하여, 도 13의 우측 도면과 같이, 평면 영상 데이터를 생성한다.
한편, 기하 모델 기반 왜곡 제거부(110)에서의 영상 왜곡 제거 과정을 도 9, 도 12을 참조하여 설명하면, 전방위 영상을 생성하는 광역 영상 센서로 인해 왜곡된 전방위 영상 데이터가 입력되는 경우에(S905), 3차원 형상 복원부(136)는 영상 데이터로부터의 왜곡 영상 데이터에 기반한 카메라 기하식 기반 왜곡 영상 데이터로부터 가상의 3차원 형상을 복원한다(S910).
다음으로, 평면 영상 생성부(138)는 가상의 카메라 기하식을 정의하고 기하식을 통해 가상의 평면 카메라에 투영함으로써 평면 영상 데이터를 생성한다(S915).
다시 도 5를 재참조하면, 왜곡이 제거된 영상 혹은 왜곡이 없는 영상(S515의 N인 경우)은 영상 데이터 가공부(112)로 입력되며, 영상 데이터 가공부(112)는 영상 데이터의 픽셀과 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 기하 구조 정보 및 시간 정보를 참조하여, 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보(도 14의 좌측 도면)로부터 생성된 3차원 공간 정보(20)를 도 14에서와 같이, 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성한다(S525).
도 14는 3차원 공간 정보를 영상 데이터의 픽셀 단위로 등록하여 생성된 공간 정보용 영상 데이터를 예시한 도면이다.
3차원 공간 정보는 지오코딩용 좌표 데이터에서 2차원 위치 데이터만 포함하는 영상 데이터를 보완하기 위해 3차원 위치 데이터 뿐만 아니라 점군 데이터 관련 정보를 구성하는 상술의 다양한 데이터 등을 포함할 수 있다. 공간 정보용 영상 데이터는 각 픽셀마다 지오코딩용 영상 정보와 3차원 공간 정보를 결합하여 구성될 수 있다.
인덱스의 생성은 상술하여 상세 설명은 생략하기로 한다.
영상 센서(102)와 3차원 측량 센서(104)의 시야각이 일치하지 않거나, 3차원 측량 센서(104)의 시야각이 영상 센서(102)의 화각 범위를 충분히 커버하지 못한 경우에, 영상 데이터 가공부(112)는 항법 데이터와 각 센서(102~106)의 시간 정보를 사용하여 영상 데이터의 픽셀 단위로 3차원 공간 정보를 등록할 수 있다.
영상 데이터의 픽셀에 3차원 공간 정보를 부여하기 위한 모델은 상술한 수학식 1와 같이 정의될 수 있으며, 일부 수식 및 변수는 계산시 변형되거나 생략될 수 있다.
RGB 영상 또는 흑백 영상의 형태로 영상 데이터가 표시될 때에, 영상에 각 픽셀에 3차원 공간 정보를 부여하거나 각 픽셀에 시간, 인덱스, 항법 데이터를 부여하도록, 영상 데이터 가공부(112)는 각 픽셀마다 지오코딩용 영상 정보, 3차원 공간 정보, 시간 정보, 인덱스, 항법 데이터를 전체 연계하여 데이터베이스부(116) 저장시킬 수 있다.
다음으로, 객체 검출 인식부(114)는 공간 정보용 영상 데이터에 근거하여 도로 시설물및 시설물의 보수 부분과 관련된 객체 정보를 기계 학습을 통해 검출하고 인식한다(S530). 도로 시설물 및 객체 정보는 시설물 인식부(140) 및 보수 부분 인식부(142)에서 도 15 및 도 16에서와 같이 생성된다. 객체 정보를 구성하는 복수의 속성 데이터 및 기계 학습 과정은 앞서 열거하여 상세 설명은 생략하기로 한다.
도 15는 사용자가 조작/표시부에 제공된 영상에 있어서 특정의 도로 시설물을 지정한 경우, 도로 시설물의 위치 데이터 및 객체 정보의 일부를 조작/표시부에 출력한 화면을 예시한 도면이고, 도 16은 객체 검출 인식부에서 공간 정보용 영상 데이터에 근거하여 도로 시설물의 보수 부분을 기계 학습에 의해 검출, 인식하여 객체 정보로 판독하고, 데이터베이스부에서 3차원 보수 구간 위치 데이터가 저장된 것을 예시한 도면이다.
객체 검출 인식부(114)는 기계 학습 이전에, 공간 정보용 영상 데이터에서의 객체 검출 및 인식의 정확도를 향상시키는 전처리를 수행할 수 있으며, 전처리의 기법은 상술하여 생략한다.
계속해서, 데이터베이스부(116)는 도로 시설물 및 보수 부분의 객체 정보가 추가된 공간 정보용 영상 데이터에 기초하여 보수 구간 위치 데이터를 적어도 포함하는 3차원 지도 데이터를 도 16의 좌측 도면과 같이 저장한다(S535).
이와 동시에, 데이터베이스부(116)는 공간 정보용 영상 데이터, 도로 시설물 및 보수 부분의 객체 정보를 연계하여 저장한다.
다음으로, 조작/표시부(118)는 객체 정보와 연계된 공간 정보용 영상 데이터를 사용자에게 화면 형태로 제공하며, 관심 지역 화면 생성부(120)는 도 15의 우측 및 하측 도면에서와 같이 사용자가 영상의 일부를 관심 지역으로 선택한 경우에, 조작/표시부(118)를 제어하여 관심 지역을 확대 처리한 화면 형태로 표시한다(S540).
조작/표시부(118)는 도 15 및 도 17에서와 같이, 사용자가 화면에 표시된 영상 중 특정의 도로 시설물 혹은 보수 부분의 적어도 일부를 지정한 경우에, 특정의 도로 시설물과 보수 부분의 3차원 위치 데이터 및 객체 정보 중 도로 시설물의 명칭을 적어도 표시한다.
도 17은 객체 정보가 포함된 공간 정보용 영상 데이터가 조작/표시부에 제공되는 경우에 제공하는 정보들을 예시한 도면이다.
본 실시예에 따르면, 도로 시설물의 현황 및 보수 부분을 용이하면서 정확하게 확인할 수 있도록, 영상 센서(102) 중심으로 레이저 센서와 같은 3차원 측량 센서(104)와 항법 센서(106)를 융합하여 2차원 영상 데이터의 각 픽셀에 정확한 3차원 공간 정보를 등록하여 영상 픽셀 기반의 서비스를 제공할 수 있다.
또한, 영상 센서(102) 중심으로 시스템(100)의 기하를 정의하여 정확도를 향상시키고 처리시간을 단축시킨다. 아울러, 영상 기반의 기계 학습이 시스템에 적용 가능하여 도화 및 모델링 작업시간을 단축시키고 정확도를 향상시킨다.
이에 더하여, 라이다 등의 3차원 측량 센서(104)와 영상 센서(102) 간 시야각이 일치하지 않는 경우에, 항법 센서(106)의 데이터와 각 센서 관측에 따른 시간 정보를 사용하여 영상 픽셀에 3차원 공간 정보를 부여할 수 있다.
아울러, 각 센서(102~106)와 데이터에 인덱스를 부여하고 서로 연계하여 데이터 처리시간을 단축하고 데이터 용량을 감소시킬 수 있다.
이하, 도 1 및 도 18을 참조하여, 본 발명의 실시예에 따른 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템에서 공간 정보용 영상 데이터의 객체 정보를 갱신하는 과정에 대해 설명하기로 한다.
도 18은 본 발명의 실시예에 따라 갱신부에서 공간 정보용 영상 데이터와 상이한 객체 정보를 포함하는 외부 데이터가 획득되는 경우의 공간 정보용 영상 데이터를 갱신하는 과정을 나타낸 순서도이다.
이러한 상황을 예로 들면, 공간 정보용 영상 데이터와 연계된 객체 정보에 속한 메타 데이터로서 도로 표지판의 속도 제한이 30km으로 저장되어 있으나, 수치지도 또는 도로 정밀 지도 등의 외부 데이터의 메타 데이터로서 동일 위치에 있는 도로 표지판의 속도 제한이 40km로 기록되어 있는 외부 데이터가 획득되는 등일 수 있다.
먼저, 갱신부(122)는 S530 또는 S535 단계와 같이 객체 정보가 추가된 공간 정보용 영상 데이터가 생성한 후에. 복수의 속성 데이터를 포함하는 객체 정보를 포함하는 외부 데이터를 획득한다(S1805).
다음으로, 갱신부(122)는 외부 데이터로부터 위치 데이터 및 도로 시설물의 상세 정보와 관련된 메타 데이터를 적어도 포함하는 객체 정보를 추출한다(S1810)
이어서, 갱신부(122)는 동일한 위치로 기록된 공간 정보용 영상 데이터의 객체 정보의 복수의 속성 데이터 중 적어도 어느 하나가 외부 데이터의 객체 정보와 상이할 경우(S1815), 공간 정보용 영상 데이터를 외부 데이터의 객체 정보로 갱신한다(S1820). 갱신된 객체 정보는 공간 정보용 영상 데이터와 연계되어 데이터베이스부(116)에 저장된다.
이와는 달리, 갱신부(122)는 공간 정보용 영상 데이터와 외부 데이터가 동일한 경우에, 공간 정보용 영상 데이터의 객체 정보를 유지시킨다(S1825).
도 1, 도 3, 도 4에 도시된 시스템(100)을 구성하는 구성요소 또는 도 5, 도 8, 도 9 및 도 18에 도시된 실시예들에 따른 단계는 그 기능을 실현시키는 프로그램의 형태로 컴퓨터 판독가능한 기록 매체에 기록될 수 있다. 여기에서, 컴퓨터 판독 가능한 기록 매체란, 데이터나 프로그램 등의 정보를 전기적, 자기적, 광학적, 기계적, 또는 화학적 작용에 의해 축적하고, 컴퓨터에서 판독할 수 있는 기록 매체를 말한다. 이러한 기록 매체 중 컴퓨터로부터 분리 가능한 것으로서는, 예를 들면, 휴대용 스토리지(portalbe storage), 플렉시블 디스크, 광자기 디스크, CD-ROM, CD-R/W, DVD, DAT, 메모리 카드 등이 있다. 또한, 모바일 디바이스 및 컴퓨터에 고정된 기록 매체로서 SSD(Solid State Disk), 하드디스크나 ROM 등이 있다.
또한, 이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

Claims (17)

  1. 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서로부터 각각 도로 시설물에 대한 관측 데이터 및 시간 정보를 수집하는 센서 데이터 수집부;
    각 센서마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 상기 센서들 중 적어도 하나가 탑재된 플랫폼의 위치와 자세에 따른 각 센서 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행하는 데이터 융합부;
    상기 영상 센서의 관측 데이터로부터의 영상 데이터의 픽셀과 상기 3차원 측량 센서의 관측 데이터로부터의 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 상기 기하 구조 정보 및 상기 시간 정보를 참조하여, 상기 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 상기 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성하는 영상 데이터 가공부;
    상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 관련된 객체 정보를 검출하고 인식하는 객체 검출 인식부; 및
    상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 데이터베이스부를 포함하는 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템.
  2. 제 1 항에 있어서,
    상기 점군 데이터 관련 정보는 3차원 위치 데이터와 함께, 점군용 색상 정보, 상기 3차원 위치 데이터로부터 추출된 대상물에서 종류가 추정된 점군용 클래스 정보 및 상기 3차원 측량 센서가 레이저 센서인 경우의 레이저 강도 정보 중 적어도 어느 하나를 포함하는 도로 시설물 관리 솔루션을 구현하는 시스템.
  3. 제 1 항에 있어서,
    상기 객체 검출 인식부는 기계 학습을 통해, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 함께, 상기 도로 시설물의 보수 부분을 검출하여 인식하며,
    상기 객체 정보는 상기 도로 시설물 및 상기 보수 부분과 관련하여, 대상물의 종류, 명칭, 상세 정보와 관련된 메타 데이터, 형상, 모양, 질감을 포함하는 속성 데이터를 포함하는 도로 시설물 관리 솔루션을 구현하는 시스템.
  4. 제 3 항에 있어서,
    상기 데이터베이스부는 상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터에 기초하여 보수 구간 위치 데이터를 적어도 포함하는 3차원 지도 데이터를 저장하는 도로 시설물 관리 솔루션을 구현하는 시스템.
  5. 제 1 항에 있어서,
    상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터를 사용자에게 화면 형태로 제공하면서 소정 데이터를 편집가능한 조작/표시부를 더 포함하고,
    상기 조작/표시부는 사용자가 상기 화면에 표시된 영상 중 특정의 도로 시설물의 적어도 일부를 지정한 경우에, 상기 특정의 도로 시설물의 3차원 위치 데이터 및 상기 객체 정보 중 상기 도로 시설물의 명칭을 적어도 표시하도록 제어하거나, 상기 3차원 위치 데이터 및 상기 객체 정보 중 적어도 어느 하나에 대한 사용자의 편집을 수행하도록 제어하고,
    상기 사용자가 상기 영상의 일부를 관심 지역으로 선택한 경우에, 상기 관심 지역을 확대 처리한 화면 형태로 표시하도록 상기 조작/표시부를 제어하는 관심 지역 화면 생성부를 더 포함하는 도로 시설물 관리 솔루션을 구현하는 시스템.
  6. 제 5 항에 있어서,
    상기 영상 데이터 가공부, 상기 객체 검출 인식부 및 상기 데이터베이스부는 고부담 처리 모듈에서 구현되며, 상기 표시/조작부는 상기 고부담 처리 모듈보다 낮은 연산처리능력을 갖는 저부담 처리 모듈에서 구현되는 도로 시설물 관리 솔루션을 구현하는 시스템.
  7. 제 1 항에 있어서,
    복수의 속성 데이터를 갖는 객체 정보가 포함된 외부 데이터를 획득하여, 상기 외부 데이터로부터 위치 데이터 및 상기 도로 시설물의 상세 정보와 관련된 메타 데이터를 적어도 포함하는 객체 정보를 추출하고, 동일한 위치로 기록된 상기 공간 정보용 영상 데이터의 객체 정보의 복수의 속성 데이터 중 적어도 어느 하나가 상기 외부 데이터의 객체 정보와 상이할 경우, 상기 공간 정보용 영상 데이터를 상기 외부 데이터의 상기 객체 정보로 갱신하는 갱신부를 더 포함하는 도로 시설물 관리 솔루션을 구현하는 시스템.
  8. 제 1 항에 있어서,
    상기 영상 센서가 평면 영상을 생성하는 평면 영상 센서보다 넓은 화각을 갖는 광역 영상 센서로 구성되는 경우에, 상기 광역 영상 센서의 관측 데이터로부터의 영상 데이터는 파노라마 영상으로 생성되며, 상기 파노라마 영상의 왜곡을 제거하는 왜곡 제거부를 더 포함하고,
    상기 왜곡 제거부는 상기 영상 데이터가 입력되면 인덱스 기반의 영상 왜곡 제거를 수행하는 인덱스 기반 왜곡 제거부와, 상기 영상 데이터가 입력되면 기하 모델 기반의 영상 왜곡 제거를 수행하는 기하 모델 기반 왜곡 제거부를 구비하며,
    상기 왜곡 제거부는 상기 광역 영상 센서의 종류, 왜곡 제거의 양호도 및 사용자의 선택 중 적어도 어느 하나에 따라 상기 인덱스 기반 왜곡 제거부와 상기 기하 모델 기반 왜곡 제거부 중 어느 하나로 영상 왜곡 제거를 수행하는 도로 시설물 관리 솔루션을 구현하는 시스템.
  9. 제 8 항에 있어서,
    상기 인덱스 기반 왜곡 제거부는,
    상기 영상 데이터로부터의 왜곡 영상 데이터와 참조용 평면 영상 데이터 간의 대응 관계를 정의하도록 각 픽셀에 인덱스를 부여하는 픽셀 인덱스 부여부와,
    상기 인덱스가 부여된 상기 왜곡 영상 데이터를 기 설정된 구간으로 분해하는 구간 분해부와,
    상기 참조용 평면 영상 데이터를 참조하여, 분해된 구간의 왜곡 보정 모델을 기반으로 상기 왜곡 영상 데이터의 왜곡을 제거함으로써 평면 영상 데이터를 생성하는 평면 영상 생성부를 포함하는 도로 시설물 관리 솔루션을 구현하는 시스템.
  10. 제 8 항에 있어서,
    상기 기하 모델 기반 왜곡 제거부는 상기 영상 데이터로부터의 왜곡 영상 데이터에 기반한 카메라 기하식 기반 왜곡 영상 데이터로부터 가상의 3차원 형상을 복원하는 3차원 형상 복원부와,
    가상의 카메라 기하식을 정의하고 상기 기하식을 통해 가상의 평면 카메라에 투영함으로써 평면 영상 데이터를 생성하는 평면 영상 생성부를 포함하는 도로 시설물 관리 솔루션을 구현하는 시스템.
  11. 제 1 항에 있어서,
    상기 제 3 차원 공간 정보에 속한 상기 3차원 위치 데이터와 상기 영상 데이터에 포함된 2차원 위치 데이터를 기초로 상기 도로 시설물과 대응하는 시설물 정보를 외부로부터 입수하여 가공하는 시설물 정보 입수부를 더 포함하고,
    상기 시설물 정보 입수부는 상기 도로 시설물과 관련된 상기 시설물 정보를 포함하는 시계열적인 항공정사영상을 외부로부터 입수하여, 상기 항공정사영상으로부터 도로선형정보(geometric line form information)를 추출하고, 상기 도로선형정보에 기초하여 시설물 구조 정보 및 부속물을 시계열적으로 문서 또는 데이터 시트로 형태로 가공된 도로 기본 정보를 생성하고,
    상기 시설물 정보 입수부는 상기 도로 시설물과 관련하여 이미지 형태로 축적된 2차원의 도면 데이터와 3D 모델을 외부로부터 접수하여, 이미지 기반 객체인식 및 3D 모델 인식에 의해 상기 도면 데이터와 상기 3D 모델을 디지털화함으로써 도면 정보를 생성하고,
    상기 시설물 정보 입수부는 상기 도로 시설물과 관련하여 이미지 형태로 축적된 현황/유지 문서 및 데이터 시트를 입수하여, 이미지 기반 텍스트 인식에 의해 상기 문서 및 상기 데이터 시트를 디지털화함으로써 도로 현황/유지 정보를 생성하고,
    상기 도로 기본 정보, 상기 도면 정보 및 상기 도로 현황/유지 정보를 상기 도로 시설물과 연관하여 상기 데이터베이스부에 저장하는 도로 시설물 관리 솔루션을 구현하는 시스템.
  12. 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서로부터 각각 도로 시설물에 대한 관측 데이터 및 시간 정보를 수집하는 단계;
    각 센서마다 정의된 기하 파라미터를 기초로 산출된 내부 기하 및 상기 센서들 중 적어도 하나가 탑재된 플랫폼의 위치와 자세에 따른 각 센서 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하 모델에 대한 데이터 융합을 수행하는 단계;
    상기 영상 센서의 관측 데이터로부터의 영상 데이터의 픽셀과 상기 3차원 측량 센서의 관측 데이터로부터의 점군 데이터 관련 정보의 3차원 위치 데이터 간에 대응 관계를 정의하도록 부여된 인덱스, 상기 기하 구조 정보 및 상기 시간 정보를 참조하여, 상기 3차원 위치 데이터를 적어도 포함하는 점군 데이터 관련 정보로부터 생성된 3차원 공간 정보를 상기 영상 데이터의 픽셀 단위로 등록하여 공간 정보용 영상 데이터를 생성하는 단계;
    상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 관련된 객체 정보를 검출하고 인식하는 단계; 및
    상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 단계를 포함하는 3D-VR 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 방법.
  13. 제 12 항에 있어서,
    상기 점군 데이터 관련 정보는 3차원 위치 데이터와 함께, 점군용 색상 정보, 상기 3차원 위치 데이터로부터 추출된 대상물에서 종류가 추정된 점군용 클래스 정보 및 상기 3차원 측량 센서가 레이저 센서인 경우의 레이저 강도 정보 중 적어도 어느 하나를 포함하는 도로 시설물 관리 솔루션을 구현하는 방법.
  14. 제 12 항에 있어서,
    상기 객체 정보를 검출하고 인식하는 단계는 기계 학습을 통해, 상기 공간 정보용 영상 데이터에 근거하여 상기 도로 시설물과 함께, 상기 도로 시설물의 보수 부분을 검출하여 인식하며,
    상기 객체 정보는 상기 도로 시설물 및 상기 보수 부분과 관련하여, 대상물의 종류, 명칭, 상세 정보와 관련된 메타 데이터, 형상, 모양, 질감을 포함하는 속성 데이터를 포함하는 도로 시설물 관리 솔루션을 구현하는 방법.
  15. 제 14 항에 있어서,
    상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 단계는 상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터에 기초하여 보수 구간 위치 데이터를 적어도 포함하는 3차원 지도 데이터를 저장하는 도로 시설물 관리 솔루션을 구현하는 방법.
  16. 제 12 항에 있어서,
    상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 단계 후에,
    상기 객체 정보와 연계된 상기 공간 정보용 영상 데이터를 사용자에게 화면 형태로 제공하거나 소정 데이터를 편집하는 단계; 및
    상기 사용자가 상기 영상의 일부를 관심 지역으로 선택한 경우에, 상기 관심 지역을 확대 처리한 화면 형태로 표시하도록 제어하는 단계를 더 포함하고,
    사용자가 상기 화면에 표시된 영상 중 특정의 도로 시설물의 적어도 일부를 지정한 경우에, 상기 특정의 도로 시설물의 3차원 위치 데이터 및 상기 객체 정보 중 상기 도로 시설물의 명칭을 적어도 표시하거나, 상기 3차원 위치 데이터 및 상기 객체 정보 중 적어도 어느 하나에 대한 사용자의 편집을 수행하도록 제어하는 도로 시설물 관리 솔루션을 구현하는 방법.
  17. 제 12 항에 있어서,
    상기 공간 정보용 영상 데이터와 상기 객체 정보를 연계하여 저장하는 단계 후에,
    복수의 속성 데이터를 갖는 객체 정보가 포함된 외부 데이터를 획득하는 단계;
    상기 외부 데이터로부터 위치 데이터 및 상기 도로 시설물의 상세 정보와 관련된 메타 데이터를 적어도 포함하는 객체 정보를 추출하는 단계;
    동일한 위치로 기록된 상기 공간 정보용 영상 데이터의 객체 정보의 복수의 속성 데이터 중 적어도 어느 하나가 상기 외부 데이터의 객체 정보와 상이할 경우, 상기 공간 정보용 영상 데이터를 상기 외부 데이터의 상기 객체 정보로 갱신하는 단계를 더 포함하는 도로 시설물 관리 솔루션을 구현하는 방법.
PCT/KR2020/002651 2019-03-15 2020-02-25 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 Ceased WO2020189909A2 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190029698 2019-03-15
KR10-2019-0029698 2019-03-15
KR10-2019-0111249 2019-09-09
KR1020190111249A KR102200299B1 (ko) 2019-03-15 2019-09-09 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
WO2020189909A2 true WO2020189909A2 (ko) 2020-09-24
WO2020189909A3 WO2020189909A3 (ko) 2020-11-12

Family

ID=72520376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/002651 Ceased WO2020189909A2 (ko) 2019-03-15 2020-02-25 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법

Country Status (1)

Country Link
WO (1) WO2020189909A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487746A (zh) * 2021-05-25 2021-10-08 武汉海达数云技术有限公司 一种车载点云着色中最优关联影像选择方法及系统
CN114419231A (zh) * 2022-03-14 2022-04-29 幂元科技有限公司 基于点云数据和ai技术的交通设施矢量识别提取分析系统
CN116244343A (zh) * 2023-03-20 2023-06-09 张重阳 一种基于大数据和vr的跨平台3d智能交通指挥方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456556B1 (ko) * 2012-11-16 2014-11-12 한국건설기술연구원 실측자료를 이용한 도로 자동 도면화 방법
KR101796357B1 (ko) * 2015-09-25 2017-11-09 한남대학교 산학협력단 멀티측량센서모듈이 구비된 절첩식 모바일 매핑 장치용 프레임, 그 프레임이 구비된 도로기하구조 분석시스템
KR102475039B1 (ko) * 2017-06-30 2022-12-07 현대오토에버 주식회사 지도 정보 갱신 장치, 방법 및 시스템
KR101916419B1 (ko) * 2017-08-17 2019-01-30 주식회사 아이닉스 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
KR101954963B1 (ko) * 2018-01-15 2019-03-07 주식회사 스트리스 수치지도 및 도로정밀지도 구축 자동화를 위한 장치 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487746A (zh) * 2021-05-25 2021-10-08 武汉海达数云技术有限公司 一种车载点云着色中最优关联影像选择方法及系统
CN113487746B (zh) * 2021-05-25 2023-02-24 武汉海达数云技术有限公司 一种车载点云着色中最优关联影像选择方法及系统
CN114419231A (zh) * 2022-03-14 2022-04-29 幂元科技有限公司 基于点云数据和ai技术的交通设施矢量识别提取分析系统
CN114419231B (zh) * 2022-03-14 2022-07-19 幂元科技有限公司 基于点云数据和ai技术的交通设施矢量识别提取分析系统
CN116244343A (zh) * 2023-03-20 2023-06-09 张重阳 一种基于大数据和vr的跨平台3d智能交通指挥方法及系统
CN116244343B (zh) * 2023-03-20 2024-01-19 麦乐峰(厦门)智能科技有限公司 一种基于大数据和vr的跨平台3d智能交通指挥方法及系统

Also Published As

Publication number Publication date
WO2020189909A3 (ko) 2020-11-12

Similar Documents

Publication Publication Date Title
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2019093532A1 (ko) 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN114485579B (zh) 海面测量系统、海面测量方法以及存储介质
WO2020101156A1 (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
JP2010504711A (ja) 地理空間モデルにおいて移動しているオブジェクトを追跡する映像監視システム及びその方法
WO2016035993A1 (ko) 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법
CN116883604A (zh) 一种基于天、空、地影像的三维建模技术方法
WO2019135544A1 (ko) 차량 주변의 이미지를 제공하는 전자 장치 및 방법
JP2022042146A (ja) データ処理装置、データ処理方法およびデータ処理用プログラム
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2021230466A1 (ko) 차량 위치 결정 방법 및 시스템
CN103411587B (zh) 定位定姿方法及系统
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2016206108A1 (en) System and method for measuring a displacement of a mobile platform
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
WO2020085541A1 (en) Method and device for processing video
JP3398796B2 (ja) 複合現実感を利用した３次元測量支援用画像システム
CN116007625A (zh) 基于标识图结合惯性导航的室内ar定位导航方法及系统
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
Manandhar et al. Geo-referencing of multi-sensor range data for vehicle-borne laser mapping system (VLMS)
Kang et al. An automatic mosaicking method for building facade texture mapping using a monocular close-range image sequence

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20773592

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20773592

Country of ref document: EP

Kind code of ref document: A2