KR20200020200A - 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법 - Google Patents

다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법 Download PDF

Info

Publication number
KR20200020200A
KR20200020200A KR1020180095616A KR20180095616A KR20200020200A KR 20200020200 A KR20200020200 A KR 20200020200A KR 1020180095616 A KR1020180095616 A KR 1020180095616A KR 20180095616 A KR20180095616 A KR 20180095616A KR 20200020200 A KR20200020200 A KR 20200020200A
Authority
KR
South Korea
Prior art keywords
information
indoor
aerial vehicle
unmanned aerial
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180095616A
Other languages
English (en)
Other versions
KR102104031B1 (ko
Inventor
윤원근
최인호
김태식
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020180095616A priority Critical patent/KR102104031B1/ko
Publication of KR20200020200A publication Critical patent/KR20200020200A/ko
Application granted granted Critical
Publication of KR102104031B1 publication Critical patent/KR102104031B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법에 관한 것으로서, 더욱 상세하게는, 다양한 센서들의 융합 적용을 통해 실내나 빛이 없는 어두운 환경 또는 조도가 급변하는 환경에서도 무인이동체의 원활한 위치추정을 수행할 수 있는 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 방법에 관한 것이다.

Description

다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법 {Indoor 3D location estimating system and method using multiple sensors}
본 발명은 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법에 관한 것으로, 더욱 상세하게는 다양한 센서들의 융합 적용을 통해 실내나 빛이 없는 어두운 환경 또는 조도가 급변하는 환경에서도 무인이동체의 원활한 위치추정을 수행할 수 있으며, 더 나아가, 3차원 지도까지 생성할 수 있는 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법에 관한 것이다.
실내 3차원 지도를 구현함에 있어서, 실내와 같은 환경에서는 GPS의 정보를 수신할 수 없기 때문에, 이를 활용한 위치추정이 불가능하며, 단순히 IMU 센서만을 이용할 경우에는 시간에 따라 Drift 오차가 누적되기 때문에 장기간 신뢰할 수 없다.
그렇기 때문에, 물체의 거리 정보를 추출할 수 있는 스테레오 카메라 또는 깊이 카메라를 이용하여 이를 무인이동체에 장착하여 획득한 정보들을 이용하여 실내 3차원 지도를 구현하고 있다.
상세하게는, 무인이동체의 자기 위치를 추정하는데 연속적인 시간의 흐름에 따라 t1의 영상데이터의 특징점(Feature Point)과 t2의 영상데이터의 특징점을 추적(tracking)하여 위치 및 자세(Visual Odometry) 데이터를 생성하고, 이를 무인이동체에 장착된 IMU 센서 융합을 통해서 3차원 실내 지도를 생성해왔다.
그렇지만, 스테레오 카메라 또는 깊이 카메라의 경우, 동굴, 광산, 터널 등과 같이 빛의 세기가 약한 환경이나, 유리 등과 같이 조도의 급격한 변화가 있는 환경에서는 정확한 영상 데이터를 획득하기가 어렵기 때문에, 위치 및 자세 데이터를 생성하기 어려운 실정이다.
특히, 무인이동체를 이용하여 실내 3차원 지도를 구현하는 큰 이유가, 실제 사람이 들어갈 수 없는 동굴, 광산, 터널 등과 같은 저조도의 환경에서, 무인이동체만을 이용하여 실내 3차원 지도를 구현하는데 있기 때문에, 상술한 문제점을 해소하기 위한 개선이 반드시 필요한 상황이다.
이와 관련해서, 국내등록특허 제10-0997084호("지하시설물의 실시간 정보제공 방법 및 시스템, 이를 위한 서버 및 그 정보제공방법, 기록매체")에서는 지하시설물 정보를 그래픽을 통해 3차원 시각적으로 실시간 확인할 수 있도록 하는 방법 및 시스템을개시하고 있다.
국내 등록 특허 제10-0997084호(등록일 2010.11.23.)
본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 다양한 센서들의 융합 적용을 통해 실내나 빛이 없는 어두운 환경 또는 조도가 급변하는 환경에서도 무인이동체의 원활한 위치추정을 수행할 수 있는 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 다중센서 융합을 통한 실내 3차원 위치 추정 시스템은, 무인비행체에 구비되어, 상기 무인비행체의 위치정보를 센싱하는 위치센서부(100), 상기 무인비행체에 구비되어, 상기 무인비행체의 자세정보를 센싱하는 자세센서부(200) 및 상기 무인비행체와 네트워크 연결되어, 상기 위치센서부(100) 및 자세센서부(200)로부터 전달받은 상기 위치정보와 자세정보들을 기설정된 알고리즘에 적용하여, 상기 무인비행체의 자기위치 측정정보(Odometry)를 생성하는 통합처리부(300)를 포함하여 구성되는 것을 특징으로 한다.
더 나아가, 상기 위치센서부(100)는 GPS, 스테레오 카메라(stereo camera), 깊이 카메라(depth camera), 2D LiDAR(Light Detection And Ranging) 및 3D LiDAR 중 적어도 하나 이상 포함하여 구성되는 것을 특징으로 한다.
더 나아가, 상기 자세센서부(200)는 IMU 센서(Inertial Measurement Units)를 포함하여 구성되는 것을 특징으로 한다.
더 나아가, 상기 다중센서 융합을 통한 실내 3차원 위치 추정 시스템은 상기 무인비행체에 구비되어, 상기 무인비행체의 주변 조도정보를 센싱하는 조도감지센서를 포함하는 조도센서부(400)를 더 포함하여 구성되는 것을 특징으로 한다.
더 나아가, 상기 통합처리부(300)는 상기 조도센서부(400)로부터 전달받은 상기 무인비행체의 주변 조도정보가 기설정된 조도값 이하일 경우, 2D LiDAR 또는 3D LiDAR를 통해서 전달되는 상기 위치정보를 이용하는 것을 특징으로 한다.
더 나아가, 상기 통합처리부(300)는 연속되는 시간에 따라, 제1 센싱데이터에 의한 상기 주변 조도정보와 상기 제1 센싱데이터 이후에 입력되는 제2 센싱데이터에 의한 상기 주변 조도정보의 차가 소정범위를 벗어날 경우, 2D LiDAR 또는 3D LiDAR를 통해서 전달되는 상기 위치정보를 이용하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 다중센서 융합을 통한 실내 3차원 위치 추정 방법은, 무인비행체와 네트워크 연결되어 기설정된 알고리즘에 적용하여 상기 무인비행체의 자기위치 측정정보를 생성하는 통합처리부에서, 상기 무인비행체에 구비된 센서들로부터 상기 기설정된 알고리즘에 적용되는 센싱정보들을 전달받는 센싱단계(S100), 통합처리부에서, 상기 센싱단계(S100)에 의해 전달받은 상기 센싱정보들 중 GPS 정보의 수신여부를 판단하는 실내외 판단단계(S200), 통합처리부에서, 상기 실내외 판단단계(S200)에 의해 GPS 정보가 수신되지 않을 경우, 상기 무인비행체에 구비되어 상기 무인비행체의 위치정보를 센싱하는 스테레오 카메라(stereo camera), 깊이 카메라(depth camera), 2D LiDAR(Light Detection And Ranging) 및 3D LiDAR 중 적어도 하나 이상으로부터 상기 위치정보를 전달받고, 상기 무인비행체에 구비되어 상기 무인비행체의 자세정보를 센싱하는 IMU 센서(Inertial Measurement Units)로부터 상기 자세정보를 전달받아 상기 자기위치 측정정보를 생성하는 실내 추정단계(S300), 통합처리부에서, 상기 센싱단계(S100)에 의해 전달받은 상기 센싱정보들 중 주변 조도정보가 기설정된 조도값 이하인지 판단하는 제1 조도판단단계(S400) 및 통합처리부에서, 상기 제1 조도판단단계(S400)의 판단 결과에 따라, 상기 주변 조도정보가 기설정된 조도값 이하일 경우, 2D LiDAR 또는 3D LiDAR로부터 전달받은 상기 위치정보와 상기 IMU 센서로부터 상기 자세정보를 전달받아 상기 자기위치 측정정보를 생성하는 저조도 추정단계(S500)를 포함하여 구성되는 것을 특징으로 한다.
더 나아가, 상기 다중센서 융합을 통한 실내 3차원 위치 추정 방법은 통합처리부에서, 연속되는 시간에 따라, 상기 센싱단계(S100)에 의해 전달받은 제1 센싱정보들에 의한 상기 주변 조도정보와 상기 제1 센싱정보 이후에 전달받은 제2 센싱정보들에 의한 상기 주변 조도정보의 차가 소정범위를 벗어나는지 판단하는 제2 조도판단단계(S600) 및 통합처리부에서, 상기 제2 조도판단단계(S600)의 판단 결과에 따라, 상기 주변조도정보의 차가 소정범위를 벗어날 경우, 2D LiDAR 또는 3D LiDAR로부터 전달받은 상기 위치정보와 상기 IMU 센서로부터 상기 자세정보를 전달받아 상기 자기위치 측정정보를 생성하는 급변조도 추정단계(S700)를 더 포함하여 구성되는 것을 특징으로 한다.
더 나아가, 상기 실내외 판단단계(S200)에 의해 GPS 정보가 수신될 경우, 상기 GPS 정보로부터 전달받은 상기 위치정보와 상기 IMU 센서로부터 상기 자세정보를 전달받아 상기 자기위치 측정정보를 생성하는 실외 추정단계(S310)를 더 포함하여 이루어지는 것을 특징으로 한다.
상기와 같은 구성에 의한 본 발명의 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법은 다양한 센서들의 융합 적용을 통해 실내나 빛이 없는 어두운 환경 또는 조도가 급변하는 환경에서도 무인이동체의 원활한 실내 위치추정 및 실내 지도를 작성할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 다중센서 융합을 통한 실내 3차원 위치 추정 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 다중센서 융합을 통한 실내 3차원 위치 추정 방법을 나타낸 순서도이다.
이하 첨부한 도면들을 참조하여 본 발명의 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
이 때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.
본 발명의 일 실시예에 따른 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법은 무인이동체를 통해서 사람이 직접 관찰하기 어렵고 위험한 동굴, 광산, 터널 등과 같은 저조도 환경이나, 조도의 급격한 변화가 있는 실내 환경에 대한 위치 추정을 통해서, 장애물 회피를 통한 항법 진행을 제어할 수 있으며, 획득한 정보들을 통해서 실내 3차원 지도를 구현할 수 있는 시스템 및 방법에 관한 것이다.
특히, 종래의 스테레오 카메라 또는 깊이 카메라의 경우, 저조도 환경이나 조도가 급변하는 환경에서는 획득한 영상 데이터를 통한 위치 및 자세 데이터를 생성하기가 어려울 뿐 아니라, 그 정확도가 매우 낮아지기 때문에 2D LiDAR 또는 3D LiDAR를 이용하여 무인이동체의 주변 조도(illumination)와는 관계없이 지속적으로 실내 환경 정보를 획득할 수 있다.
이러한 본 발명의 일 실시예에 따른 다중센서 융합을 통한 실내 3차원 위치 추정 시스템은 도 1에 도시된 바와 같이, 위치센서부(100), 자세센서부(200) 및 통합처리부(300)를 포함하여 구성되는 것이 바람직하다.
이 때, 상기 위치센서부(100), 자세센서부(200)는 무인비행체(무인이동체/무인항공기 등)에 직접 구비되어 상기 무인비행체의 주변 환경을 실시간으로 획득하여 상기 통합처리부(300)로 전달하는 것이 바람직하다.
각 구성에 대해서 자세히 알아보자면,
상기 위치센서부(100)는 상술한 바와 같이, 상기 무인비행체에 구비되어 상기 무인비행체의 위치정보를 센싱하여 상기 통합처리부(300)로 전달하는 것이 바람직하다.
이를 위해, 상기 위치센서부(100)는 상기 통합처리부(300)와 네트워크 연결되는 것이 바람직하며 상기 무인비행체에 별도의 통신수단을 구비하여 이를 통해서 실시간 전송하거나, 상기 위치센서부(100) 자체적으로 통신기능을 추가하여 전송할 수 있다.
상기 위치센서부(100)로는 GPS(Global Positioning System), 스테레오 카메라(stereo camera), 깊이 카메라(depth camera), 2D LiDAR(Light Detection And Ranging), 3D LiDAR 중 적어도 하나 이상 포함하여 구성되는 것이 바람직하다.
GPS의 경우, 상기 무인비행체가 인공위성과 통신할 수 있는 실외에 위치할 경우, 이를 통해서 현재 위치정보를 수신받을 수 있으며,
실내에 위치하여 GPS 신호를 더 이상 수신받을 수 없을 경우, 스테레오 카메라, 깊이 카메라, 2D LiDAR, 3D LiDAR를 이용하여 연속하여 영상 데이터를 촬영하여 상기 통합처리부(300)로 전달할 수 있다.
상기 통합처리부(300)는 연속된 시간에 따른 상기 영상 데이터들을 이용하여 영상 데이터의 특징점의 추적을 통해서 이를 이용할 수 있다.
특히, 상술한 바와 같이, 저조도 또는 조도 급변하는 상황에서 상기 스테레오 카메라 또는 깊이 카메라만을 이용하여 영상 데이터를 촬영할 경우에는 그 정확도가 낮게 된다. 이를 극복하기 위하여 LED 등과 같은 추가 조명을 설치할 경우에는, 배터리 소모 문제/추가 회로 문제가 발생하게 된다. 이에 반해서, 저전력의 2D LiDAR, 3D LiDAR를 추가 포함함으로써, 배터리 소모 문제/추가 회로 문제를 미연에 방지할 수 있다. 또한, 2D LiDAR/3D LiDAR의 경우, 5~6m의 근거리 영상 데이터를 획득하는 스테레오 카메라 또는 깊이 카메라에 비해, 20~30m의 장거리 영상 데이터를 획득할 수 있을 뿐 아니라, cm/mm 단위의 오차만이 발생하기 때문에 생성한 실내 3차원 지도의 정밀도와 신뢰도를 높일 수 있다.
상기 자세센서부(200)는 상기 위치센서부(100)와 마찬가지로, 상기 무인비행체에 구비되어, 상기 무인비행체의 자세정보를 센싱할 수 있다. 상기 자세센서부(200) 역시 상기 통합처리부(300)와 네트워크 연결되는 것이 바람직하며 별도의 통신수단을 구비하여 이를 통해서 실시간 전송하거나, 상기 자세센서부(200) 자체적으로 통신기능을 추가하여 전송할 수 있다.
상기 자세센서부(200)로부터 IMU 센서(Inertial Measurement Units)를 포함하여 구성되는 것이 바람직하며, 상세하게는, 상기 IMU 센서는 3차원 공간에서 앞뒤, 상하, 좌우 3축으로의 이동을 감지하는 가속도 센서와, 피치(pitch), 롤(roll), 요(yaw)의 3축 회전을 검출하는 자이로센서 및 지자계센서를 포함하여 구성되는 것이 바람직하며, 3차원 공간에서 상기 무인비행체가 어떤 방향으로 이동하고 기울어져있는지 판단할 수 있다.
이를 통해서, 상기 통합처리부(300)는 상기 무인비행체와 네트워크 연결되어, 상기 위치센서부(100)로부터 전달받은 상기 위치정보와 상기 자세센서부(200)로부터 전달받은 상기 자세정보들을 미리 설정된 알고리즘에 적용하여, 상기 무인비행체의 자기위치 측정정보(Odometry)를 생성할 수 있다.
상세하게는, 상기 통합처리부(300)는 상기 위치정보로부터 현재 상기 무인비행체의 주변 환경 정보를 생성할 수 있으며, 상기 자세정보로부터 현재 상기 무인비행체의 상태 정보를 생성할 수 있어, 이들을 분석하여 실내 환경에서의 자유로운 비행이 가능하도록 항법 제어(항법 기동)를 수행할 수 있으며, 실내 3차원 맵핑을 통해서 3차원 지도를 생성할 수 있다.
상기 통합처리부(300)에 미리 설정된 알고리즘으로는, 일반적인 무인이동체 뿐 아니라 무인비행체에도 적용할 수 있도록 오일러 각(Euler Angle) 대신 쿼터니언(Quaternion) 값을 사용하여 상기 IMU 센서를 분석할 수 있다. 즉, 3개의 허수부와 1개의 실수부로 구성되어 4차원의 공간에 임의의 축을 생성하여 그 축을 기준으로 회전시키는 방식으로 이를 통해서, 피치 값이 90도가 되는 상황에서도 항법 제어가 가능하게 된다.
또한, Grap SLAM(Simultaneous Localization and Mapping) 기반의 알고리즘으로 Loop closing을 통해서 무인비행체가 이전 장소로 되돌아올 경우, 저장하고 있던 이전 장소의 영상 데이터에 포함된 특징점을 통해서, IMU 센서값에 포함될 수 있는 Drift 누적 오차를 제거할 수 있어, 이전 장소로 되돌아 올 때마다, 생성한 상기 자기위치 측정정보의 정밀도가 향상하게 된다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 다중센서 융합을 통한 실내 3차원 위치 추정 시스템은, 저조도 환경이나 조도가 급변하는 환경을 판단하여 저조도 환경이나 조도가 급변하는 환경에 해당할 경우, 스테레오 카메라 또는 깊이 카메라를 이용하여 상기 위치정보를 센싱하는 것이 아니라, 2D LiDAR 또는 3D LiDAR를 이용하여 상기 위치정보를 센싱하는 것이 바람직하다.
이에 따라 저조도 환경이나 조도가 급변하는 환경의 판단을 위해, 도 1에 도시된 바와 같이, 조도감지센서를 포함하는 조도센서부(400)를 더 포함하여 구성되는 것이 바람직하다.
상기 조도센서부(400)는 상기 무인비행체에 구비되어, 상기 무인비행체의 주변 조도정보를 센싱할 수 있다.
상세하게는, 상기 통합처리부(300)는 '저조도인 경우', 다시 말하자면, 상기 조도센서부(400)로부터 전달받은 상기 무인비행체의 주변 조도정보가 미리 설정된 조도값 이하일 경우, 2D LiDAR 또는 3D LiDAR를 이용하여 상기 위치정보를 센싱하는 것이 바람직하다.
여기서, 미리 설정된 조도값이란, 상기 스테레오 카메라 또는 깊이 카메라를 이용하여 더 이상 상기 무인비행체의 위치정보를 계산하기 어려운 조도값을 의미하며, 일 예를 들자면, 연속된 시간에 따라 연속하여 촬영된 영상 데이터에서 더 이상 특징점을 찾기 어렵거나, 특징점의 추적이 어려운 정도의 조도값을 의미하며, 이는 외부 관리자의 제어에 의해서 실시간으로 변경할 수 있다. 이에 따라서, 스테레오 카메라 또는 깊이 카메라의 사양에 따라서도 변경 가능하다.
또한, 상기 통합처리부(300)는 '조도가 급변하는 경우', 다시 말하자면, 상기 조도센서부(400)로부터 전달받은 상기 무인비행체의 주변 조도정보차가 소정범위를 벗어나는 경우, 2D LiDAR 또는 3D LiDAR를 이용하여 상기 위치정보를 센싱하는 것이 바람직하다.
상세하게는, 상기 무인비행체에 구비된 센서들을 상술한 바와 같이, 지속적인 항법 제어(항법 기동)와 3차원 지도 맵핑을 위해서, 연속되는 시간에 따라 지속적으로 센싱데이터들을 상기 통합처리부(300)로 전달하게 된다.
이에 따라 제1 센싱데이터에 의한 상기 주변 조도정보와 상기 제1 센싱데이터 이후에 입력되는 다음 센싱 데이터(제2 센싱데이터)에 의한 상기 주변 조도정보를 비교하여, 주변 조도정보의 차가 소정범위를 벗어나는 경우, 상기 무인비행체 주변 조도가 급변하는 것으로 판단하고 2D LiDAR 또는 3D LiDAR를 이용하여 상기 위치정보를 센싱하는 것이 바람직하다.
여기서, 소정범위란, 상기 스테레오 카메라 또는 깊이 카메라를 이용하여 연속된 시간에 따라 연속하여 촬영된 영상 데이터에서 더 이상 특징점을 찾기 어렵거나, 특징점의 추적이 어려운 정도의 조도 차이값을 의미하며, 이는 외부 관리자의 제어에 의해서 실시간으로 변경할 수 있다. 이에 따라서, 스테레오 카메라 또는 깊이 카메라의 사양에 따라서도 변경 가능하다.
도 2는 본 발명의 일 실시예에 따른 다중센서 융합을 통한 실내 3차원 위치 추정 방법의 순서도로서, 도 2에 도시된 바와 같이, 센싱단계(S100), 실내외 판단단계(S200), 실내 추정단계(S300), 제1 조도판단단계(S400) 및 저조도 추정단계(S500)를 포함하여 구성되는 것이 바람직하다.
각 단계에 대해서 자세히 알아보자면,
상기 무인비행체에 구비된 상기 위치센서부(100)와 자세센서부(200) 및 조도센서부(400)는 연속된 시간에 따라 지속적으로 상기 무인비행체의 주변 환경을 실시간으로 획득하여 상기 통합처리부(300)로 전달할 수 있다.
이에 따라, 상기 센싱단계(S100)는 상기 무인비행체와 네트워크 연결되어 미리 설정된 알고리즘을 적용하여 상기 무인비행체의 자기위치 측정정보를 생성하는 상기 통합처리부(300)에서, 상기 무인비행체에 구비된 센서들(100, 200 및 400)로부터 상기 미리 설정된 알고리즘에 적용되는 상기 센싱정보들을 전달받을 수 있다.
상기 실내외 판단단계(S200)는 상기 통합처리부(300)에서, 상기 센싱단계(S100)에 의해 전달받은 상기 센싱정보들 중 GPS 정보의 수신여부를 판단할 수 있다.
상세하게는, 상기 위치센서부(100)로는 GPS(Global Positioning System), 스테레오 카메라(stereo camera), 깊이 카메라(depth camera), 2D LiDAR(Light Detection And Ranging), 3D LiDAR 중 적어도 하나 이상 포함하여 구성되는 것이 바람직하며, 상기 자세센서부(200)로는 IMU 센서(Inertial Measurement Units)를 포함하여 구성되는 것이 바람직하다. 또한, 상기 조도센서부(400)를 조도감지센서를 포함하여 구성되는 것이 바람직하다.
상기 실내외 판단단계(S200)의 판단 결과에 따라 상기 센싱단계(S100)에 의해 전달받은 상기 센싱정보들 중 GPS 정보가 수신될 경우(S310), 상기 통합처리부(300)는 상기 무인비행체가 인공위성과 통신할 수 있는 실외에 위치한 것으로 판단하여 상기 GPS 정보로부터 전달받은 상기 위치정보과 상기 IMU 센서로부터 전달받은 상기 자세정보를 이용하여 상기 미리 설정된 알고리즘에 적용하여 상기 자기위치 측정정보를 생성할 수 있다.
상기 실내 추정단계(S300)는 이와 반대로 상기 실내외 판단단계(S200)의 판단 결과에 따라 상기 센싱단계(S100)에 의해 전달받은 상기 센싱정보들 중 GPS 정보가 수신되지 않을 경우, 상기 통합처리부(300)는 상기 무인비행체가 인공위성과 통신할 수 없는 실내에 위치한 것으로 판단하여, 스테레오 카메라, 깊이 카메라, 2D LiDAR, 3D LiDAR를 이용하여 연속하여 영상 데이터를 촬영하여 전달받은 상기 위치정보과 상기 IMU 센서로부터 전달받은 상기 자세정보를 이용하여 상기 미리 설정된 알고리즘에 적용하여 상기 자기위치 측정정보를 생성할 수 있다.
상세하게는, 상기 통합처리부(300)는 연속된 시간에 따른 상기 영상 데이터들을 이용하여 영상 데이터의 특징점의 추적을 통해서 이를 이용할 수 있다.
특히, 상술한 바와 같이, 저조도 또는 조도 급변하는 상황에서 상기 스테레오 카메라 또는 깊이 카메라만을 이용하여 영상 데이터를 촬영할 경우에는 그 정확도가 낮게 된다. 이를 극복하기 위하여 LED 등과 같은 추가 조명을 설치할 경우에는, 배터리 소모 문제/추가 회로 문제가 발생하게 된다. 이에 반해서, 저전력의 2D LiDAR, 3D LiDAR를 추가 포함함으로써, 배터리 소모 문제/추가 회로 문제를 미연에 방지할 수 있다. 또한, 2D LiDAR/3D LiDAR의 경우, 5~6m의 근거리 영상 데이터를 획득하는 스테레오 카메라 또는 깊이 카메라에 비해, 20~30m의 장거리 영상 데이터를 획득할 수 있을 뿐 아니라, cm/mm 단위의 오차만이 발생하기 때문에 생성한 실내 3차원 지도의 정밀도와 신뢰도를 높일 수 있다.
상기 제1 조도판단단계(S400)는 상기 통합처리부(300)에서, 상기 센싱단계(S100)에 의해 전달받은 상기 센싱정보들 중 주변 조도정보가 미리 설정된 조도값 이하인지 판단하여 '저조도인 경우'를 판단하는 것이 바람직하다.
여기서, 미리 설정된 조도값이란, 상기 스테레오 카메라 또는 깊이 카메라를 이용하여 더 이상 상기 무인비행체의 위치정보를 계산하기 어려운 조도값을 의미하며, 일 예를 들자면, 연속된 시간에 따라 연속하여 촬영된 영상 데이터에서 더 이상 특징점을 찾기 어렵거나, 특징점의 추적이 어려운 정도의 조도값을 의미하며, 이는 외부 관리자의 제어에 의해서 실시간으로 변경할 수 있다. 이에 따라서, 스테레오 카메라 또는 깊이 카메라의 사양에 따라서도 변경 가능하다.
상기 저조도 추정단계(S500)는 상기 통합처리부(300)에서, 상기 제1 조도판단단계(S400)의 판단 결과에 따라, 상기 주변 조도정보가 미리 설정된 조도값 이하일 경우, 2D LiDAR 또는 3D LiDAR를 이용하여 상기 위치정보를 센싱하는 것이 바람직하다. 이 후, 상기 IMU 센서로부터 전달받은 상기 자세정보를 이용하여 상기 미리 설정된 알고리즘에 적용하여 상기 자기위치 측정정보를 생성할 수 있다.
이와 반대로, 상기 통합처리부(300)에서, 상기 센싱단계(S100)에 의해 전달받은 상기 센싱정보들 중 주변 조도정보가 미리 설정된 조도값을 초과할 경우에는, 2D LiDAR/3D LiDAR 센싱정보 없이도 스테레오 카메라/깊이 카메라를 이용하여 상기 위치정보를 센싱하는 것이 바람직하다.
또한, 본 발명의 일 실시예에 따른 다중센서 융합을 통한 실내 3차원 위치 추정 방법은 도 1에 도시된 바와 같이, 제2 조도판단단계(S600) 및 급변조도 추정단계(S700)를 더 포함하여 구성되는 것이 바람직하다.
상기 제2 조도판단단계(S600)는 상기 통합처리부(300)에서, 연속되는 시간에 따라, 상기 센싱단계(S100)에 의해 전달받은 제1 센싱정보들에 의한 상기 주변조도정보와 상기 제1 센싱정보 이후에 전달받은 제2 센싱정보들에 의한 상기 주변 조도정보의 차가 소정범위를 벗어나는지 판단하여 '조도가 급변하는 경우'를 판단하는 것이 바람직하다.
여기서, 소정범위란, 상기 스테레오 카메라 또는 깊이 카메라를 이용하여 연속된 시간에 따라 연속하여 촬영된 영상 데이터에서 더 이상 특징점을 찾기 어렵거나, 특징점의 추적이 어려운 정도의 조도 차이값을 의미하며, 이는 외부 관리자의 제어에 의해서 실시간으로 변경할 수 있다. 이에 따라서, 스테레오 카메라 또는 깊이 카메라의 사양에 따라서도 변경 가능하다.
상기 급변조도 추정단계(S700)는 상기 통합처리부(300)에서, 상기 제2 조도판단단계(S600)의 판단 결과에 따라, 상기 주변 조도정보의 차가 소정범위를 벗어날 경우, 2D LiDAR 또는 3D LiDAR를 이용하여 상기 위치정보를 센싱하는 것이 바람직하다. 이 후, 상기 IMU 센서로부터 전달받은 상기 자세정보를 이용하여 상기 미리 설정된 알고리즘에 적용하여 상기 자기위치 측정정보를 생성할 수 있다.
이와 반대로, 상기 급변조도 추정단계(S700)는 상기 통합처리부(300)에서, 상기 제2 조도판단단계(S600)의 판단 결과에 상기 주변 조도정보의 차가 소정범위 내에 있을 경우, 2D LiDAR/3D LiDAR 센싱정보 없이도 스테레오 카메라/깊이 카메라를 이용하여 상기 위치정보를 센싱하는 것이 바람직하다.
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 위치센서부
200 : 자세센서부
300 : 통합처리부
400 : 조도센서부

Claims (9)

  1. 무인비행체에 구비되어, 상기 무인비행체의 위치정보를 센싱하는 위치센서부(100);
    상기 무인비행체에 구비되어, 상기 무인비행체의 자세정보를 센싱하는 자세센서부(200); 및
    상기 무인비행체와 네트워크 연결되어, 상기 위치센서부(100) 및 자세센서부(200)로부터 전달받은 상기 위치정보와 자세정보들을 기설정된 알고리즘에 적용하여, 상기 무인비행체의 자기위치 측정정보(Odometry)를 생성하는 통합처리부(300);
    를 포함하여 구성되는 것을 특징으로 하는 다중센서 융합을 통한 실내 3차원 위치 추정 시스템.
  2. 제 1항에 있어서,
    상기 위치센서부(100)는
    GPS, 스테레오 카메라(stereo camera), 깊이 카메라(depth camera), 2D LiDAR(Light Detection And Ranging) 및 3D LiDAR 중 적어도 하나 이상 포함하여 구성되는 것을 특징으로 하는 다중센서 융합을 통한 실내 3차원 위치 추정 시스템.
  3. 제 2항에 있어서,
    상기 자세센서부(200)는
    IMU 센서(Inertial Measurement Units)를 포함하여 구성되는 것을 특징으로 하는 다중센서 융합을 통한 실내 3차원 위치 추정 시스템.
  4. 제 3항에 있어서,
    상기 다중센서 융합을 통한 실내 3차원 위치 추정 시스템은
    상기 무인비행체에 구비되어, 상기 무인비행체의 주변 조도정보를 센싱하는 조도감지센서를 포함하는 조도센서부(400);
    를 더 포함하여 구성되는 것을 특징으로 하는 다중센서 융합을 통한 실내 3차원 위치 추정 시스템.
  5. 제 4항에 있어서,
    상기 통합처리부(300)는
    상기 조도센서부(400)로부터 전달받은 상기 무인비행체의 주변 조도정보가 기설정된 조도값 이하일 경우, 2D LiDAR 또는 3D LiDAR를 통해서 전달되는 상기 위치정보를 이용하는 것을 특징으로 하는 다중센서 융합을 통한 실내 3차원 위치 추정 시스템.
  6. 제 4항에 있어서,
    상기 통합처리부(300)는
    연속되는 시간에 따라, 제1 센싱데이터에 의한 상기 주변 조도정보와 상기 제1 센싱데이터 이후에 입력되는 제2 센싱데이터에 의한 상기 주변 조도정보의 차가 소정범위를 벗어날 경우, 2D LiDAR 또는 3D LiDAR를 통해서 전달되는 상기 위치정보를 이용하는 것을 특징으로 하는 다중센서 융합을 통한 실내 3차원 위치 추정 시스템.
  7. 무인비행체와 네트워크 연결되어 기설정된 알고리즘에 적용하여 상기 무인비행체의 자기위치 측정정보를 생성하는 통합처리부에서, 상기 무인비행체에 구비된 센서들로부터 상기 기설정된 알고리즘에 적용되는 센싱정보들을 전달받는 센싱단계(S100);
    통합처리부에서, 상기 센싱단계(S100)에 의해 전달받은 상기 센싱정보들 중 GPS 정보의 수신여부를 판단하는 실내외 판단단계(S200);
    통합처리부에서, 상기 실내외 판단단계(S200)에 의해 GPS 정보가 수신되지 않을 경우, 상기 무인비행체에 구비되어 상기 무인비행체의 위치정보를 센싱하는 스테레오 카메라(stereo camera), 깊이 카메라(depth camera), 2D LiDAR(Light Detection And Ranging) 및 3D LiDAR 중 적어도 하나 이상으로부터 상기 위치정보를 전달받고, 상기 무인비행체에 구비되어 상기 무인비행체의 자세정보를 센싱하는 IMU 센서(Inertial Measurement Units)로부터 상기 자세정보를 전달받아 상기 자기위치 측정정보를 생성하는 실내 추정단계(S300);
    통합처리부에서, 상기 센싱단계(S100)에 의해 전달받은 상기 센싱정보들 중 주변 조도정보가 기설정된 조도값 이하인지 판단하는 제1 조도판단단계(S400); 및
    통합처리부에서, 상기 제1 조도판단단계(S400)의 판단 결과에 따라, 상기 주변 조도정보가 기설정된 조도값 이하일 경우, 2D LiDAR 또는 3D LiDAR로부터 전달받은 상기 위치정보와 상기 IMU 센서로부터 상기 자세정보를 전달받아 상기 자기위치 측정정보를 생성하는 저조도 추정단계(S500);
    를 포함하여 구성되는 것을 특징으로 하는 다중센서 융합을 통한 실내 3차원 위치 추정 방법.
  8. 제 7항에 있어서,
    상기 다중센서 융합을 통한 실내 3차원 위치 추정 방법은
    통합처리부에서, 연속되는 시간에 따라, 상기 센싱단계(S100)에 의해 전달받은 제1 센싱정보들에 의한 상기 주변 조도정보와 상기 제1 센싱정보 이후에 전달받은 제2 센싱정보들에 의한 상기 주변 조도정보의 차가 소정범위를 벗어나는지 판단하는 제2 조도판단단계(S600); 및
    통합처리부에서, 상기 제2 조도판단단계(S600)의 판단 결과에 따라, 상기 주변조도정보의 차가 소정범위를 벗어날 경우, 2D LiDAR 또는 3D LiDAR로부터 전달받은 상기 위치정보와 상기 IMU 센서로부터 상기 자세정보를 전달받아 상기 자기위치 측정정보를 생성하는 급변조도 추정단계(S700);
    를 더 포함하여 구성되는 것을 특징으로 하는 다중센서 융합을 통한 실내 3차원 위치 추정 방법.
  9. 제 7항에 있어서,
    상기 실내외 판단단계(S200)에 의해 GPS 정보가 수신될 경우, 상기 GPS 정보로부터 전달받은 상기 위치정보와 상기 IMU 센서로부터 상기 자세정보를 전달받아 상기 자기위치 측정정보를 생성하는 실외 추정단계(S310);
    를 더 포함하여 이루어지는 것을 특징으로 하는 다중센서 융합을 통한 실내 3차원 위치 추정 방법.
KR1020180095616A 2018-08-16 2018-08-16 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법 Active KR102104031B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180095616A KR102104031B1 (ko) 2018-08-16 2018-08-16 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180095616A KR102104031B1 (ko) 2018-08-16 2018-08-16 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법

Publications (2)

Publication Number Publication Date
KR20200020200A true KR20200020200A (ko) 2020-02-26
KR102104031B1 KR102104031B1 (ko) 2020-04-24

Family

ID=69637838

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180095616A Active KR102104031B1 (ko) 2018-08-16 2018-08-16 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법

Country Status (1)

Country Link
KR (1) KR102104031B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114384923A (zh) * 2020-10-22 2022-04-22 福建江夏学院 一种x对称结构测量无人机姿态角的方法
KR102446517B1 (ko) * 2021-06-21 2022-09-23 한성웰텍(주) 실내환경 및 실외환경에서 경로주행이 가능한 무인 운반차
KR20230141037A (ko) * 2022-03-31 2023-10-10 주식회사 휴인스 인공지능 기반의 실내 자율비행이 가능한 드론

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220014495A (ko) 2020-07-29 2022-02-07 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20220066690A (ko) 2020-11-16 2022-05-24 삼성전자주식회사 로봇 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997084B1 (ko) 2010-06-22 2010-11-29 (주)올포랜드 지하시설물의 실시간 정보제공 방법 및 시스템, 이를 위한 서버 및 그 정보제공방법, 기록매체
JP2018055695A (ja) * 2017-10-26 2018-04-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末
US20180150718A1 (en) * 2016-11-30 2018-05-31 Gopro, Inc. Vision-based navigation system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997084B1 (ko) 2010-06-22 2010-11-29 (주)올포랜드 지하시설물의 실시간 정보제공 방법 및 시스템, 이를 위한 서버 및 그 정보제공방법, 기록매체
US20180150718A1 (en) * 2016-11-30 2018-05-31 Gopro, Inc. Vision-based navigation system
JP2018055695A (ja) * 2017-10-26 2018-04-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114384923A (zh) * 2020-10-22 2022-04-22 福建江夏学院 一种x对称结构测量无人机姿态角的方法
CN114384923B (zh) * 2020-10-22 2023-05-23 福建江夏学院 一种x对称结构测量无人机姿态角的方法
KR102446517B1 (ko) * 2021-06-21 2022-09-23 한성웰텍(주) 실내환경 및 실외환경에서 경로주행이 가능한 무인 운반차
KR20230141037A (ko) * 2022-03-31 2023-10-10 주식회사 휴인스 인공지능 기반의 실내 자율비행이 가능한 드론

Also Published As

Publication number Publication date
KR102104031B1 (ko) 2020-04-24

Similar Documents

Publication Publication Date Title
KR102396675B1 (ko) 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3d 갱도 맵핑 시스템과 그 방법
US10788830B2 (en) Systems and methods for determining a vehicle position
KR102463176B1 (ko) 위치 추정 장치 및 방법
US11866167B2 (en) Method and algorithm for flight, movement, autonomy, in GPS, communication, degraded, denied, obstructed non optimal environment
KR102104031B1 (ko) 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법
Huh et al. Integrated navigation system using camera and gimbaled laser scanner for indoor and outdoor autonomous flight of UAVs
US9378558B2 (en) Self-position and self-orientation based on externally received position information, sensor data, and markers
US9896202B2 (en) Systems and methods for reliable relative navigation and autonomous following between unmanned aerial vehicle and a target object
JP6395362B2 (ja) 分散された位置の識別
US8315794B1 (en) Method and system for GPS-denied navigation of unmanned aerial vehicles
Nieuwenhuisen et al. Multimodal obstacle detection and collision avoidance for micro aerial vehicles
KR102722952B1 (ko) 인공지능 기반의 실내 자율비행이 가능한 드론
Ruotsalainen et al. Improving computer vision-based perception for collaborative indoor navigation
EP2523062B1 (en) Time phased imagery for an artificial point of view
CN108627864A (zh) 基于汽车钥匙的定位方法及系统、无人驾驶汽车系统
JP2022015978A (ja) 無人航空機の制御方法、無人航空機、および、無人航空機の制御プログラム
KR101764222B1 (ko) 고정밀 측위 시스템 및 방법
EP3271686B1 (en) Position determining unit and a method for determining a position of a land or sea based object
US7792330B1 (en) System and method for determining range in response to image data
JP2019148456A (ja) 算出装置、自己位置算出方法、およびプログラム
US10830906B2 (en) Method of adaptive weighting adjustment positioning
JPWO2019087778A1 (ja) 移動体の姿勢センサ装置
Praschl et al. Enabling outdoor MR capabilities for head mounted displays: a case study
CA3107907C (en) System for object tracking in physical space with aligned reference frames
EP4166989A1 (en) Methods and systems for determining a position and an acceleration of a vehicle

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180816

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200120

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200414

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200417

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200420

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230313

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240313

Start annual number: 5

End annual number: 5