KR20140053712A - 센서 융합에 의한 실내로봇용 위치인식 방법 - Google Patents

센서 융합에 의한 실내로봇용 위치인식 방법 Download PDF

Info

Publication number
KR20140053712A
KR20140053712A KR1020120119970A KR20120119970A KR20140053712A KR 20140053712 A KR20140053712 A KR 20140053712A KR 1020120119970 A KR1020120119970 A KR 1020120119970A KR 20120119970 A KR20120119970 A KR 20120119970A KR 20140053712 A KR20140053712 A KR 20140053712A
Authority
KR
South Korea
Prior art keywords
landmark
image
artificial
natural
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020120119970A
Other languages
English (en)
Inventor
송호정
권석영
허동혁
김병극
Original Assignee
(주)하기소닉
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)하기소닉 filed Critical (주)하기소닉
Priority to KR1020120119970A priority Critical patent/KR20140053712A/ko
Publication of KR20140053712A publication Critical patent/KR20140053712A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/244—Arrangements for determining position or orientation using passive navigation aids external to the vehicle, e.g. markers, reflectors or magnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/245—Arrangements for determining position or orientation using dead reckoning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/60—Combination of two or more signals
    • G05D2111/67—Sensor fusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 인공랜트마크 및 자연랜드마크와 엔코더 및 관성센서를 사용하는 지능형 이동로봇의 위치인식 방법을 제공한다. 본 발명은 영상을 획득하는 영상획득부와, 획득한 영상을 처리하는 영상처리부와, 영상처리의 결과를 사용하여 지도를 생성하는 지도생성부와, 영상처리결과와 생성된 지도를 사용하여 로봇의 위치를 결정하는 위치인식부, 결정된 위치와 엔코더 및 관성센서의 정보를 융합하는 위치융합부를 구비하는 지능형 이동로봇의 위치를 인식하는 방법에 있어서, 입력된 영상에 자연랜드마크 또는 인공랜드마크가 있는지 확인하는 단계; 자연랜드마크 및 인공랜드마크가 있는지 확인한 상기의 영상의 노이즈를 제거하는 단계; 상기 영상에서 자연랜드 마크의 특징점을 추출하는 단계; 상기 입력된 영상에 인공랜드 마크의 특징점을 추출하는 단계; 추출된 특징점에 대한 정보를 이용하여 이진화 알고리즘을 수행하는 단계; 상기 이진화 알고리즘을 수행항 정보와, 등록된 자연랜드마크 및 인공랜드마크를 비교하여 매칭시키는 단계; 및 칼만필터를 이용한 위치보정 동작을 수행하는 단계, 보정된 위치와 엔코더 및 관성센서 정보를 융합하는 단계를 포함하는 지능형 이동로봇의 위치인식 방법을 제공한다.

Description

센서 융합에 의한 실내로봇용 위치인식 방법{The Localization Method for Indoor Mobile Robots by Sensor Fusion}
본 발명은 센서 융합에 의한 실내로봇의 위치인식 방법에 관한 것으로 보다 자세하게는 자연랜드마크 및 인공랜드마크를 결합한 복합랜드마크와 엔코더 및 관성센서를 융합한 지능형 이동로봇의 위치인식 방법에 관한 것이다.
이동로봇이 실내에서 이동하기 위해서는 이동로봇이 실내 공간의 어느 위치에 있는가를 식별해야 한다. 통상적으로 이동로봇의 위치를 파악하는데 사용되는 일반적인 기술은 카메라를 이용한 방법, 초음파 엑티브비컨을 이용한 방법, 레이저스캐너를 이용한 방법등이 있다. 초음파 엑티브비컨을 이용한 방법과 레이저스캐너를 이용한 방법은 고가의 장비를 사용해야 하므로 최근 카메라를 이용한 위치인식 방법이 많이 연구되고 있다.
카메라를 이용한 방법은 획득한 영상을 사용하여 지도 구성과 함께 자신의 위치를 인식하는 방법으로 슬램(SLAM; Simultaneous Localization And Mapping) 알고리즘이 이용된다. 슬램 알고리즘은 어떤 위치에서 주변 환경의 맵을 구성하고, 구성된 맵을 바탕으로 다시 이동한 로봇의 위치를 알아내는 과정을 반복하여 로봇의 위치와 주변 환경의 맵을 동시에 추정할 수 있는 알고리즘이다. 천장 영상을 이용한 SLAM 방법은 천장의 자연 랜드마크를 사용하여 천장의 지도를 생성하고 위치를 인식하지만, 오차가 크며 임의의 위치로 로봇이 옮겨졌을 경우 위치를 추정하기 힘든 경우가 많다.
자율 주행용 이동로봇은 일정 공간을 자유롭게 이동하기 위하여 현재의 자기 위치를 정확히 인식한 후 현재 위치로부터 목표 위치로 오차 없이 이동할 수 있어야 한다. 이를 위해 이동로봇으로 하여금 현재 자기의 위치를 인식할 수 있도록 하는 위치 정보 제공수단으로 소정의 랜드마크(Landmark)가 사용된다. 랜드마크를 이용하는 위치 인식 방법으로는 일정한 작업 공간에 설치되는 랜드마크를 이동로봇에서의 카메라로 촬영하고, 인식된 랜드마크로 현재 자기의 위치를 파악할 수 있는 위치 정보를 얻는 방법이 일반적이다. 그러나, 설치되는 랜드마크의 숫자가 작을 경우 위치를 인식할 수 있는 정보가 작아서 정확한 인식이 어렵다. 랜드마크를 너무 많이 부착하는 경우에는 벽에 손상이 생길 수 있는 문제점이 있다.
본 발명은 센서 융합에 의한 실내로봇의 위치인식 방법에 관한 것으로 인공랜드마크와 자연랜드마크를 결합한 복합랜드마크와 엔코더 및 관성센서를 융합한 지능형 이동로봇의 위치인식 방법을 제공한다.
본 발명은 영상을 획득하는 영상획득부와, 획득한 영상을 처리하는 영상처리부와, 영상처리의 결과를 사용하여 지도를 생성하는 지도생성부와, 영상처리결과와 생성된 지도를 사용하여 로봇의 위치를 결정하는 위치인식부, 결정된 위치와 엔코더의 정보를 융합하는 위치융합부를 구비하는 지능형 이동로봇의 위치를 인식하는 방법에 있어서, 입력된 영상에 자연랜드마크 또는 인공랜드마크가 있는지 확인하는 단계; 자연랜드마크 및 인공랜드마크가 있는지 확인한 상기의 영상의 노이즈를 제거하는 단계; 상기 영상에서 자연랜드 마크의 특징점을 추출하는 단계; 상기 입력된 영상에 인공랜드 마크의 특징점을 추출하는 단계; 추출된 특징점에 대한 정보를 이용하여 이진화 알고리즘을 수행하는 단계; 상기 이진화 알고리즘을 수행한 정보와, 등록된 자연랜드마크 및 인공랜드마크를 비교하여 매칭시키는 단계; 및 칼만필터를 이용한 위치보정 동작을 수행하는 단계, 보정된 위치와 엔코더 및 관성센서를 융합하는 단계를 포함하는 지능형 이동로봇의 위치인식 방법을 제공한다.
본 발명은 자연랜드마크 또는 인공랜드마크중 하나만 사용한 위치인식 장치의 문제점을 보완하여, 인공랜드마크와 자연랜드마크를 사용하여 위치인식 과정을 수행한다. 또한 자연랜드마크만 보이는 영역 또는 인공랜드마크와 자연랜드마크가 모두 보이지 않는 영역에서 엔코더 및 관성센서의 정보를 사용하여 보정하는 과정이 추가로 포함된다. 따라서, 위치인식의 과정에서 오차를 줄일 수 있으며, 임의의 위치로 위치인식장치를 구비한 로봇이 옮겨졌을 경우 빠르고 쉽게 위치를 새롭게 인식할 수 있으며, 자연랜드마크만 보이는 경우에도 위치를 보정할 수 있으며, 카메라가 가려졌거나 특징적인 물체가 없어 영상으로 위치를 판별할 수 없을 경우에도 위치 인식을 할 수 있다.
도1은 본 발명의 실시예에 따른 자연랜드마크 및 인공랜드마크와 엔코더 및 관성센서를 사용하는 지능형 이동로봇의 위치인식 장치의 블록도.
도2는 실내에서 자연랜드마크와 인공랜드마크를 사용하여 이동로봇의 위치를 인식하는 방법을 보여주는 도면.
도3은 본 발명의 위치인식 장치가 사용하는 인공랜드마크의 실시 예를 예시하는 도면.
도4는 본 발명의 위치인식 장치가 자연랜드마크와 인공랜드마크의 영상을 획득하여 위치를 인식하고 엔코더 및 관성센서를 융합하는 과정을 설명하는 흐름도.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.
실내 공간을 이동하는 로봇을 제어하기 위해서는 로봇이 실내 공간상에서 어느 위치에 있는가를 인식하는 기능이 매주 중요하다. 일반적으로 카메라를 이용한 자기위치를 계산하는 방법은 아래와 같이 크게 2 가지로 나눌 수 있다.
첫째, 인위적인 랜드마크를 이용하는 방법으로서, 특정 의미를 갖는 랜드마크를 천정 또는 벽면에 설치하고 이를 카메라로 촬영한 후 영상에서 랜드마크를 추출함으로써 화면상의 좌표계와 이동로봇의 좌표계를 일치시켜 이동로봇이 자기위치를 계산하는 방법이 있었다. 둘째, 자연적인 랜드마크를 이용하는 방법으로서, 천정을 카메라로 촬영한 후 영상에서 조명기구 등 천정에 설치된 구조물 및 천정과 벽과의 경계면의 직선성분 및 에지 정보를 추출한 후 이를 이용하여 로봇의 자기 위치를 계산하는 방식이 있다. 그러나 인위적인 랜드마크를 사용하는 경우에는 조명의 영향을 많이 받고, 태양의 광량과 빛의 파장에 의해 왜곡되어 오인식이 많이 발생하는 문제점이 있다. 또한, 자연적인 랜드마크를 사용하는 경우에도 주변 광원의 밝기에 영향을 많이 받고, 조명이 없는 상태에는 사용하기가 매우 힘들다는 문제점이 있다.
이를 해결하기 위해 본 발명에서는 자연랜드마크와 인공랜드마크를 모두 사용하는 지능형 이동로봇의 위치인식 방법을 제공한다.
또한 자연랜드마크만을 사용할 경우 조명의 영향을 받아 인식된 위치가 오차가 생길 수 있으며, 자연랜드마크 및 인공랜드마크가 모두 보이지 않을 경우 로봇은 위치를 판단할 수 없다. 그러므로 계산된 위치와 엔코더 및 관성센서의 정보를 융합하여 최종적인 로봇의 위치를 인식하는 지능형 이동로봇의 위치인식 방법을 제공한다.
도1은 본 발명의 실시예에 따른 자연랜드마크 및 인공랜드마크, 그리고 로봇의 다양한 센서를 융합, 사용하는 지능형 이동로봇의 위치인식 장치의 블록도이다. 특히, 자연랜드마크(21)와 인공랜드마크(30), 그리고 엔코더 및 관성센서를 융합한 지능형 이동로봇의 위치인식 장치(10)의 기능적 구성 블럭을 도시한 블록도이다.
도1을 참조하여 살펴보면, 본 실시예에 따른 위치인식 장치는 영상을 획득하는 영상획득부(11), 획득한 영상을 처리하는 영상처리부(12), 영상처리의 결과를 사용하여 지도를 생성하는 지도생성부(13), 영상처리결과와 생성된 지도를 사용하여 로봇의 위치를 결정하는 위치인식부(14), 엔코더 및 관성센서의 정보를 획득하는 센서획득부(15), 결정된 위치와 엔코더 정보를 융합하는 위치융합부(16)를 포함한다.
영상획득부(11)는 외부의 이미지를 포착하여 디지털 신호로 변환한다. 영상획득부(11)는 CCD(Charge Coupled Device) 모듈이나 CMOS(Complementary Metal Oxide Semiconductor) 모듈을 포함할 수 있다. 영상획득부(11)는 이동로봇이 주행하는 평면과 수직한 상방 영상을 획득한다. 영상획득부(11)는 가시광선을 이용하여 외부의 이미지를 포착하여 디지털 신호로 변환하게 된다.
영상처리부(12)는 획득한 상방영상에 영상처리 알고리즘을 적용시켜 지도 생성에 필요한 데이터를 만들 수 있다. 또한 영상처리부(12)는 기본적으로 자연랜드마크(21)를 인식할 수 있으며, 추가적으로 인공랜드마크(30)를 인식할 수 있다. 영상처리부(12)는 입력된 영상을 사용하여 다양한 영상처리 알고리즘을 통하여 특징점을 추출한다.
지도생성부(13)는 영상처리부(12)에서 생성된 데이터를 사용하여 지도를 만들 수 있다. 지도생성부(13)는 자연랜드마크 뿐만 아니라 인공랜드마크를 사용하여 정확한 지도생성을 할 수 있다. 또한 지도생성부(13)는 영상처리부(12)에서 생성된 데이터가 지도에 등록되어 있는 데이터인지 특징점 매칭 알고리즘을 사용하여 검색할 수 있다. 또한, 지도생성부(13)는 새로운 영상에서 추출된 특징점과 매칭하는 영상정보를 영상 지도로부터 검색하고 영상 지도에 존재하지 않을 경우 새로운 영상 지도에 추가하여 지도를 생성할 수 있다.
위치인식부(14)는 영상처리부(12)에서 생성된 데이터와 지도생성부(13)에서 생성된 지도 데이터를 사용하여 로봇의 위치를 계산할 수 있다. 위치인식부(14)는 획득한 영상에서 추출된 특징점과 매칭하는 영상정보를 영상 지도로부터 검색하고 검색된 결과를 이용하여 이동 로봇의 위치를 계산할 수 있다. 위치인식부(14)는 인공랜드마크를 추가적으로 사용하여 위치인식의 정밀도를 높일 수 있다. 또한 위치인식부(14)는 자연랜드마크(21)와 인공랜드마크(30)를 인식하여 위치 인식을 한다. 따라서, 본 실시예에 따른 위치인식 장치는 보다 정확하고 빠른 위치 인식이 가능하다.
센서획득부(15)는 로봇의 다양한 센서 정보를 획득하여 디지털 신호로 변환한다. 이에 대한 실 예로 로봇의 바퀴에 장착되어있는 엔코더의 정보와 로봇의 가감속, 속도, 좌우 회전, 기울기 등의 정보 모두 또는 일부가 포함될 수 있으며, 센서획득부(15)는 이러한 엔코더 및 관성 센서들을 사용하여 로봇의 움직임을 파악한다.
위치융합부(16)는 위치인식부(14)에서 생성된 위치와 센서획득부(15)에서 획득한 정보를 융합하여 로봇의 위치를 계산한다. 위치융합부(16)는 인공랜드마크와 자연랜드마크의 유무를 판단하고 위치정보와 엔코더의 정보를 융합하여 위치를 계산하므로 보다 정확한 위치를 계산할 수 있다.
도2는 실내에서 자연랜드마크와 인공랜드마크를 사용하여 이동로봇의 위치를 인식하는 방법을 보여주는 도면이다.
도2에 도시된 바와 같이, 이동로봇(22)가 구비된 센서를 통해 자연랜드 마크(21)과 인공랜드마크(30)가 포함된 영상을 찍고, 찍은 영상을 통해 자연랜드 마크(21)과 인공랜드마크(30)를 판별하게 된다.
도3은 본 발명의 위치인식 장치가 사용하는 인공랜드마크의 실시 예를 예시하는 도면이다.
도3은 본 발명에 적용되는 인공랜드마크(30)의 바람직한 실시 예를 예시하였다. 도3에서는 서로 다른 형태의 위치인식코드(30a~30f)를 예시하였는데, 회전 각도를 구하기 위한 각도 정보 마크(31)와 코드를 구분하는 코드 정보 마크(32)가 인공랜드마크에 배열되어 저마다 고유한 코드들을 이루고 있다. 코드 형태의 인공랜드마크(30)는 실내의 천장에 설치된다.
이동로봇(22)는 설치된 영상획득부(11)를 사용하여 인공랜드마크(30)를 인식하여 위치 인식용 이미지를 생성하게 된다. 이처럼 코드 형태로 이루어진 인공랜드마크(30)는 이동로봇(22)이 이동을 하면서 인공랜드마크(30)를 분석하여 인공랜드마크(30)를 기준으로 이동한 거리와 회전한 각도를 알아낼 수 있다.
이처럼 코드 형태로 이루어진 인공랜드마크(30)는 하나의 인공랜드마크를 사용할 수 있을 뿐만 아니라 여러 개의 인공랜드마크(30a~30f 등)를 사용하여 넓은 면적에서도 하나의 좌표계로 위치를 인식할 수 있다. 또한, 코드 형태의 인공랜드마크(30)는 넓은 영역에서 중간에 1~2개를 사용 할 수 있다.
본 실시예에 따른 이동로봇의 위치인식 장치는 자연랜드마크(21)와 인공랜드마크(30)를 인식하여 위치를 보정하기 때문에, 위치인식의 성능을 향상시킬 수 있다.
도4는 본 발명의 위치인식 장치가 자연랜드마크와 인공랜드마크의 영상을 획득하여 위치를 인식하는 과정을 설명하는 흐름도이다.
도4를 참조하여 살펴보면, 본 발명의 실시예에 따른 위치인식 장치의 동작을 살펴보면, 먼저 입력된 영상에 자연랜드마크 또는 인공랜드마크가 있는지 확인한다. 이어서 자연랜드마크 및 인공랜드마크가 있는지 확인한 영상의 잡영상 제거를 위한 영상 전처리 과정을 수행한다. 이 과정은 영상에 있는 노이즈를 제거하는 과정이다. 노이즈 제거 과정은 다양한 과정중 하나를 선택할 수 있으며, 어느 하나의 과정으로 고정되지는 않는다.
이어서, 입력된 영상에 자연랜드 마크가 있다고 확인되었다면, 자연랜드 마크의 특징점을 추출한다. 입력된 영상에 인공랜드 마크가 있다고 확인되었다면, 인공랜드 마크의 특징점을 추출한다. 이어서 입력된 영상에 외부 광원(햇빛, 조명)이 있는 상태에서 촬영된 것인지 판단한다.
만약 외부 광원이 없었다면, 일반 이진화 알고리즘을 적용한다. 만약, 외부광원이 있다면, 외부광원에 강인한 이진화 알고리즘을 적용한다. 여기서 외부광원에 강인한 이진화 알고리즘이란 처리하는 영상의 값을 일괄적으로 낮추거나 어떤 예정된 필터를 거쳐게 하여 보다 효율적으로 데이터를 처리할 수 있도록 하는 것이다. 광원이 있는 경우 처리되는 영상 값의 값이 너무 높아서 영상을 처리하는 데 비효율적일 수 있다. 이진화 알고리즘이란 영상을 이루는 각 화소값을 일정한 기준치에 의해 2종류(예를 들어 흑색과 백색)로 구분하여 처리하는 알고리즘이다.
이어서, 현재 화면의 물체와 등록된 자연랜드마크 및 인공랜드마크를 비교하여 매칭시킨다. 이어서 칼만필터를 이용한 데이터 노이즈 제거 및 위치보정 동작을 수행한다. 이 과정에서 위치인식을 위한 지도를 만들게 된다. 이어서 물체의 고정적인 직선에 따라 헤딩 앵글(heading angle)을 검출한다. 이어서 입력영상을 이용하여 위치보정하는 동작을 수행한다.
이어서, 엔코더 및 관성선세 정보를 융합하여 최종 위치정보를 계산한다. 이 과정에서 인공랜드마크와 자연랜드마크의 유무를 판단하여 인공랜드마크가 있을 경우는 인공랜드마크의 위치정보를 사용하고, 자연랜드마크만 있을 경우는 자연랜드마크의 위치정보와 엔코더 및 관성센서의 정보를 융합하여 위치를 계산한다. 또한 인공랜드마크와 자연랜드마크가 모두 보이지 않을 경우에는 엔코더 및 관성센서의 정보만을 사용하여 위치를 계산한다.
지금까지 살펴본 본 실시예에 따른 이동로봇은 가시광선을 이용하는 자연랜트마크와 인공랜드마크를 둘다 이용하는 위치인식을 하고 보정하고, 엔코더 및 관성센를 추가로 융합하여 위치를 계산하기 때문에, 효과적으로 위치인식을 할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
21 : 자연랜드마크 22 : 위치인식장치
30 : 인공랜드마크 30a~30f : 인공랜드마크
31 : 각도 정보 마크 32 : 코드 정보 마크

Claims (3)

  1. 영상을 획득하는 영상획득부와, 획득한 영상을 처리하는 영상처리부와, 영상처리의 결과를 사용하여 지도를 생성하는 지도생성부와, 영상처리결과와 생성된 지도를 사용하여 로봇의 위치를 결정하는 위치인식부와 결정된 위치와 엔코더 및 관성센서의 정보를 융합하는 위치융합부를 구비하는 지능형 이동로봇의 위치를 인식하는 방법에 있어서,
    입력된 영상에 자연랜드마크 또는 인공랜드마크가 있는지 확인하는 단계;
    자연랜드마크 및 인공랜드마크가 있는지 확인한 상기의 영상의 노이즈를 제거하는 단계;
    상기 영상에서 자연랜드 마크의 특징점을 추출하는 단계;
    상기 입력된 영상에 인공랜드 마크의 특징점을 추출하는 단계;
    추출된 특징점에 대한 정보를 이용하여 이진화 알고리즘을 수행하는 단계;
    상기 이진화 알고리즘을 수행항 정보와, 등록된 자연랜드마크 및 인공랜드마크를 비교하여 매칭시키는 단계; 및
    칼만필터를 이용한 위치보정 동작을 수행하는 단계; 및
    보정된 위치와 엔코더 및 관성센서를 융합하여 위치를 결정하는 단계를
    포함하는 지능형 이동로봇의 위치인식 방법.
  2. 제 1 항에 있어서,
    추출된 특징점에 대한 정보를 이용하여 이진화 알고리즘을 수행하는 단계는
    외부 광원이 없었다면, 일반 이진화 알고리즘을 적용하는 단계; 및
    외부광원이 있다면, 외부광원에 강인한 이진화 알고리즘을 적용하는 단계를 포함하는 것을 특징으로 하는 지능형 이동로봇의 위치인식 방법.
  3. 제 1 항에 있어서,
    보정된 위치와 엔코더 및 관성센서를 융합하여 위치를 결정하는 단계는
    인공랜드마크가 보인다면 인공랜드마크의 위치를 사용하는 단계;
    자연랜드마크만 보인다면 자연랜드마크와 엔코더 및 관성센서의 정보를 융합하는 단계; 및
    인공랜드마크와 자연랜드마크가 모두 보이지 않는다면 엔코더 및 관성센서의 정보를 사용하는 단계를 포함하는 것을 특징으로 하는 지능형 이동로봇의 위치인식 방법.
KR1020120119970A 2012-10-26 2012-10-26 센서 융합에 의한 실내로봇용 위치인식 방법 Ceased KR20140053712A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120119970A KR20140053712A (ko) 2012-10-26 2012-10-26 센서 융합에 의한 실내로봇용 위치인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120119970A KR20140053712A (ko) 2012-10-26 2012-10-26 센서 융합에 의한 실내로봇용 위치인식 방법

Publications (1)

Publication Number Publication Date
KR20140053712A true KR20140053712A (ko) 2014-05-08

Family

ID=50886264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120119970A Ceased KR20140053712A (ko) 2012-10-26 2012-10-26 센서 융합에 의한 실내로봇용 위치인식 방법

Country Status (1)

Country Link
KR (1) KR20140053712A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190001086A (ko) 2017-06-26 2019-01-04 서울대학교산학협력단 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
CN109129482A (zh) * 2018-08-29 2019-01-04 武汉理工大学 一种动态补偿机器人直线导轨运动误差的方法
JP2020149463A (ja) * 2019-03-14 2020-09-17 株式会社東芝 移動体行動登録装置、移動体行動登録システム、及び移動体行動決定装置
CN112258453A (zh) * 2020-09-27 2021-01-22 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
KR20230083409A (ko) * 2021-12-03 2023-06-12 주식회사 엔에스이 고밀집 실내 환경에 적합한 무인비행체 위치 결정 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100669250B1 (ko) * 2005-10-31 2007-01-16 한국전자통신연구원 인공표식 기반의 실시간 위치산출 시스템 및 방법
KR100749923B1 (ko) * 2005-12-08 2007-08-21 한국전자통신연구원 카메라와 표식을 이용한 이동 로봇의 측위 시스템 및 방법
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR20120108276A (ko) * 2011-03-23 2012-10-05 (주)하기소닉 측면의 랜드마크를 인식하는 지능형 이동로봇의 위치인식 방법
KR20120108277A (ko) * 2011-03-23 2012-10-05 (주)하기소닉 자연랜드마크와 인공랜드마크를 인식하는 지능형 이동로봇의 위치인식 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100669250B1 (ko) * 2005-10-31 2007-01-16 한국전자통신연구원 인공표식 기반의 실시간 위치산출 시스템 및 방법
KR100749923B1 (ko) * 2005-12-08 2007-08-21 한국전자통신연구원 카메라와 표식을 이용한 이동 로봇의 측위 시스템 및 방법
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR20120108276A (ko) * 2011-03-23 2012-10-05 (주)하기소닉 측면의 랜드마크를 인식하는 지능형 이동로봇의 위치인식 방법
KR20120108277A (ko) * 2011-03-23 2012-10-05 (주)하기소닉 자연랜드마크와 인공랜드마크를 인식하는 지능형 이동로봇의 위치인식 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190001086A (ko) 2017-06-26 2019-01-04 서울대학교산학협력단 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
CN109129482A (zh) * 2018-08-29 2019-01-04 武汉理工大学 一种动态补偿机器人直线导轨运动误差的方法
CN109129482B (zh) * 2018-08-29 2021-05-25 武汉理工大学 一种动态补偿机器人直线导轨运动误差的方法
JP2020149463A (ja) * 2019-03-14 2020-09-17 株式会社東芝 移動体行動登録装置、移動体行動登録システム、及び移動体行動決定装置
US11257177B2 (en) 2019-03-14 2022-02-22 Kabushiki Kaisha Toshiba Moving object action registration apparatus, moving object action registration system, and moving object action determination apparatus
CN112258453A (zh) * 2020-09-27 2021-01-22 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
CN112258453B (zh) * 2020-09-27 2024-04-26 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
KR20230083409A (ko) * 2021-12-03 2023-06-12 주식회사 엔에스이 고밀집 실내 환경에 적합한 무인비행체 위치 결정 시스템

Similar Documents

Publication Publication Date Title
EP2144131B1 (en) Apparatus and method of building map for mobile robot
US11361469B2 (en) Method and system for calibrating multiple cameras
CN102596517B (zh) 移动机器人定位和导航控制方法及使用该方法的移动机器人
JP5296746B2 (ja) マップ作成方法および装置とそのマップを利用した定位方法
KR101072876B1 (ko) 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
KR101538775B1 (ko) 전방 영상을 이용한 위치 인식 장치 및 방법
KR101686170B1 (ko) 주행 경로 계획 장치 및 방법
KR20110011424A (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR20100081882A (ko) 로봇의 슬립 감지 장치 및 방법
CN105825498A (zh) 测量数据处理装置、测量数据处理方法以及程序
KR20140009737A (ko) 하이브리드 맵 기반 로봇의 위치인식방법
KR101469099B1 (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
JP7675557B2 (ja) 位置測定システム
KR20140053712A (ko) 센서 융합에 의한 실내로봇용 위치인식 방법
Fernández et al. Guidance of a mobile robot using an array of static cameras located in the environment
KR20150142475A (ko) 장애물 식별 장치 및 방법
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
WO2018142533A1 (ja) 位置姿勢推定装置および位置姿勢推定方法
KR20120108277A (ko) 자연랜드마크와 인공랜드마크를 인식하는 지능형 이동로봇의 위치인식 방법
KR101305405B1 (ko) 측면의 랜드마크를 인식하는 지능형 이동로봇의 위치인식 방법
KR20100081881A (ko) 데이터 매칭 장치, 데이터 매칭 방법, 및 이를 이용한 이동로봇
JP2013196268A (ja) 対象物検出装置および対象物検出方法
KR20140032113A (ko) 자연랜드마크 및 인공랜드마크와 엔코더를 이용한 지능형 이동로봇의 위치인식 방법
KR100906991B1 (ko) 로봇의 비시인성 장애물 탐지방법
KR101979003B1 (ko) 자연랜드마크 및 인공랜드마크와 관성센서를 이용한 지능형 이동로봇의 위치인식 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000