KR20200083360A - 오브젝트 탐지 방법 및 장치 - Google Patents

오브젝트 탐지 방법 및 장치 Download PDF

Info

Publication number
KR20200083360A
KR20200083360A KR1020190178877A KR20190178877A KR20200083360A KR 20200083360 A KR20200083360 A KR 20200083360A KR 1020190178877 A KR1020190178877 A KR 1020190178877A KR 20190178877 A KR20190178877 A KR 20190178877A KR 20200083360 A KR20200083360 A KR 20200083360A
Authority
KR
South Korea
Prior art keywords
reference value
cell
value
determining
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190178877A
Other languages
English (en)
Other versions
KR102368856B1 (ko
Inventor
김진효
Original Assignee
주식회사 도구공간
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 도구공간 filed Critical 주식회사 도구공간
Publication of KR20200083360A publication Critical patent/KR20200083360A/ko
Application granted granted Critical
Publication of KR102368856B1 publication Critical patent/KR102368856B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N5/232—

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

오브젝트 탐지 방법 및 장치가 제공된다. 본 발명에 따른 컴퓨터 장치에 의해 수행되는 오브젝트 탐지 방법은 오브젝트 맵을 로드하는 단계, 오브젝트를 탐지한 정보에 기반하여 상기 오브젝트 맵의 대응하는 셀의 참조값을 결정하는 단계, 및 상기 참조값을 임계값과 비교하여 상기 오브젝트를 표시할 위치를 결정하는 단계를 포함하고, 상기 참조값은 상기 오브젝트의 반복적 탐지 여부에 따라 그 값이 변동된다.
이러한 방법에 따르면, 로봇을 통해 주변의 사물을 정확히 탐지하여 원격지의 표시 단말에 전달할 수 있다. 또한, 노이즈 검증 방법을 통해 불필요한 센서 노이즈를 제거하여 노이즈에 의해 오브젝트 정보가 잘못 전달되는 것을 방지할 수 있으며, 서로 다른 종류의 복수의 센싱 데이터들을 이용하여 오브젝트의 재질에 대한 정보까지 추가로 제공할 수 있다. 그에 따라, 사용자는 로봇 주변의 환경을 보다 정확하게 인지하고 세밀한 조작을 수행할 수 있다.

Description

오브젝트 탐지 방법 및 장치{METHOD AND APPARATUS FOR DETECTING AN OBJECT}
본 발명은 오브젝트 탐지 방법 및 장치에 관한 것이다. 보다 자세하게는, 로봇을 통해 주위 사물을 탐지하고 이를 기반으로 오브젝트 맵을 표시하는 오브젝트 탐지 방법 및 그 장치에 관한 것이다.
최근 로봇 기술의 발전에 따라 일상 생활 및 다양한 산업 분야에서 로봇을 활용하려는 노력들이 진행되고 있다. 사람이 직접 접근하기 어려운 위험한 환경에 이동 로봇을 투입하여 주변 사물과 환경을 모니터링하거나, 물류 시설 등에서 로봇이 스스로 화물을 찾아 운반하도록 하는 등 많은 분야에서 로봇을 활용하려는 움직임이 적극 시도되고 있다.
로봇을 원격지에서 적절하게 제어하고 효과적으로 활용하기 위해서는 로봇 주변의 환경에 대한 정보를 정확하게 파악하는 것이 필요하다. 종래에는 로봇에 장착된 센서나 카메라를 통해 로봇 주변의 환경 정보를 획득하였으나, 실제 동작 환경에서 여러 센서 노이즈(Noise) 때문에 잘못된 정보가 전달되거나 불필요한 정보가 과장되게 탐지되는 등 정확한 환경 정보를 획득하는 데 많은 어려움이 있었다.
대한민국 등록특허공보 제10-1708659호 (2017. 02. 22)
본 발명의 실시예들을 통해 해결하고자 하는 기술적 과제는, 로봇 주변의 사물을 정확히 탐지하여 원격지의 환경 정보를 올바르게 전달할 수 있는 오브젝트 탐지 방법 및 장치를 제공하는 것이다.
본 발명의 실시예들을 통해 해결하고자 하는 다른 기술적 과제는, 불필요한 센서 노이즈를 제거함으로써 환경 정보의 오탐지를 방지할 수 있는 오브젝트 탐지 방법 및 장치를 제공하는 것이다.
본 발명의 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 종래 탐지가 어려웠던 재질의 오브젝트에 대해서도 정확히 탐지하며, 오브젝트의 재질에 대한 정보를 제공함으로써 사용자가 보다 정확하게 로봇 주변의 환경을 인지하고 세밀한 조작을 수행할 수 있도록 하는 오브젝트 탐지 방법 및 장치를 제공하는 것이다.
본 개시의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 컴퓨터 장치에 의해 수행되는 오브젝트 탐지 방법은 오브젝트 맵을 로드하는 단계, 오브젝트를 탐지한 정보에 기반하여 상기 오브젝트 맵의 대응하는 셀의 참조값을 결정하는 단계, 및 상기 참조값을 임계값과 비교하여 상기 오브젝트를 표시할 위치를 결정하는 단계를 포함하고, 상기 참조값은 상기 오브젝트의 반복적 탐지 여부에 따라 그 값이 변동된다.
일 실시예로서, 상기 참조값을 결정하는 단계는 상기 오브젝트의 탐지된 위치에 대응하는 상기 오브젝트 맵의 제1 셀의 참조값을 제1 값으로 결정하는 단계, 및 상기 제1 셀과 제2 셀 간의 거리에 기반하여 상기 제2 셀의 참조값을 제2 값으로 결정하는 단계를 포함할 수 있다.
일 실시예로서, 상기 참조값을 결정하는 단계는 상기 오브젝트의 탐지된 위치에 대응하는 상기 오브젝트 맵의 제1 셀의 참조값에 제1 값을 가산하는 단계, 및 상기 제1 셀과 제2 셀 간의 거리에 기반하여 상기 제2 셀의 참조값에 제2 값을 가산하는 단계를 포함할 수 있다.
일 실시예로서, 상기 제2 값은 상기 거리가 클수록 작은 값을 가질 수 있다.
일 실시예로서, 상기 참조값은 시간의 흐름에 따라 감쇠값이 감해질 수 있다.
일 실시예로서, 상기 감쇠값은 상기 오브젝트의 유형에 따라 달라질 수 있다.
일 실시예로서, 상기 오브젝트의 유형은 이동형 오브젝트 및 고정형 오브젝트를 포함하고, 상기 이동형 오브젝트의 감쇠값은 상기 고정형 오브젝트의 감쇠값보다 작도록 결정될 수 있다.
일 실시예로서, 상기 오브젝트 맵은 상기 오브젝트가 위치한 영역을 나타내는 오브젝트 영역 및 상기 오브젝트 영역과 구분되는 환경 영역을 포함하고, 상기 감쇠값은 상기 오브젝트 영역 및 상기 환경 영역에 대해 서로 다른 감쇠값이 적용될 수 있다.
일 실시예로서, 상기 오브젝트를 탐지한 정보는 서로 다른 종류의 데이터를 포함하고, 상기 서로 다른 종류의 데이터를 이용하여 상기 오브젝트의 재질을 결정하는 단계를 더 포함할 수 있다.
일 실시예로서, 상기 오브젝트의 재질을 결정하는 단계는 상기 서로 다른 종류의 데이터 중 제1 데이터에 기반하여 상기 오브젝트의 탐지 여부를 판단하는 제1 판단 단계, 상기 서로 다른 종류의 데이터 중 제2 데이터에 기반하여 상기 오브젝트의 탐지 여부를 판단하는 제2 판단 단계, 및 상기 제1 판단 단계 및 상기 제2 판단 단계의 판단 결과들에 기반하여 상기 오브젝트의 재질을 결정하는 단계를 포함할 수 있다.
일 실시예로서, 상기 판단 결과들이 서로 일치하지 않으면 상기 오브젝트의 재질은 광 반사체 또는 광 투과체로 결정될 수 있다.
일 실시예로서, 상기 서로 다른 종류의 데이터는 광학 기반의 영상 데이터 및 음파 또는 전파 기반의 파동 데이터를 포함할 수 있다.
일 실시예로서, 상기 오브젝트 맵은 복수의 셀을 포함하는 그리드 맵이고, 상기 참조값은 상기 셀 단위로 결정될 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 오브젝트 탐지 장치는 프로세서, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리, 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은 오브젝트 맵을 로드하는 동작, 오브젝트를 탐지한 정보에 기반하여 상기 오브젝트 맵의 대응하는 셀의 참조값을 결정하는 동작, 및 상기 참조값을 임계값과 비교하여 상기 오브젝트를 표시할 위치를 결정하는 동작을 수행하도록 하는 인스트럭션들(instructions)을 포함하고, 상기 참조값은 상기 오브젝트의 반복적 탐지 여부에 따라 그 값이 변동된다.
상기 기술적 과제를 해결하기 위한, 본 발명의 실시예들에 따른 컴퓨터 프로그램은 오브젝트 탐지 방법을 실행하기 위해 컴퓨팅 장치와 결합되어, 오브젝트 맵을 로드하는 단계, 오브젝트를 탐지한 정보에 기반하여 상기 오브젝트 맵의 대응하는 셀의 참조값을 결정하는 단계, 및 상기 참조값을 임계값과 비교하여 상기 오브젝트를 표시할 위치를 결정하는 단계를 실행시키도록 컴퓨터로 판독가능한 기록매체에 저장되고, 상기 참조값은 상기 오브젝트의 반복적 탐지 여부에 따라 그 값이 변동된다.
상술한 본 발명의 다양한 실시예들에 따르면, 로봇 주변의 사물을 정확히 탐지하여 원격지의 환경 정보를 사용자에게 올바르게 전달할 수 있다.
또한, 노이즈 필터링을 통해 불필요한 센서 노이즈를 제거할 수 있어 노이즈에 의해 환경 정보가 잘못 전달되는 것을 방지할 수 있다.
또한, 종래 탐지가 어려웠던 유리나 거울 등의 재질에 대해서도 정확히 탐지할 수 있으며, 오브젝트의 재질에 대한 정보를 추가로 제공할 수 있어 사용자가 보다 정확하게 로봇 주변의 환경을 인지하고 세밀한 조작을 수행할 수 있도록 한다.
본 개시의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 본 개시의 실시예들로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 오브젝트 탐지 방법 및 장치가 적용되는 시스템 환경(1000)을 예시적으로 나타내는 도면이다.
도 2는 본 발명에 따른 오브젝트 탐지 방법에서 원격 로봇을 통해 주변 사물을 탐지하고 이를 기반으로 오브젝트 맵을 생성하는 방법을 개념적으로 설명하는 도면이다.
도 3은 본 발명의 몇몇 실시예들에 따른 오브젝트 탐지 방법을 나타내는 순서도이다.
도 4는 도 3의 설명에서 참조되는 오브젝트 맵의 예시적인 형태를 도시하는 도면이다.
도 5는 도 3의 셀의 참조값을 결정할 때 가우시안 필터를 적용하는 실시예를 설명하기 위한 도면이다.
도 6은 도 3의 셀의 참조값을 결정하는 단계(S200)를 구체화한 일 실시예를 나타내는 순서도이다.
도 7은 도 3의 오브젝트의 위치를 결정하는 단계(S300)를 구체화한 일 실시예를 나타내는 순서도이다.
도 8은 도 3의 오브젝트의 재질을 결정하는 단계(S400)를 구체화한 일 실시예를 나타내는 순서도이다.
도 9는 본 발명의 다양한 실시예들이 구현되는 예시적인 컴퓨팅 장치를 나타내는 하드웨어 구성도이다.
이하, 첨부된 도면을 참조하여 본 개시의 바람직한 실시예들을 상세히 설명한다. 본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 개시의 기술적 사상을 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
본 개시에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하에서는, 앞서 상술한 기술적 과제를 해결하기 위한 본 개시의 다양한 실시예들에 대하여 설명하도록 한다.
도 1은 본 발명에 따른 오브젝트 탐지 방법 및 장치가 적용되는 시스템 환경(1000)을 예시적으로 나타내는 도면이다. 도 1을 참조하면, 시스템 환경(1000)은 탐지 로봇(100), 표시 단말(200), 서버(300) 및 네트워크(400)를 포함한다. 다만, 여기서 서버(300)는 선택적 구성요소로서, Peer-to-Peer 방식으로 오브젝트 탐지 정보를 주고받는 경우에는 서비스 환경(1000)에서 제외될 수 있다.
탐지 로봇(100)은 바퀴와 같은 이동 가능 수단을 구비하고, 지정된 지역을 이동하며 주변의 오브젝트(가령, 사물이나 사람 등)를 탐지한다. 탐지 로봇(100)은 내장된 센서를 이용하여 오브젝트나 환경에 대한 정보를 수집한 후 이를 원격의 표시 단말(200)이나 기타 사용자 단말에 제공할 수 있다. 탐지 로봇(100)은 이동할 때, 현재 지역의 장애물이나 통로 등이 표시된 오브젝트 맵을 참조하여 이동 경로를 정할 수 있다.
표시 단말(200)은 탐지 로봇(100)이 제공하는 오브젝트 정보를 수신한 후 이를 분석하여, 오브젝트 맵의 대응하는 위치에 오브젝트를 표시한다. 예를 들어, 표시 단말(200)은 탐지 로봇(100)이 위치한 지역의 오브젝트 맵을 생성한 후 저장하고, 탐지 로봇(100)이 제공하는 오브젝트 정보에 기반하여 오브젝트의 실제 위치에 대응하는 오브젝트 맵 상의 지점에 오브젝트를 표시한다. 사용자는 표시 단말(200)이 표시하는 오브젝트 맵을 보고 어느 위치에 어떤 오브젝트(예를 들어, 장애물이나 이동체 또는 사람)가 위치하는 지 탐지 로봇(100) 주변의 환경 정보를 인지할 수 있고 그에 따른 적절한 제어 명령을 내리게 된다. 표시 단말(200)은 다양한 형태의 단말로 구현될 수 있다. 예를 들어, 표시 단말(200)은 노트북, 데스크탑, 랩탑, 스마트폰, 태블릿과 같은 다양한 형태의 사용자 단말로 구현될 수도 있고, 관제 센터의 서버 또는 모니터링 장비로 구현될 수도 있다.
서버(300)는 앞서 설명한 바와 같이 선택적 구성요소로서, 탐지 로봇(100)과 표시 단말(200)이 Peer-to-Peer 방식으로 데이터 통신을 하는 경우에는 필요하지 않은 구성이다. 서버(300)는 탐지 로봇(100)과 표시 단말(200) 간 데이터 통신이 서버(300)의 중계를 통해 이루어지는 상황에서 필요할 수 있다. 이 경우 서버(300)는 표시 단말(200)로부터 수신되는 제어 신호를 탐지 로봇(100)으로 전달하고, 탐지 로봇(100)으로부터 수신되는 오브젝트 정보를 표시 단말(200)로 전달한다. 이때, 서버(300)는 전달하는 데이터가 수신측에 적합하도록, 전달하는 데이터의 포맷을 변환하거나 소정의 데이터 처리를 부가할 수 있다.
네트워크(400)는 탐지 로봇(100)과 표시 단말(200) 간, 또는 탐지 로봇(100)과 서버(300)간, 또는 표시 단말(200)과 서버(300) 간 데이터 전송을 위한 유무선 통신 수단을 제공한다. 네트워크(400)는 랜(LAN), 무선 랜(WLAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 4G, 5G 또는 그 밖의 유무선 통신 수단을 포함할 수 있다. 네트워크(400)에 관한 구체적인 기술 내용은 당해 기술 분야에 널리 알려져 있으므로 여기서는 그에 대한 설명을 생략한다.
본 발명에서 탐지 로봇(100)은 주변의 오브젝트를 탐지하여 그에 대한 정보를 표시 단말(200)에 제공한다. 표시 단말(200)은 제공된 정보에 기반하여 저장된 오브젝트 맵 상에 탐지된 오브젝트를 표시한다. 이때, 센서 노이즈에 의한 영향을 제거하기 위해, 시간 기반의 노이즈 필터링 알고리즘을 이용하여 탐지된 오브젝트가 실제 존재하는 오브젝트인지 오탐지된 노이즈인지를 판단하기 위한 노이즈 검증을 수행한다. 상기 노이즈 검증은 탐지 로봇(100)이 제공한 데이터를 기반으로 표시 단말(200)에서 수행될 수도 있고, 탐지 로봇(100)에서 수행된 후 그 결과만 표시 단말(200)에 전달될 수도 있다. 노이즈 검증 방법에 대한 구체적인 내용은 도 5 이하에서 상세히 후술하기로 한다.
한편, 일 실시예로서, 탐지 로봇(100)은 서로 다른 종류의 복수의 센서를 이용하여 하나의 오브젝트에 대해 서로 다른 종류의 복수의 센싱 데이터들을 획득할 수 있다. 이때, 획득된 센싱 데이터들은 오브젝트의 재질을 검출하는 데 이용될 수 있다. 각 오브젝트들은 그 재질에 따라 특정 종류의 센서에 더 잘 센싱되거나, 반대로 잘 센싱되지 않는 특성을 가질 수 있다. 이러한 재질의 특성을 이용하여, 각 센싱 데이터들의 강도나 탐지 상태 등을 분석하여 해당 오브젝트의 재질을 결정할 수 있다. 오브젝트의 재질을 결정하는 방법에 대한 구체적인 내용은 도 8에서 상세히 후술하기로 한다.
상기한 본 발명의 실시예들에 따르면, 탐지 로봇(100)을 통해 주변의 사물을 정확히 탐지하여 원격지의 표시 단말(200)에 탐지 로봇(100) 주변의 오브젝트 정보를 전달할 수 있다. 이때, 노이즈 검증 방법을 통해 불필요한 센서 노이즈를 제거하여, 노이즈에 의해 오브젝트 정보가 잘못 전달되는 것을 방지할 수 있으며, 서로 다른 종류의 복수의 센싱 데이터들을 이용하여 오브젝트의 재질에 대한 정보까지 추가로 제공할 수 있다. 그에 따라, 사용자는 탐지 로봇(100) 주변의 환경을 보다 정확하게 인지하고 세밀한 조작을 수행할 수 있게 된다.
이하에서는, 본 발명에 따른 오브젝트 탐지 방법 및 장치를 구체적인 실시예와 함께 도면들을 참조하여 설명하기로 한다.
도 2는 본 발명에 따른 오브젝트 탐지 방법에서 원격 로봇을 통해 주변 사물을 탐지하고 이를 기반으로 오브젝트 맵을 생성하는 방법을 개념적으로 설명하는 도면이다. 도 2의 (a)를 참조하면 탐지 공간(10) 내에서 탐지 로봇(100)이 주변 환경 및 오브젝트들을 탐지하는 방법이 도시되고, 도 2의 (b)를 참조하면 탐지된 오브젝트 정보를 기반으로 구성된 오브젝트 맵의 예시적인 형태가 도시된다.
탐지 로봇(100)은 탐지 공간(10)을 이동하며, 내장된 센서들을 통해 주변의 환경이나 오브젝트를 탐지한다. 이때, 탐지되는 환경이나 오브젝트는 기둥이나 화분(12)과 같은 장애물일 수도 있고, 이동하는 차량이나 사람과 같은 이동체일 수도 있고, 탐지 로봇(100)이 주행하는 바닥(11)과 같은 구조물일 수도 있다.
오브젝트 맵(20)은 탐지 로봇(100)이 위치한 탐지 공간(10)을 나타내는 지도로서, 탐지 로봇(100)이 제공하는 오브젝트 정보에 기반하여 제공되는 지도일 수 있다. 가령, 탐지 로봇(100)에 의해 탐지 공간(10) 상에서 특정 오브젝트(12)가 탐지되면, 그 탐지된 정보에 기반하여 오브젝트 맵(20)의 대응하는 위치에 특정 오브젝트(12)임을 나타내는 구조체(22)가 표시된다. 이때, 오브젝트 맵(20)에는 탐지 로봇(100)을 나타내는 구조체(21)가 함께 표시되어, 탐지 로봇(100)의 위치 및 탐지 로봇(100)과 특정 오브젝트(12) 사이의 거리 등에 대한 정보를 추가로 제공하고, 탐지 로봇(100)의 주변 환경에 대한 사용자의 직관적인 이해를 도울 수 있다.
일 실시예로서, 오브젝트 맵(20)은 탐지 로봇(100)이 탐지한 정보 외에 사전에 미리 제공된 환경 정보를 더 포함할 수 있다. 가령, 오브젝트 맵(20)은 미리 제공된 환경 정보에 기반하여 미리 주변 공간의 배치나 구조물(23, 24)을 표시한 후, 탐지 로봇(100)의 활동에 의해 탐지된 오브젝트를 표시(22)하는 방식으로 구성될 수 있다.
도 3은 본 발명의 몇몇 실시예들에 따른 오브젝트 탐지 방법을 나타내는 순서도이다. 도 3을 참조하면, 오브젝트 맵을 저장한 후, 탐지 로봇이 제공하는 오브젝트 정보에 기반하여 오브젝트 맵 상에 오브젝트를 표시하는 일련의 단계들이 설명된다. 도 3에서 설명된 방법의 주체는 도 9에서 설명되는 컴퓨팅 장치(500)로서, 상기 컴퓨팅 장치(500)는 도 1의 탐지 로봇(100) 또는 표시 단말(200)일 수 있다.
S100 단계에서, 컴퓨팅 장치(500)는 오브젝트 맵(20)을 저장한다. 오브젝트 맵(20)은 컴퓨팅 장치(500)에 의해 생성된 것일 수도 있고, 외부에서 생성되어 컴퓨팅 장치(500)에 제공된 것일 수도 있다. 오브젝트 맵(20)은 예를 들어, 도 9의 스토리지(590)에 저장될 수 있다.
S200 단계에서, 컴퓨팅 장치(500)는 탐지 로봇(100)이 오브젝트를 탐지한 정보에 기반하여, 오브젝트 맵의 셀의 참조값을 결정한다. 이때, 참조값은 해당 셀에 오브젝트가 존재하는지 여부를 나타내기 위한 값으로, 오브젝트의 탐지 여부에 따라 다른 값을 가질 수 있다. 예를 들어, 탐지 로봇(100)에 의해 특정 지점에 위치한 오브젝트가 탐지되면, 상기 특정 지점에 대응하는 오브젝트 맵의 셀에 대해서는 참조값이 제1 값(예를 들어, 1)으로 결정될 수 있다. 반면에, 상기 특정 지점에서 어떤 오브젝트도 탐지되지 않았으면, 상기 특정 지점에 대응하는 오브젝트 맵의 셀의 참조값은 제2 값(예를 들어, 0)으로 결정될 수 있다.
한편, 이때, 참조값은 해당 셀에 대응하는 위치에서 오브젝트가 반복적으로 탐지되는지 여부에 따라 그 값이 변동될 수 있다. 이는 센서 노이즈로 인해 오브젝트가 존재하지 않는 위치에 대해 오브젝트가 존재하는 것으로 일시적으로 오탐지되는 경우를 필터링하기 위한 것으로, 셀에 대응하는 위치에서 오브젝트가 한번 탐지되었지만 이후 반복 탐지되지 않는다면 앞서 한번의 탐지는 노이즈에 의한 오탐지로 보고 참조값을 감소되는 방향으로 변동시킬 수 있다. 반면에, 셀에 대응하는 위치에서 오브젝트가 한번 탐지되고 이후에도 반복적으로 탐지된다면 이는 해당 위치에 오브젝트가 확실히 존재하는 것으로 보고 상기 셀의 참조값을 증가되는 방향으로 변동시킬 수 있다.
일 실시예로서, 본 실시예에 따른 노이즈 필터링 알고리즘은 오브젝트가 탐지되는 경우 탐지된 위치에 대응되는 셀의 참조값에 제1 값을 가산하되, 일정 시간 마다 주기적으로 미리 결정된 감쇠값을 참조값에서 감산하는 방법으로 참조값을 변동시킬 수 있다. 이 경우, 오브젝트가 최초 탐지되면 상기 셀의 참조값이 제1 값으로 설정되지만, 이후 반복 탐지되지 않는다면 일정 시간 마다 감쇠값이 감해져서 결국 상기 셀의 참조값은 0으로 향할 것이다. 반면에, 최초 탐지된 이후 같은 위치에서 오브젝트가 반복 탐지된다면, 상기 셀의 참조값은 오브젝트가 반복 탐지될 때마다 제1 값이 가산되어 시간이 지남에 따라 점점 증가할 것이다. 이때, 상기 셀에 대해 감쇠값이 주기적으로 감산된다 하더라도, 감쇠값에 의한 감소분보다 반복 탐지에 의한 증가분이 더 클 것이므로 시간이 지날수록 상기 셀의 참조값은 증가하게 된다(반복 탐지에 의한 증가분이 감쇠값에 의한 감소분보다 크게 되도록 설정되는 것을 전제함). 따라서, 이러한 노이즈 필터링 알고리즘에 따르면, 오브젝트를 일시적으로 오탐지한다 하더라도 결과적으로 오브젝트가 존재하는 셀의 참조값은 계속 증가하는 반면 오브젝트가 존재하지 않는 셀의 참조값은 0에 가까워지게 된다.
S300 단계에서, 컴퓨팅 장치(500)는 오브젝트 맵(20) 상의 셀의 참조값을 임계값과 비교하여, 오브젝트 맵(20) 상에서 오브젝트를 표시할 위치를 결정한다. 앞서 설명한 바와 같이, 셀의 참조값은 상기 셀에 대응되는 위치에서 오브젝트가 반복적으로 탐지되는지 여부에 따라 달라진다. 즉, 오브젝트가 반복 탐지되는 경우라면 셀의 참조값은 제1 방향(본 실시예에서는 증가하는 방향)으로 변동하고, 그렇지 않은 경우라면 셀의 참조값은 제2 방향(본 실시예에서는 감소하는 방향)으로 변동할 것이다.
따라서, 임계값을 적절히 큰 값으로 설정해두면, 참조값이 임계값보다 큰 경우 이는 그만큼 해당 위치에서 오브젝트가 여러 번 탐지되었다는 의미이므로 실제로 오브젝트가 존재하는 것으로 볼 수 있다. 따라서, 임계값보다 큰 참조값을 갖는 셀을 오브젝트를 표시할 위치로 결정할 수 있다. 반면에 참조값이 임계값보다 작은 경우 이는 오브젝트가 충분히 반복 탐지되지 않았다는 의미이므로 실제로 오브젝트가 존재하는지 아직 확정할 수 없다. 따라서, 임계값보다 작은 참조값을 갖는 셀은 오브젝트를 표시할 위치로 결정하지 않는다.
S400 단계에서, 컴퓨팅 장치(500)는 서로 다른 종류의 센싱 데이터를 이용하여 오브젝트의 재질을 결정한다. 앞서 설명한 바와 같이, 각 오브젝트들은 그 재질에 따라 특정 종류의 센서에 더 잘 센싱되거나, 반대로 잘 센싱되지 않는 특성을 가질 수 있다. 이러한 재질의 특성을 이용하여, 각 센싱 데이터들의 강도나 탐지 상태 등을 분석하여 해당 오브젝트의 재질을 결정할 수 있다. 이에 대한 구체적인 내용은 도 8에서 상세히 후술하기로 한다.
S500 단계에서, 컴퓨팅 장치(500)는 오브젝트 맵(20) 상에 탐지된 오브젝트를 표시하고, 상기 오브젝트 맵(20)을 디스플레이한다. 사용자는 디스플레이된 오브젝트 맵(20)을 보고 현재 탐지 로봇(100)의 위치와 주변 환경을 파악할 수 있으며, 현재 상황에 맞는 적절한 제어 명령을 탐지 로봇(100)에게 전송할 수 있다. 일 실시예로서, 컴퓨팅 장치(500)는 오브젝트 맵(20)을 디스플레이할 때, S400 단계에서 결정한 오브젝트의 재질에 대한 정보를 함께 디스플레이할 수 있다. 이때, 상기 재질에 대한 정보는 텍스트 형태로 디스플레이될 수도 있고, 오브젝트의 재질이 그래픽적으로 도시된 형태로 디스플레이될 수도 있다.
도 4는 도 3의 설명에서 참조되는 오브젝트 맵의 예시적인 형태를 도시하는 도면이다. 도 4를 참조하면, 오브젝트 맵(20)은 표시 영역(30)이 복수의 셀들로 구획된 그리드 맵(Grid Map)일 수 있다. 이때, 셀들(30)은 행과 열로 정의된 좌표를 가질 수 있다. 예를 들어, 표시 영역(30)의 정중에 있는 제1 셀(31)이 (j, i) 셀이라고 하면, 제1 셀(31)의 아래에 있는 제2 셀(32)은 (j+1, i) 셀이 되고, 제1 셀(31)의 대각선 우측 아래에 있는 제3 셀(33)은 (j+1, i+1) 셀이 된다. 일 실시예로서, 각 셀들의 좌표는 셀들 간의 거리를 산출하는 데 이용될 수 있다. 예를 들어, 제1 셀(31)과 제2 셀(32)의 거리는 각 셀의 좌표들 간의 거리인 [{(j) - (j+1)}2 + {(i) - (i)}2]1/2 = 1 로 산출될 수 있다.
도 5 내지 도 7에서는 셀의 참조값을 결정할 때, 오브젝트 맵(20) 내 셀들의 참조값들이 완만한 기울기를 그리도록 가우시안 필터를 적용하는 실시예를 설명한다. 여기서 가우시안 필터는 오브젝트 맵(20) 내 셀들의 참조값 분포를 스무딩(smoothing)하는 것을 의미한다.
현존하는 센서의 성능이 완벽하지 않기 때문에, 실제로는 제1 셀(31)에 오브젝트가 존재하는 경우라도, 탐지 오차에 의해 센싱 데이터는 그와 인접한 제2 셀(32)에 오브젝트가 있는 것으로 탐지되는 경우가 종종 있을 수 있다. 이는 센싱 데이터의 확률적 오차에 의한 것으로, 이와 같은 오브젝트가 존재하는 확률적 가능성을 적용하기 위해 본 실시예서는 오브젝트의 탐지된 셀 뿐만 아니라 그와 근접한 주변 셀들의 참조값에도 일정한 값을 가산한다.
도 5를 참조하면, 표시 영역(30)의 각 셀들(31, 32, 33)의 참조값(r1, r2, 3)이 도시된다. 탐지 로봇(100)에 의해 오브젝트가 탐지되면, 오브젝트의 탐지된 위치에 대응하는 셀(제1 셀, 31)의 참조값(r1)에는 a가 가산된다. 초기값이 0이라고 가정하면, 제1 셀(31)의 참조값(r1)은 a가 된다. 한편, 제1 셀(31)의 근접하는 셀들에서는 비록 오브젝트가 탐지되지 않았지만, 센싱 데이터의 확률적 오차를 감안하여 일정한 값을 참조값에 가산해준다. 이때, 가산되는 값들은 근접하는 셀과 제1 셀(31)과의 거리가 멀어질수록 더 작아질 수 있다. 제1 셀(31)에 대해 오브젝트가 탐지된 경우이므로, 제1 셀(31)에 오브젝트가 존재할 확률이 가장 높고, 제1 셀(31)로부터 거리가 멀어질수록 오브젝트가 존재할 확률이 점점 낮아질 것이기 때문이다. 가령, 제1 셀(31)의 참조값에 a를 가산한다면, 가장 가까운 제2 셀(32)의 참조값에는 그 절반인 a/2를 가산하고, 다음으로 가까운 제3 셀(33)의 참조값에는 다시 그 절반인 a/4를 가산할 수 있다.
이와 같이, 각 셀들(31, 32, 33)의 참조값을 결정할 때, 가우시안 필터를 적용함으로써 센싱 데이터의 확률적 오차를 보완할 수 있다.
도 6은 도 3의 셀의 참조값을 결정하는 단계(S200)를 구체화한 일 실시예를 나타내는 순서도이다. 도 6을 참조하면, 도 5에서 설명한 가우시안 필터를 적용하여 각 셀들의 참조값을 결정하는 방법이 도시된다.
S210 단계에서, 컴퓨팅 장치(500)는 오브젝트의 탐지된 위치에 대응하는 제1 셀(31)의 참조값(r1)에 제1 값(여기서는, a)을 가산한다. 이는 아래 수학식 1과 같이 표현될 수 있다.
Figure pat00001
여기서, 참조값(j, i)는 오브젝트 맵(20) 상의 좌표 (j, i)에 위치한 셀의 참조값임을 의미함
이때, 탐지 로봇(100)에 의해 제1 셀(31)의 위치에서 오브젝트가 반복 탐지되면, 그 때마다 제1 값이 누적적으로 가산될 수 있음은 앞서 설명한 바와 같다.
S220 단계에서, 컴퓨팅 장치(500)는 제1 셀(31)에 근접하여 위치한 제2 셀(32)의 참조값(r2)에 제2 값(여기서는, a/2)을 가산한다. 이때, 제2 값은 제1 셀(31)과 제2 셀(32) 간의 거리에 기반하여 결정될 수 있음은 앞서 설명한 바와 같다. 이는 센싱 데이터의 확률적 오차를 반영하기 위한 것으로, 아래 수학식 2로써 표현될 수 있다.
Figure pat00002
여기서, 참조값(j+1, i)는 오브젝트 맵(20) 상의 좌표 (j+1, i)에 위치한 셀의 참조값임을 의미함
한편, 여기서는 설명의 간소화를 위해, 제1 셀(31)의 근접 셀로서 제2 셀(32)만을 예시하였지만 제1 셀(31) 주변의 그 밖의 다른 셀들에 대해서도 동일한 방법으로 소정의 값들이 참조값에 가산될 수 있음은 당연하다.
S230 단계에서, 컴퓨팅 장치(500)는 시간의 흐름에 따라 각 셀들의 참조값에 감쇠값을 감산한다. 이는 앞서 설명한 노이즈 필터링 알고리즘에 따른 것으로, 오브젝트가 일시적으로 한번 탐지되었으나 이후 반복 탐지되지 않는다면 이는 오탐지에 의한 것으로, 주기적으로 감산되는 감쇠값에 의해 해당 셀의 참조값은 0으로 가까워질 것이다. 이는 아래 수학식 3으로써 표현될 수 있다.
Figure pat00003
여기서, k*a는 감쇠값이고, k는 0 이상 1 이하의 수이다.
일반적으로 상기 감쇠값(k*a)를 망각 요소(forgetting factor)라고 지칭한다. 수학식 3을 통해 센서로부터 획득되는 오브젝트 탐지 정보가 노이즈 성분에 의한 결과인지 실제 오브젝트를 탐지한 결과인지를 구분할 수 있다.
가령, 센서로부터 획득되는 오브젝트 탐지 정보가 센서의 노이즈나 오동작에 의한 것일 경우, 이러한 오탐지는 일시적으로 나타나거나 반복되더라도 매우 간헐적으로만 반복된다. 따라서, 수학식 3과 같이 참조값이 주기적으로 감산되면, 해당 셀의 참조값은 결국 0이 되거나 일정 수준 이하로 제한되게 된다.
반면에, 센서로부터 획득되는 오브젝트 탐지 정보가 실제 오브젝트 탐지에 의한 것일 경우, 꾸준히 반복적으로 탐지 정보가 발생할 것이기 때문에 수학식 1에서 보여지는 바와 같이 참조값은 지속적으로 증가하게 된다. 이는 수학식 3의 감쇠값에 의한 감소분을 감안하더라도, 결국에는 수학식 1에 의한 증가분이 더 커서 최종적으로 참조값은 꾸준히 우상향하게 된다.
따라서, 적절한 임계값을 설정하고 참조값과 임계값을 비교하여, 참조값이 임계값보다 큰 경우 오브젝트가 존재하는 것으로 판정하고, 참조값이 임계값보다 작은 경우 오브젝트가 존재하지 않는 것으로 판정하면, 유효 적절하게 센서의 센싱 노이즈를 제거할 수 있게 된다.
일 실시예로서, 상기 감쇠값은 오브젝트의 유형에 따라 달라질 수 있다. 일반적으로 탐지 로봇(100) 주변의 오브젝트들은 이동하지 않는 고정형 오브젝트와 이동하는 이동형 오브젝트로 구분할 수 있다. 이 경우, 이러한 오브젝트의 유형에 따라 감쇠값을 다르게 적용하면 오브젝트 탐지 성능을 더욱 향상시킬 수 있다.
일반적으로, 센서로부터 방사되는 레이저나 초음파 전파 등이 장애물에 반사되어 돌아가는 경우, 주변에 노이즈를 발생시켜 실제 오브젝트 주변에 가상의 오브젝트 정보를 발생시키게 된다. 이 때문에, 센싱 데이터는 실제 오브젝트 영역 보다 더 영역의 오브젝트를 탐지하게 되는데, 감쇠값을 조정함으로써 이를 보상할 수 있다.
먼저, 오브젝트 맵(20)의 전체 셀들에 대해서는 디폴트 감쇠값을 적용한다. 그리고, 이동형 오브젝트가 탐지된 셀에 대해서는 디폴트 감쇠값보다 작은 감쇠값을 적용한다. 고정형 오브젝트가 탐지된 셀에 대해서는 디폴트 감쇠값을 그대로 적용한다. 오브젝트가 탐지되지 않은 셀에 대해서도 디폴트 감쇠값을 동일하게 적용한다. 이렇게 하면, 이동형 오브젝트에 대해서는 상대적으로 작은 감쇠값이 적용되는 반면, 이동형 오브젝트에 의한 노이즈 성분들에 대해서는 상대적으로 큰 디폴트 감쇠값이 적용된다. 그에 따라, 이동형 오브젝트의 노이즈 성분이 빠르게 감소하여, 이동형 오브젝트를 노이즈와 구분하여 정확하게 표시할 수 있게 된다.
한편, 오브젝트의 유형은 탐지 로봇(100)에 장착된 여러 종류의 센서를 통해 획득한 영상 정보 등을 딥러닝(Deep Learning)을 통해 탐지, 인식하여 판별할 수 있다. 여기서는, 오브젝트의 유형을 아래와 같이 다섯 가지 유형으로 구분하여 서로 다른 감쇠값을 적용하는 경우를 예시한다.
* 제1 유형: 고정형 오브젝트 (예를 들어, 벽)
* 제2 유형: 상태에 따라 특성이 변하는 가변형 오브젝트 (예를 들어, 문)
* 제3 유형: 저속 이동형 오브젝트 (예를 들어, 사람)
* 제4 유형: 중속 이동형 오브젝트 (예를 들어, 자전거)
* 제5 유형: 고속 이동형 오브젝트 (예를 들어, 자동차)
각 오브젝트 유형은 오브젝트의 속도나 특성에 따라 구분되며, 그에 따라 감쇠값을 서로 다르게 부여할 수 있다. 예를 들어, 제1 유형에서 제5 유형으로 갈수록 점점 작아지는 감쇠값을 부여할 수 있다.
일 실시예로서, 오브젝트 맵(20)을 오브젝트가 위치한 영역을 나타내는 오브젝트 영역 및 상기 오브젝트 영역과 구분되는 환경 영역으로 구분하고, 오브젝트 영역과 환경 영역에 대해 서로 다른 감쇠값이 적용되도록 할 수도 있다.
도 7은 도 3의 오브젝트의 재질을 결정하는 단계(S400)를 구체화한 일 실시예를 나타내는 순서도이다. 도 7을 참조하면, 셀의 참조값을 임계값과 비교하여 오브젝트의 위치를 결정하는 방법이 도시된다.
S310 단계에서, 컴퓨팅 장치(500)는 셀의 참조값이 임계값보다 큰지 판단한다. 이때, 임계값은 해당 셀에 대응되는 위치에 오브젝트가 존재하는지 여부를 판단하기 위한 기준이 되는 값이다. 셀의 참조값이 임계값보다 크면 본 실시예는 S320 단계로 진행한다. 그렇지 않으면, 본 실시예는 S330 단계로 진행한다.
S320 단계에서, 셀의 참조값이 임계값보다 큰 경우이므로, 컴퓨팅 장치(500)는 해당 셀에 대응하는 위치에 오브젝트가 존재하는 것으로 판단한다.
S330 단계에서, 셀의 참조값이 임계값보다 작거나 같은 경우이므로, 컴퓨팅 장치(500)는 해당 셀에 대응하는 위치에 오브젝트가 존재하지 않는 것으로 판단한다.
S340 단계에서, 컴퓨팅 장치(500)는 앞서 S320 단계 및 S330 단계의 판단 결과에 기반하여, 오브젝트를 표시할 위치를 결정한다. 가령, 대응하는 위치에 오브젝트가 존재하는 것으로 판단된 셀들에만 오브젝트가 표시되도록, 오브젝트 맵(20) 상의 오브젝트 표시 위치를 결정할 수 있다.
도 8은 도 3의 오브젝트의 재질을 결정하는 단계(S400)를 구체화한 일 실시예를 나타내는 순서도이다. 도 8에서는 서로 다른 종류의 센싱 데이터를 분석하여 탐지된 오브젝트의 재질을 판단하는 방법이 설명된다.
앞서 설명한 것처럼, 각 오브젝트들은 그 재질에 따라 특정 종류의 센서에 더 잘 센싱되거나, 반대로 잘 센싱되지 않는 특성을 가질 수 있다. 이러한 특성을 이용하여, 탐지 로봇(100)은 서로 다른 종류의 복수의 센서를 구비하고 하나의 오브젝트에 대해 서로 다른 종류의 복수의 센싱 데이터들을 획득할 수 있다. 그리고, 획득된 센싱 데이터들을 비교, 분석하여 오브젝트의 재질을 판단한다.
예를 들어, 거울이나 유리와 같이 빛을 투과하거나 반사하는 오브젝트는 카메라와 같은 광학 기반 센서로는 잘 탐지되지 않는다. 반면에, 초음파 센서나 레이더 등의 음파나 전파 기반 센서들은 거울이나 유리 등을 상대적으로 잘 탐지한다. 때문에, 특정 위치에 대해 카메라를 통해서는 오브젝트가 탐지되지 않은 반면 초음파 센서를 통해서는 오브젝트가 탐지된다면, 상기 특정 위치에는 거울이나 유리와 같은 오브젝트가 존재하는 것으로 판단할 수 있다.
이하 도면을 참조하여 설명한다.
S410 단계에서, 컴퓨팅 장치(500)는 서로 다른 종류의 센싱 데이터 중 제1 데이터에 기반하여 상기 오브젝트의 탐지 여부를 판단한다. 이때, 제1 데이터는 카메라와 같은 광학 기반 센서에 의해 측정된 광학 기반의 영상 데이터일 수 있다. 제1 데이터에 기반하여 오브젝트가 탐지된 것으로 판단되면, 본 실시예는 S420 단계로 진행한다. 그렇지 않으면, 본 실시예는 S450 단계로 진행한다.
S420 단계에서, 컴퓨팅 장치(500)는 서로 다른 종류의 센싱 데이터 중 제2 데이터에 기반하여 상기 오브젝트의 탐지 여부를 판단한다. 이때, 제2 데이터는 초음파 센서와 같은 음파 기반 센서에 의해 측정된 파동 데이터 또는, 레이더와 같은 전파 기반 센서에 의해 측정된 파동 데이터일 수 있다. 제2 데이터에 기반하여 오브젝트가 탐지된 것으로 판단되면, 본 실시예는 S430 단계로 진행한다. 그렇지 않으면, 본 실시예는 S440 단계로 진행한다.
S430 단계에서, 서로 다른 종류의 센싱 데이터들에 대해 모두 오브젝트가 탐지된 경우이므로 해당 위치에는 특별히 탐지 가능한 센서를 가리지 않는 일반 재질의 오브젝트가 존재하는 것으로 판단할 수 있다. 따라서, 컴퓨팅 장치(500)는 오브젝트의 재질을 일반 재질로 결정한다.
한편, S440 단계는, 광학 기반 센서로는 오브젝트가 탐지되지만 음파나 전파 기반 센서로는 오브젝트가 탐지되지 않는 경우이므로, 해당 위치에는 전파나 음파를 흡수하는 재질의 오브젝트가 존재하는 것으로 판단할 수 있다. 따라서, 컴퓨팅 장치(500)는 오브젝트의 재질을 전자파 흡수체 또는 음파 흡수체로 결정한다.
다시 S410 단계로 돌아가면, 제1 데이터에 기반하여 오브젝트가 탐지되지 않은 경우, 본 실시예는 S450 단계로 진행한다.
S450 단계에서, 컴퓨팅 장치(500)는 서로 다른 종류의 센싱 데이터 중 제2 데이터에 기반하여 상기 오브젝트의 탐지 여부를 판단한다. 이때, 제2 데이터는 초음파 센서와 같은 음파 기반 센서에 의해 측정된 파동 데이터 또는, 레이더와 같은 전파 기반 센서에 의해 측정된 파동 데이터일 수 있다. 제2 데이터에 기반하여 오브젝트가 탐지된 것으로 판단되면, 본 실시예는 S460 단계로 진행한다. 그렇지 않으면, 본 실시예는 S470 단계로 진행한다.
S460 단계에서, 광학 기반 센서로는 오브젝트가 탐지되지 않지만 음파나 전파 기반 센서로는 오브젝트가 탐지되는 경우이므로, 해당 위치에는 거울과 같이 빛을 반사하거나 또는 유리와 같이 빛을 투과하는 재질의 오브젝트가 존재하는 것으로 판단할 수 있다. 따라서, 컴퓨팅 장치(500)는 오브젝트의 재질을 광 반사체 또는 광 투과체로 결정한다.
한편, S470 단계는 서로 다른 종류의 센싱 데이터들에 대해 모두 오브젝트가 탐지되지 않은 경우이므로 해당 위치에는 오브젝트가 존재하지 않는 것으로 판단할 수 있다. 따라서, 컴퓨팅 장치(500)는 오브젝트의 재질을 결정하지 않는다.
본 실시예에서 설명된 방법에 따르면, 종래 탐지가 어려웠던 유리나 거울 등의 재질에 대해서도 정확히 탐지할 수 있으며, 오브젝트의 재질에 대한 정보를 추가로 제공하므로 사용자가 보다 정확하게 로봇 주변의 환경을 인지하고 세밀한 조작을 수행할 수 있게 된다.
이하에서는, 도 9를 참조하여 본 발명의 다양한 실시예에서 설명된 방법들을 구현할 수 있는 예시적인 컴퓨팅 장치(500)에 대하여 설명하도록 한다. 도 9는 컴퓨팅 장치(500)를 나타내는 예시적인 하드웨어 구성도이다.
도 9에 도시된 바와 같이, 컴퓨팅 장치(500)는 하나 이상의 프로세서(510), 버스(550), 통신 인터페이스(570), 프로세서(510)에 의하여 수행되는 컴퓨터 프로그램(591)을 로드(load)하는 메모리(530)와, 컴퓨터 프로그램(591)를 저장하는 스토리지(590)를 포함할 수 있다. 다만, 도 9에는 본 발명의 실시예와 관련 있는 구성요소들 만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 9에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다. 도 9에 도시된 컴퓨팅 장치(500)는 IaaS(Infrastructure-as-a-Service) 방식의 클라우드 서비스를 제공하는 서버팜(server farm)에 소속된 물리 서버 중 어느 하나를 가리킬 수 있다.
프로세서(510)는 컴퓨팅 장치(500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(510)는 본 발명의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(500)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(530)는 본 발명의 다양한 실시예들에 따른 방법/동작들을 실행하기 위하여 스토리지(590)로부터 하나 이상의 프로그램(591)을 로드(load) 할 수 있다. 예를 들어, 컴퓨터 프로그램(591)이 메모리(530)에 로드 되면, 도 4에 도시된 바와 같은 로직(또는 모듈)이 메모리(530) 상에 구현될 수 있다. 메모리(530)의 예시는 RAM이 될 수 있으나, 이에 한정되는 것은 아니다.
버스(550)는 컴퓨팅 장치(500)의 구성 요소 간 통신 기능을 제공한다. 버스(550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(570)는 컴퓨팅 장치(500)의 유무선 인터넷 통신을 지원한다. 통신 인터페이스(570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
스토리지(590)는 하나 이상의 컴퓨터 프로그램(591)을 비임시적으로 저장할 수 있다. 스토리지(590)는 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(591)은 본 발명의 다양한 실시예들에 따른 방법/동작들이 구현된 하나 이상의 인스트럭션들을 포함할 수 있다. 예를 들어, 컴퓨터 프로그램(591)은 오브젝트 맵을 로드하는 동작, 오브젝트를 탐지한 정보에 기반하여 오브젝트 맵의 셀의 참조값을 결정하는 동작, 및 참조값을 임계값과 비교하여 오브젝트를 표시할 위치를 결정하는 동작을 수행하도록 하는 인스트럭션들(instructions)을 포함할 수 있다. 이때 참조값은 상기 오브젝트의 반복적 탐지 여부에 따라 그 값이 변동될 수 있다. 컴퓨터 프로그램(591)이 메모리(530)에 로드 되면, 프로세서(510)는 상기 하나 이상의 인스트럭션들을 실행시킴으로써 본 발명의 다양한 실시예들에 따른 방법/동작들을 수행할 수 있다.
지금까지 도 1 내지 도 9를 참조하여 본 개시의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
지금까지 도 1 내지 도 9를 참조하여 설명된 본 개시의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 개시의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 개시가 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 컴퓨터 장치에 의해 수행되는 오브젝트 탐지 방법에 있어서,
    오브젝트 맵을 저장하는 단계;
    오브젝트를 탐지한 정보에 기반하여 상기 오브젝트 맵의 셀의 참조값을 결정하는 단계; 및
    상기 참조값을 임계값과 비교하여 상기 오브젝트를 표시할 위치를 결정하는 단계를 포함하고,
    상기 참조값은 상기 오브젝트의 반복적 탐지 여부에 따라 그 값이 변동되는,
    오브젝트 탐지 방법.
  2. 제1 항에 있어서,
    상기 참조값을 결정하는 단계는,
    상기 오브젝트의 탐지된 위치에 대응하는 상기 오브젝트 맵의 제1 셀의 참조값에 제1 값을 가산하는 단계; 및
    상기 제1 셀과 제2 셀 간의 거리에 기반하여 상기 제2 셀의 참조값에 제2 값을 가산하는 단계를 포함하는,
    오브젝트 탐지 방법.
  3. 제2 항에 있어서,
    상기 제2 값은,
    상기 거리가 클수록 작은 값을 갖는,
    오브젝트 탐지 방법.
  4. 제1 항에 있어서,
    상기 참조값은,
    시간의 흐름에 따라 감쇠값이 감해지는,
    오브젝트 탐지 방법.
  5. 제4 항에 있어서,
    상기 감쇠값은 상기 오브젝트의 유형에 따라 달라지는,
    오브젝트 탐지 방법.
  6. 제5 항에 있어서,
    상기 오브젝트의 유형은 이동형 오브젝트 및 고정형 오브젝트를 포함하고,
    상기 이동형 오브젝트의 감쇠값은 상기 고정형 오브젝트의 감쇠값보다 작도록 결정되는,
    오브젝트 탐지 방법.
  7. 제4 항에 있어서,
    상기 오브젝트 맵은,
    상기 오브젝트가 위치한 영역을 나타내는 오브젝트 영역 및 상기 오브젝트 영역과 구분되는 환경 영역을 포함하고,
    상기 감쇠값은,
    상기 오브젝트 영역 및 상기 환경 영역에 대해 서로 다른 감쇠값이 적용되는,
    오브젝트 탐지 방법.
  8. 제1 항에 있어서,
    상기 오브젝트를 탐지한 정보는 서로 다른 종류의 센싱 데이터를 포함하고,
    상기 서로 다른 종류의 센싱 데이터를 이용하여 상기 오브젝트의 재질을 결정하는 단계를 더 포함하는,
    오브젝트 탐지 방법.
  9. 제8 항에 있어서,
    상기 오브젝트의 재질을 결정하는 단계는,
    상기 서로 다른 종류의 센싱 데이터 중 제1 데이터에 기반하여 상기 오브젝트의 탐지 여부를 판단하는 제1 판단 단계;
    상기 서로 다른 종류의 센싱 데이터 중 제2 데이터에 기반하여 상기 오브젝트의 탐지 여부를 판단하는 제2 판단 단계; 및
    상기 제1 판단 단계 및 상기 제2 판단 단계의 판단 결과들에 기반하여 상기 오브젝트의 재질을 결정하는 단계를 포함하는,
    오브젝트 탐지 방법.
  10. 제9 항에 있어서,
    상기 판단 결과들이 서로 일치하지 않으면 상기 오브젝트의 재질은 광 반사체 또는 광 투과체로 결정되는,
    오브젝트 탐지 방법.
  11. 제10 항에 있어서,
    상기 서로 다른 종류의 센싱 데이터는,
    광학 기반의 영상 데이터 및 음파 또는 전파 기반의 파동 데이터를 포함하는,
    오브젝트 탐지 방법.
  12. 제1 항에 있어서,
    상기 오브젝트 맵은 복수의 셀을 포함하는 그리드 맵이고,
    상기 참조값은 상기 셀 단위로 결정되는,
    오브젝트 탐지 방법.
  13. 프로세서;
    상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
    상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    오브젝트 맵을 로드하는 동작,
    오브젝트를 탐지한 정보에 기반하여 상기 오브젝트 맵의 셀의 참조값을 결정하는 동작, 및
    상기 참조값을 임계값과 비교하여 상기 오브젝트를 표시할 위치를 결정하는 동작을 수행하도록 하는 인스트럭션들(instructions)을 포함하고,
    상기 참조값은 상기 오브젝트의 반복적 탐지 여부에 따라 그 값이 변동되는,
    오브젝트 탐지 장치.
  14. 오브젝트 탐지 방법을 실행하기 위해 컴퓨팅 장치와 결합되어,
    오브젝트 맵을 로드하는 단계;
    오브젝트를 탐지한 정보에 기반하여 상기 오브젝트 맵의 셀의 참조값을 결정하는 단계; 및
    상기 참조값을 임계값과 비교하여 상기 오브젝트를 표시할 위치를 결정하는 단계를 실행시키도록 컴퓨터로 판독가능한 기록매체에 저장되고,
    상기 참조값은 상기 오브젝트의 반복적 탐지 여부에 따라 그 값이 변동되는,
    컴퓨터 프로그램.
KR1020190178877A 2018-12-31 2019-12-31 오브젝트 탐지 방법 및 장치 Active KR102368856B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180174032 2018-12-31
KR20180174032 2018-12-31

Publications (2)

Publication Number Publication Date
KR20200083360A true KR20200083360A (ko) 2020-07-08
KR102368856B1 KR102368856B1 (ko) 2022-03-02

Family

ID=71601043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190178877A Active KR102368856B1 (ko) 2018-12-31 2019-12-31 오브젝트 탐지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102368856B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114594482A (zh) * 2022-03-21 2022-06-07 珠海一微半导体股份有限公司 基于超声波数据的障碍物材质检测方法及机器人控制方法
KR20240076079A (ko) * 2022-11-23 2024-05-30 엘아이지넥스원 주식회사 표적 감지 장치 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050063543A (ko) * 2003-12-22 2005-06-28 엘지전자 주식회사 이동로봇의 위치확인장치 및 방법
JP2009031884A (ja) * 2007-07-25 2009-02-12 Toyota Motor Corp 自律移動体、自律移動体におけるマップ情報作成方法および自律移動体における移動経路特定方法
KR101708659B1 (ko) 2014-06-17 2017-02-22 주식회사 유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
KR20170048815A (ko) * 2015-10-27 2017-05-10 삼성전자주식회사 청소 로봇 및 그 제어방법
KR20180044486A (ko) * 2016-10-21 2018-05-03 네이버 주식회사 자율 주행 기술을 응용한 3차원 실내 정밀 지도 자동 생성 로봇 및 로봇의 제어 방법
KR20180084305A (ko) * 2017-01-16 2018-07-25 엘지전자 주식회사 이동 로봇
KR20180112622A (ko) * 2017-04-04 2018-10-12 엘지전자 주식회사 고정객체와 이동객체의 식별에 기반하여 위치를 설정하는 방법 및 이를 구현하는 로봇
JP2018185767A (ja) * 2017-04-27 2018-11-22 トヨタ自動車株式会社 環境整備ロボットおよびその制御プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050063543A (ko) * 2003-12-22 2005-06-28 엘지전자 주식회사 이동로봇의 위치확인장치 및 방법
JP2009031884A (ja) * 2007-07-25 2009-02-12 Toyota Motor Corp 自律移動体、自律移動体におけるマップ情報作成方法および自律移動体における移動経路特定方法
KR101708659B1 (ko) 2014-06-17 2017-02-22 주식회사 유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
KR20170048815A (ko) * 2015-10-27 2017-05-10 삼성전자주식회사 청소 로봇 및 그 제어방법
KR20180044486A (ko) * 2016-10-21 2018-05-03 네이버 주식회사 자율 주행 기술을 응용한 3차원 실내 정밀 지도 자동 생성 로봇 및 로봇의 제어 방법
KR20180084305A (ko) * 2017-01-16 2018-07-25 엘지전자 주식회사 이동 로봇
KR20180112622A (ko) * 2017-04-04 2018-10-12 엘지전자 주식회사 고정객체와 이동객체의 식별에 기반하여 위치를 설정하는 방법 및 이를 구현하는 로봇
JP2018185767A (ja) * 2017-04-27 2018-11-22 トヨタ自動車株式会社 環境整備ロボットおよびその制御プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114594482A (zh) * 2022-03-21 2022-06-07 珠海一微半导体股份有限公司 基于超声波数据的障碍物材质检测方法及机器人控制方法
CN114594482B (zh) * 2022-03-21 2025-09-09 珠海一微半导体股份有限公司 基于超声波数据的障碍物材质检测方法及机器人控制方法
KR20240076079A (ko) * 2022-11-23 2024-05-30 엘아이지넥스원 주식회사 표적 감지 장치 및 방법

Also Published As

Publication number Publication date
KR102368856B1 (ko) 2022-03-02

Similar Documents

Publication Publication Date Title
US11740352B2 (en) Obstacle recognition device, vehicle system including the same, and method thereof
US20250370455A1 (en) Apparatus, system, and method of using depth assessment for autonomous robot navigation
JP2020079781A (ja) 相対的位置姿勢の決定方法、装置、機器及び媒体
JP5678793B2 (ja) 周辺監視装置および周辺監視方法並びに運転支援装置
US11373412B2 (en) Obstacle map generating method and apparatus
US11748593B2 (en) Sensor fusion target prediction device and method for vehicles and vehicle including the device
KR102352360B1 (ko) 운전자의 시선에 기반한 장애물 후보들에 대한 분석 우선순위를 이용하여 장애물을 분석하는 방법 및 시스템
US12479426B2 (en) Method for training and operating movement estimation of objects
CN109696665B (zh) 超声波传感器测量数据的处理方法、装置及设备
CN115891990A (zh) 车辆防撞控制方法、系统、设备及存储介质
CN104864863B (zh) 一种路径选择方法及电子设备
KR101813790B1 (ko) 특징 기반 다중 센서 정보 융합 장치 및 방법
KR102368856B1 (ko) 오브젝트 탐지 방법 및 장치
WO2019088990A1 (en) Control system for mobile robots
KR102075831B1 (ko) V2v 통신과 레이다 센서 객체 번호 일치 방법 및 장치
KR102376615B1 (ko) 주행 로봇의 제어 방법 및 그 장치
CN112327848A (zh) 机器人避障方法及装置、存储介质和电子设备
US20220308231A1 (en) Method for range determination for a lidar sensor
US10303841B1 (en) Automatic peak interval, relative volatility, and relative amplitude detection in high-volume temporal data
CN116203570A (zh) 移动物的外部测量传感器的用于降低噪声的装置和方法
KR20230014008A (ko) 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치
CN114474158B (zh) 机器人移动路径检测方法及移动平台
JP7775181B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
KR102797722B1 (ko) 로봇의 상태 추정 장치 및 방법
US20240300480A1 (en) Control method and device of mobile robot

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301