KR20200055239A - 로봇군 제어 방법 및 시스템 - Google Patents

Abstract

본 발명은 로봇군 제어 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 관리 로봇이 주행하면서 작업 영역에 대한 지도 정보를 생성하고, 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할해 하나 이상의 작업 로봇에게 할당하여, 각 작업 로봇이 각 서브 작업 영역에서 주어진 작업을 수행하도록 제어하는 로봇군 제어 방법 및 시스템에 관한 것이다.
본 발명에서는, 관리 로봇이 주행하면서 작업 영역에 대한 지도 정보를 생성하는 지도 정보 생성 단계; 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할하여 하나 이상의 작업 로봇에게 할당하는 서브 작업 영역 할당 단계; 및 상기 하나 이상의 작업 로봇이 상기 하나 이상의 서브 작업 영역에서 각각 작업을 수행하도록 제어하는 작업 수행 단계;를 포함하는 것을 특징으로 하는 로봇군 제어 방법을 개시한다.

Description

로봇군 제어 방법 및 시스템{Method for controlling robot group and system thereof}

본 발명은 로봇군 제어 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 관리 로봇이 주행하면서 작업 영역에 대한 지도 정보를 생성하고, 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할해 하나 이상의 작업 로봇에게 할당하여, 각 작업 로봇이 각 서브 작업 영역에서 주어진 작업을 수행하도록 제어하는 로봇군 제어 방법 및 시스템에 관한 것이다.

로봇의 대중화에 따라 여러 분야에서 로봇을 활용하는 다양한 서비스가 제공되고 있으며, 보다 구체적인 예를 들어, 공항이나 대형 쇼핑몰 등에서 로봇을 사용하여 안내 서비스 등을 제공하는 시도가 이루어지고 있다.

그런데, 공항이나 대형 쇼핑몰 등과 같이 넓은 공간에서 작업을 수행하는 경우에는 복수의 로봇을 사용해 공간을 나누어 할당하여 작업을 수행할 수 있으나, 이를 위해서는 관리자가 일일이 복수의 로봇에 대한 작업 영역을 할당하여야 하는 번거로움이 있었다.

또한, 상기 로봇이 이동하면서 작업을 수행하기 위해서는 작업 영역에 대한 지도 정보가 필요하므로 로봇이 자율 주행 등을 통해 지도 정보를 생성하도록 하게 되나, 공항이나 대형 쇼핑몰 등에서는 다양한 환경을 가지는 영역들이 존재할 수 있고, 특히 어두운 공간 등과 같이 공간 인식을 위해 필요한 조명을 적절하게 확보하기 어려운 상황에서도 정확한 지도 정보를 생성하여 작업 영역을 나누어 할당해야 하는 어려움이 따른다.

나아가, 위와 같이 복수의 로봇이 작업 영역 내에서 이동하면서 작업을 수행하는 경우, 복수의 로봇 마다 자율 주행을 위한 고가의 센서 및 자율 주행 장치가 장착되어야 하여, 로봇 및 시스템의 복잡도 및 이에 따른 제조 단가가 크게 증가하는 문제가 발생하게 된다.

따라서, 관리자가 직접 복수의 로봇에게 작업 영역을 할당하지 않고도 복수의 로봇 별로 작업 영역이 나누어 할당되어 작업을 수행할 수 있고, 또한 적절한 조명이 확보되지 않은 환경 등에서도 정확한 지도 정보를 생성하여 작업 영역을 나누어 할당할 수 있으며, 나아가 로봇과 시스템의 복잡도 증가 및 이에 따른 제조 단가의 증가를 억제할 수 있는 방안이 요청되고 있으나, 아직 이에 대한 적절한 해법이 제시되지 못하고 있다.

대한민국 공개특허 제10-2018-0039438호(2018년 4월 18일 공개)

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 관리자가 직접 복수의 로봇에게 작업 영역을 할당하지 않고도 복수의 로봇 별로 작업 영역이 나누어 할당되어 작업을 수행하도록 할 수 있고, 또한 로봇이 적절한 조명이 확보되지 못한 환경 등에서도 정확한 지도 정보를 생성하여 작업 영역을 나누어 할당할 수 있으며, 나아가 로봇과 시스템의 복잡도 증가 및 그에 따른 제조 단가의 상승을 억제할 수 있는 로봇 제어 방법 및 시스템을 제공하는 것을 목적으로 한다.

그 외 본 발명의 세부적인 목적은 아래에 기재되는 구체적인 내용을 통하여 이 기술 분야의 전문가나 연구자에게 자명하게 파악되고 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 로봇군 제어 방법은, 관리 로봇이 주행하면서 작업 영역에 대한 지도 정보를 생성하는 지도 정보 생성 단계; 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할하여 하나 이상의 작업 로봇에게 할당하는 서브 작업 영역 할당 단계; 및 상기 하나 이상의 작업 로봇이 상기 하나 이상의 서브 작업 영역에서 각각 작업을 수행하도록 제어하는 작업 수행 단계;를 포함하는 것을 특징으로 한다.

이때, 상기 지도 정보 생성 단계에서, 상기 관리 로봇은 객체 감지 및 거리 측정 센서를 구비하여 상기 지도 정보를 생성하며, 상기 작업 수행 단계에서, 상기 작업 로봇은 상기 생성된 지도 정보를 이용하여 객체 감지 및 거리 측정 센서를 사용하지 않고 상기 서브 작업 영역을 주행하며 작업을 수행하는 것을 특징으로 한다.

또한, 상기 작업 수행 단계에서, 상기 작업 로봇은 영상 카메라를 구비하여 주변에 대한 영상 정보를 생성하고, 상기 영상 정보와 상기 지도 정보를 이용하여 상기 작업 영역에서의 자신의 위치 정보를 산출하여 작업을 수행할 수 있다.

나아가, 상기 관리 로봇은, 자신의 위치를 기준으로 산출되는 상기 작업 로봇의 상대적인 위치 정보를 이용하여 상기 작업 로봇의 위치 정보를 제어할 수 있다.

또한, 상기 서브 작업 영역 할당 단계는, 상기 작업 영역의 특정 영역에 대하여 수집된 입체 점군(3D point cloud) 중 상기 작업 공간의 벽면에서 이탈하는 이탈 점군을 산정하고, 상기 이탈 점군의 숫자에 따라 상기 특정 영역을 서브 작업 영역으로 산출할 것인지 여부를 판단할 수 있다.

여기서, 상기 서브 작업 영역 할당 단계는, 상기 작업 영역의 특정 영역에 대하여 수집된 입체 점군(3D point cloud)을 투영하여 상기 특정 영역의 벽면에 대한 평면(2D) 벡터를 산출하는 단계; 상기 평면(2D) 벡터로부터 상기 특정 영역의 벽면을 산출하는 단계; 및 상기 입체 점군 중 상기 특정 영역의 벽면에서 이탈하는 이탈 점군을 산정하는 단계;를 포함할 수 있다.

또한, 상기 서브 작업 영역 할당 단계에서는, 상기 이탈 점군의 숫자가 미리 정해진 잡음 기준치보다 작거나 같은 경우에는 상기 이탈 점군을 잡음으로 판단하고, 상기 이탈 점군의 숫자가 미리 정해진 잡음 기준치보다 큰 경우에는 상기 이탈 점군을 객체로 판단할 수 있다.

또한, 상기 작업 수행 단계에서, 상기 작업 로봇은 적외선 센서(IR sensor)를 사용하여 생성된 적외선 영상을 이용해 상기 서브 작업 영역을 인식하여 작업을 수행할 수 있다.

나아가, 상기 작업 수행 단계는, (a) 상기 작업 로봇이 상기 적외선 영상의 히스토그램(histogram)을 정규화하는 단계; (b) 상기 적외선 영상에 모폴로지 연산-침식(erosion)-과 가우시안 필터링-블러(blur)-을 적용하는 단계; (c) 상기 적외선 영상을 이진화(binarization)하는 단계; 및 (d) 상기 적외선 영상에 대하여 레이블링(blob labeling)을 수행하는 단계;를 포함할 수 있다.

또한, 상기 지도 정보 생성 단계에서, 상기 관리 로봇은 영상 카메라와 객체 감지 및 거리 측정 센서를 구비하여, 상기 영상 카메라의 영상 데이터를 통해 판단되는 조도가 미리 정해진 조도 기준치에 미치지 못하는 경우, 상기 객체 감지 및 거리 측정 센서를 사용하여 상기 지도 정보를 생성할 수 있다.

본 발명의 다른 측면에 따른 로봇군 제어 시스템은, 관리 로봇과 하나 이상의 작업 로봇을 포함하는 로봇군에 대한 제어 시스템에 있어서, 주행하면서 작업 영역에 대한 지도 정보를 생성하고, 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할하여 하나 이상의 작업 로봇에게 할당하는 관리 로봇; 및 상기 할당받은 하나 이상의 서브 작업 영역에서 작업을 수행하는 작업 로봇;을 포함하는 것을 특징으로 한다.

이때, 상기 관리 로봇은 객체 감지 및 거리 측정 센서를 구비하여 상기 지도 정보를 생성하며, 상기 작업 로봇은 상기 생성된 지도 정보를 이용하여 객체 감지 및 거리 측정 센서를 사용하지 않고 상기 서브 작업 영역을 주행하며 작업을 수행할 수 있다.

이에 따라, 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템에서는, 보다 구체적으로는 관리 로봇이 주행하면서 작업 영역에 대한 지도 정보를 생성하고, 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할해 하나 이상의 작업 로봇에게 할당하여, 각 작업 로봇이 각 서브 작업 영역에서 주어진 작업을 수행하도록 제어함으로써, 관리자가 직접 복수의 로봇에게 작업 영역을 할당하지 않고도 복수의 로봇 별로 작업 영역이 나누어 할당되어 작업을 수행하도록 할 수 있게 된다.

또한, 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템에서는, 로봇이 적절한 조명이 확보되지 못한 환경 등에서도 정확한 지도 정보를 생성하여 작업 영역을 나누어 할당할 수 있으며, 나아가 로봇과 시스템의 복잡도 증가 및 그에 따른 제조 단가의 상승을 효과적으로 억제할 수 있게 된다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 로봇군 제어 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 로봇군 제어 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템의 동작을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템에서 관리 로봇과 작업 로봇 간의 정보 전송을 설명하는 도면이다.
도 5 내지 도 9는 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템에서 서브 작업 영역의 산출을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템에서 관리 로봇의 위치를 기준으로 작업 로봇의 위치를 제어하는 방법을 설명하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템에서 관리 로봇과 작업 로봇의 동작을 설명하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템에서 적외선 영상에서 객체를 산출하는 알고리즘을 설명하는 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.

이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

아래에서는, 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템에 대한 예시적인 실시 형태들을 첨부된 도면을 참조하여 차례로 설명한다.

먼저, 도 1에서는 본 발명의 일 실시예에 따른 로봇군 제어 방법의 순서도가 도시되어 있다. 도 1에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 로봇군 제어 방법은, 관리 로봇(100)이 주행하면서 작업 영역에 대한 지도 정보를 생성하는 지도 정보 생성 단계(S100), 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할하여 하나 이상의 작업 로봇(200)에게 할당하는 서브 작업 영역 할당 단계(S200) 및 상기 하나 이상의 작업 로봇(200)이 상기 하나 이상의 서브 작업 영역에서 각각 작업을 수행하도록 제어하는 작업 수행 단계(S300)를 포함하게 된다.

이때, 상기 관리 로봇(100)은 라이다(LiDAR), 레이다(Radar) 깊이 센서(Depth Sensor) 등 주변의 객체을 감지하고 상기 객체까지의 거리를 측정할 수 있는 객체 감지 및 거리 측정 센서를 구비하여 상기 작업 영역에 대한 지도 정보를 생성할 수 있으며, 이에 따라 상기 작업 로봇(200)은 상기 관리 로봇(100)에서 생성된 지도 정보를 이용하여 객체 감지 및 거리 측정 센서를 사용하지 않고도 상기 작업 영역에서 분할된 서브 작업 영역을 주행하며 작업을 수행할 수 있다.

이에 따라, 본 발명의 일 실시예에 따른 로봇군 제어 방법에서는 관리 로봇(100)이 상기 객체 감지 및 거리 측정 센서를 구비하여 자율적으로 주행하면서 상기 작업 로봇(200)이 작업을 수행할 수 있는 작업 영역에 대한 지도 정보를 생성할 수 있으며, 또한 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할해 하나 이상의 작업 로봇(200)에게 할당하여 각 작업 로봇(200)이 각 서브 작업 영역에서 주어진 작업을 수행하도록 제어함으로써, 관리자가 직접 복수의 로봇(200)에게 작업 영역을 할당하지 않고도 복수의 로봇 별로 작업 영역이 나누어 할당되어 작업을 수행하도록 하게 된다.

나아가, 본 발명의 일 실시예에 따른 로봇군 제어 방법에서는 작업 로봇(200)이 객체 감지 및 거리 측정 센서를 사용하지 않고도 상기 관리 로봇(100)에서 생성된 지도 정보를 이용하여 상기 서브 작업 영역을 주행하며 작업을 수행하도록 함으로써, 로봇과 시스템의 복잡도 증가 및 그에 따른 제조 단가의 상승을 효과적으로 억제할 수 있게 된다.

또한, 도 2에서는 본 발명의 일 실시예에 따른 로봇군 제어 시스템(10)의 구성도가 도시되어 있다. 도 2에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 로봇군 제어 시스템(10)은, 관리 로봇(100)과 하나 이상의 작업 로봇(200)을 포함하는 로봇군에 대한 제어 시스템으로서, 주행하면서 작업 영역에 대한 지도 정보를 생성하고, 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할하여 하나 이상의 작업 로봇에게 할당하는 관리 로봇(100) 및 상기 할당받은 하나 이상의 서브 작업 영역에서 작업을 수행하는 작업 로봇(200)을 포함하여 구성될 수 있다.

이때, 상기 관리 로봇(100)은 객체 감지 및 거리 측정 센서를 구비하여 상기 작업 영역에 대한 지도 정보를 생성할 수 있으며, 이에 따라 상기 작업 로봇(200)은 상기 생성된 지도 정보를 이용하여 객체 감지 및 거리 측정 센서를 사용하지 않고 상기 작업 영역에서 분할된 서브 작업 영역을 주행하며 작업을 수행할 수 있게 된다.

이하, 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템(10)을 각 구성별로 나누어 보다 자세하게 살핀다.

먼저, 상기 지도 정보 생성 단계(S100)에서는, 상기 관리 로봇(100)이 주행하면서 작업 영역에 대한 지도 정보를 생성하게 된다.

이때, 상기 관리 로봇(100)은 라이다(LiDAR), 레이다(Radar) 깊이 센서(Depth Sensor) 등 주변의 객체을 감지하고 상기 객체까지의 거리를 측정할 수 있는 객체 감지 및 거리 측정 센서를 구비하여 자율적으로 주행하면서 상기 작업 영역에 대한 지도 정보를 생성할 수 있다. 이어서, 상기 관리 로봇(200)은 상기 생성된 작업 영역에 대한 지도 정보를 하나 이상의 작업 로봇(200)에게 전송될 수 있으며, 나아가 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할하여 하나 이상의 작업 로봇(200)에게 할당할 수도 있다.

이에 따라, 상기 작업 로봇(200)은 상기 관리 로봇(100)에서 생성된 지도 정보를 이용하여 객체 감지 및 거리 측정 센서를 사용하지 않고도 상기 작업 영역에서 분할되어 할당된 서브 작업 영역을 주행하며 작업을 수행할 수 있게 된다. 나아가, 이를 통해 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템에서는, 관리 로봇(100)에만 객체 감지 및 거리 측정 센서가 구비되더라도 하나 이상의 작업 로봇(200)이 상기 관리 로봇(100)에서 생성한 지도 정보 등을 이용하여 상기 작업 영역 내에서 주행하면서 작업을 수행할 수 있는 바, 로봇 및 시스템의 복잡도 증가 및 그에 따른 제조 단가의 상승을 효과적으로 억제할 수 있게 된다.

즉, 도 3에서 볼 수 있는 바와 같이, 종래 기술에서는 객체 감지 및 거리 측정 센서를 구비하지 못하는 작업 로봇(200)은 주변 환경을 감지하지 못하여 스스로 주행하면서 작업을 수행하지 못하는 문제가 있었으나(도 3(a)), 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템에서는 객체 감지 및 거리 측정 센서를 구비하는 관리 로봇(100)이 주행하면서 작업 영역에 대한 지도 정보를 생성하여 작업 로봇(200)에게 전달하고, 나아가 상기 작업 영역을 하나 이상의 서브 작업 영역으로 나누어 상기 작업 로봇(200)에게 할당하고(도 3(b)의 (A), (B), (C)) 상기 전송된 지도 정보를 이용하여 상기 서브 작업 영역에서 작업을 수행하도록 하게 된다(도 3(b)).

보다 구체적으로, 도 4에서는 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템(10)에서 관리 로봇(100)과 작업 로봇(200) 간의 정보 전송을 설명하고 있다. 도 4에서 볼 수 있는 바와 같이, 관리 로봇(100)은 작업 영역에 대한 지도 정보를 생성하여 공유하고, 나아가 작업 로봇(200)에 대하여 서브 작업 영역을 할당하며 제어 명령 등을 전달하게 된다. 이에 따라, 상기 작업 로봇(200)은 할당된 서브 작업 영역에서 작업을 수행하게 되며, 나아가 자신의 위치 정보나 영상 분석 등을 통해 감지된 고객 등의 위치 정보 등을 상기 관리 로봇(100)으로 전송하여 제어에 활용하도록 할 수도 있다.

나아가, 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템(10)에서, 상기 관리 로봇(100)은 영상 카메라와 객체 감지 및 거리 측정 센서를 구비하여, 상기 영상 카메라의 영상 데이터를 통해 판단되는 조도가 미리 정해진 조도 기준치에 미치지 못하는 경우, 상기 객체 감지 및 거리 측정 센서를 사용하여 상기 지도 정보를 생성하도록 함으로써, 조도가 부족한 환경에서도 높은 신뢰도를 가지는 지도 정보를 생성할 수 있게 된다.

이어서, 상기 서브 작업 영역 할당 단계(S200)에서는 상기 관리 로봇(100)이 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할하여 하나 이상의 작업 로봇(200)에게 할당하게 된다.

이때, 상기 서브 작업 영역 할당 단계(S200)에서, 상기 관리 로봇(100)은 상기 작업 영역의 특정 영역에 대하여 수집된 입체 점군(3D point cloud) 중 상기 작업 공간의 벽면에서 이탈하는 이탈 점군을 산정하고, 상기 이탈 점군의 숫자에 따라 상기 특정 영역을 서브 작업 영역으로 산출할 것인지 여부를 판단할 수 있다.

보다 구체적으로, 도 5에서 볼 수 있는 바와 같이, 상기 서브 작업 영역 할당 단계(S200)는, 상기 작업 영역의 특정 영역에 대하여 수집된 입체 점군(3D point cloud)을 투영하여 상기 특정 영역의 벽면에 대한 평면(2D) 벡터를 산출하는 단계(도 5의 (D)), 상기 평면(2D) 벡터로부터 상기 특정 영역의 벽면을 산출하는 단계(도 5의 (E)) 및 상기 입체 점군 중 상기 특정 영역의 벽면에서 이탈하는 이탈 점군을 산정하는 단계((도 5의 (F))를 포함할 수 있다.

이에 따라, 상기 관리 로봇(100)은, 도 6에서 볼 수 있는 바와 같이, 상기 지도 정보 생성 단계(S100)에서 생성된 지도 정보와 영상 카메라, 적외선 센서나 키넥트(kinect) 센서 등을 사용하여 생성된 입체 점군(3D point cloud)로부터 산출된 상기 작업 영역의 특정 영역에서의 벽면을 나타내는 평면(2D) 벡터(도 6의

)로부터 가상의 선을 그어 상기 벽면의 라인을 산출한다.

이어서, 상기 산출된 벽면의 라인에서 이탈하는 점들은 홀이나 방 등 작업 공간에 위치하는 고객 등의 객체이거나 잡음으로 판단될 수 있다. 이때, 도 5에서 볼 수 있는 바와 같이, 상기 이탈하는 점들이 미리 정해진 제1 기준치(Tw)를 넘어서는 경우에는 상기 점들이 위치하는 영역을 고객 등의 객체 탐색 및 대응이 가능한 대형 작업 영역으로 판단하고, 상기 이탈하는 점들이 상기 제1 기준치(Tw)보다는 작고 제2 기준치(Te)보다는 큰 경우에는 상기 대형 작업 영역보다 작은 방 등의 소형 작업 영역으로 판단하며, 상기 제2 기준치(Te)보다 작은 경우에는 잡음으로 판단할 수 있다. 이때, 상기 제1 기준치(Tw) 및 제2 기준치(Te)는 사용되는 센서의 종류 및 특성을 고려하여 산정하는 것이 바람직하다.

이에 따라, 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템(10)에서는, 정적인 작업 공간이 아니라 수시로 변화하는 작업 환경을 반영하여 작업을 수행할 수 있는 동적 작업 공간을 확보하여 작업을 수행할 수 있다. 이때, 관리 로봇(100)은 동적으로 주행하면서 작업 수행에 방해가 되는 장애물 등이 없어 작업 로봇(200)이 원활하게 주행하면서 작업을 수행할 수 있는 영역을 작업 영역으로 판단하여 확보하게 된다.

본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템(10)에서, 상기 관리 로봇(100)은 영상 카메라, 적외선 센서나 키넥트(kinect) 센서 등을 사용하여 생성된 입체 점군(3D point cloud)으로부터 점군의 평면 모델 방정식을 이용해 평면을 산출하게 된다. 이때, 본 발명의 일 실시예에 따른 로봇군 제어 방법 밈 시스템에서는 RANSAC 알고리즘 등과 같이 노이즈가 심한 원본 데이터에서도 모델 파라미터를 효과적으로 도출할 수 있는 알고리즘을 적용하는 것이 바람직하다. 보다 구체적으로 상기 RANSAC 알고리즘은 전체 원본 데이터 중 모델의 파라미터를 결정하는데 필요한 최소의 데이터를 랜덤하게 샘플링하면서 반복적으로 계산해 최적의 해를 도출하게 된다. 종래의 통계적인 방법들은 초기의 해를 구하기 위해서 가능한 많은 데이터를 사용하고 그 결과로부터 유효하지 않은 데이터를 제거하는 반면, RANSAC 알고리즘에서는 가능한 적은 양의 초기 데이터를 이용하여 일관된 데기터의 집합을 늘려가는 방식을 사용하게 된다.

이에 따라, 상기 RANSAC 알고리즘을 적용함에 있어서 반복 회수 N을 결정하여야 하는데, 미리 정해진 확률 기준치(통상적으로 99%)를 보장할 수 있도록 충분히 큰 N을 선택하는 것이 바람직하다. 여기서, 데이터가 유효할 확률이 u라고 하면, 데이터가 유효하지 않을 확률 v = 1 - u가 되며, 이때 샘플 데이터 수 m에 대한 반복 회수 N은 아래 수학식 1에 의해 산출될 수 있다.

[수학식 1]

이와 관련하여, 도 7에서는 3차원 공간에서 평면 모델을 이용해 RANSAC 분할(segmentation)을 수행하여 점군이 추종하는 평면을 인식한 결과를 예시하고 있다.

보다 구체적으로, 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템(10)에 있어서, 점군이 추종하는 평면을 산출하는 과정은 크게 2단계로 구분될 수 있다. 먼저, 첫번째 단계에서는 도 8에서 볼 수 있는 바와 같이 점군으로부터 노멀 벡터(normal vector)를 계산하고, 계산된 노멀 벡터가 같은 평면에 있는지 여부를 각도 임계값을 기준으로 판단하게 된다(예를 들어, 본 발명의 일 실시예로서 상기 각도 임계값으로 3°를 사용 가능). 이에 따라, 같은 평면에 위치하는 포인트의 노멀 벡터를 사용하여 평균 벡터 [A, B, C]^T를 구할 수 있고, 이에 따라 상기 평면은 아래와 같이 수학식 2로 표현될 수 있으며, 이때 d 는 [x_m, y_m, z_m]^T 을 활용할 수 있다.

[수학식 2]

이어서, 두번째 단계에서는 도 9에서 볼 수 있는 바와 같이 추정된 평면의 정확도를 개선하게 된다. 이때, 로봇이 주행하고 작업을 수행하는 바닥 평면은 장애물이 없는 안정적인 공간으로서 로봇의 작업 공간이 된다. 이에 따라, 좌, 우 및 바닥 평면을 구분하기 위해 각 평면의 대표 법선 벡터

을 구하고, 이를 중력 벡터

와의 내적을 통해 아래 수학식 3과 같이 중력 벡터와의 각도를 구한다.

[수학식 3]

또한, 도 9에서 볼 수 있는 바와 같이, 순차적으로 좌, 우 및 바닥 평면을 산출한다. 로봇들은 바닥 평면과 평행하게 위치하므로 초기 θ 값은 180°가 되며, 만약 θ 값이 -90° 또는 270° 일 때에는 우측 평면이 되고, 90°일 때에에는 좌측 평면으로 추정할 수 있다.

즉, 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템(10)에서는 평면을 탐지하기 위해 점군을 각 포인트의 노멀 벡터를 사용하여 분할하고, 그 결과로부터 바닥, 우측, 좌측 평면을 추정하게 된다. 이때, 도 6에서 볼 수 있는 바와 같이, 일측 종단의 P₁ 및 타측 종단의 P₂로부터

가 도출될 수 있으며, 이어서 상기 평면(2D) 벡터

을 이용하여 서브 작업 영역을 산출하게 된다. 이에 따라, 본 발명에서는 영상의 단일 이미지로부터 상기 벽면 벡터를 구하여 벽면을 추정할 수 있어, 종래 기술과 같이 연속적 이미지의 분석을 통해 벽면을 추정하는 경우보다 적은 연산량으로 빠르게 처리할 수 있다는 장점을 가진다.

이어서, 상기 작업 수행 단계(S300)에서는, 상기 관리 로봇(100)이 상기 하나 이상의 작업 로봇(200)을 제어하여 상기 하나 이상의 서브 작업 영역에서 각각 작업을 수행하도록 하게 된다.

이때, 상기 작업 로봇(200)은 영상 카메라를 구비하여 주변에 대한 영상 정보를 생성하고, 상기 영상 정보와 상기 관리 로봇(100)으로부터 전송된 지도 정보를 이용하여 상기 작업 영역에서의 자신의 위치 정보를 산출할 수 있고, 이에 따라 LiDAR 등 고가의 센서를 구비하지 않고도 상기 작업 영역 내에서 자유롭게 주행하면서 작업을 수행할 수 있게 된다.

나아가, 이때 상기 관리 로봇(100)은, 도 10에서 볼 수 있는 바와 같이, 자신의 위치를 기준으로 산출되는 상기 작업 로봇(200)의 상대적인 위치 정보를 이용하여 상기 작업 로봇(200)의 위치 정보를 제어할 수 있다.

즉, 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템(10)에 있어서, 지도 정보는 관리 로봇(100)을 기준으로 작성되고, 이에 따라 작업 로봇(200)들은 상기 관리 로봇(100)과의 상대적인 위치를 기준으로 위치 정보가 정의될 수 있다. 이에 따른 좌표계 설정은 아래 수학식 4와 같이 정의될 수 있다.

[수학식 4]

즉, 도 10에서 볼 수 있는 바와 같이, 관리 로봇(100)의 좌표계 {S}를 기준으로 하는 점 ^sP와 작업 로봇(200)의 좌표계 {T1}을 기준으로 하는 점 ^T1P 사이의 관계는 {S}와 {T1} 사이의 균질 변환 행렬(homogeneous transformation matrix)

에 의해 위 수학식 4와 같이 표현될 수 있다. 여기서

는 Z_s 축에 대해 θ_s 만큼 회전한 후, 회전된 작업 로봇(200) 1의 좌표계의 X_T1축 방향으로 ^sP_T1ORG 만큼 이동하는 변환 행렬이다. 또한, 관리 로봇(100)은 작업 로봇(200) 2와의 좌표 변환 행렬

의 관계를 이용하여 관리 로봇(100)을 기준으로 작업 로봇(200) 2의 상대 위치 및 방위도 기술할 수 있게 된다.

이에 따라, 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템(100)에서는, 도 11에서 볼 수 있는 바와 같이, 관리 로봇(100)과 작업 로봇(200)의 분업을 통해 넓은 작업 영역에 대한 동적 작업 공간을 확보하고, 서브 작업 영역을 나누어 할당하여 하나 이상의 작업 로봇(200)이 각 서브 작업 영역에서 원활하게 작업을 수행할 수 있도록 하게 된다.

보다 구체적으로, 관리 로봇(100)은 작업 영역에 대한 지도 정보를 생성하고(도 11의 (G)), 상기 작업 영역에서 작업 로봇(200)의 배치가 필요한 서브 작업 영역을 선정하게 된다(도 11의 (H)). 또한, 상기 관리 로봇(100)은 자율적으로 주행하면서 동적 작업 영역을 확보하여 작업 로봇(200)에게 제공함으로써(도 11의 (I)), 작업 로봇(200)이 상기 동적 작업 영역에서 안전하게 주행하면서 고객 대응 등의 작업을 원활하게 수행할 수 있게 된다. 이에 따라, 하나 이상의 작업 로봇(200)을 산출된 여러 서브 작업 영역으로 순차 이동시켜 고객의 탐색 및 응대 등 작업을 수행하게 된다.

이때, 상기 작업 로봇(200)은 영상을 기반으로 고객 등을 인식하고 작업을 수행할 수 있으며(도 11의 (J)), 상기 작업 로봇(200)이 고객 응대 등 작업을 개시하면 고객의 위치 및 작업 상황 등의 정보를 상기 관리 로봇(100) 또는 관리 서버 등으로 전송할 수 있다. 상기 서브 작업 영역에 고객 등이 없는 경우 작업 로봇(200)은 다른 서브 작업 영역으로 이동하여 작업을 수행하는 과정을 반복하게 된다. 이때, 추가적인 서브 작업 영역이 남아있지 않은 경우에는, 상기 관리 로봇(100)이 다른 지역으로 이동하여 추가적인 영역에 대한 지도 정보를 생성하고, 작업 영역을 확보하여 작업 로봇(200)에게 할당하게 된다.

또한, 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템(10)에서는, 카메라 영상을 촬영하기 위한 조도 등이 확보되지 못한 경우에도 적외선 센서 등을 사용하여 서브 작업 영역을 인식하고 고객 등 객체를 탐색하여 작업을 수행할 수 있다.

보다 구체적으로, 도 12에서 볼 수 있는 바와 같이, 상기 작업 수행 단계(S300)는 (a) 상기 작업 로봇이 상기 적외선 영상의 히스토그램(histogram)을 정규화하는 단계(S1310), (b) 상기 적외선 영상에 모폴로지 연산-침식(erosion)-과 가우시안 필터링-블러(blur)-을 적용하는 단계(S1320, S1330), (c) 상기 적외선 영상을 이진화(binarization)하는 단계(S1340) 및 (d) 상기 적외선 영상에 대하여 레이블링(blob labeling)을 수행하는 단계(S1350)를 포함하여, 적외선 영상을 이용해 서브 작업 영역을 인식하고 고객 등 객체를 탐색하여 작업을 수행할 수 있다.

즉, 도 12에서는 적외선 영상을 통해 서브 작업 영역을 인식하고 분할하는 과정을 예시한다. 이때, 적외선 영상의 히스토그램(histogram)은 아래의 수학식 5와 같이 정의될 수 있다.

[수학식 5]

여기서 X_k는 k번째 밝기 값이며, n_k는 영상에서 밝기 X_k를 갖는 화소들의 숫자이다. 원본 적외선 영상의 히스토그램은 대부분의 화소들이 어두운 영역에 몰려 있으므로, 히스토그램의 각 요소들을 영상 전체 화소 수로 나누어 정규화(normalization) 한다.

이에 따라, 정규화된 히스토그램 p(X_k)는 밝기 X_k가 발생할 확률을 나타내고 확률밀도함수(PDF)를 구하는 식은 아래 수학식 6과 같이 정의될 수 있다.

[수학식 6]

여기서 n은 영상 전체 픽셀 수이고 정규화된 히스토그램의 모든 요소의 합은 1이 된다. 또한, 누적분포함수(CDF)를 구하여 최대 명암값(L-1)을 곱하면 아래의 수학식 7과 같이 히스토그램 평활화를 적용한 영상 값을 구할 수 있다.

[수학식 7]

여기서 s_k는 영상의 밝기 값 X_k에 대응되는 평활화된 밝기 값이고 전체 영상에 적용하면 평활화된 이미지는 원본 적외선 영상에 비해 명암 대비가 뚜렷해진다.

다음으로 배경과 사람을 분리하고 잡음 제거를 위해 모폴로지 연산(morphological operations)인 침식(erosion)과 가우시안 필터(Gaussian filter)를 적용한다. 우선, 침식 연산은 아래의 수학식 8과 같이 정의될 수 있다.

[수학식 8]

여기서, B를 z만큼 이동시켰을 때, 이동된 B가 완전히 A의 부분집합이 되면 B가 된다. 도 12(K)에서는 침식 연산이 적용된 적외선 영상을 예시하고 있다.

다음으로 저주파 필터인 가우시안 필터는 아래의 수학식 9와 같이 정의될 수 있다.

[수학식 9]

여기서 (x, y)는 영상에서 화소의 위치이고 σ는 표준편차이다. 잡음이 제거된 영상에서 이진화를 적용한 뒤(도 12(L)), 고객 등 객체의 인식을 위해 4-Connectivity Blob Labeling을 수행한다. 레이블링 기법은 배경과 물체로 구분된 이진화된 영상에서 4-근방 이웃 화소들을 확인하며 각 물체의 시작점과 같은 아이디(ID)를 부여해 하나의 물체를 레이블링 하게 된다. 이와 같은 방법으로 모든 물체의 레이블링을 적용하면 여러 개의 레이블링된 물체가 인식된다. 이중에서 레이블링의 화소 수에 따라 잡음과 사람을 구분해 고객 등 객체를 인식하게 된다(도 12의 (M)). 이러한 일련의 과정을 통해, 본 발명의 일 실시예에 따른 로봇군 제어 방법 및 시스템(10)에서는, 조명 또는 빛이 들어오지 않아 조도가 부족한 공간에서도 서브 작업 영역을 인식하고 고객 등 객체를 탐색하여 작업을 원활하게 수행할 수 있게 된다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10 : 로봇군 제어 시스템
100 : 관리 로봇
200 : 작업 로봇

Claims (12)

1. 관리 로봇이 주행하면서 작업 영역에 대한 지도 정보를 생성하는 지도 정보 생성 단계;
   상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할하여 하나 이상의 작업 로봇에게 할당하는 서브 작업 영역 할당 단계; 및
   상기 하나 이상의 작업 로봇이 상기 하나 이상의 서브 작업 영역에서 각각 작업을 수행하도록 제어하는 작업 수행 단계;
   를 포함하는 것을 특징으로 하는 로봇군 제어 방법.
2. 제1항에 있어서,
   상기 지도 정보 생성 단계에서,
   상기 관리 로봇은 객체 감지 및 거리 측정 센서를 구비하여 상기 지도 정보를 생성하며,
   상기 작업 수행 단계에서,
   상기 작업 로봇은 상기 생성된 지도 정보를 이용하여 객체 감지 및 거리 측정 센서를 사용하지 않고 상기 서브 작업 영역을 주행하며 작업을 수행하는 것을 특징으로 하는 로봇군 제어 방법.
3. 제2항에 있어서,
   상기 작업 수행 단계에서,
   상기 작업 로봇은 영상 카메라를 구비하여 주변에 대한 영상 정보를 생성하고,
   상기 영상 정보와 상기 지도 정보를 이용하여 상기 작업 영역에서의 자신의 위치 정보를 산출하여 작업을 수행하는 것을 특징으로 하는 로봇군 제어 방법.
4. 제3항에 있어서,
   상기 관리 로봇은,
   자신의 위치를 기준으로 산출되는 상기 작업 로봇의 상대적인 위치 정보를 이용하여 상기 작업 로봇의 위치 정보를 제어하는 것을 특징으로 하는 로봇군 제어 방법.
5. 제1항에 있어서,
   상기 서브 작업 영역 할당 단계는,
   상기 작업 영역의 특정 영역에 대하여 수집된 입체 점군(3D point cloud) 중 상기 작업 공간의 벽면에서 이탈하는 이탈 점군을 산정하고,
   상기 이탈 점군의 숫자에 따라 상기 특정 영역을 서브 작업 영역으로 산출할 것인지 여부를 판단하는 것을 특징으로 하는 로봇군 제어 방법.
6. 제5항에 있어서,
   상기 서브 작업 영역 할당 단계는,
   상기 작업 영역의 특정 영역에 대하여 수집된 입체 점군(3D point cloud)을 투영하여 상기 특정 영역의 벽면에 대한 평면(2D) 벡터를 산출하는 단계;
   상기 평면(2D) 벡터로부터 상기 특정 영역의 벽면을 산출하는 단계; 및
   상기 입체 점군 중 상기 특정 영역의 벽면에서 이탈하는 이탈 점군을 산정하는 단계;를 포함하는 것을 특징으로 하는 로봇군 제어 방법.
7. 제5항에 있어서,
   상기 서브 작업 영역 할당 단계에서는,
   상기 이탈 점군의 숫자가 미리 정해진 잡음 기준치보다 작거나 같은 경우에는 상기 이탈 점군을 잡음으로 판단하고,
   상기 이탈 점군의 숫자가 미리 정해진 잡음 기준치보다 큰 경우에는 상기 이탈 점군을 객체로 판단하는 것을 특징으로 하는 로봇군 제어 방법.
8. 제1항에 있어서,
   상기 작업 수행 단계에서,
   상기 작업 로봇은 적외선 센서(IR sensor)를 사용하여 생성된 적외선 영상을 이용해 상기 서브 작업 영역을 인식하여 작업을 수행하는 것을 특징으로 하는 로봇군 제어 방법.
9. 제8항에 있어서,
   상기 작업 수행 단계는,
   (a) 상기 작업 로봇이 상기 적외선 영상의 히스토그램(histogram)을 정규화하는 단계;
   (b) 상기 적외선 영상에 모폴로지 연산-침식(erosion)-과 가우시안 필터링-블러(blur)-을 적용하는 단계;
   (c) 상기 적외선 영상을 이진화(binarization)하는 단계; 및
   (d) 상기 적외선 영상에 대하여 레이블링(blob labeling)을 수행하는 단계;를 포함하는 것을 특징으로 하는 로봇군 제어 방법.
10. 제1항에 있어서,
    상기 지도 정보 생성 단계에서,
    상기 관리 로봇은 영상 카메라와 객체 감지 및 거리 측정 센서를 구비하여,
    상기 영상 카메라의 영상 데이터를 통해 판단되는 조도가 미리 정해진 조도 기준치에 미치지 못하는 경우,
    상기 객체 감지 및 거리 측정 센서를 사용하여 상기 지도 정보를 생성하는 것을 특징으로 하는 로봇군 제어 방법.
11. 관리 로봇과 하나 이상의 작업 로봇을 포함하는 로봇군에 대한 제어 시스템에 있어서,
    주행하면서 작업 영역에 대한 지도 정보를 생성하고, 상기 작업 영역에서 하나 이상의 서브 작업 영역을 분할하여 하나 이상의 작업 로봇에게 할당하는 관리 로봇; 및
    상기 할당받은 하나 이상의 서브 작업 영역에서 작업을 수행하는 작업 로봇;
    을 포함하는 것을 특징으로 하는 로봇군 제어 시스템.
12. 제11항에 있어서,
    상기 관리 로봇은 객체 감지 및 거리 측정 센서를 구비하여 상기 지도 정보를 생성하며,
    상기 작업 로봇은 상기 생성된 지도 정보를 이용하여 객체 감지 및 거리 측정 센서를 사용하지 않고 상기 서브 작업 영역을 주행하며 작업을 수행하는 것을 특징으로 하는 로봇군 제어 시스템.

Images