KR20200085982A

KR20200085982A - 차량의 주행을 보조하는 전자 장치 및 방법

Info

Publication number: KR20200085982A
Application number: KR1020190001928A
Authority: KR
Inventors: 박요섭; 남궁석; 문보석
Original assignee: 삼성전자주식회사
Priority date: 2019-01-07
Filing date: 2019-01-07
Publication date: 2020-07-16
Anticipated expiration: 2039-01-07
Also published as: US11535252B2; WO2020145607A1; US20200216075A1; KR102714095B1

Abstract

차량의 주행을 보조하는 전자 장치 및 방법이 제공된다. 전자 장치는, 적어도 하나의 센서를 포함하는 센싱부, 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는, 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센서를 이용하여 차량의 주변에 위치하는 객체를 인식하고, 인식된 객체의 종류를 포함하는 객체의 위험 정보를 생성하고, 객체의 위험 정보에 기초하여, 인식된 객체의 적어도 일부를 포함하도록 생성되는 바운딩 박스(Bounding Box)의 크기를 조절하고, 조절된 바운딩 박스에 기초하여 차량의 주행 동작을 제어할 수 있다.

Description

차량의 주행을 보조하는 전자 장치 및 방법{ELECTRONIC APPARATUS AND METHOD FOR ASSISTING DRIVING OF A VEHICLE}

본 개시는 전자 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는, 차량의 주행을 보조하는 전자 장치 및 방법에 관한 것이다.

정보통신 기술과 자동차 산업의 융합으로 인해 빠르게 자동차의 스마트화가 진행되고 있다. 스마트화로 인해, 자동차는 단순한 기계적 장치에서 스마트카로 진화하고 있으며, 특히 스마트카의 핵심기술로 자율 주행이 주목 받고 있다.

자율 주행이란 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 차량 스스로 목적지까지 찾아가는 기술이다.

최근 자율 주행과 관련된 다양한 부가 기능들이 지속적으로 개발되고 있으며, 각종 데이터를 이용하여 주행 환경을 인지하고 판단하여 자동차를 제어함으로써 탑승자에게 안전한 자율 주행 경험을 제공할 수 있는 방법에 대한 연구가 요구되고 있다.

차량의 주행을 보조하는 전자 장치 및 방법을 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

일 측면에 따른 차량의 주행을 보조하는 전자 장치는, 적어도 하나의 센서를 포함하는 센싱부, 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는, 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센서를 이용하여 차량의 주변에 위치하는 객체를 인식하고, 인식된 객체의 종류를 포함하는 객체의 위험 정보를 생성하고, 객체의 위험 정보에 기초하여, 인식된 객체의 적어도 일부를 포함하도록 생성되는 바운딩 박스(Bounding Box)의 크기를 조절하고, 조절된 바운딩 박스에 기초하여 차량의 주행 동작을 제어할 수 있다.

다른 측면에 따른 차량의 주행을 보조하는 방법은, 적어도 하나의 센서를 이용하여 차량의 주변에 위치하는 객체를 인식하는 단계, 인식된 객체의 종류를 포함하는 객체의 위험 정보를 생성하는 단계, 객체의 위험 정보에 기초하여, 인식된 객체의 적어도 일부를 포함하도록 생성되는 바운딩 박스(Bounding Box)의 크기를 조절하는 단계, 및 조절된 바운딩 박스에 기초하여 차량의 주행 동작을 제어하는 단계를 포함할 수 있다.

또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

도 1은 일 실시 예에 따른 차량의 주행을 보조하는 전자 장치가 동작하는 일 예를 개략적으로 설명하기 위한 도면이다.
도 2는 일 실시 예에 따라 전자 장치의 동작 방법의 흐름도이다.
도 3은 일 실시 예에 따라 전자 장치가 위험 정보를 생성하는 예를 설명하기 위한 흐름도이다.
도 4a 내지 도 4c는 일 실시 예에 따라 전자 장치가 객체의 위험 정보에 기초하여 바운딩 박스를 조절하는 예를 설명하기 위한 도면이다.
도 5a 내지 도 5b는 일 실시 예에 따라 전자 장치가 객체의 위험 정보에 기초하여 바운딩 박스를 조절하는 예를 설명하기 위한 도면이다.
도 6은 일 실시 예에 따라 바운딩 박스의 확대 방향, 확대 비율을 조절하는 예를 설명하기 위한 흐름도이다.
도 7a 내지 도 7b는 일 실시 예에 따라 바운딩 박스의 확대 방향을 조절하는 예를 설명하기 위한 도면이다.
도 8a 내지 도 8b는 일 실시 예에 따라 바운딩 박스의 확대 비율을 조절하는 예를 설명하기 위한 도면이다.
도 9는 일 실시 예에 따라 가상의 바운딩 박스를 생성하는 예를 설명하기 위한 흐름도이다.
도 10은 일 실시 예에 따라 가상의 바운딩 박스를 생성하는 예를 설명하기 위한 도면이다.
도 11은 일 실시 예에 따라 회피 영역을 재결정하는 예를 설명하기 위한 흐름도이다.
도 12는 일 실시 예에 따라 회피 영역을 재결정하는 예를 설명하기 위한 도면이다.
도 13은 일 실시 예에 따라 차량의 주행 상황에 관한 알림을 제공하는 예를 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 전자 장치의 블록 구성도(block diagram)이다.
도 15는 일 실시예에 따른 전자 장치의 상세 블록 구성도(block diagram)이다.
도 16은 일 실시예에 따른 차량의 블록 구성도(block diagram)이다.

실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 일 실시 예에 따른 차량의 주행을 보조하는 전자 장치가 동작하는 일 예를 개략적으로 설명하기 위한 도면이다.

본 명세서에서, 차량(1, 도 1)(이하, 차량(1) 또는 자율 주행 차량(1))은 차량(1)의 주행을 보조 또는 제어하는 전자 장치(100, 도 14 내지 도 15)(이하, 전자 장치(100))를 포함할 수 있다. 일 실시 예에 따른 전자 장치(100)가 차량(1)에 탑재되어 동작함으로써, 차량(1)은 자율 주행하거나, 주행 동작의 일부를 자율 제어할 수 있다. 예를 들어, 차량(1)은 자율 주행 시스템 또는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assistance Systems) 기능을 수행하도록 구현될 수 있다.

자율 주행하거나 적어도 일부 기능에 대해 자율 제어할 수 있는 차량은, 차량이 주행하는 동안 다양한 센서를 이용하여 차량 주변의 객체를 인식함으로써 안정적인 운행 환경을 제공할 수 있다.

일 실시 예에 따른 객체는, 차량이 주행하는 중에 차량의 주변(전, 후방, 측방 등)으로부터 센싱되는 객체를 의미하며, 예컨대, 보행자, 다른 차량, 주행 경로 상의 장애물 등을 포함하며, 이에 제한되지 않는다.

일 실시 예에 따르면, 차량(1)에 탑재된 전자 장치(100)는, 차량(1) 주변으로부터 인식된 단일의 객체 별로, 하나의 객체를 하나의 바운딩 박스(bounding box)로 구분하고, 바운딩 박스로 구분된 객체를 고려하여 차량의 주행 동작을 제어할 수 있다.

일 실시 예에 따라, 전자 장치(100)는, 인식된 객체 별로, 인식된 객체의 적어도 일부를 포함하도록 하나의 바운딩 박스(bounding box)를 생성할 수 있다.

예컨대, 바운딩 박스(bounding box)는 인식된 객체를 가장 타이트하게 포함할 수 있는 사각 형태로 생성될 수 있다. 이 때, 사각 형태의 가로 세로의 비율은 정해져 있지 않고 객체의 테두리를 모두 포함하도록 생성될 수 있다. 또한, 예컨대, 바운딩 박스(bounding box)는 인식된 객체의 최대 또는 최소 길이의 폭을 포함하면서, 일정 비율의 사각 형태로 생성될 수 있으며, 이에 제한되지 않는다. 일 실시 예에 따른 전자 장치(100)는, 인식된 객체를 둘러 쌓도록 생성되는 바운딩 박스(bounding box)의 생성에 관한 기준을 미리 설정 또는 변경할 수 있다.

일 실시 예에 따르면, 전자 장치(100)는, 인식된 객체의 상황을 분석함으로써, 바운딩 박스(bounding box)의 크기를 조절할 수 있다.

도 1을 참조하면, 차량(1)이 주행하는 중, 전자 장치(100)는 전방의 다른 차량(2)이 예컨대, 지그재그로 주행(12) 중인 것으로 판단되면, 전방 차량(2)을 포함하는 바운딩 박스(11)의 크기를, 전방 차량(2) 및 전방 차량(2)에 인접한 좌우 주변 영역까지도 포함되도록 확대시킬 수 있다. 전자 장치(100)는 확대된 바운딩 박스(13)에 기초하여 차량(2)이 인식된 것으로 가정하고, 자율 주행 차량(1)의 주행 동작을 제어할 수 있다.

일 실시 예에 따르면, 전자 장치(100)는 확대된 바운딩 박스(13)의 크기만큼 객체(전방 차량(2))가 존재하는 것으로 가정하고 차량(1)의 주행 동작을 제어함으로써, 차량(1)이 전방 차량(2)에 인접한 빈 공간을 통과해서 주행하는 것을 차단할 수 있다.

예를 들어, 전방 차량(2)이 음주 운전 또는 난폭 운전 차량으로 지그재그로 주행 중이라면, 예측 할 수 없는 위험 요소가 많을 것이다. 따라서, 자율 주행 차량(1)이 전방 차량(2)의 현 위치만을 인식하고 전방 차량(2)을 회피해서 차선 변경을 하고 추월 및 가속을 시도하는 경우, 전방 차량(2)의 갑작스런 주행 변경으로 인해 사고를 유발할 수도 있을 것이다.

또한, 예컨대, 자동차 전용도로나 고속도로에서 1차 교통사고가 발생한 경우 뒤에 오는 차량들이 사고 차량을 늦게 발견해 2차 사고로 이어지는 것을 방지하기 위해 경찰차가 지그재그로 운전하는 상황 즉, 트래픽 브레이크 상황이 있을 수 있다. 교통사고 현장으로 진행하는 차량들이 속도가 빠른 경우, 긴급 자동차(예컨대, 경찰차, 구급차)가 일부러 지그재그로 운전해 후속 차량의 속도를 최대 30km 이하까지 낮추도록 유도하기 위해 의도적으로 지그재그로 운전하는 상황이다. 이 때, 자율 주행 차량(1)이 전방의 경찰차를 회피해서 추월 및 가속을 시도 한다면, 자율 주행 차량(1)의 2차 사고의 위험성이 증가하게 되고 트래픽 브레이크의 효과 또한 저해될 것이다.

일 실시 예에 따르면, 자율 주행 차량(1)이 전방 차량(2)의 주행 상황을 위험한 상황인 것으로 판단하면, 전방 차량(2)을 포함하는 바운딩 박스(11)의 크기를 전방 차량(2)에 인접한 주변 영역까지도 포함하도록 확대시키고, 확대된 바운딩 박스(13)에 기초하여 주행 동작을 제어함에 따라, 전방 차량(2)에 근접하여 추월을 시도하지 않고 서행 운행을 하면서 전방 차량(2)과의 안전 거리를 유지할 수 있다. 즉, 일 실시 예에 따르면, 전자 장치(100)는 바운딩 박스의 크기를 조절함으로써, 안전한 자율 주행 환경을 제공할 수 있다.

일 실시 예에 따른 전자 장치(100)의 보다 구체적인 동작들에 대해서는 후술할 도면들을 참조하여 보다 상세히 설명하기로 한다.

도 1은 일 실시 예를 도시한 것으로서, 이에 한정되지 않는다.

도 2는 일 실시 예에 따라 전자 장치의 동작 방법의 흐름도이다.

도 2의 단계 S201에서, 전자 장치(100)는, 적어도 하나의 센서를 이용하여 차량의 주변에 위치하는 객체를 인식할 수 있다.

예를 들어, 전자 장치(100)는, 센싱부(110, 도 15)를 이용하여, 차량(1)의 전방, 후방, 측방 등 주변에서 주행 중인 다른 차량, 보행자, 주행 경로 주변의 장애물 등을 인식할 수 있다.

일 실시 예에 따라, RADAR 센서(226, 도 15), LIDAR 센서(227, 도 15), 이미지 센서(228, 도 15) 등을 포함하는 센싱부(110, 도 15)는, 차량(1) 주변의 다른 차량, 보행자 등을 감지할 수 있다.

일 실시 예에 따른 차량(1)에 탑재된 전자 장치(100)는, 차량(1)이 주행하는 동안 이미지 센서(228, 도 15)(이하, 이미지 센서(228) 또는 카메라(228))를 이용하여 차량(1)의 주변을 촬영하고, 촬영된 주변 영상으로부터 객체를 검출하고 추적할 수 있다.

이미지 센서(228, 도 14)는 차량(1) 외부의 환경을 기록하도록 구성되는 스틸 카메라 또는 비디오 카메라가 될 수 있다. 예를 들어, 이미지 센서(228)는 다수의 카메라들을 포함할 수 있고, 다수의 카메라들은 차량(1)의 내부 및 외부 상의 다수의 위치들에 배치될 수 있다.

일 실시 예에 따라, 차량(1)에 탑재된 전자 장치(100)는 복수의 카메라(228)를 이용하여 주변을 촬영하고, 차량(1)의 주변이 촬영된 복수의 영상 프레임으로부터 객체를 검출하기 위해, 딥 러닝(deep learning) 기반의 학습된 데이터 인식 모델을 이용하여 객체 검출(object detection)을 수행할 수 있다.

일 실시 예에 따라, 객체 검출(object detection)은, 영상 프레임에 포함된 객체(예컨대, 도로 상의 보행자, 차량 등)를 검출하는 영상 처리일 수 있다.

객체 검출(object detection)은, 영상 프레임 내의 객체를 검출하기 위해 영상 프레임 내의 후보 영역을 추출하고 후보 영역에서의 객체의 종류와 위치를, 학습된 데이터 인식 모델을 이용하여 추정하는 영상 처리일 수 있다. 일 실시 예에 따라, 객체 검출에는, 컨볼루션 뉴럴 네트워크(Convolutional Neural Network; CNN) 등을 기반으로 하는 데이터 인식 모델이 이용될 수 있다.

또한, 일 실시 예에 따라, LIDAR 센서(227, 도 15)는 레이저 출력기를 이용하여 레이저 빔을 출력하고, 적어도 하나의 레이저 수신기를 통해 객체로부터의 반사 신호를 획득함으로써, 주변 객체의 형태 및 거리, 지형 등을 감지할 수 있다.

또한, RADAR 센서(226, 도 15)는 무선 신호를 사용하여 차량(1)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 있다. 또한, RADAR 센서(226)는, 물체들의 속도 및/또는 방향을 감지하도록 구성될 수 있다.

도 2의 단계 S202에서, 전자 장치(100)는, 인식된 객체의 종류를 포함하는 객체의 위험 정보를 생성할 수 있다.

일 실시 예에 따라, 객체의 위험 정보는, 차량(1)의 주변으로부터 인식된 객체에 관한 정보로서, 객체의 종류를 포함할 수 있다. 일 실시 예에 따라, 객체의 위험 정보는, 적어도 하나의 센서(110, 도 15)를 이용하여 차량(1)의 주변으로부터 인식된 객체를 분석함으로써 획득되는 객체의 종류(예컨대, 차량, 자전거, 사람, 장애물 등)에 관한 정보를 포함할 수 있다.

또한, 일 실시 예에 따르면, 객체의 위험 정보는, 객체의 위험도를 더 포함할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 적어도 하나의 센서(110, 도 15)를 이용하여 인식된 객체의 종류와 객체의 위험도를 분석함으로써 객체의 위험 정보를 생성할 수 있다.

일 실시 예에 따라, 전자 장치(100)는, 적어도 하나의 센서(110, 도 15)를 이용하여, 인식된 객체의 움직임을 추적함으로써, 객체의 위험도를 판단할 수 있다.

일 실시 예에 따라, 전자 장치(100)는, 객체의 종류, 객체의 크기, 객체의 이동 속도, 객체의 이동 방향, 차량과 객체 간의 거리 및 객체 주변의 공간 중 적어도 하나에 기초하여, 객체의 위험도를 판단할 수 있다.

예를 들어, 자율 주행 차량(1)의 전방에서 인식된 객체가 차량 일 때, 전자 장치(100)는 전방 차량의 주행 속도, 주행 방향 등을 센싱함으로써, 전방 차량의 위험도를 판단할 수 있다. 예컨대, 전방 차량이 급 가속과 차선 변경을 반복적으로 수행하면, 전방 차량의 위험도를 높게 판단(예컨대, 위험도 10)할 수 있다.

도 2의 단계 S203에서, 전자 장치(100)는, 객체의 위험 정보에 기초하여, 인식된 객체의 적어도 일부를 포함하도록 생성되는 바운딩 박스(Bounding Box)의 크기를 조절할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 객체의 위험 정보에 기초하여, 바운딩 박스의 확대 방향을 결정할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 바운딩 박스를 횡 방향 및/또는 종 방향으로 확대할지 여부를 결정할 수 있다. 예를 들어, 전자 장치는, 객체의 위험 정보에 기초하여, 객체의 위험도가 높으면, 바운딩 박스의 횡 방향과 종 방향 모두를 확대시킬 수 있다.

또한, 일 실시 예에 따라, 전자 장치(100)는 객체의 위험 정보에 기초하여, 바운딩 박스의 확대 비율을 조절할 수 있다. 예를 들어, 전자 장치(100)는 객체의 위험 정보에 기초하여, 객체의 위험도가 높을 경우 바운딩 박스의 확대 비율을 높게 조절하고, 객체의 위험도가 낮을 경우 바운딩 박스의 확대 비율을 낮게 조절할 수 있다.

또한, 일 실시 예에 따라, 전자 장치(100)는 차량(1)의 주행 중 지속적으로 객체를 인식하면서, 동일한 객체에 대해 객체의 위험도가 낮아지면, 바운딩 박스의 확대 비율을 낮게 변경할 수 있다.

도 2의 단계 S204에서, 전자 장치(100)는, 조절된 바운딩 박스에 기초하여 차량의 주행 동작을 제어할 수 있다.

일 실시 예에 따라, 전자 장치(100)의 프로세서(120, 도 14, 15)는 조절된 바운딩 박스에 기초하여 차량(1)의 주행 동작이 제어되도록 복수의 주행 모듈로 전달할 수 있다.

일 실시 예에 따르면, 전자 장치(100)는 차량(1) 주변에서 인식되는 객체의 상황에 따라 적응적으로 객체를 포함하는 바운딩 박스의 크기를 조절함으로써, 보다 안전한 자율 주행 환경을 제공할 수 있다.

도 2는 일 실시 예를 도시한 것으로서, 이에 한정되지 않는다.

도 3은 일 실시 예에 따라 전자 장치가 위험 정보를 생성하는 예를 설명하기 위한 흐름도이다. 도 3은 도 2의 단계 S202에서 위험 정보를 생성하는 동작을 설명하기 위한 흐름도이다.

도 3의 단계 S301에서, 전자 장치(100)는, 적어도 하나의 센서(110, 도 15)를 이용하여, 인식된 객체의 움직임을 추적할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 적어도 하나의 센서(110, 도 15)를 이용하여, 인식된 객체의 이동 속도, 가속도, 이동 방향, 차량(1)과의 이격 거리 등을 센싱함으로써, 인식된 객체의 움직임을 추적할 수 있다.

또한, 일 실시 예에 따라, 전자 장치(100)는 카메라(228, 도 15)를 이용하여 획득된 일련의 영상 프레임 내에 포함된 객체의 위치 변화를 추적하는 영상 처리 (object tracking)를 이용하여 객체의 움직임을 추적할 수 있다.

도 3의 단계 S302에서, 전자 장치(100)는, 인식된 객체의 움직임에 따른 위험도를 판단할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 인식된 객체의 이동 속도, 가속도, 이동 방향, 차량(1)과의 이격 거리 등을 분석함으로써, 차량(1)이 객체로 인해 위험한 상황이 예측되는지 판단할 수 있다.

예를 들어, 전방 차량이 급 가속과 급 감속을 반복하는 것으로 판단되면, 전방 차량의 위험도를 높게 판단(예컨대, 위험도 10)할 수 있다.

또한, 예를 들어, 차량(1)의 전방에서 인식된 차량이 서행 주행을 하면서 지그재그로 주행 중인 것으로 판단되면, 전방 차량의 위험도를 예컨대, 위험도 7 로 판단 할 수 있다.

또한, 다른 예로, 전자 장치(100)는 차량(1)의 주변으로부터 객체(예컨대, 전방 차량)를 센싱하고, 객체의 이동 속도, 객체의 이동 방향, 차량과 객체 간의 거리 등에 기초하여, 객체가 차량(1)의 주행에 위험한 상황을 유발하지 않을 것으로 판단하면, 예컨대, 객체의 위험도를 0으로 판단할 수 있다.

도 3의 단계 S303에서, 전자 장치(100)는, 객체의 위험도를 포함하는 객체의 위험 정보를 생성할 수 있다.

일 실시 예에 따르면, 객체의 위험 정보는, 객체의 위험도를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 적어도 하나의 센서(110, 도 15)를 이용하여 인식된 객체의 위험도를 분석함으로써 객체의 위험 정보를 생성할 수 있다.

일 실시 예에 따르면, 전자 장치(100)는 차량(1) 주행 중 주변에서 인식되는 객체의 위험도를 분석함으로써 생성된 객체의 위험 정보에 기초하여, 바운딩 박스의 크기 조절을 결정할 수 있다. 이에 따라, 전자 장치(100)는 보다 안전한 자율 주행 환경을 제공할 수 있다.

도 3은 일 실시 예를 설명하기 위한 흐름도로, 이에 한정되지 않는다.

도 4a 내지 도 4c는 일 실시 예에 따라 전자 장치가 객체의 위험 정보에 기초하여 바운딩 박스를 조절하는 예를 설명하기 위한 도면이다.

도 4a 내지 도 4c는, 주행 중인 자율 주행 차량(1) 전방에서 주행 중인 다른 차량(2)의 주행 상황의 예를 도시한다.

도 4a는, 전방 차량(2)의 전복 위험 상황을 도시한다. 일 실시 예에 따르면, 전자 장치(100)는 전방 차량(2)의 전복 위험 상황이 센싱되면, 전방 차량(2)을 포함하는 바운딩 박스(41)의 크기를 확대시킬 수 있다. 전자 장치(100)는 확대된 바운딩 박스(42)에 기초하여, 차량(1)의 주행 동작을 제어할 수 있다.

도 4b는, 전방 차량(2)이 지그재그로 주행 중인 위험 상황을 도시한다. 일 실시 예에 따르면, 전자 장치(100)는 전방 차량(2)의 지그재그 주행 패턴(44)이 센싱되면, 전방 차량(2)을 포함하는 바운딩 박스(43)의 크기를 확대시킬 수 있다. 전자 장치(100)는 확대된 바운딩 박스(45)에 기초하여, 차량(1)의 주행 동작을 제어할 수 있다.

도 4c는, 전방 차량(2)이 차선을 침범하여 주행 중인 위험 상황을 도시한다. 일 실시 예에 따르면, 전자 장치(100)는 전방 차량(2)이 차선을 침범하여 주행(47)하고 있는 위험 주행 상황을 센싱하면, 전방 차량(2)을 포함하는 바운딩 박스(46)의 크기를 확대시킬 수 있다. 전자 장치(100)는 확대된 바운딩 박스(48)에 기초하여, 차량(1)의 주행 동작을 제어할 수 있다.

도 5a 내지 도 5b는 일 실시 예에 따라 전자 장치가 객체의 위험 정보에 기초하여 바운딩 박스를 조절하는 예를 설명하기 위한 도면이다.

도 5a 내지 도 5b는, 주행 중인 자율 주행 차량(1)의 주행 경로 상의 차로로 진입하는 사람으로 인한 위험 상황의 예를 도시한다.

도 5a는, 어린 아이(3)가 공을 좇아 차로로 달려가는 위험 상황의 예를 도시한다. 일 실시 예에 따르면, 전자 장치(100)는 어린 아이(3)가 차로로 달려가는 위험 상황(52)을 센싱하면, 어린 아이(3)을 포함하는 바운딩 박스(51)의 크기를 확대시킬 수 있다. 전자 장치(100)는 확대된 바운딩 박스(53)에 기초하여, 차량(1)의 주행 동작을 제어할 수 있다.

도 5b는, 자전거를 탄 사람(4)이 차로로 주행하는 위험 상황의 예를 도시한다. 일 실시 예에 따르면, 전자 장치(100)는 자전거를 탄 사람(4)이 차로 한가운데로 주행하는 위험 상황(55)을 센싱하면, 자전거를 탄 사람(4)을 포함하는 바운딩 박스(54)의 크기를 확대시킬 수 있다. 전자 장치(100)는 확대된 바운딩 박스(56)에 기초하여, 차량(1)의 주행 동작을 제어할 수 있다.

도 4a 내지 도 5b는 일 실시 예를 도시한 것으로서 이에 한정되지 않는다.

도 6은 일 실시 예에 따라 바운딩 박스의 확대 방향, 확대 비율을 조절하는 예를 설명하기 위한 흐름도이다. 도 7a 내지 도 7b는 일 실시 예에 따라 바운딩 박스의 확대 방향을 조절하는 예를 설명하기 위한 도면이다. 도 8a 내지 도 8b는 일 실시 예에 따라 바운딩 박스의 확대 비율을 조절하는 예를 설명하기 위한 도면이다. 도 6의 흐름도를 설명하면서 도 7a 내지 도 8b을 참조하여 설명하기로 한다.

도 7a 내지 도 8b는, 주행 중인 자율 주행 차량(1) 전방에서 주행 중인 다른 차량(2)의 주행 상황의 예를 도시한다.

도 6의 단계 S601에서, 전자 장치(100)는, 객체의 위험 정보에 기초하여, 바운딩 박스의 확대 방향을 결정할 수 있다.

도 7a는, 바운딩 박스(71)가 (a)방향과 (b)방향으로 확대된 예를 도시한다.

일 실시 예에 따라, 전방 차량(2)이 지그재그로 주행 중인 경우, 전자 장치(100)는 전방 차량(2)의 주행 패턴(72)에 따라 생성된 위험 정보에 기초하여, 바운딩 박스(71)를 (a) 방향과 (b) 방향으로 확대시킬 수 있다. 전자 장치(100)는 확대된 바운딩 박스(73)에 기초하여, 차량(1)의 주행 동작을 제어할 수 있다.

도 7b는, 바운딩 박스(74)가 (a)방향, (b)방향 및 (c) 방향으로 확대된 예를 도시한다.

일 실시 예에 따라, 전방 차량(2)이 지그재그로 주행 중인 경우, 전자 장치(100)는 전방 차량(2)의 주행 패턴(75)에 따라 생성된 위험 정보에 기초하여, 바운딩 박스(74)를 (a) 방향, (b) 방향 및 (c) 방향으로 확대시킬 수 있다.

예컨대, 전방 차량(2)의 지그재그 주행 패턴(75)이 양 옆의 차선을 넘나들 정도로 심한 경우라면, 바운딩 박스(74)를 (c)방향으로도 확대시킬 수 있다. 전자 장치(100)는 확대된 바운딩 박스(76)에 기초하여, 차량(1)의 주행 동작을 제어할 수 있다.

이에 따라, 전자 장치(100)는 전방 차량(2)에 근접하지 않도록 주행 제어를 함으로써 전방 차량(2)과의 안전 거리가 확보될 수 있다.

한편, 일 실시 예에 따르면, 전자 장치(100)는 차량(1) 주행 중, 전방 차량(2)의 위험 정보를 미리 설정된 주기에 따라 갱신하고, 갱신된 위험 정보에 기초하여, 바운딩 박스의 확대 방향을 재 결정할 수 있다.

또한, 도 7a, 7b에 도시하지 않았지만, 전자 장치(100)는 (c)방향으로만 바운딩 박스를 확대시킬 수도 있으며, 이에 제한되지 않는다. 일 실시 예에 따라, 전자 장치(100)는 (a)방향, (b) 방향 및 (c) 방향 중 적어도 하나의 방향으로 바운딩 박스를 확대시킬 수 있다.

도 6의 단계 S602에서, 전자 장치(100)는, 객체의 위험 정보에 기초하여, 바운딩 박스의 확대 비율을 조절할 수 있다.

일 실시 예에 따르면, 전자 장치(100)는 차량(2)이 옆 차선을 넘나들며 지그재그로 주행하는 정도에 따라, 바운딩 박스의 확대 비율을 조절할 수 있다.

도 8a, 8b를 참조하면, 일 실시 예에 따라, 전방 차량(2)이 지그재그로 주행 중인 경우, 전자 장치(100)는 전방 차량(2)의 주행 패턴(82)에 따라 생성된 위험 정보에 기초하여, 바운딩 박스(81)를 (a) 방향 및 (b) 방향으로 확대시킬 수 있다.

도 8a에 도시한 바와 같이, 차량(2)의 지그재그 주행 패턴(82)이 심하지 않은 경우라면, 바운딩 박스의 확대 비율을 낮게 결정할 수 있다. 전자 장치(100)는 결정된 확대 비율에 따라, 바운딩 박스(81)를 확대시킬 수 있다. 전자 장치(100)는 확대된 바운딩 박스(83)에 기초하여, 차량(1)의 주행 동작을 제어할 수 있다.

또한, 도 8b에 도시한 바와 같이, 차량(2)의 지그재그 주행 패턴(85)이 양 옆의 차선을 모두 넘나들 정도로 심한 경우라면, 바운딩 박스의 확대 비율을 높게 결정할 수 있다. 전자 장치(100)는 결정된 확대 비율에 따라, 바운딩 박스(84)를 확대시킬 수 있다. 전자 장치(100)는 확대된 바운딩 박스(86)에 기초하여, 차량(1)의 주행 동작을 제어할 수 있다.

한편, 일 실시 예에 따르면, 전자 장치(100)는 차량(1) 주행 중, 전방 차량(2)의 위험 정보를 미리 설정된 주기에 따라 갱신하고, 갱신된 위험 정보에 기초하여, 바운딩 박스의 확대 비율을 조절할 수 있다.

또한, 일 실시 예에 따라, 전자 장치(100)는, 전방 차량(2)의 주행 방향, 주행 속도 등에 기초하여, 바운딩 박스의 확대 방향 별로 확대 비율을 다르게 조절할 수 있다.

또한, 일 실시 예에 따라, 전자 장치(100)는 전방 차량(2)에 인접한 주변 차로의 상황에 따라, 바운딩 박스의 확대 방향 별로 확대 비율을 다르게 조절할 수 있다.

일 실시 예에 따르면, 전자 장치(100)는 차량(1) 주변의 객체의 변화에 적응적으로 바운딩 박스의 크기를 조절함으로써 안전한 자율 주행 환경을 제공할 수 있다.

도 7a 내지 도 8b는 일 실시 예를 도시한 것으로서 이에 한정되지 않는다.

도 9는 일 실시 예에 따라 가상의 바운딩 박스를 생성하는 예를 설명하기 위한 흐름도이다. 도 10은 일 실시 예에 따라 가상의 바운딩 박스를 생성하는 예를 설명하기 위한 도면이다. 도 9의 흐름도를 설명하면서 도 10을 참조하여 설명하기로 한다.

도 10은, 주행 중인 자율 주행 차량(1) 전방에서 주행 중인 다른 차량(2)의 주행 상황의 예를 도시한다.

도 9의 단계 S901에서, 전자 장치(100)는, 적어도 하나의 센서(110, 도 15)를 이용하여 차량의 주변에 위치하는 객체를 인식할 수 있다. 일 실시 예에 따라 전자 장치(100)가 차량(1) 주변의 객체를 인식하는 동작에 대해서는 도 2의 단계 S201에 관한 설명을 참조할 수 있다.

도 9의 단계 S902에서, 전자 장치(100)는, 객체의 위험 정보에 기초하여, 인식된 객체 주변에 가상의 바운딩 박스를 생성할 수 있다.

일 실시 예에 따라, 가상의 바운딩 박스는, 실제로 객체가 인식되지는 않았지만, 객체가 인식된 것과 같이 가상으로 생성한 바운딩 박스를 의미한다.

도 10을 참조하면, 전방 차량(2)이 양 옆의 차선을 넘나들며 지그재그로 주행(102) 중 인 경우, 전자 장치(100)는 차량(2)을 포함하는 바운딩 박스(101)의 좌우 주변 영역에 가상의 바운딩 박스(103, 104)를 생성할 수 있다.

도 9의 단계 S903에서, 전자 장치(100)는, 생성된 가상의 바운딩 박스에 기초하여 차량의 주행 동작을 제어할 수 있다.

도 10을 참조하면, 전자 장치(100)는 전방 차량(2)을 포함하는 바운딩 박스(101)와 바운딩 박스(100) 좌우에 생성된 가상의 바운딩 박스(103, 104)에 기초하여, 차량(1)의 주행 동작을 제어할 수 있다.

일 실시 예에 따르면, 전방 차량(2) 좌우 주변에 생성된 가상의 바운딩 박스(103, 104)로 인해, 차량(1)이 전방 차량(2)의 좌우 주변 공간으로 추월을 시도하지 않음으로써 보다 안전한 자율 주행 환경을 제공할 수 있다.

도 10은 일 실시 예를 도시한 것으로서 이에 한정되지 않는다.

도 11은 일 실시 예에 따라 회피 영역을 재결정하는 예를 설명하기 위한 흐름도이다. 도 12는 일 실시 예에 따라 회피 영역을 재결정하는 예를 설명하기 위한 도면이다. 도 11의 흐름도를 설명하면서 도 12를 참조하여 설명하기로 한다.

도 12는, 주행 중인 자율 주행 차량(1) 전방에서 주행 중인 다른 차량(2)의 주행 상황의 예를 도시한다.

도 11의 단계 S1101에서, 전자 장치(100)는, 적어도 하나의 센서(110, 도 15)를 이용하여 차량의 주변에 위치하는 객체를 인식할 수 있다. 일 실시 예에 따라 전자 장치(100)가 차량(1) 주변의 객체를 인식하는 동작에 대해서는 도 2의 단계 S201에 관한 설명을 참조할 수 있다.

도 11의 단계 S1102에서, 전자 장치(100)는, 인식된 객체를 회피하여 주행할 수 있는 회피 영역을 결정할 수 있다.

일 실시 예에 따라, 회피 영역은, 인식된 객체를 포함하는 바운딩 박스로부터 소정 거리에 이르는 주변 영역으로서, 차량(1)이 인식된 객체를 회피하여 주행을 지속할 수 있는 영역으로 결정될 수 있다.

도 12를 참조하면, 예를 들어, 차량(1)이 전방 차량(2)을 회피하여 주행할 수 있는 회피 영역(122)이 결정될 수 있다.

도 11의 단계 S1103에서, 전자 장치(100)는, 객체의 위험 정보에 기초하여, 회피 영역을 재 결정할 수 있다. 도 11의 단계 S1104에서, 전자 장치(100)는, 재 결정된 회피 영역에 기초하여 차량의 주행 동작을 제어할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 객체의 위험 정보에 기초하여, 인식된 객체 주변의 적어도 일부 영역을 회피 영역으로부터 제외시킴으로써, 회피 영역을 재 결정할 수 있다.

도 12를 참조하면, 전자 장치(100)는, 전방 차량(2) 주변의 일부 영역(123)을 회피 영역(122)으로부터 제외시킴으로써, 재 결정된 회피 영역(125)에 기초하여 주행 동작을 제어할 수 있다.

예를 들어, 자율 주행 차량(1)은 전방 차량(2)의 위험도가 인식되지 않은 상태에서는, 전방 차량(2)의 바운딩 박스(121) 주변으로 결정되는 회피 영역(122)을 이용하여 전방 차량(2)을 추월하여 주행할 수 있을 것이다. 그러나, 전자 장치(100)는 전방 차량(2)이 지그재그로 주행하는 패턴(124)에 따른 위험도가 판단되면, 재 결정된 회피 영역(125)에 기초하여 주행 동작을 제어하게 되므로, 전방 차량(2)에 근접하지 않은 채 안전 거리를 유지할 수 있게 된다.

또한, 일 실시 예에 따르면, 전자 장치(100)는 객체의 위험 정보에 기초하여, 회피 영역으로부터 제외시키는 적어도 일부 영역을 확대 또는 축소시킬 수 있다.

일 실시 예에 따라, 전자 장치(100)는 객체의 위험도가 높을수록, 회피 영역으로부터 제외시키는 영역을 확대시킬 수 있다. 또한, 일 실시 예에 따라, 전자 장치(100)는 객체의 위험도가 낮을수록, 회피 영역으로부터 제외시키는 영역을 축소시킬 수 있다.

예를 들어, 전방 차량(2)이 지그재그로 운행 중임이 센싱되면, 전자 장치(100)는 회피 영역을 축소시킬 수 있는데, 이어서, 전방 차량(2)이 급 가속과 급 감속을 반복하는 등 위험도가 더 높아지게 되면, 회피 영역으로부터 제외시키는 영역을 확대시킬 수 있다. 도 12를 참조하면, 회피 영역(122)으로부터 제외시키는 일부 영역(123)의 범위를 확대시킴으로써, 재 결정된 회피 영역(125)은 더 축소될 수 있다.

일 실시 예에 따라, 전자 장치(100)는 축소된 회피 영역(125)까지만 주행 가능한 영역으로 결정함으로써, 전방 차량(2)과의 안전 거리를 유지하면서 보다 안정적인 자율 주행 환경을 제공할 수 있다.

도 11 내지 도 12는 일 실시 예를 설명하기 위한 도면으로, 이에 한정되지 않는다.

도 13은 일 실시 예에 따라 차량의 주행 상황에 관한 알림을 제공하는 예를 설명하기 위한 도면이다.

일 실시 예에 따르면, 전자 장치(100)는 객체의 위험 정보에 기초하여, 출력부(130, 도 15)(디스플레이(281), 음향 출력부(282), 도 15)를 통해, 차량(1)의 탑승자에게 주행 상황에 관한 알림을 제공할 수 있다.

도 13에 도시한 바와 같이, 예를 들어, 전자 장치(100)는 헤드업 디스플레이(Head Up Display)를 통해, 주행 상황에 관한 알림 메시지(예컨대, “전방 50m 차량의 이상 주행 감지! 서행 주행을 시작합니다!”)(132)를 표시할 수 있다.

또 다른 예로, 전자 장치(100)는 음향 출력부(282, 도 15)를 통해, 주행 상황에 관한 알림 메시지를 출력할 수 있으며, 이에 제한되지 않는다.

또한, 예를 들어, 전자 장치(100)는 위험 상황이 감지되면, 음향 출력부(282, 도 15)를 통해, 경고음을 출력할 수도 있다.

또한, 예를 들어, 전자 장치(100)는 헤드업 디스플레이(Head Up Display)를 통해, 위험 상황으로 인식되는 전방 차량(2)에 하이라이트 표시 효과(131)를 제공할 수도 있다.

일 실시 예에 따르면, 전자 장치(100)는 운전자에게 위험 상황을 알리고 사고 등을 방지하기 위한 알림을 미리 제공함으로써, 운전자에게 보다 안전한 운행 환경을 제공할 수 있다.

도 14는 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.

전자 장치(100)는 일 실시 예에 따라, 센싱부(110), 메모리(140, 또는 저장부(140, 도 15)) 및 프로세서(120)를 포함할 수 있다. 도 14에 도시된 전자 장치(100)는 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 14에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

일 실시 예에 따라, 센싱부(110)는 차량(1)이 주행하는 중에, 차량(1)의 주변을 센싱할 수 있다.

센싱부(110)는 차량(1)의 주변을 감지하기 위한 다수의 센서들을 포함할 수 있다. 예를 들어, 센싱부(110)는 LIDAR 센서(227, 도 15) 및 RADAR 센서(226, 도 15)와 같은 거리 센서, 및 카메라와 같은 이미지 센서(228, 도 15)를 포함할 수 있다.

또한, 센싱부(110)는 다수의 센서들의 위치 및/또는 배향을 수정하도록 구성되는 하나 이상의 액추에이터들을 포함할 수 있는 바, 차량(1)의 전방, 후방, 및 측방 각각의 방향에 위치한 객체를 센싱할 수 있다.

일 실시 예에 따라, 센싱부(110)는, 차량(1)의 주변 객체의 크기, 형태, 객체의 이동 속도, 이동 방향, 차량과 객체 간의 거리 등을 센싱할 수 있다.

일 실시예에 따라, 프로세서(120)는 적어도 하나의 프로세서로 구성될 수 있다.

일 실시 예에 따라, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센서(110)를 이용하여 차량(1)의 주변에 위치하는 객체를 인식할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 인식된 객체의 종류를 포함하는 객체의 위험 정보를 생성할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센서(110)를 이용하여, 인식된 객체의 움직임을 추적함으로써, 객체의 위험도를 판단할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 객체의 종류, 객체의 크기, 객체의 이동 속도, 객체의 이동 방향, 차량과 객체 간의 거리 및 객체 주변의 공간 중 적어도 하나에 기초하여, 객체의 위험도를 판단할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 객체의 위험도를 포함하는 객체의 위험 정보를 생성할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 객체의 위험 정보에 기초하여, 인식된 객체의 적어도 일부를 포함하도록 생성되는 바운딩 박스(Bounding Box)의 크기를 조절할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 객체의 위험 정보에 기초하여, 바운딩 박스의 확대 방향을 결정할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 객체의 위험 정보에 기초하여, 바운딩 박스의 확대 비율을 조절할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 조절된 바운딩 박스에 기초하여 차량(1)의 주행 동작을 제어할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 객체의 위험 정보에 기초하여, 인식된 객체 주변에 가상의 바운딩 박스를 생성하고, 생성된 가상의 바운딩 박스에 기초하여 차량(1)의 주행 동작을 제어할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 차량(1)이 인식된 객체를 회피하여 주행할 수 있는 회피 영역을 결정하고, 객체의 위험 정보에 기초하여, 회피 영역을 재 결정하고, 재 결정된 회피 영역에 기초하여 차량(1)의 주행 동작을 제어할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 객체의 위험 정보에 기초하여, 인식된 객체 주변의 적어도 일부 영역을 회피 영역으로부터 제외시킴으로써, 회피 영역을 재 결정할 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 객체의 위험 정보에 기초하여, 회피 영역으로부터 제외시키는 적어도 일부 영역을 확대 또는 축소시킬 수 있다.

또한, 프로세서(120)는, 하나 이상의 인스트럭션을 실행함으로써, 출력부(130, 도 15)를 통해, 객체의 위험 정보에 기초하여, 차량(1)의 탑승자에게 주행 상황에 관한 알림을 제공할 수 있다.

도 15는 다른 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.

전자 장치(100)는 센싱부(110), 프로세서(120), 출력부(130), 저장부(140, 또는 메모리(140, 도 14)), 입력부(150), 및 통신부(160)를 포함할 수 있다.

센싱부(110)는 차량(1)이 위치해 있는 주변 환경에 관한 정보를 감지하도록 구성되는 다수의 센서들을 포함할 수 있고, 센서들의 위치 및/또는 배향을 수정하도록 구성되는 하나 이상의 액추에이터들을 포함할 수 있다. 예를 들어, 센싱부(110)는 GPS(Global Positioning System)(224), IMU(Inertial Measurement Unit)(225), RADAR 센서(226), LIDAR 센서(227), 이미지 센서(228) 및 Odometery 센서(230)를 포함할 수 있다. 또한, 센싱부(110)는 온/습도 센서(232), 적외선 센서(233), 기압 센서(235), 근접 센서(236), 및 RGB 센서(illuminance sensor)(237) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

또한, 센싱부(110)는 차량(1)의 움직임을 센싱할 수 있는 움직임 센싱부(238)를 포함할 수 있다. 움직임 센싱부(238)는 지자기 센서(Magnetic sensor)(229), 가속도 센서(Acceleration sensor)(231), 및 자이로스코프 센서(234)를 포함할 수 있다.

GPS(224)는 차량(1)의 지리적 위치를 추정하도록 구성되는 센서일 수 있다. 즉, GPS(224)는 지구에 대한 차량(1)의 위치를 추정하도록 구성되는 송수신기를 포함할 수 있다.

IMU(225)는 관성 가속도에 기초하여 차량(1)의 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 조합이 될 수 있다. 예를 들어, 센서들의 조합은, 가속도계들 및 자이로스코프들을 포함할 수 있다.

RADAR 센서(226)는 무선 신호를 사용하여 차량(1)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 있다. 또한, RADAR 센서(226)는, 물체들의 속도 및/또는 방향을 감지하도록 구성될 수 있다.

LIDAR 센서(227)는 레이저를 사용하여 차량(1)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 잇다. 보다 구체적으로, LIDAR 센서(227)는 레이저를 방출하도록 구성되는 레이저 광원 및/또는 레이저 스캐너와, 레이저의 반사를 검출하도록 구성되는 검출기를 포함할 수 잇다. LIDAR 센서(227)는 코히런트(coherent)(예컨대, 헤티로다인 검출을 사용함) 또는 비코히런트(incoherent) 검출 모드에서 동작하도록 구성될 수 있다.

이미지 센서(228)는 차량(1) 외부의 환경을 기록하도록 구성되는 스틸 카메라 또는 비디오 카메라가 될 수 있다. 예를 들어, 이미지 센서(228)는 다수의 카메라들을 포함할 수 있고, 다수의 카메라들은 차량(1)의 내부 및 외부 상의 다수의 위치들에 배치될 수 있다.

Odometery 센서(230)는 차량(1)의 위치를 추정하고, 이동 거리를 측정할 수 있다. 예를 들어, Odometery 센서(230)는 차량(1)의 바퀴의 회전 수를 이용하여 차량(1)의 위치 변화 값을 측정할 수 있다.

저장부(140)는 마그네틱 디스크 드라이브, 광학 디스크 드라이브, 플래쉬 메모리를 포함할 수 있다. 또는 저장부(140)는 휴대 가능한 USB 데이터 저장 장치가 될 수 있다. 저장부(140)는 본원과 관련되는 예들을 실행하기 위한 시스템 소프트웨어를 저장할 수 있다. 본원과 관련되는 예들을 실행하기 위한 시스템 소프트웨어는 휴대 가능한 저장 매체에 저장될 수 있다.

통신부(160)는 다른 디바이스와 무선으로 통신하기 위한 적어도 하나의 안테나를 포함할 수 있다. 예를 들어, 통신부(160)는 와이파이 또는 블루투스를 통해 무선으로 셀룰러 네트워크 또는 다른 무선 프로토콜 및 시스템과 통신하기 위해 이용될 수 있다. 프로세서(120)에 의해 제어되는 통신부(160)는 무선 신호를 송수신할 수 있다. 예를 들어, 프로세서(120)는, 통신부(160)가 셀룰러 네트워크와 무선 신호를 송수신하기 위해, 저장부(140)에 포함된 프로그램을 실행시킬 수 있다.

입력부(150)는 차량(1)을 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력부(150)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다. 또한, 입력부(150)는 마이크를 포함할 수 있는 바, 마이크는 차량(1)의 탑승자로부터 오디오(예를 들어, 음성 명령)를 수신하도록 구성될 수 있다.

출력부(130)는 오디오 신호 또는 비디오 신호를 출력할 수 있으며, 출력 장치(280)는 디스플레이(281), 및 음향 출력부(282)를 포함할 수 있다.

디스플레이(281)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 출력부(130)의 구현 형태에 따라, 출력부(130)는 디스플레이(281)를 2개 이상 포함할 수도 있다.

음향 출력부(282)는 통신부(160)로부터 수신되거나 저장부(140)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(282)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

입력부(150) 및 출력부(130)는 네트워크 인터페이스를 포함할 수 있고, 터치 스크린으로 구현될 수 있다.

프로세서(120)는, 저장부(140)에 저장된 프로그램들을 실행함으로써, 센싱부(110), 통신부(160), 입력부(150), 저장부(140), 및 출력부(130)를 전반적으로 제어할 수 있다.

도 16은 일 실시예에 따른 차량의 블록 구성도(block diagram)이다.

차량(1)은 일 실시 예에 따라, 전자 장치(100) 및 주행 장치(200)를 포함할 수 있다. 도 16에 도시된 차량(1)은 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 16에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

전자 장치(100)는 센싱부(110) 및 프로세서(120)를 포함할 수 있다.

센싱부(110)와 프로세서(120)에 대한 설명은 도 14, 도 15에서 상술하였으므로, 생략하기로 한다.

주행 장치(200)는 브레이크 유닛(221), 조향 유닛(222) 및 스로틀(223)을 포함할 수 있다.

조향 유닛(222)은 차량(1)의 방향을 조절하도록 구성되는 매커니즘들의 조합이 될 수 있다.

스로틀(223)은 엔진/모터(211)의 동작 속도를 제어하여, 차량(1)의 속도를 제어하도록 구성되는 매커니즘들의 조합이 될 수 있다. 또한, 스로틀(223)은 스로틀 개방량을 조절하여 엔진/모터(211)로 유입되는 연료공기의 혼합 가스 양을 조절할 수 있으며, 스로틀 개방량을 조절하여 동력 및 추력을 제어할 수 있다.

브레이크 유닛(221)은 차량(1)을 감속시키도록 구성되는 매커니즘들의 조합이 될 수 있다. 예를 들어, 브레이크 유닛(221)은 휠/타이어(214)의 속도를 줄이기 위해 마찰을 사용할 수 있다.

상기 살펴 본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

본 개시에서 설명된 특정 실행들은 일 실시예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시에서 모든 예들 또는 예시적인 용어의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다.

또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 개시에 기재된 구성 요소들은 본 개시의 실행을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 개시의 실시 예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.

본 개시는 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 본 개시는 명세서에 기재된 특정한 실시 형태에 의해 한정되는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물이 본 개시에 포함되는 것으로 이해되어야 한다. 그러므로, 개시된 실시예들은 한정적인 관점이 아닌 설명적 관점에서 이해되어야 한다.

본 개시의 범위는 발명의 상세한 설명보다는 특허 청구 범위에 의하여 나타나며, 특허 청구 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.

예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.

본 명세서에서, "A는 a1, a2 및 a3 중 하나를 포함할 수 있다"는 기재은, A라는 엘리먼트(element)에 포함될 수 있는 예시적인 엘리먼트가 a1, a2 또는 a3라는 넓은 의미이다.

상기 기재로 인해 엘리먼트 A를 구성할 수 있는 엘리먼트가 반드시 a1, a2 또는 a3로 국한된다는 것은 아니다. 따라서 A를 구성할 수 있는 엘리먼트가, a1, a2 및 a3 이외에 예시되지 않은 다른 엘리먼트들을 배제한다는 의미로, 배타적으로 해석되지 않음에 유의하여야 한다.

또한, 상기 기재는, A는 a1를 포함하거나, a2를 포함하거나, 또는 a3를 포함할 수 있다는 의미이다. 상기 기재가 A를 구성하는 엘리먼트들이 반드시 소정 집합 내에서 선택적으로 결정된다는 것을 의미하지는 않는다. 예를 들어 상기 기재가, 반드시 a1, a2 및 a3를 포함하는 집합으로부터 선택된 a1, a2, 또는 a3가 컴포넌트 A를 구성한다는 것으로, 제한적으로 해석되지 않음에 유의하여야 한다.

또한 본 명세서에서, "a1, a2 및 a3 중 적어도 하나"라는 기재는, "a1", "a2", "a3", "a1 및 a2", "a1 및 a3", "a2 및 a3", 및 "a1, a2 및 a3" 중에서 한 가지를 나타낸다. 따라서, "a1 중 적어도 하나, a2 중 적어도 하나 및 a3 중 적어도 하나"라고 명시적으로 기재되지 않는 이상, "a1, a2 및 a3 중 적어도 하나"라는 기재는 "a1 중 적어도 하나", "a2 중 적어도 하나" 및 "a3 중 적어도 하나"라고 해석되지 않음에 유의하여야 한다.

100 : 전자 장치
110 : 센싱부
120 : 프로세서

Claims

차량의 주행을 보조하는 전자 장치에 있어서,
적어도 하나의 센서를 포함하는 센싱부;
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 적어도 하나의 센서를 이용하여 상기 차량의 주변에 위치하는 객체를 인식하고,
상기 인식된 객체의 종류를 포함하는 상기 객체의 위험 정보를 생성하고,
상기 객체의 위험 정보에 기초하여, 상기 인식된 객체의 적어도 일부를 포함하도록 생성되는 바운딩 박스(Bounding Box)의 크기를 조절하고,
상기 조절된 바운딩 박스에 기초하여 상기 차량의 주행 동작을 제어하는, 전자 장치.
제1 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 적어도 하나의 센서를 이용하여, 상기 인식된 객체의 움직임을 추적함으로써, 상기 객체의 위험도를 판단하는, 전자 장치.
제1 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 객체의 종류, 상기 객체의 크기, 상기 객체의 이동 속도, 상기 객체의 이동 방향, 상기 차량과 상기 객체 간의 거리 및 상기 객체 주변의 공간 중 적어도 하나에 기초하여, 상기 객체의 위험도를 판단하는, 전자 장치.
제1 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 객체의 위험도를 더 포함하는 상기 객체의 위험 정보를 생성하는, 전자 장치.
제1 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 객체의 위험 정보에 기초하여, 상기 바운딩 박스의 확대 방향을 결정하는, 전자 장치.
제1 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 객체의 위험 정보에 기초하여, 상기 바운딩 박스의 확대 비율을 조절하는, 전자 장치.
제1 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 객체의 위험 정보에 기초하여, 상기 인식된 객체 주변에 가상의 바운딩 박스를 생성하고,
상기 생성된 가상의 바운딩 박스에 기초하여 상기 차량의 주행 동작을 제어하는, 전자 장치.
제1 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 차량이 상기 인식된 객체를 회피하여 주행할 수 있는 회피 영역을 결정하고,
상기 객체의 위험 정보에 기초하여, 상기 회피 영역을 재 결정하고,
상기 재 결정된 회피 영역에 기초하여 상기 차량의 주행 동작을 제어하는, 전자 장치.
제8 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 객체의 위험 정보에 기초하여, 상기 인식된 객체 주변의 적어도 일부 영역을 상기 회피 영역으로부터 제외시킴으로써, 상기 회피 영역을 재 결정하는, 전자 장치.
제9 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 객체의 위험 정보에 기초하여, 상기 회피 영역으로부터 제외시키는 상기 적어도 일부 영역을 확대 또는 축소시키는, 전자 장치.
제1 항에 있어서,
출력부를 더 포함하고,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 출력부를 통해, 상기 객체의 위험 정보에 기초하여, 상기 차량의 탑승자에게 주행 상황에 관한 알림을 제공하는, 전자 장치.
차량의 주행을 보조하는 방법에 있어서,
적어도 하나의 센서를 이용하여 상기 차량의 주변에 위치하는 객체를 인식하는 단계;
상기 인식된 객체의 종류를 포함하는 상기 객체의 위험 정보를 생성하는 단계;
상기 객체의 위험 정보에 기초하여, 상기 인식된 객체의 적어도 일부를 포함하도록 생성되는 바운딩 박스(Bounding Box)의 크기를 조절하는 단계; 및
상기 조절된 바운딩 박스에 기초하여 상기 차량의 주행 동작을 제어하는 단계를 포함하는, 방법.
제12 항에 있어서,
상기 적어도 하나의 센서를 이용하여, 상기 인식된 객체의 움직임을 추적함으로써, 상기 객체의 위험도를 판단하는 단계를 더 포함하는, 방법.
제12 항에 있어서,
상기 객체의 종류, 상기 객체의 크기, 상기 객체의 이동 속도, 상기 객체의 이동 방향, 상기 차량과 상기 객체 간의 거리 및 상기 객체 주변의 공간 중 적어도 하나에 기초하여, 상기 객체의 위험도를 판단하는 단계를 더 포함하는, 방법.
제12 항에 있어서,
상기 객체의 위험 정보를 생성하는 단계는,
상기 객체의 위험도를 더 포함하는 상기 객체의 위험 정보를 생성하는, 방법.
제12 항에 있어서,
상기 바운딩 박스(Bounding Box)의 크기를 조절하는 단계는,
상기 객체의 위험 정보에 기초하여, 상기 바운딩 박스의 확대 방향을 결정하는 단계를 포함하는, 방법.
제12 항에 있어서,
상기 바운딩 박스(Bounding Box)의 크기를 조절하는 단계는,
상기 객체의 위험 정보에 기초하여, 상기 바운딩 박스의 확대 비율을 조절하는 단계를 포함하는, 방법.
제12 항에 있어서,
상기 객체의 위험 정보에 기초하여, 상기 인식된 객체 주변에 가상의 바운딩 박스를 생성하는 단계;
상기 생성된 가상의 바운딩 박스에 기초하여 상기 차량의 주행 동작을 제어하는 단계를 포함하는, 방법.
제12 항에 있어서,
상기 차량이 상기 인식된 객체를 회피하여 주행할 수 있는 회피 영역을 결정하는 단계;
상기 객체의 위험 정보에 기초하여, 상기 회피 영역을 재 결정하는 단계; 및
상기 재 결정된 회피 영역에 기초하여 상기 차량의 주행 동작을 제어하는 단계를 포함하는, 방법.
제12 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.