KR101551237B1

KR101551237B1 - 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템

Info

Publication number: KR101551237B1
Application number: KR1020140001932A
Authority: KR
Inventors: 서일홍; 이진한; 장국현; 이세형; 임종우
Original assignee: 한양대학교 산학협력단
Priority date: 2014-01-07
Filing date: 2014-01-07
Publication date: 2015-09-09
Anticipated expiration: 2034-01-07
Also published as: KR20150081929A

Abstract

본 발명은 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템에 관한 것으로, 보다 구체적으로는 영상입력부가 카메라로부터 실외 장소를 촬영하여 획득한 영상을 입력받는 단계; 직선성분추출부가 입력 영상으로부터 상기 입력 영상의 내부에 존재하는 적어도 하나의 직선성분을 추출하는 단계; 질의부가 상기 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하여, 상기 데이터베이스로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신하는 단계; 및 분석부가 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 단계;를 포함한다.
이러한 구성에 의해, 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템은 실외 장소를 촬영한 영상에 대하여 실외 장소에서 발생되는 자연광, 조명광 등의 다양한 밝기 변화에 상관없이 영상을 통해 실외 장소를 정확하게 인식할 수 있는 효과가 있다.

Description

직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템{Method and system for recognizing outdoor place based on straight line and geometric relation}

본 발명은 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템에 관한 것으로, 특히 외부 환경의 변화가 심한 실외 장소를 신속하고 용이하게 인식할 수 있는 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템에 관한 것이다.

영상 관련 기술이 급격히 발달함에 따라, 위치를 알고자 하는 장소를 촬영하여 생성된 영상을 분석하여 해당 장소에 대한 정보를 보다 신속하게 획득하여 장소 인식이 이루어지고 있는 추세이다.

특히, 이러한 영상 관련 기술이 적용되는 자율주행 시스템 또는 무인 차량 등은 주로 실내에서 구현되므로, 사용자에 의해 조명 또는 장애물 등이 조절되어, 비교적 큰 환경 변화 없이 안정적인 조건에서 영상 분석을 수행한다.

하지만, 상대적으로 실내가 아닌 실외 장소에서는 급격한 자연광 또는 조명 변화에 의해 밝기 변화가 심해짐에 따라, 자연광, 조명 등의 밝기 변화에 따른 다양한 변수가 존재하며, 사용자가 예상하지 못한 장애물 또는 이벤트 등이 발생할 가능성이 높아 영상 분석에 대한 정확도가 감소하고, 계산량이 급격히 증가하는 등의 문제점이 발생했다.

KR 10-2008-0104574 (로봇의 위치 검출방법, 전자부품연구원) 2008.10.24.

상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 실외 장소를 촬영한 영상 내 직선 정보와 영상간 기하관계를 이용하여 영상 내 실외 장소를 용이하고 신속하게 인식할 수 있는 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템을 제공하고자 한다.

위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 방법은 영상입력부가 카메라로부터 실외 장소를 촬영하여 획득한 영상을 입력받는 단계; 직선성분추출부가 입력 영상으로부터 상기 입력 영상의 내부에 존재하는 적어도 하나의 직선성분을 추출하는 단계; 질의부가 상기 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하여, 상기 데이터베이스로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신하는 단계; 및 분석부가 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 단계;를 포함한다.

보다 바람직하게는 상기 입력 영상 내 픽셀을 윤곽선 픽셀 또는 비윤곽선 픽셀로 구분한 후, 구분된 윤곽선 픽셀을 검출하는 과정; 검출한 상기 윤곽선 픽셀이 동일직선상에 존재하는지 여부를 판단하여 기설정된 길이만큼 상기 윤곽선 픽셀을 각각 연결하여 복수 개의 제1 직선성분을 추출하는 과정; 및 상기 복수 개의 제1 직선성분에 대하여 순차적으로 각각의 제1 직선성분들간 거리 및 각도를 비교한 후, 각각 병합하여 복수 개의 제2 직선성분을 추출하는 과정;을 포함하는 직선성분추출부가 입력 영상으로부터 직선성분을 추출하는 단계를 포함할 수 있다.

보다 바람직하게는 상기 입력 영상 내 윤곽선 픽셀이 검출 시, 검출된 윤곽선 픽셀을 중심으로 8방향 검색하여 검출된 상기 윤곽선 픽셀과 인접한 위치에 또 다른 윤곽선 픽셀이 존재하는지 여부를 검색하는 과정;을 더 포함할 수 있다.

보다 바람직하게는 추출된 상기 직선성분에 대한 디스크립터 벡터(Vocabulary Vector)를 연산하는 과정; 상기 디스크립터 벡터에 대응하는 어휘 트리(Vocabulary Tree)의 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정; 및 점수를 부여받은 DB 영상을 부여 받은 점수의 내림차순으로 정렬한 후, 기설정된 개수만큼의 상위 랭크에 해당하는 DB 영상을 상기 데이터베이스로부터 수신하는 과정;을 포함하는 질의부가 상기 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하여 적어도 하나의 후보 DB 영상을 수신하는 단계를 포함할 수 있다.

보다 바람직하게는 상기 직선성분에 대하여 인접한 이웃 윤곽선 픽셀의 밝기 변화가 가장 큰 수직방향을 설정하는 과정; 설정된 수직방향에서 90도 시계방향 또는 90도 반시계방향으로 회전하여 수평방향을 설정하는 과정; 상기 직선성분과 인접한 이웃 윤곽선 픽셀에 대하여 수직방향으로 하위지역을 설정하는 과정; 상기 하위지역으로부터 4 방향으로 밝기 변화값을 연산하는 과정; 및 상기 밝기 변화값에 대한 평균값 및 표준편차값을 연산하여 상기 직선성분의 직선특징을 나타내는 디스크립터 벡터(descriptor vector)를 획득하는 과정;을 포함하는 직선성분에 대한 디스크립터 벡터를 연산하는 과정을 포함할 수 있다.

보다 바람직하게는 상기 입력 영상의 직선 특징을 나타내는 디스크립터 벡터를 어휘트리 구조 내 최하위 노드에 맵핑하는 과정; 맵핑된 상기 최하위 노드에 인덱스를 부여하는 과정; 및 상기 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정; 을 포함하는 디스크립터 벡터에 대응하는 어휘 트리의 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정을 포함할 수 있다.

특히, 상기 입력 영상과 적어도 하나의 후보 DB 영상간에 상대적 모션(Relative Motion)을 추정하는 분석부가 상기 실외 장소를 인식하는 단계를 포함할 수 있다.

보다 바람직하게는 상기 입력 영상과 적어도 하나의 후보 DB 영상간에 각각 서로 대응하는 직선 성분간의 오버랩(Overlap) 길이를 측정하여 상대적 모션을 연산하는 과정; 상기 입력 영상에 대응하여 유효한 상대적 모션을 가장 많이 갖는 DB 영상을 최종 DB 영상으로 선택하는 과정; 및 선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 과정;을 포함하는 분석부가 상기 실외 장소를 인식하는 단계를 포함할 수 있다.

위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 시스템은 카메라로부터 실외 장소를 촬영하여 획득한 영상을 입력받는 영상입력부; 입력받은 영상으로부터 내부에 존재하는 적어도 하나의 직선성분을 추출하는 직선성분추출부; 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하고, 상기 데이터베이스로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신하는 질의부; 및 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 주 하나의 최종 DB 영상을 선택하고, 선택한 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 분석부;를 포함한다.

특히, 상기 입력 영상과 적어도 하나의 후보 DB 영상간 상대적 모션(Relative Motion)을 추정하여 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하는 분석부를 포함할 수 있다.

본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템은 실외 장소를 촬영한 영상에 대하여 실외 장소에서 발생되는 자연광, 조명광 등의 다양한 밝기 변화에 상관없이 영상을 통해 실외 장소를 정확하게 인식할 수 있는 효과가 있다.

또한 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템은 실외 장소를 촬영한 영상 내 수 백개 내지 수 천개의 특징점을 검출하여 이를 분석하는 것이 아니라, 영상 내 직선성분을 검출한 후 이를 통해 영상분석을 수행함으로써, 점 기반 계산량에 비하여 계산량을 크게 감소시킬 수 있는 효과가 있다.

더불어, 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템은 영상 내 사람 또는 주변 환경으로부터 다수의 불필요한 특징점이 검출되지 않아 영상 분석에 포함되지 않으므로 실외 장소 인식에 대한 정확도를 향상시킬 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 시스템의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 방법의 블록도이다.
도 3은 입력 영상에 대한 디스크립터 벡터를 연산하는 과정을 나타낸 도면이다.
도 4는 입력 영상 내 직선성분의 기하관계를 나타낸 도면이다.
도 5는 입력 영상과 후보 DB 영상간 서로 대응하는 직선 성분의 오버랩 길이를 나타낸 도면이다.
도 6은 기하관계에 따른 직선 성분의 위치를 나타낸 도면이다.

이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다.

이하, 도 1을 참조하여 본 발명에 따른 직선 및 기하관계 기반 실외 장소 인식 시스템에 대하여 자세히 살펴보도록 한다.

도 1은 본 발명의 일 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 시스템의 블록도이다.

도 1에 도시된 바와 같이, 본 발명의 직선 및 기하관계 기반 실외 장소 인식 시스템(100)은 영상입력부(110), 직선성분추출부(130), 질의부(150) 및 분석부(170)를 포함한다.

영상입력부(110)는 카메라로부터 장소를 인식하고자 하는 실외 장소를 촬영한 영상을 입력받는다.

직선성분추출부(130)는 입력받은 영상으로부터 내부에 존재하는 적어도 하나의 직선성분을 추출한다.

질의부(150)는 입력 영상과 동일한 영상이 데이터베이스(190) 내 존재하는지 여부를 상기 데이터베이스(190)로 질의(Query)하고, 상기 데이터베이스(190)로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신한다.

분석부(170)는 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택한 최종 DB 영상에 기초하여 상기 실외 장소를 인식한다. 이러한 분석부(170)는 상기 입력 영상과 적어도 하나의 후보 DB 영상간 상대적 모션(Relative Motion)을 추정하여 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석할 수 있다.

이하, 도 2를 참조하여 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법에 대하여 자세히 살펴보도록 한다.

도 2는 본 발명의 다른 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 방법의 블록도이다.

도 2에 도시된 바와 같이, 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법은 영상입력부(110)가 카메라로부터 장소를 인식하고자 하는 실외 장소를 촬영한 영상을 입력받는다(S210). 이때, 상기 영상입력부(110)는 상기 카메라가 아닌 별도의 입력장치를 통해 실외 장소가 포함된 영상만을 입력받아 장소인식에 사용할 수 있다.

이후, 직선성분추출부(130)가 입력 영상으로부터 상기 입력 영상의 내부에 존재하는 적어도 하나의 직선성분을 추출한다(S220). 이하, 입력 영상 내 적어도 하나의 직선성분을 추출하는 과정에 대하여 자세히 살펴보도록 한다.

먼저, 상기 입력 영상 내 모든 픽셀에 대하여 윤곽선 픽셀(edge-pixel) 또는 비윤곽선 픽셀(non-edge pixel)로 구분하고, 구분된 윤곽선 픽셀을 검출한다. 이때, 상기 윤곽선 픽셀과 비윤곽선 픽셀은 케니 에지 검출기(Canny edge detector)를 통해, 영상 안에서의 영역의 경계를 나타내는 특징을 영상 밝기의 불연속점으로 윤곽선에 해당하는 픽셀을 윤곽선 픽셀로 검출하고, 영상 밝기의 불연속점으로 윤곽선에 해당하지 않는 픽셀을 비윤곽선 픽셀로 검출할 수 있다.

이어서, 검출된 상기 윤곽선 픽셀이 동일직선(co-linearity)상에 존재하는지 여부를 판단하여 기설정된 길이만큼 상기 윤곽선 픽셀을 각각 연결하여 복수 개의 제1 직선성분을 추출한다. 이때, 상기 제 1 직선성분의 기설정된 길이는 상황에 따라 사용자에 의해 임의로 설정되거나 변경될 수 있다.

이후, 상기 복수 개의 제1 직선성분에 대하여 순차적으로 각각의 제1 직선성분들간 거리 및 각도를 비교한 후, 각각 병합하여 복수 개의 제2 직선성분을 추출한다.

더불어, 상기 입력 영상 내 윤곽선 픽셀이 검출 시, 검출된 윤곽선 픽셀을 중심으로 8방향 검색하여 검출된 상기 윤곽선 픽셀과 인접한 위치에 또 다른 윤곽선 픽셀이 존재하는지 여부를 검색한다.

예를 들어, 상기 입력 영상 내 한 점을 기준으로 시작하여 일정방향으로 진행하며, 이에 따라 윤곽선 픽셀을 검색한다. 이후, 첫 번째 윤곽선 픽셀이 검색되면, 8방향 검색을 통해 상기 첫 번째 윤곽선 픽셀과 바로 인접한 두 번째 윤곽선 픽셀을 검색하고, 상기 첫 번째 윤곽선 픽셀과 상기 두 번째 윤곽선 픽셀을 상호 연결한다. 이어서, 상기 두 번째 윤곽선 픽셀에서 8방향 검색을 통해 인접한 세 번째 윤곽선 픽셀을 검색한다.

이때, 상기 세 번째 윤곽선 픽셀이 상기 연결된 첫 번째 윤곽선 픽셀과 두 번째 윤곽선 픽셀과의 동직선성(co-linearity)을 만족하면, 상기 첫 번째 윤곽선 픽셀, 상기 두 번째 윤곽선 픽셀, 및 상기 세 번째 윤곽선 픽셀에 대하여 직선 적합(line fitting)을 수행하여 상기 입력 영상 내 제 1 직선성분을 추출한다.

이때, 상기 동직선성이란, 기존의 복수 개의 점 및 기존의 직선이 새로운 점 및 새로운 직선과 동일직선상에 존재하는 경우의 정도를 나타낸다. 이때, 검색된 새로운 윤곽선 픽셀과 기존에 연결된 윤곽선 픽셀간의 거리를 연산하고, 그 연산결과가 기설정된 거리 내 포함되면, 상기 새로운 윤곽선 픽셀은 기존의 연결된 윤곽선 픽셀과 연결할 수 있다. 또한, 상기 직선 적합이란, 복수 개의 점이 존재하는 경우에, 상기 복수 개의 점을 가장 잘 표현할 수 있는 하나의 직선을 추출하는 방법을 나타낸다.

이와 같이, 직선성분추출부(130)가 입력 영상 내 직선성분을 추출함에 따라, 질의부(150)가 상기 입력 영상과 동일한 영상이 데이터베이스(190) 내 존재하는지 여부를 상기 데이터베이스(190)로 질의하여, 상기 데이터베이스(190)로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신한다(S230).

이에 따라, 상기 질의부(150)가 상기 과정 S220을 통해 입력 영상으로부터 추출된 직선성분에 대하여 디스크립터 벡터(descriptor Vector)를 연산한다.

이하, 도 3을 참조하여 직선성분에 대한 디스크립터 벡터 연산과정에 대하여 보다 자세히 살펴보도록 한다.

도 3은 입력 영상에 대한 디스크립터 벡터를 연산하는 과정을 나타낸 도면이다.

도 3에 도시된 바와 같이, 상기 입력 영상으로부터 추출된 직선성분에 대하여 인접한 이웃 윤곽선 픽셀의 밝기 변화가 가장 큰 수직방향을 설정한다.

이어서, 설정된 수직방향에서 90도 시계방향 또는 90도 반시계방향으로 회전하여 수평방향을 설정한다.

이후, 상기 직선성분과 인접한 이웃 윤곽선 픽셀에 대하여 수직방향으로 하위지역을 설정한다. 예를 들어, 상기 직선성분과 인접한 이웃 윤곽선 픽셀에 대하여 수직방향으로 각각 r × r 크기의 하위지역 (sub-region)을 M(이때, 상기 M은 자연수이다.)개 설정한다. 따라서, 하나의 직선성분이 N 개의 픽셀로 이루어져 있다고 가정하면, 하나의 직선성분에 대하여 총 N × M 개의 하위지역이 설정될 수 있다.

이어서, 설정된 상기 하위지역으로부터 4 방향으로 밝기 변화값(Gradient Histogram)을 연산한다.

이후, 상기 하위지역에서 수평방향으로 상기 밝기 변화값에 대한 4차원 평균값 및 4차원 표준편차값을 연산하여 상기 직선성분의 직선특징을 나타내는 디스크립터 벡터를 획득한다. 결과적으로, (4 ＋ 4) × M 차원의 디스크립터 벡터를 획득할 수 있는데, 이때, 상기 M을 9로 설정하면, 총 (4 ＋ 4) × 9 = 72 차원의 디스크립터 벡터를 획득할 수 있다.

즉, 상기 입력 영상 내 추출된 모든 직선성분을 대상으로 디스크립터 벡터를 연산하여 획득한다.

이와 같이, 질의부(150)가 입력 영상 내 추출된 모든 직선성분에 대하여 디스크립터 벡터를 연산하면, 상기 디스크립터 벡터에 대응하는 어휘 트리(Vocabulary Tree)의 최하위 노드에 저장된 DB 영상에 점수를 부여한다.

이하에서는 어휘 트리의 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정을 자세히 살펴보도록 한다. 먼저, 상기 입력 영상의 직선 특징을 나타내는 디스크립터 벡터를 어휘트리 구조 내 최하위 노드에 맵핑하고, 맵핑된 상기 최하위 노드에 인덱스(index)를 부여한 후, 상기 최하위 노드에 저장된 DB 영상에 점수를 부여할 수 있다.

이때, 상기 어휘 트리는 입력 영상으로부터 획득한 800만개의 디스크립터 벡터에 계층적 케이민즈 클러스터링 (Hierarchical k-means clustering)을 이용하여 72차원의 디스크립터 벡터의 특징공간을 양자화(quantization)하여 생성된다. 예를 들어, 본 발명에서는 가지수

, 계층수

을 이용하여 총

개의 노드를 갖는 어휘 트리를 생성하고, 이 중에서 125,000개의 최하위노드(leaf node)를 이용하여 입력 영상을 표현할 수 있다.

이후, 연산한 디스크립터 벡터에 대하여 어휘 트리 구조를 이용하여 125,000개의 최하위 노드 중 하나의 최하위 노드로 맵핑한다. 즉, 입력 영상 내 존재하는 모든 직선성분에 대하여 디스크립터 벡터를 연산하고, 모든 디스크립터 벡터에 어휘 트리 구조를 이용하여 대응되는 최하위 노드에 인덱스(index)를 부여하면, 상기 입력 영상은 최하위 노드에 부여된 인덱스들의 집합으로 표현될 수 있다.

특히, 데이터베이스를 구축할 때에는 입력 영상에서 추출한 디스크립터 벡터를 어휘 트리 구조를 이용하여 대응되는 최하위 노드를 검색하고, 검색된 최하위 노드에 저장된 영상에 부여된 식별번호(ID)와 해당 디스크립터 벡터의 가중치를 리스트업 (list-up) 하는 인버티드 파일즈 메커니즘 (inverted files mechanism)을 활용할 수 있다.

또한 입력 영상과 동일하다고 예상되는 DB 영상이 존재하는지 여부를 질의(query)하는 과정에서는 상기 입력 영상에서 추출한 디스크립터 벡터를 어휘 트리 구조를 이용하여 대응되는 최하위 노드를 검색하고, 검색된 최하위 노드에 리스트업되어 있는 DB 영상에 점수를 부여하여, 데이터베이스에 기저장된 DB 영상 중 현재 입력 영상과 동일하다고 예상되는 DB 영상을 검색할 수 있다.

예를 들어, 입력 영상으로부터 추출된 디스크립터 벡터를 어휘 트리를 통해 양자화하면,

의 최하위노드 인덱스를 가지고, 양자화된 디스크립터 벡터가

로 정의될 수 있다. 또한, 상기 양자화된 디스크립터 벡터와 대응되는 양자화된 데이터베이스 벡터는

로 정의될 수 있다. 특히, 상기 데이터베이스 벡터는 최하위 노드에 리스트 업되는 디스크립터 벡터의 가중치를 나타낸다. 또한, 이때 상기 ni는

를 나타내고, 상기 mi는

를 나타내며, 상기 wi는

를 나타낸다.

이어서, 입력 영상으로부터 추출된 모든 디스크립터 벡터에 대하여 데이터베이스에 기저장되어 있는 DB 영상 j에 할당하고자 하는 점수 s_j를 하기의 수학식 1을 통해 연산하여 부여할 수 있다.

[수학식 1]

이후, 점수를 부여받은 DB 영상을 부여받은 점수의 내림차순으로 정렬한 후, 기설정된 개수만큼의 상위 랭크에 해당하는 DB 영상을 후보 DB 영상으로 선정하여 선정된 적어도 하나의 후보 DB 영상을 상기 데이터베이스(190)로부터 수신한다.

이에 따라, 분석부(170)가 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식한다(S240). 이러한 상기 분석부(170)가 상기 입력 영상과 적어도 하나의 후보 DB 영상간에 상대적 모션(Relative Motion)을 추정하여 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석할 수 있다.

즉, 본 발명에서 이용하는 어휘 트리는 영상에서 얻은 특징들의 시각적 유사성(appearance similarity)만을 고려하므로, 영상간의 기하관계를 검증하여, 매우 높은 인식 정확도를 얻을 수 있다. 이러한 효과를 기대하기 위해, 입력 영상과 적어도 하나의 후보 DB 영상간에 상대적 모션(relative motion)을 추정하고, 추정된 상대적 모션을 이용하여 입력 영상과 후보 DB 영상 간 특징에 대한 대응관계를 계산한다. 즉, 입력 영상과 후보 DB 영상이 동일한 장소를 촬영하였다면 각 영상 내 상기 장소의 특징이 동일하게 검출되므로, 각 영상 내 특징값이 기설정된 임계값 보다 높으므로, 상기 입력 영상과 후보 DB 영상은 동일한 영상으로 판단할 수 있다.

이러한 입력 영상과 적어도 하나의 후보 DB 영상간에 상대적 모션(Relative Motion)을 추정하여 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하는 과정에 대하여 보다 자세히 살펴보도록 한다.

먼저, 분석부(170)가 상기 입력 영상과 후보 DB 영상간에 각각 서로 대응하는 직선성분간의 오버랩(Overlap) 길이를 측정하고, 측정된 오버랩 길이가 최대가 되도록 하는 최적화 기법(optimization)을 이용하여 상대적 모션을 연산한다.

도 4는 입력 영상 내 직선성분의 기하관계를 나타낸 도면이다.

입력 영상(a)과 후보 DB 영상(b)이 존재하고, 상기 입력 영상(a)과 후보 DB 영상(b)간 상대적 모션(relative motion)이 주어진다고 가정한다. 도 4에 도시된 바와 같이, 각 영상에서 대응되는 직선성분을 l, l'으로 설정하면, 상기 두 직선성분 l, l' 사이의 등극선 기하(epipolar geometry)를 확인할 수 있다.

이때, l'_e, l'_s 는 상기 입력 영상(a)의 직선성분 l의 끝점인 e, s 가 상기 후보 DB 영상(b)에서 정의되는 등극선(epipolar line)을 나타내고, e", s" 는 상기 입력 영상(a)의 직선성분 l의 끝점인 e, s 에 대한 상기 후보 DB 영상(b) 내 좌표를 나타내며, l'_e, l'_s, l' 이 이루는 교점으로 정의되어, 하기의 수학식 2를 통해 연산될 수 있다.

[수학식 2]

이때, 상기

는 영상좌표계의 한점인

의 3차원 동차좌표 (homogeneous coordinate) 표현을 나타내고, 상기

는 기본 행렬(essential matrix)을 나타내며, 상기

는 입력 영상과 후보 DB 영상 사이의 3차원 병진 벡터(translation vector)를 나타낸다. 또한, 상기

은 상기 입력 영상과 후보 DB 영상간에 회전 행렬(rotation matrix, 3 × 3)을 나타내고, 교점인 상기 e", s"의 3차원 동차좌표

는 하기의 수학식 3을 통해 연산할 수 있다.

[수학식 3]

본 발명의 모든 직선성분은 디스크립터 벡터를 추출하는 과정에서 이웃하는 픽셀의 밝기변화가 가장 큰 수직방향

로 설정하고, 상기 수직방향

에서 90도 반시계방향 또는 시계방향으로 회전하여 수평방향

을 설정하여, 입력 영상과 후보 DB 영상간에 상대적 모션이 작다고 가정할 때, 두 영상간 대응되는 직선성분들은 동일한 방향을 가지게 된다.

이에 따라, 발생가능한 직선성분 대응관계의 조합은 도 5를 통해 확인할 수 있다.

도 5는 입력 영상과 후보 DB 영상간 서로 대응하는 직선 성분의 오버랩 길이를 나타낸 도면이다.

도 5에 도시된 바와 같이, 발생가능한 직선성분의 대응관계의 조합은 총 6가지의 경우로 나타낼 수 있고, 오버랩 길이(overlap length)는 진한 부분 (a) 내지 (d) 또는 점선부분 (e), (f)로 설정된다.

이에 따라,

0 인 경우에 오버랩 길이(overlap length)

은 하기의 수학식 4를 통해 연산할 수 있다.

[수학식 4]

즉, 입력 영상과 후보 DB 영상간의 직선성분들의 대응관계

가 주어지면, 오버랩 길이

는 입력 영상에서 i번째 직선성분의 후보 DB 영상에서의 오버랩 길이를 설정한다. 따라서, 입력 영상과 후보 DB 영상간 상대적 모션의 연산 시, 후보 DB 영상으로부터 추출된 직선성분이 입력 영상에서의 오버랩 길이

를 동일한 방식으로 연산하고, 오버랩 길이의 최적화를 위한 비용 함수(cost function)를 하기의 수학식 5를 통해 연산할 수 있다.

[수학식 5]

이때, 상기 l_i, l'_i 는 직선성분의 영상에서의 길이를 나타내는데, 오버랩 길이를 상기 l_i, l'_i 로 나누어 줌으로써, 오버랩 길이를 정규화하여 길이의 영향을 받지 않도록 한다. 또한 함수

는 로버스트 손실 함수(robust loss function)로서, 하기의 수학식 6을 통해 연산된다.

[수학식 6]

)

이후, 앞서 정의한 비용 함수를 최소화하여 입력 영상과 후보 DB 영상간 상대적 모션을 연산할 수 있다. 이때, 상기 비용 함수를 최소화하기 위해, 르벤버그 마쿼트 알고리즘(Levenberg Marquardt Algorithm)을 이용할 수 있으며, 그 결과로서 상기 입력 영상과 후보 DB 영상간에

를 반환한다.

도 6은 기하관계에 따른 직선 성분의 위치를 나타낸 도면이다.

도 6에 도시된 바와 같이, 입력 영상과 후보 DB 영상 간 상대적 모션이 주어지는 경우에 상기 입력 영상의 직선성분이 상기 후보 DB 영상에서 위치해야 하는 지역을 확인할 수 있다.

본 발명에서는 지금까지 상술한 바와 같이, 상대적 모션 추정기법을 이용하여 입력 영상과 각각의 후보 DB 영상 사이의 상대적 모션을 연산하고, 도 6에 도시된 직선성분의 제약조건을 적용하여 영상 내 각 특징간의 대응관계를 연산할 수 있다.

이에 따라, 분석부(170)가 상기 입력 영상에 대응하여 유효한 상대적 모션을 가장 많이 갖는 후보 DB 영상을 최종 DB 영상으로 선택한다.

이어서, 선택된 최종 DB 영상을 통해 입력 영상에 해당하는 실외 장소를 인식한다.

또한, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.

110: 영상입력부 130: 직선성분추출부
150: 질의부 170: 분석부

Claims

영상입력부가 카메라로부터 실외 장소를 촬영하여 획득한 영상을 입력받는 단계;
직선성분추출부가 입력 영상으로부터 상기 입력 영상의 내부에 존재하는 적어도 하나의 직선성분을 추출하는 단계;
질의부가 상기 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하여, 상기 데이터베이스로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신하는 단계; 및
분석부가 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 단계;
를 포함하되,
상기 분석부가 상기 실외 장소를 인식하는 단계는
상기 입력 영상과 적어도 하나의 후보 DB 영상간에 상대적 모션(Relative Motion)을 추정하여 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
제1항에 있어서,
상기 직선성분추출부가 입력 영상으로부터 직선성분을 추출하는 단계는
상기 입력 영상 내 픽셀을 윤곽선 픽셀 또는 비윤곽선 픽셀로 구분한 후, 구분된 윤곽선 픽셀을 검출하는 과정;
검출한 상기 윤곽선 픽셀이 동일직선상에 존재하는지 여부를 판단하여 기설정된 길이만큼 상기 윤곽선 픽셀을 각각 연결하여 복수 개의 제1 직선성분을 추출하는 과정; 및
상기 복수 개의 제1 직선성분에 대하여 순차적으로 각각의 제1 직선성분들간 거리 및 각도를 비교한 후, 각각 병합하여 복수 개의 제2 직선성분을 추출하는 과정;
을 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
제2항에 있어서,
상기 입력 영상 내 윤곽선 픽셀이 검출 시, 검출된 윤곽선 픽셀을 중심으로 8방향 검색하여 검출된 상기 윤곽선 픽셀과 인접한 위치에 또 다른 윤곽선 픽셀이 존재하는지 여부를 검색하는 과정;
을 더 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
제1항에 있어서,
상기 질의부가 상기 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하여 적어도 하나의 후보 DB 영상을 수신하는 단계는
추출된 상기 직선성분에 대한 디스크립터 벡터(descriptor Vector)를 연산하는 과정;
상기 디스크립터 벡터에 대응하는 어휘 트리(Vocabulary Tree)의 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정; 및
점수를 부여받은 DB 영상을 부여 받은 점수의 내림차순으로 정렬한 후, 기설정된 개수만큼의 상위 랭크에 해당하는 DB 영상을 상기 데이터베이스로부터 수신하는 과정;
을 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
제4항에 있어서,
상기 직선성분에 대한 디스크립터 벡터를 연산하는 과정은
상기 직선성분에 대하여 인접한 이웃 윤곽선 픽셀의 밝기 변화가 가장 큰 수직방향을 설정하는 과정;
설정된 수직방향에서 90도 시계방향 또는 90도 반시계방향으로 회전하여 수평방향을 설정하는 과정;
상기 직선성분과 인접한 이웃 윤곽선 픽셀에 대하여 수직방향으로 하위지역을 설정하는 과정;
상기 하위지역으로부터 4 방향으로 밝기 변화값을 연산하는 과정; 및
상기 밝기 변화값에 대한 평균값 및 표준편차값을 연산하여 상기 직선성분의 직선특징을 나타내는 디스크립터 벡터를 획득하는 과정;
을 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
제5항에 있어서,
상기 디스크립터 벡터에 대응하는 어휘 트리의 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정은
상기 입력 영상의 직선 특징을 나타내는 디스크립터 벡터를 어휘트리 구조 내 최하위 노드에 맵핑하는 과정;
맵핑된 상기 최하위 노드에 인덱스를 부여하는 과정; 및
상기 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정;
을 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
삭제
제1항에 있어서,
상기 분석부가 상기 실외 장소를 인식하는 단계는
상기 입력 영상과 적어도 하나의 후보 DB 영상간에 각각 서로 대응하는 직선 성분간의 오버랩(Overlap) 길이를 측정하여 상대적 모션을 연산하는 과정;
상기 입력 영상에 대응하여 유효한 상대적 모션을 가장 많이 갖는 DB 영상을 최종 DB 영상으로 선택하는 과정; 및
선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 과정;
을 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
카메라로부터 실외 장소를 촬영하여 획득한 영상을 입력받는 영상입력부;
입력받은 영상으로부터 내부에 존재하는 적어도 하나의 직선성분을 추출하는 직선성분추출부;
입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하고, 상기 데이터베이스로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신하는 질의부; 및
상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택한 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 분석부;
를 포함하되,
상기 분석부는
상기 입력 영상과 적어도 하나의 후보 DB 영상간 상대적 모션(Relative Motion)을 추정하여 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 시스템.
삭제