KR20200033601A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20200033601A
KR20200033601A KR1020180113084A KR20180113084A KR20200033601A KR 20200033601 A KR20200033601 A KR 20200033601A KR 1020180113084 A KR1020180113084 A KR 1020180113084A KR 20180113084 A KR20180113084 A KR 20180113084A KR 20200033601 A KR20200033601 A KR 20200033601A
Authority
KR
South Korea
Prior art keywords
parameter value
camera
image
general
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020180113084A
Other languages
English (en)
Inventor
조민수
김현우
박정철
송세준
양성광
Original Assignee
샐터스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샐터스 주식회사 filed Critical 샐터스 주식회사
Priority to KR1020180113084A priority Critical patent/KR20200033601A/ko
Publication of KR20200033601A publication Critical patent/KR20200033601A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 처리 장치는, 제1 시점에서 객체를 촬영하여 적외선 영상을 획득하는 적외선 카메라; 제2 시점에서 상기 객체를 촬영하여 제1 깊이 영상을 획득하는 깊이 카메라; 상기 적외선 영상으로부터 상기 객체에 대한 제1 특징 데이터를 추출하고, 상기 제1 특징 데이터로부터 광각 파라미터 값 및 제1 일반 파라미터 값을 계산하고, 상기 제1 깊이 영상으로부터 상기 객체에 대한 제2 특징 데이터를 추출하고, 상기 제2 특징 데이터로부터 제2 일반 파라미터 값을 계산하고, 상기 적외선 카메라와 상기 깊이 카메라 사이의 위치 정보 및 회전 정보 중 적어도 하나를 포함하는 제3 파라미터 값을 계산하고, 상기 제1 일반 파라미터 값, 상기 제2 일반 파라미터 값, 및 상기 제3 파라미터 값에 기초하여 상기 제1 깊이 영상으로부터 상기 제1 시점에 대응하는 제2 깊이 영상을 생성하고, 상기 광각 파라미터 값에 기초하여 상기 제2 깊이 영상으로부터 상기 적외선 영상에 대응하도록 왜곡된 제3 깊이 영상을 생성하는 프로세서; 및 상기 제3 깊이 영상을 저장하는 메모리;를 포함한다.

Description

영상 처리 장치 및 방법{Apparatus and method for processing image}
본 발명의 실시예들은 영상 처리 장치 및 방법에 관한 것이다.
객체를 인식하기 위한 다양한 방법이 개발되고 있다.
예를 들어, 객체가 장비를 착용한 경우, 장비를 통해 객체를 인식하는 방법이 있는데, 이는 객체가 소정 동작을 취함에 있어서 불편을 야기하며, 객체마다 장비가 초기화되어야 할 필요가 있어 번거롭다.
한편, 카메라로부터 획득된 영상에 기초하여 객체를 인식하는 방법이 있다. 이는 영상으로부터 객체를 추론하는 방법으로서, 보다 정확한 객체 인식을 위한 알고리즘의 개발이 요구된다.
본 발명의 실시예들은 보다 정확한 객체 인식을 위한 영상 처리 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 영상 처리 장치는, 제1 시점에서 객체를 촬영하여 적외선 영상을 획득하는 적외선 카메라; 제2 시점에서 상기 객체를 촬영하여 제1 깊이 영상을 획득하는 깊이 카메라; 상기 적외선 영상으로부터 상기 객체에 대한 제1 특징 데이터를 추출하고, 상기 제1 특징 데이터로부터 광각 파라미터 값 및 제1 일반 파라미터 값을 계산하고, 상기 제1 깊이 영상으로부터 상기 객체에 대한 제2 특징 데이터를 추출하고, 상기 제2 특징 데이터로부터 제2 일반 파라미터 값을 계산하고, 상기 적외선 카메라와 상기 깊이 카메라 사이의 위치 정보 및 회전 정보 중 적어도 하나를 포함하는 제3 파라미터 값을 계산하고, 상기 제1 일반 파라미터 값, 상기 제2 일반 파라미터 값, 및 상기 제3 파라미터 값에 기초하여 상기 제1 깊이 영상으로부터 상기 제1 시점에 대응하는 제2 깊이 영상을 생성하고, 상기 광각 파라미터 값에 기초하여 상기 제2 깊이 영상으로부터 상기 적외선 영상에 대응하도록 왜곡된 제3 깊이 영상을 생성하는 프로세서; 및 상기 제3 깊이 영상을 저장하는 메모리;를 포함한다.
본 실시예에서, 상기 광각 파라미터 값은 광각 카메라 매트릭스 및 광각 카메라 왜곡 상수를 포함하고, 상기 제1 일반 파라미터 값은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함할 수 있다.
본 실시예에서, 상기 제1 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보를 포함하고, 상기 프로세서는
Figure pat00001
,
Figure pat00002
,
Figure pat00003
을 이용하여 상기 광각 카메라 왜곡 상수(
Figure pat00004
)를 계산하고, x, y, z는 꼭지점의 좌표 정보,
Figure pat00005
,
Figure pat00006
,
Figure pat00007
,
Figure pat00008
일 수 있다.
본 실시예에서, 상기 제1 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보를 포함하고, 상기 프로세서는
Figure pat00009
,
Figure pat00010
을 이용하여 상기 일반 카메라 왜곡 상수(
Figure pat00011
)를 계산하고,
Figure pat00012
,
Figure pat00013
,
Figure pat00014
일 수 있다.
본 실시예에서, 상기 제2 일반 파라미터 값은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함할 수 있다.
본 실시예에서, 상기 제2 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보(x, y, z)를 포함하고, 상기 프로세서는
Figure pat00015
,
Figure pat00016
을 이용하여 상기 일반 카메라 왜곡 상수(
Figure pat00017
)를 계산하고,
Figure pat00018
,
Figure pat00019
,
Figure pat00020
일 수 있다.
본 실시예에서, 상기 메모리는 상기 제3 깊이 영상을 영상 정보 및 좌표 정보 중 적어도 하나의 형태로 저장할 수 있다.
본 실시예에서, 상기 적외선 카메라는 120도 이상의 화각을 갖는 광각 렌즈를 통해 상기 객체를 촬영할 수 있다.
본 발명의 일 실시예에 따른 영상 처리 방법은, 적외선 카메라에 의해, 제1 시점에서 객체를 촬영하여 적외선 영상을 획득하는 단계; 프로세서에 의해, 상기 적외선 영상으로부터 상기 객체에 대한 제1 특징 데이터를 추출하고, 상기 제1 특징 데이터로부터 광각 파라미터 값 및 제1 일반 파라미터 값을 계산하는 단계; 깊이 카메라에 의해, 제2 시점에서 상기 객체를 촬영하여 제1 깊이 영상을 획득하는 단계; 상기 프로세서에 의해, 상기 제1 깊이 영상으로부터 상기 객체에 대한 제2 특징 데이터를 추출하고, 상기 제2 특징 데이터로부터 제2 일반 파라미터 값을 계산하는 단계; 상기 프로세서에 의해, 상기 적외선 카메라와 상기 깊이 카메라 사이의 위치 정보 및 회전 정보 중 적어도 하나를 포함하는 제3 파라미터 값을 계산하는 단계; 상기 프로세서에 의해, 상기 제1 일반 파라미터 값, 상기 제2 일반 파라미터 값, 및 상기 제3 파라미터 값에 기초하여 상기 제1 깊이 영상으로부터 상기 제1 시점에 대응하는 제2 깊이 영상을 생성하는 단계; 상기 프로세서에 의해, 상기 광각 파라미터 값에 기초하여 상기 제2 깊이 영상으로부터 상기 적외선 영상에 대응하도록 왜곡된 제3 깊이 영상을 생성하는 단계; 및 메모리에 의해, 상기 제3 깊이 영상을 저장하는 단계;를 포함한다.
본 실시예에서, 상기 광각 파라미터 값은 광각 카메라 매트릭스 및 광각 카메라 왜곡 상수를 포함하고, 상기 제1 일반 파라미터 값은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함할 수 있다.
본 실시예에서, 상기 제1 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보(x, y, z)를 포함하고, 상기 프로세서는
Figure pat00021
,
Figure pat00022
,
Figure pat00023
을 이용하여 상기 광각 카메라 왜곡 상수(
Figure pat00024
)를 계산하고,
Figure pat00025
,
Figure pat00026
,
Figure pat00027
,
Figure pat00028
일 수 있다.
본 실시예에서, 상기 제1 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보(x, y, z)를 포함하고, 상기 프로세서는
Figure pat00029
,
Figure pat00030
을 이용하여 상기 일반 카메라 왜곡 상수(
Figure pat00031
)를 계산하고,
Figure pat00032
,
Figure pat00033
,
Figure pat00034
일 수 있다.
본 실시예에서, 상기 제2 일반 파라미터 값은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함할 수 있다.
본 실시예에서, 상기 제2 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보(x, y, z)를 포함하고, 상기 프로세서는
Figure pat00035
,
Figure pat00036
을 이용하여 상기 일반 카메라 왜곡 상수(
Figure pat00037
)를 계산하고,
Figure pat00038
,
Figure pat00039
,
Figure pat00040
일 수 있다.
본 실시예에서, 상기 제3 깊이 영상을 저장하는 단계는, 상기 제3 깊이 영상을 영상 정보 및 좌표 정보 중 적어도 하나의 형태로 저장하는 단계일 수 있다.
본 실시예에서, 상기 적외선 카메라는 120도 이상의 화각을 갖는 광각 렌즈를 통해 상기 객체를 촬영할 수 있다.
본 발명의 실시예들에 따르면, 보다 정확한 객체 인식이 가능한 영상 처리 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 적외선 카메라 및 깊이 카메라 각각의 촬영 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치를 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 카메라의 내부 파라미터 값을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 카메라의 외부 파라미터 값을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 카메라의 내부 파라미터 값 및 외부 파라미터 값의 산출을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 카메라의 내부 파라미터 값 및 외부 파라미터 값의 적용을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 제3 깊이 영상 저장 형태를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하 첨부된 도면들을 참조하여 본 발명의 여러 가지 실시 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 적외선 카메라(110) 및 깊이 카메라(120) 각각의 촬영 동작을 설명하기 위한 도면이다.
도 1을 참조하면, 적외선 카메라(110)는 객체(1)를 촬영하여 적외선 영상(10)을 획득할 수 있다.
객체(1)는 복수의 정방형 격자 무늬들을 가지는 체스 보드일 수 있으며, 이에 한정하지 않는다. 객체(1)는 깊이 차가 없는 체스 보드일 수도 있고, 깊이 차가 있는 체스 보드일 수도 있다.
적외선 카메라(110)는 어안 렌즈를 포함할 수 있다. 어안 렌즈는 120도 이상의 화각(angle of view)을 갖는 렌즈일 수 있다. 적외선 카메라(110)는 어안 렌즈를 통해 제1 영역(110a)을 촬영할 수 있다.
깊이 카메라(120)는 객체(1)를 촬영하여 제1 깊이 영상(20)을 획득할 수 있다.
깊이 카메라(120)는 일반 렌즈를 포함할 수 있다. 일반 렌즈는 120도 미만의 화각을 갖는 렌즈일 수 있다. 깊이 카메라(120)는 일반 렌즈를 통해 제2 영역(120a)을 촬영할 수 있다. 제2 영역(120a)은 제1 영역(110a)보다 작을 수 있다.
어안 렌즈를 통해 획득된 적외선 영상(10)의 왜곡의 정도와 일반 렌즈를 통해 획득된 제1 깊이 영상(20)의 왜곡의 정도는 서로 상이할 수 있다. 상세하게는, 적외선 영상(10)의 왜곡이 제1 깊이 영상(20)의 왜곡보다 심할 수 있다.
적외선 카메라(110)와 깊이 카메라(120)는 서로 상이한 시점(point of view)에서 객체(1)를 촬영할 수 있다. 예를 들어, 적외선 카메라(110)는 제1 시점에서 객체(1)를 촬영할 수 있고, 깊이 카메라(120)는 제1 시점과 상이한 제2 시점에서 객체(1)를 촬영할 수 있다.
이에 따라, 영상 처리 장치(100, 도 2)가 적외선 영상(10)에 포함된 객체(1)의 깊이 값을 얻기 위하여 제1 깊이 영상(20)을 이용하는 경우 오차가 발생할 수 있다.
이하에서, 왜곡의 정도와 획득된 시점이 서로 상이한 적외선 영상(10)과 제1 깊이 영상(20)을 보다 정확하게 정합함으로써, 적외선 영상(10)에 포함된 객체(1)의 깊이 갚을 정확하게 학습할 수 있는 본 발명의 실시예들에 대하여 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 개략적으로 도시한 블록도이다.
도 1 및 도 2를 참조하면, 영상 처리 장치(100)는 적외선 카메라(110), 깊이 카메라(120), 프로세서(130), 및 메모리(140)를 포함한다.
적외선 카메라(110)는 제1 시점에서 객체(1)를 촬영하여 적외선 영상(10)을 획득한다. 적외선 카메라(110)는 120도 이상의 화각을 갖는 광각 렌즈를 통해 객체(1)를 촬영할 수 있다.
적외선 영상(10)은 어안 렌즈로 인한 왜곡을 가질 수 있다. 어안 렌즈를 통해 촬영된 적외선 영상(10)은 외곽으로 갈수록 왜곡의 편차가 심해질 수 있다. 어안 렌즈를 통해 보다 넓은 영역이 촬영된 적외선 영상(10)을 얻을 수 있다.
깊이 카메라(120)는 제2 시점에서 객체(1)를 촬영하여 제1 깊이 영상(20)을 획득한다. 적외선 카메라(110)는 일반 렌즈를 통해 객체(1)를 촬영할 수 있다.
제1 깊이 영상(20)은 일반 렌즈로 인한 왜곡을 가질 수 있다.
프로세서(130)는 왜곡의 정도와 획득된 시점이 적외선 영상(10)과 동일한 제3 깊이 영상(24, 도 6)을 생성하기 위하여, 제1 깊이 영상(20)에 대하여 일반 렌즈로 인한 왜곡을 보정하고, 위치와 회전을 보정하고, 광각 렌즈로 인한 왜곡을 적용할 수 있다.
프로세서(130)는 제1 깊이 영상(20)에 대하여 카메라의 내부 파라미터 값을 이용한 렌즈 왜곡 보정, 카메라의 외부 파라미터 값을 이용한 위치 보정 및/또는 회전 보정, 및 카메라의 내부 파라미터 값을 이용한 렌즈 왜곡 적용을 수행함으로써, 적외선 영상(10)에 대응하도록 왜곡된 제3 깊이 영상(24, 도 6)을 생성할 수 있다.
다시 말해, 프로세서(130)는 제1 깊이 영상(20)에 대하여, 일반 렌즈에 의한 왜곡을 보정하고 어안 렌즈에 의한 왜곡을 적용함으로써 적외선 영상(10)과 왜곡의 정도가 동일한 제3 깊이 영상(24, 도 6)을 생성할 수 있고, 위치 보정 및/또는 회전 보정을 수행함으로써 적외선 영상(10)과 시점이 동일한 제3 깊이 영상(24, 도 6)을 생성할 수 있다.
이를 위해, 이하에서는, 도 3 내지 도 5를 참조하여, 제1 깊이 영상(20)에 적용되는 카메라의 내부 파라미터 값 및 외부 파라미터 값에 대하여 상세하게 설명한다.
도 3은 본 발명의 일 실시예에 따른 카메라의 내부 파라미터 값을 설명하기 위한 도면이다.
도 3을 참조하면, 렌즈의 왜곡 중심 C(
Figure pat00041
,
Figure pat00042
)을 기준으로 3차원 상의 하나의 꼭지점 P(x, y, z)가 초점 거리가 f인 렌즈를 통해 2차원의 영상 평면에 투영될 때, 2차원의 영상 평면에 맺히는 점 p는 수학식 1과 같이 구할 수 있다.
Figure pat00043
수학식 1에서, 등식의 오른쪽 단 첫 번째 매트릭스는 카메라 매트릭스를 나타내며,
Figure pat00044
는 스큐 파라미터 값을,
Figure pat00045
는 아스펙트 비율 값을,
Figure pat00046
와
Figure pat00047
는 초점 거리를,
Figure pat00048
와
Figure pat00049
는 렌즈의 광학 중심점 좌표를,
Figure pat00050
는 스케일을 의미한다.
Figure pat00051
는
Figure pat00052
,
Figure pat00053
,
Figure pat00054
,
Figure pat00055
와 관련된 함수로 나타낼 수 있으며, 샘플링에 따라서
Figure pat00056
,
Figure pat00057
,
Figure pat00058
,
Figure pat00059
의 값을 일정 비율로 곱하거나 나눌 수 있다.
3차원 상의 하나의 꼭지점 P(x, y, z)가 카메라 좌표계로 투영된 렌즈 평면 상의 좌표 (x', y')(도 3에 도시하지 않음)와 3차원 상의 하나의 꼭지점 P(x, y, z) 간에는 수학식 2와 같은 비례식이 성립할 수 있다.
Figure pat00060
Figure pat00061
Figure pat00062
Figure pat00063
=1,
Figure pat00064
=0이라 할 때, 수학식 1 및 수학식 2로부터 수학식 3이 유도될 수 있다.
Figure pat00065
Figure pat00066
즉, 카메라의 내부 파라미터
Figure pat00067
,
Figure pat00068
,
Figure pat00069
,
Figure pat00070
를 이용하여 2차원 영상 평면 상의 좌표 p(u, v)를 얻을 수 있다. 이때, 2차원 영상 평면 상의 좌표 p는 렌즈로 인해 실제 왜곡이 발생되는 영상 평면상의 좌표로서, 왜곡이 발생되지 않은 영상 평면상의 좌표 p'와 일치하지 않을 수 있다. p와 p'의 일치를 위하여 카메라의 왜곡 상수가 이용될 수 있다.
먼저, 일반 렌즈를 포함하는 카메라의 왜곡 상수 즉, 일반 카메라 왜곡 상수
Figure pat00071
는 수학식 4와 같이 계산될 수 있다.
Figure pat00072
Figure pat00073
수학식 4에서, x', y'는 좌표 p에 대응하고, x'', y''는 좌표 p'에 대응하고,
Figure pat00074
이고,
Figure pat00075
,
Figure pat00076
,
Figure pat00077
는 방사상 왜곡 상수를,
Figure pat00078
,
Figure pat00079
는 접선 방향 왜곡 상수를 나타낼 수 있다. 이때, x', y'는 u, v를 구하기 위한 변수일 수 있습니다.
한편, 어안 렌즈를 포함하는 카메라의 왜곡 상수 즉, 광각 카메라 왜곡 상수
Figure pat00080
는 수학식 5와 같이 계산될 수 있다.
Figure pat00081
Figure pat00082
Figure pat00083
수학식 5에서, x', y'는 좌표 p에 대응하고, x'', y''는 좌표 p'에 대응하고,
Figure pat00084
,
Figure pat00085
이고,
Figure pat00086
는 방사상 왜곡 상수를 나타낼 수 있다.
도 4는 본 발명의 일 실시예에 따른 카메라의 외부 파라미터 값을 설명하기 위한 도면이다.
도 4를 참조하면, 적외선 카메라(110)는
Figure pat00087
의 위치에서 객체(1)를 촬영하여 적외선 영상(10)을 획득할 수 있다. 적외선 영상(10)은 영상의 중심을 나타내는 표시(C10)를 포함할 수 있다. 적외선 영상(10)은 객체(1)의 꼭지점 P에 대응하는
Figure pat00088
를 포함할 수 있다.
깊이 카메라(120)는
Figure pat00089
의 위치에서 객체(1)를 촬영하여 제1 깊이 영상(20)을 획득할 수 있다. 제1 깊이 영상(20)은 영상의 중심을 나타내는 표시(C20)를 포함할 수 있다. 제1 깊이 영상(20)은 객체(1)의 꼭지점 P에 대응하는
Figure pat00090
를 포함할 수 있다.
프로세서(130)는 제1 깊이 영상(20)이 적외선 영상(10)에 대응되는 크기로 보상된 영상(30)을 생성할 수 있다.
깊이 카메라(120)는 적외선 카메라(110)로부터 T만큼 이동된 위치에 있을 수 있다. 즉, T는 적외선 카메라(110)와 깊이 카메라(120) 사이의 위치 정보를 나타낼 수 있다.
제1 깊이 영상(20) 및 제1 깊이 영상(20)이 적외선 영상(10)에 대응되는 크기로 보상된 영상(30)은 적외선 영상(10)에 비해 R만큼 회전된 영상일 수 있다. 즉, R은 적외선 카메라(110)와 깊이 카메라(120) 사이의 회전 정보를 나타낼 수 있다.
이에 따라, 수학식 6과 같은 관계가 성립될 수 있다.
Figure pat00091
한편, P,
Figure pat00092
, 및
Figure pat00093
를 지나는 에피폴라 평면(epipolar plane)에 대한 성질에 따르면 수학식 7과 같다.
Figure pat00094
수학식 6을 변형한
Figure pat00095
와, R에 대해 성립 가능한
Figure pat00096
를 수학식 7에 대입한 결과는 수학식 8과 같다.
Figure pat00097
한편,
Figure pat00098
를 만족하는 S는 수학식 9일 수 있다.
Figure pat00099
수학식 9에서,
Figure pat00100
,
Figure pat00101
,
Figure pat00102
는 벡터 T의 x축 성분, y축 성분, 및 z축 성분일 수 있다.
수학식 9를 이용하여 수학식 8이 수학식 10과 같이 변경될 수 있다.
Figure pat00103
프로세서(130)는 적외선 카메라(110)에 대한 카메라 보정을 수행함으로써 객체(1)의 꼭지점 P를
Figure pat00104
로 변환할 수 있고, 깊이 카메라(120)에 대한 카메라 보정을 수행함으로써 객체(1)의 꼭지점 P를
Figure pat00105
로 변환할 수 있다.
Figure pat00106
는 수학식 11에 의해 계산될 수 있다.
Figure pat00107
수학식 11에서,
Figure pat00108
는 적외선 카메라(110) 및 객체(1)의 꼭지점 P 사이의 회전 정보,
Figure pat00109
는 적외선 카메라(110) 및 객체(1)의 꼭지점 P 사이의 위치 정보일 수 있다.
Figure pat00110
,
Figure pat00111
는 적외선 카메라(110)의 외부 파라미터의 값일 수 있다.
Figure pat00112
는 수학식 12에 의해 계산될 수 있다.
Figure pat00113
수학식 12에서,
Figure pat00114
는 깊이 카메라(120) 및 객체(1)의 꼭지점 P 사이의 회전 정보,
Figure pat00115
는 깊이 카메라(120) 및 객체(1)의 꼭지점 P 사이의 위치 정보일 수 있다.
Figure pat00116
,
Figure pat00117
는 깊이 카메라(120)의 외부 파라미터의 값일 수 있다.
수학식 1, 수학식 11, 및 수학식 12로부터 수학식 13 및 수학식 14가 각각 유도될 수 있다.
Figure pat00118
Figure pat00119
앞서 설명한 바와 같이, 수학식 11 및 수학식 12에서, R은 적외선 카메라(110)와 깊이 카메라(120) 사이의 회전 정보를, T는 적외선 카메라(110)와 깊이 카메라(120) 사이의 위치 정보를 나타낼 수 있다. 즉, 제3 파라미터 값은 R 및 T 중 적어도 하나를 포함할 수 있다.
수학식 13 및 수학식 14에서 계산된 R 및 T는 객체(1)의 꼭지점 P에 대한 제3 파라미터 값일 수 있다.
도 5는 본 발명의 일 실시예에 따른 카메라의 내부 파라미터 값 및 외부 파라미터 값의 산출을 설명하기 위한 도면이다.
도 5를 참조하면, 프로세서(130)는 적외선 영상(10)에 광각 파라미터 값(WI)을 적용함으로써, 어안 렌즈에 의한 왜곡이 보정된 적외선 영상(11)을 생성할 수 있다.
프로세서(130)는 어안 렌즈에 의한 왜곡이 보정된 적외선 영상(11)에 제1 일반 파라미터 값(UI)을 적용함으로써, 어안 렌즈에 의한 왜곡 및 일반 렌즈에 의한 왜곡이 보정된 적외선 영상(12)을 생성할 수 있다.
프로세서(130)는 제1 깊이 영상(20)에 제2 일반 파라미터 값(UD)을 적용함으로써, 일반 렌즈에 의한 왜곡이 보정된 제1 깊이 영상(21)을 생성할 수 있다.
어안 렌즈에 의한 왜곡 및 일반 렌즈에 의한 왜곡이 보정된 적외선 영상(12)의 왜곡의 정도와, 일반 렌즈에 의한 왜곡이 보정된 제1 깊이 영상(21)의 왜곡의 정도는, 오차 범위 내에서 동일할 수 있다.
다시 말해, 왜곡의 정도가 상대적으로 심한 적외선 영상(10)에 두 번의 왜곡 보정이 수행되고, 왜곡의 정도가 상대적으로 약한 제1 깊이 영상(20)에 한 번의 왜곡 보정이 수행됨으로써, 적외선 영상(10)과 제1 깊이 영상(20)의 왜곡의 정도가 오차 범위 내에서 일치될 수 있다.
프로세서(130)는 일반 렌즈에 의한 왜곡이 보정된 제1 깊이 영상(21)에 제3 파라미터 값(Tr)을 적용함으로써, 일반 렌즈에 의한 왜곡이 보정된 제1 깊이 영상(21)의 시점과 어안 렌즈에 의한 왜곡 및 일반 렌즈에 의한 왜곡이 보정된 적외선 영상(12)의 시점을 오차 범위 내에서 일치시킬 수 있다.
도시하지 않았으나, 프로세서(130)는 어안 렌즈에 의한 왜곡 및 일반 렌즈에 의한 왜곡이 보정된 적외선 영상(12)에 제3 파라미터 값(Tr)을 적용함으로써, 일반 렌즈에 의한 왜곡이 보정된 제1 깊이 영상(21)의 시점과 어안 렌즈에 의한 왜곡 및 일반 렌즈에 의한 왜곡이 보정된 적외선 영상(12)의 시점을 오차 범위 내에서 일치시킬 수도 있다.
도 6은 본 발명의 일 실시예에 따른 카메라의 내부 파라미터 값 및 외부 파라미터 값의 적용을 설명하기 위한 도면이다.
도 1, 도 2, 및 도 6을 참조하면, 프로세서(130)는 영상으로부터 특징 데이터를 추출하고, 특징 데이터를 이용하여 왜곡 보정 알고리즘을 구성하는 파라미터 값을 계산한다.
프로세서(130)는 적외선 영상(10)으로부터 객체(1)에 대한 제1 특징 데이터를 추출하고, 제1 특징 데이터로부터 광각 파라미터 값(WI) 및 제1 일반 파라미터 값(UI)을 계산한다.
제1 특징 데이터는 객체(1)를 구성하는 복수의 꼭지점들의 좌표 정보 및 연결 정보를 포함할 수 있다.
광각 파라미터 값(WI)은 적외선 영상(10)의 어안 렌즈에 의한 왜곡을 보정하기 위한 왜곡 보정 알고리즘을 구성할 수 있다. 광각 파라미터 값(WI)은 광각 카메라 매트릭스 및 광각 카메라 왜곡 상수를 포함할 수 있다. 광각 파라미터 값(WI)은 카메라 자체에서 발생하는 왜곡에 대한 내부 파라미터 값일 수 있다.
프로세서(130)는 수학식 1 내지 수학식 4를 이용하여 광각 파라미터 값(WI)을 계산할 수 있다. 광각 카메라 매트릭스는 스큐 파라미터 값, 아스펙트 비율 값, 초점 거리, 렌즈의 광학 중심점 좌표, 및 스케일 중 적어도 하나를 포함할 수 있다. 광각 카메라 왜곡 상수는 방사상 왜곡 상수
Figure pat00120
를 포함하는 4x1 매트릭스일 수 있다.
제1 일반 파라미터 값(UI)은 적외선 영상(10)의 왜곡을 추가적으로 보정하기 위한 왜곡 보정 알고리즘을 구성할 수 있다. 제1 일반 파라미터 값(UI)은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함할 수 있다. 제1 일반 파라미터 값(UI)은 카메라 자체에서 발생하는 왜곡에 대한 내부 파라미터 값일 수 있다.
프로세서(130)는 수학식 1 내지 수학식 3, 및 수학식 5를 이용하여 제1 일반 파라미터 값(UI)을 계산할 수 있다. 일반 카메라 매트릭스는 스큐 파라미터 값, 아스펙트 비율 값, 초점 거리, 렌즈의 광학 중심점 좌표, 및 스케일 중 적어도 하나를 포함할 수 있다. 일반 카메라 왜곡 상수는 방사상 왜곡 상수 및 접선 방향 왜곡 상수
Figure pat00121
를 포함하는 1x5 매트릭스일 수 있다.
프로세서(130)는 제1 깊이 영상(20)으로부터 객체(1)에 대한 제2 특징 데이터를 추출하고, 제2 특징 데이터로부터 제2 일반 파라미터 값(UD)을 계산한다.
제2 특징 데이터는 객체(1)를 구성하는 복수의 꼭지점들의 좌표 정보 및 연결 정보를 포함할 수 있다.
제2 일반 파라미터 값(UD)은 제1 깊이 영상(20)의 일반 렌즈에 의한 왜곡을 보정하기 위한 왜곡 보정 알고리즘을 구성할 수 있다. 제2 일반 파라미터 값(UD)은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함할 수 있다. 제2 일반 파라미터 값(UD)은 카메라 자체에서 발생하는 왜곡에 대한 내부 파라미터 값일 수 있다.
프로세서(130)는 수학식 1 내지 수학식 3, 및 수학식 5를 이용하여 제2 일반 파라미터 값(UD)을 계산할 수 있다. 일반 카메라 매트릭스는 스큐 파라미터 값, 아스펙트 비율 값, 초점 거리, 렌즈의 광학 중심점 좌표, 및 스케일 중 적어도 하나를 포함할 수 있다. 일반 카메라 왜곡 상수는 방사상 왜곡 상수 및 접선 방향 왜곡 상수
Figure pat00122
를 포함하는 1x5 매트릭스일 수 있다.
프로세서(130)는 적외선 카메라(110)와 깊이 카메라(120) 사이의 위치 정보 및 회전 정보 중 적어도 하나를 포함하는 제3 파라미터 값(Tr)을 계산한다. 제3 파라미터 값(Tr)은 서로 다른 카메라 좌표계들 사이의 변환 관계에 대한 외부 파라미터 값일 수 있다.
프로세서(130)는 수학식 13 및 수학식 14와 같이 제3 파라미터 값(Tr)을 계산할 수 있다. 제3 파라미터 값(Tr)은 적외선 카메라(110)와 깊이 카메라(120) 사이의 회전 정보 및 적외선 카메라(110)와 깊이 카메라(120) 사이의 위치 정보 중 적어도 하나를 포함할 수 있다.
프로세서(130)는 제1 일반 파라미터 값(UI), 제2 일반 파라미터 값(UD), 및 제3 파라미터 값(Tr)에 기초하여, 제1 깊이 영상(20)으로부터 제1 시점에 대응하는 제2 깊이 영상(23)을 생성한다.
프로세서(130)는 광각 파라미터 값(WI)에 기초하여 제2 깊이 영상(23)으로부터 적외선 영상(10)에 대응하도록 왜곡된 제3 깊이 영상(24)을 생성한다.
상세하게는, 프로세서(130)는 제2 깊이 영상(23)에 광각 파라미터 값(WI)을 적용하여 적외선 영상(10)에 대응하도록 왜곡된 제3 깊이 영상(24)을 생성할 수 있다. 결과적으로, 제3 깊이 영상(24)은 왜곡의 정도 및 획득된 시점이 적외선 영상(10)에 대응될 수 있다.
메모리(140)는 제3 깊이 영상(24)을 저장한다.
메모리(140)는 제3 깊이 영상(24)을 영상 정보 및 좌표 정보 중 적어도 하나의 형태로 저장할 수 있다. 이하에서, 도 7을 참조하여, 메모리(140)에 저장된 좌표 정보 형태의 제3 깊이 영상(24)에 대하여 상세하게 설명한다.
도 7은 본 발명의 일 실시예에 따른 제3 깊이 영상(24) 저장 형태를 설명하기 위한 도면이다.
도 7을 참조하면, 메모리(140)는 적외선 영상(10)의 픽셀 위치와 제3 깊이 영상(24)의 깊이 값이 매핑된 관계 테이블을 저장할 수 있다. XI는 적외선 영상(10)의 픽셀의 x좌표를, YI는 적외선 영상(10)의 픽셀의 y좌표를, ZID는 제3 깊이 영상(24)의 깊이 값을 의미할 수 있다.
예를 들어, 관계 테이블에 기초하여, 적외선 영상(10)의 x좌표가 230, y좌표가 221인 픽셀 위치에서 적외선 카메라(110)로부터 객체(1)까지의 깊이 값은 130임을 알 수 있다.
본 실시예에 따르면, 관계 테이블에 일반 렌즈에 의한 왜곡이 보정된 제1 깊이 영상(21), 제1 시점에 대응하는 일반 렌즈에 의한 왜곡이 보정된 제1 깊이 영상(22), 또는 제1 시점에 대응하는 제2 깊이 영상(23)의 깊이 값을 저장하는 경우보다 객체(1)의 깊이 값을 보다 정확하게 학습할 수 있고, 학습 후에는 적외선 영상(10)만으로 적외선 영상(10)의 깊이 값을 별도의 왜곡 보정 없이도 추론할 수 있기 때문에 보다 빠르게 추론할 수 있다.
도시하지 않았으나, 영상 처리 장치(100)는 관계 테이블을 학습한 후, 손동작 등을 인식하기 위한 추론을 위해 학습된 관계 테이블을 이용할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 1, 도 6, 및 도 8을 참조하면, 적외선 카메라(110)는 제1 시점에서 객체(1)를 촬영하여 적외선 영상(10)을 획득한다(S801).
프로세서(130)는 적외선 영상(10)으로부터 객체(1)에 대한 제1 특징 데이터를 추출하고(S803), 제1 특징 데이터로부터 광각 파라미터 값(WI) 및 제1 일반 파라미터 값(UI)을 계산한다(S805).
제1 특징 데이터는 객체(1)를 구성하는 복수의 꼭지점들의 좌표 정보(x, y, z)를 포함할 수 있다.
광각 파라미터 값(WI)은 광각 카메라 매트릭스 및 광각 카메라 왜곡 상수를 포함하고, 제1 일반 파라미터 값(UI)은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함할 수 있다.
프로세서(130)는 수학식 1을 이용하여 광각 카메라 매트릭스를 계산할 수 있다. 프로세서(130)는 수학식 5를 이용하여 광각 카메라 왜곡 상수를 계산할 수 있다.
프로세서(130)는 수학식 1을 이용하여 일반 카메라 매트릭스를 계산할 수 있다. 프로세서(130)는 수학식 4를 이용하여 일반 카메라 왜곡 상수를 계산할 수 있다.
깊이 카메라(120)는 제2 시점에서 객체(1)를 촬영하여 제1 깊이 영상(20)을 획득한다(S807).
프로세서(130)는 제1 깊이 영상(20)으로부터 객체(1)에 대한 제2 특징 데이터를 추출하고(S809), 제2 특징 데이터로부터 제2 일반 파라미터 값(UD)을 계산한다(S811).
제2 특징 데이터는 객체(1)를 구성하는 복수의 꼭지점들의 좌표 정보(x, y, z)를 포함할 수 있다.
제2 일반 파라미터 값(UD)은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함할 수 있다.
프로세서(130)는 수학식 1을 이용하여 일반 카메라 매트릭스를 계산할 수 있다. 프로세서(130)는 수학식 4를 이용하여 일반 카메라 왜곡 상수를 계산할 수 있다.
S801 내지 S805 및 S807 내지 S811은 순차적으로, 역순으로, 또는 동시에 수행될 수 있으며, 이에 한정하지 않는다.
프로세서(130)는 적외선 카메라(110)와 깊이 카메라(120) 사이의 위치 정보 및 회전 정보 중 적어도 하나를 포함하는 제3 파라미터 값(Tr)을 계산한다(S813).
프로세서(130)는 수학식 13 및 수학식 14를 이용하여 제3 파라미터 값(Tr)을 계산할 수 있다.
프로세서(130)는 제1 일반 파라미터 값(UI), 제2 일반 파라미터 값(UD), 및 제3 파라미터 값(Tr)에 기초하여 제1 깊이 영상(20)으로부터 제1 시점에 대응하는 제2 깊이 영상(23)을 생성한다(S815). 제2 깊이 영상(23)은 수학식 15와 같이 나타낼 수 있다.
Figure pat00123
이어서, 프로세서(130)는 광각 파라미터 값(WI)에 기초하여 제2 깊이 영상(23)으로부터 적외선 영상(10)에 대응하도록 왜곡된 제3 깊이 영상(24)을 생성한다(S817).
예를 들어, 프로세서(130)는 제2 깊이 영상(23)에 광각 파라미터 값(WI)을 적용하여 적외선 영상(10)에 대응하도록 왜곡된 제3 깊이 영상(24)을 생성할 수 있다. 제3 깊이 영상(24)은 수학식 16과 같이 나타낼 수 있다.
Figure pat00124
메모리(140)는 제3 깊이 영상(24)을 저장한다(S819).
예를 들어, 메모리(140)는 제3 깊이 영상(24)을 영상 정보 및 좌표 정보 중 적어도 하나의 형태로 저장할 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
1: 객체
10: 적외선 영상
20: 제1 깊이 영상
110: 적외선 카메라
110a: 제1 영역
120: 깊이 카메라
120a: 제2 영역

Claims (16)

  1. 제1 시점에서 객체를 촬영하여 적외선 영상을 획득하는 적외선 카메라;
    제2 시점에서 상기 객체를 촬영하여 제1 깊이 영상을 획득하는 깊이 카메라;
    상기 적외선 영상으로부터 상기 객체에 대한 제1 특징 데이터를 추출하고, 상기 제1 특징 데이터로부터 광각 파라미터 값 및 제1 일반 파라미터 값을 계산하고, 상기 제1 깊이 영상으로부터 상기 객체에 대한 제2 특징 데이터를 추출하고, 상기 제2 특징 데이터로부터 제2 일반 파라미터 값을 계산하고, 상기 적외선 카메라와 상기 깊이 카메라 사이의 위치 정보 및 회전 정보 중 적어도 하나를 포함하는 제3 파라미터 값을 계산하고, 상기 제1 일반 파라미터 값, 상기 제2 일반 파라미터 값, 및 상기 제3 파라미터 값에 기초하여 상기 제1 깊이 영상으로부터 상기 제1 시점에 대응하는 제2 깊이 영상을 생성하고, 상기 광각 파라미터 값에 기초하여 상기 제2 깊이 영상으로부터 상기 적외선 영상에 대응하도록 왜곡된 제3 깊이 영상을 생성하는 프로세서; 및
    상기 제3 깊이 영상을 저장하는 메모리;를 포함하는, 영상 데이터 처리 장치.
  2. 청구항 1에 있어서,
    상기 광각 파라미터 값은 광각 카메라 매트릭스 및 광각 카메라 왜곡 상수를 포함하고, 상기 제1 일반 파라미터 값은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함하는, 영상 데이터 처리 장치.
  3. 청구항 2에 있어서,
    상기 제1 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보를 포함하고,
    상기 프로세서는
    Figure pat00125

    Figure pat00126

    Figure pat00127

    을 이용하여 상기 광각 카메라 왜곡 상수(
    Figure pat00128
    )를 계산하고, x, y, z는 꼭지점의 좌표 정보,
    Figure pat00129
    ,
    Figure pat00130
    ,
    Figure pat00131
    ,
    Figure pat00132
    인, 영상 데이터 처리 장치.
  4. 청구항 2에 있어서,
    상기 제1 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보를 포함하고,
    상기 프로세서는
    Figure pat00133

    Figure pat00134

    을 이용하여 상기 일반 카메라 왜곡 상수(
    Figure pat00135
    )를 계산하고,
    Figure pat00136
    ,
    Figure pat00137
    ,
    Figure pat00138
    인, 영상 데이터 처리 장치.
  5. 청구항 1에 있어서,
    상기 제2 일반 파라미터 값은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함하는, 영상 데이터 처리 장치.
  6. 청구항 5에 있어서,
    상기 제2 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보(x, y, z)를 포함하고,
    상기 프로세서는
    Figure pat00139

    Figure pat00140

    을 이용하여 상기 일반 카메라 왜곡 상수(
    Figure pat00141
    )를 계산하고,
    Figure pat00142
    ,
    Figure pat00143
    ,
    Figure pat00144
    인, 영상 데이터 처리 장치.
  7. 청구항 1에 있어서,
    상기 메모리는 상기 제3 깊이 영상을 영상 정보 및 좌표 정보 중 적어도 하나의 형태로 저장하는, 영상 데이터 처리 장치.
  8. 청구항 1에 있어서,
    상기 적외선 카메라는 120도 이상의 화각을 갖는 광각 렌즈를 통해 상기 객체를 촬영하는, 영상 데이터 처리 장치.
  9. 적외선 카메라에 의해, 제1 시점에서 객체를 촬영하여 적외선 영상을 획득하는 단계;
    프로세서에 의해, 상기 적외선 영상으로부터 상기 객체에 대한 제1 특징 데이터를 추출하고, 상기 제1 특징 데이터로부터 광각 파라미터 값 및 제1 일반 파라미터 값을 계산하는 단계;
    깊이 카메라에 의해, 제2 시점에서 상기 객체를 촬영하여 제1 깊이 영상을 획득하는 단계;
    상기 프로세서에 의해, 상기 제1 깊이 영상으로부터 상기 객체에 대한 제2 특징 데이터를 추출하고, 상기 제2 특징 데이터로부터 제2 일반 파라미터 값을 계산하는 단계;
    상기 프로세서에 의해, 상기 적외선 카메라와 상기 깊이 카메라 사이의 위치 정보 및 회전 정보 중 적어도 하나를 포함하는 제3 파라미터 값을 계산하는 단계;
    상기 프로세서에 의해, 상기 제1 일반 파라미터 값, 상기 제2 일반 파라미터 값, 및 상기 제3 파라미터 값에 기초하여 상기 제1 깊이 영상으로부터 상기 제1 시점에 대응하는 제2 깊이 영상을 생성하는 단계;
    상기 프로세서에 의해, 상기 광각 파라미터 값에 기초하여 상기 제2 깊이 영상으로부터 상기 적외선 영상에 대응하도록 왜곡된 제3 깊이 영상을 생성하는 단계; 및
    메모리에 의해, 상기 제3 깊이 영상을 저장하는 단계;를 포함하는 영상 데이터 처리 방법.
  10. 청구항 9에 있어서,
    상기 광각 파라미터 값은 광각 카메라 매트릭스 및 광각 카메라 왜곡 상수를 포함하고, 상기 제1 일반 파라미터 값은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함하는, 영상 데이터 처리 방법.
  11. 청구항 10에 있어서,
    상기 제1 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보(x, y, z)를 포함하고,
    상기 프로세서는
    Figure pat00145

    Figure pat00146

    Figure pat00147

    을 이용하여 상기 광각 카메라 왜곡 상수(
    Figure pat00148
    )를 계산하고,
    Figure pat00149
    ,
    Figure pat00150
    ,
    Figure pat00151
    ,
    Figure pat00152
    인, 영상 데이터 처리 방법.
  12. 청구항 10에 있어서,
    상기 제1 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보(x, y, z)를 포함하고,
    상기 프로세서는
    Figure pat00153

    Figure pat00154

    을 이용하여 상기 일반 카메라 왜곡 상수(
    Figure pat00155
    )를 계산하고,
    Figure pat00156
    ,
    Figure pat00157
    ,
    Figure pat00158
    인, 영상 데이터 처리 방법.
  13. 청구항 1에 있어서,
    상기 제2 일반 파라미터 값은 일반 카메라 매트릭스 및 일반 카메라 왜곡 상수를 포함하는, 영상 데이터 처리 방법.
  14. 청구항 13에 있어서,
    상기 제2 특징 데이터는 상기 객체를 구성하는 복수의 꼭지점들의 좌표 정보(x, y, z)를 포함하고,
    상기 프로세서는
    Figure pat00159

    Figure pat00160

    을 이용하여 상기 일반 카메라 왜곡 상수(
    Figure pat00161
    )를 계산하고,
    Figure pat00162
    ,
    Figure pat00163
    ,
    Figure pat00164
    인, 영상 데이터 처리 방법.
  15. 청구항 9에 있어서,
    상기 제3 깊이 영상을 저장하는 단계는,
    상기 제3 깊이 영상을 영상 정보 및 좌표 정보 중 적어도 하나의 형태로 저장하는 단계인, 영상 데이터 처리 방법.
  16. 청구항 9에 있어서,
    상기 적외선 카메라는 120도 이상의 화각을 갖는 광각 렌즈를 통해 상기 객체를 촬영하는, 영상 데이터 처리 방법.
KR1020180113084A 2018-09-20 2018-09-20 영상 처리 장치 및 방법 Withdrawn KR20200033601A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180113084A KR20200033601A (ko) 2018-09-20 2018-09-20 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180113084A KR20200033601A (ko) 2018-09-20 2018-09-20 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20200033601A true KR20200033601A (ko) 2020-03-30

Family

ID=70003178

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180113084A Withdrawn KR20200033601A (ko) 2018-09-20 2018-09-20 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20200033601A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462225A (zh) * 2020-03-31 2020-07-28 电子科技大学 一种红外光斑图像的质心识别定位方法
US11232315B2 (en) 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462225A (zh) * 2020-03-31 2020-07-28 电子科技大学 一种红外光斑图像的质心识别定位方法
US11232315B2 (en) 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium

Similar Documents

Publication Publication Date Title
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
US9858684B2 (en) Image processing method and apparatus for calibrating depth of depth sensor
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
EP3189493B1 (en) Depth map based perspective correction in digital photos
CN110225321B (zh) 梯形校正的训练样本数据获取系统和方法
WO2013005265A1 (ja) 三次元座標計測装置及び三次元座標計測方法
JP7298687B2 (ja) 物体認識装置及び物体認識方法
US20170256046A1 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
JP6897082B2 (ja) 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法
KR20200033601A (ko) 영상 처리 장치 및 방법
KR102016988B1 (ko) 3차원 정보 생성을 위한 카메라 자세 벡터 보정 방법
JP6065670B2 (ja) ３次元計測システム、プログラム及び方法。
KR102132527B1 (ko) Avm 시스템 및 avm 시스템에서, 영상 사이의 매칭점 검출 방법
WO2023062994A1 (ja) 学習装置、学習方法、学習プログラム、カメラパラメータ算出装置、カメラパラメータ算出方法及びカメラパラメータ算出プログラム
KR101982755B1 (ko) 항공 영상을 정합하는 방법 및 장치
US20230410368A1 (en) Method for learning network parameter of neural network, method for calculating camera parameter, and computer-readable recording medium recording a program
CN111353945B (zh) 鱼眼图像校正方法、装置及存储介质
JP3452188B2 (ja) ２次元動画像中の特徴点の追跡方法
CN115222590A (zh) 全景图像的生成方法、装置、终端及存储介质
CN118918253A (zh) 一种基于全景立体视觉相机的同步定位与建图方法
WO2025017984A1 (ja) 撮影装置、補正装置、補正方法及びコンピュータプログラム
JP2018081534A (ja) 画像処理装置、撮像装置および制御方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180920

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid