KR20170077994A - 카메라 영상 보정 및 렉티피케이션을 위한 효율적인 데이터 좌표 맵 생성 방법 - Google Patents

카메라 영상 보정 및 렉티피케이션을 위한 효율적인 데이터 좌표 맵 생성 방법 Download PDF

Info

Publication number
KR20170077994A
KR20170077994A KR1020150188061A KR20150188061A KR20170077994A KR 20170077994 A KR20170077994 A KR 20170077994A KR 1020150188061 A KR1020150188061 A KR 1020150188061A KR 20150188061 A KR20150188061 A KR 20150188061A KR 20170077994 A KR20170077994 A KR 20170077994A
Authority
KR
South Korea
Prior art keywords
image
coordinate
coordinate map
map
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020150188061A
Other languages
English (en)
Inventor
손행선
이선영
민경원
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020150188061A priority Critical patent/KR20170077994A/ko
Publication of KR20170077994A publication Critical patent/KR20170077994A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G06T3/0006—
    • G06T3/0012—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

카메라 영상 보정 및 렉티피케이션을 위한 효율적인 데이터 좌표 맵 생성 방법 및 이에 의해 생성된 좌표 맵을 이용한 영상 처리 방법이 제공된다. 본 발명의 일 실시예에 따른 영상 처리 방법은, 좌표 맵을 생성하고, 생성된 좌표 맵을 이용하여 제1 영상을 제2 영상으로 변환하며, 좌표 맵은 제1 영상 좌표와 제2 영상 좌표의 상대적인 관계로 표현된다. 이에 의해, 좌표 맵을 위해 필요한 저장 공간을 줄이고, 좌표 맵을 참조하기 위한 버스 사용을 줄일 수 있게 된다.

Description

카메라 영상 보정 및 렉티피케이션을 위한 효율적인 데이터 좌표 맵 생성 방법{Efficient Coordinates Map Generation Method for the Camera Image Correction and Rectification}
본 발명은 영상 처리 기술에 관한 것으로, 더욱 상세하게는 입력 영상의 픽셀값을 재배열하여 신규 영상을 생성함에 있어 참조하는 좌표 맵을 생성하는 방법에 관한 것이다.
입력 영상을 신규 영상으로 변환하기 위한 좌표 맵은 절대 좌표를 기준으로 생성된다. 이에, 좌표 맵의 크기가 커서 많은 메모리가 요구되는데, 영상 크기의 대형화에 따라 문제는 더욱 심화 된다.
특히, 임베디드 시스템 혹은 SoC(System on a Chip)와 같은 반도체로 구현 시, 좌표 맵에 따른 메모리의 크기 증가는 전체 시스템 리소스에 부담을 주고, 데이터 버스의 사용률을 증가시켜, 전체 속도에도 영향을 미치게 된다.
이에 메모리의 경량화와 버스의 로드 감소를 위한 방안으로, 좌표 맵의 크기를 줄이기 위한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 메모리의 경량화와 버스의 로드 감소를 위한 방안으로, 절대 좌표가 아닌 상대 좌표로 좌표 맵을 생성하는 방법을 제공한다.
또한, 본 발명의 목적은, 절대 좌표가 아닌 상대 좌표로 생성된 좌표 맵을 이용하여 입력 영상을 신규 영상으로 변환하는 영상 처리 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 처리 방법은, 좌표 맵을 생성하는 단계; 및 생성된 좌표 맵을 이용하여, 제1 영상을 제2 영상으로 변환하는 단계;를 포함하고, 상기 좌표 맵은, 제1 영상 좌표와 제2 영상 좌표의 상대적인 관계로 표현된다.
그리고, 상기 좌표 맵은, 상기 제1 영상 좌표와 상기 제2 영상 좌표의 편차로 표현될 수 있다.
또한, 상기 좌표 맵에서, 일부는 제1 영상 좌표와 제2 영상 좌표의 상대적인 관계로 표현되고, 나머지는 제1 영상 좌표로 표현될 수 있다.
그리고, 상기 나머지는, x 좌표가 m 보다 작고, y 좌표가 n 보다 작은 좌표들일 수 있다.
또한, 상기 제1 영상은, 원본 영상이고, 상기 제2 영상은, 보정된 영상일 수 있다.
그리고, 상기 보정된 영상은, 렉티피케이션 된 영상일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 영상 처리 시스템은, 좌표 맵을 생성하는 생성부; 및 생성된 좌표 맵을 이용하여, 제1 영상을 제2 영상으로 변환하는 변환부;를 포함하고, 상기 좌표 맵은, 제1 영상 좌표와 제2 영상 좌표의 상대적인 관계로 표현된다.
그리고, 상기 좌표 맵은, 상기 제1 영상 좌표와 상기 제2 영상 좌표의 편차로 표현될 수 있다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 영상의 픽셀들의 위치를 재배열할 때 사용하는 좌표 맵을 절대 좌표가 아닌 상대 좌표로 구현하여, 좌표 맵을 위해 필요한 저장 공간을 줄이고, 좌표 맵을 참조하기 위한 버스 사용을 줄일 수 있게 된다.
도 1은 싱글 카메라의 렌즈 왜곡 보정 과정을 나타낸 도면,
도 2는 스테레오 카메라의 렉티피케이션 과정을 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 영상 처리 시스템의 블럭도, 그리고,
도 4는 본 발명의 다른 실시예에 따른 영상 처리 방법의 설명에 제공되는 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
1. 상대 좌표를 이용한 좌표 맵 생성
도 1은 싱글 카메라의 렌즈 왜곡 보정 과정을 나타낸 도면이고, 도 2는 스테레오 카메라의 렉티피케이션 과정을 나타낸 도면이다.
이 두 가지 과정들은 모두, 기존 영상 P(x, y)의 픽셀의 위치를 변경하여 신규 영상 P'(x',y')을 만들어 낸다. 여기에서 사용되는 것이 신규 픽셀 좌표( x', y')를 기존 픽셀의 좌표로 지정한 좌표 맵 M(x', y')이다.
예를 들어, (x', y') 위치에서 좌표 맵의 값이 M(x', y') = (256, 326) 이라면, 신규 영상의 (x', y')에서의 픽셀값 P(x', y')은 기존 영상의 (256, 326)에서의 픽셀 값 P(256, 326)가 되는 것이다.
이 관계는 아래와 같이 나타낼 수 있다.
P(x', y') = P( M(x', y'))
M(x', y')은 기존 영상에 대한 좌표들을 원소들로 가지고 있다. M(x', y')는 x 좌표와 y 좌표를 모두 가지고 있어야 하므로, M(x', y')의 데이터 크기는 영상 크기의 두 배(W*H*2)가 된다.
게다가, 스레레오 카메라의 렉티피케이션의 경우, 카메라 개수 만큼 데이터 량이 증가하게 된다.
여기에서 M(x', y')는 기존 영상의 좌표 (x, y)를 나타내내므로, (x, y)의 범위와 동일하게 아래와 같다.
0 ≤ M(x') ≤ W-1
0 ≤ M(y') ≤ H-1
좌표 맵을 이와 같이 기존 영상의 절대 좌표로 사용하게 되면, 좌표 맵의 데이터의 크기가 커진다는 단점이 있다. 예를 들어 HD 급 영상의 경우 좌표가 1280까지 표현해야 하므로 11bit 이상의 데이터가 필요하게 된다.
한편 영상의 보정이나 렉티피케이션의 경우, 좌표 맵에 의해 매칭되는 신규 영상의 좌표와 기존 영상의 좌표 간의 편차는 크지 않다. 즉, 신규 영상의 좌표는 기존 영상의 좌표와 동일하거나 기존 영상의 주변 좌표인 것이다.
이에 본 발명의 실시예에서는, 절대 좌표가 아닌 상대 좌표로 좌표 맵을 표현하여 생성하는 것을 제시한다. 상대 좌표로 좌표 맵을 표현하는 것이, 절대 좌표로 좌표 맵을 표현하는 것보다, 데이터 크기 측면에서 유리하다.
절대 좌표 : M(x', y') = (x, y)
상대 좌표 : M(x', y') = (x-x', y-y') = (△x, △y)
좌표 맵을 상대 좌표로 표현하게 되면, 신규 영상의 좌표 (x', y') 에서 상대적인 위치 정보를 참조하게 되므로, 데이터 어드레싱 관점에서도 좀 더 편리하게 사용할 수 있다.
상대 좌표로 표현된 좌표 맵에 따라, M(x', y') = (-1, -1) 이라면, 신규 영상 P'(x', y')의 값으로 기존 영상 P(x'-1, y'-1)의 값을 가져오면 된다.
이와 같이, 상대 좌표로 좌표 맵을 표현하면, 좌표 맵의 크기는 입력 영상의 크기에 따라 기하급수적으로 증가하지도 않는다.
또한, 영상의 보정이나 렉티피케이션의 경우, 좌표 맵에 의해 매칭되는 신규 영상의 좌표와 기존 영상의 좌표 간 편차는 최대 좌표의 5% 이내의 수준이다.
따라서 좌표가 0~1279 까지인 HD급 영상의 경우, 절대 좌표로는 좌표 하나에 11bit 가 필요하지만, 상대 좌표는 편차가 최대 좌표의 ±5% 이내인 경우 1280*0.05 = ±64 이므로 총 7bit 만 필요하다.
따라서 좌표 맵의 데이터의 크기는 36% 정도 감소하는 효과를 얻게 되고, 이에 따라 메모리 효율이 증가하고 버스의 데이터 이동량도 감소하게 되어 제품의 성능이 높아지게 된다.
나아가 상대적인 움직임이 더욱 작다면, 그에 따라 적응적으로 데이터의 양을 감소시킬 수도 있다는 장점이 있다.
2. 상대 좌표 맵을 이용한 영상 처리 시스템
도 3은 본 발명의 일 실시예에 따른 영상 처리 시스템의 블럭도이다. 본 발명의 실시예에 따른 영상 처리 시스템은, 상대 좌표로 표현된 좌표 맵을 이용하여 영상 처리를 수행한다.
영상 처리에는, 전술한 영상의 보정이나 렉티피케이션은 물론, 필터링이나 그 밖의 다른 영상 처리도 포함된다.
본 발명의 실시예에 따른 영상 처리 시스템은, 도 3에 도시된 바와 같이, 좌표 맵 생성부(110), 좌표 맵 메모리(120), 영상 입력부(130), 영상 메모리(140), 영상 변환부(150), 영상 출력부(160) 및 버스(170)를 포함한다.
좌표 맵 생성부(110)는 좌표 맵 생성에 기준/참고가 되는 데이터를 이용하여, 상대 좌표로 표현되는 좌표 맵을 생성한다. 좌표 맵 메모리(120)는 좌표 맵 생성부(110)에 의해 생성된 좌표 맵을 저장한다.
영상 입력부(130)는 카메라/저장매체/네트워크로부터 영상을 입력 받아, 영상 메모리(140)에 저장한다.
영상 변환부(150)는 좌표 맵 메모리(120)에 저장된 좌표 맵을 참조하여, 영상 메모리(140)에 저장된 영상을 변환하여, 영상 메모리(140)에 다시 저장한다. 영상 출력부(160)는 영상 메모리(140)에 저장된 변환된 영상을 출력한다.
버스(170)는 좌표 맵 생성부(110), 좌표 맵 메모리(120), 영상 입력부(130), 영상 메모리(140), 영상 변환부(150) 및 영상 출력부(160) 간의 데이터/커맨드/어드레스 전달 경로를 제공한다.
3. 상대 좌표 맵을 이용한 영상 처리 방법
도 4는 본 발명의 다른 실시예에 따른 영상 처리 방법의 설명에 제공되는 흐름도이다. 본 발명의 실시예에 따른 영상 처리 방법도, 상대 좌표로 표현된 좌표 맵을 이용하여 영상 처리를 수행한다.
도 4에 도시된 바와 같이, 먼저 좌표 맵 생성에 기준/참고가 되는 데이터를 이용하여, 상대 좌표로 표현되는 좌표 맵을 생성한다(S210).
다음, 카메라/저장매체/네트워크로부터 영상을 입력 받는다(S220). 그리고, S210단계에서 생성된 좌표 맵을 참조하여, S220단계에서 입력되는 영상을 변환한다(S230). 이후, S230단계에서 변환된 영상을 출력한다(S240).
4. 변형예
지금까지, 카메라 영상 보정 및 렉티피케이션을 위한 효율적인 데이터 좌표 맵을 생성하는 방법과 생성된 좌표 맵을 이용하여 영상 처리를 수행하는 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예들에서 제시한 것에서 나아가, 절대 좌표와 상대 좌표를 혼용하는 좌표 맵을 상정할 수 있다.
즉, 좌표 맵의 일부는 절대 좌표로 표현되고, 나머지는 상대 좌표로 표현되는 방식이다. 상대 좌표의 크기가 비교적 크게 나오는 경우, 좌표가 작은 영역(이를 테면, 100*100 사이즈의 영상에서, 좌측 상부의 5*5 영역(x 좌표가 0~5이고, y 좌표가 0~5인 픽셀들로 구성되는 영역)에 대해서는 절대 좌표로 표현하고, 나머지는 상대 좌표로 표현하는 것이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 좌표 맵 생성부 120 : 좌표 맵 메모리
130 : 영상 입력부 140 : 영상 메모리
150 : 영상 변환부 160 : 영상 출력부
170 : 버스

Claims (8)

  1. 좌표 맵을 생성하는 단계; 및
    생성된 좌표 맵을 이용하여, 제1 영상을 제2 영상으로 변환하는 단계;를 포함하고,
    상기 좌표 맵은,
    제1 영상 좌표와 제2 영상 좌표의 상대적인 관계로 표현되는 것을 특징으로 하는 영상 처리 방법.
  2. 청구항 1에 있어서,
    상기 좌표 맵은,
    상기 제1 영상 좌표와 상기 제2 영상 좌표의 편차로 표현되는 것을 특징으로 하는 영상 처리 방법.
  3. 청구항 1에 있어서,
    상기 좌표 맵에서,
    일부는 제1 영상 좌표와 제2 영상 좌표의 상대적인 관계로 표현되고,
    나머지는 제1 영상 좌표로 표현되는 것을 특징으로 하는 영상 처리 방법.
  4. 청구항 3에 있어서,
    상기 나머지는,
    x 좌표가 m 보다 작고, y 좌표가 n 보다 작은 좌표들인 것을 특징으로 하는 영상 처리 방법.
  5. 청구항 2에 있어서,
    상기 제1 영상은, 원본 영상이고,
    상기 제2 영상은, 보정된 영상인 것을 특징으로 하는 영상 처리 방법.
  6. 청구항 5에 있어서,
    상기 보정된 영상은, 렉티피케이션 된 영상인 것을 특징으로 하는 영상 처리 방법.
  7. 좌표 맵을 생성하는 생성부; 및
    생성된 좌표 맵을 이용하여, 제1 영상을 제2 영상으로 변환하는 변환부;를 포함하고,
    상기 좌표 맵은,
    제1 영상 좌표와 제2 영상 좌표의 상대적인 관계로 표현되는 것을 특징으로 하는 영상 처리 시스템.
  8. 청구항 7에 있어서,
    상기 좌표 맵은,
    상기 제1 영상 좌표와 상기 제2 영상 좌표의 편차로 표현되는 것을 특징으로 하는 영상 처리 시스템.
KR1020150188061A 2015-12-29 2015-12-29 카메라 영상 보정 및 렉티피케이션을 위한 효율적인 데이터 좌표 맵 생성 방법 Ceased KR20170077994A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150188061A KR20170077994A (ko) 2015-12-29 2015-12-29 카메라 영상 보정 및 렉티피케이션을 위한 효율적인 데이터 좌표 맵 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150188061A KR20170077994A (ko) 2015-12-29 2015-12-29 카메라 영상 보정 및 렉티피케이션을 위한 효율적인 데이터 좌표 맵 생성 방법

Publications (1)

Publication Number Publication Date
KR20170077994A true KR20170077994A (ko) 2017-07-07

Family

ID=59353501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150188061A Ceased KR20170077994A (ko) 2015-12-29 2015-12-29 카메라 영상 보정 및 렉티피케이션을 위한 효율적인 데이터 좌표 맵 생성 방법

Country Status (1)

Country Link
KR (1) KR20170077994A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236025A1 (ko) 2017-06-20 2018-12-27 주식회사 엘지화학 리튬 전극 및 이를 포함하는 리튬 이차전지
WO2019019172A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated ADAPTIVE IMAGE PROCESSING IN A ROBOTIC VEHICLE

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236025A1 (ko) 2017-06-20 2018-12-27 주식회사 엘지화학 리튬 전극 및 이를 포함하는 리튬 이차전지
WO2019019172A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated ADAPTIVE IMAGE PROCESSING IN A ROBOTIC VEHICLE

Similar Documents

Publication Publication Date Title
US9262839B2 (en) Image processing device and image processing method
JP2007226643A (ja) 画像処理装置
US20220261961A1 (en) Method and device, electronic equipment, and storage medium
EP3051816A1 (en) Image processing device and semiconductor device
US11699218B2 (en) Method controlling image sensor parameters
US10846837B2 (en) Image processing apparatus, image processing method, and storage medium
US8269859B2 (en) Photographing apparatus that performs distortion correction in association with digital and optical zoom, method of controlling the same, and recording medium having recorded thereon computer program to implement the method
US20120308147A1 (en) Image processing device, image processing method, and program
KR20170077994A (ko) 카메라 영상 보정 및 렉티피케이션을 위한 효율적인 데이터 좌표 맵 생성 방법
CN103647973A (zh) 一种帧率上采样的方法和装置
JP4380740B2 (ja) 画像処理装置
US9454801B2 (en) Image processing apparatus, method for processing image, and program
US8953688B2 (en) In loop contrast enhancement for improved motion estimation
KR102655332B1 (ko) 영상 왜곡 보정 장치 및 방법
CN104378583A (zh) 用于avm系统的影像合成装置及其方法
KR102247741B1 (ko) 이미지 프로세서, 상기 이미지 프로세서의 동작 방법, 및 상기 이미지 프로세서를 포함하는 애플리케이션 프로세서
US8559759B2 (en) Image processing apparatus for image reduction processing and control method thereof
EP3441934B1 (en) Image processing device and image processing method
CN115880161A (zh) 图像增强方法、装置、设备及计算机可读存储介质
US6934336B2 (en) Area expansion apparatus, area expansion method, and area expansion program
JP6467940B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6273881B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2007013864A (ja) 動画像符号化装置、動画像符号化方法、および動画像符号化用プログラム
JP2017228849A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
TW202207157A (zh) 影像轉換方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151229

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160704

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151229

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170112

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20170627

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170112

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PG1501 Laying open of application
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20170627

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170308

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20170829

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20170726

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20170627

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20170308

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20170112