KR20120072892A - 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치 - Google Patents

양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR20120072892A
KR20120072892A KR1020100134816A KR20100134816A KR20120072892A KR 20120072892 A KR20120072892 A KR 20120072892A KR 1020100134816 A KR1020100134816 A KR 1020100134816A KR 20100134816 A KR20100134816 A KR 20100134816A KR 20120072892 A KR20120072892 A KR 20120072892A
Authority
KR
South Korea
Prior art keywords
image
pixel
depth map
generating
anaglyph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020100134816A
Other languages
English (en)
Other versions
KR101192121B1 (ko
Inventor
목승준
최병욱
정경부
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020100134816A priority Critical patent/KR101192121B1/ko
Publication of KR20120072892A publication Critical patent/KR20120072892A/ko
Application granted granted Critical
Publication of KR101192121B1 publication Critical patent/KR101192121B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

스테레오 영상을 사용하여 애너그리프 영상을 생성하기 위한 방법 및 장치가 제공된다. 깊이 맵과 양안시차를 계산하여 가장 입체감 있는 애너그리프 영상이 생성된다. 깊이 맵의 계산을 통해 획득된 픽셀들의 변이 정보 및 시청자의 양안 시차가 스테레오 영상 중 한 편의 영상의 픽셀들을 이동시키기 위해 사용된다. 픽셀들이 이동된 영상 및 스테레오 영상의 다른 한 편의 영상을 합성함으로써 애너그리프 영상이 생성된다.

Description

양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING ANAGLYPH IMAGE USING BINOCULAR DISPARITY AND DEPTH INFORMATION}
아래의 실시예들은 애너그리프 영상을 생성하기 위한 방법 및 장치에 관한 것이다.
디지털 미디어 세계에서, 3D 디지털 입체영상의 구현이 화두가 되고 있다.
3D 영화 등에 의해 3D에 대한 시청자들의 관심 및 요구가 증대됨에 따라, 3D TV, 모니터, 영화 같은 다양한 3D 관련 매체들이 개발되었다.
그 중, 3D 디지털 입체영상은 시청자를 영상으로 완전히 몰입시킬 수 있다. 더 나아가, 시각뿐만 아닌 청각, 촉각 및 후각을 모두 이용하는 시스템에 의해, 시청자는 좀 더 현실감을 느끼면서 영상에 몰입할 수 있다.
이러한 3D 입체영상은 디지털 시대에서 기대되는 영상매체 중 하나 이다.
3D 입체영상 디스플레이는 표시 방식, 시점, 시청자의 안경 착용 여부, 시스템의 구성 및 촬영 조건 등에 따라 다양하게 분류될 수 있다.
영상을 입체적으로 표시하는 방식은, 크게 안경을 사용하는 방식 및 안경을 사용하지 않는 방식으로 분류될 수 있다.
안경을 사용하는 방식으로서, 편광 방식 및 시분할 방식 등이 있다.
안경을 사용하지 않는 방식으로서, 패럴랙스 베리어(parallax barrier), 렌티큘러(lenticular), 다시점 방식 및 완전 3차원 방식 등이 있다.
영상을 입체적으로 표시함에 있어서, 시청자의 눈의 피로를 더 적게 발생시키면서, 입체감을 최대한 표현할 수 있는 방법이 연구되어야 한다.
인간이 영상으로부터 입체감을 느낄 수 있는 대표적인 방법 중 하나로, 양안시차(binocular disparity)에 의한 방법이 있다.
인간의 양 안들은 평균적으로 좌, 우 65mm의 간격을 두고 존재한다. 이러한 간격에 의해, 인간이 사물을 볼 때, 양 안들 각각의 망막에 결상되는 영상들은 서로 미세하게 상이하다. 시청자의 뇌는 양 영상들 간의 미세한 차이를 해석한다.
이러한 해석에 의해, 시청자는 영상들 내의 객체에 대한 거리감을 인지할 수 있고, 시청자는 입체감을 느낄 수 있다.
따라서, 특정한 입체 영상 표시 방식이 시청자에 양 안들 각각에 서로 상이한 영상들을 표시할 경우, 시청자의 양 안들이 서로 상이한 각도에서 물체를 본 것과 같은 효과가 인위적으로 발생할 수 있다.
본 발명의 일 실시에는 영상의 깊이 맵 및 시청자의 양안시차를 사용하여 애너그리프(anaglyph) 영상을 생성하는 장치 및 방법을 제공할 수 있다.
본 발명의 일측에 따르면, 스테레오 영상에 기반하여 애너그래프 영상을 생성하는 애너그리프 영상 생성 장치에 있어서, 제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성부, 상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동부 및 상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합부를 포함하고, 제1 영상 및 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 생성 장치가 제공된다.
상기 애너그리프 영상 생성 장치는, 상기 제1 영상 및 상기 제2 영상을 수신하는 스테레오 영상 수신부를 더 포함할 수 있다.
상기 애너그리프 영상 생성 장치는, 상기 애너그리프 영상 생성 장치 내에 저장된 데이터를 독출하여 상기 제1 영상 및 상기 제2 영상을 제공하는 저장부를 더 포함할 수 있다.
상기 제1 영상은 좌측 영상이고, 상기 제2 영상은 우측 영상일 수 있다.
상기 깊이 맵 생성부는 상기 제1 영상 내의 제1 픽셀과 대응하는 상기 제2 영상 내의 제2 픽셀을 검출할 수 있고, 상기 제1 픽셀의 좌표 및 상기 제2 픽셀의 좌표 간의 차에 기반하여 상기 제1 픽셀의 깊이를 계산할 수 있다.
상기 깊이 맵 생성부는 상기 제1 픽셀을 포함하는 제1 블록을 설정할 수 있고, 상기 제1 블록과의 정합도가 가장 높은 상기 제2 영상 내의 제2 블록을 검출함으로써 상기 제1 픽셀의 깊이를 계산할 수 있다.
상기 깊이 맵 생성부는 상기 제1 블록이 위치한 수평 위치에서 블록들을 스캔함으로써 상기 제2 블록을 검출할 수 있다.
상기 깊이 맵 생성부는 SSD(Sum of Square Differences; 제곱 차들의 총 합)에 기반하여 블록들 간의 정합도를 계산할 수 있다.
상기 깊이 맵 생성부는 상기 제1 영상의 실제 깊이 맵과 가장 근사한 깊이 맵을 생성하는 것으로 실험적으로 판정된 크기로 상기 제1 블록을 설정할 수 있다.
상기 영상 이동부는 상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시킬 수 있고, 상기 픽셀의 이동량은 상기 양안시차에 의해 결정될 수 있다.
상기 영상 이동부는 상기 시청자의 평균적인 시청 거리에 기반하여 상기 양안시차의 값을 결정할 수 있다.
상기 색상 혼합부는 상기 이동된 제1 영상의 그린 채널 및 블루 채널에 기반하여 상기 애너그리프 영상의 레드 채널을 생성할 수 있고, 상기 제2 영상의 그린 채널에 기반하여 상기 애너그리프 영상의 그린 채널을 생성할 수 있고, 상기 제2 영상의 블루 채널에 기반하여 상기 애너그리프 영상의 블루 채널을 생성할 수 있다.
본 발명의 다른 측에 따르면, 스테레오 영상에 기반하여 애너그래프 영상을 생성하는 애너그리프 영상 생성 장치에 있어서, 상기 제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성부, 상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동부, 상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합부 및 상기 애너그리프 영상을 출력하는 디스플레이부를 포함하고, 상기 영상 이동부는 상기 시청자 및 상기 디스플레이부 간의 거리에 기반하여 상기 양안시차의 값을 결정하는 제1 영상 및 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 출력 장치가 제공된다.
상기 애너그리프 영상 출력 장치는, 상기 거리를 측정하여, 상기 측정된 거리를 상기 영상 이동부에게 제공하는 거리 측정부를 더 포함할 수 있다.
상기 거리 측정부는 상기 시청자의 변화하는 위치를 동적으로 검출할 수 있고, 상기 동적으로 검출된 시청자의 위치에 기반하여 상기 디스플레이부 및 상기 시청자 간의 거리를 동적으로 계산할 수 있다. 상기 영상 이동부는 상기 동적으로 계산된 거리에 기반하여 상기 양안시차의 값을 동적으로 변경할 수 있고, 상기 변경된 양안시차의 값에 기반하여 상기 이동된 제1 영상을 생성할 수 있다.
상기 영상 이동부는 상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시킬 수 있고, 상기 픽셀의 이동량은 상기 거리 및 상기 디스플레이부의 픽셀 피치에 기반하여 결정될 수 있다.
본 발명의 또 다른 측에 따르면, 스테레오 영상에 기반하여 애너그래프 영상을 생성하는 애너그리프 영상 생성 방법에 있어서, 상기 제1 영상 및 상기 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성 단계, 상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동 단계 및 상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합 단계를 포함하고, 제1 영상 및 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 생성 방법이 제공된다.
상기 깊이 맵 생성 단계는, 상기 제1 영상 내의 제1 픽셀과 대응하는 상기 제2 영상 내의 제2 픽셀을 검출하는 단계 및 상기 제1 픽셀의 좌표 및 상기 제2 픽셀의 좌표 간의 차에 기반하여 상기 제1 픽셀의 깊이를 계산하는 단계를 포함할 수 있다.
상기 깊이 맵 생성 단계는, 상기 제1 픽셀을 포함하는 제1 블록을 설정하는 단계 및 상기 제1 블록과의 정합도가 가장 높은 상기 제2 영상 내의 제2 블록을 검출함으로써 상기 제1 픽셀의 깊이를 계산하는 단계를 포함할 수 있다.
상기 블록들 간의 정합도는 SSD에 기반하여 계산될 수 있다.
상기 영상 이동 단계는, 상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시키는 단계를 포함할 수 있고, 상기 픽셀의 이동량은 상기 양안시차에 의해 결정될 수 있다.
상기 색상 혼합 단계는, 상기 이동된 제1 영상의 그린 채널 및 블루 채널에 기반하여 상기 애너그리프 영상의 레드 채널을 생성하는 단계, 상기 제2 영상의 그린 채널에 기반하여 상기 애너그리프 영상의 그린 채널을 생성하는 단계 및 상기 제2 영상의 블루 채널에 기반하여 상기 애너그리프 영상의 블루 채널을 생성하는 단계를 포함할 수 있다.
영상의 깊이 맵 및 시청자의 양안시차를 사용하여 애너그리프 영상을 생성하는 장치 및 방법이 제공된다.
도 1은 본 발명의 일 예에 따른 애너그리프 방식을 설명한다.
도 2는 본 발명의 일 예에 따른 디스플레이 및 시청자 간의 거리에 따른 입체감을 예시한다.
도 3은 본 발명의 일 예에 따른 애너그리프 영상의 초점 문제를 예시한다.
도 4는 본 발명의 일 실시예에 따른 애너그리프 영상 생성 장치의 구조도이다.
도 5는 본 발명의 일 예에 따른 스테레오 영상의 기하 구조에 따른 깊이 맵의 생성 방법을 설명한다.
도 6은 본 발명의 일 예에 따른 깊이 맵 생성 방법을 설명한다.
도 7은 본 발명의 일 예에 따른 서로 상이한 크기를 사용하여 생성된 깊이 맵들을 도시한다.
도 8은 본 발명의 일 예에 따른 양안시차에 기반한 이동된 영상의 생성 방법을 설명한다.
도 9는 본 발명의 일 실시예에 따른 애너그리프 영상의 생성을 설명한다.
도 10은 본 발명의 일 예에 따른 애너그리프 영상의 생성 예를 도시한다.
도 11은 본 발명의 일 실시예에 따른 애너그리프 영상 출력 장치의 구조도이다.
도 12는 본 발명의 일 실시예에 따른 애너그리프 영상 생성 방법의 흐름도이다.
이하에서, 본 발명의 일 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 예에 따른 애너그리프 방식을 설명한다.
애너그리프(anaglyph) 방식은 안경을 사용하여 영상을 입체적으로 표시한다.
애너그리프 방식은 적/청(red/cyan) 안경을 사용한다.
적/청 안경의 한 쪽 렌즈는 적색 렌즈, 다른 한 쪽 렌즈는 청색 렌즈이다.
적색 렌즈는 적색이 입혀진 렌즈, 적색 셀로판지가 부착된 렌즈 또는 적색 셀로판지 등 영상이 투과될 수 있는 적색의 투명체이다. 일반적으로, 적/청 안경의 왼쪽 렌즈가 적색 렌즈이다.
청색 렌즈는 청색이 입혀진 렌즈, 청색 셀로판지가 부착된 렌즈 또는 청색 셀로판지 등 영상이 투과될 수 있는 청색의 투명체이다. 일반적으로, 적/청 안경의 오른쪽 렌즈가 적색 렌즈이다.
시청자가 적/청 안경을 쓰면, 한 쪽 눈은 적색 렌즈를 통해 적색이 제거된 영상을 보며, 다른 한 쪽 눈은 청색 렌즈를 통해 청색이 제거된 영상을 본다. 따라서, 시청자의 양 눈들에는 서로 상이한 영상들이 전달된다.
애너그리프 방식은, 적/청 안경을 착용한 시청자의 양 안들 각각에게 적합한 영상을 전달하기 위해, 원본(source) 영상을 조작한다.
애너그리프 영상(110)은 애너그리프 방식에 의해 조작된 영상이다. 애너그리프 영상은 적/청 안경을 쓴 시청자에게 입체감을 제공할 수 있도록 조작된 영상이다.
애너그리프 영상은, 스테레오 카메라를 통해 획득된 좌측 영상 및 우측 영상을 사용함으로써 생성될 수 있다. 즉, 좌측 영상의 레드(red) 채널(120) 및 우측 영상의 그린(green), 블루(blue) 채널(130)을 합성함으로써 애너그리프 영상이 생성될 수 있다.
즉, 좌측 영상 및 우측 영상은 단순히 적색 및 청색으로 분류되며, 적색으로 분류된 좌측 영상 및 청색으로 분류된 우측 영상이 합쳐짐으로써 애너그리프 영상이 생성된다. 이러한 합침에 의해, 시청자의 양 안들이 각각 다른 각도로 물체를 보는 효과를 발생시킴으로써 시청자가 입체감을 느끼게 할 수 있다.
스테레오 영상을 사용한 애너그리프 영상 생성 방법은 단순하게 구현될 수 있다. 그러나, 좌측 영상의 촬영 시점 및 우측 영상의 촬영 시점이 매우 멀리 떨어진 경우, 합성에 의해 생성된 애너그리프 영상의 입체감이 많이 떨어진다. 또한, 좌측 영상의 촬영 시점 및 우측 영상의 촬영 시점이 매우 인접한 경우, 촬영된 두 영상들 간의 차이가 거의 없기 때문에 시청자는 애너그리프 영상을 통해 입체감을 느끼지 못할 수 있다.
또한, 좌측 영상 및 우측 영상의 깊이(depth)는 전체적으로 균일하지 않다. 따라서, 초점이 조절되더라도, 시청자는 초점이 맞춰진 영상 내의 특정 영역에서만 입체감을 느낄 수 있고, 다른 영역에서는 입체감을 느끼지 못할 수 있다.
도 2는 본 발명의 일 예에 따른 디스플레이 및 시청자 간의 거리에 따른 입체감을 예시한다.
고정된 스테레오 카메라를 사용하여 스테레오 영상이 촬영된 경우, 디스플레이된 애너그리프 영상(210) 및 시청자 간의 거리에 따라 시청자가 느끼는 영상의 입체감이 상이할 수 있다.
이는, 시청자의 양 안들 간의 양안시차가 애너그리프 영상 및 상기 양 안들 간의 거리에 따라 달라지기 때문이다.
따라서, 시청자 및 디스플레이 간의 거리에 따라, 시청자가 최적의 입체감을 느낄 수 있는 시차가 측정될 필요가 있으며, 이러한 측정된 시차에 기반하여 애너그리프 영상이 생성될 필요가 있다.
도 3은 본 발명의 일 예에 따른 애너그리프 영상의 초점 문제를 예시한다.
도 3에서, 스테레오 영상의 좌측 영상(310)이 도시되었다.
또한, 좌측 카메라(즉, 좌측 영상이 촬영된 지점) 및 우측 카메라(즉, 우측 영상이 촬영된 지점)의 거리에 따라, 2 개의 우측 영상(320 및 330)이 도시되었다.
양 카메라들 간의 거리(즉, 양 영상들이 촬영된 지점들 간의 거리)가 δ일 때, 좌측 영상(310) 및 우측 영상(320)의 합성에 의해 생성된 결과 영상(340)이 도시되었다. 또한, 양 카메라들 간의 거리가 2δ일 때, 좌측 영상(310) 및 우측 영상(330)의 합성에 의해 생성된 결과 영상(350)이 도시되었다.
전술된 것처럼, 최적의 입체감을 제공하기 위해서는, 양 카메라들 간의 거리에 기반하여 적합한 애너그리프 영상(340 또는 350)이 생성되어야 한다.
만약, 양 카메라들 간의 거리가 고려되지 않은 채 애너그리프 영상이 조합되면, 시청자의 양 안들에 각각 -히는 영상들의 초점이 일치하지 않는 문제가 발생할 수 있다.
도 4는 본 발명의 일 실시예에 따른 애너그리프 영상 생성 장치의 구조도이다.
애너그리프 영상 생성 장치(400)는 스테레오 영상 수신부(410), 깊이 맵 생성부(420), 영상 이동부(430) 및 색상 혼합부(440)를 포함할 수 있다.
스테레오 영상 수신부(410)는 제1 영상 및 제2 영상을 수신한다.
제1 영상 및 제2 영상은 동일한 피사체를 서로 상이한 시점에서 촬영한 스테레오 영상이다.
제1 영상은 스테레오 영상 중 좌측 영상일 수 있다. 제2 영상은 스테레오 영상 중 우측 영상일 수 있다.
깊이 맵 생성부(420)는 제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성한다.
영상 이동부(430)는 깊이 맵 및 시청자의 양안시차에 기반하여 제1 영상 내의 픽셀(pixel)들을 이동함으로써 이동된 제1 영상을 생성한다.
색상 혼합부(440)는 이동된 제1 영상 및 제2 영상에 기반하여 애너그리프 영상을 생성한다.
애너그리프 영상 생성 장치(400)는 장치(400) 내에 저장된 데이터를 독출하여 스테레오 영상을 제공하는 저장부를 더 포함할 수 있다. 저장부는 애너그리프 영상 생성 장치(400) 내의 지역 저장소(local storage)일 수 있다.
도 5는 본 발명의 일 예에 따른 스테레오 영상의 기하 구조에 따른 깊이 맵의 생성 방법을 설명한다.
하기의 수학식 1은 스테레오 카메라를 통해 획득된 좌측 영상 및 우측 영상을 이용하여 깊이 맵을 생성하는 방법을 설명한다.
Figure pat00001
여기서, b는 스테레오 카메라들 사이의 거리를 의미한다. 즉, b는 스테레오 카메라들 사이의 기선(baseline)의 길이이다.
f는 카메라의 초점거리를 나타낸다.
z는 영상의 깊이를 나타내는 값이다. 예컨대, 깊이는 피사체 및 기선 간의 거리이다.
△u는 같은 물체를 바라봤을 때 두 영상들 간의 거리 차이를 나타낸다.
도 5에서, 수학식 1 내의 요소들의 기하 구조 관계가 도시되었다.
도 6은 본 발명의 일 예에 따른 깊이 맵 생성 방법을 설명한다.
깊이 맵 생성부(420)는 수학식 1을 사용하여 변이(disparity)를 계산할 수 있다.
좌측 영상(610) 및 우측 영상(620)은 각각 하나 이상의 픽셀들로 구성된다.
픽셀의 변이에 따라, 좌측 영상(610) 내의 제1 픽셀과 상기 제1 픽셀에 대응하는 우측 영상(620) 내의 제2 픽셀은 서로 다른 x 좌표 값을 갖는다. 여기서, 서로 대응하는 픽셀이란, 피사체의 동일 지점을 나타내는 픽셀을 의미한다.
본 예에서는, 제1 픽셀이 좌측 영상(610) 내에 있고, 제2 픽셀이 우측 영상(620) 내에 있는 것을 전제로, 깊이 맵 생성 방법이 설명된다. 그러나, 본 예는 제1 픽셀이 우측 영상(620) 내에 있고, 제1 픽셀이 좌측 영상(610) 내에 있는 경우에도 적용될 수 있다.
제1 픽셀의 좌표 및 제2 픽셀의 좌표 간의 차가 제1 픽셀의 변이이다. 깊이 맵 생성부(420)는 제1 픽셀의 변이에 기반하여 제1 픽셀의 깊이를 계산할 수 있다.
제1 픽셀의 변이를 계산하기 위해서, 깊이 맵 생성부(420)는 제1 픽셀에 대응하는 제2 픽셀을 우측 영상(620) 내에서 검출할 수 있다.
그러나, 깊이 맵 생성부(420)가 우측 영상(620) 내의 각 픽셀을 제1 픽셀과 비교함으로써 대응하는 제2 픽셀을 검출할 경우, 한 픽셀의 주변에는 유사한 색상을 갖는 다른 픽셀들이 분포할 가능성이 높기 때문에, 깊이 맵 생성부(420)는 대응하는 픽셀을 정확하게 찾지 못할 수 있다. 따라서, 대응하는 픽셀을 검출하기 위해 블록 정합(block matching)이 사용될 수 있다.
계산된 픽셀들의 변이가 계산되면, 깊이 맵 생성부(420)는 픽셀들의 변이에 기반하여 깊이 맵을 생성할 수 있다.
하기에서, 블록 정합을 설명한다.
깊이 맵 생성부(420)는 제1 픽셀을 포함하는 제1 블록(612)을 설정한다.
제1 블록(614)은 제1 픽셀 및 제1 픽셀의 가장 가까운 이웃(nearest neighbor) 픽셀들로 구성될 수 있다.
제1 픽셀은 제1 블록(614)의 중앙에 위치한 픽셀일 수 있다.
제1 블록(614)은 사각형일 수 있다.
제1 블록(614)은 5x5(가로 5 픽셀, 세로 5 픽셀), 7x7, 9x9, 12x12 등과 같은 정사각형일 수 있다. 일반적으로, 제1 픽셀은 제1 블록(614)을 구성하는 픽셀들 중 중심의 픽셀이다.
깊이 맵 생성부(420)는 제1 블록(614)과의 정합도가 가장 높은 우측 영상(620) 내의 제2 블록(624)을 검출함으로써 제1 픽셀의 깊이를 계산할 수 있다. 즉, 제1 블록은 블록 매칭을 위해 사용되는 정합 창(Matching Window)이다.
제2 블록(624)은 제1 블록(614)과 동일한 모양을 갖는 블록이다. 제2 블록(624) 중, 제1 픽셀의 제1 블록(614) 내에서의 위치와 동일한 위치(예컨대, 블록의 중심)에 있는 픽셀이 제2 픽셀이다.
스테레오 영상의 특성 상, 일반적으로 제1 픽셀의 y 좌표 값 및 제2 픽셀의 y 좌표 값은 동일하다. 즉, 제1 픽셀이 위치한 좌측 영상(610) 내의 수평선(612) 및 제2 픽셀이 위치한 우측 영상(620) 내의 수평선(622)는 동일한 위치에 존재한다.
따라서, 깊이 맵 생성부(420)는 제1 픽셀이 위치한 수평선 상에서 픽셀들을 스캔(scan)함으로써 제2 픽셀을 검출할 수 있다. 또한, 깊이 맵 생성부(420)는 제1 블록(614)이 위치한 수평 위치에서 블록들을 스캔함으로써 제2 블록(624)을 검출할 수 있다.
깊이 맵 생성부(420)는 SSD(Sum of Square Differences; 제곱 차들의 총 합)에 기반하여 블록 간의 정합도를 계산할 수 있다.
깊이 맵 생성부(420)는 하기의 수학식 2에 기반하여 SSD를 계산할 수 있다.
Figure pat00002
여기서, N(x, y)는 좌표 값이 (x, y)인 제1 픽셀을 중심으로 한 제1 블록(614)(즉, 정합 창)을 나타낸다.
하기에서, 좌표 값이 (x, y)인 픽셀을 "픽셀(x, y)"로 표시한다.
(i, j)는 제1 블록(614) 내의 픽셀의 좌표(또는, 위치)이다. I L (x, y)는 좌측 영상(610) 내의 픽셀(x, y)의 픽셀 값(예컨대, 픽셀의 컬러 값)을 나타낸다. I R (x, y)는 우측 영상(620) 내의 픽셀(x, y)의 픽셀 값(예컨대, 픽셀의 컬러 값)을 나타낸다.
d는 스캔 범위 내에 존재하는 변이를 나타낸다.
d(x, y)는 제1 픽셀의 최종적인 변이 값이다. d(x, y)의 값은, 스캔 범위 내의 값들 중, 수식 "
Figure pat00003
"를 최소로 만드는 d이다. d(x, y)는 제1 픽셀의 x 좌표 및 제2 픽셀의 x 좌표 간의 차(difference)이다.
좌측 영상(610) 내의 픽셀들 각각의 변이가 계산되면, 깊이 맵 생성부(420)는 픽셀의 변이에 기반하여 픽셀의 깊이 값을 계산할 수 있다.
도 7은 본 발명의 일 예에 따른 서로 상이한 크기를 사용하여 생성된 깊이 맵들을 도시한다.
깊이 맵 생성의 대상이 되는 영상(710) 및 상기 영상(710)의 실제 깊이 맵(720)이 도시되었다.
또한, 깊이 맵 생성부(420)에 의해 생성된 4 개의 깊이 맵들(730, 740, 750 및 760)이 도시되었다.
제1 깊이 맵(730)은 3x3 블록이 사용되었을 경우에 생성된 깊이 맵이다.
제2 깊이 맵(740)은 5x5 블록이 사용되었을 경우에 생성된 깊이 맵이다.
제3 깊이 맵(750)은 7x7 블록이 사용되었을 경우에 생성된 깊이 맵이다.
제4 깊이 맵(760)은 9x9 블록이 사용되었을 경우에 생성된 깊이 맵이다.
도시된 것처럼, 어떠한 크기의 블록이 사용되었는가에 따라, 생성된 깊이 맵들의 정확도가 각각 상이하다.
실험적으로, 7x7 블록이 사용되었을 경우에 생성된 깊이 맵(750)이 영상(710)의 실제 깊이(720) 맵과 가장 근사하였다.
따라서, 깊이 맵 생성부(420)는 제1 영상(610)의 실제 깊이 맵과 가장 근사한 깊이 맵을 생성하는 것으로 실험적으로 판정된 크기로 제1 블록(614)을 설정할 수 있다.
도 8은 본 발명의 일 예에 따른 양안시차에 기반한 이동된 영상의 생성 방법을 설명한다.
양안시차가 고려되지 않은 채, 가장 가까운 물체 또는 가장 먼 물체에 초점이 맞추어진 애너그래프 영상이 생성되면, 생성된 애너그래프 영상의 전체적인 입체감이 떨어진다.
좌측 영상 및 우측 영상 간의 차이가 양안시차보다 더 큰데, 양안시차가 고려되지 않은 채 애너그래프 영상이 생성되면, 시청자는 생성된 애너그래프 영상으로부터 입체감을 느끼지 못할 수 있다.
영상 이동부(430)는 깊이 맵에 양안 시차를 적용함으로써 원본 영상(810) 내의 픽셀들을 이동시킬 수 있다. 원본 영상(810)은 전술된 좌측 영상(610)일 수 있다. 즉, 원본 영상(810)은 깊이 맵 생성부(420)에 의해 깊이 맵이 생성된 영상이다.
영상 이동부(430)는 원본 영상(610) 내의 픽셀들을 이동시킴으로써 이동된 영상(820)을 생성할 수 있다.
영상 이동부(440)는 하기의 수학식 3 및 수학식 4에 기반하여 원본 영상(610) 내의 픽셀들을 이동시킬 수 있다.
Figure pat00004
d(x, y)는 픽셀(x, y)의 변이 값이다.
C는 시청자의 양안시차에 의해 결정되는 픽셀의 이동량이다. 예컨대, C는 시청자에게 최적의 입체감을 제공하기 위한 좌측 영상 및 우측 영상의 대응하는 픽셀들 간의 거리이다.
좌측 영상 내의 좌표 값이 (x, y)인 제1 픽셀과, 상기 제1 픽셀에 대응하는 우측 영상 내의 제2 픽셀은 이미 d(x, y) 만큼 떨어져있다.
따라서, 제1 픽셀과 제2 픽셀이 최적의 거리 C만큼 떨어지기 위해서는, 제1 픽셀이 "C - d(x, y)" 만큼 이동해야 한다. 즉, δ(x, y)는 픽셀(x, y)이 이동해야 되는 거리이다.
영상 이동부(440)는 깊이 맵 정보를 이용하여 좌측 영상이 우측 영상에서 C만큼 떨어지도록 좌측 영상을 조작하기 위해, 좌측 영상의 픽셀(x, y)에 대해 차이 값 δ(x, y)를 계산할 수 있다.
Figure pat00005
I L (x, y)는 원본 영상(810) 내의 픽셀(x, y)의 픽셀 값을 나타낸다.
I' L (x, y)는 이동된 영상(820) 내의 픽셀(x, y)의 픽셀 값을 나타낸다.
수학식 4에 따라, 영상 이동부(440)는 원본 영상(810) 내의 픽셀을 양안시차에 따른 픽셀의 이동량 C 및 상기 픽셀의 변의 값의 차 d(x, y)만큼 이동시킴으로써 이동된 영상(820)을 생성할 수 있다.
따라서, 영상 이동부(440)는 좌측 영상 내의 제1 픽셀이, 상기 제1 픽셀의 깊이에 따라, 상기 제1 픽셀에 대응하는 우측 영상 내의 제2 픽셀과 C 만큼 떨어지게 한다.
하기의 표 1은 시청자 및 애너그리프 영상 간의 거리, 상기 거리에 따른 양안시차, 상기 양안시차(또는, 상기 거리) 의해 결정되는 픽셀의 이동량의 일 예를 나타낸다.
시청자 및 영상 간의 거리 (mm) 양안시차 (mm) 픽셀의 이동량
400 2.8 10
500 2.2 8
600 1.9 7
700 1.6 6
즉, 시청자 및 영상(또는, 영상이 표시되는 디스플레이) 간의 거리가 600mm일 때, 양안시차는 1.9mm이고, 양안시차에 따라 픽셀이 이동되어야 하는 이동량은 7이다. 즉, 픽셀의 x 좌표는 7만큼 변경되어야 한다.
픽셀의 이동량은, 실험적으로 측정된 것으로, 양안시차에 의해 가장 입체감을 느낄 수 있는 차이가 측정된 것이다.
표 1의 양안시차는 전술될 수학식 1을 이용하여, 시청자 및 애너그리프 영상 간의 거리에 대한 양안시차를 측정한 값을 나타낸 것이다.
인간의 눈의 초점 거리 f는 17mm이고, 두 눈 사이의 거리를 나타내는 기선은 평균적으로 60~70mm이다. 표 1의 거리 400~700mm는 사용자의 눈에 해롭지 않은 디스플레이 및 눈의 평균적인 거리이다.
즉, 표 1의 값들은, 고정된 값(f는 17mm, b는 65mm)이 대입된 수학식 1에 의해 계산된 결과이다.
표 1에서 나타난 것처럼, 좌측 영상 및 우측 영상 간의 시차가 6~10 픽셀일 경우, 가장 적절한 입체감이 시청자에게 제공될 수 있다.
영상 이동부(440)는 상기 시청자의 평균적인 시청 거리에 기반하여 상기 양안시차의 값을 결정할 수 있다. 예컨대, 시청자의 평균적인 시청 거리가 600mm이면, 영상 이동부(440)는 양안시차를 1.9로 결정할 수 있고, 픽셀의 이동량을 7로 결정할 수 있다.
도 9는 본 발명의 일 실시예에 따른 애너그리프 영상의 생성을 설명한다.
이동 전의 원본 영상(710), 원본 영상(710)의 깊이 맵(720) 및 애너그리프 영상 생성 장치(400)에 의해 생성된 애너그리프 영상(910)이 도시되었다.
원본 영상은 좌측 영상(610)일 수 있다.
애너그리프 영상(910)은 픽셀이 이동량이 10으로 설정된 채 생성된 것이다.
색상 혼합부(440)는 이동된 좌측 영상(820)(즉, 이동된 좌측 영상) 및 우측 영상(620)을 혼합함으로써 애너그리프 영상을 생성할 수 있다.
애너그리프 영상으로 인한 눈의 피로감을 감소시키고, 가장 입체감 있는 영상을 생성하기 위해, 최적화된 색상 혼합 방법이 사용될 수 있다.
색상 혼합부(440)는 하기의 수학식 5에 기반하여 애너그리프 영상을 생성할 수 있다.
Figure pat00006
I R R 은 우측 영상(620)의 레드 채널(red channel)이다. I R G 은 우측 영상(620)의 그린 채널(green channel)이다. I R B 은 우측 영상(620)의 블루 채널(red channel)이다.
I' L R 은 이동된 좌측 영상(820)의 레드 채널이다. I' L G 은 이동된 좌측 영상(820)의 그린 채널이다. I' L B 은 이동된 좌측 영상(820)의 블루 채널이다.
I final R 은 애너그리프 영상(910)의 레드 채널이다. I final G 은 애너그리프 영상(910)의 그린 채널이다. I final B 은 애너그리프 영상(910)의 블루 채널이다.
수학식 5에 따라, I final R = 0.7I' L G + 0.3I' L B 이고, I final G = I R G 이고, I R B =I R B 이다.
즉, 좌측 눈에 투영될 영상의 레드 채널 값은, 이동된 좌측 영상(820)의 레드 값의 0%, 그린 값의 70% 및 블루 값의 30%의 합이다. 또한, 우측 영상의 그린 값 및 블루 값은 그대로 남겨졌다. 이러한 방식으로 생성된 애너그리프 영상은 가장 뛰어난 품질로 색을 재현하고, 입체감을 형성하는 특성을 갖는다. 이러한 특성은, 모노톤(monotone) 및 컬러 혼합의 애너그리프 영상에서 발생하는 블루 및 레드 부분의 망막 경합이, 전술된 방법에 따라 생성된 애너그리프 영상에서는 현저하게 감소되는 것에 기인한다.
즉, 색상 혼합부(440)는 이동된 좌측 영상(820)의 그린 채널 및 블루 채널에 기반하여 애너그리프 영상의 레드 채널을 생성할 수 있고, 우측 영상(620)의 그린 채널에 기반하여 애너그리프 영상의 그린 채널을 생성할 수 있고, 우측 영상(620)의 블루 채널에 기반하여 애너그리프 영상의 블루 채널을 생성할 수 있다.
전술된 본 발명의 예들에 의해 설명된 것처럼, 깊이 맵을 이용함으로써 입체 영상의 초점이 맞지 않거나 제한된 영역에만 초점이 맞는 문제가 해결될 수 있다.
또한, 양안시차를 고려함으로써 입체감이 골고루 느껴질 수 있는 입체 영상이 생성될 수 있으며, 최적화된 색상 혼합 방법을 사용함으로써 입체 영상으로 인한 눈의 피로감을 감소시킬 수 있다.
도 10은 본 발명의 일 예에 따른 애너그리프 영상의 생성 예를 도시한다.
콘(corn), 책 및 목재를 나타내는 영상의 실제 깊이 값을 나타내는 깊이 맵(1010, 1020 및 1030)이 제1 열에 도시되었다.
제2 열에 도시된 영상들(1012, 1022 및 1032)은 양안시차를 고려하지 않은 채 생성된 종래의 애너그래프 영상이다.
제3 열에 도시된 영상들(1014, 1024 및 1034)은, 전술된 본 발명의 실시예들에 따른, 양안시차 및 색상 혼합이 적용된 애너그래프 영상이다.
영상(1012) 및 영상(1014)를 비교하면, 적색 및 청색 영상 간의 떨어진 거리의 차가 서로 상이한 것을 알 수 있다.
제3 열의 영상들(1014, 1024 및 1034)은 제2 열의 영상들(1012, 1022 및 1032)에 비해 뛰어난 입체감을 제공할 수 있으며, 시청자의 눈이 느끼는 피로감을 경감시킬 수 있다.
도시된 영상들을 통해 알 수 있듯이, 좌측 영상 및 우측 영상의 초점이 맞지 않고, 양 영상들 간의 시차가 너무 큰 경우에는, 시청자가 인식하는 영상의 입체감이 떨어질 수 있으며, 시청자에게 시각적으로 피로감을 줄 수 있다.
도 11은 본 발명의 일 실시예에 따른 애너그리프 영상 출력 장치의 구조도이다.
애너그리프 영상 출력 장치는 스테레오 영상 수신부(410), 깊이 맵 생성부(420), 영상 이동부(430) 및 색상 혼합부(440)를 포함하며, 거리 측정부(1110) 및 디스플레이부(1120)를 포함한다.
디스플레이부(1120)는 색상 혼합부(440)에 의해 생성된 애너그리프 영상을 출력한다.
영상 이동부(430) 시청자 및 디스플레이부(1120)의 거리에 기반하여 양안시차의 값을 결정한다.
거리 측정부(1110)는 시청자(1190) 및 디스플레이부(1120) 간의 거리 L을 측정하여 측정된 거리 L을 영상 이동부(430)에게 제공한다.
거리 측정부(1110)는 모션 캡춰(motion capture) 장치 또는 적외선 탐지 장치와 같은, 물체의 위치 또는 물체와의 거리를 측정하는 장치이다.
거리 측정부(1110)는 시청자(1190)의 위치를 검출하여 디스플레이부(1120) 및 시청자(1190)의 거리 L을 계산할 수 있다.
영상 이동부(430)는 계산된 거리 및 디스플레이부(1120)의 픽셀 피치(pitch)에 기반하여 픽셀의 이동량을 계산할 수 있다.
거리 측정부(1110)는 시청자(1190)의 변화하는 위치를 동적으로 검출할 수 있고, 동적으로 검출된 시청자의 위치에 기반하여 디스플레이부(1120) 및 시청자(1190) 간의 거리를 동적으로 계산할 수 있다. 따라서, 영상 이동부는(430) 동적으로 계산된 거리에 기반하여 양안시차의 값을 동적으로 변경하고, 변경된 양안시차 값에 기반하여 픽셀이 이동된 제1 영상을 생성할 수 있다.
앞서 도 1 내지 도 10을 참조하여 설명된 본 발명의 일 실시예에 따른 기술 적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
도 12는 본 발명의 일 실시예에 따른 애너그리프 영상 생성 방법의 흐름도이다.
스테레오 영상 수신 단계(S1210)에서, 제1 영상 및 제2 영상이 수신된다.
제1 영상 및 제2 영상은 각각 스테레오 영상 중 한 편의 영상이다. 제1 영상은 좌측 영상일 수 있고, 제2 영상은 우측 영상일 수 있다.
깊이 맵 생성 단계(S1220)에서, 제1 영상 및 제2 영상에 기반하여 깊이 맵이 생성된다.
깊이 맵 생성 단계(S1120)는 1) 1 영상 내의 제1 픽셀과 대응하는 제2 영상 내의 제2 픽셀을 검출하는 단계 및 2) 제1 픽셀의 좌표 및 제2 픽셀의 좌표 간의 차에 기반하여 제1 픽셀의 깊이를 계산하는 단계를 포함할 수 있다.
깊이 맵 생성 단계(S1120)는 1) 제1 픽셀을 포함하는 제1 블록을 설정하는 단계 및 2) 제1 블록과의 정합도가 가장 높은 제2 영상 내의 제2 블록을 검출함으로써 제1 픽셀의 깊이를 계산하는 단계를 포함할 수 있다.
블록들 간의 정합도는 SSD에 기반하여 계산될 수 있다.
거리 측정 단계(S1230)에서, 애너그리프 영상을 출력하는 디스플레이 및 시청자 간의 거리가 측정된다.
영상 이동 단계(S1240)에서, 깊이 맵 및 시청자의 양안시차에 기반하여 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상이 생성된다.
영상 이동 단계(S1240)는 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 제1 픽셀의 변의 값의 차만큼 이동시키는 단계를 포함할 수 있으며, 픽셀의 이동량은 양안시차에 의해 결정될 수 있다.
또한, 거리 측정 단계(S1230)에서, 애너그리프 영상을 출력하는 디스플레이 및 시청자 간의 거리가 측정된 경우, 양안시차는 측정된 거리에 기반하여 결정될 수 있다.
색상 혼합 단계(S1250)에서, 이동된 제1 영상 및 제2 영상에 기반하여 애너그리프 영상이 생성된다.
이동된 제1 영상의 그린 채널 및 블루 채널에 기반하여 애너그리프 영상의 레드 채널이 생성될 수 있고, 제2 영상의 그린 채널에 기반하여 상기 애너그리프 영상의 그린 채널이 생성될 수 있고, 제2 영상의 블루 채널에 기반하여 애너그리프 영상의 블루 채널이 생성될 수 있다.
혼합된 영상 출력 단계(S1260)에서, 생성된 애너그리프 영상이 디스플레이에 의해 출력된다.
앞서 도 1 내지 도 11을 참조하여 설명된 본 발명의 일 실시예에 따른 기술 적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
400: 애너그리프 영상 생성 장치.
420: 깊이 맵 생성부
430: 영상 이동부
440: 색상 혼합부

Claims (23)

  1. 스테레오 영상에 기반하여 애너그래프 영상을 생성하는 애너그리프 영상 생성 장치에 있어서,
    제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성부;
    상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동부; 및
    상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합부
    를 포함하고, 제1 영상 및 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 생성 장치.
  2. 제1항에 있어서,
    상기 제1 영상 및 상기 제2 영상을 수신하는 스테레오 영상 수신부
    를 더 포함하는, 애너그리프 영상 생성 장치.
  3. 제1항에 있어서,
    상기 애너그리프 영상 생성 장치 내에 저장된 데이터를 독출하여 상기 제1 영상 및 상기 제2 영상을 제공하는 저장부
    를 더 포함하는, 애너그리프 영상 생성 장치.
  4. 제1항에 있어서,
    상기 제1 영상은 좌측 영상이고, 상기 제2 영상은 우측 영상인, 애너그리프 영상 생성 장치.
  5. 제1항에 있어서,
    상기 깊이 맵 생성부는 상기 제1 영상 내의 제1 픽셀과 대응하는 상기 제2 영상 내의 제2 픽셀을 검출하고, 상기 제1 픽셀의 좌표 및 상기 제2 픽셀의 좌표 간의 차에 기반하여 상기 제1 픽셀의 깊이를 계산하는, 애너그리프 영상 생성 장치.
  6. 제4항에 있어서,
    상기 깊이 맵 생성부는 상기 제1 픽셀을 포함하는 제1 블록을 설정하고, 상기 제1 블록과의 정합도가 가장 높은 상기 제2 영상 내의 제2 블록을 검출함으로써 상기 제1 픽셀의 깊이를 계산하는, 애너그리프 영상 생성 장치.
  7. 제6항에 있어서,
    상기 깊이 맵 생성부는 상기 제1 블록이 위치한 수평 위치에서 블록들을 스캔함으로써 상기 제2 블록을 검출하는, 애너그리프 영상 생성 장치.
  8. 제6항에 있어서,
    상기 깊이 맵 생성부는 SSD(Sum of Square Differences; 제곱 차들의 총 합)에 기반하여 블록들 간의 정합도를 계산하는, 애너그리프 영상 생성 장치.
  9. 제6항에 있어서,
    상기 깊이 맵 생성부는 하기의 수학식 1에 기반하여 상기 깊이 맵을 생성하는, 애너그리프 영상 생성 장치.
    [수학식 1]
    Figure pat00007

    여기서, (x, y)는 상기 제1 픽셀의 좌표이고, N(x, y)는 상기 제1 픽셀을 중심으로 한 상기 제1 블록이고, (i, j)는 상기 제1 블록 내의 픽셀의 좌표이고, I L (x, y)는 상기 제1 영상 내의 좌표가 (x, y)인 픽셀의 픽셀 값이고, I R (x, y)는 상기 제2 영상 내의 좌표가 (x, y)인 픽셀의 픽셀 값이고, d는 상기 깊이 맵 생성부의 스캔 범위 내에 존재하는 변이이고, d(x, y)는 상기 제1 픽셀의 최종적인 변이 값임.
  10. 제6항에 있어서,
    상기 깊이 맵 생성부는 상기 제1 영상의 실제 깊이 맵과 가장 근사한 깊이 맵을 생성하는 것으로 실험적으로 판정된 크기로 상기 제1 블록을 설정하는, 애너그리프 영상 생성 장치.
  11. 제1항에 있어서,
    상기 영상 이동부는 상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시키고, 상기 픽셀의 이동량은 상기 양안시차에 의해 결정되는, 애너그리프 영상 생성 장치.
  12. 제1항에 있어서,
    상기 영상 이동부는 상기 시청자의 평균적인 시청 거리에 기반하여 상기 양안시차의 값을 결정하는, 애너그리프 영상 생성 장치.
  13. 제1항에 있어서,
    상기 색상 혼합부는 상기 이동된 제1 영상의 그린 채널 및 블루 채널에 기반하여 상기 애너그리프 영상의 레드 채널을 생성하고, 상기 제2 영상의 그린 채널에 기반하여 상기 애너그리프 영상의 그린 채널을 생성하고, 상기 제2 영상의 블루 채널에 기반하여 상기 애너그리프 영상의 블루 채널을 생성하는, 애너그리프 영상 생성 장치.
  14. 스테레오 영상에 기반하여 애너그래프 영상을 생성하는 애너그리프 영상 생성 장치에 있어서,
    상기 제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성부;
    상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동부;
    상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합부; 및
    상기 애너그리프 영상을 출력하는 디스플레이부
    를 포함하고, 상기 영상 이동부는 상기 시청자 및 상기 디스플레이부 간의 거리에 기반하여 상기 양안시차의 값을 결정하는 제1 영상 및 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 출력 장치.
  15. 제14항에 있어서,
    상기 거리를 측정하여, 상기 측정된 거리를 상기 영상 이동부에게 제공하는 거리 측정부를 더 포함하는, 애너그리프 영상 출력 장치.
  16. 제15항에 있어서,
    상기 거리 측정부는 상기 시청자의 변화하는 위치를 동적으로 검출하고, 상기 동적으로 검출된 시청자의 위치에 기반하여 상기 디스플레이부 및 상기 시청자 간의 거리를 동적으로 계산하며, 상기 영상 이동부는 상기 동적으로 계산된 거리에 기반하여 상기 양안시차의 값을 동적으로 변경하고, 상기 변경된 양안시차의 값에 기반하여 상기 이동된 제1 영상을 생성하는, 애너그리프 영상 출력 장치.
  17. 제16항에 있어서,
    상기 영상 이동부는 상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시키고, 상기 픽셀의 이동량은 상기 거리 및 상기 디스플레이부의 픽셀 피치에 기반하여 결정되는, 애너그리프 영상 생성 장치.
  18. 스테레오 영상에 기반하여 애너그래프 영상을 생성하는 애너그리프 영상 생성 방법에 있어서,
    상기 제1 영상 및 상기 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성 단계;
    상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동 단계; 및
    상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합 단계
    를 포함하고, 제1 영상 및 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 생성 방법.
  19. 제18항에 있어서,
    상기 깊이 맵 생성 단계는,
    상기 제1 영상 내의 제1 픽셀과 대응하는 상기 제2 영상 내의 제2 픽셀을 검출하는 단계; 및
    상기 제1 픽셀의 좌표 및 상기 제2 픽셀의 좌표 간의 차에 기반하여 상기 제1 픽셀의 깊이를 계산하는 단계
    를 포함하는, 애너그리프 영상 생성 방법.
  20. 제18항에 있어서,
    상기 깊이 맵 생성 단계는,
    상기 제1 픽셀을 포함하는 제1 블록을 설정하는 단계; 및
    상기 제1 블록과의 정합도가 가장 높은 상기 제2 영상 내의 제2 블록을 검출함으로써 상기 제1 픽셀의 깊이를 계산하는 단계
    룰 포함하는, 애너그리프 영상 생성 방법.
  21. 제20항에 있어서,
    상기 블록들 간의 정합도는 SSD에 기반하여 계산되는, 애너그리프 영상 생성 방법.
  22. 제18항에 있어서,
    상기 영상 이동 단계는,
    상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시키는 단계
    를 포함하고, 상기 픽셀의 이동량은 상기 양안시차에 의해 결정되는, 애너그리프 영상 생성 방법.
  23. 제1항에 있어서,
    상기 색상 혼합 단계는,
    상기 이동된 제1 영상의 그린 채널 및 블루 채널에 기반하여 상기 애너그리프 영상의 레드 채널을 생성하는 단계;
    상기 제2 영상의 그린 채널에 기반하여 상기 애너그리프 영상의 그린 채널을 생성하는 단계; 및
    상기 제2 영상의 블루 채널에 기반하여 상기 애너그리프 영상의 블루 채널을 생성하는 단계
    를 포함하는, 애너그리프 영상 생성 방법.
KR1020100134816A 2010-12-24 2010-12-24 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치 Expired - Fee Related KR101192121B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100134816A KR101192121B1 (ko) 2010-12-24 2010-12-24 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100134816A KR101192121B1 (ko) 2010-12-24 2010-12-24 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120072892A true KR20120072892A (ko) 2012-07-04
KR101192121B1 KR101192121B1 (ko) 2012-10-16

Family

ID=46707499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100134816A Expired - Fee Related KR101192121B1 (ko) 2010-12-24 2010-12-24 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101192121B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140076085A (ko) * 2012-12-12 2014-06-20 엘지디스플레이 주식회사 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
WO2015142137A1 (ko) * 2014-03-21 2015-09-24 삼성전자 주식회사 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
US12003697B2 (en) 2021-05-06 2024-06-04 Samsung Electronics Co., Ltd. Wearable electronic device and method of outputting three-dimensional image

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776805B1 (ko) 2006-09-29 2007-11-19 한국전자통신연구원 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140076085A (ko) * 2012-12-12 2014-06-20 엘지디스플레이 주식회사 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
WO2015142137A1 (ko) * 2014-03-21 2015-09-24 삼성전자 주식회사 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
US10860166B2 (en) 2014-03-21 2020-12-08 Samsung Electronics Co., Ltd. Electronic apparatus and image processing method for generating a depth adjusted image file
US12003697B2 (en) 2021-05-06 2024-06-04 Samsung Electronics Co., Ltd. Wearable electronic device and method of outputting three-dimensional image

Also Published As

Publication number Publication date
KR101192121B1 (ko) 2012-10-16

Similar Documents

Publication Publication Date Title
KR101629479B1 (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
US7983477B2 (en) Method and apparatus for generating a stereoscopic image
CN101783967B (zh) 信号处理设备、图像显示设备、信号处理方法和计算机程序
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
US8817073B2 (en) System and method of processing 3D stereoscopic image
US8606043B2 (en) Method and apparatus for generating 3D image data
US9754379B2 (en) Method and system for determining parameters of an off-axis virtual camera
KR101697181B1 (ko) 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
JP6128442B2 (ja) 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｓｔｅｒｅｏ ｂａｓｅ ｅｘｔｅｎｓｉｏｎ ｏｆ ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅｓ ａｎｄ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ｝
CN102905145B (zh) 立体影像系统、影像产生方法、影像调整装置及其方法
KR20120016408A (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기
JP2014093779A (ja) 映像処理方法及び映像処理装置
US9477305B2 (en) Stereoscopic image display apparatus and computer-readable recording medium storing program thereon
KR20120030005A (ko) 화상 처리 장치 및 방법과 입체 화상 표시 장치
KR20120051287A (ko) 사용자 위치 기반의 영상 제공 장치 및 방법
JPH08115439A (ja) 画像データ処理装置及び画像再生装置
JP5840022B2 (ja) 立体画像処理装置、立体画像撮像装置、立体画像表示装置
CN107155102A (zh) 3d自动对焦显示方法及其系统
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
JP2015037282A (ja) 画像処理装置、画像処理方法及びプログラム
KR20190016139A (ko) 입체 비디오 생성
KR101907127B1 (ko) 입체 비디오 주밍 및 비디오 내의 전경 및 배경 검출
KR101939243B1 (ko) 입체 깊이 조정 및 초점 조정
KR102700868B1 (ko) 3d객체에 대한 디스패리티의 조정을 수행하는 무안경 입체영상 표시장치
JP6179282B2 (ja) ３次元画像表示装置及び３次元画像表示方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20171011

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20171011

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000