KR20140077772A - 2차원 디스플레이를 이용한 다시점 영상 제공 장치 및 방법 - Google Patents

2차원 디스플레이를 이용한 다시점 영상 제공 장치 및 방법 Download PDF

Info

Publication number
KR20140077772A
KR20140077772A KR1020120146897A KR20120146897A KR20140077772A KR 20140077772 A KR20140077772 A KR 20140077772A KR 1020120146897 A KR1020120146897 A KR 1020120146897A KR 20120146897 A KR20120146897 A KR 20120146897A KR 20140077772 A KR20140077772 A KR 20140077772A
Authority
KR
South Korea
Prior art keywords
view
view image
time
file
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020120146897A
Other languages
English (en)
Inventor
김찬
엄기문
신홍창
김태원
이응돈
이현
정원식
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120146897A priority Critical patent/KR20140077772A/ko
Publication of KR20140077772A publication Critical patent/KR20140077772A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

2차원 디스플레이를 이용한 다시점 영상 제공 장치가 개시된다. 상기 다시점 영상 제공 장치는 상기 2차원 디스플레이를 통해 출력할 다시점 영상 파일을 선택하고, 상기 선택된 다시점 영상 파일로부터 출력하고자 하는 시간 및 시점 중 적어도 하나를 선택하여 상기 2차원 디스플레이로 출력해주는 선택부 및 상기 선택된 다시점 영상 파일의 다시점 합성이 필요한 경우, 상기 선택된 다시점 영상 파일에 대해 다시점 합성을 수행하되, 상기 시간 및 상기 시점 중 적어도 하나를 기초로 다시점 합성을 수행하여 상기 2차원 디스플레이에 제공하는 실시간 다시점 합성부를 포함한다.

Description

2차원 디스플레이를 이용한 다시점 영상 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING MULTI-VIEW VIDEO}
본 발명은 다시점 영상에 관한 것으로, 보다 구체적으로 2차원 디스플레이에서 다시점 영상을 제공하는 장치 및 방법에 관한 것이다.
다시점(multi-view) 영상이란 영상을 보는 사람의 눈의 위치에 따라 기하학적으로 대응하는 조금씩 다른 영상을 보여줌으로써 입체감을 주는 영상을 의미한다. 보통의 경우는 여러 시점의 영상을 동시에 다시점 디스플레이 장치에 제공하고, 이를 다시점 디스플레이 장치에서 보는 각도에 따라 각각 다른 영상을 보여줌으로써 다시점 효과를 얻게 된다.
그러나, 다시점 디스플레이 장치는 시점과 시점 사이의 크로스토크(crosstalk)가 발생할 수 있기 때문에 만족할 만한 성능을 얻고 있지 못하다. 또한, 크로스토크가 작다고 하더라도 다시점 효과를 얻을 수 있는 공간적 영역이 제한되어 있으며, 이러한 영역을 벗어나면 심한 크로스토크나 좌우 시야의 역전이 일어나는 문제를 가지고 있다. 따라서, 다시점 영상을 합성하였을 경우, 합성된 다시점 영상을 다시점 디스플레이 장치에서 제대로 디스플레이 해주는 것이 힘들다. 예컨대, 다시점 디스플레이 장치에서 다시점 영상의 합성이 제대로 이루어졌는지 확인하기 힘들고, 시청자들에게 다시점 영상을 보여주고자 할 때에도 다시점 디스플레이 장치 자체의 문제로 모션 패럴랙스(motion parallax)와 같은 다시점 효과를 보여 주기 힘든 문제가 있다.
따라서, 상술한 문제점들을 가진 다시점 디스플레이 장치 대신 2차원 디스플레이 장치를 사용하여 다시점 영상을 제공할 수 있는 기술이 필요하다. 이러한 2차원 디스플레이 장치를 통해 다시점 영상의 합성 결과를 보다 정확히 확인할 수 있도록 하며, 일반 시청자들에게도 모션 패럴랙스를 느끼게 해 줄 수 있다.
본 발명은 2차원 디스플레이를 사용하여 합성된 다시점 영상을 확인할 수 있도록 하는 장치 및 방법을 제공한다.
본 발명은 실시간으로 입력되는 다시점 영상을 2차원 디스플레이를 통해 확인할 수 있도록 하는 장치 및 방법을 제공한다.
본 발명은 다시점 파일이나 실시간 신호를 입력으로 받아 2차원, 3차원, 또는 다시점 디스플레이를 사용하여 원하는 시간이나 시점의 영상을 제공할 수 있도록 하는 장치 및 방법을 제공한다.
본 발명의 일 양태에 따르면, 2차원 디스플레이를 이용한 다시점 영상 제공 장치를 제공한다. 상기 장치는 상기 2차원 디스플레이를 통해 출력할 다시점 영상 파일을 선택하고, 상기 선택된 다시점 영상 파일로부터 출력하고자 하는 시간 및 시점 중 적어도 하나를 선택하여 상기 2차원 디스플레이로 출력해주는 선택부 및 상기 선택된 다시점 영상 파일의 다시점 합성이 필요한 경우, 상기 선택된 다시점 영상 파일에 대해 다시점 합성을 수행하되, 상기 시간 및 상기 시점 중 적어도 하나를 기초로 다시점 합성을 수행하여 상기 2차원 디스플레이에 제공하는 실시간 다시점 합성부를 포함한다.
컴퓨터나 TV와 같은 2차원 디스플레이를 사용하여 다시점 콘텐츠를 검사하거나 시청하는 것이 가능하며, 마우스, 키보드, 리모콘 등의 장치를 이용하여 원하는 시간을 조절하면서 원하는 시점의 영상을 관찰할 수 있다. 또한, 2차원 디스플레이뿐만 아니라, 3차원 및 다시점을 지원하는 디스플레이에서도 다시점 콘텐츠로부터 원하는 시점이나 시간을 선택하여 시청하는 것이 가능하다.
도 1은 본 발명의 실시예에 따른 2차원 디스플레이에서 다시점 영상을 제공하는 장치를 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 2차원 디스플레이에서 다시점 영상을 제공하는 방법을 나타낸 순서도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 또한 본 발명은 이하에서 설명하는 실시 예에 한정되지 않으며, 본 발명의 기술적 사상의 범위 내에서 여러 가지 상이한 형태로 적용될 수 있다.
본 명세서에서 설명하는 구성요소는 필요에 따라 이하에서 설명할 구성요소 이외의 것을 포함할 수 있으며, 본 발명에 직접적인 연관이 없는 부분 또는 중복되는 내용에 대해서는 자세한 설명을 생략한다. 또한, 본 명세서에서 설명하는 각 구성요소의 배치는 필요에 따라서 조정이 가능하며, 하나의 구성요소가 다른 구성요소에 포함될 수도 있고 하나의 구성요소가 둘 이상의 구성요소로 세분화 될 수도 있다.
다시점 영상(multi-view)은 3차원적인 시각 정보를 제공하는 영상으로, 하나 이상의 카메라로 촬영된 여러 시점의 영상들과, 이 여러 시점의 영상들에 관한 기하 정보, 예컨대 깊이를 느낄 수 있는 깊이 정보를 포함하는 깊이 영상 등을 이용하여 영상 합성(View Synthesis)을 수행하여 생성될 수 있다.
도 1은 본 발명의 실시예에 따른 2차원 디스플레이에서 다시점 영상을 제공하는 장치를 개략적으로 나타낸 블록도이다.
도 1을 참조하면, 다시점 영상을 제공하는 장치(100)(이하, '다시점 영상 제공 장치'라 함)는 저장부(110), 선택부(120), 실시간 다시점 합성부(130) 및 디스플레이부(140)를 포함한다.
저장부(110)는 다시점 영상을 위한 파일들을 저장하는 구성요소로, 이미 완전히 합성된 다시점 영상으로 구성된 파일, 또는 추가 처리를 통해 다시점 합성을 수행해야 하는 파일 등을 저장한다. 예컨대, 저장부(110)에 저장된 파일들이 2차원 영상 파일과 깊이 영상 파일로 존재하면 다시점 영상을 만들기 위해 디코딩 과정과 영상 합성 과정이 필요하다.
예를 들어, 저장부(110)에 저장된 다시점 영상을 위한 파일은, 파일 이름으로 시점을 표시한, 즉 시점별로 존재하는 다수의 YUV 파일일 수 있다. 또는, 기준 시점의 영상을 압축한 파일과 기준 시점과의 차이 정보를 압축한 파일을 시간적으로 담고 있는 파일들로 구성될 수 있다.
선택부(120)는 사용자로부터 디스플레이부(140)에 출력할 다시점 영상을 선택하도록 한다. 예컨대, 디스플레이부(140)를 통해 저장부(110)에 저장된 다시점 영상을 위한 파일들의 목록을 보여줄 수 있고, 사용자가 다시점 영상을 위한 파일들 중 하나를 선택하면 선택부(120)는 파일 핸들(file handle) 또는 포인터(pointer)를 이용하여 선택된 다시점 영상 파일을 여는 동작을 수행할 수 있다.
만일, 저장부(110)에 저장된 다시점 영상을 위한 파일들이, 상술한 바와 같이 시점별로 존재하는 다수의 YUV 파일로 구성되어 있거나, 시점 간의 차이 정보를 압축하여 시간순으로 구성된 파일인 경우, 사용자는 원하는 시간 및/또는 시점을 선택부(120)를 통해 선택할 수 있다. 그리고, 선택된 시간 및/또는 시점에 해당하는 파일을 읽어와서 다시점 영상을 디스플레이부(140)를 통해 출력될 수 있도록 한다. 이때, 사용자가 선택부(120)를 통해 특정 시간 및/또는 특정 시점을 임의로 연속적으로 선택할 수도 있고, 또는 미리 설정된 조건에 따라 특정 시간 및/또는 특정 시점이 선택될 수도 있다. 또는, 다시점 영상으로부터 시간과 시점 선택 없이 디스플레이부(140)를 통해 출력될 수도 있다.
예를 들어, 선택부(120)는 슬라이드 콘트롤(slide control), 트랙 바(track bar) 등과 같은 GUI(Graphic User Interface)를 이용하여 사용자가 특정 시간 및/또는 특정 시점을 선택할 수 있도록 할 수 있다. 또는, 마우스, 키보드, 리모콘 등과 같은 제어 장치를 이용하여 특정 시간 및/또는 특정 시점을 선택할 수도 있다.
선택부(120)에 의해 선택된 다시점 영상을 위한 파일이, 이미 완전히 합성된 다시점 영상으로 구성된 파일이면 디스플레이부(140)로 전달되어 출력될 수 있으며, 이미 완전히 합성된 다시점 영상 파일이 아닌 경우(예컨대, 2차원 영상과 깊이맵으로 구성된 파일의 경우 등)라면 실시간 다시점 합성부(130)로 전달될 수 있다.
실시간 다시점 합성부(130)는 선택부(120)에 의해 선택된 다시점 영상 파일 및 시간/시점에 대한 정보를 기초로 다시점 합성을 수행한다. 이때, 선택부(120)에 의해 선택된 시점에 따라 필요한 시점만 합성할 수 있다. 또는 실시간으로 입력되는 다시점 영상의 경우에 디스플레이부(140)를 통해 출력될 수 있도록 실시간으로 다시점 합성을 수행할 수 있다.
또한, 실시간 다시점 합성부(130)는 사용자에 의해 선택된 시점별 영상을 디스플레이부(140)의 화소 배치에 맞게 재배치하는 다중화(multiplexing)를 수행할 수도 있다. 만일, 디스플레이부(140)가 3차원이나 다시점을 지원하는 경우, 실시간 다시점 합성부(130)는 필요한 시점의 영상을 합성하여 이를 3차원 또는 다시점 디스플레이의 화소 배치에 맞도록 다중화할 수도 있다.
디스플레이부(140)는 선택부(120) 또는 실시간 다시점 합성부(130)로부터 입력 받은 합성된 다시점 영상을 화면을 통해 출력한다. 이때, 디스플레이부(140)는 2차원 디스플레이이나, 본 발명의 실시예에 따른 다시점 영상 제공 장치(100)는 3차원 디스플레이 및 다시점 디스플레이의 경우도 적용 가능하다.
도 2는 본 발명의 실시예에 따른 2차원 디스플레이에서 다시점 영상을 제공하는 방법을 나타낸 순서도이다. 이 방법은 도 1의 다시점 영상 제공 장치(100)에 의해 수행될 수 있다.
도 2를 참조하면, 다시점 영상 제공 장치는 다시점 영상을 입력 받는다(S200). 이때, 다시점 영상은 다시점 영상 제공 장치에 저장된 다시점 영상 파일들 중 선택된 파일일 수 있고, 또는 실시간으로 입력되는 다시점 영상 신호일 수 있다. 또는, 특정 시점 및/또는 특정 시간으로 구성된 파일일 수도 있다.
다시점 영상 제공 장치는 입력된 다시점 영상을 기초로 다시점 합성을 수행할지를 결정한다(S210).
입력된 다시점 영상이 이미 완전히 합성된 다시점 영상으로 구성된 파일이면, 다시점 영상 제공 장치는 다시점 합성을 수행하지 않고 2차원 디스플레이를 통해 입력된 다시점 영상을 출력한다(S230).
반면, 입력된 다시점 영상이 추가 처리를 통해 다시점 합성을 수행해야 하는 파일이면, 다시점 영상 제공 장치는 다시점 합성을 수행한다(S220). 예컨대, 입력된 다시점 영상이 2차원 영상과 깊이 영상으로 이루어진 파일이거나, 또는 특정 시점 및/또는 특정 시간으로 구성된 파일인 경우에 다시점 합성을 수행할 수 있다. 이때, 특정 시점 및/또는 특정 시간에 따라서 필요한 시점을 이용하여 다시점 합성을 수행하는 것이 가능하다.
그리고, 다시점 영상 제공 장치는 단계 S220에 의해 합성된 다시점 영상을 2차원 디스플레이를 통해 출력한다(S230).
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (1)

  1. 2차원 디스플레이를 이용한 다시점 영상 제공 장치에 있어서,
    상기 2차원 디스플레이를 통해 출력할 다시점 영상 파일을 선택하고, 상기 선택된 다시점 영상 파일로부터 출력하고자 하는 시간 및 시점 중 적어도 하나를 선택하여 상기 2차원 디스플레이로 출력해주는 선택부; 및
    상기 선택된 다시점 영상 파일의 다시점 합성이 필요한 경우, 상기 선택된 다시점 영상 파일에 대해 다시점 합성을 수행하되, 상기 시간 및 상기 시점 중 적어도 하나를 기초로 다시점 합성을 수행하여 상기 2차원 디스플레이에 제공하는 실시간 다시점 합성부를 포함하는 것을 특징으로 하는 다시점 영상 제공 장치.
KR1020120146897A 2012-12-14 2012-12-14 2차원 디스플레이를 이용한 다시점 영상 제공 장치 및 방법 Withdrawn KR20140077772A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120146897A KR20140077772A (ko) 2012-12-14 2012-12-14 2차원 디스플레이를 이용한 다시점 영상 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120146897A KR20140077772A (ko) 2012-12-14 2012-12-14 2차원 디스플레이를 이용한 다시점 영상 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140077772A true KR20140077772A (ko) 2014-06-24

Family

ID=51129622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120146897A Withdrawn KR20140077772A (ko) 2012-12-14 2012-12-14 2차원 디스플레이를 이용한 다시점 영상 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20140077772A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116601943A (zh) * 2020-12-07 2023-08-15 镭亚股份有限公司 实时多视图视频转换方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116601943A (zh) * 2020-12-07 2023-08-15 镭亚股份有限公司 实时多视图视频转换方法及系统

Similar Documents

Publication Publication Date Title
EP2448276B1 (en) GUI providing method, and display apparatus and 3D image providing system using the same
JP5933931B2 (ja) 設定メニューを表示する方法及び対応するデバイス
RU2519433C2 (ru) Способ и система для обработки входного трехмерного видеосигнала
JP4251952B2 (ja) 立体画像表示装置および立体画像表示方法
US11956408B2 (en) Information processing system, information processing method, and storage medium
JP2013520924A (ja) 立体映像用の字幕付け
KR101992767B1 (ko) 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법
CN103155579A (zh) 3d图像显示设备及其显示方法
CN104320647A (zh) 立体图像生成方法及显示装置
JP2015534745A (ja) 立体画像の生成、送信、及び受信方法、及び関連する装置
KR20180099756A (ko) 2차원 영상의 입체 영상화 표시장치
JPS63167594A (ja) 立体ス−パ−インポ−ズ装置
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
US20180249145A1 (en) Reducing View Transitions Artifacts In Automultiscopic Displays
US9407901B2 (en) Method of displaying content list using 3D GUI and 3D display apparatus applied to the same
KR101228916B1 (ko) 멀티 비젼의 3차원 영상 표시 장치 및 방법
CN103314597A (zh) 立体图像处理装置、立体图像处理方法以及程序
JP2014207492A (ja) 立体映像表示装置
US8855472B2 (en) Video editing apparatus, video editing method, program, and integrated circuit
US9253477B2 (en) Display apparatus and method for processing image thereof
KR101826025B1 (ko) 사용자 인터렉션이 가능한 3d 영상 콘텐츠 생성 시스템 및 방법
US20140198098A1 (en) Experience Enhancement Environment
KR101347545B1 (ko) 2ｄ-3ｄ 겸용 멀티비전 시스템
WO2022196074A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN121462747A (zh) 图像输出方法和显示设备

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20121214

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid