KR20180051202A - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR20180051202A
KR20180051202A KR1020160148222A KR20160148222A KR20180051202A KR 20180051202 A KR20180051202 A KR 20180051202A KR 1020160148222 A KR1020160148222 A KR 1020160148222A KR 20160148222 A KR20160148222 A KR 20160148222A KR 20180051202 A KR20180051202 A KR 20180051202A
Authority
KR
South Korea
Prior art keywords
server
image
segment
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020160148222A
Other languages
English (en)
Inventor
김대왕
전한별
박정훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160148222A priority Critical patent/KR20180051202A/ko
Priority to JP2019520422A priority patent/JP6751205B2/ja
Priority to CN201780068988.7A priority patent/CN109923868A/zh
Priority to EP17868701.8A priority patent/EP3507988A4/en
Priority to PCT/KR2017/011907 priority patent/WO2018088730A1/en
Priority to US15/796,956 priority patent/US20180131920A1/en
Publication of KR20180051202A publication Critical patent/KR20180051202A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명에 따른 디스플레이장치에 있어, 세그먼트로 분할된 복수의 해상도의 컨텐츠를 제공할 수 있는 서버와 통신하는 통신부와; 컨텐츠에 대하여 영상처리를 수행하는 영상처리부와; 처리된 컨텐츠의 영상을 표시하는 디스플레이부와; 서버로부터 컨텐츠의 제1해상도의 세그먼트를 수신하여, 수신된 세그먼트에 기초하여 입체영상의 일 영역을 디스플레이부에 표시하고, 입체영상 중 표시 가능성이 높은 영역에 관련된 정보를 서버로 전송하여, 서버로부터 표시 가능성이 높은 영역에 대응하며 제1해상도보다 높은 제2해상도의 세그먼트를 수신하고, 수신된 세그먼트에 기초하여 입체영상을 표시하도록 제어하는 제어부를 포함한다. 이에 따라, 다방위영상의 시청시, 사용자에게 높은 화질의 다방위영상을 지속적으로 제공할 수 있다.

Description

디스플레이장치 및 그 제어방법 {DISPLAY APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 컨텐츠 영상을 수신하기 위한 디스플레이장치 및 그 제어방법에 관한 것이다.
다방위영상(Extended Video)은 여러 개의 렌즈를 통해 촬영한 영상을 스티칭(Stitching) 방식으로 이어 붙여 만들어지는 영상이다. 다방위영상의 예로서, 360도 영상의 경우 2개 이상의 렌즈를 사용하여 360도 사방으로 빈틈이 없게 촬영하여 제작된다. 이와 같이 제작된 360도 영상은 예컨대 VR(Virtual Reality) 장치 등을 통해 영상의 좌, 우, 상, 하, 앞, 뒤의 모든 면을 보는 것이 가능하다.
최근 영상 기술의 발전에 따라 이러한 다방위영상이 점점 보편화되고 있으나, 높은 화질의 다방위영상을 사용자에게 제공하기 위해서는 일반 영상보다 훨씬 큰 대역폭이 요구된다. 그러나, 사용자가 사용하는 시청 장치의 네트워크 상태는 천차만별이므로, 높은 화질의 다방위영상을 지속적으로 제공하기 어려운 문제점이 있다.
또한, 한정된 네트워크 대역폭을 가지는 경우에 있어서도, 사용자는 선명하고실감나는 다방위영상을 시청하고자 하는 요구가 있다.
따라서, 본 발명의 목적은, 다방위영상의 시청시, 사용자에게 높은 화질의 다방위영상을 지속적으로 제공하기 위한 디스플레이장치 및 그 제어방법을 제공하는 것이다.
또한, 본 발명의 또 다른 목적은, 다방위영상의 시청시, 한정된 네트워크 상태에서도 사용자에게 선명하고 실감나는 다방위영상을 제공하기 위한 디스플레이장치 및 그 제어방법을 제공하는 것이다.
상기 목적은, 본 발명에 따라, 디스플레이장치에 있어, 세그먼트로 분할된 복수의 해상도의 컨텐츠를 제공할 수 있는 서버와 통신하는 통신부와; 컨텐츠에 대하여 영상처리를 수행하는 영상처리부와; 처리된 컨텐츠의 영상을 표시하는 디스플레이부와; 서버로부터 컨텐츠의 제1해상도의 세그먼트를 수신하여, 수신된 세그먼트에 기초하여 입체영상의 일 영역을 디스플레이부에 표시하고, 입체영상 중 표시 가능성이 높은 영역에 관련된 정보를 서버로 전송하여, 서버로부터 표시 가능성이 높은 영역에 대응하며 제1해상도보다 높은 제2해상도의 세그먼트를 수신하고, 수신된 세그먼트에 기초하여 입체영상을 표시하도록 제어하는 제어부를 포함하는 디스플레이장치에 의해 달성될 수 있다.
이와 같은 본 발명의 실시예에 따라, 다방위영상(예컨대 360도 영상)의 시청시, 사용자에게 높은 화질의 다방위영상을 지속적으로 제공할 수 있다.
상기 정보는, 상기 사용자의 현재 시선, 사용자들의 시간대별 시선이동 정보, 사용자의 제스처 및 음성에 관한 정보 중 적어도 하나를 포함할 수 있다.
상기 서버는, 상기 디스플레이장치로부터 수신된 정보와 상기 컨텐츠에 포함되어 있는 상기 컨텐츠의 제작정보 및 광고정보 중 적어도 하나에 기초하여 상기 입체영상 중 표시 가능성이 높은 영역을 결정할 수 있다. 이에 따라, 사용자의 시선의 이동을 예측하기 위한 여러 정보들을 고려하여 화면에 표시될 가능성이 높은 다방위영상의 영역을 고해상도로 스트리밍할 수 있다.
상기 제어부는, 상기 서버로 상기 디스플레이장치의 네트워크 상태에 관한 정보를 전송하고, 상기 전송된 네트워크 상태에 기초하여 상기 서버로부터 수신되는 세그먼트의 영상의 최대 해상도를 결정할 수 있다. 이에 따라, 사용자의 시청장치의 네트워크 상태를 고려하여, 최적의 해상도로 다방위영상을 스트리밍할 수 있다.
상기 제어부는, 상기 서버로부터 상기 표시 가능성이 높은 영역에 대응하지 않는 세그먼트를 상기 제1해상도보다 낮은 제3해상도로 처리하여 수신할 수 있다. 이에 따라, 사용자의 시선 이동에 따라 화면에 표시될 가능성이 높은 다방위영상의 일부를 다른 부분에 비해 높은 해상도로 처리함에 의해 한정된 네트워크 상태에서 보다 높은 품질의 영상을 제공할 수 있다.
상기 제어부는, 상기 서버로부터 수신되는 상기 표시 가능성이 높은 영역에 대응하는 제1세그먼트와, 상기 표시 가능성이 높은 영역에 대응하지 않는 제2세그먼트를 스티칭 방식으로 연결하도록 상기 영상처리부를 제어할 수 있다. 이에 따라, 서로 다른 해상도로 수신되는 세그먼트를 연결하여 하나의 프레임으로 재생하도록 할 수 있다.
상기 제어부는, 상기 서버로부터 상기 표시 가능성이 높은 영역에 대응하는 제1세그먼트를 우선적으로 수신하고, 상기 표시 가능성이 높은 영역에 대응하지 않는 제2세그먼트를 이후에 수신할 수 있다. 이에 따라, 화면에 표시될 가능성이 높은 다방위영상의 일부를 우선적으로 스트리밍하고, 화면에 표시될 가능성이 적은 부분은 그 이후에 스트리밍함에 의해 한정된 네트워크 상태에서 보다 높은 품질의 영상을 제공할 수 있다.
상기 제어부는, 상기 서버로 상기 표시 가능성이 높은 영역에 관련된 정보를 주기적으로 전송할 수 있다. 이에 따라, 사용자의 시선의 이동을 예측하기 위한 가장 최근의 정보들을 반영하여 화면에 표시될 가능성이 높은 다방위영상의 일부를 스트리밍할 수 있다.
상기 제어부는, 상기 사용자의 현재 시선이 소정 시간 이상 유지되는 경우 상기 서버로 상기 사용자의 현재 시선에 관한 정보를 전송할 수 있다. 이에 따라, 화면에 표시될 가능성이 높은 다방위영상의 일부를 결정함에 있어 사용자의 현재 시선이 일정 시간 이상 유지되는 상태를 의미있는 정보로 반영하도록 할 수 있다.
상기 서버는, 상기 세그먼트로 분할된 컨텐츠를 복수의 해상도별로 처리하여 저장할 수 있다. 이에 따라, 화면에 표시될 가능성이 높은 다방위영상의 영역에 대응하여 미리 저장되어 있는 고해상도의 세그먼트를 스트리밍할 수 있다.
상기 목적은, 본 발명에 따라, 디스플레이장치의 제어방법에 있어, 세그먼트로 분할된 복수의 해상도의 컨텐츠를 제공할 수 있는 서버와 통신하는 단계와; 서버로부터 컨텐츠의 제1해상도의 세그먼트를 수신하여, 수신된 세그먼트에 기초하여 입체영상의 일 영역을 표시하는 단계와; 입체영상 중 표시 가능성이 높은 영역에 관련된 정보를 서버로 전송하는 단계와; 서버로부터 표시 가능성이 높은 영역에 대응하며 제1해상도보다 높은 제2해상도의 세그먼트를 수신하는 단계와; 수신된 세그먼트에 기초하여 입체영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서도 달성될 수 있다.
이와 같은 본 발명의 실시예에 따라, 다방위영상(예컨대 360도 영상)의 시청시, 사용자에게 높은 화질의 다방위영상을 지속적으로 제공할 수 있다.
상기 정보는, 상기 사용자의 현재 시선, 사용자들의 시간대별 시선이동 정보, 사용자의 제스처 및 음성에 관한 정보 중 적어도 하나를 포함할 수 있다.
상기 서버는, 상기 디스플레이장치로부터 수신된 정보와 상기 컨텐츠에 포함되어 있는 상기 컨텐츠의 제작정보 및 광고정보 중 적어도 하나에 기초하여 상기 입체영상 중 표시 가능성이 높은 영역을 결정할 수 있다. 이에 따라, 사용자의 시선의 이동을 예측하기 위한 여러 정보들을 고려하여 화면에 표시될 가능성이 높은 다방위영상의 영역을 고해상도로 스트리밍할 수 있다.
상기 서버로 상기 디스플레이장치의 네트워크 상태에 관한 정보를 전송하는 단계와; 상기 전송된 네트워크 상태에 기초하여 상기 서버로부터 수신되는 세그먼트의 영상의 최대 해상도를 결정하는 단계를 포함할 수 있다. 이에 따라, 사용자의 시청장치의 네트워크 상태를 고려하여, 최적의 해상도로 다방위영상을 스트리밍할 수 있다.
상기 서버로부터 상기 표시 가능성이 높은 영역에 대응하지 않는 세그먼트를 상기 제1해상도보다 낮은 제3해상도로 처리하여 수신하는 단계를 포함할 수 있다. 이에 따라, 사용자의 시선 이동에 따라 화면에 표시될 가능성이 높은 다방위영상의 일부를 다른 부분에 비해 높은 해상도로 처리함에 의해 한정된 네트워크 상태에서 보다 높은 품질의 영상을 제공할 수 있다.
상기 서버로부터 수신되는 상기 표시 가능성이 높은 영역에 대응하는 제1세그먼트와, 상기 표시 가능성이 높은 영역에 대응하지 않는 제2세그먼트를 스티칭 방식으로 연결하는 단계를 포함할 수 있다. 이에 따라, 서로 다른 해상도로 수신되는 세그먼트를 연결하여 하나의 프레임으로 재생하도록 할 수 있다.
상기 서버로부터 상기 표시 가능성이 높은 영역에 대응하는 제1세그먼트를 우선적으로 수신하는 단계와; 상기 표시 가능성이 높은 영역에 대응하지 않는 제2세그먼트를 이후에 수신하는 단계를 포함할 수 있다. 이에 따라, 화면에 표시될 가능성이 높은 다방위영상의 일부를 우선적으로 스트리밍하고, 화면에 표시될 가능성이 적은 부분은 그 이후에 스트리밍함에 의해 한정된 네트워크 상태에서 보다 높은 품질의 영상을 제공할 수 있다.
상기 서버로 상기 표시 가능성이 높은 영역에 관련된 정보를 주기적으로 전송하는 단계를 포함할 수 있다. 이에 따라, 사용자의 시선의 이동을 예측하기 위한 가장 최근의 정보들을 반영하여 화면에 표시될 가능성이 높은 다방위영상의 일부를 스트리밍할 수 있다.
상기 사용자의 현재 시선이 소정 시간 이상 유지되는 경우 상기 서버로 상기 사용자의 현재 시선에 관한 정보를 전송하는 단계를 포함할 수 있다. 이에 따라, 화면에 표시될 가능성이 높은 다방위영상의 일부를 결정함에 있어 사용자의 현재 시선이 일정 시간 이상 유지되는 상태를 의미있는 정보로 반영하도록 할 수 있다.
상기 서버는, 상기 세그먼트로 분할된 컨텐츠를 복수의 해상도별로 처리하여 저장할 수 있다. 이에 따라, 화면에 표시될 가능성이 높은 다방위영상의 영역에 대응하여 미리 저장되어 있는 고해상도의 세그먼트를 스트리밍할 수 있다.
상기한 바와 같이, 본 발명에 의하면, 다방위영상의 시청시, 사용자에게 높은 화질의 다방위영상을 지속적으로 제공하는 효과가 있다.
또한, 본 발명에 의하면, 다방위영상의 시청시, 한정된 네트워크 상태에서도 사용자에게 선명하고 실감나는 다방위영상을 제공하는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 사용자에게 제공되는 다방위영상의 가상 인터페이스를 도시한 예이다.
도 3은 본 발명의 일실시예에 따른 다방위영상의 생성방법을 도시한 예이다.
도 4는 본 발명의 일실시예에 따른 사용자의 시선 이동에 따라 화면에 표시되는 다방위영상의 예를 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 디스플레이장치가 서버로부터 다방위영상을 스트리밍하기 위한 과정을 도시한 예이다.
도 6은 본 발명의 일실시예에 따른 디스플레이장치가 서버로부터 다방위영상을 스트리밍하기 위한 구성을 도시한 블록도이다.
도 7은 본 발명의 일실시예에 따른 디스플레이장치의 제어방법을 나타내는 흐름도이다.
이하, 첨부도면을 참조하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.
이하에서는, 도 1 내지 도 6를 통해 본 발명에 따른 디스플레이장치(10)의 구성 및 주요 실시예에 대해 설명하기로 한다. 도 1은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 실시예에 의한 디스플레이장치(10)는 통신부(11), 영상처리부(12), 디스플레이부(13), 사용자입력부(14), 제어부(15) 및 저장부(16)를 포함하고, 예컨대 VR(Virtual Reality) 장치, TV, 스마트 폰, 태블릿, 컴퓨터 등으로 구현될 수 있다. 본 발명의 디스플레이장치(10)는 통신부(11)를 통해 서버(19)와 연결되고, 연결된 서버(19)로부터 컨텐츠의 영상신호를 수신한다. 본 발명의 디스플레이장치(10)에 포함되는 구성은 앞서 기재된 일실시예에 의해 한정되지 않고, 일부 구성을 제외하여 구성되거나, 추가적인 다른 구성들을 포함하여 구현될 수 있다.
본 발명의 일실시예에 의한 디스플레이장치(10)는 컨텐츠의 영상으로부터 분할된 복수의 세그먼트의 영상(191, 192, 193, ...) 중 디스플레이부(13)에 표시될 가능성이 높은 컨텐츠의 영상의 표시예상영역(131)이 포함되는 적어도 하나의 세그먼트의 영상을 우선적으로 수신한다.
또한, 본 발명의 일실시예에 의한 디스플레이장치(10)는 컨텐츠의 영상으로부터 분할된 복수의 세그먼트의 영상(191, 192, 193, ...) 중 디스플레이부(13)에 표시될 가능성이 높은 컨텐츠의 영상의 표시예상영역(131)이 포함되는 적어도 하나의 세트먼트의 영상을 높은 품질로 처리한다.
서버(19)는 컨텐츠 제작자에 의해 제작된 컨텐츠의 영상을 저장하고, 디스플레이장치(10)의 요청에 따라 컨텐츠의 영상을 제공하는 컨텐츠 제공장치로 마련될 수 있다. 여기서, 컨텐츠의 영상은 다방위영상(Extended Video)으로 마련될 수 있고, 예컨대 모든 방향에서 시청 가능한 360도 영상으로 마련될 수 있다. 다방위영상은 둘 이상의 렌즈를 이용하여 각각 촬영된 둘 이상의 영상을 스티칭(Stitching) 방식으로 이어 붙여 제작된다. 일실시예로서, 다방위영상은 영역 및 시간대별로 컨텐츠 제작자가 설정한 가중치 정보를 포함할 수 있고, 설정된 가중치 정보에 의해 영역 및 시간대별로 적용할 해상도가 결정될 수 있다.
서버(19)는 복수의 컨텐츠의 영상을 저장하고, 각각의 컨텐츠의 영상으로부터 분할된 복수의 세그먼트의 영상(191, 192, 193, ...)을 복수의 해상도별로 저장한다. 예로서, 서버(19)에 360도 영상을 저장시, 360도 영상을 상, 하, 좌, 우, 앞, 뒤 등 모든 방향을 고려하여 상좌, 상우, 상앞, 상뒤, 하좌, 하우, 하앞, 하뒤 등의 영역에 대응하는 복수의 세그먼트로 분할하여 저장하도록 한다. 이 때, 서버(19)는 분할된 각각의 세그먼트에 대해, 해상도가 서로 다른 복수의 영상으로 저장한다. 예로서, 360도 영상으로부터 분할된 복수의 세그먼트 중 상좌 영역에 해당하는 세그먼트에 대해, 1280*720(720p), 1920*1080(1080p) 및 3840*2160(4K)의 해상도로 영상을 각각 저장하고, 마찬가지로 다른 세그먼트에 대해서도 여러 해상도별로 영상을 저장한다.
통신부(11)는 복수의 컨텐츠의 영상을 저장하고 있는 서버(19)와 유선 또는 무선 통신방식으로 통신하고, 서버(19)로부터 컨텐츠의 영상을 수신한다. 또한, 통신부(11)는 디스플레이장치(10)에서 수집된 네트워크 상태, 사용자의 현재 시선, 사용자의 제스처 및 음성에 관한 정보 등을 서버(19)로 전송한다. 통신부(11)는 이더넷(Ethernet) 등과 같은 유선 통신방식으로 서버(19)와 통신하거나, 와이파이(Wi-Fi) 또는 블루투스(Bluetooth) 등과 같은 무선 통신방식으로 무선공유기를 통해 서버(19)와 통신할 수 있다. 예로서, 통신부(11)는 와이파이와 같은 무선통신 모듈을 포함하는 회로기판(PCB: Printed Circuit Board)으로 마련될 수 있다. 통신부(11)가 통신하는 방식은 이에 한정되지 않고, 다른 통신방식을 이용하여 서버(19)와 통신할 수도 있다.
영상처리부(12)는 통신부(11)를 통해 서버(19)로부터 수신된 컨텐츠의 영상신호에 대해 기 설정된 영상처리 프로세스를 수행한다. 본 발명의 실시예에 의하면, 영상처리부(12)는 컨텐츠의 영상으로부터 분할된 복수의 세그먼트의 영상(191, 192, 193, ...) 중 디스플레이부(13)에 표시될 가능성이 높은 컨텐츠 영상의 표시예상영역(131)이 포함되는 적어도 하나의 세그먼트의 영상이 수신되면, 수신된 적어도 하나의 세그먼트의 영상에 대응하는 프레임들을 스티칭 방식으로 결합하여 하나의 프레임이 되도록 영상처리를 수행한다.
영상처리부(12)에서 수행하는 영상처리 프로세스의 예로서, 디멀티플렉싱(de-multiplexing), 디코딩(decoding), 디인터레이싱 (de-interlacing), 스케일링(scaling), 노이즈 감소(noise reduction), 디테일 인핸스먼트(detail enhancement) 등이 있으며, 그 종류는 한정되지 않는다. 영상처리부(12)는 이러한 여러 기능을 통합시킨 SOC(System-On-Chip) 또는 각 프로세스를 독자적으로 수행할 수 있는 개별 구성들이 장착된 영상처리보드로 구현될 수 있다.
디스플레이부(13)는 영상처리부(12)에서 처리된 영상신호에 기초하여 컨텐츠의 영상을 표시한다. 본 발명의 실시예에 의하면, 디스플레이부(13)는 사용자입력에 기초하여 컨텐츠의 영상의 일부 영역을 표시한다. 구체적으로, 디스플레이부(13)는 컨텐츠의 영상으로부터 분할된 복수의 세그먼트의 영상(191, 192, 193, ...) 중 표시될 가능성이 높은 컨텐츠 영상의 표시예상영역(131)이 포함되는 적어도 하나의 세그먼트의 영상을 표시한다.
디스플레이부(13)의 구현 방식은 한정되지 않는 바, 디스플레이부(13)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), 플렉시블 디스플레이(flexible display) 등 다양한 형태로 구현될 수 있다.
사용자입력부(14)는 디스플레이장치(10)의 적어도 하나의 기능을 제어하기 위한 사용자입력을 수신한다. 본 발명의 실시예에 의하면, 사용자입력부(14)는 디스플레이부(13)에 컨텐츠의 영상의 일부 영역을 표시하기 위한 사용자입력을 수신한다.
사용자입력부(14)는 디스플레이장치(10)와 적외선 방식으로 통신하고 복수의 버튼을 포함하는 리모트 컨트롤러로 구현될 수 있다. 사용자입력부(14)는 디스플레이장치(10)와 연결되는 키보드, 마우스 등으로 구현되거나, 디스플레이장치(10)에 마련되는 터치스크린 또는 외측에 구비되는 입력패널로 구현될 수도 있다. 또한, 사용자입력부(14)는 동공 또는 목의 움직임을 통해 사용자의 시선 이동을 감지할 수 있는 홍채인식 센서(sensor)나 자이로 센서(Gyro sensor)로 구현될 수 있다. 이 외에도 사용자입력부(14)는 사용자의 음성을 감지할 수 있는 음성인식 센서나, 사용자의 제스처를 감지할 수 있는 모션인식 센서 등으로 구현될 수도 있다.
저장부(16)는 디스플레이장치(10)에서 재생될 수 있는 복수의 컨텐츠의 영상을 저장한다. 저장부(16)는 통신부(11)를 통해 서버(19)로부터 수신된 컨텐츠의 영상을 저장하거나, 디스플레이장치(10)에 직접 연결되는 USB 메모리 등의 장치로부터 획득된 컨텐츠의 영상을 저장할 수 있다. 저장부(16)는 저장된 컨텐츠 영상의 데이터에 대해 독취(read), 기록(write), 수정(edit), 삭제(delete), 갱신(update) 등이 수행되도록 한다. 저장부(16)는 디스플레이장치(10)의 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현된다.
제어부(15)는 디스플레이장치(10)에 포함된 모든 구성들이 동작을 수행할 수 있도록 프로그램 명령의 실행을 제어하는 적어도 하나의 프로세서(processor)로 구현된다. 적어도 하나의 프로세서는 CPU(Central Processing Unit)로 구현될 수 있고, 제어, 연산, 레지스터의 세 영역을 포함한다. 제어영역은 프로그램 명령어를 해석하고, 해석된 명령의 의미에 따라 디스플레이장치(10)의 각 구성으로 동작을 지시한다. 연산영역은 산술 연산 및 논리 연산을 수행하고, 제어영역의 지시에 따라 디스플레이장치(10)의 각 구성이 동작하기 위해 필요한 연산을 수행한다. 레지스터는 CPU에서 명령어를 실행하는 동안 필요한 정보들을 저장하는 기억 장소로, 디스플레이장치(10)의 각 구성에 대한 명령어 및 데이터들을 저장하고, 연산된 결과를 저장한다.
제어부(15)는 컨텐츠의 영상으로부터 분할된 복수의 세그먼트의 영상(191, 192, 193, ...) 중 디스플레이부(13)에 표시될 가능성이 높은 컨텐츠의 영상의 표시예상영역(131)이 포함되는 적어도 하나의 세그먼트의 영상을 우선적으로 수신한다. 제어부(15)는 수신된 세그먼트의 영상을 처리하여 디스플레이부(13)에 표시한다.
여기서, 표시예상영역은, 사용자의 현재 시선, 사용자들의 시간대별 시선이동 정보, 상기 컨텐츠의 제작정보, 광고정보, 사용자의 제스처 및 음성에 관한 정보 중 적어도 하나에 기초하여 결정될 수 있다.
일실시예로서, 제어부(15)는 사용자의 현재 시선 방향에 대응하는 컨텐츠 영상의 일부가 포함된 세그먼트의 영상을 서버(19)로부터 우선적으로 스트리밍할 수 있다. 이에 따라, 컨텐츠 영상을 시청함에 있어, 사용자의 현재 시선이 유지되고 있는 영역을 보다 높은 품질로 시청하도록 할 수 있다.
제어부(15)는 사용자의 현재 시선이 소정 시간 이상 유지되는 경우, 사용자의 현재 시선에 관한 정보를 서버(19)로 전송하여, 현재 시선에 대응하는 컨텐츠 영상의 일부가 사용자에 의해 다시 선택되는 경우 높은 품질로 처리되도록 할 수 있다. 예로서, 디스플레이장치(10)는 사용자가 컨텐츠 영상의 재생시 선택한 화각(angle of view)이 소정 시간 유지되는 경우, 해당 화각에 대한 정보를 서버(19)로 전송한다. 이에 따라, 사용자가 선택한 의미있는 화각에 대해 고품질의 영상을 스트리밍하도록 할 수 있다.
일실시예로서, 제어부(15)는 컨텐츠의 영상을 이전에 시청했던 사용자들의 시청 히스토리 정보 중 시간대별 사용자들의 시선이동 정보를 이용하여, 디스플레이부(13)에 표시될 가능성이 높은 영역에 대응하는 세그먼트의 영상을 서버(19)로부터 우선적으로 스트리밍할 수 있다.
여기서, 서버(19)는 시간대별 사용자들의 시선이동 정보에 기초하여, 컨텐츠 영상에 대한 시간대별 추천 화각(angle of view) 정보를 생성할 수 있다. 이 때, 서버(19)는 생성한 시간대별 추천 화각 정보를 이용하여, 스트리밍을 위한 화각별 컨텐츠 영상의 해상도를 조정할 수 있다.
이에 따라, 컨텐츠 영상을 시청함에 있어, 이전에 시청한 사용자들의 시간대별 시선 이동 정보를 고려하여 현재의 사용자에 의해 표시될 가능성이 높은 컨텐츠 영상의 영역을 보다 높은 품질로 시청하도록 할 수 있다.
일실시예로서, 제어부(15)는 사용자의 현재 시선이 유지되고 있는
일실시예로서, 제어부(15)는 컨텐츠 제작자에 의해 컨텐츠의 영상에 대해 부여된 영역 및 시간대별 가중치 정보를 이용하여, 가중치가 높은 영역 및 시간대에 대응하는 세그먼트의 영상을 서버(19)로부터 우선적으로 스트리밍할 수 있다. 이에 따라, 컨텐츠 영상을 시청함에 있어, 컨텐츠 제작자가 의도한 영역 및 시간대에 대응하는 컨텐츠 영상의 영역을 보다 높은 품질로 시청하도록 할 수 있다.
일실시예로서, 제어부(15)는 컨텐츠의 영상에 삽입되는 광고 컨텐츠가 포함되는 영역 및 시간대에 대응하는 세그먼트의 영상을 서버(19)로부터 우선적으로 스트리밍할 수 있다. 이에 따라, 컨텐츠 영상을 시청함에 있어, 사용자가 컨텐츠의 영상에 포함된 광고를 보다 높은 품질로 시청하도록 할 수 있다.
일실시예로서, 제어부(15)는 사용자의 음성 발화 또는 제스처에 기초하여, 디스플레이부(13)에 표시될 가능성이 높은 영역에 대응하는 세그먼트의 영상을 서버(19)로부터 우선적으로 스트리밍할 수 있다. 이에 따라, 컨텐츠 영상을 시청함에 있어, 사용자의 음성 또는 제스처에 의해 표시되는 컨텐츠 영상의 영역을 보다 높은 품질로 시청하도록 할 수 있다.
제어부(15)는, 표시예상영역(131)이 포함되는 적어도 하나의 세그먼트의 영상을 높은 해상도로 처리하여 우선적으로 수신할 수 있다. 예로서, 컨텐츠 영상을 시청시, 사용자의 현재 시선이 소정 시간 이상 유지되고 있는 영역을 보다 높은 해상도로 제공할 수 있다.
제어부(15)는, 복수의 세그먼트의 영상(191, 192, 193, ...) 중 표시예상영역(131)에 대응하는 적어도 하나의 제1세그먼트의 영상을 수신한 이후, 표시예상영역(131)에 대응하지 않는 적어도 하나의 제2세그먼트의 영상을 수신할 수 있다. 예로서, 컨텐츠 영상을 시청시, 이전에 시청했던 사용자들의 시간대별 시선이동 정보를 고려하여, 현재 사용자의 시선 이동에 의해 표시될 가능성이 높은 영역에 대응하는 세그먼트의 영상을 우선적으로 수신함에 의해, 한정된 네트워크 상태에서도 높은 품질의 영상을 제공할 수 있다.
제어부(15)는 서버(19)로부터 표시예상영역(131)이 포함되는 적어도 하나의 세그먼트의 영상을 우선적으로 스트리밍할 수 있다. 여기서, 제어부(15)는, 서버(19)로 디스플레이장치(10)의 네트워크 상태에 관한 정보를 전송하고, 전송된 네트워크 정보에 기초하여 서버(19)로부터 우선적으로 스트리밍되는 적어도 하나의 세그먼트의 영상의 최대 해상도를 결정할 수 있다. 이에 따라, 서버(19)로부터 디스플레이부(13)에 표시될 가능성이 높은 표시예상영역(131)의 영상을 높은 품질로 지속적으로 제공할 수 있다. 또한, 디스플레이장치(10)의 네트워크 상태를 고려하여 최적의 해상도로 영상을 제공할 수 있다.
본 발명의 또 다른 실시예에 의하면, 제어부(15)는 컨텐츠의 영상으로부터 분할된 복수의 세그먼트의 영상(191, 192, 193, ...) 중 디스플레이부(13)에 표시될 가능성이 높은 컨텐츠의 영상의 표시예상영역(131)이 포함되는 적어도 하나의 세그먼트의 영상을 높은 품질로 처리한다.
여기서, 표시예상영역(131)은, 사용자의 현재 시선, 사용자들의 시간대별 시선이동 정보, 상기 컨텐츠의 제작정보, 광고정보, 사용자의 제스처 및 음성에 관한 정보 중 적어도 하나에 기초하여 결정될 수 있다. 이에 따라, 사용자의 시선의 이동을 예측하기 위한 여러 정보들을 고려하여 화면에 표시될 컨텐츠 영상의 영역을 예측하고, 보다 높은 품질로 처리할 수 있다.
제어부(15)는 표시예상영역(131)이 포함되는 적어도 하나의 세그먼트의 영상을 높은 해상도로 처리할 수 있다. 이에 따라, 사용자의 시선 이동에 따라 화면에 표시될 가능성이 높은 컨텐츠 영상의 일부를 높은 화질로 제공할 수 있다.
제어부(15)는 복수의 세그먼트의 영상(191, 192, 193, ...) 중 표시예상영역(131)에 대응하는 적어도 하나의 제1세그먼트의 영상을 제1해상도로 처리하고, 표시예상영역(131)에 대응하지 않는 상기 적어도 하나의 제2세그먼트의 영상을 제1해상도보다 낮은 제2해상도로 처리할 수 있다.
제어부(15)는 서버(19)로부터 표시예상영역(131)이 포함되는 적어도 하나의 세그먼트의 영상을 높은 해상도로 스트리밍할 수 있다. 예로서, 도 4에 도시된 바와 같이, 사용자의 시선 이동(49)에 따라 디스플레이부(13)에 표시되던 다방위영상(21)의 제1표시예상영역(481)이 제2표시예상영역(482)으로 이동되는 경우, 다방위영상(21)로부터 분할된 복수의 세그먼트의 영상(41, 42, 43, 44, 45, 46) 중 제2표시예상영역(482)이 포함되는 네 개의 세그먼트의 영상(42, 43, 45, 46)을 높은 해상도로 스트리밍한다. 이 때, 복수의 세그먼트의 영상(41, 42, 43, 44, 45, 46) 중 제2표시예상영역(482)이 포함되지 않는 세그먼트의 영상(41, 44)은 네 개의 세그먼트의 영상(42, 43, 45, 46)보다 낮은 해상도로 스트리밍한다.
이와 같은 실시예에 의해, 사용자의 시선 이동에 따라 화면에 표시될 가능성이 높은 컨텐츠 영상의 일부를 다른 부분에 비해 높은 해상도로 스트리밍함에 의해 한정된 네트워크 상태에서 사용자에게 선명한 화질의 영상을 제공할 수 있다.
제어부(15)는, 서버(19)로 디스플레이장치(10)의 네트워크 상태에 관한 정보를 전송하고, 전송된 네트워크 상태에 기초하여 서버(19)로부터 스트리밍되는 적어도 하나의 세그먼트의 영상의 최대 해상도를 결정할 수 있다. 이에 따라, 디스플레이장치(10)의 네트워크 상태를 고려하여, 사용자에게 최적의 해상도로 컨텐츠 영상을 제공할 수 있다.
상기와 같이, 본 발명의 실시예에 의한 디스플레이장치(10)는, 다방위영상의 시청시, 사용자에게 높은 화질의 다방위영상을 지속적으로 제공할 수 있다. 또한, 한정된 네트워크 상태에서도 사용자에게 선명하고 실감나는 다방위영상을 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 사용자에게 제공되는 다방위영상의 가상 인터페이스를 도시한 예이다. 도 2에 도시된 바와 같이, 사용자가 VR장치(22)를 통해 다방위영상(21)을 시청하는 경우, VR장치(22)의 화면에는 사용자의 현재 시선 방향에 대응하여, 다방위영상(21)의 일부, 즉 제1표시예상영역의 영상(23)이 표시된다. 이 때, 다방위영상(21) 중 제1표시예상영역의 영상(23)이 포함되는 영역을 높은 해상도로 스트리밍하여 사용자에게 높은 품질의 영상을 제공할 수 있다.
일실시예로서, 다방위영상(21)을 이전에 시청했던 사용자들의 시청 히스토리 정보 중 시간대별 사용자들의 시선이동 정보를 참조하여, VR장치(22)의 화면에 표시될 가능성이 높은 영상으로서 제2표시예상영역의 영상(24)이 예측될 수 있다. 이 경우, 다방위영상(21) 중 제2표시예상영역의 영상(24)이 포함되는 영역을 우선적으로 스트리밍할 수 있다. 또한, 제2표시예상영역의 영상(24)이 포함되는 영역을 높은 해상도로 스트리밍할 수 있다.
다른 실시예로서, 다방위영상(21)에 삽입되어 있는 광고 컨텐츠가 포함되는 영역 및 시간대에 대한 정보를 참조하여, VR장치(22)의 화면에 표시될 가능성이 높은 영상으로서 제3표시예상영역의 영상(25)이 예측될 수 있다. 이 경우, 다방위영상(21) 중 제3표시예상영역의 영상(25)이 포함되는 영역을 우선적으로 스트리밍할 수 있다. 또한, 제3표시예상영역의 영상(25)이 포함되는 영역을 높은 해상도로 스트리밍할 수 있다.
상기와 같이, 본 발명의 실시예에 의하면, 다방위영상(21)의 시청시, 사용자의 현재 시선정보, 이전에 시청했던 사용자들의 시청 히스토리 정보 및 광고정보 등 사용자의 시선 이동을 예측하기 위한 여러 정보들을 고려하여 화면에 표시될 가능성이 높은 다방위영상(21)의 일부를 높은 품질로 제공할 수 있다.
도 3은 본 발명의 일실시예에 따른 다방위영상의 생성방법을 도시한 예이다. 도 3에 도시된 바와 같이, 다방위영상의 예로서, 360도 영상을 생성하기 위해, 먼저 여러 대의 카메라를 이용하여 전 방위에 대응하는 복수의 영상을 촬영한다. 예를 들면, 촬영범위가 180도인 제1렌즈 및 제2렌즈를 이용하여 각각 촬영된 제1방위영상(31) 및 제2방위영상(32)를 획득한다.
다음으로, 제1방위영상(31) 및 제2방위영상(32)을 스티칭(Stitching) 방식으로 연결하여 구(Sphere) 형태로 매핑하고, 이를 다시 서로 다른 기기에서 호환될 수 있도록 정방형(Equirectangular) 평면영상(34)의 형태로 매핑한다. 이 때, 정방형 평면영상(34)은 예컨대 지구본을 세계지도로 표현하는 방식으로 생성된다.
다음으로, 사용자가 디스플레이장치(10)에서 정방형 평면영상(34)을 재생할 수 있도록, 정방형 평면영상(34)을 와핑(Warping) 방식으로 구(Sphere) 형태로 매핑함에 의해 구형 입체영상(35)을 생성한다. 이 때, 구형 입체영상(35) 중 사용자가 선택한 영역을 추출(cropping)하여 확대 및 축소하게 되고, 추출된 영상의 화질을 보정한 후 화면에 출력하게 된다.
상기와 같이, 본 발명의 실시예에 의하면, 복수의 렌즈에 의해 촬영된 전 방위에 대응하는 복수의 영상을 연결하여 360도 영상과 같은 다방위영상을 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 사용자의 시선 이동에 따라 화면에 표시되는 다방위영상의 예를 도시한 것이다. 도 4에 도시된 바와 같이, 다방위영상(21)은 복수의 세그먼트의 영상(41, 42, 43, 44, 45, 46)으로 분할되어 서버(19)에 저장된다. 이 때, 복수의 세그먼트의 영상(41, 42, 43, 44, 45, 46)은 서로 다른 복수의 해상도별로 저장될 수 있다.
일실시예로서, 복수의 세그먼트의 영상(41, 42, 43, 44, 45, 46) 중 사용자의 시선이 소정 시간 이상 유지되고 있는 다방위영상(21)의 제1표시예상영역(481)이 포함되는 제6세그먼트의 영상(46)을 높은 해상도로 스트리밍한다.
일실시예로서, 사용자의 시선 이동(49)에 따라 디스플레이부(13)에 표시되던 다방위영상(21)의 제1표시예상영역(481)이 제2표시예상영역(482)으로 이동되는 경우를 예측할 수 있다. 이 때, 사용자의 시선 이동(49)에 따른 제1표시예상영역(481)에서 제2표시예상영역(482)로의 이동은, 이전에 시청했던 사용자들의 시간대별 시선이동 정보, 컨텐츠의 제작정보, 광고정보, 사용자의 제스처 및 음성에 관한 정보 중 적어도 하나에 기초하여 예측될 수 있다
이와 같이 제2표시예상영역(482)으로의 이동이 예측되는 경우, 복수의 세그먼트의 영상(41, 42, 43, 44, 45, 46) 중 제2표시예상영역(482)이 포함되는 네 개의 세그먼트의 영상(42, 43, 45, 46)을 우선적으로 수신한다. 이 때, 제2표시예상영역(482)이 포함되는 네 개의 세그먼트의 영상(42, 43, 45, 46)은 높은 해상도로 스트리밍하고, 제2표시예상영역(482)이 포함되지 않는 세그먼트의 영상(41, 44)은 네 개의 세그먼트의 영상(42, 43, 45, 46)보다 낮은 해상도로 스트리밍한다.
이와 같이, 사용자의 시선 이동에 따라 화면에 표시될 가능성이 높은 컨텐츠 영상의 일부를 다른 부분에 비해 높은 해상도로 스트리밍함에 의해 한정된 네트워크 상태에서 사용자에게 선명한 화질의 영상을 제공할 수 있다.
도 5는 본 발명의 일실시예에 따른 디스플레이장치가 서버로부터 다방위영상을 스트리밍하기 위한 과정을 도시한 예이다. 도 5에 도시된 바와 같이, 서버(19)는 컨텐츠 제작자에 의해 제작된 컨텐츠의 영상을 복수의 세그먼트로 분할하여 저장한다. 이 때 컨텐츠의 영상은 여러 대의 카메라를 이용하여 전 방위에 대응하여 촬영된 복수의 영상을 스티칭 방식으로 연결하여 생성한 다방위영상(예컨대 360도 영상)으로 마련될 수 있다. 서버(19)는 이와 같이 생성된 다방위영상(21)을 정방형 평면영상의 형태로 매핑한 후, 복수의 세그먼트로 분할하여 각각 저장한다.
여기서, 서버(19)는 다방위영상(21)을 복수의 세그먼트로 분할하여 저장 시, 각각의 세그먼트를 복수의 해상도별로 처리하여 저장해둘 수 있다.
(1)에서, 디스플레이장치(10)는 사용자의 재생 요청에 따라 서버(19)로부터 다방위영상(21)이 분할되어진 복수의 세그먼트의 영상 각각을 수신한다. 이 때, 수신되는 복수의 세그먼트의 영상은 제1해상도를 가진다.
(2)에서, 디스플레이장치(10)는 수신된 제1해상도의 복수의 세그먼트의 영상을 스티칭 방식으로 연결하여 입체영상(35)을 생성한다. 예로서, 서버(19)에 저장된 컨텐츠의 영상이 360도 영상인 경우 구형 입체영상(35)으로 생성된다.
(3)에서, 사용자의 선택에 따라 구형 입체영상(35)의 일부(333)를 화면에 표시한다. 이 때, 구형 입체영상(35)의 일부(333)는 수신된 복수의 세그먼트에 대응하여 제1해상도로 표시된다.
(4)에서, 디스플레이장치(10)는 화면에 표시될 가능성이 높은 영역을 결정하기 위한 정보를 서버(19)로 전송한다. 정보는, 사용자의 현재 시선, 사용자들의 시간대별 시선이동 정보, 사용자의 제스처 및 음성에 관한 정보 중 적어도 하나를 포함한다. 예로서, 사용자의 현재 시선이 소정 시간 이상 유지되는 경우 사용자의 현재 시선에 관한 정보를 서버(19)로 전송하여 스트리밍할 영역을 결정할 수 있다. 다른 예로서, 다방위영상(21)을 이전에 재생했던 사용자들의 시간대별 시선 이동 정보를 서버(19)로 전송하여 스트리밍할 영역을 결정할 수도 있다. 서버(19)로 전송되는 정보는 이와 같은 본 발명의 실시예에 의해 한정되지 않고, 다방위영상(21)의 전체 영역 중 사용자가 화면에 표시할 가능성이 높은 영역을 결정하기 위해 필요한 추가적인 정보를 더 포함할 수 있다.
(5)에서, 디스플레이장치(10)는 서버(19)로부터 정보에 기초하여 결정된 표시 가능성이 높은 영역(666)에 대응하는 적어도 하나의 세그먼트를 제1해상도보다 높은 제2해상도로 처리하여 수신한다.
(6)에서, 디스플레이장치(10)는 구형 입체영상(35) 중 수신된 제2해상도의 적어도 하나의 세그먼트에 대응하는 영역을 화면에 표시한다.
상기와 같은 실시예에 의해, 본 발명의 디스플레이장치(10)는 360도 영상을 시청함에 있어, 사용자의 시선 또는 기존 사용자들의 시선 이동 정보 등을 이용하여 화면에 표시될 가능성이 높은 360도 영상의 일부를 보다 선명한 화질로 제공할 수 있다.
도 6는 본 발명의 일실시예에 따른 디스플레이장치가 서버로부터 다방위영상을 스트리밍하기 위한 구성을 도시한 블록도이다. 도 6에 도시된 바와 같이, 다방위영상(21)은 컨텐츠 제작자에 의해 영상제작장치(51)에서 제작되어, 컨텐츠 프로바이더 측의 서버(19)에 업로드된다. 영상제작장치(51)는 예컨대, PC, 스마트 폰, 태블릿 등의 장치로 마련되고, 컨텐츠 영상의 촬영 및 편집 기능을 수행할 수 있다. 서버(19)에 업로드된 다방위영상(21)은 디스플레이장치(10)에서의 사용자의 재생 요청에 따라 디스플레이장치(10)로 제공된다.
영상제작장치(51)는 다방위영상(21)을 제작하기 위해, 먼저 컨텐츠 제작자에 의해 복수의 렌즈를 이용하여 전 방위에 대응하여 촬영(511)된 복수의 영상을 획득한다. 영상제작장치(51)는 촬영된 각각의 영상의 프레임들을 이미지 형태로 추출(512)한다. 영상제작장치(51)는 추출된 각각의 이미지에 대해, 특정 영역 및 시간대별로 가중치를 설정(513)한다. 이 때, 특정 영역 및 시간대별 가중치는 컨텐츠 제작자의 제작 의도에 따라 설정되고, 이와 같이 설정된 가중치는 서버(19)에서 다방위영상(21)의 스트리밍시 복수의 세그먼트별 해상도에 반영될 수 있다.
영상제작장치(51)는 각각의 이미지에 대해 가중치를 설정한 후 각각의 이미지들을 스티칭 방식으로 연결(514)하고, 연결된 이미지를 프레임 형태로 영상처리하여 다방위영상(21)을 생성한다.
상기와 같이 영상제작장치(51)에 의해 생성된 다방위영상(21)은 컨텐츠 프로바이더 측에 마련되는 서버(19)로 업로드된다.
서버(19)는 영상제작장치(51)에서 제작된 복수의 다방위영상(21)을 수신하여 저장한다. 여기서, 서버(19)는 다방위영상(21)으로부터 복수의 세그먼트 및 복수의 해상도별 모든 조합에 대응하는 각각의 영상(52)을 생성하여 저장한다. 일실시예로서, 서버(19)는 다방위영상(21)의 전체 영역을 상좌, 상우, 상앞, 상뒤, 하좌, 하우, 하앞, 하뒤 등의 영역에 대응하는 복수의 세그먼트로 분할하고, 각각의 세그먼트에 대해 해상도가 서로 다른 복수의 영상으로 저장한다. 예로서, 다방위영상(21)으로부터 분할된 복수의 세그먼트 중 상좌 영역에 해당하는 세그먼트에 대해, 1280*720(720p), 1920*1080(1080p) 및 3840*2160(4K)의 해상도로 영상을 각각 저장할 수 있다. 마찬가지로 다른 세그먼트에 대해서도 여러 해상도별로 영상을 저장할 수 있다.
디스플레이장치(10)는 다방위영상(21)을 시청하기 위한 사용자의 재생 요청을 수신한다. 이 때, 디스플레이장치(10)는 사용자의 재생 요청에 대해, 현재의 네트워크 상태(531)에 관한 정보, 홍채인식 센서 또는 자이로 센서 등을 이용한 사용자의 현재 시선에 관한 정보, 사용자의 제스처 및 음성에 관한 정보 등을 수집(532)하고, 수집된 정보를 서버(19)로 전송한다.
서버(19)는 디스플레이장치(10)로부터 전송된 네트워크 상태(531)에 관한 정보에 기초하여, 다방위영상(21)을 스트리밍하기 위한 최대 해상도를 결정한다.
서버(19)는 디스플레이장치(10)로부터 전송된 사용자의 현재 시선에 관한 정보 및 사용자의 제스처 및 음성에 관한 정보와, 이전에 시청했던 사용자들의 시간대별 시선이동 정보, 다방위영상(21)의 제작시 설정된 가중치 정보, 광고정보 중 적어도 하나에 기초하여 복수의 세그먼트 각각에 대한 가중치를 판단한다.
서버(19)는 상기와 같이 판단된 복수의 세그먼트별 가중치 정보를 이용하여, 다방위영상(21)의 복수의 세그먼트별 스트리밍을 위한 해상도를 결정하게 된다. 예로서, 복수의 세그먼트 중 상좌 영역에 해당하는 세그먼트의 가중치가 높게 판단된 경우, 1280*720(720p), 1920*1080(1080p) 및 3840*2160(4K)의 해상도로 저장된 각각의 영상 중 가장 높은 해상도로 처리된 3840*2160(4K)의 영상을 스트리밍하도록 한다. 또한, 상우 영역에 해당하는 세그먼트의 가중치가 낮게 판단된 경우, 가장 낮은 해상도로 처리된 1280*720(720p)의 영상을 스트리밍하도록 한다.
상기와 같이 서버(19)는 다방위영상(21)의 복수의 세그먼트별로 서로 다른 해상도로 처리된 각각의 영상을 디스플레이장치(10)로 스트리밍함에 의해 어댑티브 스트리밍(adaptive streaming)을 구현하게 된다.
디스플레이장치(10)는 서버(19)로부터 어댑티브 스트리밍을 통해 수신한 복수의 세그먼트별 서로 다른 해상도의 각각의 영상을 스티칭 방식으로 연결하여 하나의 프레임으로 생성하고, 이와 같이 생성된 이미지 프레임을 이용하여 다방위영상(21)을 재생(533)하도록 한다.
이 때, 디스플레이장치(10)는 다방위영상(21)의 재생(533)시, 사용자의 시선에 대응하는 화각 정보를 이용하여 다방위영상(21)의 전체 영역 중 해당 화각에 대응하는 영역을 추출(cropping)하여 화면에 표시되도록 한다.
상기와 같이, 서버(19)로부터 수신한 복수의 세그먼트별 영상을 스티칭 방식으로 연결하고, 연결된 전체 영상 중 시선에 대응하는 일부를 추출하는 동작은 디스플레이장치(10)의 그래픽 프로세싱 유닛(GPU: Graphic Processing Unit)에 의해 수행될 수 있다.
디스플레이장치(10)는 다방위영상(21)이 재생(533)되는 동안 네트워크 상태, 사용자의 현재 시선, 사용자의 제스처 및 음성 등의 정보를 지속적으로 서버(19)로 전송한다. 서버(19)는 디스플레이장치(10)로부터 지속적으로 제공되는 정보를 이용하여 복수의 세그먼트별 가중치 정보를 조정하고, 조정된 정보를 이용하여 복수의 세그먼트별 해상도를 변경하여 어댑티브 스트리밍할 수 있다.
도 7은 본 발명의 일실시예에 따른 디스플레이장치의 제어방법을 나타내는 흐름도이다. 도 7에 도시된 바와 같이, 먼저 동작 S61에서, 복수의 세그먼트로 분할된 컨텐츠의 영상을 저장하고 있는 서버(19)와 통신한다. 여기서, 서버(19)는 복수의 세그먼트로 분할된 컨텐츠의 영상을 복수의 해상도별로 처리하여 저장할 수 있다.
다음으로 동작 S62에서, 서버(19)로부터 제1해상도로 처리된 복수의 세그먼트의 영상을 수신하여 입체영상(35)을 생성한다. 서버(19)에 저장된 컨텐츠의 영상이 복수의 카메라에 의해 촬영되어 제작된 360도 영상인 경우, 입체영상은 구(Sphere) 형태로 생성된다.
다음으로, 동작 S63에서, 입체영상(35)의 일 영역을 표시한다. 동작 S63은, 입체영상(35)의 전체 영역 중 사용자에 의해 선택된 영역을 표시하거나, 디폴트로 설정된 입체영상(35)의 초기 재생 위치에 대응하는 영역을 표시하는 동작을 포함할 수 있다.
다음으로, 동작 S64에서, 입체영상(35)의 전체 영역 중 표시 가능성이 높은 영역을 결정하기 위한 정보를 서버(19)로 전송한다. 여기서, 정보는, 사용자의 현재 시선, 사용자들의 시간대별 시선이동 정보, 사용자의 제스처 및 음성에 관한 정보 중 적어도 하나를 포함할 수 있다.
일실시예로서, 동작 S64는, 서버(19)로 정보를 주기적으로 전송하는 동작을 포함할 수 있다. 이에 따라, 사용자의 시선의 이동을 예측하기 위한 가장 최근의 정보들을 반영하여 화면에 표시될 가능성이 높은 다방위영상의 일부를 스트리밍할 수 있다.
일실시예로서, 서버(19)로 디스플레이장치(10)의 네트워크 상태에 관한 정보를 전송하는 동작과, 전송된 네트워크 상태에 기초하여 서버(19)로부터 수신되는 적어도 하나의 세그먼트의 영상의 최대 해상도를 결정하는 동작을 포함할 수 있다. 이에 따라, 네트워크 상태를 고려하여, 최적의 해상도로 다방위영상을 스트리밍할 수 있다.
다음으로, 동작 S65에서, 서버(19)로부터 정보에 기초하여 결정된 표시 가능성이 높은 영역에 대응하는 적어도 하나의 세그먼트를 제1해상도보다 높은 제2해상도로 처리하여 수신한다. 여기서, 서버(19)는 디스플레이장치(10)로부터 수신된 정보와 컨텐츠 영상에 부가정보로서 포함되어 있는 컨텐츠의 제작정보 및 광고정보 중 적어도 하나에 기초하여 입체영상(35)의 전체 영역 중 디스플레이부(13)에 표시될 가능성이 높은 영역을 결정할 수 있다.
일실시예로서, 동작 S65는, 서버(19)로부터 결정된 표시 가능성이 높은 영역에 대응하지 않는 적어도 하나의 세그먼트를 제1해상도보다 낮은 제3해상도로 처리하여 수신하는 동작을 포함할 수 있다. 이에 따라, 화면에 표시될 가능성이 높은 다방위영상의 일부를 다른 부분에 비해 높은 해상도로 처리함에 의해 한정된 네트워크 상태에서 보다 높은 품질의 영상을 제공할 수 있다.
일실시예로서, 동작 S65는, 서버(19)로부터 결정된 표시 가능성이 높은 영역에 대응하는 적어도 하나의 제1세그먼트를 우선적으로 수신하고, 표시 가능성이 높은 영역에 대응하지 않는 적어도 하나의 제2세그먼트를 이후에 수신하는 동작을 포함할 수 있다. 이에 따라, 화면에 표시될 가능성이 높은 다방위영상의 일부를 우선적으로 스트리밍하여, 한정된 네트워크 상태에서 보다 높은 품질의 영상을 제공할 수 있다.
일실시예로서, 동작 S65는, 서버(19)로부터 수신되는 결정된 표시 가능성이 높은 영역에 대응하는 적어도 하나의 제1세그먼트와, 표시 가능성이 높은 영역에 대응하지 않는 적어도 하나의 제2세그먼트를 스티칭 방식으로 연결하는 동작을 포함할 수 있다. 이에 따라, 서로 다른 해상도로 수신되는 복수의 세그먼트를 연결하여 하나의 프레임으로 재생하도록 할 수 있다.
마지막으로, 동작 S66은, 수신된 제2해상도의 적어도 하나의 세그먼트에 대응하는 영역을 표시한다.
상기와 같이, 본 발명의 디스플레이장치의 제어방법에 의하면, 다방위영상의 시청시, 한정된 네트워크 상태에서도 사용자에게 선명하고 실감나는 다방위영상을 제공하는 효과가 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 특허청구범위 내에서 다양하게 실시될 수 있다.
10: 디스플레이장치
11: 통신부
12: 영상처리부
13: 디스플레이부
131: 표시예상영역의 영상
14: 사용자입력부
15: 제어부
16: 저장부
19: 서버
191, 192, 193, ...: 제1세그먼트, 제2세그먼트, 제3세그먼트, ...

Claims (20)

  1. 디스플레이장치에 있어,
    세그먼트로 분할된 복수의 해상도의 컨텐츠를 제공할 수 있는 서버와 통신하는 통신부와;
    상기 컨텐츠에 대하여 영상처리를 수행하는 영상처리부와;
    상기 처리된 컨텐츠의 영상을 표시하는 디스플레이부와;
    상기 서버로부터 상기 컨텐츠의 제1해상도의 세그먼트를 수신하여, 상기 수신된 세그먼트에 기초하여 입체영상의 일 영역을 상기 디스플레이부에 표시하고, 상기 입체영상 중 표시 가능성이 높은 영역에 관련된 정보를 상기 서버로 전송하여, 상기 서버로부터 상기 표시 가능성이 높은 영역에 대응하며 상기 제1해상도보다 높은 제2해상도의 세그먼트를 수신하고, 상기 수신된 세그먼트에 기초하여 상기 입체영상을 표시하도록 제어하는 제어부를 포함하는 디스플레이장치.
  2. 제 1항에 있어서,
    상기 정보는, 상기 사용자의 현재 시선, 사용자들의 시간대별 시선이동 정보, 사용자의 제스처 및 음성에 관한 정보 중 적어도 하나를 포함하는 디스플레이장치.
  3. 제 2항에 있어서,
    상기 서버는, 상기 디스플레이장치로부터 수신된 정보와 상기 컨텐츠에 포함되어 있는 상기 컨텐츠의 제작정보 및 광고정보 중 적어도 하나에 기초하여 상기 입체영상 중 표시 가능성이 높은 영역을 결정하는 디스플레이장치.
  4. 제 1항에 있어서,
    상기 제어부는, 상기 서버로 상기 디스플레이장치의 네트워크 상태에 관한 정보를 전송하고, 상기 전송된 네트워크 상태에 기초하여 상기 서버로부터 수신되는 세그먼트의 영상의 최대 해상도를 결정하는 디스플레이장치.
  5. 제1항에 있어서,
    상기 제어부는, 상기 서버로부터 상기 표시 가능성이 높은 영역에 대응하지 않는 세그먼트를 상기 제1해상도보다 낮은 제3해상도로 처리하여 수신하는 디스플레이장치.
  6. 제1항에 있어서,
    상기 제어부는, 상기 서버로부터 수신되는 상기 표시 가능성이 높은 영역에 대응하는 제1세그먼트와, 상기 표시 가능성이 높은 영역에 대응하지 않는 제2세그먼트를 스티칭 방식으로 연결하도록 상기 영상처리부를 제어하는 디스플레이장치.
  7. 제1항에 있어서,
    상기 제어부는, 상기 서버로부터 상기 표시 가능성이 높은 영역에 대응하는 제1세그먼트를 우선적으로 수신하고, 상기 표시 가능성이 높은 영역에 대응하지 않는 제2세그먼트를 이후에 수신하는 디스플레이장치.
  8. 제1항에 있어서,
    상기 제어부는, 상기 서버로 상기 표시 가능성이 높은 영역에 관련된 정보를 주기적으로 전송하는 디스플레이장치.
  9. 제2항에 있어서,
    상기 제어부는, 상기 사용자의 현재 시선이 소정 시간 이상 유지되는 경우 상기 서버로 상기 사용자의 현재 시선에 관한 정보를 전송하는 디스플레이장치.
  10. 제1항에 있어서,
    상기 서버는, 상기 세그먼트로 분할된 컨텐츠를 복수의 해상도별로 처리하여 저장하는 디스플레이장치.
  11. 디스플레이장치의 제어방법에 있어,
    세그먼트로 분할된 복수의 해상도의 컨텐츠를 제공할 수 있는 서버와 통신하는 단계와;
    상기 서버로부터 상기 컨텐츠의 제1해상도의 세그먼트를 수신하여, 상기 수신된 세그먼트에 기초하여 입체영상의 일 영역을 표시하는 단계와;
    상기 입체영상 중 표시 가능성이 높은 영역에 관련된 정보를 상기 서버로 전송하는 단계와;
    상기 서버로부터 상기 표시 가능성이 높은 영역에 대응하며 상기 제1해상도보다 높은 제2해상도의 세그먼트를 수신하는 단계와;
    상기 수신된 세그먼트에 기초하여 상기 입체영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  12. 제 11항에 있어서,
    상기 정보는, 상기 사용자의 현재 시선, 사용자들의 시간대별 시선이동 정보, 사용자의 제스처 및 음성에 관한 정보 중 적어도 하나를 포함하는 디스플레이장치의 제어방법.
  13. 제 12항에 있어서,
    상기 서버는, 상기 디스플레이장치로부터 수신된 정보와 상기 컨텐츠에 포함되어 있는 상기 컨텐츠의 제작정보 및 광고정보 중 적어도 하나에 기초하여 상기 입체영상 중 표시 가능성이 높은 영역을 결정하는 디스플레이장치의 제어방법.
  14. 제 11항에 있어서,
    상기 서버로 상기 디스플레이장치의 네트워크 상태에 관한 정보를 전송하는 단계와;
    상기 전송된 네트워크 상태에 기초하여 상기 서버로부터 수신되는 세그먼트의 영상의 최대 해상도를 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
  15. 제11항에 있어서,
    상기 서버로부터 상기 표시 가능성이 높은 영역에 대응하지 않는 세그먼트를 상기 제1해상도보다 낮은 제3해상도로 처리하여 수신하는 단계를 포함하는 디스플레이장치의 제어방법.
  16. 제11항에 있어서,
    상기 서버로부터 수신되는 상기 표시 가능성이 높은 영역에 대응하는 제1세그먼트와, 상기 표시 가능성이 높은 영역에 대응하지 않는 제2세그먼트를 스티칭 방식으로 연결하는 단계를 포함하는 디스플레이장치의 제어방법.
  17. 제11항에 있어서,
    상기 서버로부터 상기 표시 가능성이 높은 영역에 대응하는 제1세그먼트를 우선적으로 수신하는 단계와;
    상기 표시 가능성이 높은 영역에 대응하지 않는 제2세그먼트를 이후에 수신하는 단계를 포함하는 디스플레이장치의 제어방법.
  18. 제11항에 있어서,
    상기 서버로 상기 표시 가능성이 높은 영역에 관련된 정보를 주기적으로 전송하는 단계를 포함하는 디스플레이장치의 제어방법.
  19. 제12항에 있어서,
    상기 사용자의 현재 시선이 소정 시간 이상 유지되는 경우 상기 서버로 상기 사용자의 현재 시선에 관한 정보를 전송하는 단계를 포함하는 디스플레이장치의 제어방법.
  20. 제11항에 있어서,
    상기 서버는, 상기 세그먼트로 분할된 컨텐츠를 복수의 해상도별로 처리하여 저장하는 디스플레이장치의 제어방법.
KR1020160148222A 2016-11-08 2016-11-08 디스플레이장치 및 그 제어방법 Withdrawn KR20180051202A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160148222A KR20180051202A (ko) 2016-11-08 2016-11-08 디스플레이장치 및 그 제어방법
JP2019520422A JP6751205B2 (ja) 2016-11-08 2017-10-26 ディスプレイ装置及びその制御方法
CN201780068988.7A CN109923868A (zh) 2016-11-08 2017-10-26 显示装置及其控制方法
EP17868701.8A EP3507988A4 (en) 2016-11-08 2017-10-26 DISPLAY DEVICE AND CONTROL METHOD THEREFOR
PCT/KR2017/011907 WO2018088730A1 (en) 2016-11-08 2017-10-26 Display apparatus and control method thereof
US15/796,956 US20180131920A1 (en) 2016-11-08 2017-10-30 Display apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160148222A KR20180051202A (ko) 2016-11-08 2016-11-08 디스플레이장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20180051202A true KR20180051202A (ko) 2018-05-16

Family

ID=62064889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160148222A Withdrawn KR20180051202A (ko) 2016-11-08 2016-11-08 디스플레이장치 및 그 제어방법

Country Status (6)

Country Link
US (1) US20180131920A1 (ko)
EP (1) EP3507988A4 (ko)
JP (1) JP6751205B2 (ko)
KR (1) KR20180051202A (ko)
CN (1) CN109923868A (ko)
WO (1) WO2018088730A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210103867A (ko) * 2020-02-14 2021-08-24 삼성전자주식회사 Vr 영상을 스트리밍하는 방법 및 장치
CN113475091A (zh) * 2019-02-22 2021-10-01 三星电子株式会社 显示设备及其图像显示方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102495763B1 (ko) * 2018-02-23 2023-02-06 삼성전자주식회사 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법
CN110636354A (zh) * 2019-06-10 2019-12-31 青岛海信电器股份有限公司 一种显示设备
CN110471536A (zh) * 2019-09-17 2019-11-19 河北陆航检测认证有限公司 基于vr的消防体验方法、装置及终端设备
CN110677689A (zh) * 2019-09-29 2020-01-10 杭州当虹科技股份有限公司 一种基于用户视角的vr视频广告无缝插播方法
US20210279768A1 (en) * 2020-03-09 2021-09-09 At&T Intellectual Property I, L.P. Apparatuses and methods for enhancing a presentation of content with surrounding sensors
US20220270539A1 (en) * 2021-02-22 2022-08-25 Novatek Microelectronics Corp. Display driver integrated circuit, image processor, and operation method thereof
CN117784915A (zh) * 2022-09-20 2024-03-29 北京字跳网络技术有限公司 虚拟环境中的观影画面调整方法、装置、存储介质及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466254B1 (en) * 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
KR20120126897A (ko) * 2011-05-13 2012-11-21 엘지전자 주식회사 전자 장치 및 입체영상 처리 방법
US20130031589A1 (en) * 2011-07-27 2013-01-31 Xavier Casanova Multiple resolution scannable video
US9516225B2 (en) * 2011-12-02 2016-12-06 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting
US9307225B2 (en) * 2012-10-25 2016-04-05 Citrix Systems, Inc. Adaptive stereoscopic 3D streaming
MX364553B (es) * 2013-05-02 2019-04-30 This Tech Inc Reporte de velocidad de bits adaptativa del lado del servidor.
US9699437B2 (en) * 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US10771736B2 (en) * 2014-06-30 2020-09-08 Microsoft Technology Licensing, Llc Compositing and transmitting contextual information during an audio or video call
WO2016050283A1 (en) * 2014-09-30 2016-04-07 Telefonaktiebolaget L M Ericsson (Publ) Reduced bit rate immersive video
WO2016092698A1 (ja) * 2014-12-12 2016-06-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
EP3440495A1 (en) * 2016-04-08 2019-02-13 Google LLC Encoding image data at a head mounted display device based on pose information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113475091A (zh) * 2019-02-22 2021-10-01 三星电子株式会社 显示设备及其图像显示方法
CN113475091B (zh) * 2019-02-22 2023-08-25 三星电子株式会社 显示设备及其图像显示方法
KR20210103867A (ko) * 2020-02-14 2021-08-24 삼성전자주식회사 Vr 영상을 스트리밍하는 방법 및 장치

Also Published As

Publication number Publication date
EP3507988A1 (en) 2019-07-10
CN109923868A (zh) 2019-06-21
JP6751205B2 (ja) 2020-09-02
JP2019531038A (ja) 2019-10-24
EP3507988A4 (en) 2019-08-21
US20180131920A1 (en) 2018-05-10
WO2018088730A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
JP6751205B2 (ja) ディスプレイ装置及びその制御方法
US11265603B2 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
US11321921B2 (en) Display control apparatus, display control method, and program
KR102336997B1 (ko) 서버, 디스플레이장치 및 그 제어방법
US10620791B2 (en) Information processing apparatus and operation reception method
JP2023088956A (ja) 仮想、拡張、または複合現実環境内で３ｄビデオを生成および表示するための方法およびシステム
US11317072B2 (en) Display apparatus and server, and control methods thereof
JP6576536B2 (ja) 情報処理装置
JP2017097122A (ja) 情報処理装置および画像生成方法
EP3136195A1 (en) Information processing device, information processing method, program, and imaging system
US20130100255A1 (en) Information processing system using captured image, information processing device, and information processing method
US20180196508A1 (en) Image processing device and image processing method, display device and display method, computer program, and image display system
CN105939497B (zh) 媒体串流系统及媒体串流方法
JP6022709B1 (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法
JP2017208808A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
WO2020206647A1 (zh) 跟随用户运动控制播放视频内容的方法和装置
JP2017097854A (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法
KR101923640B1 (ko) 가상 현실 방송을 제공하는 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161108

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid