WO2016171404A1 - 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치 - Google Patents

가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치 Download PDF

Info

Publication number
WO2016171404A1
WO2016171404A1 PCT/KR2016/003117 KR2016003117W WO2016171404A1 WO 2016171404 A1 WO2016171404 A1 WO 2016171404A1 KR 2016003117 W KR2016003117 W KR 2016003117W WO 2016171404 A1 WO2016171404 A1 WO 2016171404A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
streaming service
information
virtual reality
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/003117
Other languages
English (en)
French (fr)
Inventor
이주형
박중신
이지철
임한나
이진성
이형호
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US15/568,778 priority Critical patent/US10397297B2/en
Priority to EP16783338.3A priority patent/EP3288271B1/en
Priority to CN201680023256.1A priority patent/CN107548557B/zh
Publication of WO2016171404A1 publication Critical patent/WO2016171404A1/ko
Anticipated expiration legal-status Critical
Priority to US16/542,426 priority patent/US11050810B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Definitions

  • the present invention relates to a method and apparatus for improving the quality of a virtual reality (VR) streaming service.
  • VR virtual reality
  • a 5G communication system or a pre-5G communication system is called a system after a 4G network (Beyond 4G Network) or a system after an LTE system (Post LTE).
  • 5G communication systems are being considered for implementation in the ultra-high frequency (mmWave) band (e.g., 60 gigabyte (60 GHz) band).
  • mmWave ultra-high frequency
  • MIMI massive multi-input multi-output
  • FD-MIMO Full Dimensional MIMO
  • array antenna analog beam-forming, and large scale antenna techniques are discussed.
  • 5G communication systems have advanced small cells, advanced small cells, cloud radio access network (cloud RAN), ultra-dense network (ultra-dense network) , Device to Device communication (D2D), wireless backhaul, moving network, cooperative communication, Coordinated Multi-Points (CoMP), and interference cancellation
  • cloud RAN cloud radio access network
  • ultra-dense network ultra-dense network
  • D2D Device to Device communication
  • wireless backhaul moving network
  • cooperative communication Coordinated Multi-Points (CoMP), and interference cancellation
  • Hybrid FSK and QAM Modulation FQAM and QAM Modulation
  • SWSC Slide Window Superposition Coding
  • ACM Advanced Coding Modulation
  • FBMC Fan Bank Multi Carrier
  • NOMA NOMA
  • SAP Non orthogonal multiple access
  • SCMA sparse code multiple access
  • the Internet is evolving from a human-centered connection network in which humans create and consume information, and an Internet of Things (IoT) network that exchanges and processes information between distributed components such as objects.
  • IoT Internet of Things
  • IoE Internet of Everything
  • IoT Internet Technology
  • IoT Internet Technology
  • fields such as smart home, smart building, smart city, smart car or connected car, smart grid, health care, smart home appliance, and advanced medical service through convergence and complex of existing IT technology and various industries. have.
  • a sensor network a communication of things, an MTC, and the like are 5G communication technologies implemented by techniques such as beamforming, MIMO, and array antennas.
  • the application of cloud radio access network as the big data processing technology described above may be an example of convergence of 5G technology and IoT technology.
  • VR virtual reality
  • VR refers to an environment or situation made of computer graphics having an environment similar to reality, and refers to an interface that makes a person feel through the sense organs and makes it appear as if they are actually interacting.
  • the user can interact with the virtual reality in real time through the operation of the device, and can experience a sensory experience similar to the reality.
  • Augmented reality is a field of virtual reality that is a computer graphics technique for synthesizing virtual objects or information in a real environment to look like objects existing in an original environment.
  • Such augmented reality is a technology of superimposing a virtual object on the real world that the user sees, and is also referred to as mixed reality (MR) because the real world shows additional information and the virtual world in a single image.
  • MR mixed reality
  • virtual reality technology has become common and easily accessible to various services such as education, games, navigation, advertisements, or blogs as mobile devices (eg, smartphones, tablet PCs, etc.) are becoming more common.
  • mobile devices eg, smartphones, tablet PCs, etc.
  • wearable devices that can be worn on a body are commercialized, research on virtual reality technology has become more active.
  • the wearable device is provided in various forms detachable to the human body and clothing, such as head-mounted, eyeglasses, watches, bands, contact lenses, rings, shoes, clothing.
  • the wearable device may increase portability and accessibility by allowing the electronic device to be worn on a body such as clothes or glasses.
  • the initial VR service began as a non-streaming service that downloads and plays back all VR-only contents to the VR device, and recently, has developed into a service that receives and streams in real time from a server.
  • VR content supports Omni View, which provides 360-degree screens instead of the point-of-view of existing devices, resulting in approximately 5 times the bandwidth of general video content. Require.
  • the streaming-based VR service uses a lot of buffering and bandwidth in the current communication network, which causes a problem of disconnection of the VR streaming service.
  • the present invention proposes a method and apparatus for providing differential quality for each viewing angle based on head tracking information of a user in order to solve a problem of disconnection due to lack of bandwidth of a VR streaming service requiring a high capacity bandwidth.
  • the present invention proposes a method and apparatus in which an electronic device providing a VR service adaptively provides a VR streaming service according to a current bandwidth situation.
  • a method of receiving image data for a virtual reality streaming service in an electronic device includes a process of determining whether an electronic device executes an adaptive virtual reality streaming service based on a bandwidth state, and the adaptive virtual reality. If it is determined that the streaming service is to be executed, the method includes requesting and receiving image data for the adaptive virtual reality streaming service based on previously collected head tracking information and bandwidth information.
  • the apparatus for receiving image data for the virtual reality streaming service according to an embodiment of the present invention, the determination unit for determining whether the electronic device to execute the adaptive virtual reality streaming service based on the bandwidth state, and the adaptive virtual reality streaming If it is determined that the service is to be executed, an execution unit for requesting image data for the adaptive virtual reality streaming service on the basis of previously collected head tracking information and bandwidth information.
  • the method for transmitting the image data for the virtual reality streaming service the step of receiving a video data request message for the adaptive virtual reality streaming service from the electronic device, and the adaptation based on the request message And constructing and transmitting image data for an adaptive virtual reality streaming service, wherein the image data for the adaptive virtual reality streaming service includes high definition image data having a resolution equal to or greater than a predetermined value for a region of interest that is a part of a 360 degree image.
  • the region of interest is determined based on head tracking information and bandwidth information of the electronic device or event information of the image data.
  • the apparatus for transmitting image data for the virtual reality streaming service receives an image data request message for the adaptive virtual reality streaming service from the electronic device, based on the request message the adaptive virtual And a transmitter / receiver configured to transmit and configure image data for a reality streaming service, and the image data for the adaptive virtual reality streaming service includes high quality image data having a resolution equal to or greater than a predetermined value for a region of interest that is part of a 360 degree image.
  • the ROI is determined based on head tracking information and bandwidth information of the electronic device or event information of the image data.
  • FIG. 1 is a diagram illustrating an example of data partitioning according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration of an electronic device for providing an adaptive VR streaming service according to an embodiment of the present invention.
  • FIG. 3 illustrates an example of requesting an image having a differential quality in consideration of only location information in a method of providing an adaptive VR streaming service according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of requesting differential quality video by considering both position information and acceleration information in a method of providing an adaptive VR streaming service according to an exemplary embodiment of the present invention.
  • FIG. 5 illustrates an example of selectively requesting an image considering only location information in a method of providing an adaptive VR streaming service according to an exemplary embodiment of the present invention.
  • FIG. 6 illustrates an example of selectively requesting an image in consideration of location information and acceleration information in a method of providing an adaptive VR streaming service according to an exemplary embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a procedure for providing an adaptive VR streaming service according to an embodiment of the present invention.
  • expressions such as “have”, “may have”, “include”, or “may contain” include the presence of a corresponding feature (e.g., numerical, functional, operational, or component such as a component). Does not exclude the presence of additional features.
  • expressions such as “A or B”, “at least one of A or / and B”, or “one or more of A or / and B” may include all possible combinations of items listed together.
  • “A or B”, “at least one of A and B”, or “at least one of A or B” includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first,” “second,” “first,” or “second,” as used in various embodiments may modify various elements in any order and / or importance, and the elements may be modified. It is not limited. The above expressions may be used to distinguish one component from another.
  • the first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be referred to as a second component, and similarly, the second component may be renamed to the first component.
  • One component (such as a first component) is "(functionally or communicatively) coupled with / to" to another component (such as a second component) or " When referred to as “connected to”, it should be understood that any component may be directly connected to the other component or may be connected through another component (eg, a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” used in this document is, for example, “suitable for”, “having the capacity to” depending on the situation. It may be used interchangeably with “designed to”, “adapted to”, “made to”, or “capable of”.
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “processor configured (or set up) to perform A, B, and C” may execute a dedicated processor (eg, an embedded processor) to perform the operation, or one or more software programs stored in a memory device. By doing so, it may mean a general-purpose processor (for example, a CPU or an application processor) capable of performing the corresponding operations.
  • the electronic device may be a smartphone, a tablet personal computer, a mobile phone, a video phone, or an e-book reader. reader, desktop personal computer (PC), laptop personal computer (PC), netbook computer, workstation, server, personal digital assistant (PDA), portable multimedia player (PMP), MP3 player , Mobile medical devices, cameras, or wearable devices (e.g. smart glasses, head-mounted-device (HMD)), electronic clothing, electronic bracelets, electronic necklaces, electronic accessories (appcessory), an electronic tattoo, a smart mirror, or a smart watch.
  • PC personal computer
  • PC personal computer
  • netbook computer workstation
  • server personal digital assistant
  • PMP portable multimedia player
  • MP3 player MP3 player
  • Mobile medical devices cameras, or wearable devices (e.g. smart glasses, head-mounted-device (HMD)), electronic clothing, electronic bracelets, electronic necklaces, electronic accessories (appcessory), an electronic tattoo, a smart mirror, or a smart watch.
  • HMD head-mounted-device
  • electronic clothing
  • the electronic device may be a smart home appliance.
  • Smart home appliances are, for example, televisions, digital video disk (DVD) players, audio, refrigerators, air conditioners, vacuum cleaners, ovens, microwave ovens, washing machines, air purifiers, set-top boxes, home automation Home automation control panel, security control panel, TV box (e.g. Samsung HomeSync TM, Apple TV TM, or Google TV TM), game console (e.g. Xbox TM, PlayStation TM), electronics It may include at least one of a dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • DVD digital video disk
  • the electronic device may include various medical devices (eg, various portable medical measuring devices (such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Such as CT (computed tomography, imaging or ultrasound), navigation devices, global positioning system receivers, event data recorders, flight data recorders, automotive infotainment devices, ships Electronic equipment (e.g. ship navigation systems, gyro compasses, etc.), avionics, security devices, vehicle head units, industrial or home robots, automatic teller's machines (financial institutions), shop POS (point of sales) or Internet of things (e.g. light bulbs, sensors, electrical or gas meters, sprinkler devices, fire alarms, thermostats, street lights, toasters, Exercise equipment, hot water tank, heater, boiler, and the like.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters
  • MRA magnetic resonance angiography
  • MRI magnetic resonance
  • an electronic device may be a furniture or part of a building / structure, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, Water, electricity, gas, or radio wave measuring instrument).
  • the electronic device may be one or a combination of the aforementioned various devices.
  • An electronic device according to an embodiment may be a flexible electronic device.
  • the electronic device according to an embodiment of the present disclosure is not limited to the above-described devices, and may include a new electronic device according to technology development.
  • the term user may refer to a person who uses an electronic device or a device that uses an electronic device (eg, an artificial intelligence electronic device).
  • the future viewing angle information of the user is predicted by utilizing head tracking information, acceleration information, and event information included in the image based on the current view of the person using the electronic device providing the VR service.
  • a method and an apparatus for providing a differential quality image for each view based on the predicted information are proposed.
  • the method using the acceleration information can predict the direction and the viewing angle of the user's field of view afterwards by using the current viewing angle and the acceleration direction information, and can provide an image of the direction in which the user's field of view moves in high quality.
  • a method of utilizing event information included in an image may include a method of utilizing specific sound or object information in the image. For example, if the sound comes from the back, the user will naturally see the back of the sound, so in this case, the image of the back can be provided in high quality.
  • the event-based prediction method can be applied to a method of selectively downloading and rendering VR content locally.
  • an electronic device providing a VR service may provide an adaptive VR streaming service according to a current bandwidth situation.
  • Adaptive VR streaming provides various image quality based on acceleration information, location information and bandwidth information. For example, parts that are more likely to be seen by the user, including the user's current viewing angle, may be transmitted in high quality, portions that are less likely to be viewed by the user in medium or low quality, or may be moved to a viewing angle within a range that is movable from the user's current viewing angle. It is possible to transmit only the image for the image and the image for the viewing angle outside the movable range.
  • a method of determining adaptive VR streaming according to an embodiment of the present invention may include a method using a buffer level of an electronic device and a method using a bandwidth. These methods can be used independently or in combination.
  • a method of utilizing the buffer level is to estimate the bandwidth state based on the buffer level state of the electronic device.
  • the bandwidth is expected to be wide and high quality images are transmitted to all the images
  • the bandwidth is expected to be narrow and the viewing angle images that are expected to have low utilization can be transmitted as the low quality images.
  • the buffer level is divided into three phases: the current buffer level is higher, and the image is transmitted in high definition for all viewing angles, and the current buffer level is moved forward, including the current viewing angle.
  • the region of interest transmits the image of the expected viewing angle (hereinafter referred to as the region of interest) in high definition, and transmits the image of the region other than the region of interest (hereinafter referred to as the uninterested region) in neutral quality. It is possible to transmit in high quality and to transmit images of uninterested regions in low quality.
  • the bandwidth measuring method measures an average bandwidth in chunks and if the measured size (Chunk size / Chunk download time) is smaller than the bandwidth required to provide a high quality image for all viewing angles,
  • the video may be transmitted in medium or low quality.
  • the method of providing an adaptive VR streaming service according to an exemplary embodiment of the present invention may be classified into two types according to whether or not encoding is possible with a plurality of code rates for one image.
  • the server may manage the 360-degree image for each view or code rate or configure or transmit the image data based on a request of the electronic device.
  • the server encodes the image recorded by the 360-degree camera in multiple quality, firstly divides it into chunks, and divides each chunk again into an angle or view unit. Secondary partitions are stored in the repository.
  • FIG. 1 illustrates an example of data partitioning according to an embodiment of the present invention.
  • an image is photographed using nine cameras cam 1 to cam 9, and each chunk is divided into nine angle blocks.
  • the number of cameras and the number of angle blocks for each chunk may be changed.
  • two levels of quality ie, high quality and low quality, are encoded.
  • Dividing the chunk into angle blocks can be divided into a method of dividing at a uniform angle and a method of dividing at a non-uniform angle.
  • the method of dividing at a symmetrical angle means, for example, dividing 360 degrees into eight angle blocks at 45 degrees or 12 angle blocks at 30 degrees.
  • the method of dividing by an unsymmetrical angle may form, for example, an angle block of which a user is less likely to see an angle block with a relatively small size, and an angle block having a relatively high size of an angle block or a motion. Many of these parts form an angle block with a relatively large size, and a small portion can form an angle block with a relatively small size.
  • the size of all angle blocks may be set differently so that the size of the angle block is proportional to the viewing probability.
  • the size or resolution level of the angle block may be set differently according to the characteristics of the video such as a sports video, a movie, a natural video. For example, in the case of fast-moving video such as sports video, the screen is displayed without interruption.
  • the electronic device may adaptively request the VR streaming service from the server according to its capability or current network situation. To this end, the electronic device transmits the chunk index and the quality information of the corresponding chunk to the server for each chunk, and the server transmits the chunk of the corresponding quality to the electronic device.
  • the information about the angle block is also transmitted along with the chunk index and the quality information.
  • the electronic device when an image having different quality is provided for each view, the electronic device should perform a task of receiving and aggregating image data divided for each view from a server.
  • the server may generate a 360 degree image by combining the divided images for each view and transmit the 360 degree image to the electronic device.
  • the terminal in the process of establishing a connection between the server and the electronic device, the terminal may negotiate image processing capability information of the terminal and determine an image combining subject based on the negotiated result. For example, when the image processing capability of the electronic device is low, a method of providing a combined image of the server to the electronic device may be selected.
  • the electronic device transmits the ROI information to the server based on the buffer level and the head track information.
  • the server may reduce the data size by transmitting the image corresponding to the ROI of the user in a high quality based on the information received from the electronic device and transmitting the uninterested region in the high quality by increasing the compression ratio.
  • the region of interest may be set by the user in a block setting or the like, or may be set according to the buffer level of the electronic device, or the specific object or the region may be set as the region of interest through automatic focus setting in a camera connected to the electronic device.
  • FIG. 2 illustrates a configuration of an electronic device for providing an adaptive VR streaming service according to an embodiment of the present invention.
  • an electronic device 200 may include a head tracking information extractor 210, an adaptive VR streaming determiner 220, an adaptive VR streaming performer 230, and an electronic device.
  • the image requester 240 may be included.
  • the head tracking information extractor 210 extracts acceleration information and position information based on information received from a sensor, a camera, or the like that detects movement of a gyro sensor or an acceleration sensor, etc. mounted in the electronic device.
  • the adaptive VR streaming determiner 220 determines whether to perform adaptive VR streaming according to the bandwidth state. In detail, when the bandwidth measured by the electronic device is larger than the bandwidth required for providing the high-definition image, the 360-degree image is determined to not perform adaptive VR streaming since all the images may be received in high quality. When the measured bandwidth is less than the high quality required bandwidth, it is determined to perform adaptive VR streaming. When the measured bandwidth is smaller than the low quality required bandwidth for providing all the 360 degree images as the low quality image, all the images are low quality. Because it will be received in the network, it is determined that the adaptive VR streaming is not performed. The determination result is then transmitted to the adaptive VR streaming performer 230 and the image requester 240, respectively.
  • the adaptive VR streaming performing unit 230 receives the acceleration information and the location information extracted from the head tracking information extracting unit 210 and determines that the adaptive VR streaming determining unit 220 performs the adaptive VR streaming.
  • the chunk information requested to the server is determined based on the acceleration information and the location information.
  • the image requester 240 requests adaptive VR streaming to the server according to the determination of the adaptive VR streaming determiner 220 and the adaptive VR streaming performer 230. At this time, the image requester 240 obtains supportable quality information and angle block index information based on a manifest file previously received from the server, and generates a request message based on the obtained information and transmits the request message to the server. As mentioned above, the request message may include a chunk index, quality information, and an angle block index.
  • a peripheral portion having a high probability of looking forward based on a current view point of a user may request a high quality image and the remaining portion as a low quality image.
  • the view adjacent to the left and right based on the view currently viewed by the user may be requested in high quality.
  • the location information and the acceleration information are used together, it is determined that the user's gaze is likely to move to the view in the direction in which the user is accelerating, so that a high quality image may be requested in the current view and the area in the acceleration direction.
  • FIG. 3 illustrates an example of requesting an image of differential quality in consideration of only position information
  • FIG. 4 illustrates an example of requesting an image of differential quality in consideration of both position information and acceleration information.
  • the image quality is divided into two stages of high quality and low quality, but may be transmitted in three or more stages.
  • 5, 6, and 9 are requested in high definition, and among the remaining views, 3 and 7 which are relatively close to the current view are neutral, 1,2, and 8 relatively far from the current view. Burns can be requested at lower quality.
  • 3-6 and 9 may be requested in high quality, 1-2 of which are located in the acceleration direction among the remaining views, and 7-8 may be located in the opposite direction to the acceleration direction.
  • the selective image request method may have the following two methods according to the utilization method of the location information and the acceleration information.
  • only the images of the left and right adjacent views may be requested based on the view currently viewed by the user, and the other parts may not be requested.
  • the location information and the acceleration information are used together, it is determined that the user's gaze is likely to move to the view in the direction in which the user is accelerating, so that only the image of the current view and the area in the acceleration direction may be requested, and the other parts may not be requested.
  • FIG. 5 illustrates an example of selectively requesting an image in consideration of only location information
  • FIG. 6 illustrates an example of selectively requesting an image in consideration of both location information and acceleration information.
  • an image may be selectively provided for each view based on the predicted information.
  • FIG. 7 is a flowchart illustrating a procedure for providing an adaptive VR streaming service according to an embodiment of the present invention.
  • the electronic device requests a manifest file from a server, receives the manifest file (701, 702), and obtains encoding and chunk information (703).
  • the electronic device may transmit capability information including its decoding capability to the server.
  • the electronic device measures the current bandwidth and determines whether to perform adaptive VR streaming based on the measured bandwidth (704). That is, if the bandwidth measured by the electronic device is larger than the bandwidth required for providing the high-definition video of all 360-degree images, it is determined that the adaptive VR streaming is not performed because all the images can be received in high-definition.
  • the measured bandwidth is less than the high quality required bandwidth, it is determined to perform adaptive VR streaming. If the measured bandwidth is smaller than the low quality required bandwidth for providing all the 360 degree images as the low quality image, all the images are converted to low quality. Since it will receive, it is determined that the adaptive VR streaming is not performed. If it is determined to perform the adaptive VR streaming, the chunk information to be requested to the server is determined based on acceleration information and position information, which are head tracking information previously received from a motion sensor, a camera, and the like mounted on the electronic device (705). In response to the determination, an adaptive VR streaming request is made to the server (706).
  • the electronic device obtains supportable quality information and angle block index information based on a manifest file previously received from the server, and generates a request message based on the obtained information and transmits the request message to the server (708).
  • the request message may include a chunk index, quality information, and an angle block index.
  • the electronic device receives the chunk according to the request from the server (708).
  • the server may transmit an image within a range that the terminal can decode based on the capability information of the terminal received in step 701.
  • the term “unit” may refer to a unit including one or a combination of two or more of hardware, software, or firmware.
  • ⁇ part may be interchangeably used with terms such as unit, logic, logical block, component, or circuit.
  • ⁇ Part may be a minimum unit or part of an integrally formed part.
  • ⁇ Part may be implemented mechanically or electronically.
  • the "unit” is an application-specific integrated circuit (ASIC) chip, field-programmable gate arrays (FPGAs), or programmable-logic devices that perform certain operations, known or developed in the future. It may include at least one of.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • programmable-logic devices that perform certain operations, known or developed in the future. It may include at least one of.
  • an apparatus eg, modules or functions thereof
  • a method eg, operations
  • computer-readable storage media in the form of a program module. It can be implemented as a command stored in.
  • the command is executed by a processor (eg, the processor 120)
  • the one or more processors may perform a function corresponding to the command.
  • the computer-readable storage medium may be, for example, the memory 130.
  • the computer-readable recording medium may include a hard disk, a floppy disk, a magnetic medium (for example, magnetic tape), an optical media (for example, a compact disc read only memory (CD-ROM), a DVD). (digital versatile disc), magneto-optical media (such as floptical disk), hardware devices (such as read only memory, random access memory (RAM), or flash memory Etc.
  • the program instructions may include not only machine code generated by a compiler, but also high-level language code executable by a computer using an interpreter, etc.
  • the above-described hardware device may include It may be configured to operate as one or more software modules to perform the operations of the various embodiments, and vice versa.
  • Modules or program modules according to various embodiments of the present disclosure may include at least one or more of the above components, some of them may be omitted, or may further include additional components. Operations performed by a module, program module, or other component according to various embodiments of the present disclosure may be executed in a sequential, parallel, repetitive, or heuristic manner. In addition, some operations may be executed in a different order, may be omitted, or other operations may be added.
  • the instructions are configured to cause the at least one processor to perform at least one operation when executed by the at least one processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 개시는 4G 시스템 이후 보다 높은 데이터 전송률을 지원하기 위한 5G 통신 시스템을 IoT 기술과 융합하는 통신 기법 및 그 시스템에 관한 것이다. 본 개시는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스 (예를 들어, 스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에 적용될 수 있다. 본 발명의 실시예에 따른 전자 장치에서 가상현실 스트리밍 서비스를 위한 영상 데이터를 수신하는 방법은, 전자 장치가 대역폭 상태를 토대로 적응적 가상현실 스트리밍 서비스 실행 여부를 결정하는 과정과, 상기 적응적 가상현실 스트리밍 서비스를 실행할 것으로 결정되면, 미리 수집한 헤드 트래킹 정보와 대역폭 정보를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하고 상기 서버로부터 수신하는 과정을 포함한다.

Description

가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
본 발명은 가상현실 (Virtual Reality, 이하 VR) 스트리밍 서비스의 품질을 개선하기 위한 방법 및 장치에 관한 것이다.
4G (4th-Generation) 통신 시스템 상용화 이후 증가 추세에 있는 무선 데이터 트래픽 수요를 충족시키기 위해, 개선된 5G (5th-Generation) 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 4G 네트워크 이후 (Beyond 4G Network) 통신 시스템 또는 LTE 시스템 이후 (Post LTE) 이후의 시스템이라 불리어지고 있다.
높은 데이터 전송률을 달성하기 위해, 5G 통신 시스템은 초고주파 (mmWave) 대역 (예를 들어, 60기가 (60GHz) 대역과 같은)에서의 구현이 고려되고 있다. 초고주파 대역에서의 전파의 경로 손실 완화 및 전파의 전달 거리를 증가시키기 위해, 5G 통신 시스템에서는 빔포밍 (beamforming), 거대 배열 다중 입출력 (massive multi-input multi-output: massive MIMO), 전차원 다중입출력 (Full Dimensional MIMO: FD-MIMO), 어레이 안테나 (array antenna), 아날로그 빔형성 (analog beam-forming), 및 대규모 안테나 (large scale antenna) 기술들이 논의되고 있다.
또한 시스템의 네트워크 개선을 위해, 5G 통신 시스템에서는 진화된 소형 셀, 개선된 소형 셀 (advanced small cell), 클라우드 무선 액세스 네트워크 (cloud radio access network: cloud RAN), 초고밀도 네트워크 (ultra-dense network), 기기 간 통신 (Device to Device communication: D2D), 무선 백홀 (wireless backhaul), 이동 네트워크 (moving network), 협력 통신 (cooperative communication), CoMP (Coordinated Multi-Points), 및 수신 간섭제거 (interference cancellation) 등의 기술 개발이 이루어지고 있다.
이 밖에도, 5G 시스템에서는 진보된 코딩 변조 (Advanced Coding Modulation: ACM) 방식인 FQAM (Hybrid FSK and QAM Modulation) 및 SWSC (Sliding Window Superposition Coding)과, 진보된 접속 기술인 FBMC (Filter Bank Multi Carrier), NOMA (non orthogonal multiple access), 및 SCMA (sparse code multiple access) 등이 개발되고 있다.
한편, 인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 사물인터넷 (Internet of Things, IoT) 망으로 진화하고 있다. IoE (Internet of Everything) 기술은 클라우드 서버 등과의 연결을 통한 빅 데이터 (Big data) 처리 기술 등이 IoT 기술에 결합된 하나의 예가 될 수 있다.
IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크 (sensor network), 사물 통신 (Machine to Machine, M2M), MTC (Machine Type Communication) 등의 기술이 연구되고 있다.
IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT (Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
이에, 5G 통신 시스템을 IoT 망에 적용하기 위한 다양한 시도들이 이루어지고 있다. 예를 들어, 센서 네트워크, 사물 통신, MTC 등의 기술이 5G 통신 기술이 빔 포밍, MIMO, 및 어레이 안테나 등의 기법에 의해 구현되고 있는 것이다. 앞서 설명한 빅 데이터 처리 기술로써 클라우드 무선 액세스 네트워크가 적용되는 것도 5G 기술과 IoT 기술 융합의 일 예라고 할 수 있을 것이다.
한편, 최근 가상 현실(Virtual Reality, 이하 VR) 서비스에 사업자들의 대규모 투자가 진행됨에 따라 차세대 대표 서비스로의 확대가 예상 된다. 일반적으로 가상 현실(virtual reality; VR)이란 실제와 유사한 환경을 갖는 컴퓨터 그래픽으로 만들어진 환경 또는 상황을 말하며, 사람의 감각 기관을 통해 느끼게 하고, 실제로 상호작용하고 있는 것처럼 만들어주는 인터페이스를 의미한다. 사용자는 디바이스의 조작을 통하여 가상 현실과 실시간 상호 작용할 수 있고, 실제와 유사한 감각적 체험을 할 수 있다.
그리고, 증강 현실(augmented reality; AR)은 가상 현실의 한 분야로서 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 이러한, 증강 현실은 사용자가 눈으로 보는 현실 세계에 가상 물체를 겹쳐 보여주는 기술로서, 현실 세계에 실시간으로 부가 정보와 가상 세계를 합쳐 하나의 영상으로 보여주므로 혼합 현실(mixed reality, MR)이라고도 한다.
또한, 가상 현실 기술은 모바일 기기(예컨대, 스마트폰, 태블릿 PC 등)가 일반화됨에 따라 교육, 게임, 내비게이션, 광고, 또는 블로그와 같은 다양한 서비스에서도 자주, 쉽게 접할 수 있게 되었다. 최근 신체에 착용 가능한 웨어러블 장치(wearable device)가 상용화됨에 따라 가상 현실 기술에 관한 연구가 더욱 활발해지고 있다.
예컨대, 상기 웨어러블 장치는 머리 장착형, 안경형, 시계형, 밴드형, 콘텍트 렌즈형, 반지형, 신발형, 의복형 등 인체 및 의복에 탈부착 가능한 다양한 형태로 제공되고 있다. 상기 웨어러블 장치는 전자 장치를 옷이나 안경 등과 같이 신체에 착용할 수 있도록 함으로써 휴대성 및 접근성을 증대시킬 수 있다.
한편, 초기 VR 서비스는 VR 전용 콘텐츠를 VR 장비에 모두 다운로드 한 뒤 재생하는 비스트리밍(Non-Streaming) 서비스로 시작되어, 최근에는 서버로부터 실시간으로 스트리밍(Streaming)을 받으면서 재생하는 서비스로 발전하였다.
VR 콘텐츠는 기존 단말에서 콘텐츠를 소비하는 시점(Point of View) 방식이 아닌 360도 화면을 모두 제공하는 옴니뷰(Omni View) 방식을 지원하기 때문에, 일반 영상 콘텐츠 대비 약 5배에 달하는 고용량 대역폭을 요구한다. 이로 인해 스트리밍 방식 기반의 VR 서비스는 현재 통신망에서 많은 버퍼링 및 대역폭을 사용하게 되며, 이로 인해 VR 스트리밍 서비스의 끊김 문제가 발생된다.
본 발명은 고용량 대역폭을 요구하는 VR 스트리밍 서비스의 대역폭 부족으로 인한 끊김 문제를 해결하기 위해, 사용자의 헤드 트래킹(Head Tracking) 정보를 바탕으로 시야각 별 차등 품질을 제공하는 방법 및 장치를 제안한다.
또한 본 발명은 VR 서비스를 제공하는 전자 장치가 현재 대역폭 상황에 따라 적응적으로 VR 스트리밍 서비스를 제공하는 방법 및 장치를 제안한다.
본 발명의 실시예에 따른 전자 장치에서 가상현실 스트리밍 서비스를 위한 영상 데이터를 수신하는 방법은, 전자 장치가 대역폭 상태를 토대로 적응적 가상현실 스트리밍 서비스 실행 여부를 결정하는 과정과, 상기 적응적 가상현실 스트리밍 서비스를 실행할 것으로 결정되면, 미리 수집한 헤드 트래킹 정보와 대역폭 정보를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하고 상기 서버로부터 수신하는 과정을 포함한다.
또한 본 발명의 실시예에 따른 가상현실 스트리밍 서비스를 위한 영상 데이터를 수신하는 장치는, 전자 장치가 대역폭 상태를 토대로 적응적 가상현실 스트리밍 서비스 실행 여부를 결정하는 판단부와, 상기 적응적 가상현실 스트리밍 서비스를 실행할 것으로 결정되면, 미리 수집한 헤드 트래킹 정보와 대역폭 정보를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하는 수행부를 포함한다.
또한 본 발명의 실시예에 따른 가상현실 스트리밍 서비스를 위한 영상 데이터를 전송하는 방법은, 전자 장치로부터 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터 요청 메시지를 수신하는 과정과, 상기 요청 메시지를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 구성하여 전송하는 과정을 포함하며, 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터는 360도 영상 중 일부인 관심 영역에 대한 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 포함하며, 상기 관심 영역은 상기 전자 장치의 헤드 트래킹 정보와 대역폭 정보 또는 상기 영상 데이터의 이벤트 정보를 토대로 결정된다.
또한 본 발명의 실시예에 따른 가상현실 스트리밍 서비스를 위한 영상 데이터를 전송하는 장치는, 전자 장치로부터 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터 요청 메시지를 수신하고, 상기 요청 메시지를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 구성하여 전송하는 송수신부를 포함하며, 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터는 360도 영상 중 일부인 관심 영역에 대한 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 포함하며, 상기 관심 영역은 상기 전자 장치의 헤드 트래킹 정보와 대역폭 정보 또는 상기 영상 데이터의 이벤트 정보를 토대로 결정된다.
도 1은 본 발명의 실시예에 따른 데이터 분할의 예를 도시한 도면
도 2는 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하기 위한 전자 장치의 구성을 도시한 도면
도 3은 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법에 있어서, 위치 정보만을 고려하여 차등 품질의 영상을 요청하는 예를 도시한 도면
도 4는 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법에 있어서 위치 정보와 가속 정보를 함께 고려하여 차등 품질의 영상을 요청하는 예를 도시한 도면
도 5는 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법에 있어서, 위치 정보만을 고려하여 선택적으로 영상을 요청하는 예를 도시한 도면
도 6은 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법에 있어서, 위치 정보와 가속 정보를 함께 고려하여 선택적으로 영상을 요청하는 예를 도시한 도면
도 7은 본 발명의 실시에에 따른 적응적 VR 스트리밍 서비스 제공 절차를 도시한 순서도
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", " A 및 B 중 적어도 하나", 또는 " A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시 예에서 사용된 "제 1", "제 2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥상 갖는 의미와 동일 또는 유사한 의미를 갖는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
본 개시의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 전자 장치는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 개시의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예를 들어, 인공지능 전자 장치)를 지칭할 수 있다.
본 발명의 실시예에서는 VR 서비스를 제공하는 전자 장치를 사용하는 사람의 현재 시점을 토대로 한 헤드 트래킹 정보와 가속 정보, 영상에 포함된 이벤트(event) 정보 등을 활용하여 사용자의 향후 시야각 정보를 예측하고, 예측된 정보를 토대로 각 view 별로 차등 품질의 영상을 제공하는 방법 및 장치를 제안한다.
가속 정보를 활용하는 방법은 현재 시야각과 가속도 방향 정보를 이용하여 이후에 사용자의 시야가 움직이게 될 방향과 시야각을 예측할 수 있으며, 사용자의 시야가 움직이는 방향의 영상을 고화질로 제공할 수 있다. 또한 영상에 포함된 이벤트 정보를 활용하는 방법은, 영상 속의 특정 소리나 객체 정보 등을 활용하는 방법이 있을 수 있다. 예를 들어 소리가 뒤쪽에서 들려오면 사용자는 자연스럽게 소리가 들려오는 뒤쪽을 보게 될 것이므로 이 경우 뒤쪽의 영상을 고화질로 제공할 수 있다. 또한 영상에서 어느 시점에 새로운 물체가 등장한다면 사용자는 자연스럽게 새로운 물체가 등장하거나 움직이는 방향으로 시선을 향하게 될 것이므로 해당 시야를 고화질로 제공할 수 있다. 또한 이벤트 기반의 예측 방식은 스트리밍 기법 이외에도 로컬(local)에서 VR 컨텐츠를 다운 받아서 선택적으로 렌더링(rendering) 하는 방안에도 적용 가능하다.
또한 본 발명의 실시예에 따르면 VR 서비스를 제공하는 전자 장치가 현재 대역폭 상황에 따라 적응적 VR 스트리밍(Adaptive VR streaming) 서비스를 제공할 수 있다. 적응적 VR 스트리밍은 가속정보, 위치정보, 대역폭 정보 등을 기반으로 다양한 화질의 영상을 제공한다. 예를 들어, 사용자의 현재 시야각을 포함하여 사용자가 볼 확률이 높은 부분은 고화질로, 사용자가 볼 확률이 낮은 부분은 중화질 또는 저화질로 전송하거나, 사용자의 현재 시야 각으로부터 이동 가능한 범위 내의 시야각에 대한 영상만을 전송하고 이동 가능 범위 이외의 시야각에 대한 영상은 전송하지 않을 수 있다.
본 발명의 실시예에 따른 적응적 VR 스트리밍을 판단하는 방법은 전자 장치의 버퍼 레벨을 활용하는 방법, 대역폭을 활용하는 방법을 들 수 있다. 이들 방법은 독립적으로 또는 복합적으로 사용될 수 있다.
먼저, 버퍼 레벨을 활용하는 방법은 전자 장치의 버퍼 레벨 상태를 토대로 대역폭 상태를 추측하는 것이다. 즉, 버퍼 레벨이 높을 경우에는 대역폭이 넓을 것으로 예상하여 모든 영상을 고화질 영상을 전송하고 버퍼 레벨이 낮을 경우에는 대역폭이 좁을 것으로 예상하여 활용도가 적을 것으로 예상되는 시야각의 영상을 저화질 영상으로 전송할 수 있다. 예를 들어, 버퍼 레벨이 상중하 세 단계로 구분된다고 가정할 때, 현재 버퍼 레벨이 상이라면 360도 모든 시야각에 대한 영상을 모두 고화질로 전송하고, 현재 버퍼 레벨이 중이라면 현재 시야각을 포함하여 앞으로 이동할 것으로 예상되는 시야각(이하, 관심 영역)에 대한 영상을 고화질로 전송하고 관심 영역 이외의 영역(이하, 비관심 영역)에 대한 영상을 중화질로 전송하고, 현재 버퍼 레벨이 하라면 관심 영역에 대한 영상을 고화질로 전송하고 비관심 영역에 대한 영상을 저화질로 전송할 수 있다.
또한 대역폭을 측정하는 방법은 청크(Chunk) 단위로 평균 대역폭을 측정하고 상기 측정값(Chunk size/Chunk download time)이 모든 시야각에 대해 고화질 영상을 제공하기 위해 요구되는 대역폭보다 작으면 비관심 영역에 대한 영상을 중화질 또는 저화질로 전송할 수 있다.
다음, 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법에 대해 설명한다.
본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하는 방법은 하나의 영상에 대해 복수의 부호율로 인코딩이 가능한지 여부에 따라 크게 두 가지로 구분될 수 있다.
서버에서 하나의 영상에 대해 복수의 부호율로 인코딩 적용이 가능하지 않은 경우에는 서버가 360도 영상을 뷰별 또는 부호율별로 관리하거나 전자장치의 요청을 기반으로 영상 데이터를 구성 또는 전송할 수 있다. 이를 위해 서버는 360도 카메라를 통해 촬영된 영상을 다중 품질로 인코딩 하여 청크 단위로 1차 분할하고, 각 청크를 다시 각 앵글(Angle) 또는 뷰(View) 단위로 구분한 앵글 블록(Angle block)으로 2차 분할하여 저장소에 저장한다.
도 1은 본 발명의 실시예에 따른 데이터 분할의 예를 도시한 것이다. 도 1에서는 9개의 카메라(cam 1 내지 cam 9)를 사용하여 영상을 촬영하고 각 청크를 9개의 앵글 블록으로 분할하는 것을 예로 들었으나 카메라의 개수와 청크별 앵글 블록의 개수는 변경 가능하다. 또한 도 1에서는 두 단계의 품질, 즉 고화질과 저화질로 인코딩 하는 것을 예로 들었으나 셋 이상의 화질로도 구분할 수 있다.
청크를 앵글 블록으로 분할하는 방식은 균일한 각도로 분할하는 방식과 불균일한 각도로 분할하는 방식을 모두 사용할 수 있다.
균일한(Symmetric) 각도로 분할하는 방식은, 예를 들어 360도를 45도씩 8개의 앵글 블록으로 분할하거나 30도씩 12개의 앵글 블록으로 분할하는 것을 의미한다. 또한 불균일한(Asymmetric) 각도로 분할하는 방식은, 예를 들어 사용자가 볼 확률이 낮은 부분은 비교적 작은 크기로 앵글 블록을 형성하고 볼 확률이 높은 부분은 비교적 큰 크기로 앵글 블록을 형성하거나, 움직임이 많은 부분은 비교적 큰 크기로 앵글블록을 형성하고 움직임이 적은 부분은 비교적 작은 크기로 앵글 블록을 형성할 수 있다. 또한 앵글 블록의 크기가 볼 확률에 비례하도록 모든 앵글 블록의 크기를 다르게 설정할 수도 있다. 또한 스포츠 영상, 영화, 자연 영상 등 영상의 특성에 따라서 앵글 블록의 크기나 해상도 레벨을 다르게 설정할 수도 있다. 예를 들어 스포츠 영상과 같이 움직임이 빠른 영상의 경우에는 화면이 끊김 없이 보이도록
한편, 전자 장치는 자신의 능력이나 현재 네트워크 상황에 따라 적응적으로 서버에게 VR 스트리밍 서비스를 요청할 수 있다. 이를 위해 전자 장치는 매 청크마다 청크 인덱스와 해당 청크의 품질 정보를 서버에 전달하며, 서버는 이에 상응하는 품질의 청크를 전자 장치로 전송한다. 또한 본 발명의 실시예에 따른 앵글 블록 단위의 청크를 요청하기 위해서는 전자 장치가 서버로 영상을 요청할 때 청크 인덱스 및 품질 정보와 함께 앵글 블록에 대한 정보도 전달해야 한다.
또한 본 발명의 실시예에 따라 뷰 별로 서로 다른 품질의 영상이 제공될 경우, 전자 장치는 서버로부터 뷰별로 분할된 영상 데이터들을 수신하여 결합(aggregation)하는 작업을 수행해야 한다. 또는 서버가 분할된 뷰 별 영상을 결합하여 360도 영상을 생성한 후 전자 장치로 전송할 수도 있다. 또는 서버와 전자 장치간의 연결을 설정하는 과정에서 단말의 영상 처리 능력 정보를 협상(negotiation)하고 협상된 결과를 토대로 영상 결합 주체를 결정할 수도 있다. 예를 들어 전자 장치의 영상 처리 능력이 낮은 경우에는 서버가 결합된 영상을 전자 장치로 제공하는 방법을 택할 수 있다.
한편, 스마트 코덱 방법 등과 같이 관심 영역과 비관심 영역의 압축을 다르게 하여 인코딩이 가능한 경우에는, 전자 장치가 버퍼 레벨과, 헤드 트랙 정보를 토대로 향후 사용자가 보게 될 관심 영역의 정보를 서버로 전송하고, 서버는 전자 장치로부터 수신된 정보를 바탕으로 사용자의 관심 영역에 해당하는 영상은 압축률을 낮춰서 고화질로 전송하고, 비관심 영역은 압축률을 높여서 저화질로 전송함으로써 데이터 크기를 줄일 수도 있다. 관심 영역 설정은 사용자가 직접 블록 설정 등으로 지정하거나, 전자 장치의 버퍼 레벨에 따라 설정하거나, 전자 장치와 연결된 카메라에서 초점 자동 설정 등을 통해 특정 객체 또는 특정 영역을 관심 영역으로 설정할 수도 있다.
도 2는 본 발명의 실시예에 따른 적응적 VR 스트리밍 서비스를 제공하기 위한 전자 장치의 구성을 도시한 것이다.
도 2를 참조하면, 본 발명의 실시예에 따른 전자 장치(200)는 헤드 트래킹 정보 추출부(210)와, 적응적 VR 스트리밍 판단부(220)와, 적응적 VR 스트리밍 수행부(230)와, 영상 요청부(240)를 포함할 수 있다.
헤드 트래킹 정보 추출부(210)는 전자 장치에 장착된 자이로 센서나 가속도 센서 등의 움직임을 감지하는 센서, 카메라 등으로부터 수신한 정보들을 토대로 가속정보와 위치 정보를 추출한다.
적응적 VR 스트리밍 판단부(220)는 대역폭 상태에 따라 적응적 VR 스트리밍 수행 여부를 결정한다. 구체적으로, 전자 장치에서 측정된 대역폭이 360도 영상을 모두 고화질 영상으로 제공하기 위한 고화질 요구 대역폭보다 큰 경우에는 모든 영상을 고화질로 수신할 수 있으므로 적응적 VR 스트리밍을 수행하지 않는 것으로 판단하고, 상기 측정된 대역폭이 상기 고화질 요구 대역폭보다 적은 경우에는 적응적 VR 스트리밍을 수행하는 것으로 판단하며, 상기 측정된 대역폭이 360도 영상을 모두 저화질 영상으로 제공하기 위한 저화질 요구 대역폭보다도 작은 경우에는 모든 영상을 저화질로 수신할 것이므로 적응적 VR 스트리밍을 수행하지 않는 것으로 판단한다. 그리고 판단 결과를 각각 적응적 VR 스트리밍 수행부(230)와 영상 요청부(240)로 전달한다.
적응적 VR 스트리밍 수행부(230)는 헤드 트래킹 정보 추출부(210)로부터 추출된 가속 정보와 위치 정보를 수신하고, 적응적 VR 스트리밍 판단부(220)에서 적응적 VR 스트리밍을 수행하기로 결정한 경우에 상기 가속 정보와 위치 정보를 토대로 서버로 요청할 청크 정보를 결정한다.
영상 요청부(240)는 적응적 VR 스트리밍 판단부(220) 및 적응적 VR 스트리밍 수행부(230)의 결정에 따라 서버로 적응적 VR 스트리밍을 요청한다. 이때 영상 요청부(240)는 서버로부터 기 수신한 매니페스트(manifest) 파일을 토대로 지원 가능한 품질 정보와 앵글 블록 인덱스 정보를 획득하고, 획득한 정보들을 토대로 요청 메시지를 생성하여 서버로 전송한다. 앞서 언급한 바와 같이 상기 요청 메시지는 청크 인덱스, 품질 정보, 앵글 블록 인덱스를 포함할 수 있다.
다음, 본 발명의 실시예에 따른 차등 품질 제공 방법에 대해 설명한다.
먼저, 사용자가 현재 보는 시점을 기준으로 앞으로 볼 확률이 높은 주변 부분은 고화질 영상으로, 나머지 부분은 저화질 영상으로 요청할 수 있다. 이때 위치 정보와 가속 정보의 활용 방안에 따라 다음 두 가지 방안이 있을 수 있다.
위치 정보만 활용하는 경우에는 현재 사용자가 보고 있는 뷰를 기준으로 좌우에 인접한 뷰를 고화질로 요청할 수 있다.
또한 위치 정보와 가속 정보를 함께 활용할 경우에는 사용자가 가속을 받고 있는 방향의 뷰로 시선이 이동할 확률이 높다고 판단하여, 현재 뷰와 가속 방향의 영역을 고화질 영상을 요청할 수 있다.
도 3은 위치 정보만을 고려하여 차등 품질의 영상을 요청하는 예를 도시한 것이고 도 4는 위치 정보와 가속 정보를 함께 고려하여 차등 품질의 영상을 요청하는 예를 도시한 것이다.
도 3을 참조하면, 현재 5번을 보고 있는 경우에 5번을 포함하여 5번에 인접한 4번과 6번, 그리고 천장 영상인 9번을 고화질로 요청하고, 나머지 뷰(1-3번, 7-8번)의 영상을 저화질로 요청할 수 있다.
또한 도 4를 참조하면, 현재 5번을 보고 있으며 왼쪽 방향으로 가속 정보가 존재할 때, 5번을 포함하여 5번에 인접한 4번과 6번, 그리고 가속방향으로 5번에 인접한 3번, 그리고 천장 영상인 9번을 고화질로 요청하고, 나머지 뷰(1-2번, 7-8번)의 영상을 저화질로 요청할 수 있다.
상기 도 3과 도 4에서는 화질을 고화질과 저화질의 두 단계로 구분하였으나, 3개 이상의 단계로 구분하여 전송할 수도 있다. 예를 들어 도 3에서는 4번, 5번, 6번, 9번을 고화질로 요청하고, 나머지 뷰 중에서 현재 시점과 비교적 인접한 3번과 7번은 중화질로, 현재 시점과 비교적 먼 1,2번과 8번은 저화질로 요청할 수 있다. 또한 도 4에서는 3-6번과 9번은 고화질로, 나머지 뷰 중에서 가속방향에 위치한 1-2번은 중화질로, 가속방향과 반대방향에 위치한 7-8번은 저화질로 요청할 수 있다.
또한 앞서 기술한 바와 같이 영상에 포함된 이벤트(event) 정보 등을 활용하여 사용자의 향후 시야각 정보를 예측하는 경우에도 예측된 정보를 토대로 각 view 별로 2단계 이상의 차등 품질의 영상을 제공할 수 있다.
다음, 사용자가 현재 보는 시점을 기준으로 앞으로 볼 확률이 높은 주변 부분의 영상만을 선택적으로 요청하고 나머지 부분은 영상을 요청하지 않음으로써 대역폭을 절감할 수 있다. 선택적 영상 요청 방법도 앞서 설명한 뷰 별 차등 품질 영상 요청 방안과 유사하게 위치 정보와 가속 정보의 활용 방안에 따라 다음 두 가지 방안이 있을 수 있다.
위치 정보만 활용하는 경우에는 현재 사용자가 보고 있는 뷰를 기준으로 좌우에 인접한 뷰에 대한 영상만 요청하고 나머지 부분은 요청하지 않을 수 있다.
또한 위치 정보와 가속 정보를 함께 활용할 경우에는 사용자가 가속을 받고 있는 방향의 뷰로 시선이 이동할 확률이 높다고 판단하여, 현재 뷰와 가속 방향의 영역의 영상만 요청하고 나머지 부분은 요청하지 않을 수 있다.
도 5는 위치 정보만을 고려하여 선택적으로 영상을 요청하는 예를 도시한 것이고 도 6은 위치 정보와 가속 정보를 함께 고려하여 선택적으로 영상을 요청하는 예를 도시한 것이다.
도 5를 참조하면, 현재 5번을 보고 있는 경우에 5번을 포함하여 5번에 인접한 4번과 6번, 그리고 천장 영상인 9번을 요청하고, 나머지 뷰(1-3번, 7-8번)의 영상은 요청하지 않는다.
또한 도 6을 참조하면, 현재 5번을 보고 있으며 왼쪽 방향으로 가속 정보가 존재할 때, 5번을 포함하여 5번에 인접한 4번과 6번, 그리고 가속방향으로 5번에 인접한 3번, 그리고 천장 영상인 9번을 요청하고, 나머지 뷰(1-2번, 7-8번)의 영상은 요청하지 않는다.
또한 앞서 기술한 바와 같이 영상에 포함된 이벤트(event) 정보 등을 활용하여 사용자의 향후 시야각 정보를 예측하는 경우에도 예측된 정보를 토대로 각 view 별로 영상을 선택적으로 제공할 수 있다.
도 7은 본 발명의 실시에에 따른 적응적 VR 스트리밍 서비스 제공 절차를 도시한 순서도이다.
도 7을 참조하면, 전자 장치는 서버로 매니페스트(Manifest) 파일을 요청하여 이를 수신하고(701,702) 인코딩 및 청크 정보를 획득한다(703). 이때 전자 장치는 자신의 디코딩 능력을 포함하는 능력 정보를 서버에게 전송할 수 있다. 전자 장치는 현재 대역폭을 측정하고 측정된 대역폭을 바탕으로 적응적 VR 스트리밍 수행 여부를 판단한다(704). 즉, 전자 장치에서 측정된 대역폭이 360도 영상을 모두 고화질 영상으로 제공하기 위한 고화질 요구 대역폭보다 큰 경우에는 모든 영상을 고화질로 수신할 수 있으므로 적응적 VR 스트리밍을 수행하지 않는 것으로 판단하고, 상기 측정된 대역폭이 상기 고화질 요구 대역폭보다 적은 경우에는 적응적 VR 스트리밍을 수행하는 것으로 판단하며, 상기 측정된 대역폭이 360도 영상을 모두 저화질 영상으로 제공하기 위한 저화질 요구 대역폭보다도 작은 경우에는 모든 영상을 저화질로 수신할 것이므로 적응적 VR 스트리밍을 수행하지 않는 것으로 판단한다. 적응적 VR 스트리밍을 수행하기로 결정된 경우, 전자 장치에 장착된 움직임 센서, 카메라 등으로부터 기 수신한 헤드 트래킹 정보인 가속정보와 위치 정보를 토대로 서버로 요청할 청크 정보를 결정한다(705). 그리고 상기 결정에 따라 서버로 적응적 VR 스트리밍을 요청한다(706). 이때 전자 장치는 서버로부터 기 수신한 매니페스트(manifest) 파일을 토대로 지원 가능한 품질 정보와 앵글 블록 인덱스 정보를 획득하고, 획득한 정보들을 토대로 요청 메시지를 생성하여 서버로 전송한다(708). 상기 요청 메시지는 청크 인덱스, 품질 정보, 앵글 블록 인덱스를 포함할 수 있다. 그리고 전자 장치는 서버로부터 상기 요청에 따른 청크를 수신한다(708). 이때, 서버는 701에서 수신한 단말의 능력정보를 토대로 단말이 디코딩 가능한 범위 내의 영상을 전송할 수 있다.
본 문서에서 사용된 용어 "~부"는, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "~부"는, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "~부"는, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "~부"는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "~부"는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 프로세서 (예: 프로세서(120))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리(130)가 될 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시 예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 전자 장치에서 가상 현실 모드를 실행하는 과정; 적어도 하나의 이벤트 발생에 따른 인터럽트를 감지하는 과정; 상기 발생한 이벤트와 관련된 이벤트 관련 정보를 상기 가상 현실 모드에 대응하는 형태로 변경하는 과정; 및 상기 변경된 이벤트 관련 정보를 상기 가상 현실 모드에 대응하여 실행되는 화면상에 표시하는 과정;을 포함할 수 있다.
그리고 본 명세서와 도면에 발명된 본 발명의 실시 예들은 본 발명의 실시 예에 따른 기술 내용을 쉽게 설명하고 본 발명의 실시 예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시 예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시 예의 범위는 여기에 발명된 실시 예들 이외에도 본 발명의 다양한 실시 예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시 예의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에서 가상현실 스트리밍 서비스를 위한 영상 데이터를 수신하는 방법에 있어서,
    전자 장치가 대역폭 상태를 토대로 적응적 가상현실 스트리밍 서비스 실행 여부를 결정하는 과정과,
    상기 적응적 가상현실 스트리밍 서비스를 실행할 것으로 결정되면, 미리 수집한 헤드 트래킹 정보와 대역폭 정보를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하고 상기 서버로부터 수신하는 과정을 포함하는 영상 데이터 수신 방법.
  2. 가상현실 스트리밍 서비스를 위한 영상 데이터를 수신하는 장치에 있어서,
    전자 장치가 대역폭 상태를 토대로 적응적 가상현실 스트리밍 서비스 실행 여부를 결정하는 판단부와,
    상기 적응적 가상현실 스트리밍 서비스를 실행할 것으로 결정되면, 미리 수집한 헤드 트래킹 정보와 대역폭 정보를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 요청하는 수행부를 포함하는 수신 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 대역폭 상태가 모든 영상 데이터를 소정값 이상의 해상도를 가지는 고화질로 수신하기 어렵다고 판단되는 경우에 상기 가상현실 스트리밍 서비스를 실행할 것으로 결정하는 영상 데이터 수신 방법 또는 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 전자 장치의 버퍼 레벨 정보를 토대로 상기 대역폭 상태를 추측하는 영상 데이터 수신 방법 또는 장치.
  5. 제1항 또는 제2항에 있어서,
    청크 단위로 평균 대역폭을 측정하고, 상기 측정한 평균 대역폭이 모든 영상 데이터를 소정값 이상의 해상도를 가지는 고화질로 수신하기 어렵다고 판단되는 경우에 상기 가상현실 스트리밍 서비스를 실행할 것으로 결정하는 영상 데이터 수신 방법 또는 장치.
  6. 제1항 또는 제2항에 있어서,
    상기 트래킹 정보에 포함된 가속 정보를 토대로 이후에 시선이 움직일 것으로 예상되는 위치를 관심 영역을 설정하고, 상기 관심 영역에 대해 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 요청하는 영상 데이터 수신 방법 또는 장치.
  7. 제1항 또는 제2항에 있어서,
    상기 영상 데이터에 포함된 이벤트 정보를 토대로 설정된 관심 영역에 대해 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 요청하여 수신하는 영상 데이터 수신 방법 또는 장치.
  8. 제6항에 있어서,
    상기 관심 영역 이외의 영역에 대해 상기 소정값 이하의 해상도를 가지는 영상 데이터를 요청하는 영상 데이터 수신 방법 또는 장치.
  9. 제6항에 있어서,
    상기 관심 영역 이외의 영역에 대해서는 영상 데이터를 요청하지 않는 영상 데이터 수신 방법 또는 장치.
  10. 제7항에 있어서,
    상기 이벤트 정보는, 소정 시점에 등장하는 소리 또는 객체에 대한 방향 정보를 포함하는 영상 데이터 수신 방법 또는 장치.
  11. 제1항 또는 제2항에 있어서,
    상기 서버로부터 획득한 인코딩 정보와 청크 정보를 토대로, 상기 요청하는 영상 데이터에 대한 청크 인덱스 정보와, 상기 영상 데이터를 시야각에 따라 분할한 앵글 블록 인덱스와, 해상도 정보를 상기 서버로 전송하는 영상 데이터 수신 방법 또는 장치.
  12. 가상현실 스트리밍 서비스를 위한 영상 데이터를 전송하는 방법에 있어서,
    전자 장치로부터 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터 요청 메시지를 수신하는 과정과,
    상기 요청 메시지를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 구성하여 전송하는 과정을 포함하며,
    상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터는 360도 영상 중 일부인 관심 영역에 대한 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 포함하며,
    상기 관심 영역은 상기 전자 장치의 헤드 트래킹 정보와 대역폭 정보 또는 상기 영상 데이터의 이벤트 정보를 토대로 결정되는 영상 데이터 송신 방법.
  13. 가상현실 스트리밍 서비스를 위한 영상 데이터를 전송하는 장치에 있어서,
    전자 장치로부터 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터 요청 메시지를 수신하고, 상기 요청 메시지를 토대로 상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터를 구성하여 전송하는 송수신부를 포함하며,
    상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터는 360도 영상 중 일부인 관심 영역에 대한 소정값 이상의 해상도를 가지는 고화질의 영상 데이터를 포함하며,
    상기 관심 영역은 상기 전자 장치의 헤드 트래킹 정보와 대역폭 정보 또는 상기 영상 데이터의 이벤트 정보를 토대로 결정되는 영상 데이터 송신 장치.
  14. 제12항 또는 제13항에 있어서,
    상기 적응적 가상현실 스트리밍 서비스를 위한 영상 데이터는 상기 관심 영역 이외의 영역에 대한 상기 소정값 이하의 해상도를 가지는 영상 데이터를 더 포함하는 영상 데이터 송신 방법 또는 장치.
  15. 제12항 또는 제13항에 있어서,
    상기 이벤트 정보는, 소정 시점에 등장하는 소리 또는 객체에 대한 방향 정보를 포함하는 영상 데이터 송신 방법 또는 장치.
PCT/KR2016/003117 2015-04-22 2016-03-28 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치 Ceased WO2016171404A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/568,778 US10397297B2 (en) 2015-04-22 2016-03-28 Method and apparatus for transmitting and receiving image data for virtual-reality streaming service
EP16783338.3A EP3288271B1 (en) 2015-04-22 2016-03-28 Method and apparatus for transmitting and receiving image data for virtual-reality streaming service
CN201680023256.1A CN107548557B (zh) 2015-04-22 2016-03-28 发送和接收虚拟现实流传输服务的图像数据的方法和装置
US16/542,426 US11050810B2 (en) 2015-04-22 2019-08-16 Method and apparatus for transmitting and receiving image data for virtual-reality streaming service

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0056498 2015-04-22
KR1020150056498A KR102313485B1 (ko) 2015-04-22 2015-04-22 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/568,778 A-371-Of-International US10397297B2 (en) 2015-04-22 2016-03-28 Method and apparatus for transmitting and receiving image data for virtual-reality streaming service
US16/542,426 Continuation US11050810B2 (en) 2015-04-22 2019-08-16 Method and apparatus for transmitting and receiving image data for virtual-reality streaming service

Publications (1)

Publication Number Publication Date
WO2016171404A1 true WO2016171404A1 (ko) 2016-10-27

Family

ID=57144007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/003117 Ceased WO2016171404A1 (ko) 2015-04-22 2016-03-28 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치

Country Status (5)

Country Link
US (2) US10397297B2 (ko)
EP (1) EP3288271B1 (ko)
KR (1) KR102313485B1 (ko)
CN (1) CN107548557B (ko)
WO (1) WO2016171404A1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168534A (zh) * 2017-05-12 2017-09-15 杭州隅千象科技有限公司 一种基于cave系统的渲染优化方法及投影方法
WO2017036429A3 (en) * 2016-12-01 2017-09-21 Viewtrix Technology Co., Ltd. Zone-based display data processing and transmission
CN108429906A (zh) * 2017-02-15 2018-08-21 三星电子株式会社 电子设备和用于在电子设备中发送和接收图像数据的方法
WO2018184528A1 (en) * 2017-04-05 2018-10-11 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
CN109040740A (zh) * 2017-06-08 2018-12-18 瑞鼎科技股份有限公司 虚拟现实显示系统及显示驱动装置
CN109218252A (zh) * 2017-06-29 2019-01-15 阿里巴巴集团控股有限公司 一种虚拟现实的显示方法、装置及其设备
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
US10762710B2 (en) 2017-10-02 2020-09-01 At&T Intellectual Property I, L.P. System and method of predicting field of view for immersive video streaming
WO2020189817A1 (ko) * 2019-03-19 2020-09-24 전자부품연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US11494870B2 (en) 2017-08-18 2022-11-08 Mediatek Inc. Method and apparatus for reducing artifacts in projection-based frame
US11638259B2 (en) * 2019-10-17 2023-04-25 Qualcomm Incorporated Uplink and downlink streaming bit rate assistance in 4G and 5G networks

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US10242643B2 (en) * 2016-07-18 2019-03-26 Microsoft Technology Licensing, Llc Constrained head-mounted display communication
US10868848B2 (en) * 2016-07-25 2020-12-15 Peraso Technologies Inc. Wireless multimedia communications system and method
KR102524987B1 (ko) * 2016-07-29 2023-04-21 에스케이텔레콤 주식회사 스트리밍 컨텐츠 제공 방법, 스트리밍 컨텐츠 저장 방법 및 이를 위한 장치
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
MX2022004795A (es) 2016-10-12 2022-12-16 Fraunhofer Ges Forschung Transmisión continua espacialmente desigual.
KR102733930B1 (ko) * 2016-11-25 2024-11-26 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR101799702B1 (ko) * 2016-12-02 2017-12-20 주식회사 라투인 만물 인터넷을 융합한 생활 밀착형 가상현실 비즈니스 플랫폼과 그 운영방법
CN108616751B (zh) * 2016-12-12 2023-05-12 上海交通大学 媒体信息的处理方法、装置及系统
WO2018110839A1 (ko) * 2016-12-16 2018-06-21 삼성전자 주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
EP3557866A4 (en) 2016-12-16 2019-12-04 Samsung Electronics Co., Ltd. METHOD FOR TRANSMITTING DATA RELATED TO A THREE-DIMENSIONAL IMAGE
US10241587B2 (en) * 2016-12-22 2019-03-26 Microsoft Technology Licensing, Llc Magnetic tracker power duty cycling
KR102625773B1 (ko) * 2017-01-04 2024-01-17 삼성전자주식회사 뷰 벡터별 다른 렌더링 품질을 갖는 영상을 생성하는 전자 장치
WO2018131888A1 (ko) * 2017-01-13 2018-07-19 삼성전자 주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
KR101874111B1 (ko) 2017-03-03 2018-07-03 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
WO2018169176A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
WO2018174387A1 (ko) * 2017-03-20 2018-09-27 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
EP3606084A1 (en) 2017-03-28 2020-02-05 Samsung Electronics Co., Ltd. Method for transmitting data about three-dimensional image
WO2018182161A1 (ko) * 2017-03-28 2018-10-04 삼성전자 주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
US20190373245A1 (en) * 2017-03-29 2019-12-05 Lg Electronics Inc. 360 video transmission method, 360 video reception method, 360 video transmission device, and 360 video reception device
US10848837B2 (en) 2017-04-03 2020-11-24 Electronics And Telecommunications Research Institute Device and method for processing high-definition 360-degree VR image
KR102366258B1 (ko) * 2017-04-13 2022-02-22 삼성전자주식회사 영상 처리 방법 및 장치
CN107333119A (zh) * 2017-06-09 2017-11-07 歌尔股份有限公司 一种显示数据的处理方法和设备
KR102111501B1 (ko) 2017-06-19 2020-05-15 주식회사 케이티 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
KR101988244B1 (ko) * 2017-07-04 2019-06-12 정용철 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법
KR101883981B1 (ko) * 2017-08-01 2018-07-31 강서연 가상 현실 동영상 제공 장치 및 제공 방법
GB2566478B (en) * 2017-09-14 2019-10-30 Samsung Electronics Co Ltd Probability based 360 degree video stabilisation
KR102390208B1 (ko) * 2017-10-17 2022-04-25 삼성전자주식회사 멀티미디어 데이터를 전송하는 방법 및 장치
KR102072714B1 (ko) * 2017-10-19 2020-02-25 주식회사 인라이플 헤드 마운티드 장치를 이용한 쇼핑 서비스 제공 시스템 및 방법
KR102034826B1 (ko) * 2018-02-09 2019-10-21 강서연 가상 현실 동영상 제공 장치 및 제공 방법
EP3769515B1 (en) * 2018-03-22 2025-09-24 Huawei Technologies Co., Ltd. Immersive media metrics for rendered viewports
KR102179810B1 (ko) * 2018-06-27 2020-11-17 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
US10795435B2 (en) * 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
KR101965746B1 (ko) * 2018-10-02 2019-04-05 주식회사 이노벤터 Vr 콘텐츠 스트리밍 서버 및 방법
US10638165B1 (en) 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction
US10880534B2 (en) 2018-11-09 2020-12-29 Korea Electronics Technology Institute Electronic device and method for tiled video multi-channel playback
KR102023905B1 (ko) * 2018-11-09 2019-11-04 전자부품연구원 분할 영상 다중 채널 재생을 하는 전자장치 및 방법
KR102742246B1 (ko) 2018-12-27 2024-12-13 삼성전자주식회사 무선 통신 수행 방법 및 이를 지원하는 전자 장치
KR102251576B1 (ko) * 2019-04-04 2021-05-14 한국전자기술연구원 관심 영역 기반의 vr 영상 수신 장치 및 방법
CN111866485A (zh) * 2019-04-25 2020-10-30 中国移动通信有限公司研究院 立体画面投影和传输方法、装置和计算机可读存储介质
US11481026B2 (en) 2019-08-22 2022-10-25 Samsung Electronics Co., Ltd. Immersive device and method for streaming of immersive media
KR102118334B1 (ko) * 2019-10-18 2020-06-04 전자부품연구원 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치
US11095912B2 (en) 2019-10-28 2021-08-17 Mediatek Inc. Video decoding method for decoding part of bitstream to generate projection-based frame with constrained guard band size, constrained projection face size, and/or constrained picture size
KR102239960B1 (ko) * 2019-11-04 2021-04-13 서울과학기술대학교 산학협력단 콘텐츠 전송 방법 및 이를 수행하는 장치들
DE102020112301A1 (de) 2020-05-06 2021-11-11 Audi Aktiengesellschaft System zur Übermittlung zumindest eines ausgewählten Virtual Reality (VR)-Inhaltes für eine dynamische Umgebung
EP4142292A4 (en) 2020-05-18 2023-09-27 Samsung Electronics Co., Ltd. IMAGE CONTENT TRANSMISSION METHOD AND APPARATUS USING EDGE COMPUTING SERVICE
US20220103655A1 (en) * 2020-09-29 2022-03-31 International Business Machines Corporation Proactively selecting virtual reality content contexts
KR102354132B1 (ko) 2020-10-14 2022-01-24 한국전자기술연구원 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법
US11282285B1 (en) 2021-01-08 2022-03-22 International Business Machines Corporation Real-world object location identification using 5G network technology
KR20230105531A (ko) 2022-01-04 2023-07-11 한국전자통신연구원 딥러닝을 이용한 이미지 전송 시스템 및 방법
CN115237618A (zh) * 2022-07-08 2022-10-25 深圳市优必选科技股份有限公司 请求处理方法、装置、计算机设备及可读存储介质
CN115859263B (zh) * 2023-02-23 2023-05-19 北京易智时代数字科技有限公司 一种虚拟现实应用的管理方法、终端及边缘业务平台
WO2025254293A1 (en) * 2024-06-07 2025-12-11 Samsung Electronics Co., Ltd. System and method for processing media data in a virtual reality environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013066082A1 (ko) * 2011-11-01 2013-05-10 삼성전자 주식회사 이동 통신 시스템에서 사용자 장치 별로 사용 가능한 대역폭을 추정하는 방법 및 장치
JP2013168910A (ja) * 2012-02-17 2013-08-29 Sony Corp ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
KR20140035861A (ko) * 2013-11-06 2014-03-24 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
US20140232620A1 (en) * 2011-10-25 2014-08-21 Olympus Corporation Head mounted display apparatus, information terminal, and methods and information storage devices for controlling head mounted display apparatus and information terminal

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351261B1 (en) * 1993-08-31 2002-02-26 Sun Microsystems, Inc. System and method for a virtual reality system having a frame buffer that stores a plurality of view points that can be selected and viewed by the user
US6118456A (en) 1998-04-02 2000-09-12 Adaptive Media Technologies Method and apparatus capable of prioritizing and streaming objects within a 3-D virtual environment
EP1297634A1 (en) * 2000-06-09 2003-04-02 iMove Inc. Streaming panoramic video
KR100739686B1 (ko) * 2004-08-13 2007-07-13 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치
US8762846B2 (en) 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
US20110145323A1 (en) * 2009-12-16 2011-06-16 Colin Kahn Method and apparatus for controlling delivery of services to user devices
US20110250962A1 (en) * 2010-04-09 2011-10-13 Feiner Steven K System and method for a 3d computer game with true vector of gravity
CN103155585A (zh) * 2010-07-12 2013-06-12 欧普斯梅迪库斯股份有限公司 网络式上下文关联图像的高分辨率查看系统与方法
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
FR2975555A1 (fr) 2011-05-18 2012-11-23 Thomson Licensing Methode d'adaptation dynamique du debit de reception et recepteur associe
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
RU2017115669A (ru) 2011-10-28 2019-01-28 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
KR101167505B1 (ko) 2011-11-01 2012-07-23 주식회사 유니크 오일펌프 컨트롤 밸브
US20140340404A1 (en) * 2011-12-16 2014-11-20 Thomson Licensing Method and apparatus for generating 3d free viewpoint video
KR101833034B1 (ko) 2012-01-19 2018-02-27 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템
CN102625125A (zh) * 2012-03-15 2012-08-01 天津大学 一种实时传输高分辨率多视点立体视频的方法
US9253524B2 (en) * 2012-07-20 2016-02-02 Intel Corporation Selective post-processing of decoded video frames based on focus point determination
US9060207B2 (en) * 2012-08-20 2015-06-16 Google Inc. Adaptive video streaming over a content delivery network
WO2014074200A2 (en) * 2012-08-21 2014-05-15 Skybox Imaging, Inc. Multi-resolution pyramid for georeferenced video
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9245373B2 (en) * 2012-12-04 2016-01-26 Nintendo Co., Ltd. Caching in map systems for displaying panoramic images
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
IN2013CH03069A (ko) * 2013-07-09 2015-08-28 Samsung India Software Operations Pvt Ltd
US9942622B2 (en) * 2014-01-24 2018-04-10 Hiperwall, Inc. Methods and systems for synchronizing media stream presentations
US20180063372A1 (en) * 2014-11-18 2018-03-01 Elwha Llc Imaging device and system with edge processing
US20160198140A1 (en) * 2015-01-06 2016-07-07 3DOO, Inc. System and method for preemptive and adaptive 360 degree immersive video streaming
CN107409232B (zh) * 2015-03-05 2020-06-09 索尼公司 图像处理设备和图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140232620A1 (en) * 2011-10-25 2014-08-21 Olympus Corporation Head mounted display apparatus, information terminal, and methods and information storage devices for controlling head mounted display apparatus and information terminal
WO2013066082A1 (ko) * 2011-11-01 2013-05-10 삼성전자 주식회사 이동 통신 시스템에서 사용자 장치 별로 사용 가능한 대역폭을 추정하는 방법 및 장치
JP2013168910A (ja) * 2012-02-17 2013-08-29 Sony Corp ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
KR20140035861A (ko) * 2013-11-06 2014-03-24 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MASON WILL: "NextVR is bringing the Best Seat in the House to Your Living Room, Exclusive Interview with DJ Roller", UPLOAD, 14 January 2015 (2015-01-14), XP055433732, Retrieved from the Internet <URL:http://uploadvr.com/nextvr-is-bringing-the-best-seat-in-the-house-to-your-living-room-exclisive-interview-with-dj-roller> *
See also references of EP3288271A4 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036429A3 (en) * 2016-12-01 2017-09-21 Viewtrix Technology Co., Ltd. Zone-based display data processing and transmission
US10614764B2 (en) 2016-12-01 2020-04-07 Shanghai Yunyinggu Technology Co., Ltd. Zone-based display data processing and transmission
US10482672B2 (en) 2017-02-15 2019-11-19 Samsung Electronics Co., Ltd. Electronic device and method for transmitting and receiving image data in electronic device
CN108429906A (zh) * 2017-02-15 2018-08-21 三星电子株式会社 电子设备和用于在电子设备中发送和接收图像数据的方法
EP3364273A1 (en) * 2017-02-15 2018-08-22 Samsung Electronics Co., Ltd. Electronic device and method for transmitting and receiving image data in the electronic device
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US10356386B2 (en) 2017-04-05 2019-07-16 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
GB2573951A (en) * 2017-04-05 2019-11-20 Mediatek Inc Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
CN110506291A (zh) * 2017-04-05 2019-11-26 联发科技股份有限公司 处理具有使用非均匀映射生成的至少一个投影面的基于投影的帧的方法和装置
WO2018184528A1 (en) * 2017-04-05 2018-10-11 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
CN110506291B (zh) * 2017-04-05 2021-05-14 联发科技股份有限公司 一种视频处理方法和装置
CN107168534A (zh) * 2017-05-12 2017-09-15 杭州隅千象科技有限公司 一种基于cave系统的渲染优化方法及投影方法
CN109040740A (zh) * 2017-06-08 2018-12-18 瑞鼎科技股份有限公司 虚拟现实显示系统及显示驱动装置
CN109218252A (zh) * 2017-06-29 2019-01-15 阿里巴巴集团控股有限公司 一种虚拟现实的显示方法、装置及其设备
US11494870B2 (en) 2017-08-18 2022-11-08 Mediatek Inc. Method and apparatus for reducing artifacts in projection-based frame
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US10762710B2 (en) 2017-10-02 2020-09-01 At&T Intellectual Property I, L.P. System and method of predicting field of view for immersive video streaming
US11282283B2 (en) 2017-10-02 2022-03-22 At&T Intellectual Property I, L.P. System and method of predicting field of view for immersive video streaming
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
WO2020189817A1 (ko) * 2019-03-19 2020-09-24 전자부품연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
US11638259B2 (en) * 2019-10-17 2023-04-25 Qualcomm Incorporated Uplink and downlink streaming bit rate assistance in 4G and 5G networks
US12382479B2 (en) 2019-10-17 2025-08-05 Qualcomm Incorporated Uplink and downlink streaming bit rate assistance in 4G and 5G networks

Also Published As

Publication number Publication date
CN107548557A (zh) 2018-01-05
US20180091577A1 (en) 2018-03-29
EP3288271B1 (en) 2021-11-03
US10397297B2 (en) 2019-08-27
US20190373042A1 (en) 2019-12-05
KR102313485B1 (ko) 2021-10-15
CN107548557B (zh) 2021-03-16
US11050810B2 (en) 2021-06-29
EP3288271A1 (en) 2018-02-28
EP3288271A4 (en) 2018-05-02
KR20160125708A (ko) 2016-11-01

Similar Documents

Publication Publication Date Title
WO2016171404A1 (ko) 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR102909089B1 (ko) 혼합현실/증강현실을 지원하는 통신 시스템에서 3차원 미디어 데이터에 대해 지연 시간 보상 포즈 예측을 사용하는 렌더링을 수행하는 방법 및 장치
CN110325953B (zh) 用于虚拟现实服务的屏幕控制方法和设备
KR102479360B1 (ko) 증강 현실 서비스 제공 방법 및 장치
CN114554786A (zh) 用于数据中心冷却系统的智能平台上推式耦合器
Han et al. CoMIC: A collaborative mobile immersive computing infrastructure for conducting multi-user XR research
WO2022025565A1 (en) System and method for generating bokeh image for dslr quality depth-of-field rendering and refinement and training method for the same
CN113516252A (zh) 联邦学习方法、装置、设备及存储介质
WO2024071612A1 (en) Video see-through (vst) augmented reality (ar) device and operating method for the same
EP4445248A1 (en) Deferred rendering on extended reality (xr) devices
CN121241560A (zh) 用于视频透视(vst)扩展现实(xr)的高效的基于深度的视点匹配和头部姿态改变补偿
CN109074152A (zh) 一种虚拟现实图像发送方法及装置
Zhang et al. Rendering multi-party mobile augmented reality from edge
CN115937290B (zh) 一种图像深度估计方法、装置、电子设备及存储介质
CN118056353A (zh) 通过眼睛跟踪进行运动模糊补偿
WO2023146329A1 (en) Method and electronic device of facial un-distortion in digital images using multiple imaging sensors
CN110809166A (zh) 视频数据处理方法、装置和电子设备
US20240020477A1 (en) System and method for using residual transformers in natural language processing
US12088817B2 (en) Data coding method and apparatus, and computer-readable storage medium
CN118474418A (zh) 一种vr空间中的交互方法、装置、设备及存储介质
CN103618968B (zh) 一种面向云环境下的网络电视播放方法及系统
CN121190640B (zh) 用于移动终端的三维渲染方法、装置及计算机设备
KR102114457B1 (ko) 실시간 캐릭터 스트리밍 콘텐츠의 처리 방법 및 장치
CN118369688A (zh) 使用具有无损金字塔微架构的网络来估计光流的方法和电子装置
US20240355147A1 (en) Gesture detection method and apparatus and extended reality device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16783338

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15568778

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016783338

Country of ref document: EP