WO2023214718A1 - 무선 통신 시스템에서 ar 스플릿 렌더링을 제공하기 위한 방법 및 장치 - Google Patents

무선 통신 시스템에서 ar 스플릿 렌더링을 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2023214718A1
WO2023214718A1 PCT/KR2023/005485 KR2023005485W WO2023214718A1 WO 2023214718 A1 WO2023214718 A1 WO 2023214718A1 KR 2023005485 W KR2023005485 W KR 2023005485W WO 2023214718 A1 WO2023214718 A1 WO 2023214718A1
Authority
WO
WIPO (PCT)
Prior art keywords
pose
terminal
node
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/005485
Other languages
English (en)
French (fr)
Inventor
유성열
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230032622A external-priority patent/KR20230155956A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US18/862,125 priority Critical patent/US20250278811A1/en
Priority to EP23799601.2A priority patent/EP4502952A4/en
Publication of WO2023214718A1 publication Critical patent/WO2023214718A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Definitions

  • This disclosure relates generally to wireless communication systems (or mobile communication systems). More specifically, the present disclosure relates to a method and apparatus for providing AR split rendering in a wireless communication system.
  • 5G mobile communication technology defines a wide frequency band to enable fast transmission speeds and new services, and includes sub-6 GHz ('Sub 6GHz') bands such as 3.5 gigahertz (3.5 GHz) as well as millimeter wave (mm) bands such as 28 GHz and 39 GHz. It is also possible to implement it in the ultra-high frequency band ('Above 6GHz') called Wave.
  • 'Sub 6GHz' sub-6 GHz
  • mm millimeter wave
  • Wave ultra-high frequency band
  • 6G mobile communication technology which is called the system of Beyond 5G
  • Terra is working to achieve a transmission speed that is 50 times faster than 5G mobile communication technology and an ultra-low delay time that is reduced to one-tenth. Implementation in Terahertz bands (e.g., 95 GHz to 3 THz) is being considered.
  • ultra-wideband services enhanced Mobile BroadBand, eMBB
  • ultra-reliable low-latency communications URLLC
  • massive machine-type communications mMTC
  • numerology support multiple subcarrier interval operation, etc.
  • dynamic operation of slot format initial access technology to support multi-beam transmission and broadband
  • definition and operation of BWP Band-Width Part
  • New channel coding methods such as LDPC (Low Density Parity Check) codes for data transmission and Polar Code for highly reliable transmission of control information
  • L2 pre-processing L2 pre-processing
  • dedicated services specialized for specific services. Standardization of network slicing, etc., which provides networks, has been carried out.
  • V2X Vehicle-to-Everything
  • NR-U New Radio Unlicensed
  • UE Power Saving NR terminal low power consumption technology
  • NTN Non-Terrestrial Network
  • IAB provides a node for expanding the network service area by integrating intelligent factories (Industrial Internet of Things, IIoT) to support new services through linkage and convergence with other industries, and wireless backhaul links and access links.
  • Intelligent factories Intelligent Internet of Things, IIoT
  • Mobility Enhancement including Conditional Handover and DAPS (Dual Active Protocol Stack) handover
  • 2-step Random Access (2-step RACH for simplification of random access procedures)
  • Standardization in the field of wireless interface architecture/protocol for technologies such as NR is also in progress
  • a 5G baseline for incorporating Network Functions Virtualization (NFV) and Software-Defined Networking (SDN) technology Standardization in the field of system architecture/services for architecture (e.g., Service based Architecture, Service based Interface) and Mobile Edge Computing (MEC), which provides services based on the location of the terminal, is also in progress.
  • NFV Network Functions Virtualization
  • SDN Software-Defined Networking
  • FD-MIMO full dimensional MIMO
  • array antennas to ensure coverage in the terahertz band of 6G mobile communication technology.
  • multi-antenna transmission technology such as Large Scale Antenna, metamaterial-based lens and antenna to improve coverage of terahertz band signals, high-dimensional spatial multiplexing technology using OAM (Orbital Angular Momentum), RIS ( In addition to Reconfigurable Intelligent Surface technology, Full Duplex technology, satellite, and AI (Artificial Intelligence) to improve the frequency efficiency of 6G mobile communication technology and system network are utilized from the design stage and end-to-end.
  • various embodiments of the present disclosure aim to provide a method and device for providing AR split rendering in a wireless communication system.
  • a method performed by a terminal includes: a scene description including information on a plurality of poses from a server and a plurality of spatial geometry information corresponding to the plurality of poses; ) receiving; determining a pose closest to the final pose of the terminal among the plurality of poses; generating an image based on spatial geometric information corresponding to the determined pose; and outputting the generated image.
  • a terminal includes a transmitter and receiver; and a control unit connected to the transceiver unit, wherein the control unit: generates a scene description including information on a plurality of poses and a plurality of spatial geometry information corresponding to the plurality of poses. It is set to receive from a server, determine the pose closest to the final pose of the terminal among the plurality of poses, generate an image based on spatial geometric information corresponding to the determined pose, and output the generated image. .
  • a method performed by a server includes: information on a plurality of poses related to a predetermined object and a plurality of poses corresponding to the plurality of poses in order to output an image to a terminal. generating spatial geometric information; Transmitting a scene description including information about the plurality of poses and the plurality of spatial geometric information to the terminal, and a pose that is closest to the final pose of the terminal among the plurality of poses. The image is output based on the spatial geometric information corresponding to .
  • a server includes a transmitter and receiver; and a control unit connected to the transmitting and receiving unit, wherein the control unit includes: information on a plurality of poses related to a predetermined object and a plurality of spaces corresponding to the plurality of poses in order to output an image to the terminal. It is set to generate geometric information and transmit a scene description including information about the plurality of poses and the plurality of spatial geometric information to the terminal, and a final pose of the terminal among the plurality of poses. The image is output based on spatial geometric information corresponding to the pose closest to .
  • Various embodiments of the present disclosure may provide a method and device for providing AR split rendering in a wireless communication system.
  • FIG. 1 illustrates a wireless communication system according to various embodiments of the present disclosure.
  • Figure 2 shows the configuration of a base station in a wireless communication system according to various embodiments of the present disclosure.
  • Figure 3 shows the configuration of a terminal in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 4 illustrates an expanded example of a glTF 2.0 node tree structure in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 5 illustrates an example of scene description mapping of an image and a pose in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 6A illustrates an example of a structure between a terminal-server-AP (Application Provider) in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 6B is a flowchart illustrating an example of a service provision method and procedure in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 7 illustrates an example of a profile identification method in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 8 illustrates an example of 3D stereoscopic content, a terminal predicted pose, and a projection plane in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 9 illustrates an example of a two-dimensional image in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 10 illustrates an example of space-to-space conversion in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 11 illustrates an example of space-space transformation after spatial geometry transformation in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 12 illustrates an example of the operation of an animation node in a wireless communication system according to various embodiments of the present disclosure.
  • Figure 13 shows an example of the operation of an animation node when latency occurs in a wireless communication system according to various embodiments of the present disclosure.
  • Figure 1 illustrates a wireless communication system according to various embodiments of the present disclosure.
  • Figure 1 illustrates a base station 110, a terminal 120, and a terminal 130 as some of the nodes that use a wireless channel in a wireless communication system.
  • Figure 1 shows only one base station, but other base stations identical or similar to the base station 110 may be further included.
  • the base station 110 is a network infrastructure that provides wireless access to terminals 120 and 130.
  • Base station 110 has coverage defined as a certain geographic area based on the distance over which signals can be transmitted.
  • the base station 110 includes 'access point (AP)', 'eNodeB (eNB)', '5G node (5th generation node)', and 'next generation nodeB'.
  • AP access point
  • eNB eNodeB
  • gNB gNodeB
  • TRP transmission/reception point
  • Each of the terminal 120 and terminal 130 is a device used by a user and communicates with the base station 110 through a wireless channel. In some cases, at least one of the terminal 120 and the terminal 130 may be operated without user involvement. That is, at least one of the terminal 120 and the terminal 130 is a device that performs machine type communication (MTC) and may not be carried by the user.
  • the terminal 120 and the terminal 130 each include a 'user equipment (UE)', 'mobile station', 'subscriber station', and 'remote terminal' in addition to the terminal. )', 'wireless terminal', or 'user device', or other terms with equivalent technical meaning.
  • Figure 2 shows the configuration of a base station in a wireless communication system according to various embodiments of the present disclosure.
  • the configuration illustrated in FIG. 2 may be understood as the configuration of the base station 110.
  • Terms such as 'unit' and 'unit' used hereinafter refer to a unit that processes at least one function or operation, and may be implemented as hardware, software, or a combination of hardware and software.
  • the base station includes a wireless communication unit 210, a backhaul communication unit 220, a storage unit 230, and a control unit 240.
  • the wireless communication unit 210 performs functions for transmitting and receiving signals through a wireless channel. For example, the wireless communication unit 210 performs a conversion function between a baseband signal and a bit string according to the physical layer standard of the system. For example, when transmitting data, the wireless communication unit 210 generates complex symbols by encoding and modulating the transmission bit string. Additionally, when receiving data, the wireless communication unit 210 restores the received bit stream by demodulating and decoding the baseband signal.
  • the wireless communication unit 210 upconverts the baseband signal into a radio frequency (RF) band signal and transmits it through an antenna, and downconverts the RF band signal received through the antenna into a baseband signal.
  • the wireless communication unit 210 may include a transmission filter, a reception filter, an amplifier, a mixer, an oscillator, a digital to analog convertor (DAC), an analog to digital convertor (ADC), etc.
  • the wireless communication unit 210 may include multiple transmission and reception paths.
  • the wireless communication unit 210 may include at least one antenna array composed of a plurality of antenna elements.
  • the wireless communication unit 210 may be composed of a digital unit and an analog unit, and the analog unit includes a number of sub-units depending on operating power, operating frequency, etc. It can be composed of:
  • a digital unit may be implemented with at least one processor (eg, digital signal processor (DSP)).
  • DSP digital signal processor
  • the wireless communication unit 210 transmits and receives signals as described above. Accordingly, all or part of the wireless communication unit 210 may be referred to as a 'transmitter', 'receiver', or 'transceiver'. Additionally, in the following description, transmission and reception performed through a wireless channel are used to mean that the processing as described above is performed by the wireless communication unit 210.
  • the backhaul communication unit 220 provides an interface for communicating with other nodes in the network. That is, the backhaul communication unit 220 converts a bit string transmitted from the base station to another node, for example, another access node, another base station, a higher node, a core network, etc., into a physical signal, and converts the physical signal received from the other node into a physical signal. Convert to bit string.
  • the storage unit 230 stores data such as basic programs, application programs, and setting information for operation of the base station.
  • the storage unit 230 may be comprised of volatile memory, non-volatile memory, or a combination of volatile memory and non-volatile memory. And, the storage unit 230 provides stored data according to the request of the control unit 240.
  • the control unit 240 controls the overall operations of the base station. For example, the control unit 240 transmits and receives signals through the wireless communication unit 210 or the backhaul communication unit 220. Additionally, the control unit 240 records and reads data from the storage unit 230. Additionally, the control unit 240 can perform protocol stack functions required by communication standards. According to another implementation example, the protocol stack may be included in the wireless communication unit 210. For this purpose, the control unit 240 may include at least one processor.
  • Figure 3 shows the configuration of a terminal in a wireless communication system according to various embodiments of the present disclosure.
  • the configuration illustrated in FIG. 3 can be understood as the configuration of the terminal 120.
  • Terms such as 'unit' and 'unit' used hereinafter refer to a unit that processes at least one function or operation, and may be implemented as hardware, software, or a combination of hardware and software.
  • the terminal includes a communication unit 310, a storage unit 320, and a control unit 330.
  • the communication unit 310 performs functions for transmitting and receiving signals through a wireless channel. For example, the communication unit 310 performs a conversion function between a baseband signal and a bit string according to the physical layer standard of the system. For example, when transmitting data, the communication unit 310 generates complex symbols by encoding and modulating the transmission bit string. Additionally, when receiving data, the communication unit 310 restores the received bit stream by demodulating and decoding the baseband signal. Additionally, the communication unit 310 upconverts the baseband signal into an RF band signal and transmits it through an antenna, and downconverts the RF band signal received through the antenna into a baseband signal. For example, the communication unit 310 may include a transmission filter, a reception filter, an amplifier, a mixer, an oscillator, a DAC, an ADC, etc.
  • the communication unit 310 may include multiple transmission and reception paths. Furthermore, the communication unit 310 may include at least one antenna array composed of multiple antenna elements. In terms of hardware, the communication unit 310 may be composed of digital circuits and analog circuits (eg, radio frequency integrated circuit (RFIC)). Here, the digital circuit and analog circuit can be implemented in one package. Additionally, the communication unit 310 may include multiple RF chains. Furthermore, the communication unit 310 may perform beamforming.
  • RFIC radio frequency integrated circuit
  • the communication unit 310 transmits and receives signals as described above. Accordingly, all or part of the communication unit 310 may be referred to as a ‘transmitting unit’, a ‘receiving unit’, or a ‘transmitting/receiving unit’. Additionally, in the following description, transmission and reception performed through a wireless channel are used to mean that the processing as described above is performed by the communication unit 310.
  • the storage unit 320 stores data such as basic programs, application programs, and setting information for operation of the terminal.
  • the storage unit 320 may be comprised of volatile memory, non-volatile memory, or a combination of volatile memory and non-volatile memory. And, the storage unit 320 provides stored data according to the request of the control unit 330.
  • the control unit 330 controls the overall operations of the terminal. For example, the control unit 330 transmits and receives signals through the communication unit 310. Additionally, the control unit 330 records and reads data from the storage unit 320. Additionally, the control unit 330 can perform protocol stack functions required by communication standards. To this end, the control unit 330 may include at least one processor or microprocessor, or may be part of a processor. Additionally, a portion of the communication unit 310 and the control unit 330 may be referred to as a communication processor (CP).
  • CP communication processor
  • Various embodiments of the present disclosure relate to a method of providing AR split rendering.
  • a technology split rendering
  • Cloud games such as MS xcloud are business examples.
  • the server receives the pose information of the terminal attached to the user (e.g. AR glasses), determines the actual MTP (e.g. 300ms) between the server and the terminal, and calculates the expected MTP (e.g. 10ms) and actual Time warping or Late Stage Reprojection (LSR) technology, which is a technology that predicts the user's future pose (position + gaze direction) after a future offset time to offset the difference between MTPs (e.g., 290 ms), can be used.
  • LSR Late Stage Reprojection
  • the technology involves correcting pose differences by performing plane-to-plane transformation (warping) of the received 2D image plane to the plane viewed from the user's final pose.
  • Means for solving the problem provided by various embodiments of the present disclosure are as follows.
  • SD scene description
  • Various embodiments of the present disclosure use scene description technology to convert a two-dimensional image, which is a rendering result of a server, into a combination of primitive components (e.g., points, lines, triangles, etc.), which are geometric information in a three-dimensional space. Describes which part of the two-dimensional image the surface texture of the primitive component maps to.
  • primitive components e.g., points, lines, triangles, etc.
  • Various embodiments of the present disclosure include encoded and embedded binary or reference link information for a two-dimensional image within a scene description, an animation node, and a scene node for each predicted pose, and a camera (camera) under the scene node. camera) node and mesh nodes, and among the mesh node sub-nodes, texture nodes are provided.
  • FIG. 4 illustrates an example of a glTF 2.0 node tree structure in a wireless communication system according to various embodiments of the present disclosure.
  • the scene node maps the user's pose in space predicted by the server to the camera node, provides information about the 2D projection plane on which 3D content is projected from the pose, and is located in 3D or on the 2D plane. It includes descriptions of primitive components, where the primitive components are connected to texture nodes, and the texture nodes include two-dimensional coordinate information of a two-dimensional image included or referenced in the scene description.
  • the animation node contains descriptive information about how the scene content at the first time described in the scene description changes as it progresses temporally to the second time.
  • FIG. 5 illustrates an example of scene description mapping of an image and a pose in a wireless communication system according to various embodiments of the present disclosure.
  • Various embodiments of the present disclosure include one scene node for each user pose prediction candidate in order to provide change information of the two-dimensional image for each of one or more user pose prediction candidates predicted by the server.
  • Various embodiments of the present disclosure include profile information in a scene description, a flag indicating that a two-dimensional image can be used as is for one of the scene nodes, and raw components included in a mesh node on a two-dimensional projection plane.
  • a flag that indicates whether the operation is located a flag that allows exclusion of operations for some processes in the graphics render pipeline, a flag that determines whether to use animation nodes according to the passage of time, and a view that is an identifier to indicate when referring to a specific view when using multiview video coding.
  • the 'node name' and 'subnode' relationship expressed in various embodiments of the present disclosure is explained based on glTF 2.0 and MPEG-I scene description among the scene description technologies used in related industries, so the hierarchy and node name When applied to other scene description technologies with different roles, it can be used by mapping to similar ones depending on the type of node supported by the technology, its role, and the relationship between nodes.
  • FIG. 6A illustrates an example of a structure between a terminal-server-AP (Application Provider) in a wireless communication system according to various embodiments of the present disclosure.
  • Various embodiments of the present disclosure consist of information exchange between a content/app/service provider (Application provider (AP)) providing an AR split rendering service, a network service provider (Operator), and a network service participating terminal (Client).
  • Application provider Application provider
  • AP Application provider
  • User network service provider
  • Client network service participating terminal
  • FIG. 6B is a flowchart illustrating an example of a service provision method and procedure in a wireless communication system according to various embodiments of the present disclosure.
  • the content service provider checks whether the service it wishes to provide is supported by the network service provider's network server.
  • the brief service provision methods and procedures are as follows.
  • the content service allows the terminal to connect to the network service, browse accessible content, select the content format to be provided as Split rendered media, report the terminal's performance and surrounding environment information, and AR split rendering service provider.
  • the rendering service may be initiated in the order in which it is decided to start and information for receiving the service is delivered to the terminal (client driven method).
  • client driven method the service provider's service initialization is completed, the terminal connects to the network service, browses and selects accessible content, reports terminal performance and surrounding environment information, and provides AR split rendering service provider (AP).
  • AP AR split rendering service provider
  • the format of the content can be selected as Split rendered media, and the AR split rendering service can be launched in the order of providing information for launching (hereinafter referred to as AP driven method).
  • the AR split rendering service runs on the network service provider's server (i.e. Application Server), collects pose information or predicted pose information from the terminal, uses this to predict the pose information of the near future terminal, and AR content provided by the AP. is converted into a low complexity scene description using the predicted pose information.
  • Scene description is a process that arranges the components that make up 3D content in 3D space and outputs them as the user's desired result (e.g. 2D image for 2D display) through processing in a scene description player or graphic renderer. refers to the content format.
  • the scene description describes the user's pose in space predicted by the server and a two-dimensional image that is a rendering result processed by the server.
  • a scene description can provide information about the viewpoint from which 3D content is rendered using a camera node, but the description of this information is not mandatory, and if the information is described, its use is not mandatory.
  • Various embodiments of the present disclosure are characterized by using one node to describe the user's future pose prediction candidate predicted by the terminal or split rendering server, and a camera node can be used as an example of the node.
  • the split rendering server is characterized in that the resulting two-dimensional image generated using the pose prediction candidate is positioned on the projection plane of the aforementioned camera node.
  • Various embodiments of the present disclosure use scene description technology to describe a two-dimensional image that is the result of split rendering as a combination of mesh triangles, which are primitive components in a three-dimensional space, and that part of the two-dimensional image is Describes how it is mapped as a texture of a mesh triangle.
  • FIG. 7 illustrates an example of a profile identification method in a wireless communication system according to various embodiments of the present disclosure.
  • Scene descriptions according to various embodiments of the present disclosure and services and terminals using them are distinguished by separate identifiers, an example of the identifier is created and executed using a rule described later, and support and compliance with the rule are provided as profile information. and is identified.
  • a profile node is provided as a sub-node of the scene description, and the profile expression scheme and values belonging to the scheme are described as attribute values of the profile node.
  • a profile node may be newly created under the scene description, a scheme such as "mpeg-i-scene-description:2022" may be described as an attribute value of the profile node, and "split-render" may be described as a subordinate value of the scheme. there is.
  • Various embodiments of the present disclosure include embedded binary or reference information for one or more two-dimensional images or videos in a scene description, one or more animation nodes, and one or more scene nodes, and one node under each scene node. It has a camera node and one or more mesh nodes, and has one or more texture nodes among the child nodes of each mesh node. Terminals, network servers, and APs that support a Profile identified as conforming to this disclosure and can create or execute a compatible scene description operate based on the rules described in this disclosure.
  • FIG. 8 illustrates an example of 3D stereoscopic content, a terminal predicted pose, and a projection plane in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 9 illustrates an example of a two-dimensional image in a wireless communication system according to various embodiments of the present disclosure.
  • Each scene node has one camera node, and the camera node describes terminal pose information in the user's space predicted by the terminal or server.
  • the camera node contains the camera's position in 3D space and direction information in 3D space.
  • the camera node contains frustum information such as top and bottom, left and right Field of View (FoV), aspect ratio, and included depth range (z-near, z-far).
  • the camera node provides information about the 2D projection plane on which 3D content is projected. Only one plane that contains the z-near point of the camera node or a separately specified projection plane depth point and is orthogonal to the camera node in the normal direction becomes the projection plane for the camera node.
  • a mesh node contains a description of first and second primitive components located in a three-dimensional or two-dimensional plane, and the primitive components are connected to texture nodes, and the texture nodes are included in the scene description. Contains 2D coordinate information of the referenced 2D image.
  • the eyesight connected to each point of the first primitive component located in three-dimensional space and the pose of the camera node is the projection plane of the camera node. It is created by placing the second primitive component at the point where it intersects the (projection plane).
  • the generated two-dimensional image is used as the texture of the second primitive component mesh node located on the projection plane.
  • the location and mapping results of the texture referenced and used in the mesh node of the base pose are different, and the location and mapping results of the texture referenced and used in the mesh node of another candidate pose are different.
  • the darkest surface of a cube which is an object in three-dimensional space, is mapped to a mesh node with an area smaller than the white surface on the projection plane for the base pose, but is mapped to a mesh node with an area smaller than the white surface on the projection plane for another candidate pose. It is mapped to a mesh node with a large area.
  • the voxel information on the projection plane is stored as pixels in a two-dimensional image.
  • first raw components each vertex of the first raw component is projected onto the projection plane surface to create a second raw component
  • the AR delivered to the terminal is
  • the scene description which is the result of split rendering, describes the first and second primitive components. If the raw components of a mesh node are second raw components, an on-projection-plane node, which is a flag indicating whether the raw components included in the mesh node are located on a two-dimensional projection plane, is described, and the property value of the node becomes true ("True").
  • the two-dimensional image is used as resource information referenced by the texture node, and the texture node is described and mapped as surface information of each first and second primitive component of the mesh node.
  • FIG. 10 illustrates an example of space-to-space conversion in a wireless communication system according to various embodiments of the present disclosure.
  • FIG. 11 illustrates an example of space-space transformation after spatial geometry transformation in a wireless communication system according to various embodiments of the present disclosure.
  • the AR split rendering service provider and network server include a plurality of scene nodes for a plurality of poses in providing split rendering results according to the user's pose in the near future.
  • the terminal and server continuously acquire the user's pose information and can predict the user's pose at any time from the present to the future based on the pose records from the past to the present.
  • the terminal and server operate one or more user movement models, evaluate them based on consistency with the updated user pose, and provide scene nodes for predicted pose values of models with relatively high hit rates.
  • the scene nodes indicated in a specific order (e.g., first) or with a separate flag are camera nodes and mesh nodes for the user pose predicted to have the highest probability. and embed or reference the 2D image that is the result of rendering at the pose.
  • the corresponding scene node is characterized in that it can be used without a texture mapping conversion process to a projection plane for a two-dimensional image.
  • Other candidate scene nodes provide other camera information, that is, information about other predicted user poses.
  • a terminal following the present disclosure first reads the scene nodes in the scene description, reads the camera information in the scene node, and selects the scene node with camera information closest to the current location of the terminal.
  • the result can be output by selecting the first raw component, selecting the scene node closest to the final pose among the second raw components, or selecting the scene node with the highest probability in the order of highest performance.
  • Scene nodes with the next highest probability have first or second raw components of different shapes, sizes, and positions compared to the scene nodes with the highest probability, so that the two-dimensional image is mapped onto the projection plane differently, and the rendered image accordingly. It has the effect of changing the results. Since the first or second primitive component may have different values depending on the scene node, the effect of deriving a two-dimensional image that reflects the spatial geometric characteristics of the original AR content according to the user's pose can be expected.
  • FIG. 12 illustrates an example of the operation of an animation node in a wireless communication system according to various embodiments of the present disclosure.
  • Figure 13 shows an example of the operation of an animation node when latency occurs in a wireless communication system according to various embodiments of the present disclosure.
  • the AR split rendering service provider and network server can predict one or more transmission latencies in predicting the time (timestamp) when the split rendering result is transmitted and becomes available in the terminal.
  • time time
  • different spatial geometric mappings and different two-dimensional images may be required for multiple temporal positions.
  • the server can apply a plurality of random future times to the user movement model and obtain the user's predicted pose for each future time. If the server knows the change in the content over time, it renders a result in which the change in the content over time is applied in the user's predicted pose for each future time, and different spatial geometric mappings for the plurality of temporal positions are applied. Dimensional images can be created.
  • various embodiments of the present disclosure include an animation node and a latency flag (on-latency).
  • the animation node includes descriptive information about how the scene content at the first time point (timestamp) described in the scene description changes while temporally progressing to the second time point.
  • the raw components may change position, size, reference texture, etc.
  • the interval between the first viewpoint and the second viewpoint may be equal to or greater than the time interval between one image frame and the next image frame in the prior art.
  • an information value e.g., coordinates
  • the information value changes linearly with the passage of time.
  • the channel node when a channel node is described, the channel has information on the change in the amount of information for each stage, and the value of the information has a linear change for the section corresponding to each stage by dividing the flow of time by the number of stages of the channel.
  • the terminal applies the contents of the animation node only when a transmission delay occurs. If the on-latency flag is set, the terminal maintains the last received scene description in the reception buffer until a new scene description is received.
  • the final received scene description is the version (v1) for the first viewpoint (t1), includes an animation node that can create the second viewpoint (t2), and the value of the on-latency flag is True, there is a delay in transmission.
  • the terminal selects the scene node closest to the final pose of the current terminal among the scene nodes in the v1 scene description, and proceeds with animation for a period of time equal to t_delay, which is the time difference from point t1 to the current point, to create the raw component. Change their positions, sizes, etc. and render them to derive a version for the current time.
  • t_delay is the time difference from point t1 to the current point
  • the decision to use the split rendering service on the terminal is because the terminal's performance is not sufficient to run AR content.
  • a terminal following various embodiments of the present disclosure receives a scene description from a server, the processing burden problem for processing the scene description may occur again.
  • various embodiments of the present disclosure provide resources so that some processes of the render pipeline executed in the terminal can be excluded or the load can be reduced.
  • primitive components they are processed in the CPU and delivered to the GPU.
  • a first primitive component located in a three-dimensional space is converted to a second primitive component located on the same projection plane, they are adjacent to each other. Merge the second primitive components with the same transformation direction (e.g., depth, size).
  • the performance requirements for processing on the CPU can be reduced.
  • the result of the blend process rendered from each predicted pose is provided as a texture resource. Since each scene node has one camera node and is converted to a second primitive component and connected to parts of the two-dimensional image so that the three-dimensional content is projected to the corresponding camera node, the terminal only needs to construct the scene from the two-dimensional image. This allows you to create a result with all light effects processed. In the case of raw components, the number has been reduced, so no separate instructions are required. In the case of textures, to indicate that blending has already been applied, a new expansion node, pre-baked, is inserted under the texture or material node and set as the property value of the node. Displays true ("True"). The terminal can use textures that are identified as pre-baked without applying blending, lighting, etc. among the rendering processes.
  • a scene description according to various embodiments of the present disclosure includes the following extension nodes.
  • a scene description that follows the node creation rule and mapping method of split rendering results proposed in various embodiments of the present disclosure has a profile node, which is a new extended node, and a profile attribute value.
  • the primitive component included in the mesh node is a second primitive component created to be located on a two-dimensional projection plane, a new expansion node under the mesh node, on-projection-plane node, and true (" as the property value of the node) True").
  • this new expansion node under the texture node or material node has the pre-baked attribute value of "True”.
  • a view-id is provided as an identifier to indicate when referring to a specific view as a texture among several views of the video stream.
  • the 'node name' and 'subnode' relationship expressed in various embodiments of the present disclosure is explained based on glTF 2.0 and MPEG-I scene description among the scene description technologies used in related industries, so the hierarchy and node name When applied to other scene description technologies with different roles, it can be used by mapping to similar ones depending on the type of node supported by the technology, its role, and the relationship between nodes.
  • 3GPP TS 26.565 is a standard specification for media formats exchanged between servers and terminals, and can be expanded as shown in Table 1 below to support split rendering servers and terminals following this disclosure.
  • a computer-readable storage medium that stores one or more programs (software modules) may be provided.
  • One or more programs stored in a computer-readable storage medium are configured to be executable by one or more processors in an electronic device (configured for execution).
  • One or more programs include instructions that cause the electronic device to execute methods according to embodiments described in the claims or specification of the present disclosure.
  • These programs may include random access memory, non-volatile memory, including flash memory, read only memory (ROM), and electrically erasable programmable ROM. (electrically erasable programmable read only memory, EEPROM), magnetic disc storage device, compact disc-ROM (CD-ROM), digital versatile discs (DVDs), or other types of disk storage. It can be stored in an optical storage device or magnetic cassette. Alternatively, it may be stored in a memory consisting of a combination of some or all of these. Additionally, multiple configuration memories may be included.
  • non-volatile memory including flash memory, read only memory (ROM), and electrically erasable programmable ROM. (electrically erasable programmable read only memory, EEPROM), magnetic disc storage device, compact disc-ROM (CD-ROM), digital versatile discs (DVDs), or other types of disk storage. It can be stored in an optical storage device or magnetic cassette. Alternatively, it may be stored in a memory consisting of a combination of some or all of these. Additionally, multiple configuration memories may
  • the program may be distributed through a communication network such as the Internet, an intranet, a local area network (LAN), a wide area network (WAN), or a storage area network (SAN), or a combination thereof. It may be stored on an attachable storage device that is accessible. This storage device can be connected to a device performing an embodiment of the present disclosure through an external port. Additionally, a separate storage device on a communication network may be connected to the device performing an embodiment of the present disclosure.
  • a communication network such as the Internet, an intranet, a local area network (LAN), a wide area network (WAN), or a storage area network (SAN), or a combination thereof. It may be stored on an attachable storage device that is accessible. This storage device can be connected to a device performing an embodiment of the present disclosure through an external port. Additionally, a separate storage device on a communication network may be connected to the device performing an embodiment of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 개시는 보다 높은 데이터 전송률을 지원하기 위한 5G 또는 6G 통신 시스템에 관련된 것이다. 본 개시의 다양한 실시 예들에 따르면, 무선 통신 시스템에서 단말의 동작 방법에 있어서, 서버로부터 예측된 복수 개의 단말 예측 포즈들의 정보, 상기 복수 개의 단말 예측 포즈들 중 하나의 예측 포즈로부터 투사된 2차원 이미지의 정보를 수신하는 과정과, 상기 복수 개의 단말 예측 포즈들 중 하나의 예측 포즈를 선택하는 과정과, 상기 선택한 예측 포즈의 정보에 따라 상기 2차원 이미지를 3차원 공간 상에서 부분 별로 공간 기하 변환을 수행하는 과정과, 상기 공간 기하 변환을 수행한 2차원 이미지를 최종 단말 포즈에 기초하여 상기 선택한 예측 포즈의 공간에서 최종 단말 포즈의 공간으로 변환하여 최종 2차원 이미지를 생성하는 과정을 포함하는 방법이 제공된다.

Description

무선 통신 시스템에서 AR 스플릿 렌더링을 제공하기 위한 방법 및 장치
본 개시(disclosure)는 일반적으로 무선 통신 시스템(또는, 이동 통신 시스템)에 관한 것이다. 보다 구체적으로, 본 개시는 무선 통신 시스템에서 AR 스플릿 렌더링을 제공하기 위한 방법 및 장치에 관한 것이다.
5G 이동통신 기술은 빠른 전송 속도와 새로운 서비스가 가능하도록 넓은 주파수 대역을 정의하고 있으며, 3.5 기가헤르츠(3.5GHz) 등 6GHz 이하 주파수('Sub 6GHz') 대역은 물론 28GHz와 39GHz 등 밀리미터파(㎜Wave)로 불리는 초고주파 대역('Above 6GHz')에서도 구현이 가능하다. 또한, 5G 통신 이후(Beyond 5G)의 시스템이라 불리어지는 6G 이동통신 기술의 경우, 5G 이동통신 기술 대비 50배 빨라진 전송 속도와 10분의 1로 줄어든 초저(Ultra Low) 지연시간을 달성하기 위해 테라헤르츠(Terahertz) 대역(예를 들어, 95GHz에서 3 테라헤르츠(3THz) 대역과 같은)에서의 구현이 고려되고 있다.
5G 이동통신 기술의 초기에는, 초광대역 서비스(enhanced Mobile BroadBand, eMBB), 고신뢰/초저지연 통신(Ultra-Reliable Low-Latency Communications, URLLC), 대규모 기계식 통신 (massive Machine-Type Communications, mMTC)에 대한 서비스 지원과 성능 요구사항 만족을 목표로, 초고주파 대역에서의 전파의 경로손실 완화 및 전파의 전달 거리를 증가시키기 위한 빔포밍(Beamforming) 및 거대 배열 다중 입출력(Massive MIMO), 초고주파수 자원의 효율적 활용을 위한 다양한 뉴머롤로지 지원(복수 개의 서브캐리어 간격 운용 등)와 슬롯 포맷에 대한 동적 운영, 다중 빔 전송 및 광대역을 지원하기 위한 초기 접속 기술, BWP(Band-Width Part)의 정의 및 운영, 대용량 데이터 전송을 위한 LDPC(Low Density Parity Check) 부호와 제어 정보의 신뢰성 높은 전송을 위한 폴라 코드(Polar Code)와 같은 새로운 채널 코딩 방법, L2 선-처리(L2 pre-processing), 특정 서비스에 특화된 전용 네트워크를 제공하는 네트워크 슬라이싱(Network Slicing) 등에 대한 표준화가 진행되었다.
현재, 5G 이동통신 기술이 지원하고자 했던 서비스들을 고려하여 초기의 5G 이동통신 기술 개선(improvement) 및 성능 향상(enhancement)을 위한 논의가 진행 중에 있으며, 차량이 전송하는 자신의 위치 및 상태 정보에 기반하여 자율주행 차량의 주행 판단을 돕고 사용자의 편의를 증대하기 위한 V2X(Vehicle-to-Everything), 비면허 대역에서 각종 규제 상 요구사항들에 부합하는 시스템 동작을 목적으로 하는 NR-U(New Radio Unlicensed), NR 단말 저전력 소모 기술(UE Power Saving), 지상 망과의 통신이 불가능한 지역에서 커버리지 확보를 위한 단말-위성 직접 통신인 비 지상 네트워크(Non-Terrestrial Network, NTN), 위치 측위(Positioning) 등의 기술에 대한 물리계층 표준화가 진행 중이다.
뿐만 아니라, 타 산업과의 연계 및 융합을 통한 새로운 서비스 지원을 위한 지능형 공장 (Industrial Internet of Things, IIoT), 무선 백홀 링크와 액세스 링크를 통합 지원하여 네트워크 서비스 지역 확장을 위한 노드를 제공하는 IAB(Integrated Access and Backhaul), 조건부 핸드오버(Conditional Handover) 및 DAPS(Dual Active Protocol Stack) 핸드오버를 포함하는 이동성 향상 기술(Mobility Enhancement), 랜덤액세스 절차를 간소화하는 2 단계 랜덤액세스(2-step RACH for NR) 등의 기술에 대한 무선 인터페이스 아키텍쳐/프로토콜 분야의 표준화 역시 진행 중에 있으며, 네트워크 기능 가상화(Network Functions Virtualization, NFV) 및 소프트웨어 정의 네트워킹(Software-Defined Networking, SDN) 기술의 접목을 위한 5G 베이스라인 아키텍쳐(예를 들어, Service based Architecture, Service based Interface), 단말의 위치에 기반하여 서비스를 제공받는 모바일 엣지 컴퓨팅(Mobile Edge Computing, MEC) 등에 대한 시스템 아키텍쳐/서비스 분야의 표준화도 진행 중이다.
이와 같은 5G 이동통신 시스템이 상용화되면, 폭발적인 증가 추세에 있는 커넥티드 기기들이 통신 네트워크에 연결될 것이며, 이에 따라 5G 이동통신 시스템의 기능 및 성능 강화와 커넥티드 기기들의 통합 운용이 필요할 것으로 예상된다. 이를 위해, 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR), 혼합 현실(Mixed Reality, MR) 등을 효율적으로 지원하기 위한 확장 현실(eXtended Reality, XR), 인공지능(Artificial Intelligence, AI) 및 머신러닝(Machine Learning, ML)을 활용한 5G 성능 개선 및 복잡도 감소, AI 서비스 지원, 메타버스 서비스 지원, 드론 통신 등에 대한 새로운 연구가 진행될 예정이다.
또한, 이러한 5G 이동통신 시스템의 발전은 6G 이동통신 기술의 테라헤르츠 대역에서의 커버리지 보장을 위한 신규 파형(Waveform), 전차원 다중입출력(Full Dimensional MIMO, FD-MIMO), 어레이 안테나(Array Antenna), 대규모 안테나(Large Scale Antenna)와 같은 다중 안테나 전송 기술, 테라헤르츠 대역 신호의 커버리지를 개선하기 위해 메타물질(Metamaterial) 기반 렌즈 및 안테나, OAM(Orbital Angular Momentum)을 이용한 고차원 공간 다중화 기술, RIS(Reconfigurable Intelligent Surface) 기술 뿐만 아니라, 6G 이동통신 기술의 주파수 효율 향상 및 시스템 네트워크 개선을 위한 전이중화(Full Duplex) 기술, 위성(Satellite), AI(Artificial Intelligence)를 설계 단계에서부터 활용하고 종단간(End-to-End) AI 지원 기능을 내재화하여 시스템 최적화를 실현하는 AI 기반 통신 기술, 단말 연산 능력의 한계를 넘어서는 복잡도의 서비스를 초고성능 통신과 컴퓨팅 자원을 활용하여 실현하는 차세대 분산 컴퓨팅 기술 등의 개발에 기반이 될 수 있을 것이다.
한편, 최근 통신 시스템의 발전에 따라 AR 렌더링의 효율을 향상시키기 위한 다양한 연구가 이루어지고 있다.
상술한 바와 같은 논의를 바탕으로, 본 개시(disclosure)의 다양한 실시 예들은 무선 통신 시스템에서 AR 스플릿 렌더링을 제공하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.
본 개시의 일 실시 예에 따른 단말에 의해 수행되는 방법은: 서버로부터 복수의 포즈(pose)들에 대한 정보 및 상기 복수의 포즈들에 대응하는 복수의 공간 기하 정보들을 포함하는 장면 기술(scene description)을 수신하는 단계; 상기 복수의 포즈들 중에서 상기 단말의 최종 포즈에 가장 근접한 포즈를 결정하는 단계; 상기 결정된 포즈에 대응하는 공간 기하 정보를 바탕으로 이미지를 생성하는 단계; 및 상기 생성된 이미지를 출력하는 단계를 포함한다.
본 개시의 또 다른 실시 예에 따른 단말은 송수신부; 및 상기 송수신부와 연결되는 제어부를 포함하고, 상기 제어부는: 복수의 포즈(pose)들에 대한 정보 및 상기 복수의 포즈들에 대응하는 복수의 공간 기하 정보들을 포함하는 장면 기술(scene description)을 서버로부터 수신하고, 상기 복수의 포즈들 중에서 상기 단말의 최종 포즈에 가장 근접한 포즈를 결정하고, 상기 결정된 포즈에 대응하는 공간 기하 정보를 바탕으로 이미지를 생성하고, 상기 생성된 이미지를 출력하도록 설정된다.
본 개시의 또 다른 실시 예에 따른 서버에 의해 수행되는 방법은: 단말에 이미지를 출력하기 위하여 소정의 오브젝트와 관련된 복수의 포즈(pose)들에 대한 정보 및 상기 복수의 포즈들에 대응하는 복수의 공간 기하 정보들을 생성하는 단계; 상기 단말로 상기 복수의 포즈들에 대한 정보 및 상기 복수의 공간 기하 정보들을 포함하는 장면 기술(scene description)을 전송하는 단계를 포함하고, 상기 복수의 포즈들 중에서 상기 단말의 최종 포즈에 가장 근접한 포즈에 대응하는 공간 기하 정보를 바탕으로 상기 이미지가 출력된다.
본 개시의 또 다른 실시 예에 따른 서버는 송수신부; 및 상기 송수신부와 연결되는 제어부를 포함하고, 상기 제어부는: 단말에 이미지를 출력하기 위하여 소정의 오브젝트와 관련된 복수의 포즈(pose)들에 대한 정보 및 상기 복수의 포즈들에 대응하는 복수의 공간 기하 정보들을 생성하고, 상기 복수의 포즈들에 대한 정보 및 상기 복수의 공간 기하 정보들을 포함하는 장면 기술(scene description)을 상기 단말로 전송하도록 설정되고, 상기 복수의 포즈들 중에서 상기 단말의 최종 포즈에 가장 근접한 포즈에 대응하는 공간 기하 정보를 바탕으로 상기 이미지가 출력된다.
본 개시의 다양한 실시 예들은 무선 통신 시스템에서 AR 스플릿 렌더링을 제공하기 위한 방법 및 장치를 제공할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템을 도시한다.
도 2는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 기지국의 구성을 도시한다.
도 3은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 단말의 구성을 도시한다.
도 4는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 glTF 2.0 노드 트리 구조의 일 확장 예를 도시한다.
도 5는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 이미지와 포즈의 scene description 매핑의 일 예를 도시한다.
도 6a는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 단말-서버-AP(Application provider) 간 구조의 일 예를 도시한다.
도 6b는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 서비스 제공 방법 및 절차의 일 예를 도시하는 흐름도이다.
도 7은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 profile 식별 방법의 일 예를 도시한다.
도 8은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 3차원 입체 컨텐츠와 단말 예측 포즈 및 투사 평면의 일 예를 도시한다.
도 9는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 2차원 이미지의 일 예를 도시한다.
도 10은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 공간-공간 변환의 일 예를 도시한다.
도 11은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 공간 기하 변환 후 공간-공간 변환의 일 예를 도시한다.
도 12는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 animation 노드의 동작의 일 예를 도시한다.
도 13은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 latency가 발생할 때 animation 노드의 동작의 일 예를 도시한다.
본 개시에서 사용되는 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
이하에서 설명되는 본 개시의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 개시의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 개시의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
도 1은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템을 도시한다. 도 1은 무선 통신 시스템에서 무선 채널을 이용하는 노드(node)들의 일부로서, 기지국(110), 단말(120), 단말(130)을 예시한다. 도 1은 하나의 기지국만을 도시하나, 기지국(110)과 동일 또는 유사한 다른 기지국이 더 포함될 수 있다.
기지국(110)은 단말들(120, 130)에게 무선 접속을 제공하는 네트워크 인프라스트럭쳐(infrastructure)이다. 기지국(110)은 신호를 송신할 수 있는 거리에 기초하여 일정한 지리적 영역으로 정의되는 커버리지(coverage)를 가진다. 기지국(110)은 기지국(base station) 외에 '액세스 포인트(access point, AP)', '이노드비(eNodeB, eNB)', '5G 노드(5th generation node)', '지노드비(next generation nodeB, gNB)', '무선 포인트(wireless point)', '송수신 포인트(transmission/reception point, TRP)' 또는 이와 동등한 기술적 의미를 가지는 다른 용어로 지칭될 수 있다.
단말(120) 및 단말(130) 각각은 사용자에 의해 사용되는 장치로서, 기지국(110)과 무선 채널을 통해 통신을 수행한다. 경우에 따라, 단말(120) 및 단말(130) 중 적어도 하나는 사용자의 관여 없이 운영될 수 있다. 즉, 단말(120) 및 단말(130) 중 적어도 하나는 기계 타입 통신(machine type communication, MTC)을 수행하는 장치로서, 사용자에 의해 휴대되지 아니할 수 있다. 단말(120) 및 단말(130) 각각은 단말(terminal) 외 '사용자 장비(user equipment, UE)', '이동국(mobile station)', '가입자국(subscriber station)', '원격 단말(remote terminal)', '무선 단말(wireless terminal)', 또는 '사용자 장치(user device)' 또는 이와 동등한 기술적 의미를 가지는 다른 용어로 지칭될 수 있다.
도 2는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 기지국의 구성을 도시한다. 도 2에 예시된 구성은 기지국(110)의 구성으로서 이해될 수 있다. 이하 사용되는 '~부', '~기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 2를 참고하면, 기지국은 무선통신부(210), 백홀통신부(220), 저장부(230), 제어부(240)를 포함한다.
무선통신부(210)는 무선 채널을 통해 신호를 송수신하기 위한 기능들을 수행한다. 예를 들어, 무선통신부(210)는 시스템의 물리 계층 규격에 따라 기저대역 신호 및 비트열 간 변환 기능을 수행한다. 예를 들어, 데이터 송신 시, 무선통신부(210)는 송신 비트열을 부호화 및 변조함으로써 복소 심벌들을 생성한다. 또한, 데이터 수신 시, 무선통신부(210)는 기저대역 신호를 복조 및 복호화를 통해 수신 비트열을 복원한다.
또한, 무선통신부(210)는 기저대역 신호를 RF(radio frequency) 대역 신호로 상향변환한 후 안테나를 통해 송신하고, 안테나를 통해 수신되는 RF 대역 신호를 기저대역 신호로 하향변환한다. 이를 위해, 무선통신부(210)는 송신 필터, 수신 필터, 증폭기, 믹서(mixer), 오실레이터(oscillator), DAC(digital to analog convertor), ADC(analog to digital convertor) 등을 포함할 수 있다. 또한, 무선통신부(210)는 다수의 송수신 경로(path)들을 포함할 수 있다. 나아가, 무선통신부(210)는 다수의 안테나 요소들(antenna elements)로 구성된 적어도 하나의 안테나 어레이(antenna array)를 포함할 수 있다.
하드웨어의 측면에서, 무선통신부(210)는 디지털 유닛(digital unit) 및 아날로그 유닛(analog unit)으로 구성될 수 있으며, 아날로그 유닛은 동작 전력, 동작 주파수 등에 따라 다수의 서브 유닛(sub-unit)들로 구성될 수 있다. 디지털 유닛은 적어도 하나의 프로세서(예: DSP(digital signal processor))로 구현될 수 있다.
무선통신부(210)는 상술한 바와 같이 신호를 송신 및 수신한다. 이에 따라, 무선통신부(210)의 전부 또는 일부는 '송신부(transmitter)', '수신부(receiver)' 또는 '송수신부(transceiver)'로 지칭될 수 있다. 또한, 이하 설명에서, 무선 채널을 통해 수행되는 송신 및 수신은 무선통신부(210)에 의해 상술한 바와 같은 처리가 수행되는 것을 포함하는 의미로 사용된다.
백홀통신부(220)는 네트워크 내 다른 노드들과 통신을 수행하기 위한 인터페이스를 제공한다. 즉, 백홀통신부(220)는 기지국에서 다른 노드, 예를 들어, 다른 접속 노드, 다른 기지국, 상위 노드, 코어망 등으로 송신되는 비트열을 물리적 신호로 변환하고, 다른 노드로부터 수신되는 물리적 신호를 비트열로 변환한다.
저장부(230)는 기지국의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보 등의 데이터를 저장한다. 저장부(230)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(230)는 제어부(240)의 요청에 따라 저장된 데이터를 제공한다.
제어부(240)는 기지국의 전반적인 동작들을 제어한다. 예를 들어, 제어부(240)는 무선통신부(210)를 통해 또는 백홀통신부(220)을 통해 신호를 송신 및 수신한다. 또한, 제어부(240)는 저장부(230)에 데이터를 기록하고, 읽는다. 그리고, 제어부(240)는 통신 규격에서 요구하는 프로토콜 스택(protocol stack)의 기능들을 수행할 수 있다. 다른 구현 예에 따라, 프로토콜 스택은 무선통신부(210)에 포함될 수 있다. 이를 위해, 제어부(240)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
도 3은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 단말의 구성을 도시한다. 도 3에 예시된 구성은 단말(120)의 구성으로서 이해될 수 있다. 이하 사용되는 '~부', '~기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 3을 참고하면, 단말은 통신부(310), 저장부(320), 제어부(330)를 포함한다.
통신부(310)는 무선 채널을 통해 신호를 송수신하기 위한 기능들을 수행한다. 예를 들어, 통신부(310)는 시스템의 물리 계층 규격에 따라 기저대역 신호 및 비트열 간 변환 기능을 수행한다. 예를 들어, 데이터 송신 시, 통신부(310)는 송신 비트열을 부호화 및 변조함으로써 복소 심벌들을 생성한다. 또한, 데이터 수신 시, 통신부(310)는 기저대역 신호를 복조 및 복호화를 통해 수신 비트열을 복원한다. 또한, 통신부(310)는 기저대역 신호를 RF 대역 신호로 상향변환한 후 안테나를 통해 송신하고, 안테나를 통해 수신되는 RF 대역 신호를 기저대역 신호로 하향변환한다. 예를 들어, 통신부(310)는 송신 필터, 수신 필터, 증폭기, 믹서, 오실레이터, DAC, ADC 등을 포함할 수 있다.
또한, 통신부(310)는 다수의 송수신 경로(path)들을 포함할 수 있다. 나아가, 통신부(310)는 다수의 안테나 요소들로 구성된 적어도 하나의 안테나 어레이를 포함할 수 있다. 하드웨어의 측면에서, 통신부(310)는 디지털 회로 및 아날로그 회로(예: RFIC(radio frequency integrated circuit))로 구성될 수 있다. 여기서, 디지털 회로 및 아날로그 회로는 하나의 패키지로 구현될 수 있다. 또한, 통신부(310)는 다수의 RF 체인들을 포함할 수 있다. 나아가, 통신부(310)는 빔포밍을 수행할 수 있다.
통신부(310)는 상술한 바와 같이 신호를 송신 및 수신한다. 이에 따라, 통신부(310)의 전부 또는 일부는 '송신부', '수신부' 또는 '송수신부'로 지칭될 수 있다. 또한, 이하 설명에서 무선 채널을 통해 수행되는 송신 및 수신은 통신부(310)에 의해 상술한 바와 같은 처리가 수행되는 것을 포함하는 의미로 사용된다.
저장부(320)는 단말의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보 등의 데이터를 저장한다. 저장부(320)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(320)는 제어부(330)의 요청에 따라 저장된 데이터를 제공한다.
제어부(330)는 단말의 전반적인 동작들을 제어한다. 예를 들어, 제어부(330)는 통신부(310)를 통해 신호를 송신 및 수신한다. 또한, 제어부(330)는 저장부(320)에 데이터를 기록하고, 읽는다. 그리고, 제어부(330)는 통신 규격에서 요구하는 프로토콜 스택의 기능들을 수행할 수 있다. 이를 위해, 제어부(330)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 통신부(310)의 일부 및 제어부(330)는 CP(communication processor)라 지칭될 수 있다.
본 개시의 다양한 실시 예는 AR split rendering 제공 방법에 관한 것이다.
본 개시의 다양한 실시 예들에 대한 관련 표준 규격은 다음과 같다.
- 3GPP SA4 Media Capability of AR (MeCAR, TS 26.119)
- 3GPP SA4 5G Media Streaming Architecture (TS 26.501, 26.511, 26.512)
- MPEG-I Scene description (ISO/IEC 23090-14)
- Khronos glTF 2.0
본 개시의 다양한 실시 예들에 대한 종래 기술의 문제점은 다음과 같다.
1. 단말이 처리할 수 있는 성능에 비해 더 높은 프로세스 처리 성능을 요구하는 미디어(예: 3차원 그래픽 컨텐츠)를 제공하는 서비스에서 단말 성능 문제 해소가 필요하다.
2. 이를 해결하기 위해 서버에서 프로세스를 처리하고 그 결과(예: 2차원으로 렌더링된 이미지 동영상)를 단말에 전송하는 기술(Split rendering)을 사용할 수 있다. MS xcloud등 클라우드 게임 등이 비즈니스 예시에 해당한다 .
3. 하지만 AR에 split rendering을 적용하는 경우, split rendering의 결과가 수신되면 사용자의 움직임에 비해 늦게 수신되는 문제 발생할 수 있다. 사용자의 움직임으로부터 결과물의 수신까지의 시간 (Motion to photon, MTP)이 50ms를 넘어가면 AR, 즉 증강현실이 그 목적을 충분히 달성할 수 없다.
4. 이를 해결하기 위해 서버가 사용자에 부착된 단말(예: AR glasses)의 포즈 정보를 수신하고, 서버-단말 간 actual MTP(예: 300ms)를 판단하고, expected MTP(예: 10ms)와 actual MTP간의 차이(예: 290ms)를 상쇄하기 위한 미래 차분 시점(offset time) 이후의 사용자 미래 포즈(위치 + 주시 방향)를 예측하는 기술인 Time warping 또는 Late Stage Reprojection (LSR) 기술이 사용될 수 있다. 해당 기술은 수신된 2차원 영상 평면을 사용자의 최종 포즈에서 바라보는 평면으로 평면-평면 변환 (warping)을 실시해 포즈의 차이를 보정하는 방식을 포함한다.
5. 다만, 실제 적용과정에서 서버-단말 간 통신 과정에서 발생하는 latency의 fluctuation이 매우 심해 actual MTP의 예측이 어렵고, 사용자의 미래 포즈 또한 예측이 어려운 면이 있다. 또한 평면-평면 변환은 입체 컨텐츠의 변환에서 입체감에 대한 왜곡이 상당한 정도로 나타날 수 있다.
상술한 문제점과 관련하여, 본 개시의 다양한 실시 예들에 의하여 해결하고자 하는 과제는 다음과 같다.
전술한 종래 기술의 문제점에 따라 본 개시의 다양한 실시 예들에서는:
A. 사용자의 미래 포즈 예측 오차에 강건하고,
B. 서버-단말 간 전송과정에서 발생하는 latency의 fluctuation에 강건하고,
C. 사용자의 최종 포즈 보정에서 평면 변환으로 인한 입체감 왜곡을 경감하기 위한 해결 수단을 제안한다.
본 개시의 다양한 실시 예들에 의하여 제공하는 과제의 해결 수단은 다음과 같다.
본 개시의 다양한 실시 예들은 scene description (SD) 기술을 사용하여, 단말과 서버가 예측한 사용자의 공간상에서의 포즈와, 예측 포즈로부터 투사된 기하 정보 및 서버가 프로세싱한 렌더링 결과물인 2차원 이미지를 서술한다.
본 개시의 다양한 실시 예들은 scene description 기술을 사용하여, 서버의 렌더링 결과물인 2차원 이미지를 3차원 공간상에서의 기하 정보인 원시 구성요소(primitive component, 예: 점, 선, 삼각형 등)의 조합으로 서술하고, 원시 구성요소의 표면 텍스처가 2차원 이미지의 어느 일부와 매핑 되는지 서술한다.
본 개시의 다양한 실시 예들은 scene description 서술 내에 2차원 이미지에 대한 encode되고 embed된 binary, 또는 참조 링크 정보와, animation노드와, 예측 포즈 별로 장면(scene) 노드를 구비하고, 장면 노드 하위에 카메라(camera) 노드와 mesh노드들을 구비하고, mesh 노드 하위 노드 중에 텍스처 (texture)노드들을 구비한다.
도 4는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 glTF 2.0 노드 트리 구조의 일 예를 도시한다.
장면 노드는 서버가 예측한 사용자의 공간상에서의 포즈를 카메라 노드에 매핑하고, 해당 포즈에서 3차원 컨텐츠가 투사된 2차원 투사 평면에 대한 정보를 제공하고, 3차원 또는 상기 2차원 평면 상에 위치하는 원시 구성요소들에 대한 서술을 포함하고, 상기 원시 구성요소는 텍스처 노드들과 연결되고, 텍스처 노드는 scene description에 포함되거나 참조된 2차원 이미지의 2차원 좌표 정보들을 포함한다. animation노드는 scene description에서 서술하는 제 1시점(time)의 장면 내용이 제 2시점으로 시간적 진행이 되는 동안 어떻게 변화하는지에 대한 서술 정보를 포함한다.
도 5는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 이미지와 포즈의 scene description 매핑의 일 예를 도시한다.
본 개시의 다양한 실시 예들은 서버가 예측한 하나 이상의 사용자 포즈 예측 후보 별로 상기 2차원 이미지의 변경 정보를 제공하기 위해, 각 사용자 포즈 예측 후보마다 하나의 장면 노드를 구비한다.
본 개시의 다양한 실시 예들은 scene description 서술 내에 프로파일 정보와, 장면 노드 중 하나에 대해 2차원 이미지를 온전히 그대로 사용할 수 있음을 나타내는 플래그와, mesh노드가 포함하는 원시 구성요소가 2차원 투사 평면 상에 위치하는 지를 나타내는 플래그와, graphics render pipeline 상에서 일부 프로세스에 대한 동작 제외 허용 플래그와, 시간 흐름에 따른 animation 노드를 사용할 지 결정하는 플래그와, multiview video coding 사용시 특정 view를 참고할 때 지시하기 위한 식별자인 view-id를 구비한다.
본 개시의 다양한 실시 예들에서 표현하는 '노드 이름'과 '하위 노드' 관계는 관련 산업에서 사용되는 scene description 기술(technology)중 glTF 2.0와 MPEG-I scene description을 기준으로 설명하고 있으므로 hierarchy및 노드 이름과 역할이 다른 타 scene description technology에 적용시 해당 기술에서 지원되는 노드의 종류와 그 역할과, 노드와 노드 간의 관계에 따라 유사한 것들에 매핑하여 사용할 수 있다.
도 6a는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 단말-서버-AP(Application provider) 간 구조의 일 예를 도시한다.
[시스템 구성]
본 개시의 다양한 실시 예들은 AR split rendering 서비스를 제공하는 컨텐츠/앱/서비스 제공자 (Application provider, AP), 네트워크 서비스 제공자 (Operator), 네트워크 서비스 참여 단말(Client)간 정보 교환으로 구성된다.
도 6b는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 서비스 제공 방법 및 절차의 일 예를 도시하는 흐름도이다.
컨텐츠 서비스 제공자는 제공하려는 서비스가 네트워크 서비스 제공자의 네트워크 서버에서 지원되는지 확인한다. 간략한 서비스 제공 방법 및 절차는 다음과 같다. 컨텐츠 서비스는 단말이 네트워크 서비스에 접속하고, 접근 가능한 컨텐츠를 열람하고, 제공받을 컨텐츠 형식을 Split rendered media인 것으로 선택하고, 단말의 성능과 주변 환경 정보를 리포트하고, AR split rendering 서비스 제공자가 AR split rendering 서비스 개시를 결정하고, 해당 서비스를 수신하기 위한 정보를 단말에 전달하는 순서로 개시될 수 있다(이상 client driven 방식). 또는, 서비스 제공자의 서비스 초기화가 완료된 상태에서 단말이 네트워크 서비스에 접속하고, 접근 가능한 컨텐츠를 열람 및 선택하고, 단말의 성능과 주변 환경 정보를 리포트하고, AR split rendering 서비스 제공자(AP)가 제공할 컨텐츠의 형식을 Split rendered media인 것으로 선택하고, AR split rendering 서비스 개시를 위한 정보를 제공하는 순서로 개시될 수 있다(이상 AP driven 방식).
AR split rendering 서비스는 네트워크 서비스 제공자의 서버(즉, Application Server)에서 실행되며, 단말로부터 포즈 정보 또는 예측 포즈 정보들을 수집하고, 이를 사용해 근미래의 단말의 포즈 정보를 예측하고, AP가 제공하는 AR 컨텐츠를 상기 예측된 포즈 정보를 활용해 낮은 복잡도의 scene description으로 변환한다. Scene description이란 3차원 컨텐츠를 구성하는 구성요소들을 3차원 공간상에 배치하고 scene description 재생기 또는 그래픽 렌더러에서의 프로세싱을 통해 사용자가 원하는 결과물(예: 2차원 디스플레이용 2차원 이미지)로 출력할 수 있도록 하는 컨텐츠 포맷을 의미한다.
[scene description을 사용한 split rendering media 제공]
본 개시의 다양한 실시 예들을 따르는 scene description은, 서버가 예측한 사용자의 공간상에서의 포즈와, 서버가 프로세싱한 렌더링 결과물인 2차원 이미지를 서술한다. 통상적으로 Scene description은 카메라 노드를 사용해 3차원 컨텐츠를 렌더링하는 시점(viewpoint) 정보를 제공할 수 있으나 해당 정보의 기재는 의무가 아니며 해당 정보가 기재된 경우 사용도 의무는 아니다. 본 개시의 다양한 실시 예들은 하나의 노드를 사용해 단말 또는 split rendering 서버가 예측한 사용자 미래 포즈 예측 후보를 서술하는 것을 특징으로 하며, 해당 노드의 예로는 카메라 노드가 사용될 수 있다. 또한 split rendering 서버가 상기 포즈 예측 후보를 사용해 생성한 결과물인 2차원 이미지를 전술한 카메라 노드의 투사 평면상에 위치시키는 것을 특징으로 한다.
본 개시의 다양한 실시 예들은 scene description 기술을 사용하여, split rendering의 결과물인 2차원 이미지를 3차원 공간상에서의 원시 구성요소(primitive component)인 mesh triangle의 조합으로 서술하고, 2차원 이미지의 일부가 mesh triangle의 texture로서 어떻게 매핑 되는지 서술한다.
도 7은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 profile 식별 방법의 일 예를 도시한다.
[Profile]
본 개시의 다양한 실시 예들을 따르는 scene description과 이를 이용하는 서비스와 단말은 별도의 식별자로 구분되고, 식별자의 일 예시는 후술하는 규칙을 사용해 생성 및 실행되며, 규칙의 지원 및 준수 여부가 profile 정보로 구비되어 식별된다. 일 실시 예로는 Scene description의 하위 노드로서 profile 노드가 구비되고 profile 노드의 속성값으로 profile의 표현 scheme과 scheme에 속하는 값이 기재된다. 일 실시 예로는 scene description 하위에 profile 노드를 신설하고 profile 노드의 속성값으로 "mpeg-i-scene-description:2022"와 같은 scheme을 기재하고 scheme의 종속value로 "split-render"가 기재될 수 있다.
본 개시의 다양한 실시 예들은 scene description 서술 내에 하나 이상의 2차원 이미지 또는 동영상에 대한 embedded binary 또는 참조 정보와, 하나 이상의 animation 노드와, 하나 이상의 장면(scene) 노드를 구비하고, 각 장면 노드 하위에 하나의 카메라 노드와 하나 이상의 mesh 노드들을 구비하고, 각 mesh 노드 하위 노드 중에 하나 이상의 텍스처 (texture) 노드들을 구비한다. 본 개시를 따르는 것으로 식별되는 Profile을 지원하고 호환되는 scene description을 생성 또는 실행할 수 있는 단말, 네트워크 서버, AP는 본 개시에서 서술한 규칙에 의거하여 동작한다.
도 8은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 3차원 입체 컨텐츠와 단말 예측 포즈 및 투사 평면의 일 예를 도시한다.
도 9는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 2차원 이미지의 일 예를 도시한다.
[장면/카메라 노드]
각 장면 노드는 하나의 카메라 노드를 가지고, 카메라 노드는 단말 또는 서버가 예측한, 사용자의 공간상에서의 단말 포즈 정보를 기술한다. 카메라 노드는 카메라의 3차원 공간내 위치와, 3차원 공간상의 방향 정보를 포함한다. 카메라 노드는 상하, 좌우의 시야폭(Field of View, FoV), 가로세로 비율 (Aspect ratio), 포함 깊이 범위 (z-near, z-far) 등의 절두체(Frustum)정보를 포함한다. 카메라 노드는 3차원 컨텐츠가 투사된 2차원 투사 평면에 대한 정보를 제공한다. 카메라 노드의 z-near 지점 또는 별도 지정되는 투사 평면 깊이점이 포함되고 카메라 노드와 normal 방향으로 직교하는 단 하나의 평면이 카메라 노드에 대한 투사 평면이 된다.
[Mesh/텍스처 노드]
Mesh 노드는 3차원 또는 상기 2차원 평면 상에 위치하는 제1, 제2 원시 구성요소들에 대한 서술을 포함하고, 상기 원시 구성요소는 텍스처 노드들과 연결되고, 텍스처 노드는 scene description에 포함되거나 참조된 2차원 이미지의 2차원 좌표 정보들을 포함한다.
전술된 2차원 이미지는 3차원 공간상에 위치한 제1 원시 구성요소의 각 점과 카메라 노드의 포즈(즉, 도 8의 base pose 또는 another candidate pose)가 연결된 시선(eyesight)이 카메라 노드의 투사 평면(projection plane)과 교차하는 지점에 제 2 원시 구성요소를 위치시켜 생성한다. 생성된 2차원 이미지는 투사 평면상에 위치된 제 2 원시 구성요소 mesh node의 texture 로서 사용된다. 동일한 2차원 이미지에 대해, base pose의 mesh node에서 참조되어 사용되는 texture의 위치 및 매핑 결과와, another candidate pose의 mesh node에서 참조되어 사용되는 texture의 위치 및 매핑 결과는 달라지는 것을 특징으로 한다. 즉, 도 8과 같이 3차원 공간상의 오브젝트인 정육면체의 가장 어두운 표면은, base pose에 대한 투사 평면상에서 흰색 표면보다 작은 넓이를 가진 mesh node에 매핑되나, another candidate pose에 대한 투사 평면상에서는 흰색 표면보다 큰 넓이를 가진 mesh node에 매핑된다.
투사평면상의 voxel 정보들은 2차원 이미지의 pixel들로 저장된다. 원본 3차원 컨텐츠를 구성하는 원시 구성요소를 제 1 원시 구성요소라 할 때, 제 1 원시 구성요소의 각 꼭지점은 projection plane표면상에 투사되어 제 2 원시 구성요소로 생성되며, 단말에 전달되는 AR split rendering 결과물인 scene description에는 제 1 원시 구성요소, 제 2 원시 구성요소가 기재된다. Mesh 노드의 원시 구성요소들이 제 2 원시 구성요소인 경우, mesh노드가 포함하는 원시 구성요소가 2차원 투사 평면 상에 위치하는 지를 나타내는 플래그인 on-projection-plane 노드가 기재되고 해당 노드의 속성값은 참("True")가 된다. 이 경우, 2차원 이미지는 텍스처 노드가 참고하는 리소스 정보로서 사용되고, 텍스처 노드는 mesh 노드의 각 제 1, 제 2 원시 구성요소의 표면 정보로서 기재되어 매핑된다.
도 10은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 공간-공간 변환의 일 예를 도시한다.
도 11은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 공간 기하 변환 후 공간-공간 변환의 일 예를 도시한다.
[복수 개 예측 포즈 정보 제공]
본 개시의 다양한 실시 예들에 따른 AR split rendering 서비스 제공자 및 네트워크 서버는 근 미래 시점에서의 사용자의 포즈에 따른 split rendering 결과물을 제공함에 있어 복수 개 포즈들에 대한 복수 개 장면 노드를 구비한다. 단말과 서버는 사용자의 포즈 정보를 지속 취득하고, 과거부터 현재까지의 포즈 기록을 토대로 현재부터 미래의 임의 시점의 사용자 포즈를 예측할 수 있다. 단말과 서버는 하나 이상의 사용자 움직임 모델들을 운용하고, 업데이트된 사용자 포즈와의 정합성을 토대로 평가하고, 그 중 상대적으로 높은 적중률을 갖는 모델들의 예측 포즈 값들에 대해 장면 노드들을 구비한다.
본 개시를 따르는 scene description을 사용해 제공되는 복수 개의 장면 노드들 중 특정한 순서 (예: 첫번째) 또는 별도 플래그로 표시되는 장면 노드는 가장 높은 확률을 갖는 것으로 예측된 사용자 포즈에 대한 카메라 노드와 mesh 노드들과 해당 포즈에서의 렌더링 결과물인 2차원 이미지를 embed 또는 참조한다. 해당 장면 노드는 2차원 이미지에 대한 투사 평면으로의 texture 매핑 변환 과정없이 사용될 수 있는 것을 특징으로 한다. 이외의 후보 장면 노드들은 다른 카메라 정보 즉, 예측된 다른 사용자 포즈에 대한 정보를 제공한다.
본 개시를 따르는 단말은 먼저 scene description 내의 장면 노드들을 읽고, 장면 노드 내의 카메라 정보를 읽고, 단말의 현재 위치와 가장 근접한 카메라 정보를 갖는 장면 노드를 선택한다. 단말의 성능에 따라 가장 성능이 높은 순서대로, 제1 원시 구성요소를 선택하거나, 제2 원시 구성요소 중에서 최종 포즈와 가장 근접한 장면 노드를 선택하거나, 확률이 높은 장면 노드를 선택하여 결과물을 출력할 수 있다. 차상위 확률의 장면 노드들은 최고 확률의 장면 노드에 비해 다른 모양, 크기, 위치의 제 1 또는 제 2 원시 구성요소를 가지므로, 2차원 이미지가 투사 평면에 매핑되는 모양이 달라지고, 그에 따라 렌더링된 결과가 달라지는 효과가 있다. 상기 제 1 또는 제 2 원시 구성요소는 장면 노드에 따라 서로 다른 값을 가질 수 있으므로 사용자의 포즈에 따라 원본 AR 컨텐츠의 공간 기하적인 특징이 반영된 2차원 영상을 도출하는 효과를 기대할 수 있다.
종래 기술에서 미래의 사용자 포즈에 대한 예측이 어려운 문제가 존재했으나, 본 개시의 다양한 실시 예들에 따라 복수 개 장면 노드를 구비하고 2차원 영상으로부터 공간기하적으로 정확한 영상을 도출하기 위한 정보를 구비하면 사용자 포즈에 대한 예측 범위를 넓히면서도 예측 개수만큼의 2차원 영상을 보내지 않아도 되므로 효율적인 정보 전달이 가능하다. 또한 각 예측 포즈로 공간 기하 변환되어 생성된 2차원 평면을 최종 사용자 포즈로 평면-평면 변환하는 경우, 종래 하나의 2차원 평면으로부터 평면-평면 간의 변환을 실시하는 것보다 공간기하적으로 왜곡을 줄이는 것이 가능하다.
도 12는 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 animation 노드의 동작의 일 예를 도시한다. 도 13은 본 개시의 다양한 실시 예들에 따른 무선 통신 시스템에서 latency가 발생할 때 animation 노드의 동작의 일 예를 도시한다.
[전송 지연 대응 정보 제공]
본 개시의 다양한 실시 예들에 따른 AR split rendering 서비스 제공자 및 네트워크 서버는 split rendering 결과물이 전송되어 단말에서 가용해질 시점(timestamp)의 예측에 있어 하나 이상의 전송 latency를 예측할 수 있다. 하나의 시간적 포즈에 대해 복수개의 사용자 포즈 후보가 서로 다른 공간 기하적 매핑 정보를 제공하는 것과 같이, 복수개의 시간적 위치에 대해 서로 다른 공간 기하적 매핑, 그리고 서로 다른 2차원 이미지가 필요할 수 있다. 이를 위해, 서버는 사용자 움직임 모델에 복수의 임의의 미래 시간들을 인가해 각 미래 시간 별로 사용자의 예측 포즈를 얻을 수 있다. 서버가 컨텐츠의 시간에 따른 변화를 알고 있는 경우, 각 미래 시간 별로 사용자의 예측 포즈에서 컨텐츠의 시간에 따른 변화가 적용된 결과물을 렌더링하여 상기 복수 개 시간적 위치에 대한 서로 다른 공간 기하적 매핑이 적용된 2차원 이미지들을 생성할 수 있다.
복수개의 시간적 위치에 대해 서로 다른 공간 기하적 매핑을 제공하기 위해, 본 개시의 다양한 실시 예들은 animation 노드와 latency때 사용 여부 플래그(on-latency)를 구비한다. 종래 기술에서 animation노드는 scene description에서 서술하는 제 1시점(timestamp)의 장면 내용이 제 2시점으로 시간적 진행이 되는 동안 어떻게 변화하는지에 대한 서술 정보를 포함한다. 제 2 시점에서 원시 구성요소들은 위치, 크기, 참조 텍스처 등이 변화할 수 있다. 제 1시점과 제 2시점의 간격은 종래 기술에서 한 이미지 프레임과 다음 이미지 프레임 간의 시간 간격과 같거나 더 클 수 있다. 제 1 시점의 일 정보 값(예: 좌표)가 제 2시점에 다른 값으로 기재된 경우, 정보의 값은 시간의 흐름에 따라 선형적(linear)으로 변화한다. 부가로 채널 노드가 기재되는 경우, 채널은 단계별 정보량의 변화폭 정보를 구비하고, 정보의 값은 시간의 흐름을 채널의 단계 개수로 나누어 각 단계에 해당하는 구간에 대한 선형적 변화를 갖는다.
animation 노드에 on-latency 플래그의 값이 참(True)으로 설정되어 있는 경우, 단말은 해당 animation 노드의 내용을 전송 지연이 발생하는 경우에만 적용한다. on-latency 플래그가 설정되어 있으면, 단말은 새로운 scene description이 수신되기 전까지, 직전에 최종 수신된 scene description을 수신 버퍼에 유지한다. 최종 수신된 scene description이 제 1 시점(t1)에 대한 버전(v1) 이고, 제 2시점(t2)을 생성할 수 있는 animation 노드를 포함하며, on-latency 플래그의 값이 True일 때 전송에 지연이 발생하면, 단말은 현재 단말의 최종 포즈와 가장 근접한 장면 노드를 v1 scene description의 장면 노드들 중에서 선택하고, t1 시점에서 현시점까지의 시간 차이인 t_delay 만큼의 시간 분량의 animation을 진행시켜 원시 구성요소들의 위치, 크기 등을 변화시키고, 렌더링해 현시점에 대한 버전을 도출한다. 종래 기술에서 전송 지연이 발생했을 때 프레임을 멈추거나 이전에 수신된 영상을 평면-평면 변환하는 등 품질 왜곡을 피할 수 없는 문제가 존재했으나, 본 개시의 다양한 실시 예들에 따라 시간의 흐름에 따른 공간 기하 보정 정보를 구비하면 가용한 정보로부터 최대한 유사한 결과를 얻는 것이 가능하다.
[render pipeline 복잡도 완화]
단말에서 split rendering 서비스를 사용 결정하는 것은 단말의 성능이 AR 컨텐츠를 실행하기에 충분하지 않기 때문이다. 본 개시의 다양한 실시 예들을 따르는 단말이 서버로부터 scene description 을 수신하게 되면 scene description의 처리를 위한 프로세싱 부담 문제가 다시 발생할 수 있다.
본 개시의 다양한 실시 예들은 단말에서 실시되는 render pipeline의 프로세싱 부담을 감소시키기 위해, 단말에서 실시되는 render pipeline의 일부 프로세스가 제외되거나 부하가 경감될 수 있도록 리소스를 구비한다. 원시 구성요소의 경우 CPU에서 처리되어 GPU로 전달되는데, 본 개시의 다양한 실시 예들에서는 3차원 입체 공간에 위치한 제 1 원시 구성요소가 같은 투사 평면상에 위치하는 제 2 원시 구성요소로 변환되면 인접하고 같은 변환 방향성(예: 깊이, 크기)을 갖는 제 2 원시 구성요소들간 병합을 실시한다. 원시 구성요소가 병합되면 CPU에서 처리하기 위해 필요한 성능 요구사항이 경감될 수 있다. 텍스처의 경우 3차원 공간상에 위치시킨 후 광원 및 주변 텍스처에서 반사된 빛의 효과에 의해 밝기, 반사, 투명도, 재질 등을 인자로 빛이 blend된다. Blend 프로세스에서 더 많은 빛의 효과를 처리할수록 자연스러운 이미지를 얻기 때문에 단말에서 성능 병목 현상이 발생하는 대표적인 프로세스라 할 수 있다.
본 개시의 다양한 실시 예들에서는 각 예측 포즈에서 rendering된 blend 프로세스의 결과물을 텍스처 리소스로서 제공한다. 각 장면 노드가 하나의 카메라 노드를 가지고, 3차원 컨텐츠가 해당 카메라 노드에 투사되도록 제 2 원시 구성요소로 변환되어 2차원 이미지의 부분들과 연결 되었으므로, 단말에서 2차원 이미지로부터 장면을 구성하는 것만으로 빛의 효과가 모두 처리된 결과물을 생성할 수 있다. 원시 구성요소의 경우 개수가 줄어들도록 하였으므로 별도의 지시가 필요하지 않고, 텍스처의 경우 blending이 이미 적용되었음을 표시하기 위해 텍스처 또는 material 노드 하위에 신규 확장 노드인 pre-baked 를 삽입하고 노드의 속성값으로 참("True")을 표시한다. 단말은 pre-baked로 식별되는 텍스처에 대해서는 rendering process들 중 blending, lighting 등을 적용하지 않고 그대로 사용하는 것이 가능하다.
[scene description 확장 정보]
본 개시의 다양한 실시 예들을 따르는 scene description은 다음과 같은 확장 노드를 구비한다.
본 개시의 다양한 실시 예들에서 제안하는 노드 생성 규칙과 split rendering 결과물의 매핑 방법을 따르는 scene description은 신규 확장 노드인 profile 노드와 profile 속성값을 가진다. (그림2)
mesh노드가 포함하는 원시 구성요소가 2차원 투사 평면 상에 위치하도록 생성된 제 2 원시 구성요소인 경우, mesh 노드 하위에 신규 확장 노드인 on-projection-plane 노드와 노드의 속성값으로 참("True")를 가진다.
서버가 생성한 scene description의 리소스가 단말의 render 프로세스에서 제외되도록 생성되어진 경우, 이를 텍스처 노드 또는 material 노드 하위에 신규 확장 노드인 pre-baked 속성값으로 참("True")를 가진다.
전송 지연시 시간 흐름에 따른 animation 노드를 사용할 지 결정하는 신규 확장 노드인 on-latency 노드와 속성값으로 참("True")를 가진다.
텍스처로 사용되는 2차원 이미지의 압축에 multiview video coding 사용시 해당 비디오 스트림의 여러 view들 중 texture로서 특정 view를 참고할 때 지시하기 위한 식별자로 view-id를 구비한다.
본 개시의 다양한 실시 예들에서 표현하는 '노드 이름'과 '하위 노드' 관계는 관련 산업에서 사용되는 scene description 기술(technology)중 glTF 2.0와 MPEG-I scene description을 기준으로 설명하고 있으므로 hierarchy및 노드 이름과 역할이 다른 타 scene description technology에 적용시 해당 기술에서 지원되는 노드의 종류와 그 역할과, 노드와 노드 간의 관계에 따라 유사한 것들에 매핑하여 사용할 수 있다.
3GPP TS 26.565는 서버와 단말간 교환하는 미디어 포맷에 대한 표준 규격으로, 본 개시를 따르는 split rendering 서버와 단말을 지원하기 위해 다음의 표 1과 같이 확장될 수 있다.
Figure PCTKR2023005485-appb-img-000001
본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(read only memory, ROM), 전기적 삭제가능 프로그램가능 롬(electrically erasable programmable read only memory, EEPROM), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(compact disc-ROM, CD-ROM), 디지털 다목적 디스크(digital versatile discs, DVDs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WAN(wide area network), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시 예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다. 예를 들어, 특정 실시 예의 일부 또는 전부가 다른 하나 이상의 실시 예의 일부 또는 전부와 결합되어 수행될 수 있으며, 이러한 실시 예 또한 본 개시의 범위에 포함됨은 물론이다.

Claims (15)

  1. 무선 통신 시스템의 단말에 의해 수행되는 방법에 있어서,
    서버로부터, 복수의 포즈(pose)들에 대한 정보 및 상기 복수의 포즈들에 대응하는 복수의 공간 기하 정보들을 포함하는 장면 기술(scene description)을 수신하는 단계;
    상기 복수의 포즈들 중에서 상기 단말의 최종 포즈에 가장 근접한 포즈를 결정하는 단계;
    상기 결정된 포즈에 대응하는 공간 기하 정보를 바탕으로 이미지를 생성하는 단계; 및
    상기 생성된 이미지를 출력하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 생성하는 단계는, 오브젝트에 가장 근접한 포즈에 대해서 상기 공간 기하 정보를 바탕으로 렌더링한 결과를 상기 결정된 포즈로 워프(warp)하여 상기 이미지를 생성하는 단계를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 출력하는 단계는, 상기 결정된 포즈와 오브젝트가 연결된 시선이 투사 평면과 교차하는 지점에 상기 생성된 이미지를 출력하는 단계를 포함하는 것인, 방법.
  4. 제1항에 있어서,
    상기 장면 기술은 각각의 포즈에 대한 메쉬 노드와 텍스쳐 노드를 더 포함하고,
    상기 텍스쳐 노드는 2차원 이미지 정보와 절두체(frustum) 정보를 상기 메쉬 노드에 대한 텍스쳐로 표현하는 것인, 방법.
  5. 제4항에 있어서,
    상기 텍스쳐 노드는 상기 서버에 의해 블렌딩(blending)이 완료되었음을 나타내기 위한 프리베이크드(pre-baked) 정보를 포함하고,
    상기 출력하는 단계는, 상기 프리베이크드 정보에 따라서 상기 이미지에 대한 블렌딩을 수행하지 않고 출력하는 단계를 포함하는 것인, 방법.
  6. 제1항에 있어서,
    상기 장면 기술은 애니메이션 노드를 더 포함하고,
    상기 방법은, 상기 장면 기술을 수신한 이후 소정의 시점까지 또 다른 장면 기술이 수신되지 않는 경우, 상기 애니메이션 노드에 따라 업데이트된 이미지를 출력하는 단계를 더 포함하는 것인, 방법.
  7. 제1항에 있어서,
    상기 장면 기술은 glTF(GL Transmission Format)의 트리 구조를 따르는 것인, 방법.
  8. 무선 통신 시스템의 단말에 있어서,
    송수신부; 및
    상기 송수신부와 연결되는 제어부를 포함하고,
    상기 제어부는:
    복수의 포즈(pose)들에 대한 정보 및 상기 복수의 포즈들에 대응하는 복수의 공간 기하 정보들을 포함하는 장면 기술(scene description)을 서버로부터 수신하고,
    상기 복수의 포즈들 중에서 상기 단말의 최종 포즈에 가장 근접한 포즈를 결정하고,
    상기 결정된 포즈에 대응하는 공간 기하 정보를 바탕으로 이미지를 생성하고,
    상기 생성된 이미지를 출력하도록 설정되는 것인, 단말.
  9. 제8항에 있어서,
    상기 제어부는, 오브젝트에 가장 근접한 포즈에 대해서 상기 공간 기하 정보를 바탕으로 렌더링한 결과를 상기 결정된 포즈로 워프(warp)하여 상기 이미지를 생성하도록 더 설정되는 것인, 단말.
  10. 제8항에 있어서,
    상기 제어부는, 상기 결정된 포즈와 오브젝트가 연결된 시선이 투사 평면과 교차하는 지점에 상기 생성된 이미지를 출력하도록 더 설정되는 것인, 단말.
  11. 제8항에 있어서,
    상기 장면 기술은 각각의 포즈에 대한 메쉬 노드와 텍스쳐 노드를 더 포함하고,
    상기 텍스쳐 노드는 2차원 이미지 정보와 절두체(frustum) 정보를 상기 메쉬 노드에 대한 텍스쳐로 표현하는 것인, 단말.
  12. 제11항에 있어서,
    상기 텍스쳐 노드는 상기 서버에 의해 블렌딩(blending)이 완료되었음을 나타내기 위한 프리베이크드(pre-baked) 정보를 포함하고,
    상기 제어부는, 상기 프리베이크드 정보에 따라서 상기 이미지에 대한 블렌딩을 수행하지 않고 출력하도록 더 설정되는 것인, 단말.
  13. 제8항에 있어서,
    상기 장면 기술은 애니메이션 노드를 더 포함하고,
    상기 제어부는, 상기 장면 기술을 수신한 이후 소정의 시점까지 또 다른 장면 기술이 수신되지 않는 경우, 상기 애니메이션 노드에 따라 업데이트된 이미지를 출력하도록 더 설정되며,
    상기 장면 기술은 glTF(GL Transmission Format)의 트리 구조를 따르는 것인, 단말.
  14. 무선 통신 시스템의 서버에 의해 수행되는 방법에 있어서,
    단말에 이미지를 출력하기 위하여 소정의 오브젝트와 관련된 복수의 포즈(pose)들에 대한 정보 및 상기 복수의 포즈들에 대응하는 복수의 공간 기하 정보들을 생성하는 단계;
    상기 단말로, 상기 복수의 포즈들에 대한 정보 및 상기 복수의 공간 기하 정보들을 포함하는 장면 기술(scene description)을 전송하는 단계를 포함하고,
    상기 복수의 포즈들 중에서 상기 단말의 최종 포즈에 가장 근접한 포즈에 대응하는 공간 기하 정보를 바탕으로 상기 이미지가 출력되는 것인, 방법.
  15. 무선 통신 시스템의 서버에 있어서,
    송수신부; 및
    상기 송수신부와 연결되는 제어부를 포함하고,
    상기 제어부는:
    단말에 이미지를 출력하기 위하여 소정의 오브젝트와 관련된 복수의 포즈(pose)들에 대한 정보 및 상기 복수의 포즈들에 대응하는 복수의 공간 기하 정보들을 생성하고,
    상기 복수의 포즈들에 대한 정보 및 상기 복수의 공간 기하 정보들을 포함하는 장면 기술(scene description)을 상기 단말로 전송하도록 설정되고,
    상기 복수의 포즈들 중에서 상기 단말의 최종 포즈에 가장 근접한 포즈에 대응하는 공간 기하 정보를 바탕으로 상기 이미지가 출력되는 것인, 서버.
PCT/KR2023/005485 2022-05-04 2023-04-21 무선 통신 시스템에서 ar 스플릿 렌더링을 제공하기 위한 방법 및 장치 Ceased WO2023214718A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/862,125 US20250278811A1 (en) 2022-05-04 2023-04-21 Method and device for providing ar split rendering in wireless communication system
EP23799601.2A EP4502952A4 (en) 2022-05-04 2023-04-21 METHOD AND DEVICE FOR PROVIDING AR SPLIT RENDERING IN A WIRELESS COMMUNICATION SYSTEM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0055320 2022-05-04
KR20220055320 2022-05-04
KR10-2023-0032622 2023-03-13
KR1020230032622A KR20230155956A (ko) 2022-05-04 2023-03-13 무선 통신 시스템에서 ar 스플릿 렌더링을 제공하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2023214718A1 true WO2023214718A1 (ko) 2023-11-09

Family

ID=88646612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/005485 Ceased WO2023214718A1 (ko) 2022-05-04 2023-04-21 무선 통신 시스템에서 ar 스플릿 렌더링을 제공하기 위한 방법 및 장치

Country Status (3)

Country Link
US (1) US20250278811A1 (ko)
EP (1) EP4502952A4 (ko)
WO (1) WO2023214718A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117294832A (zh) * 2023-11-22 2023-12-26 湖北星纪魅族集团有限公司 数据处理方法、装置、电子设备和计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7809720B2 (ja) * 2021-04-07 2026-02-02 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 光効果をサポートする容積ビデオ

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243496A (ja) * 2000-02-29 2001-09-07 Sony Corp シーン記述生成装置及び方法、シーン記述変換装置及び方法、シーン記述記憶装置及び方法、シーン記述復号装置及び方法、ユーザインタフェースシステム、記録媒体並びに伝送媒体
KR20180065562A (ko) * 2016-12-08 2018-06-18 이정욱 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에 사용되는 단말기
KR102147748B1 (ko) * 2012-04-20 2020-08-25 삼성전자주식회사 증강현실 지원을 위한 데이터 처리 방법 및 장치
US20220094941A1 (en) * 2020-09-23 2022-03-24 Nokia Technologies Oy Temporal Alignment of MPEG and GLTF Media

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022015020A1 (ko) * 2020-07-13 2022-01-20 삼성전자 주식회사 혼합현실/증강현실을 지원하는 통신 시스템에서 3차원 미디어 데이터에 대해 지연 시간 보상 포즈 예측을 사용하는 렌더링을 수행하는 방법 및 장치
WO2022081990A1 (en) * 2020-10-16 2022-04-21 Splunk Inc. Mesh updates in an extended reality environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243496A (ja) * 2000-02-29 2001-09-07 Sony Corp シーン記述生成装置及び方法、シーン記述変換装置及び方法、シーン記述記憶装置及び方法、シーン記述復号装置及び方法、ユーザインタフェースシステム、記録媒体並びに伝送媒体
KR102147748B1 (ko) * 2012-04-20 2020-08-25 삼성전자주식회사 증강현실 지원을 위한 데이터 처리 방법 및 장치
KR20180065562A (ko) * 2016-12-08 2018-06-18 이정욱 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에 사용되는 단말기
US20220094941A1 (en) * 2020-09-23 2022-03-24 Nokia Technologies Oy Temporal Alignment of MPEG and GLTF Media

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JANG JUNHWAN, CHOI MINSU, LEE JUNSUK, YOON SANGPIL, YANG JINWOOK, PARK WOOCHOOL: "A Study on Edge Cloud-Based AR Split-Rendered Video Real-Time Streaming", JOURNAL OF THE INSTITUTE OF ELECTRONICS AND INFORMATION ENGINEERS, INSTITUTE OF ELECTRONICS AND INFORMATION ENGINEERS, KR, vol. 58, no. 6, 30 June 2021 (2021-06-30), KR , pages 71 - 78, XP093061137, ISSN: 2287-5026, DOI: 10.5573/ieie.2021.58.6.71 *
See also references of EP4502952A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117294832A (zh) * 2023-11-22 2023-12-26 湖北星纪魅族集团有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
CN117294832B (zh) * 2023-11-22 2024-03-26 湖北星纪魅族集团有限公司 数据处理方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
US20250278811A1 (en) 2025-09-04
EP4502952A1 (en) 2025-02-05
EP4502952A4 (en) 2025-07-23

Similar Documents

Publication Publication Date Title
KR102909089B1 (ko) 혼합현실/증강현실을 지원하는 통신 시스템에서 3차원 미디어 데이터에 대해 지연 시간 보상 포즈 예측을 사용하는 렌더링을 수행하는 방법 및 장치
US12067695B2 (en) Method and device for encoding/decoding the geometry of a point cloud
WO2023214718A1 (ko) 무선 통신 시스템에서 ar 스플릿 렌더링을 제공하기 위한 방법 및 장치
US12200036B2 (en) Apparatus and method for providing media streaming
KR20200019861A (ko) 360도 비디오 코딩을 위한 하이브리드 큐브 맵 투사
CN116491091A (zh) 数据传输方法及装置
WO2022240192A1 (en) Method and apparatus for ar remote rendering processes
Jin et al. Design of UAV video and control signal real-time transmission system based on 5G network
WO2020063171A1 (zh) 数据传输方法、终端、服务器和存储介质
CN105025359A (zh) 一种基于spice协议的远程视频显示方法及系统
KR20230155956A (ko) 무선 통신 시스템에서 ar 스플릿 렌더링을 제공하기 위한 방법 및 장치
CN116503498A (zh) 一种画面渲染方法和相关装置
WO2024083754A1 (en) Point based attribute transfer for textured meshes
CN119631470A (zh) 用于分布式无线电接入网节点之间的相互移动性的优化的方法和装置
US20220005231A1 (en) A method and device for encoding / reconstructing 3d points
EP4730815A1 (en) Negotiating the level of detail in v-dmc
US20250252616A1 (en) Split Rendering With Local Rendering Of Interactive Objects
EP4636543A1 (en) Method to manage light data
US20250337952A1 (en) Providing segmentation information for immersive video
US20240311103A1 (en) Split-compute compiler and game engine
CN116032329B (zh) 数据传输方法、装置、终端及网络侧设备
EP4564297A1 (en) Method and device for providing content according to device type of augmented reality terminal
WO2024019590A1 (ko) 무선 통신 시스템에서 가상 분산 유닛의 무선 자원을 스케줄링하는 방법 및 장치
CN120568036A (zh) 视频数据传输方法、装置、设备、存储介质和计算机程序产品
WO2024096479A1 (ko) 무선 통신 시스템에서 애플리케이션 서버에 단말 이동성을 고려한 망 혼잡 상황 정보를 전달하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23799601

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18862125

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023799601

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023799601

Country of ref document: EP

Effective date: 20241101

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 18862125

Country of ref document: US