CN113473180B - 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置 - Google Patents

一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN113473180B
CN113473180B CN202110905918.0A CN202110905918A CN113473180B CN 113473180 B CN113473180 B CN 113473180B CN 202110905918 A CN202110905918 A CN 202110905918A CN 113473180 B CN113473180 B CN 113473180B
Authority
CN
China
Prior art keywords
cloudxr
client
picture
displayed
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110905918.0A
Other languages
English (en)
Other versions
CN113473180A (zh
Inventor
祁国良
刘兴龙
黄智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zedao Network Technology Co ltd
Original Assignee
Beijing Boliang Shenghe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boliang Shenghe Technology Co ltd filed Critical Beijing Boliang Shenghe Technology Co ltd
Priority to CN202110905918.0A priority Critical patent/CN113473180B/zh
Publication of CN113473180A publication Critical patent/CN113473180A/zh
Application granted granted Critical
Publication of CN113473180B publication Critical patent/CN113473180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种基于5G或无线的Cloud XR数据传输方法以及装置、存储介质、电子装置。该方法包括基于Cloud XR技术接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息；根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件；将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端。本申请解决了受限于有线传输且传输效率不高的技术问题。通过本申请简化用户使用操作，降低了终端设备成本。此外，本申请提供了便捷、高解码精度内容的画面，提升了用户体验。

Description

一种基于无线的Cloud XR数据传输方法以及装置、存储介质、 电子装置
技术领域
本申请涉及图像信息、数据处理领域，具体而言，涉及一种基于5G或无线的CloudXR数据传输方法以及装置、存储介质、电子装置。
背景技术
随着GPU图像处理服务的算力越来越强大，三维模型也越来越逼真，包括虚拟数字人、三维模型、VR/AR游戏等。
相关技术中，通过将内容渲染在GPU服务器中，并通过HDMI线将渲染完画面传到PCVR头显或其他显示设备上。但是由于网络传输限制，终端设备的成本较高，且容易受到HDMI线绳子的干扰，从而造成用户体验较差。
针对相关技术中受限于有线传输且传输效率不高的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种数据传输的方法以及装置、存储介质、电子装置，以解决受限于有线传输且传输效率不高的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种基于5G或无线的CloudXR数据传输方法。
根据本申请的数据传输的方法包括：基于Cloud XR技术接收通过Cloudxr 客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息；根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件；将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述 Cloudxr客户端。
进一步地，将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端，还包括：将所述渲染文件进行编码之后得到待显示画面的当前帧通过无线网络传输至所述Cloudxr客户端，其中所述无线网络至少包括如下之一：5G、WI-FI。
进一步地，所述当前帧通过无线网络传输至所述Cloudxr客户端还包括：基于动态Fov传输方式在传输待显示画面的过程中，传输在所述Cloudxr客户端Fov以内以及Fov+预设可调节显示比例的画面。
进一步地，将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端之后，还包括：在所述Cloudxr客户端对待显示画面进行解码并显示画面。
进一步地，在所述Cloudxr客户端对待显示画面基于H.264或H.265/HEVC 对视频流进行解码。
进一步地，所述根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件，包括：根据不同的待渲染文件类型，调用不同的接口模块，其中，待渲染文件类型包括如下之一：VR、AR、MR、XR；所述根据预设三维程序通过接口模块提供的预设接口，结合所述操作控制信息、所述空间位置信息得到渲染文件。
进一步地，所述预设三维程序用于与Directx接口或OpenGL接口通信。
为了实现上述目的，根据本申请的另一方面，提供了一种数据传输的装置。
根据本申请的数据传输的装置包括：通信模块，用于基于Cloud XR技术接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息；渲染模块，用于根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件；流式传输模块，用于将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端。
为了实现上述目的，根据本申请的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述方法。
为了实现上述目的，根据本申请的再一方面，提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的方法。
在本申请实施例中基于5G或无线的Cloud XR数据传输方法以及装置、存储介质、电子装置，采用基于Cloud XR技术接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息的方式，通过根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件，达到了将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端的目的，从而实现了简化用户使用操作，降低终端设备成本以及提供便捷、高解码精度内容的用户体验的技术效果，进而解决了将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述 Cloudxr客户端技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于5G或无线的Cloud XR数据传输方法的硬件系统结构示意图；
图2是根据本申请实施例的基于5G或无线的Cloud XR数据传输方法流程示意图；
图3是根据本申请实施例的数据传输的装置结构示意图；
图4是根据本申请实施例的基于5G或无线的Cloud XR数据传输方法的实现原理示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请的实施例中涉及的技术术语如下：
增强现实，(英文名称：Augmented Reality，缩写为：AR)
虚拟现实技术(英文名称：Virtual Reality，缩写为：VR)
拓展现实(英文名称：Extended Realityy，缩写为XR)
混合现实(英文名称：mixed Reality，缩写为MR)
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请的实施例中提供了一种数据传输的方法，属于一种无线串流技术，通过将GPU服务器渲染内容，通过无线传输到瘦客户终端，实现无绳化，为用户提供了便捷化、低成本、高质量画面，提高了用户体验。
发明人在研究时发现，从数据传输接口的方面来看，相关技术中只通过硬件有线连接服务端与瘦客户端，用户在使用过程中应用范围狭小、移动不便捷。同时不同的瘦客户端交互方式也不太相同，并且不同交互方式没有进行过标准化处理，客户需要自己去实现对应的交互方式进行开发，这让开发变得复杂。
如图1所示，本申请实施例中的数据传输的方法的硬件系统结构示意图，包括用户端和服务端。其中，用户端至少包括一个瘦客户端(瘦客户端还包括用于显示的系统)，所述服务端至少包括一个GPU服务器。所述瘦客户端被配置有Cloudxr Client程序。所述GPU服务器被配置有Cloudxr server端程序。所述GPU服务器还配置有预设三维程序。此外，还包括Wi-Fi设备。所述用户端与所述服务端通过路由器或者WI-FI设备连接。
如图2所示，该方法包括如下的步骤S201至步骤S203：
步骤S201，基于Cloud XR技术接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息；
步骤S202，根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件；
步骤S203，将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端。
从以上的描述中，可以看出，本申请实现了如下技术效果：
采用基于Cloud XR技术接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息的方式，通过根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件，达到了将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端的目的，从而实现了简化用户使用操作，降低终端设备成本以及提供便捷、高解码精度内容的用户体验的技术效果，进而解决了将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端技术问题。
上述步骤201中基于Cloud XR技术，可跨5G和Wi-Fi网络实现无线 VR和AR。此外通过NVIDIA GPU虚拟化软件，Cloud XR可为数据中心和边缘网络实现全面可扩展性。
基于Cloud XR技术接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息。即所述Cloudxr客户端通过自带输入外设，包括但不限于手柄、键盘鼠标、手势识别、语音输入等，将操控数据通过虚拟外设控制模块进行标准化处理后通过建立的网络，并传输到Cloudxr server端。也就是在Cloudxr server端接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息。
作为一种可选地实施方式，在使用时基于CloudXR SDK随附用于服务器组件的安装程序进行传输。
作为一种可选地实施方式，基于OpenVR应用程序向Android或 Windows客户端流式传输XR扩增现实内容。此外，XR终端，包括手机、平板、web、VR头显一体机等一种或多种跨终端设备。
上述步骤202中根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件。也就是说，在Cloudxr server端接收到控制和空间位置信息后，将操作信息与三维程序通信，依据内容/类型不同，可能调用的模块不同。
作为一种可选地实施方式，如果需要渲染的是VR内容，则需将操作信息数据与OpenXR runtime(steamvr)通信。
作为本实施例中的优选，所述预设三维程序用于与Directx接口或OpenGL 接口通信。所述预设三维程序，需要与Directx接口或OpenGL接口进行通信。
上述步骤203中则需要将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端，从而实现了图像处理服务端音视频编码-无线数据传输-瘦客户端音视频解码的数据无线传输流程。
基于上述数据传输的方法，可支持通过无线串流，使瘦客户端显示低时延、高精度、高画质的体验三维内容。
作为本实施例中的优选，将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端，还包括：将所述渲染文件进行编码之后得到待显示画面的当前帧通过无线网络传输至所述Cloudxr客户端，其中所述无线网络至少包括如下之一：5G、WI-FI。
作为本实施例中的优选，所述当前帧通过无线网络传输至所述Cloudxr客户端还包括：基于动态Fov传输方式在传输待显示画面的过程中，传输在所述 Cloudxr客户端Fov以内以及Fov+预设可调节显示比例的画面。
具体实施时，会考虑Fov渲染数据传输，即在编码后到画面通过无线网络传输时，为了更加节约到利用带宽资源。在本申请的实施例中基于上述提供了一种动态Fov传输方式，即在传输画面过程中，只传输瘦客户端Fov内与 Fov+10％画面。
作为本实施例中的优选，将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端之后，还包括：在所述 Cloudxr客户端对待显示画面进行解码并显示画面。
作为本实施例中的优选，在所述Cloudxr客户端对待显示画面基于H.264 或H.265/HEVC对视频流进行解码。
具体实施时，客户端在接到传输到Fov视频后，通过调用客户端本地到硬件芯片解码H.264或H.265/HEVC视频流将画面显示在瘦客户端前，整个系统延迟在60ms以内，用户无法区分是在本地渲染还是云端渲染，从而实现在瘦客户端下低延迟、高精度、高画质到显示GPU服务端三维内容。
作为本实施例中的优选，所述根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件，包括：根据不同的待渲染文件类型，调用不同的接口模块，其中，待渲染文件类型包括如下之一：VR、AR、MR、XR；所述根据预设三维程序通过接口模块提供的预设接口，结合所述操作控制信息、所述空间位置信息得到渲染文件。
基于上述方法，提供了一种高利用率的带宽使用方式，实现端到端端低时延用户体验。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述数据传输的方法的装置，如图3所示，用于图像处理服务器该装置包括：
通信模块301，用于基于Cloud XR技术接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息；
渲染模块302，用于根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件；
流式传输模块303，用于将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端。
在所述通信模块301中基于Cloud XR技术，可跨5G和Wi-Fi网络实现无线VR和AR。此外通过NVIDIA GPU虚拟化软件，CloudXR可为数据中心和边缘网络实现全面可扩展性。
基于Cloud XR技术接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息。即所述Cloudxr客户端通过自带输入外设，包括但不限于手柄、键盘鼠标、手势识别、语音输入等，将操控数据通过虚拟外设控制模块进行标准化处理后通过建立的网络，并传输到Cloudxr server端。也就是在Cloudxr server端接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息。
作为一种可选地实施方式，在使用时基于CloudXR SDK随附用于服务器组件的安装程序进行传输。
作为一种可选地实施方式，基于OpenVR应用程序向Android或 Windows客户端流式传输XR扩增现实内容。此外，XR终端，包括手机、平板、web、VR头显一体机等一种或多种跨终端设备。
在所述渲染模块302中根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件。也就是说，在Cloudxr server端接收到控制和空间位置信息后，将操作信息与三维程序通信，依据内容/类型不同，可能调用的模块不同。
作为一种可选地实施方式，如果需要渲染的是VR内容，则需将操作信息数据与OpenXR runtime(SteamVr)通信。
作为本实施例中的优选，所述预设三维程序用于与Directx接口或OpenGL 接口通信。所述预设三维程序，需要与Directx接口或OpenGL接口进行通信。
在所述流式传输模块303中则需要将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端，从而实现了图像处理服务端音视频编码-无线数据传输-瘦客户端音视频解码的数据无线传输流程。
基于上述数据传输的装置，可支持通过无线串流，使瘦客户端显示低时延、高精度、高画质的体验三维内容。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
为了更好的理解上述数据传输的方法流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
本申请实施例中的将基于Cloud XR技术，将GPU图像处理服务器渲染内容，通过无线传输到瘦客户终端，实现了简化用户使用操作，降低终端设备成本以及提供便捷、高解码精度内容的用户体验的技术效果。本申请实施例中的方法，能够支持通过无线串流，从而使瘦客户端低时延、高精度、高画质的体验三维内容。此外，本申请提供了高利用率的带宽使用方式，实现端到端的低时延用户体验。
如图4所示，是本申请实施例中数据传输的方法的流程示意图，主要涉及服务端音视频编码、无线数据传输、瘦客户端音视频解码与交互技术，实现的具体过程包括如下步骤：
S1，GPU图像处理服务端，启动三维程序与Cloudxr server端程序，作为流式传输服务端。
S2，用户启动Cloudxr client程序作为流式传输用户端，并与服务端建立网络连接。
具体的连接过程如下：
S21服务器端先开启设置的监听端口，用来监听来自客户端的连接请求；
S22客户端发送一个申请连接的TCP包到服务器端的监听端口；
S23服务器端监听端口收到客户端的连接请求的TCP包之后，解析请求连接包获取到客户端的IP地址和端口号；
S24服务器端开启一个端口，用TCP协议来连接上述的客户端的IP、端口；
S25完成连接之后，服务器端和客户端之间会通过定时发送心跳包的方式来确保端到端之间是否连接正常。当心跳包超时之后，端到端之间的连接认为已经断开，至此客户端会重新发送连接请求，重复上述过程直到重新连上服务器端。
S3，Cloudxr渲染过程，首先在瘦客户端Cloudxr client包括一个虚拟外设控制、一个天空球组成，瘦客户端通过自带输入外设，比如手柄、键盘鼠标、手势识别、语音输入等，将操控数据通过虚拟外设控制模块进行标准化处理后通过建立的网络，传输到Cloudxrserver端。即进行场景控制数据的输入。
接着，Cloudxrserver端接收到控制和空间位置信息后，将操作信息与三维程序通信，依据内容不同，可能调用的模块不同。比如VR内容，需将操作信息数据与OpenXRruntime通信。
最后，通常三维程序，需要与Directx或OpenGL通信。三维程序接收到控制信息后，依据内容逻辑渲染画面，并将渲染好的下一帧画面送入显存， Cloudxrserver程序，调取现存画面，并使用H.264、H.265/HEVC进行画面编码，将编码数据发送到瘦客户端。
S4，Fov渲染数据传输，在编码后到画面通过无线网络传输时，为了更加节约到利用带宽资源，本发明提出一种动态Fov传输方式，即在传输画面过程中，只传输瘦客户端Fov内与Fov+10％画面。
S5，客户端在接到传输到Fov视频后，通过调用客户端本地到硬件芯片解码H.264或H.265/HEVC视频流将画面显示在瘦客户端前，整个系统延迟在 60ms以内，用户无法区分是在本地渲染还是云端渲染，从而实现在瘦客户端下低延迟、高精度、高画质到显示GPU服务端三维内容。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims (10)

1.一种基于无线的Cloud XR数据传输方法，其特征在于，用于传输系统，所述传输系统包括用户端和服务端，其中，用户端至少包括一个瘦客户端，瘦客户端还包括用于显示的系统，所述服务端至少包括一个GPU服务器，
所述瘦客户端被配置有Cloudxr Client程序，所述GPU服务器被配置有Cloudxrserver端程序，所述GPU服务器还配置有预设三维程序，所述方法包括：
基于Cloud XR技术接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息；
根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件；
将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端。
2.根据权利要求1所述的方法，其特征在于，
将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端，还包括：
将所述渲染文件进行编码之后得到待显示画面的当前帧通过无线网络传输至所述Cloudxr客户端，其中所述无线网络至少包括如下之一：5G、WI-FI。
3.根据权利要求2所述的方法，其特征在于，
所述当前帧通过无线网络传输至所述Cloudxr客户端还包括：
基于动态Fov传输方式在传输待显示画面的过程中，传输在所述Cloudxr客户端Fov以内以及Fov+预设可调节显示比例的画面。
4.根据权利要求1所述的方法，其特征在于，
将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端之后，还包括：
在所述Cloudxr客户端对待显示画面进行解码并显示画面。
5.根据权利要求4所述的方法，其特征在于：
在所述Cloudxr客户端对待显示画面基于H.264或H.265/HEVC对视频流进行解码。
6.根据权利要求1所述的方法，其特征在于，
所述根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件，包括：
根据不同的待渲染文件类型，调用不同的接口模块，其中，待渲染文件类型包括如下之一：VR、AR、MR、XR；
根据预设三维程序通过接口模块提供的预设接口，结合所述操作控制信息、所述空间位置信息得到渲染文件。
7.根据权利要求6所述的方法，其特征在于，
所述预设三维程序用于与Directx接口或OpenGL接口通信。
8.一种数据传输装置，其特征在于，用于传输系统，所述传输系统包括用户端和服务端，其中，用户端至少包括一个瘦客户端，瘦客户端还包括用于显示的系统，所述服务端至少包括一个GPU服务器，
所述瘦客户端被配置有Cloudxr Client程序，所述GPU服务器被配置有Cloudxrserver端程序，所述GPU服务器还配置有预设三维程序，
所述装置包括：
通信模块，用于基于Cloud XR技术接收通过Cloudxr客户端的虚拟外设控制模块输入的操作控制信息和空间位置信息；
渲染模块，用于根据预设三维程序以及所述操作控制信息、所述空间位置信息，得到渲染文件；
流式传输模块，用于将所述渲染文件进行编码之后得到待显示画面，所述待显示画面经流式传输至所述Cloudxr客户端。
9.一种计算机可读存储介质，其特征在于，
所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时由所述计算机可读存储介质执行所述权利要求1至7任一项所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，
所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项所述的方法。
CN202110905918.0A 2021-08-06 2021-08-06 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置 Active CN113473180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110905918.0A CN113473180B (zh) 2021-08-06 2021-08-06 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110905918.0A CN113473180B (zh) 2021-08-06 2021-08-06 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN113473180A CN113473180A (zh) 2021-10-01
CN113473180B true CN113473180B (zh) 2024-01-30

Family

ID=77867670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110905918.0A Active CN113473180B (zh) 2021-08-06 2021-08-06 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN113473180B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019126293A1 (en) * 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for generating and displaying 3d videos in a virtual, augmented, or mixed reality environment
CN111179437A (zh) * 2019-12-30 2020-05-19 上海曼恒数字技术股份有限公司 一种Cloud VR 无连接串流系统及连接方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019126293A1 (en) * 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for generating and displaying 3d videos in a virtual, augmented, or mixed reality environment
CN111179437A (zh) * 2019-12-30 2020-05-19 上海曼恒数字技术股份有限公司 一种Cloud VR 无连接串流系统及连接方法

Also Published As

Publication number Publication date
CN113473180A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN114666225B (zh) 带宽调整方法、数据传输方法、设备及计算机存储介质
WO2022257699A1 (zh) 图像画面显示方法、装置、设备、存储介质及程序产品
US20230176915A1 (en) Method and device for providing split computing based on device capability
CN113986177A (zh) 投屏方法、投屏装置、存储介质与电子设备
KR102417055B1 (ko) 비디오 스트림의 후속 프로세싱을 위한 방법 및 디바이스
US12537984B2 (en) Method of video downloading, method of video transmission, terminal device, server and storage medium
US20220286736A1 (en) Dynamic processing and display of multi-stream video content
CN104639951A (zh) 视频码流的抽帧处理方法及装置
CN114584736A (zh) 基于视频会议的共享方法、装置、电子设备和计算机介质
KR20220149574A (ko) 3차원 비디오의 처리 방법, 장치, 판독 가능 저장매체 및 전자기기
US20250023936A1 (en) Method and apparatus for processing media stream, computer device, and storage medium
CN110290398B (zh) 视频下发方法、装置、存储介质及电子设备
CN113893525A (zh) 云游戏运行方法、装置、电子设备及计算机可读介质
US20170163990A1 (en) Video transcoding method and system
CN114157919A (zh) 数据处理的方法和系统、云终端、服务器和计算设备
CN113973224B (zh) 媒体信息的传输方法、计算设备及存储介质
CN116056053A (zh) 投屏方法、电子设备、系统及计算机可读存储介质
CN114697731B (zh) 投屏方法、电子设备及存储介质
CN113473180B (zh) 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置
CN116546262A (zh) 一种数据处理方法、装置、设备及存储介质
CN111435995B (zh) 用于生成动态图片的方法、装置和系统
EP4042690A1 (en) Av1 codec for real-time video communication
US20240297977A1 (en) Head motion dependent viewport region modification for omnidirectional conversational vdd
CN115334305B (zh) 视频数据传输方法、装置、电子设备和介质
CN115623183B (zh) 容积媒体的数据处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20251211

Address after: Room 504, 2nd Floor, Building 2, Xianduyuan, No. 254 Qinchuan Road, Tailaoshan Town, Fuding City, Ningde City, Fujian Province, 355200

Patentee after: Fuding Zhuoyue Intellectual Property Management Co.,Ltd.

Country or region after: China

Address before: 101214 A2 Tianjing street, Machangying Town, Pinggu District, Beijing

Patentee before: Beijing Boliang Shenghe Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20260304

Address after: 246500 Anhui Province, Anqing City, Susheng County, Jiugua Township, Danling Village, Zhengtian Group, No. 21

Patentee after: Zhou Jin

Country or region after: China

Address before: Room 504, 2nd Floor, Building 2, Xianduyuan, No. 254 Qinchuan Road, Tailaoshan Town, Fuding City, Ningde City, Fujian Province, 355200

Patentee before: Fuding Zhuoyue Intellectual Property Management Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20260312

Address after: 201800 Shanghai City, Jiading District, Juyuan New District, Huancheng Road No. 2222, Building 1, Room J5954

Patentee after: Shanghai Zedao Network Technology Co.,Ltd.

Country or region after: China

Address before: 246500 Anhui Province, Anqing City, Susheng County, Jiugua Township, Danling Village, Zhengtian Group, No. 21

Patentee before: Zhou Jin

Country or region before: China

TR01 Transfer of patent right