CN102917246B - 一种基于虚拟机的应用数据提供方法、装置及系统 - Google Patents

Abstract

本发明公开了一种基于虚拟机的应用数据提供方法、装置及系统，用以解决现有技术虚拟机在向客户端提供应用数据的过程中，受其操作系统是否启动成功的影响。该装置采集模块检测到虚拟机的虚拟显卡和虚拟声卡启动成功时，获取虚拟显卡中的视频信息及虚拟声卡中的音频信息，通过编码模块对该信息编码并发送。由于本发明中独立于每台虚拟机之外安装采集模块，无论虚拟机的操作系统是否启动成功，只要其虚拟声卡和虚拟显卡启动成功后，即可将虚拟机当前的界面显示的视频信息，当前播放的音频信息发送到客户端，以便用户获知当前虚拟机的状态，而且用户也可以及时的获取到虚拟机的操作系统已经成功启动的信息，从而可以使用户及时的对应用程序进行操作。

Description

一种基于虚拟机的应用数据提供方法、装置及系统

技术领域

本发明涉及IPTV技术领域，尤其涉及一种基于虚拟机的应用数据提供方法、装置及系统。

背景技术

随着科技的不断发展，能够使配置比较低的终端，向用户提供对配置要求比较高的应用数据，其中该应用数据包括应用程序运行产生的音频信息和/或视频信息。这是因为在进行应用数据提供的过程中，服务器运行用户所需的应用程序，将当前自身显示界面上呈现的视频信息，以及当前播放的音频信息进行编码，将编码后的视音频信息发送给终端，终端在此时只需要具有解码显示的功能，即可获取服务器当前运行的应用程序的音视频信息。但是如果在进行应用数据提供的过程中，一台服务器只能向一台终端提供服务，为了满足海量终端的需求，需要在网络侧配置大量的服务器，从而增加了硬件成本。为了降低在网络侧配置服务器的硬件成本，可以在每台服务器中构建多台虚拟机，在服务器中形成虚拟机系统，通过每台虚拟机向对应的终端提供应用数据。

在通过虚拟机向终端提供应用数据的过程中，每台虚拟机通过其内部运行的采集软件，采集获取当前的应用数据并提供给对应的终端。终端接收到该应用数据后解码并显示，同时，终端将用户的控制操作信息返回给服务器，服务器解析用户的操作信息，并在对应虚拟机中进行模拟操作，虚拟机采集操作后的应用数据并传输给终端解码显示，从而形成反馈回路。

虚拟机在获取当前的应用数据时，通过运行其内部的采集软件，对自身的系统桌面进行桌面复制操作实现的，其具体实现方式包括：

虚拟机调用其操作系统的API接口，例如当虚拟机的操作系统为windows操作系统时，调用API接口中的BitBlt函数，BitBlt函数的功能是将屏幕上显示的任何一块区域拷贝下来。虚拟机调用API接口中的BitBlt函数，对指定的区域中的像素进行位块（bit_block）转换。在该实现方式中，必须要求操作系统启动之后，通过应用程序调用操作系统的API接口，才能运行BitBlt函数对当前屏幕上的图像进行位块转换，从而获取虚拟机当前的应用数据。

或者，虚拟机在获取当前的应用数据时，可以采用镜像驱动（MirrorDriver），直接创建虚拟的显卡驱动和声卡驱动，在应用数据在发生变化的时候，应用程序呼叫操作系统，创建的虚拟的显卡驱动和声卡驱动，获取变化后的视频信息和音频信息并发送。但是该方法也只有在操作系统启动成功后，才能运行镜像驱动程序创建虚拟的显卡驱动和声卡驱动。

根据目前虚拟机获取应用数据的方式可知，只有在虚拟机的操作系统启动成功后，才能获取到应用数据，但在虚拟机启动的过程中，由于无法调用其采集软件，其界面的显示信息是无法获得的。而在虚拟机启动的过程中，当其操作系统出现故障无法正常启动，而此时终端已经与虚拟机建立了链接时，由于虚拟机出现了故障一直无法启动，而终端用户又无法获取到虚拟机当前的显示状态，导致终端用户长时间等待，并且由于终端用户无法获知虚拟机当前的显示状态，无法得知虚拟机的故障状态，从而影响虚拟机故障恢复的速度。

发明内容

本发明实施例提供一种基于虚拟机的应用数据提供方法、装置及系统，用以解决现有技术虚拟机在向客户端提供应用数据的过程中，受其操作系统是否启动成功的影响。

本发明实施例提供一种基于虚拟机的应用数据提供装置，所述系统包括至少一台虚拟机、采集模块、编码模块和发送模块；

采集模块，用于在检测到虚拟机的虚拟显卡和虚拟声卡启动成功时，获取虚拟显卡中的视频信息及虚拟声卡中的音频信息，并将获取的视频信息及音频信息发送给编码模块；

编码模块，用于对接收到的视频信息及音频信息进行编码，并将编码后的视频信息和音频信息发送给发送模块；

发送模块，用于根据保存的虚拟机及客户端之间的对应关系，将接收到的相应虚拟机的编码后的视频信息和音频信息发送给对应的客户端。

本发明实施例提供一种基于虚拟机的应用数据提供系统，所述系统包括：上述应用数据提供装置及接收所述编码后的视、音频信息并解码显示的客户端。

本发明实施例提供一种基于虚拟机的应用数据提供方法，所述方法包括：

检测到虚拟机的虚拟显卡和虚拟声卡启动成功时，获取该虚拟机虚拟显卡中的视频信息及虚拟声卡中的音频信息；

对获取的所述视频信息和音频信息进行编码；

根据保存的虚拟机及客户端之间的对应关系，将编码后的视频信息和音频信息发送给对应的客户端。

本发明实施例提供一种基于虚拟机的应用数据提供方法、装置及系统，该装置包括：至少一台虚拟机、采集模块、编码模块和发送模块，采集模块检测到虚拟机的虚拟显卡和虚拟声卡启动成功时，获取虚拟显卡中的视频信息及虚拟声卡中的音频信息，之后通过编码模块对该信息进行编码，并通过发送模块根据保存的虚拟机及客户端之间的对应关系，将该编码后的信息发送给对应的客户端。由于在本发明中服务器独立于每台虚拟机之外安装采集模块，无论虚拟机的操作系统是否启动成功，只要其虚拟声卡和虚拟显卡启动成功后，即可将虚拟机当前的界面显示的视频信息，及当前播放的音频信息发送到客户端，以便用户获知当前虚拟机的状态，而且用户也可以及时的获取到虚拟机的操作系统已经成功启动的信息，从而可以使用户及时的对应用程序进行操作。

附图说明

图1为本发明实施例提供的基于虚拟机的应用数据提供装置的结构示意图；

图2为本发明实施例提供的基于虚拟机的应用数据提供系统的结构示意图；

图3为本发明实施例提供的一种基于虚拟机的应用数据提供方法流程图；

图4为本发明实施例提供的基于虚拟机的应用数据的另一提供过程。

具体实施方式

本发明为了保证虚拟机在向客户端提供应用数据的过程中，不受其操作系统是否启动成功的影响，即使虚拟机的操作系统没有成功启动，只要其虚拟显卡和虚拟声卡启动成功后，即可向客户端提供其当前运行的应用程序的视频信息和音频信息，从而有效的提高用户的体验度，并且还可以使虚拟机快速的从故障中恢复。

下面结合说明书附图，对本发明进行详细说明。

图1为本发明实施例提供的基于虚拟机的应用数据提供装置的结构示意图，该装置包括：至少一台虚拟机11（例如图中的虚拟机1、虚拟机2、……、虚拟机N）、采集模块12、编码模块13和发送模块14。

每台虚拟机11，用于在其虚拟声卡和虚拟显卡启动成功时，将其当前运行的应用程序的视频信息发送给其虚拟显卡，并将该应用程序的音频信息发送给其虚拟声卡；

采集模块12，用于在检测到虚拟机11的虚拟显卡和虚拟声卡启动成功时，获取其虚拟显卡中的视频信息及虚拟声卡中的音频信息，并将获取到的视频信息及音频信息发送给编码模块13；

编码模块13，用于对接收到的视频信息及音频信息进行编码，并将编码后的视频信息和音频信息发送给发送模块14。

发送模块14，用于根据保存的虚拟机及客户端之间的对应关系，将接收到的相应虚拟机的编码后的视频信息和音频信息发送给对应的客户端。

在本发明中为了保证发送模块能将编码后的视频信息和音频信息发送到对应的客户端，在该发送模块中保存有虚拟机与客户端之间的对应关系，该对应关系可以为事先配置在发送模块中的，当构建了虚拟机后，可以根据保存的客户端的IP地址，或者称为能够向其提供服务的客户端的IP地址，构建虚拟机与客户端的对应关系，并将该对应关系保存到发送模块中；或者，该装置在接收到客户端的使用请求后，根据该使用请求构建虚拟机，建立该虚拟机与该客户端的对应关系，并将建立的该对应关系发送到发送模块，以便发送模块能够将编码后的视频信息和音频信息发送到对应的客户端。

具体的，在本发明中该装置位于服务器中。

在本发明中该采集模块位于服务器中，独立于虚拟机，当服务器启动成功后，会根据客户端的使用请求构建相应的虚拟机，通过构建的虚拟机向用户提供应用数据。虚拟机中所有的资源都是服务器使用CPU或者其他器件进行软件模拟形成的。构建了虚拟机后，虚拟机的操作系统开始启动，在虚拟机操作系统启动的过程中，采集模块不断的检测该虚拟机的虚拟声卡和虚拟显卡是否启动成功，当检测到该虚拟机的虚拟声卡和虚拟显卡启动成功时，获取其启动过程中应用程序的音频信息和视频信息，并提供给客户端。

由于在本发明中服务器独立于每台虚拟机之外安装采集模块，在虚拟机启动的同时该采集模块即可与其通信，获取其操作系统启动过程中的音频和视频信息。

在该系统中还包括管理后台10，用于接收客户端的使用请求，根据该请求为所述客户端分配虚拟机11，并保存该虚拟机与所述客户端的对应关系，并将所述对应关系发送给发送模块14。

管理后台负责控制并调度各个虚拟机、编码模块、发送模块与客户端之间的通信。图1中管理后台与各虚拟机、编码模块和发送接口之间都存在连接关系，为了简便图中未全部示出。服务器启动后，在管理后台的控制下创建独立于虚拟机的采集模块；并且管理后台可以根据客户端的使用请求在服务器的操作系统上创建虚拟机，并记录该客户端及被分配的虚拟机的对应关系。该管理后台通过与虚拟机、编码模块、采集模块和发送模块之间的通信，控制采集模块采集的虚拟机的视音频信息发送给相应的客户端。

另外，在本发明中无论虚拟机的操作系统是否启动成功，只要其相应的应用程序启动成功后，客户端即可使用其相应应用程序。具体的，管理后台接收客户端发送的对相应应用程序的操作请求，并根据保存的虚拟机与客户端的对应关系，将该操作请求发送给对应的虚拟机。

其中，该操作请求包括通过鼠标、键盘、遥控器等触发相应的按键，发送的操作请求。

虚拟机接收管理后台发送的操作请求，根据该操作请求进行相应控制，将控制后的生成的视频信息发送给自身的虚拟显卡，并将控制后生成的音频信息发送给自身的虚拟声卡。

采集模块获取该虚拟机的虚拟显卡中的视频信息及虚拟声卡中的音频信息，并将获取的视频信息及音频信息发送给编码模块。

编码模块对接收到的视频信息和音频信息进行编码，并将编码后的视频信息和音频信息发送给发送模块。

发送模块根据保存的虚拟机及客户端的对应关系，将编码后的视频信息和音频信息发送给对应的客户端。

无论虚拟机的操作系统是否启动成功，只要其虚拟声卡和虚拟显卡启动成功后，即可将虚拟机当前的界面显示的视频信息，及当前播放的音频信息发送到客户端，以便用户获知当前虚拟机的状态，而且用户也可以及时的获取到虚拟机的操作系统已经成功启动的信息，从而可以使用户及时的对应用程序进行操作。

当虚拟机的操作系统启动后，用户通过客户端向服务器发送操作请求，其中该操作请求包括：启动具体应用程序的操作请求、对启动的应用程序进行控制的操作请求等。当服务器的管理后台接收到该操作请求后，对该操作请求进行解析，并将解析后的操作请求发送给对应的虚拟机进行控制，生成了控制后的音频信息和视频信息，之后编码发送。

图2为本发明实施例提供的基于虚拟机的应用数据提供系统的结构示意图，该系统包括：上述应用数据提供装置21及客户端22（客户端1、客户端2、……、客户端N）。

该装置21在检测到虚拟机的虚拟显卡和虚拟声卡启动成功时，获取虚拟显卡中的视频信息及虚拟声卡中的音频信息，并对该视频信息及音频信息进行编码，根据保存的虚拟机与客户端的对应关系，将编码后的视频信息和音频信息发送给对应的客户端22。

该客户端22接收该装置21发送的编码后的视频信息及音频信息，并对该视频信息及音频信息解码，将解码后的视频信息及音频信息提供给用户。

具体的该装置为服务器。该服务器根据每个客户端的请求为其分配相应的虚拟机，例如在图2中该服务器为客户端1分配虚拟机1，为客户端2分配虚拟机2、为客户端N分配虚拟机N等，并保存该虚拟机及客户端的对应关系，以便后续的应用数据发送。

在该系统中，无论服务器中虚拟机的操作系统是否启动成功，只要其虚拟显卡和虚拟声卡已经启动成功，即可使客户端获取虚拟机当前界面显示的视频信息以及播放的音频信息。另外，虚拟机的操作系统启动成功后，客户端可以对虚拟机中相应的应用程序进行操作。

该操作过程具体包括：客户端向服务器发送对某一应用程序的操作请求，服务器接收到该操作请求后，对该操作请求进行解析，并根据保存的虚拟机与客户端的对应关系，将解析后的操作请求发送给对应的虚拟机进行相应控制，获取控制后的生成的音频信息和视频信息，根据保存的虚拟机及客户端之间的对应关系，将编码后的音频信息和视频信息发送给对应的客户端。

由于在本发明中服务器独立于每台虚拟机之外安装采集模块，在虚拟机启动的同时该采集模块即可与其通信，获取其操作系统启动过程中的音频和视频信息。无论虚拟机的操作系统是否启动成功，只要其虚拟声卡和虚拟显卡启动成功后，即可将虚拟机当前的界面显示的视频信息，及当前播放的音频信息发送到客户端，以便用户获知当前虚拟机的状态，而且用户也可以及时的获取到虚拟机的操作系统已经成功启动的信息，从而可以使用户及时的对应用程序进行操作。

图3为本发明实施例提供的一种基于虚拟机的应用数据提供方法流程图，该过程包括以下步骤：

S301：检测到虚拟机的虚拟显卡和虚拟声卡启动成功时，获取该虚拟机虚拟显卡中的视频信息及虚拟声卡中的音频信息。

具体的，在本发明中当用户通过客户端，使用位于网络侧的服务器中的应用程序时，可以向服务器发送使用请求。当服务器接收到该使用请求后，为该客户端分配相应的虚拟机并启动。

在虚拟机的操作系统启动的过程中，无论其操作系统是否能够启动成功，只要独立于虚拟机的采集模块检测到其虚拟声卡和虚拟显卡启动成功后，即可获取该虚拟机的虚拟声卡和虚拟显卡中的音频信息和视频信息，此时该虚拟声卡和虚拟显卡中的视频信息为该虚拟机处于实模式（实模式为虚拟机启动过程中其CPU启动时的模式）时，其播放的音频信息及当前桌面实际显示的视频信息。

S302：对获取的所述视频信息和音频信息进行编码。

当获取了虚拟机的视频信息和音频信息后，对该视频信息和音频信息进行编码，在进行编码时，为了保证客户端能够正常的解码，可以根据客户端的解码能力，采用相应的编码方式对视频信息和音频信息进行编码。该客户端的解码能力可以携带在使用请求中发送给服务器，或者，服务器按照客户端的最低解码能力进行编码。

其中，在进行编码时，可以将视频信息和音频信息编码为H.264格式，或者活动图像专家组（Moving Picture Experts Group，MPEG）格式。

S303：根据保存的虚拟机及客户端之间的对应关系，将编码后的视频信息和音频信息发送给对应的客户端。

由于服务器同时为多个客户端提供服务，在进行数据发送时，需要确定将该编码后的视频信息和音频信息发送给哪个客户端，具体的在本发明中，在服务器的发送模块中保存有虚拟机及客户端的对应关系，具体的可以保存虚拟机的标识信息与客户端的IP地址之间的对应关系，根据保存的该对应关系，将编码后的虚拟机的视频信息和音频信息发送给对应的客户端。

在本发明中由于该管理后台与每台虚拟机、采集模块、编码模块和发送模块之间都有连接，并且可以对虚拟机、采集模块、编码模块和发送模块之间的通信进行控制。当虚拟机的虚拟显卡和虚拟声卡启动成功后，虚拟机当前桌面显示的视频信息发送到虚拟显卡，当前的语音信息发送到虚拟声卡，并生成通知信息，通知采集模块和管理后台；采集模块根据该通知信息，检测到该虚拟机的虚拟声卡和虚拟显卡已经启动成功，获取该虚拟机的视频信息和音频信息，并将获取的该信息发送到编码模块编码；编码后该信息发送到发送模块，由管理后台告知该发送模块当前该信息归属的虚拟机的信息，发送模块根据保存的虚拟机及客户端的对应关系，向对应的客户端送该编码后的信息。

另外，由于该采集模块会按照设定的时间间隔从虚拟声卡中获取相应的音频信息，因此当该采集模块获取都虚拟声卡中的音频信息时，确定该虚拟机的虚拟声卡和虚拟显卡已经启动成功。

图4为本发明实施例提供的基于虚拟机的应用数据的另一提供过程，该过程包括以下步骤：

S401：用户通过客户端向服务器发送某一应用程序的使用请求，服务器接收到该使用请求后，通过管理后台构建虚拟机，并将构建的虚拟机分配给该客户端，同时保存该虚拟机的标识信息及该客户端的IP地址的对应关系，并将该对应关系发送到发送模块。

S402：服务器构建该虚拟机后，该虚拟机的操作系统开始启动，在其操作系统还处于实模式中时，其虚拟显卡和虚拟声卡已经启动成功，此时虚拟机将其当前运行状态的视频信息发送到其虚拟显卡，将其音频信息发送到其虚拟声卡。

S403：虚拟机向服务器中的管理后台和采集模块发送其虚拟声卡和虚拟显卡启动成功的通知信息，采集模块根据该通知信息，检测该虚拟机的虚拟声卡和虚拟显卡启动成功，采集模块接收启动后的虚拟显卡发送的视频信息，并按照设定的时间间隔从虚拟声卡中获取相应的音频信息。

S404：采集模块将获取的视频信息和音频信息发送到编码模块，编码模块对该视频信息和音频信息进行编码，并将编码后的视频信息和音频信息发送到发送模块。

S405：管理后台告知该发送模块当前该信息归属的虚拟机的信息，发送模块根据保存的虚拟机及客户端的对应关系，向对应的客户端送该编码后的信息，客户端接收到该编码后的视频信息和音频信息后，对其进行解码并提供给用户。

S406：用户根据当前客户端界面上显示的信息，判断服务器中的虚拟机的操作系统启动成功，并且其应用程序已被调用时，通过客户端向该服务器发送对该应用程序的操作请求。

S407：服务器的管理后台接收到操作请求，并判断已经为该客户端构建了虚拟机时，根据保存的虚拟机及客户端的对应关系，将解析后的该操作请求发送到对应的虚拟机。

S408：虚拟机接收到该操作请求后，根据该操作请求进行相应控制，将控制后的生成的视频信息发送给自身的虚拟显卡，并将控制后生成的音频信息发送给自身的虚拟声卡。

S409：虚拟机向采集模块和管理后台发送通知信息，采集模块根据该通知信息按照设定的时间间隔从虚拟声卡中获取相应的音频信息，并接收虚拟显卡发送的视频信息。

S410：采集模块将获取的视频信息和音频信息发送到编码模块，编码模块对该视频信息和音频信息进行编码，并将编码后的视频信息和音频信息发送到发送模块。

S411：管理后台告知该发送模块当前该信息归属的虚拟机的信息，发送模块根据保存的虚拟机及客户端的对应关系，向对应的客户端送该编码后的信息，客户端接收到该编码后的视频信息和音频信息后，对其进行解码并提供给用户。

本发明实施例提供一种基于虚拟机的应用数据提供方法、装置及系统，该装置包括：至少一台虚拟机、采集模块、编码模块和发送模块，采集模块检测到虚拟机的虚拟显卡和虚拟声卡启动成功时，获取虚拟显卡中的视频信息及虚拟声卡中的音频信息，之后通过编码模块对该信息进行编码，并通过发送模块根据保存的虚拟机及客户端之间的对应关系，将该编码后的信息发送给对应的客户端。由于在本发明中服务器独立于每台虚拟机之外安装采集模块，无论虚拟机的操作系统是否启动成功，只要其虚拟声卡和虚拟显卡启动成功后，即可将虚拟机当前的界面显示的视频信息，及当前播放的音频信息发送到客户端，以便用户获知当前虚拟机的状态，而且用户也可以及时的获取到虚拟机的操作系统已经成功启动的信息，从而可以使用户及时的对应用程序进行操作。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于虚拟机的应用数据提供装置，其特征在于，所述系统包括至少一台虚拟机、采集模块、编码模块和发送模块；

采集模块，用于在检测到虚拟机的虚拟显卡和虚拟声卡启动成功时，获取虚拟显卡中的视频信息及虚拟声卡中的音频信息，并将获取的视频信息及音频信息发送给编码模块；

编码模块，用于对接收到的视频信息及音频信息进行编码，并将编码后的视频信息和音频信息发送给发送模块；

发送模块，用于根据保存的虚拟机及客户端之间的对应关系，将接收到的相应虚拟机的编码后的视频信息和音频信息发送给对应的客户端；

管理后台，用于接收所述客户端发送的对相应应用程序的操作请求，并根据保存的虚拟机及客户端的对应关系，将该操作请求发送给相应的虚拟机；

所述虚拟机，还用于根据接收到的所述操作请求进行相应控制，将控制后生成的视频信息发送给自身的虚拟显卡，并将控制后生成的音频信息发送给自身的虚拟声卡；

所述采集模块，还用于获取所述虚拟机的虚拟显卡中的视频信息及虚拟声卡中的音频信息，并将获取的视频信息及音频信息发送给编码模块。

2.如权利要求1所述的装置，其特征在于，所述每台虚拟机，用于在其虚拟声卡和虚拟显卡启动成功时，将其当前运行的应用程序的视频信息发送给所述虚拟显卡，并将其音频信息发送给所述虚拟声卡，并向所述采集模块发送其虚拟显卡和虚拟声卡启动成功的通知信息。

3.如权利要求1或2所述的装置，其特征在于，所述采集模块，具体用于接收启动后的虚拟显卡发送的视频信息，并按照设定的时间间隔从虚拟声卡中获取相应的音频信息。

4.一种基于虚拟机的应用数据提供系统，其特征在于，所述系统包括：如权利要求1～3任一所述的装置及接收所述编码后的视、音频信息并解码显示的客户端。

5.一种基于虚拟机的应用数据提供方法，其特征在于，所述方法包括：

检测到虚拟机的虚拟显卡和虚拟声卡启动成功时，获取该虚拟机虚拟显卡中的视频信息及虚拟声卡中的音频信息；

对获取的所述视频信息和音频信息进行编码；

根据保存的虚拟机及客户端之间的对应关系，将编码后的视频信息和音频信息发送给对应的客户端；

接收客户端发送的对相应应用程序的操作请求，根据保存的虚拟机及客户端的对应关系，将该操作请求发送给相应的虚拟机；

从所述虚拟机的虚拟显卡和虚拟声卡中，获取虚拟机根据该操作请求进行相应控制生成的视频信息及音频信息；

对获取的该控制生成的视频信息及音频信息进行编码后，发送给所述客户端。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

接收客户端发送的对虚拟机的使用请求；

根据所述使用请求为所述客户端分配虚拟机，并保存该虚拟机与所述客户端的对应关系。

7.如权利要求5所述的方法，其特征在于，所述获取虚拟机虚拟显卡中的视频信息及虚拟声卡中的音频信息包括：

接收启动后的虚拟显卡发送的视频信息，并按照设定的时间间隔从虚拟声卡中获取相应的音频信息。