CN107547589B - 一种数据采集处理方法以及装置 - Google Patents

Abstract

本发明实施例公开了一种数据采集处理方法以及装置，其中方法包括：被监控设备为预设的采集脚本配置预设的采集规则；采集规则包括目标采集周期和目标存储格式；采集脚本按照目标采集周期采集被监控设备的目标数据，并且采集脚本将目标数据按照目标存储格式存储到预设的代理服务组件的共享内存队列中；代理服务组件按照预设的发送周期将共享内存队列中的目标数据发送至后台服务器，以使后台服务器根据目标数据对被监控设备进行监控；其中，采集脚本和代理服务组件均是预先设置在被监控设备中。采用本发明，可降低对性能指标进行可视化监控的难度，并可以准确、快速地定位出错原因。

Description

一种数据采集处理方法以及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据采集处理方法以及装置。

背景技术

企业云平台中包含大量的物理机、母机、虚拟子机以及网络设备等，为了确保这些设备可以安全、可靠地运行，则需要对这些设备进行监控并及时高效地反馈出运营中出现的问题。其中，性能指标是反映设备安全、可靠运行的唯一标准，且性能指标可以更容易地量化出设备的服务性能，因此，监控性能指标成为确保云平台中设备安全可靠运行的有利方式。

目前的监控性能指标的方式通常为：在各个被监控的设备上部署采集性能指标脚本，通过采集性能指标脚本将所采集到的性能指标发送到中转服务器，再由中转服务器集中上报到后台服务器。由于不同的设备会对应不同版本的采集性能指标脚本，所以后台服务器所收到的性能指标的数据格式会各式各样，导致难以对性能指标进行可视化监控；而且通过中转服务器转发性能指标，会导致因上报链路太长而不便于定位出错原因。

发明内容

本发明实施例提供一种数据采集处理方法以及装置，可降低对性能指标进行可视化监控的难度，并可以准确、快速地定位出错原因。

本发明实施例提供了一种数据采集处理方法，包括：

被监控设备为预设的采集脚本配置预设的采集规则；所述采集规则包括目标采集周期和目标存储格式；

所述采集脚本按照所述目标采集周期采集所述被监控设备的目标数据，并且所述采集脚本将所述目标数据按照所述目标存储格式存储到预设的代理服务组件的共享内存队列中；

所述代理服务组件按照预设的发送周期将所述共享内存队列中的所述目标数据发送至后台服务器，以使所述后台服务器根据所述目标数据对所述被监控设备进行监控；

其中，所述采集脚本和所述代理服务组件均是预先设置在所述被监控设备中。

相应地，本发明实施例还提供了一种数据采集处理装置，应用于被监控设备，包括：

脚本配置模块，用于为预设的采集脚本模块配置预设的采集规则；所述采集规则包括目标采集周期和目标存储格式；

所述采集脚本模块，用于按照所述目标采集周期采集所述被监控设备的目标数据，并将所述目标数据按照所述目标存储格式存储到代理服务模块中的共享内存队列单元；

所述代理服务模块，用于按照预设的发送周期将所述共享内存队列单元中的所述目标数据发送至后台服务器，以使所述后台服务器根据所述目标数据对所述被监控设备进行监控。

本发明实施例通过为预设的采集脚本配置预设的采集规则，可以使得采集脚本始终按照预设的目标存储格式将采集到的目标数据存储到预设的代理服务组件的共享内存队列中，从而保证后台服务器所接收到的目标数据均为统一的目标存储格式，从而可以降低对目标数据(性能指标)进行可视化监控的难度；而且由于共享内存队列可以使代理服务组件和采集脚本之间实现不同进程间的数据传输，所以使代理服务组件能够实现对目标数据进行存储和定时发送，因此，被监控设备无需再将目标数据转发至中转服务器，从而可以缩短上报链路，以便于准确、快速地定位出错原因。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种据采集处理系统的结构示意图；

图2是本发明实施例提供的一种数据采集处理方法的流程示意图；

图3是本发明实施例提供的另一种数据采集处理方法的流程示意图；

图4是本发明实施例提供的一种数据采集处理装置的结构示意图；

图5是本发明实施例提供的一种代理服务模块的结构示意图；

图6是本发明实施例提供的另一种数据采集处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，是本发明实施例提供的一种数据采集处理系统的结构示意图，所述数据采集处理系统可以包括被监控设备100和后台服务器200，所述被监控设备100与所述后台服务器200通过网络连接进行通信(当然在实际应用场景中可以有多个被监控设备100，每个被监控设备100均可以与所述后台服务器200进行网络通信，本实施例以一个被监控设备100为例)；其中，所述被监控设备100可以为企业云中的服务器(具体包括物理机、母机、虚拟子机等设备)。其中，所述后台服务器200(或管理下发服务器)可以通过镜像打包方式或SSH(Secure Shell，安全外壳协议)打包方式将预设的采集脚本、预设的代理服务组件、配置文件以及设备标识信息发送到所述被监控设备100中(当所述被监控设备100为Windows系统时，仅使用所述镜像打包方式；当所述被监控设备100为Linux系统时，所述镜像打包方式或SSH打包方式均可使用)，其中，所述后台服务器200(或管理下发服务器)可以预存有多种采集脚本、多种代理服务组件以及多种配置文件，因此，所述后台服务器200(或管理下发服务器)可以根据所述被监控设备100的设备类型和操作系统类型选择对应的采集脚本、代理服务组件和配置文件进行下发；当然为了所述后台服务200可以更好地对被监控设备100进行监控，本发明实施例也可以将对采集脚本、代理服务组件、配置文件以及设备标识信息的管理和下发操作均放在所述管理下发服务器中执行。其中，所述设备标识信息包括所述后台服务器200的设备标识和所述被监控设备100的设备标识，所述配置文件包括采集规则和发送规则，所述采集规则包括目标采集周期和目标存储格式，所述发送规则包括所述发送周期和所述心跳周期；其中，所述目标存储格式可以为“featured(特征)+时间戳+数据”，例如，目标数据为在t1时刻采集到的内存使用率，则对应的目标存储格式可以为“内存+t1+内存使用率”。所述被监控设备100可以对所接收到的所述采集脚本和所述代理服务组件进行安装，使得所述被监控设备100可以包括所述采集脚本和所述代理服务组件，并且所述被监控设备100还为所述代理服务组件配置所述设备标识信息和所述发送规则，并为所述采集脚本配置所述采集规则。

其中，所述代理服务组件(可以为所述后台服务器200中所预存的任一种代理服务组件)可以包括：共享内存队列、主进程、第一缓存、第二缓存以及收发进程。其中，所述共享内存队列可以为MQ(Message Queue，消息队列)，即所述共享内存队列可以使所述代理服务组件和所述采集脚本之间实现不同进程间的数据传输，其具体的实现方式可以为：所述采集脚本通过识别出所述共享内存队列以将所采集到的目标数据存储到所述共享内存队列中，使得所述代理服务组件可以读取所述共享内存队列中的所述目标数据，即实现了所述采集脚本可以传输数据到所述代理服务组件。其中，所述第一缓存用于存储待发送的所述目标数据，所述第二缓存用于存储所述后台服务器200所反馈的数据。

所述数据采集处理系统可以具体应用到通过采集目标数据以对设备进行监控的场景，如通过采集设备的性能指标数据以对设备的运行状态进行监控，又如通过采集设备的业务数据以对设备的业务能力进行监控。以采集设备的性能指标数据为例，当所述被监控设备100启动所述代理服务组件和所述采集脚本后，所述代理服务组件可以根据所述后台服务器200的设备标识与所述后台服务器200建立socket(套接字)通信长连接，并且所述代理服务组件可以控制所述收发进程按照预设的心跳周期上报心跳数据包到所述后台服务器200，使得所述后台服务器200根据所述心跳数据包确定长连接状态，并在所述心跳周期内未接收到所述心跳数据包时与所述代理服务组件重新建立长连接；与此同时，所述采集脚本将按照所述目标采集周期采集所述被监控设备100的性能指标数据，所述采集脚本可以根据预设的共享内存队列标识信息识别所述代理服务组件中的所述共享内存队列，并将所述性能指标数据按照所述目标存储格式存储到所识别出的所述共享内存队列中；所述代理服务组件可以控制所述主进程按照预设的发送周期将所述共享内存队列中的所述性能指标数据转移至所述第一缓存中，并且所述代理服务组件控制所述收发进程将所述第一缓存中的所述性能指标数据与所述被监控设备100的设备标识绑定后一并发送至所述后台服务器200，以使所述后台服务器200可以根据所述被监控设备100的设备标识确定所述性能指标数据所对应的所述被监控设备100；当所述代理服务组件的所述收发进程接收到所述后台服务器200反馈的确认数据包时，所述代理服务组件可以控制所述收发进程将所述确认数据包存储到所述第二缓存，并且所述代理服务组件继续控制所述主进程读取所述第二缓存中的所述确认数据包，并控制所述主进程生成与所述确认数据包对应的采集日志，并将所述采集日志存储在所述被监控设备100的本地存储区。其中，所述性能指标数据可以包括所述被监控设备100的CPU(Central Processing Unit，中央处理器)利用率、CPU平均负载、内存使用量、内存使用率、出/入宽带、出包量、入包量、磁盘读/写利用率中的至少一种。

本发明实施例通过为预设的采集脚本配置预设的采集规则，可以使得采集脚本始终按照预设的目标存储格式将采集到的目标数据存储到预设的代理服务组件的共享内存队列中，从而保证后台服务器所接收到的目标数据均为统一的目标存储格式，从而可以降低对目标数据(性能指标)进行可视化监控的难度；而且由于共享内存队列可以使代理服务组件和采集脚本之间实现不同进程间的数据传输，所以使代理服务组件能够实现对目标数据进行存储和定时发送，因此，被监控设备无需再将目标数据转发至中转服务器，从而可以缩短上报链路，以便于准确、快速地定位出错原因。而且代理服务组件通过多个进程实现对目标数据的存储和定时上报，且通过不同的缓存分别用于存储待发送的数据和存储接收到的数据，使得代理服务组件具有多路复用的功能，也提高了代理服务组件对目标数据的上报效率。而且由于采集脚本和代理服务组件都是由后台服务器或管理下发服务器统一下发的，所以能够更好的对各个被监控设备上的采集脚本和代理服务组件进行统一管理和更新；而且也更易于扩展，如当需要被监控设备采集其他类型的数据时，后台服务器或管理下发服务器只需将用于采集其他类型的数据的采集脚本下发至对应的被监控设备，就能够使被监控设备采集其他类型的数据。

请参见图2，是本发明实施例提供的一种数据采集处理方法的流程示意图，所述方法可以包括：

S201，被监控设备为预设的采集脚本配置预设的采集规则；所述采集规则包括目标采集周期和目标存储格式；

具体的，所述被监控设备可以为企业云中的服务器(具体包括物理机、母机、虚拟子机等设备)。所述采集脚本和所述采集规则可以是后台服务器或管理下发服务器预先统一发送至所述被监控设备的，所述被监控设备可以安装所述采集脚本，并为所述采集脚本配置所述采集规则。例如，所述采集规则中的所述目标采集周期可以为1分钟，所述目标存储格式可以为“featured+时间戳+数据”。

S202，所述采集脚本按照所述目标采集周期采集所述被监控设备的目标数据，并且所述采集脚本将所述目标数据按照所述目标存储格式存储到预设的代理服务组件的共享内存队列中；

具体的，所述代理服务组件也是由所述后台服务器或管理下发服务器预先发送至所述被监控设备，所述被监控设备可以安装所述代理服务组件。所述采集脚本可以按照所述目标采集周期采集所述被监控设备的目标数据，如所述采集脚本可以每分钟采集一次所述目标数据，所述目标数据可以为性能指标数据或业务数据。其中，所述性能指标数据可以包括所述被监控设备的CPU利用率、CPU平均负载、内存使用量、内存使用率、出/入宽带、出包量、入包量、磁盘读/写利用率中的至少一种。

所述采集脚本采集到所述目标数据后，可以进一步将所述目标数据按照所述目标存储格式存储到预设的代理服务组件的共享内存队列中。其中，所述目标存储格式可以为“featured+时间戳+数据”，例如，目标数据为在t1时刻采集到的内存使用率，则对应的目标存储格式可以为“内存+t1+内存使用率”。其中，所述共享内存队列可以为MQ，即所述共享内存队列可以使所述代理服务组件和所述采集脚本之间实现不同进程间的数据传输，其具体的实现方式可以为：所述采集脚本根据共享内存队列标识信息识别出所述共享内存队列，以将所采集到的目标数据存储到所述共享内存队列中，从而实现了所述采集脚本可以传输数据到所述代理服务组件。

S203，所述代理服务组件按照预设的发送周期将所述共享内存队列中的所述目标数据发送至后台服务器，以使所述后台服务器根据所述目标数据对所述被监控设备进行监控；

具体的，所述代理服务组件还包括主进程、用于发送的缓存以及收发进程。所述代理服务组件可以控制所述主进程按照预设的发送周期将所述共享内存队列中的所述目标数据转移至所述用于发送的缓存中，并且所述代理服务组件控制所述收发进程将所述用于发送的缓存中的所述目标数据发送至所述后台服务器，以使所述后台服务器根据所述目标数据对所述被监控设备进行监控。以性能指标数据为例，所述后台服务器可以根据所上报性能指标数据的变化情况分析所述被监控设备的运行状态是否正常，且所述后台服务器若在所述发送周期内仍未接收到所述被监控设备上报的性能指标数据，则所述后台服务器可以快速地找到所述被监控设备，进而可以快速、准确的定位出所述被监控设备的问题所在。

本发明实施例通过为预设的采集脚本配置预设的采集规则，可以使得采集脚本始终按照预设的目标存储格式将采集到的目标数据存储到预设的代理服务组件的共享内存队列中，从而保证后台服务器所接收到的目标数据均为统一的目标存储格式，从而可以降低对目标数据(性能指标)进行可视化监控的难度；而且由于共享内存队列可以使代理服务组件和采集脚本之间实现不同进程间的数据传输，所以使代理服务组件能够实现对目标数据进行存储和定时发送，因此，被监控设备无需再将目标数据转发至中转服务器，从而可以缩短上报链路，以便于准确、快速地定位出错原因。

再请参见图3，是本发明实施例提供的另一种数据采集处理方法的流程示意图，所述方法可以包括：

S301，接收所述后台服务器或管理下发服务器基于镜像打包方式或安全外壳协议SSH打包方式发送的采集脚本、代理服务组件、配置文件以及设备标识信息；

具体的，被监控设备可以接收所述后台服务器或管理下发服务器基于镜像打包方式或SSH打包方式发送的采集脚本、代理服务组件、配置文件以及设备标识信息。其中，所述被监控设备可以为企业云中的服务器(具体包括物理机、母机、虚拟子机等设备)。当所述被监控设备为Windows系统时，所述后台服务器或所述管理下发服务仅使用所述镜像打包方式进行发送；当所述被监控设备为Linux系统时，所述后台服务器或所述管理下发服务可以使用所述镜像打包方式或SSH打包方式进行发送。其中，所述后台服务器(或管理下发服务器)可以预存有多种采集脚本、多种代理服务组件以及多种配置文件，因此，所述后台服务器(或管理下发服务器)可以根据所述被监控设备的设备类型和操作系统类型选择对应的采集脚本、代理服务组件和配置文件进行下发；当然为了所述后台服务可以更好地对被监控设备进行监控，本发明实施例也可以将对采集脚本、代理服务组件、配置文件以及设备标识信息的管理和下发操作均放在所述管理下发服务器中执行。其中，所述设备标识信息包括所述后台服务器的设备标识和所述被监控设备的设备标识，所述配置文件包括采集规则和发送规则，所述采集规则包括目标采集周期和目标存储格式，所述发送规则包括所述发送周期和所述心跳周期；其中，所述目标存储格式可以为“featured(特征)+时间戳+数据”，例如，目标数据为在t1时刻采集到的内存使用率，则对应的目标存储格式可以为“内存+t1+内存使用率”。其中，所述后台服务器的设备标识可以包括所述后台服务器的IP(InternetProtocol，网络协议)地址和所述后台服务器的UUID(Universally Unique Identifier，通用唯一识别码)标识；所述被监控设备的设备标识可以包括所述被监控设备的IP地址和所述被监控设备的UUID标识。

S302，安装所述采集脚本和所述代理服务组件，并为所述代理服务组件配置所述设备标识信息和所述发送规则，为采集脚本配置预设的采集规则；

具体的，所述被监控设备可以安装所述采集脚本和所述代理服务组件，并为所述代理服务组件配置所述设备标识信息和所述发送规则，并为所述采集脚本配置预设的采集规则。在配置完成后，所述被监控设备即可启动所述采集脚本和所述代理服务组件。其中，所述代理服务组件可以包括：共享内存队列、主进程、第一缓存、第二缓存以及收发进程。其中，所述共享内存队列可以为MQ，即所述共享内存队列可以使所述代理服务组件和所述采集脚本之间实现不同进程间的数据传输。其中，所述第一缓存用于存储待发送的数据，所述第二缓存用于存储所述后台服务器所反馈的数据。

S303，所述代理服务组件与所述后台服务器建立长连接；

具体的，所述被监控设备在启动所述代理服务组件后，所述代理服务组件即可根据所述后台服务器的设备标识与所述后台服务器建立socket通信长连接。

S304，所述代理服务组件控制所述收发进程按照预设的心跳周期上报心跳数据包到所述后台服务器；

具体的，所述代理服务组件可以控制所述收发进程按照预设的心跳周期上报心跳数据包到所述后台服务器，如每分钟上报一次心跳数据包，使得所述后台服务器根据所述心跳数据包确定长连接状态，并在所述心跳周期内未接收到所述心跳数据包时与所述代理服务组件重新建立长连接或向管理员发出预警。

S305，所述采集脚本按照所述目标采集周期采集所述被监控设备的目标数据，并且所述采集脚本将所述目标数据按照所述目标存储格式存储到预设的代理服务组件的共享内存队列中；

具体的，在所述被监控设备启动所述采集脚本后，所述采集脚本可以按照所述目标采集周期采集所述被监控设备的目标数据，如所述采集脚本可以每分钟采集一次所述目标数据，所述目标数据可以为性能指标数据或业务数据。其中，所述性能指标数据可以包括所述被监控设备的CPU利用率、CPU平均负载、内存使用量、内存使用率、出/入宽带、出包量、入包量、磁盘读/写利用率中的至少一种。

所述采集脚本采集到所述目标数据后，可以进一步将所述目标数据按照所述目标存储格式存储到预设的代理服务组件的共享内存队列中。其中，所述目标存储格式可以为“featured+时间戳+数据”，例如，目标数据为在t1时刻采集到的内存使用率，则对应的目标存储格式可以为“内存+t1+内存使用率”。其中，所述共享内存队列可以为MQ，即所述共享内存队列可以使所述代理服务组件和所述采集脚本之间实现不同进程间的数据传输，其具体的实现方式可以为：所述采集脚本根据共享内存队列标识信息识别出所述共享内存队列，以将所采集到的目标数据存储到所述共享内存队列中，从而实现了所述采集脚本可以传输数据到所述代理服务组件。

S306，所述代理服务组件控制所述主进程按照预设的发送周期将所述共享内存队列中的所述目标数据转移至所述第一缓存中，并且所述代理服务组件控制所述收发进程将所述第一缓存中的所述目标数据发送至后台服务器；

具体的，所述代理服务组件控制所述主进程按照预设的发送周期将所述共享内存队列中的所述目标数据转移至所述第一缓存中，并且所述代理服务组件控制所述收发进程将所述第一缓存中的所述目标数据与所述被监控设备的设备标识绑定后一并发送至所述后台服务器，以使所述后台服务器可以根据所述被监控设备的设备标识确定所述目标数据所对应的所述被监控设备，即当所述被监控设备出现异常时，所述后台服务器可以根据与所述目标数据绑定的所述被监控设备的设备标识快速找到对应的所述被监控设备。以性能指标数据为例，所述后台服务器可以根据所上报性能指标数据的变化情况分析所述被监控设备的运行状态是否正常，且所述后台服务器若在所述发送周期内仍未接收到所述被监控设备上报的性能指标数据，则所述后台服务器可以快速地找到所述被监控设备，进而可以快速、准确的定位出所述被监控设备的问题所在。

S307，当所述代理服务组件的所述收发进程接收到所述后台服务器反馈的确认数据包时，所述代理服务组件控制所述收发进程将所述确认数据包存储到所述第二缓存；

S308，所述代理服务组件控制所述主进程读取所述第二缓存中的所述确认数据包，并控制所述主进程生成与所述确认数据包对应的采集日志，并将所述采集日志存储在所述被监控设备的本地存储区；

其中，所述代理服务组件通过多个进程实现对目标数据的存储和定时上报，且通过所述第一缓存和所述第二缓存分别用于存储待发送的数据和存储接收到的数据，使得代理服务组件具有多路复用的功能，也提高了代理服务组件对目标数据的上报效率。

本发明实施例通过为预设的采集脚本配置预设的采集规则，可以使得采集脚本始终按照预设的目标存储格式将采集到的目标数据存储到预设的代理服务组件的共享内存队列中，从而保证后台服务器所接收到的目标数据均为统一的目标存储格式，从而可以降低对目标数据(性能指标)进行可视化监控的难度；而且由于共享内存队列可以使代理服务组件和采集脚本之间实现不同进程间的数据传输，所以使代理服务组件能够实现对目标数据进行存储和定时发送，因此，被监控设备无需再将目标数据转发至中转服务器，从而可以缩短上报链路，以便于准确、快速地定位出错原因。而且代理服务组件通过多个进程实现对目标数据的存储和定时上报，且通过不同的缓存分别用于存储待发送的数据和存储接收到的数据，使得代理服务组件具有多路复用的功能，也提高了代理服务组件对目标数据的上报效率。而且由于采集脚本和代理服务组件都是由后台服务器或管理下发服务器统一下发的，所以能够更好的对各个被监控设备上的采集脚本和代理服务组件进行统一管理和更新；而且也更易于扩展，如当需要被监控设备采集其他类型的数据时，后台服务器或管理下发服务器只需将用于采集其他类型的数据的采集脚本下发至对应的被监控设备，就能够使被监控设备采集其他类型的数据。

请参见图4，是本发明实施例提供的一种数据采集处理装置的结构示意图。所述数据采集处理装置1可以应用于被监控设备，所述数据采集处理装置1可以包括：接收模块40、安装配置模块50、脚本配置模块10、采集脚本模块20、代理服务模块30；

所述接收模块40，用于接收所述后台服务器或管理下发服务器基于镜像打包方式或SSH打包方式发送的采集脚本、代理服务组件、配置文件以及设备标识信息；所述配置文件包括所述采集规则和发送规则，所述发送规则包括所述发送周期和所述心跳周期；

具体的，所述接收模块40可以接收所述后台服务器或管理下发服务器基于镜像打包方式或SSH打包方式发送的采集脚本、代理服务组件、配置文件以及设备标识信息。其中，所述被监控设备可以为企业云中的服务器(具体包括物理机、母机、虚拟子机等设备)。当所述被监控设备为Windows系统时，所述后台服务器或所述管理下发服务仅使用所述镜像打包方式进行发送；当所述被监控设备为Linux系统时，所述后台服务器或所述管理下发服务可以使用所述镜像打包方式或SSH打包方式进行发送。其中，所述后台服务器(或管理下发服务器)可以预存有多种采集脚本、多种代理服务组件以及多种配置文件，因此，所述后台服务器(或管理下发服务器)可以根据所述被监控设备的设备类型和操作系统类型选择对应的采集脚本、代理服务组件和配置文件进行下发；当然为了所述后台服务可以更好地对被监控设备进行监控，本发明实施例也可以将对采集脚本、代理服务组件、配置文件以及设备标识信息的管理和下发操作均放在所述管理下发服务器中执行。其中，所述设备标识信息包括所述后台服务器的设备标识和所述被监控设备的设备标识，所述配置文件包括采集规则和发送规则，所述采集规则包括目标采集周期和目标存储格式，所述发送规则包括所述发送周期和所述心跳周期；其中，所述目标存储格式可以为“featured(特征)+时间戳+数据”，例如，目标数据为在t1时刻采集到的内存使用率，则对应的目标存储格式可以为“内存+t1+内存使用率”。其中，所述后台服务器的设备标识可以包括所述后台服务器的IP地址和所述后台服务器的UUID标识；所述被监控设备的设备标识可以包括所述被监控设备的IP地址和所述被监控设备的UUID标识。

所述安装配置模块50，用于安装所述采集脚本，以生成所述采集脚本模块20，并安装所述代理服务组件，以生成所述代理服务模块30，并为所述代理服务模块30配置所述设备标识信息和所述发送规则；

具体的，所述安装配置模块50可以安装所述采集脚本，以生成所述采集脚本模块20；所述安装配置模块50还可以安装所述代理服务组件，以生成所述代理服务模块30。所述安装配置模块50还可以为所述代理服务模块30配置所述设备标识信息和所述发送规则。

进一步的，请一并参见图5，是本发明实施例提供的一种代理服务模块30的结构示意图。如图5所示，所述代理服务模块30可以包括共享内存队列单元301、主进程单元302、第一缓存单元303、第二缓存单元305、收发进程单元304；下面将对所述共享内存队列单元301、所述主进程单元302、所述第一缓存单元303、所述第二缓存单元305、所述收发进程单元304的具体实现方式进行详细描述。

所述脚本配置模块10，用于为预设的采集脚本模块20配置预设的采集规则；所述采集规则包括目标采集周期和目标存储格式；

具体的，所述安装配置模块50在为所述代理服务模块30配置所述设备标识信息和所述发送规则的同时，所述脚本配置模块10可以为所述采集脚本模块20配置预设的采集规则。例如，所述采集规则中的所述目标采集周期可以为1分钟，所述目标存储格式可以为“featured+时间戳+数据”。

优选地，对所述采集脚本模块20和所述代理服务模块30配置完成后，可以启动所述采集脚本模块20和所述代理服务模块30，此时，所述代理服务模块30可以根据所述后台服务器的设备标识与所述后台服务器建立socket通信长连接，所述代理服务模块30中的所述收发进程单元304可以按照预设的心跳周期上报心跳数据包到所述后台服务器，如每分钟上报一次心跳数据包，使得所述后台服务器根据所述心跳数据包确定长连接状态，并在所述心跳周期内未接收到所述心跳数据包时与所述代理服务模块30重新建立长连接或向管理员发出预警。

所述采集脚本模块20，用于按照所述目标采集周期采集所述被监控设备的目标数据，并将所述目标数据按照所述目标存储格式存储到代理服务模块30中的共享内存队列单元301；

具体的，在启动所述采集脚本模块20后，所述采集脚本模块20可以按照所述目标采集周期采集所述被监控设备的目标数据，如所述采集脚本模块20可以每分钟采集一次所述目标数据，所述目标数据可以为性能指标数据或业务数据。其中，所述性能指标数据可以包括所述被监控设备的CPU利用率、CPU平均负载、内存使用量、内存使用率、出/入宽带、出包量、入包量、磁盘读/写利用率中的至少一种。

所述采集脚本模块20采集到所述目标数据后，可以进一步将所述目标数据按照所述目标存储格式存储到预设的代理服务模块30的共享内存队列单元301中。其中，所述目标存储格式可以为“featured+时间戳+数据”，例如，目标数据为在t1时刻采集到的内存使用率，则对应的目标存储格式可以为“内存+t1+内存使用率”。其中，所述共享内存队列单元301可以包含共享内存队列，该共享内存队列可以为MQ，即所述共享内存队列单元301可以使所述代理服务模块30和所述采集脚本模块20之间实现不同进程间的数据传输，其具体的实现方式可以为：所述采集脚本模块20根据共享内存队列单元301标识信息识别出所述共享内存队列单元301，以将所采集到的目标数据存储到所述共享内存队列单元301中，从而实现了所述采集脚本模块20可以传输数据到所述代理服务模块30。所述共享内存队列单元301具体用于存储所述目标数据

所述代理服务模块30，用于按照预设的发送周期将所述共享内存队列单元301中的所述目标数据发送至后台服务器，以使所述后台服务器根据所述目标数据对所述被监控设备进行监控；

具体的，所述代理服务模块30中的所述主进程单元302可以按照预设的发送周期将所述共享内存队列单元301中的所述目标数据转移至所述第一缓存单元303中(即所述第一缓存单元303用于缓存待发送的所述目标数据)，并且所述代理服务模块30中的所述收发进程单元304可以将所述第一缓存单元303中的所述目标数据与所述被监控设备的设备标识绑定后一并发送至所述后台服务器，以使所述后台服务器可以根据所述被监控设备的设备标识确定所述目标数据所对应的所述被监控设备，即当所述被监控设备出现异常时，所述后台服务器可以根据与所述目标数据绑定的所述被监控设备的设备标识快速找到对应的所述被监控设备。以性能指标数据为例，所述后台服务器可以根据所上报性能指标数据的变化情况分析所述被监控设备的运行状态是否正常，且所述后台服务器若在所述发送周期内仍未接收到所述被监控设备上报的性能指标数据，则所述后台服务器可以快速地找到所述被监控设备，进而可以快速、准确的定位出所述被监控设备的问题所在。

可选的，当所述代理服务模块30的所述收发进程单元304接收到所述后台服务器反馈的确认数据包时，所述收发进程单元304可以将所述确认数据包存储到所述第二缓存单元305(即所述第二缓存单元305用于缓存所述确认数据包)；同时，所述代理服务模块30中的所述主进程单元302可以读取所述第二缓存单元305中的所述确认数据包，并且所述主进程单元302可以生成与所述确认数据包对应的采集日志，并将所述采集日志存储在所述被监控设备的本地存储区。

其中，所述代理服务模块30通过多个进程单元实现对目标数据的存储和定时上报，且通过所述第一缓存单元303和所述第二缓存单元305分别用于存储待发送的数据和存储接收到的数据，使得代理服务模块30具有多路复用的功能，也提高了代理服务模块30对目标数据的上报效率。

本发明实施例通过为预设的采集脚本模块20配置预设的采集规则，可以使得采集脚本模块20始终按照预设的目标存储格式将采集到的目标数据存储到预设的代理服务模块30的共享内存队列单元301中，从而保证后台服务器所接收到的目标数据均为统一的目标存储格式，从而可以降低对目标数据(性能指标)进行可视化监控的难度；而且由于共享内存队列单元301可以使代理服务模块30和采集脚本模块20之间实现不同进程单元间的数据传输，所以使代理服务模块30能够实现对目标数据进行存储和定时发送，因此，被监控设备无需再将目标数据转发至中转服务器，从而可以缩短上报链路，以便于准确、快速地定位出错原因。而且代理服务模块30通过多个进程单元实现对目标数据的存储和定时上报，且通过不同的缓存单元分别用于存储待发送的数据和存储接收到的数据，使得代理服务模块30具有多路复用的功能，也提高了代理服务模块30对目标数据的上报效率。而且由于采集脚本和代理服务组件都是由后台服务器或管理下发服务器统一下发的，所以能够更好的对各个被监控设备上的采集脚本模块20和代理服务模块30进行统一管理和更新；而且也更易于扩展，如当需要被监控设备采集其他类型的数据时，后台服务器或管理下发服务器只需将用于采集其他类型的数据的采集脚本下发至对应的被监控设备，就能够使被监控设备采集其他类型的数据。

请参见图6，是本发明实施例提供的另一种数据采集处理装置的结构示意图。如图6所示，所述数据采集处理装置可以应用于被监控设备，所述数据采集处理装置1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在图6所示的数据采集处理装置1000中，网络接口1004主要用于连接后台服务器；而用户接口1003主要用于为用户提供输入的接口，获取用户输出的数据；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，并具体执行以下步骤：

为预设的采集脚本配置预设的采集规则；所述采集规则包括目标采集周期和目标存储格式；

控制所述采集脚本按照所述目标采集周期采集所述被监控设备的目标数据，并且所述采集脚本将所述目标数据按照所述目标存储格式存储到预设的代理服务组件的共享内存队列中；

控制所述代理服务组件按照预设的发送周期将所述共享内存队列中的所述目标数据发送至后台服务器，以使所述后台服务器根据所述目标数据对所述被监控设备进行监控；

其中，所述采集脚本和所述代理服务组件均是预先设置在所述被监控设备中。

在一个实施例中，所述处理器1001在执行控制所述采集脚本将所述目标数据按照所述目标存储格式存储到预设的代理服务组件的共享内存队列中时，具体执行以下步骤：

控制所述采集脚本根据预设的共享内存队列标识信息识别所述代理服务组件中的共享内存队列，并将所述目标数据按照所述目标存储格式存储到所识别出的所述共享内存队列中。

在一个实施例中，所述代理服务组件包括所述共享内存队列、主进程、第一缓存以及收发进程；

则所述处理器1001在执行控制所述代理服务组件按照预设的发送周期将所述共享内存队列中的所述目标数据发送至后台服务器时，具体执行以下步骤：

控制所述主进程按照预设的发送周期将所述共享内存队列中的所述目标数据转移至所述第一缓存中，并控制所述收发进程将所述第一缓存中的所述目标数据发送至后台服务器。

在一个实施例中，所述代理服务组件还包括第二缓存；

则所述处理器1001在执行控制所述代理服务组件按照预设的发送周期将所述共享内存队列中的所述目标数据发送至后台服务器之后，还执行以下步骤：

当所述代理服务组件的所述收发进程接收到所述后台服务器反馈的确认数据包时，控制所述收发进程将所述确认数据包存储到所述第二缓存；

控制所述主进程读取所述第二缓存中的所述确认数据包，并控制所述主进程生成与所述确认数据包对应的采集日志，并将所述采集日志存储在所述被监控设备的本地存储区。

在一个实施例中，所述处理器1001还执行以下步骤：

控制所述代理服务组件与所述后台服务器建立长连接；

控制所述代理服务组件中的所述收发进程按照预设的心跳周期上报心跳数据包到所述后台服务器，以使所述后台服务器根据所述心跳数据包确定长连接状态，并在所述心跳周期内未接收到所述心跳数据包时与所述代理服务组件重新建立长连接。

在一个实施例中，所述处理器1001在执行为预设的采集脚本配置预设的采集规则之前，还执行以下步骤：

接收所述后台服务器或管理下发服务器基于镜像打包方式或安全外壳协议SSH打包方式发送的采集脚本、代理服务组件、配置文件以及设备标识信息；所述配置文件包括所述采集规则和发送规则，所述发送规则包括所述发送周期和所述心跳周期；

安装所述采集脚本和所述代理服务组件，并为所述代理服务组件配置所述设备标识信息和所述发送规则；所述设备标识信息包括所述后台服务器的设备标识和所述被监控设备的设备标识；

则所述处理器1001在执行控制所述代理服务组件与所述后台服务器建立长连接时，具体执行以下步骤：

控制所述代理服务组件根据所述后台服务器的设备标识与所述后台服务器建立长连接；

则所述处理器1001在执行控制所述收发进程将所述第一缓存中的所述目标数据发送至后台服务器时，具体执行以下步骤：

控制所述收发进程将所述第一缓存中的所述目标数据与所述被监控设备的设备标识绑定后一并发送至所述后台服务器，以使所述后台服务器根据所述被监控设备的设备标识确定所述目标数据所对应的所述被监控设备。

本发明实施例通过为预设的采集脚本配置预设的采集规则，可以使得采集脚本始终按照预设的目标存储格式将采集到的目标数据存储到预设的代理服务组件的共享内存队列中，从而保证后台服务器所接收到的目标数据均为统一的目标存储格式，从而可以降低对目标数据(性能指标)进行可视化监控的难度；而且由于共享内存队列可以使代理服务组件和采集脚本之间实现不同进程间的数据传输，所以使代理服务组件能够实现对目标数据进行存储和定时发送，因此，被监控设备无需再将目标数据转发至中转服务器，从而可以缩短上报链路，以便于准确、快速地定位出错原因。而且代理服务组件通过多个进程实现对目标数据的存储和定时上报，且通过不同的缓存分别用于存储待发送的数据和存储接收到的数据，使得代理服务组件具有多路复用的功能，也提高了代理服务组件对目标数据的上报效率。而且由于采集脚本和代理服务组件都是由后台服务器或管理下发服务器统一下发的，所以能够更好的对各个被监控设备上的采集脚本和代理服务组件进行统一管理和更新；而且也更易于扩展，如当需要被监控设备采集其他类型的数据时，后台服务器或管理下发服务器只需将用于采集其他类型的数据的采集脚本下发至对应的被监控设备，就能够使被监控设备采集其他类型的数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种数据采集处理方法，其特征在于，包括：

被监控设备为预设的采集脚本配置预设的采集规则；所述采集规则包括目标采集周期和目标存储格式；

所述采集脚本按照所述目标采集周期采集所述被监控设备的目标数据，并且所述采集脚本根据预设的共享内存队列标识信息识别代理服务组件中的共享内存队列，并将所述目标数据按照所述目标存储格式存储到所识别出的所述共享内存队列中，所述代理服务组件包括所述共享内存队列、主进程、第一缓存以及收发进程；

所述代理服务组件控制所述主进程按照预设的发送周期将所述共享内存队列中的所述目标数据转移至所述第一缓存中，并且所述代理服务组件控制所述收发进程将所述第一缓存中的所述目标数据发送至后台服务器，以使所述后台服务器根据所述目标数据对所述被监控设备进行监控；

其中，所述采集脚本和所述代理服务组件均是预先根据被监控设备的设备类型和操作系统类型进行选择并设置在所述被监控设备中。

2.如权利要求1所述的方法，其特征在于，所述代理服务组件还包括第二缓存；

则所述代理服务组件按照预设的发送周期将所述共享内存队列中的所述目标数据发送至后台服务器的步骤之后，还包括：

当所述代理服务组件的所述收发进程接收到所述后台服务器反馈的确认数据包时，所述代理服务组件控制所述收发进程将所述确认数据包存储到所述第二缓存；

所述代理服务组件控制所述主进程读取所述第二缓存中的所述确认数据包，并控制所述主进程生成与所述确认数据包对应的采集日志，并将所述采集日志存储在所述被监控设备的本地存储区。

3.如权利要求1所述的方法，其特征在于，还包括：

所述代理服务组件与所述后台服务器建立长连接；

所述代理服务组件控制所述收发进程按照预设的心跳周期上报心跳数据包到所述后台服务器，以使所述后台服务器根据所述心跳数据包确定长连接状态，并在所述心跳周期内未接收到所述心跳数据包时与所述代理服务组件重新建立长连接。

4.如权利要求3所述的方法，其特征在于，在所述被监控设备为预设的采集脚本配置预设的采集规则的步骤之前，还包括：

接收所述后台服务器或管理下发服务器基于镜像打包方式或安全外壳协议SSH打包方式发送的采集脚本、代理服务组件、配置文件以及设备标识信息；所述配置文件包括所述采集规则和发送规则，所述发送规则包括所述发送周期和所述心跳周期；

安装所述采集脚本和所述代理服务组件，并为所述代理服务组件配置所述设备标识信息和所述发送规则；所述设备标识信息包括所述后台服务器的设备标识和所述被监控设备的设备标识；

则所述代理服务组件与所述后台服务器建立长连接，具体包括：

所述代理服务组件根据所述后台服务器的设备标识与所述后台服务器建立长连接；

则所述代理服务组件控制所述收发进程将所述第一缓存中的所述目标数据发送至后台服务器，具体包括：

所述代理服务组件控制所述收发进程将所述第一缓存中的所述目标数据与所述被监控设备的设备标识绑定后一并发送至所述后台服务器，以使所述后台服务器根据所述被监控设备的设备标识确定所述目标数据所对应的所述被监控设备。

5.一种数据采集处理装置，应用于被监控设备，其特征在于，包括：

脚本配置模块，用于为预设的采集脚本模块配置预设的采集规则；所述采集规则包括目标采集周期和目标存储格式；

所述采集脚本模块，用于按照所述目标采集周期采集所述被监控设备的目标数据，并根据预设的共享内存队列标识信息识别所述共享内存队列单元，并将所述目标数据按照所述目标存储格式存储到所识别出的所述共享内存队列单元中；

代理服务模块，用于按照预设的发送周期将所述共享内存队列单元中的所述目标数据发送至后台服务器，以使所述后台服务器根据所述目标数据对所述被监控设备进行监控；

其中，所述采集脚本和所述代理服务组件均是预先根据被监控设备的设备类型和操作系统类型进行选择并设置在所述被监控设备中；

其中，所述代理服务模块包括：

所述共享内存队列单元，用于存储所述目标数据；

主进程单元，用于按照预设的发送周期将所述共享内存队列单元中的所述目标数据转移至第一缓存单元；

所述第一缓存单元，用于缓存待发送的所述目标数据；

收发进程单元，用于将所述第一缓存单元中的所述目标数据发送至后台服务器。

6.如权利要求5所述的装置，其特征在于，所述代理服务模块还包括：

所述收发进程单元，还用于当接收到所述后台服务器反馈的确认数据包时，将所述确认数据包存储到第二缓存单元；

所述第二缓存单元，用于缓存所述确认数据包；

所述主进程单元，还用于读取所述第二缓存单元中的所述确认数据包，并生成与所述确认数据包对应的采集日志，并将所述采集日志存储在所述被监控设备的本地存储区。

7.如权利要求5所述的装置，其特征在于，

所述主进程单元，还用于与所述后台服务器建立长连接；

所述收发进程单元，还用于按照预设的心跳周期上报心跳数据包到所述后台服务器，以使所述后台服务器根据所述心跳数据包确定长连接状态，并在所述心跳周期内未接收到所述心跳数据包时与所述主进程单元重新建立长连接。

8.如权利要求7所述的装置，其特征在于，还包括：

接收模块，用于接收所述后台服务器或管理下发服务器基于镜像打包方式或SSH打包方式发送的采集脚本、代理服务组件、配置文件以及设备标识信息；所述配置文件包括所述采集规则和发送规则，所述发送规则包括所述发送周期和所述心跳周期；

安装配置模块，用于安装所述采集脚本，以生成所述采集脚本模块，并安装所述代理服务组件，以生成所述代理服务模块，并为所述代理服务模块配置所述设备标识信息和所述发送规则；所述设备标识信息包括所述后台服务器的设备标识和所述被监控设备的设备标识；

则所述主进程单元用于与所述后台服务器建立长连接时，具体用于：

根据所述后台服务器的设备标识与所述后台服务器建立长连接；

则所述收发进程单元用于将所述第一缓存单元中的所述目标数据发送至后台服务器时，具体用于：

将所述第一缓存单元中的所述目标数据与所述被监控设备的设备标识绑定后一并发送至所述后台服务器，以使所述后台服务器根据所述被监控设备的设备标识确定所述目标数据所对应的所述被监控设备。

9.一种计算机设备，其特征在于，包括处理器、存储器、用户接口；

所述处理器分别与所述存储器和输入输出接口相连，其中，所述用户接口用于提供输入的接口，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-4任一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-4任一项所述的方法。

Images