CN110659270A - 一种数据处理及传输方法和装置 - Google Patents

Abstract

本发明公开了一种数据处理及传输方法和装置。其中方法包括：实时采集实时源数据及定时采集非实时源数据；对所述实时源数据进行实时计算生成实时数据，对所述非实时源数据进行离线计算生成非实时数据；将所述实时数据及所述非实时数据通过双向长连接推送给客户端。本发明能够及时获取实时源数据，在对实时源数据进行实时计算和备份后能够实时同步实时数据并下发至有效客户端；本发明通过将从公网上获取的非实时源数据进行加工计算后，将非实时数据定时写入数据库中，在非实时数据准备好后，增量变化数据实时同步至有效客户端，能最大可能的提高数据服务的时效性，由于采用增量数据，能减少数据传输量，减缓由于大数据量而造成的系统拥堵。

Description

一种数据处理及传输方法和装置

技术领域

本发明涉及计算机技术领域，特别涉及一种数据处理及传输方法和装置。

背景技术

目前应用市场上对数据的需求与日俱增，为了保证数据服务时效性质量，客户端通常需要从第三方数据库中调用数据。现有的第三方数据库与客户端的数据调用，均是采用定时轮徇第三方数据库的方式进行，但是采用此种调用方式，容易导致数据获取不及时，如果传输的数据量过大，也容易造成数据传输拥堵。并且，现有的第三方数据库缺少数据的异常处理机制，一旦计算发生故障，将导致数据库瘫痪，影响使用。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据处理及传输方法和装置。所述技术方案如下：

一方面，提供了一种数据处理及传输方法，所述方法包括：

实时采集实时源数据及定时采集非实时源数据；

对所述实时源数据进行实时计算生成实时数据，对所述非实时源数据进行离线计算生成非实时数据；

将所述实时数据及所述非实时数据通过双向长连接推送给客户端。

进一步地，所述对所述实时源数据进行实时计算生成实时数据，包括：

分布式离线备份所述实时源数据；

分布式实时计算所述实时源数据，生成所述实时数据；

分布式离线备份所述实时数据。

进一步地，在所述离线备份所述实时源数据后，所述实时数据的获得还包括：

离线计算所述实时源数据，生成离线计算结果；

当所述实时计算异常时，将所述离线计算结果代替所述实时数据实时推送至所述客户端。

进一步地，所述非实时源数据进行离线计算生成非实时数据，包括：

离线备份所述非实时源数据；

离线计算所述非实时源数据，生成所述非实时数据；

离线备份并存储所述非实时数据。

进一步地，所述将所述实时数据及所述非实时数据通过双向长连接推送给客户端，包括：

接收所述客户端发送的鉴权请求；

审核所述鉴权请求，若所述鉴权请求通过审核，则将所述实时数据及所述非实时数据通过双向长连接推送给所述客户端。

进一步地，离线备份所述实时源数据和所述实时数据包括：

将所述实时源数据和所述实时数据分别写入第一数据表和第二数据表中保留至预设期限。

进一步地，所述离线备份所述非实时源数据和所述非实时数据包括：

将所述非实时源数据和所述非实时数据分别写入第三数据表和第四数据表中。

另一方面，提供了一种数据处理及传输装置，所述装置包括：

数据采集模块，用于实时采集实时源数据及定时采集非实时源数据；

实时数据获取模块，用于对实时源数据进行实时计算生成实时数据；

非实时数据获取模块，用于对非实时源数据进行离线计算生成非实时数据；

通信模块，用于将所述实时数据及所述非实时数据通过双向长连接推送给客户端。

进一步地，所述实时数据获取模块，包括：

实时计算模块，用于实时计算所述实时源数据，生成所述实时数据；

第一备份模块，用于离线备份所述实时源数据和所述实时数据；

所述装置还包括：分布式消息系统，用于分布式传递所述实时源数据和所述实时数据。

进一步地，所述实时数据计算模块，还包括：

源数据计算模块，用于将实时源数据进行离线计算，生成离线计算结果，代替实时数据。

进一步地，所述非实时数据获取模块，包括：

离线计算模块，用于离线计算所述非实时源数据，生成所述非实时数据；

第二备份模块，用于离线备份所述非实时源数据和所述非实时数据；

数据库，用于存储所述非实时数据。

进一步地，所述通信模块，用于接收所述客户端发出的鉴权请求；以及审核所述鉴权请求，若所述鉴权请求通过审核，则将所述实时数据及所述非实时数据通过双向长连接实时推送给所述客户端。

进一步地，所述第一备份模块，包括：

第一数据表存储模块，用于将所述实时源数据写入第一数据表中，保留至预设期限；

第二数据表存储模块，用于将所述实时数据写入第二数据表中，保留至预设期限。

进一步地，所述第二备份模块，包括：

第三数据表存储模块，用于将所述非实时源数据写入第三数据表中；

第四数据表存储模块，用于将所述非实时数据写入第四数据表中。

本发明实施例提供的技术方案带来的有益效果是：

1、本发明实施例能够及时获取实时源数据，在对实时源数据进行实时计算和备份后能够实时同步实时数据至客户端，避免现有技术中客户端定时轮徇数据库造成的实时数据更新不及时的情况；

2、本发明实施例通过将从公网上定时获取的非实时源数据进行加工计算后，将非实时数据写入数据库中，非实时数据准备好后，增量变化数据实时同步至注册有效客户端，能够避免非实时数据传递量大，造成系统拥堵；

3、本发明实施例设有实时源数据计算异常时的应机机制，采用备份的实时源数据进行离线计算，将离线计算结果代替实时计算出的实时数据传输至服务器中，保证系统的正常运行。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据处理及传输方法流程图；

图2是本发明实施例提供的一种数据处理及传输装置功能模块示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了弥补现有第三方数据库数据提供不及时、容易出现拥堵故障的缺陷，本发明实施例公开一种数据处理及传输方法及装置。

如图1所示，一种数据处理及传输方法，包括：

实时采集实时源数据及定时采集非实时源数据；

对所述实时源数据进行实时计算生成实时数据，对所述非实时源数据进行离线计算生成非实时数据；

将所述实时数据及所述非实时数据通过双向长连接实时推送给客户端。

需要说明的是，上述方法中，实时采集实时源数据包括：利用爬虫技术从公网上采集的实时变化的数据信息，为了保证采集数据源的稳定可靠，本发明实施例采用多源采集方式，在不同的数据源上采集数据，相互验证以保证数据的准确性和真实性。定时采集非实时源数据包括：在预设时间采用多源数据采集方式，从公网中利用爬虫技术爬取非实时源数据，爬虫采集完的多份源数据，存入爬虫系统的MySQL数据库中。基于上述实时源数据和非实时源数据的获取的区别，用户提出订阅请求后，客户端便会和服务端建立长连接，实时准备好的实时数据便实时推送至客户端，定时准备非实时数据在准备好后也会立刻推送至客户端。实时源数据是指公网上的实时信息，对实时源数据进行实时计算可以包括：对公网上的实时源数据进行整合，结合预设的计算分析方法形成基于实时源数据的数据信息即为实时数据。例如，在金融领域，对基金的实时估值业务，实时源数据可以包括不同来源的股票的实时行情数据，对实时源数据的实时计算可以是对实时行情数据进行多源整合(去重、清洗、整理)，结合估值因子，通过特定公式实时计算出的当时的基金的估值。非实时源数据是指公网上的非实时信息，对非实时源数据的离线计算可以包括：对非实时源数据进行离线整合(去重、清洗、整理)，结合预设的计算分析方法形成基于非实时源数据的数据信息即为非实时数据。例如，同样在金融领域，对基金数据库的建设，非实时信息可以是多源的不会实时改变的信息，如基金公告信息、基金基本资料、费率、基金关联关系、净值、基金财务报表、基金经理信息、基金公司信息、基金托管人信息等。对上述非实时源数据的离线计算主要是在上述非实时源数据的基础上对基金进行分析和评价，形成的非实时数据可以包括：基金诊断、基金的多因子分析、基金组合的绩效计算、基金风险模型等策略型指标。

上述方法中对所述实时源数据进行实时计算生成实时数据包括：

分布式离线备份所述实时源数据；

分布式实时计算所述实时源数据，生成所述实时数据；

分布式离线备份所述实时数据。

上述实时数据的获取方法中，分布式实时计算实时源数据包括：将实时源数据写入分布式消息系统中，然后按照消息队列依次离线备份和实时计算实时源数据。在分布式消息系统可以是任何分布式消息系统，例如：Kafka。将实时源数据输入分布式消息系统中，能够分布式发送实时源数据保证后续步骤有序进行。输入到分布式消息系统的实时源数据有两个消费方向，一是用于备份，一是用于实时计算。实时计算包括：对实时源数据进行清洗、整理、实时加工计算等实时计算过程。同样分布式离线备份实时数据包括：实时计算后生成实时数据，再将实时数据输入到分布式消息系统，输入到分布式消息系统中的实时数据有两个消费方向，一是用于备份，一是直接借助通信模块同步至注册有效客户端。进一步地，若系统还存在内网用户，则实时数据还实时同步至内网消费方。

上述方法中，离线备份实时源数据和离线备份实时数据均利用的是数据表存储，具体为Hive表存储。实时源数据的离线备份包括：采用分布式日志收集系统，例如：Flume，同步分布式消息系统中的实时源数据，然后以Hive表的形式存储实时源数据，形成第一数据表，保留预定的天数。实时数据的离线备份与实施源数据相同：同样采用分布式日志收集系统同步分布式消息系统中的实时数据，然后以Hive表的形式存储实时数据，形成第二数据表，保留预定的天数。

为了解决实时计算出现异常导致无法正常提供实时数据的问题，本发明实施例利用离线备份的实时源数据进行离线计算，生成离线计算结果，离线计算的结果可以代替实时数据同步至客户端。

对所述非实时源数据进行离线计算生成非实时数据包括：

离线备份所述非实时源数据离线计算所述非实时源数据，生成所述非实时数据；

离线备份并存储所述非实时数据。

其中，离线计算非实时源数据包括对非实时源数据的清洗、整理、离线加工计算等离线计算过程。存储非实时数据包括：将非实时数据定时输入到数据库中，优选地，在将非实时数据存储到数据库后还包括将非实时数据存储至缓存系统中，通过缓存系统向客户端下发非实时数据。这里缓存系统可以为：Redis缓存系统。需要说明的是，本发明实施例中缓存模块的作用是避免重复从数据库中加载数据，减少不必要的数据库开销，提高数据响应效率，仅当缓存失效时，从数据库中装载相关数据，装载完数据后，发送广播信号给通讯模块，在通讯模块的协助下，下发相关数据至注册有效客户端中。

上述方法中，离线备份非实时源数据和非实时数据的过程包括：

将所述非实时源数据和所述非实时数据分别写入第三数据表和第四数据表中。

具体地，将非实时源数据写入第三数据表中包括：通过ETL技术将MySQL数据导入到Hive表中，形成第三数据表，在离线计算后，在将离线计算结果导入到Hive表中存储，形成第四数据表。

需要说明的是，上述方法中，当客户端发送订阅请求，成功接收该订阅请求后，与客户端建立双向长链接。具体地，客户端与服务器之间是基于WebSocket的双向长链接的方式与服务器建立双向长链接。服务端采用token颁发、白名单等方式，对客户端的接入请求做安全的保证。

另一方面，本发明实施例基于上述数据处理及传输方法公开一种数据处理及传输装置，包括：数据采集模块、实时数据获取模块、非实时数据获取模块和通信模块、分布式消息系统。

数据采集模块，用于实时采集实时源数据及定时采集非实时源数据。

实时数据获取模块，用于对实时源数据进行实时计算生成实时数据，包括：实时计算模块、源数据计算模块、第一备份模块。

实时计算模块，用于实时计算所述实时源数据，生成所述实时数据。

源数据计算模块，用于将实时源数据进行离线计算，生成离线计算结果，代替实时数据。

第一备份模块，用于离线备份所述实时源数据和所述实时数据。第一备份模块包括：第一数据表存储模块，用于将所述实时源数据写入第一数据表中，保留至预设期限；第二数据表存储模块，用于将所述实时数据写入第二数据表中，保留至预设期限。

分布式消息系统，用于分布式传递所述实时源数据和所述实时数据和相关信号。

非实时数据获取模块，用于根据非实时源数据离线计算获得非实时数据，包括：离线计算模块、第二备份模块、缓存模块、数据库。

离线计算模块，用于离线计算所述非实时源数据，生成所述非实时数据。

第二备份模块，用于离线备份所述非实时源数据和非实时数据。离线计算模块包括：第三数据表模块，用于将所述非实时源数据写入第三数据表中；第四数据表模块，用于将所述非实时数据写入第四数据表中。

缓存模块，用于缓存所述非实时数据。

数据库，用于存储非实时数据。

通信模块，用于接收客户端发送的鉴权请求并审核所述鉴权请求，若鉴权请求通过，则将所述实时数据及所述非实时数据通过双向长连接实时推送给客户端。

需要说明的是，上述系统中，与客户端建立双向长链接，向所述客户端实时推送所述实时数据和非实时数据，客户端对访问需要进行登录注册，获取通证，每次获取数据均需要实现通过通证鉴权。

本发明实施例公开的数据处理及传输装置各模块的数据和信号传输如图2所示。图中实线箭头表示数据传递，虚线箭头表示信号传递。上述装置中的第一备份模块、第二备份模块、源数据计算模块以及离线计算模块均在离线计算平台中运行。各模块的运行过程如下：数据采集模块分别从公网上实时采集实时源数据和定时非实时源数据。实时源数据分别进入第一备份模块和分布式消息系统中，进入至分布式消息系统中的实时源数据分布式地传输至实时计算模块生成实时数据，实时数据同样分别进入第一备份模块和分布式消息系统中，分布式消息系统中的实时数据通过通讯模块，下发至注册有效客户端。若实时计算模块运行异常，则将第一备份模块中的实时源数据发送至源数据计算模块进行离线计算，生成离线计算结果作为实时数据利用分布式消息系统通过通信模块同步至客户端中，作为补偿手段。非实时源数据在第二备份模块备份后，通过离线计算模块的计算生成非实时数据，非实时数据同样通过第二备份模块备份，并发往数据库存储，分布式消息系统调用数据库中的非实时数据，将非实时数据发往缓存模块作为缓冲，最后缓存模块中的非实时数据通过通信模块推送至客户端。

本发明实施例提供的技术方案带来的有益效果是：

1、本发明实施例能够及时获取实时源数据，在对实时源数据进行实时计算和备份后能够实时同步实时数据至服务器并实时下发至客户端，避免现有技术中客户端定时轮徇服务器及数据库造成的实时数据更新不及时的情况；

2、本发明实施例通过将从公网上定时获取的非实时源数据进行加工计算后，将非实时数据缓存写入数据库中，在非实时数据准备好后，将增量变化数据实时同步至客户端，能够避免非实时数据传递量大，造成系统拥堵；

3、本发明实施例设有实时源数据计算异常时的应机机制，采用备份的实时源数据进行离线计算，将离线计算结果代替实时计算出的实时数据传输至服务器中，保证系统的正常运行。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理及传输方法，其特征在于，包括：

实时采集实时源数据及定时采集非实时源数据；

对所述实时源数据进行实时计算生成实时数据，对所述非实时源数据进行离线计算生成非实时数据；

将所述实时数据及所述非实时数据通过双向长连接推送给客户端。

2.如权利要求1所述的一种数据处理及传输方法，其特征在于，所述对所述实时源数据进行实时计算生成实时数据，包括：

分布式离线备份所述实时源数据；

分布式实时计算所述实时源数据，生成所述实时数据；

分布式离线备份所述实时数据。

3.如权利要求2所述的一种数据处理及传输方法，其特征在于，在所述离线备份所述实时源数据后，所述生成实时数据还包括：

离线计算所述实时源数据，生成离线计算结果；

当所述实时计算异常时，将所述离线计算结果代替所述实时数据实时推送至所述客户端。

4.如权利要求1所述的一种数据处理及传输方法，其特征在于，所述对所述非实时源数据进行离线计算生成非实时数据，包括：

离线备份所述非实时源数据；

离线计算所述非实时源数据，生成所述非实时数据；

离线备份并存储所述非实时数据。

5.如权利要求1所述的一种数据处理及传输方法，其特征在于，所述将所述实时数据及所述非实时数据通过双向长连接实时推送给客户端，包括：

接收所述客户端发送的鉴权请求；

审核所述鉴权请求，若所述鉴权请求通过审核，则将所述实时数据及所述非实时数据通过双向长连接推送给所述客户端。

6.如权利要求2所述的一种数据处理及传输方法，其特征在于，离线备份所述实时源数据和所述实时数据包括：

将所述实时源数据和所述实时数据分别写入第一数据表和第二数据表中保留至预设期限。

7.如权利要求4所述的一种数据处理及传输方法，其特征在于，所述离线备份所述非实时源数据和所述非实时数据包括：

将所述非实时源数据和所述非实时数据分别写入第三数据表和第四数据表中。

8.基于权利要求1～7中任意一项所述方法建立的一种数据处理及传输装置，其特征在于，包括：

数据采集模块，用于实时采集实时源数据及定时采集非实时源数据；

实时数据获取模块，用于对实时源数据进行实时计算生成实时数据；

非实时数据获取模块，用于对非实时源数据进行离线计算生成非实时数据；

通信模块，用于将所述实时数据及所述非实时数据通过双向长连接推送给客户端。

9.如权利要求8所述的一种数据处理及传输装置，其特征在于，所述实时数据获取模块，包括：

实时计算模块，用于实时计算所述实时源数据，生成所述实时数据；

第一备份模块，用于离线备份所述实时源数据和所述实时数据；

所述装置还包括：分布式消息系统，用于分布式处理所述实时源数据和所述实时数据。

10.如权利要求9所述的一种数据处理及传输装置，其特征在于，所述非实时数据获取模块，包括：

离线计算模块，用于离线计算所述非实时源数据，生成所述非实时数据；

第二备份模块，用于离线备份所述非实时源数据和所述非实时数据；

数据库，用于存储所述非实时数据。

Images