CN117675615A - 一种基于预训练的动态网络流量调控方法及其系统 - Google Patents

一种基于预训练的动态网络流量调控方法及其系统 Download PDF

Info

Publication number
CN117675615A
CN117675615A CN202311652833.1A CN202311652833A CN117675615A CN 117675615 A CN117675615 A CN 117675615A CN 202311652833 A CN202311652833 A CN 202311652833A CN 117675615 A CN117675615 A CN 117675615A
Authority
CN
China
Prior art keywords
time
segment
space
node
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311652833.1A
Other languages
English (en)
Other versions
CN117675615B (zh
Inventor
雷凯
何亦凡
李琦
邱炜伟
山金孝
段洪琳
张�雄
袁国辉
陈佩淑
方欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Red Date Technology Co ltd
Zhaoshang Xinzhi Technology Co ltd
Peking University Shenzhen Graduate School
Hangzhou Qulian Technology Co Ltd
Original Assignee
Beijing Red Date Technology Co ltd
Zhaoshang Xinzhi Technology Co ltd
Peking University Shenzhen Graduate School
Hangzhou Qulian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Red Date Technology Co ltd, Zhaoshang Xinzhi Technology Co ltd, Peking University Shenzhen Graduate School, Hangzhou Qulian Technology Co Ltd filed Critical Beijing Red Date Technology Co ltd
Priority to CN202311652833.1A priority Critical patent/CN117675615B/zh
Publication of CN117675615A publication Critical patent/CN117675615A/zh
Application granted granted Critical
Publication of CN117675615B publication Critical patent/CN117675615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于预训练的动态网络流量调控方法及其系统。该方法包括：从网络中获取历史时间序列数据，基于历史时间序列数据得到多个时间序列片段；将时间序列片段输入训练好的预测模型，预测模型用于获取时间序列片段的潜在特征表示；基于时间序列片段和潜在特征表示构建离散依赖图；基于离散依赖图和时间序列片段中的最新时间序列片段构建时空图；基于最新时间序列片段的潜在特征表示和时空图对未来时间序列片段进行预测而得到对应的预测结果；未来时间序列片段位于最新时间序列片段的下一时段。该方法和系统能够实现动态网络流量的长期准确预测。该方法和系统不仅能在传统SDN网络中使用，而且能在新形态的SDN广域区块链网络使用。

Description

一种基于预训练的动态网络流量调控方法及其系统
技术领域
本发明涉及信息技术领域，具体涉及一种基于预训练的动态网络流量调控方法及其系统。
背景技术
伴随着云计算、车联网以及Web3.0区块链分布式网络的飞速发展，新的业务类型和数量急剧增加，对网络指标监控不足所导致的服务质量(QoS)下降、网络稳定性下降等问题时有发生。如何通过合理调度网络流量，避免产生网络拥塞，进而提高网络资源利用率和保障用户体验质量，越来越成为网络领域需要重点研究的问题。流量预测的主要挑战之一是网络流量的长期不可预测性。此外，区块链网络、车联网以及卫星网络带来的空间高动态性增加了网络准确预测和及时抑制阻塞的难度。高动态性是限制一些网络系统性能提升的重要因素，而对于网络动态变化的准确预测能够为网络基础设施的相关决策提供有效支持。软件定义网络(Software Defined Network，SDN)将控制层和数据层分离，控制层可以以全局视角统一调配网络资源，网络管理者可以在控制层制定多种策略来保障网络的稳定高效运行，SDN网络控制器也逐渐向集群化发展，更强大的算力能力从而可支持大模型方式的工作模式，SDN底层数据传输平面也向更广域的网络边界扩展，例如时延敏感网络、区块链互联网web3.0网络等。其作为未来最有发展前景的优化网络资源管理的技术，越来越多地被应用于网络性能高的场景，例如数据中心网络(Data Center Network，DCN)。
另一方面，人工智能技术日新月异，使用深度学习实现网络流量预测是新的研究方向，可以有效地提高网络的性能和可靠性。目前使用深度学习技术的网络流量预测技术主要分为三种：第一种是直接将流量数据当作时间序列数据看待，忽略了流量数据的时空关联性，直接使用时间序列预测的方法来进行预测，其在动态网络环境下的预测精度必然会受影响；第二种方法考虑了流量数据的时空特性，近年来时空图神经网络(STGNN)成为的多变量时序(MTS)预测的流行方法，通过图神经网络和序列模型联合建模MTS的时空模式，显著提高了预测精度。然而，时间序列的表征以及它们之间的空间依赖关系需要基于长期的历史数据进行分析，这对网络的新链路等冷启动问题来说是不现实的；第三种方法进一步考虑到了时空数据的稀缺性，使用了生成对抗模型(GAN)进行了数据生成与预测。与其他生成式模型相比，GAN这种竞争的方式不再要求一个假设的数据分布，而是使用一种分布直接进行采样，从而真正达到理论上可以完全逼近真实数据。然而，对于时空数据这种复杂数据来说，基于简单GAN的这种不需要预先建模的方法就太过于自由不可控了，且模型训练不稳定容易失败。
因此，有必要对现有技术进行改进。
发明内容
本发明主要解决的技术问题是提供一种基于预训练的动态网络流量调控方法及其系统，旨在实现动态网络流量的长期准确预测。
根据第一方面，一种实施例中提供一种基于预训练的动态网络流量调控方法。该方法包括：
从网络中获取历史时间序列数据，对所述历史时间序列数据进行切分而得到多个时间序列片段；
将所述时间序列片段输入训练好的预测模型，
所述预测模型用于：
获取所述时间序列片段的潜在特征表示；
基于所述时间序列片段和所述潜在特征表示构建离散依赖图；
基于所述离散依赖图和所述时间序列片段中的最新时间序列片段构建时空图；
基于所述最新时间序列片段的潜在特征表示和所述时空图对未来时间序列片段进行预测而得到对应的预测结果；其中，所述未来时间序列片段位于所述时间序列片段中的最新时间序列片段的下一时段。
一实施例中，所述基于所述时间序列片段和所述潜在特征表示构建离散依赖图，包括：
基于特征的节点表示的步骤：将每个所述时间序列片段作为所述离散依赖图的一个节点，将与所述时间序列片段对应的潜在特征表示作为与该节点对应的特征向量；
创建一个初始的邻接矩阵；其中，所述邻接矩阵的维度为节点数量乘以节点数量，所述邻接矩阵用于表示各所述节点之间的连接关系，所述节点数量表示所述离散依赖图中所述节点的总数；
自动构建连接关系的步骤：对于每个所述节点，计算得到与该节点最近邻的K个节点，将所述与该节点最近邻的K个节点作为所述离散依赖图中该节点的邻居节点；根据所述离散依赖图中各节点之间相似性确定所述各节点之间的连接权重；对于每个所述节点，根据对应的所述连接权重将该节点和与该节点最近邻的K个节点连接；
重复上述自动构建连接关系的步骤，直到每个所述节点均建立了连接，以得到所述离散依赖图。
一实施例中，所述基于所述离散依赖图和所述时间序列片段中的最新时间序列片段构建时空图，包括：
将所述时间序列片段中的最新时间序列片段作为所述离散依赖图的中心节点；
计算所述中心节点与非最新时间序列段之间的关联度；其中，所述关联度采用对应的相似性度量来进行表征；其中，所述非最新时间序列段为所述时间序列片段中除所述最新时间序列片段之外的时间序列片段；
从所述非最新时间序列片段中选择与该中心节点的关联度最高的预设数量的所述时间序列片段作为该中心节点的邻居节点；
将该中心节点和该中心节点的邻居节点相互连接，以形成所述时空图；其中，所述时空图表示所述中心节点与所述预设数量的所述时间序列片段之间的时空依赖关系。
一实施例中，所述预测模型还用于：根据从所述时空图的邻居节点采集的信息对所述时空图的中心节点的潜在特征表示进行更新；基于所述最新时间序列片段的潜在特征表示和更新后的所述时空图对所述未来时间序列片段进行预测而得到对应的预测结果。
一实施例中，所述根据从所述时空图的邻居节点采集的信息对所述时空图的中心节点的潜在特征表示进行更新，包括：
从所述时空图中的所述邻居节点采集所述邻居节点对应的特征向量；
对从不同的所述邻居节点采集到的所述特征向量进行聚合，以生成所述中心节点的新潜在特征表示；
将所述新潜在特征表示输入非线性激活函数而获得非线性变换后的所述新潜在特征表示；
利用所述非线性变换后的所述新潜在特征表示替代所述中心节点原有的所述潜在特征表示。
一实施例中，上述动态网络流量调控方法还包括：根据所述对应的预测结果对所述网络进行调控；
一实施例中，上述动态网络流量调控方法还包括：还包括：
监测所述预测模型进行所述预测而得到所述对应的预测结果所使用的总时间；其中，若所述总时间大于所述预测模型所能够预测的未来时间步数范围所对应的时间，则立即停止所述预测模型的预测工作；
一实施例中，上述动态网络流量调控方法还包括：还包括：若所述对应的预测结果的精度低于预设精度阈值，则立即停止所述预测模型的预测工作。
根据第二方面，一种实施例中提供一种基于预训练的动态网络流量调控系统。该系统包括：
预测模块，被配置为从网络中获取历史时间序列数据，对所述历史时间序列数据进行切分而得到多个时间序列片段；
将所述时间序列片段输入训练好的预测模型，以通过所述训练好的预测模型对未来时间序列片段进行预测而得到对应的预测结果；
其中，所述未来时间序列片段位于所述时间序列片段中的最新时间序列片段的下一时段；
其中，所述预测模型包括编码器、图结构学习子模块和第二解码器；
所述编码器是从已经预训练好的预训练模型中提取的，
所述编码器用于获取所述时间序列片段的潜在特征表示；
所述图结构学习子模块用于基于所述时间序列片段和所述潜在特征表示构建离散依赖图；
所述第二解码器包括时空图神经网络子模块和回归预测层子模块；
其中，所述时空图神经网络子模块用于基于所述离散依赖图和所述时间序列片段中的最新时间序列片段构建时空图，以及，根据从所述时空图的邻居节点采集的信息对所述时空图的中心节点的潜在特征表示进行更新；
所述回归预测层子模块用于基于所述最新时间序列片段的潜在特征表示和所述更新前的时空图或所述更新后的时空图对未来时间序列片段进行预测。
根据第三方面，一种实施例中提供一种计算机可读存储介质。该计算机可读存储介质包括程序。所述程序能够被处理器执行以实现如本文中任一实施例所述的动态网络流量调控方法。
本申请的有益效果是：
本申请的动态网络流量调控方法及其系统，通过从网络中获取历史时间序列数据，基于历史时间序列数据得到多个时间序列片段；将时间序列片段输入训练好的预测模型，预测模型用于获取时间序列片段的潜在特征表示；基于时间序列片段和潜在特征表示构建离散依赖图；基于离散依赖图和时间序列片段中的最新时间序列片段构建时空图；基于最新时间序列片段的潜在特征表示和时空图对未来时间序列片段进行预测而得到对应的预测结果；其中，未来时间序列片段位于时间序列片段中的最新时间序列片段的下一时段。本申请所提供的动态网络流量调控方法及其系统能够实现动态网络流量的长期准确预测。
附图说明
图1为一种实施例的基于预训练的动态网络流量调控方法的流程示意图；
图2为一种实施例的预训练模型的模块示意图；
图3为一种实施例的构建离散依赖图的流程示意图；
图4为一种实施例的构建时空图的流程示意图；
图5为一种实施例的对中心节点的潜在特征表示进行更新的流程示意图；
图6为一种实施例的预测模型的模块示意图；
图7为另一种实施例的动态网络流量调控方法的流程示意图；
图8为一种实施例的动态网络流量调控系统的模块示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
自然语言处理领域的预训练(Pre-training)加微调(Fine-tuning)训练范式近年来得到了广泛的应用和研究。这种方法可以通过在大规模语料库上进行生成式预训练，然后在特定任务上进行微调，从而有效地提高模型的泛化能力和性能。近年来，这种预训练加微调训练范式也逐渐应用到时序预测领域。时序预测中的数据可以被看作是时间上的序列，类似于文本中的单词序列。因此，可以将自然语言处理领域的预训练加微调训练范式应用到时序预测中，针对特定的时序预测任务，在预训练模型的基础上进行微调，以提高模型的性能和泛化能力。许多语言预训练模型使用了带掩码的自监督训练机制，不仅大大减少了训练的人力成本，还在一定程度上解决了数据的稀缺性。
本申请提出一种基于预训练的动态网络流量调控方法及其系统。该动态网络流量调控方法及其系统结合了时空图神经网络和自监督时序生成模型(即下述的预训练模型)，通过长时间的时序表征学习以及对时空图神经网络的微调训练进而达到精确预测动态网络流量的未来多步的流量信息。其中，本申请通过对过去长时间的网络流量时序数据片段以自监督的方式进行预训练以实现准确的多步时序生成，并在预训练模型的基础上修改进而以更小的训练成本来实现动态网络流量预测的下游任务。
下面将结合实施例对本申请的技术方案进行详细说明。
请参考图1，一种基于预训练的动态网络流量调控方法，包括：
步骤S100：从网络中获取历史时间序列数据，对历史时间序列数据进行切分而得到多个时间序列片段；
步骤S200：将时间序列片段输入训练好的预测模型，所述预测模型用于：
获取所述时间序列片段的潜在特征表示；
基于所述时间序列片段和所述潜在特征表示构建离散依赖图；
基于所述离散依赖图和所述时间序列片段中的最新时间序列片段构建时空图；
基于所述最新时间序列片段的潜在特征表示和所述时空图对未来时间序列片段进行预测而得到对应的预测结果；其中，所述未来时间序列片段位于所述时间序列片段中的最新时间序列片段的下一时段。
其中，构建时空图的一个目的是将历史时间序列数据中的时空依赖关系转换为图形结构。
需要说明的是，从交通、能源到经济，上述历史时间序列数据无处不在。例如，在智慧交通系统中，部署在道路网络上的传感器不断地记录着交通状况。例如，通过每个传感器的车辆总数、车速等。这些海量的数据包含多条时间序列，每一条时间序列都来自一个交通传感器。相似的例子还出现在电力系统、金融系统中，例如多个地区的电力消耗、多条股票曲线的变化等。此外，“从网络中获取历史时间序列数据”的具体过程属于本领域的公知常识，故此处不再进行赘述。
本申请使用了称为STEP(Spatial-Temporal graphneural networks areEnhancedby a Pre-training model)的框架，其中时空图神经网络由可扩展的时间序列预训练模型(即步骤S200中的预训练模型)增强。一些实施例中，请参考图2，预训练模型采用的是TSGPT(TSGPT是一种基于编码器-解码器架构和自注意力机制的生成式预训练模型，借助带掩码的自编码机制实现无人工标注的自监督训练)，其旨在有效地从非常长期的历史时间序列数据中学习时间模式，并生成片段级的表示(即上述潜在特征表示)。这个片段级的包含丰富上下文信息，有利于解决“时空图神经网(STGNN)子模块对窗口之外的上下文信息是没有感知”的这一挑战。此外，这些片段的学习表示能够结合整个长期的历史时间序列数据的信息来计算时间序列片段之间的相关性，从而解决“短期信息对于离散依赖图的建模是不可靠的”这一挑战，即缺少离散依赖图的挑战。其中，离散依赖图由时间序列片段之间的相似性(或相关性)表示。其中，本申请使用了一个高效的、无监督的预训练模型，该预训练模型通过掩码自动编码策略训练。完成训练的预训练模型能够有效地捕获非常长期的历史数据的信息(例如数周或数月的数据)，并生成正确反映时间序列片段中复杂模式的片段级表示。本申请所使用的基于无监督的预训练模型表示的图结构学习子模块，它学习离散依赖图，并利用基于无监督的预训练模型表示计算的kNN作为正则化来指导图结构和时空图神经网(STGNN)子模块的联合训练。
其中，步骤S200中的预测模型的训练流程大致包括：
步骤S1、对历史时间序列数据进行切分、掩码；
步骤S2、构建基于Transformer的编码器；
步骤S3、构建基于Transformer的第一解码器；
步骤S4、进行目标重构；
步骤S5、选取步骤S4中获取的编码器；
步骤S6、构建图结构学习；
步骤S7、构建增强下游时空图神经网络；
步骤S8、训练预测模型以得到上述训练好的预测模型。
一些实施例中，对于上述步骤S1，时间序列片段的训练样本是利用滑动窗口从一条原始的超长时间序列(即上述历史时间序列数据)上获取的。例如，可以通过SDN控制器实时采集网络中各节点过去一段时间(如过去两周)的Th个时间点的流量数据。本领域技术人员可以根据实际需求自行定义并确定上述时间点Th，以确定采集历史数据的时间点。
一些实施例中，在每个时间点Th，SDN子控制器可以采集与网络各节点相关的数据包数据。其中，上述数据包括总长、丢包率、控制器内存负载和时间戳。将上述这些数据记录，以形成一个数据点。将采集到的上述数据点整理成一个序列矩阵Si(即上述历史时间序列数据)。其中，上述历史时间序列数据Si的每一行代表一个时间点Th，其每一列可以分别对应于上述数据包总长度、丢包率、控制器内存负载和时间戳。上述SDN子控制器(即SDN控制器)是软件定义网络(SDN)中的应用程序，负责流量控制以确保智能网络。SDN控制器是基于如OpenFlow等协议的，允许服务器告诉交换机向哪里发送数据包。
一些实施例中，本领域技术人员可以根据实际需求确定用于数据切片的窗口长度L和预测时间步长Tf，其中，Tf和L的选取可以由SDN子控制器进行调度控制。
一些实施例中，可以将输入的上述历史时间序列数据Si切分成多个长度为L的时间序列片段上述时间序列片段用于预测时间步长Tf、滑动窗口的长度同样为L的未来时间序列片段。其中，最新的时间序列片段(即上述最新时间序列片段)作为验证集保留。本领域技术人员可以自行定义最新时间序列片段，例如，上述时间序列片段中位于当前时间点的前一小时的时间序列片段为最新时间序列片段。
一些实施例中，本领域技术人员可以根据实际需求而设置掩码率。例如，掩码率可以设置为75％，即在每个时间序列片段中，约75％的数据将被掩码。只有一部分上述数据将用于预训练模型的第一解码器的生成输出。
一些实施例中，在每个上述时间序列片段中，可以根据上述掩码率，随机选择一部分数据点并设置掩码标记。这些数据点不会被输入到预测模型(如预测模型的第二解码器和图结构学习子模块)中，而是作为自监督任务的目标。
一些实施例中，可以创建一个自监督任务，其中，预训练模型的目标是根据已知的片段来生成掩码部分的数据。
一些实施例中，可以以一个大小为H+L的滑动窗口产生上述时间序列片段。其中，前H长度内的数据用于表示历史数据，后L长度内的数据用于表示未来数据，分别对应着机器学习中模型的输入和待预测的真值(即模型输入前H部分数据，尝试去预测后L部分数据)。时间窗口每滑动一次，就会产生一个时间序列片段。例如数据库中历史时间序列数据的历史长度为H＝P*L，其中，L为待预测长度。即，其中前P*L长度的时间序列片段作为训练样本，最新的L长度的时间序列作为对应的标签。这里P的数值可以由用户自行设定。再例如，可以设定上述历史时间序列数据中第i条时间序列为Si。将输入序列Si分成L个P长度的非重叠片段。其中，第j个时间序列片段可以表示为Sj i。L是输入时空图神经网(STGNN)子模块的时间序列片段的常用长度。以75％的高掩码率r随机掩盖(遮住)部分非重叠片段，然后进行恢复，从而创建一个具有挑战性的自监督任务。
一些实施例中，本申请中预训练模型的编码器包括一个输入嵌入层和多头稀疏自注意力子模块(其包括一系列带有位置编码的Transformer模型)。编码器仅在未被屏蔽的片段上运行。具体地，请参考图2，输入嵌入层子模块是一个线性投影，用于将未被屏蔽的片段(即未掩码片段)转换到隐空间：其中W和b是可学习参数，d是隐空间的维度，为输入的向量(如每个未掩码片段)，是对应的潜在空间表示。之后，位置编码层用于添加顺序信息。例如，位置编码层，可以对每个位置i的位置编码向量进行遍历。对于每个位置i生成一个位置编码向量Upos。位置编码向量通常使用正弦和余弦函数来生成，以捕捉位置信息。具体生成位置编码向量的公式为：其中，k表示位置编码的维度，d表示隐空间的维度，i表示位置索引。之后，可以将上述潜在空间表示和位置编码向量Upos按元素相加，得到一个新的向量。该新的向量用于表示已加入位置信息的特征向量，即，之后，再将已加入位置信息的特征向量Xwith_position输入到由Transformer模型构成的多头稀疏自注意力子模块。其中，多头稀疏自注意力子模块可以包括4层自注意力Transformer模型。最后，通过多头稀疏自注意力子模块对输入的序列进行编码，编码通过训练获得第j个未屏蔽片段(如时间序列片段Sji)的潜在特征表示(即时序表征)其中，上述Transformer模型是一种基于自注意力机制的神经网络模型，用于处理序列数据。
一些实施例中，预训练模型的第一解码器也包括一系列Transformer模型(如图2中掩码的多头自注意力子模块)。第一解码器将上述潜在特征表示重建回较低的语义级别，即数字级别的信息。第一解码器对完整的片段集进行操作，包括掩码片段。其中，不再需要在这里添加位置向量，因为所有片段都已经在编码器中添加了位置信息。第一解码器仅在预训练阶段用于执行序列重建任务(即上述目标重构)。
一些实施例中，第一解码器可以仅使用单层Transformer模型。最后，应用多层感知机(如预训练模型中的回归预测层)进行预测，其输出维度的数量等于每个时间序列片段的长度。具体来说，给定片段j的潜在特征表示第一解码器生成对应的重构序列
一些实施例中，计算原始序列(即上述时间序列片段Sji)和重构序列之间的平均绝对误差(Mean-Absolute-Error)：将上述平均绝对误差作为上述目标重构这一步骤的损失函数。其中，上述n表示数据点的总数，例如用来计算MAE的数据点的数量；表示实际观测到的或真实的目标值(实际值)，即数据中的实际流量数据点；表示第一解码器生成的预测值，即第一解码器对相应数据点的预测值。
预测模块的编码器是已经完成训练的预训练模型中的编码器。预训练模型的编码器可以辅助学习预测模型的时空图神经网(STGNN)子模块需要的图结构。预训练模型的编码器的表征还可以作为超长历史信息加入到时空图神经网(STGNN)子模块中。
需要说明的是，本申请的图结构学习子模块基于时间序列片段(如上述Sji)的潜在特征表示Hj i构建与时间序列片段Sji对应的离散依赖图的具体过程可以参考公开号为CN115688871的中国专利文献“基于预训练增强的多元时间序列预测方法及系统”中[0063]至[0072]段的以下相关内容“图结构学习子模块的目标是学习一个离散的稀疏图。具体地，上述STEP框架期望学到一个伯努利分布参数Θij，然后从中可以采样得到离散依赖图。首先，基于TSFormer的表示引入正则化，为图优化提供监督信息。具体来说，首先将表示为时间序列片段i的特征，其中||表示拼接操作。然后在所有节点之间计算一个kNN图Aa。这里可以通过设置不同的k来控制学习图的稀疏性。受益于TSFormer的能力，Aa以反映节点之间的依赖关系，有助于指导图结构的训练。然后，计算Θij如下：Θij＝FC(relu(FC(Zi||Zj)))；Zi＝relu(FC(Hi))+Gi；其中Θij是非归一化概率。第一个维度表示肯定(即时间序列间存在联系)的概率，第二个维度表示否定的概率。Gi是时间序列片段i的全局特征，由卷积网络得到，其中Strain i整个训练集时间序列，L train是训练数据集的长度。Strain i在训练期间对所有样本都是静态的，有助于使训练过程更加稳健和准确。特征Hi对于不同的训练样本是动态的，以反映依赖图的动态。因此，本发明使用Θ和kNN图Aa之间的交叉熵作为图结构正则化：
其中Θ'ij＝softmax(Θij)是归一化后的概率。离散图结构学习的最后一个问题是从Θ'ij到相邻矩阵A的采样操作不可微。因此，STEP中应用了Gumbel-Softmax重新参数化技巧：Aij＝softmax((Θij+g)/τ)；其中g是从Gumbel(0,1)分布中独立同分布的抽取的数据。τ是softmax的温度参数。当τ→0时，Gumbel-Softmax会收敛到离散状态”。
一些实施例中，可以从前述SDN控制器实时采集的网络各节点过去一段时间(如过去两周)的流量数据中选取最新时间点的流量数据，例如，当前时间点的前一个小时的数据。
需要说明的是，离散依赖图用于捕获时间序列片段中节点之间的空间依赖关系。例如，节点之间的连接关系：离散依赖图中的边表示了不同节点之间是否存在连接或依赖关系(若两个节点之间存在边，那么它们之间可能存在某种关联或相互作用)；再例如，依赖关系的强度：边的权重可以表示节点之间依赖关系的强度或权重(这有助于量化节点之间的相互影响程度)；再例如，网络结构：图的拓扑结构可以提供关于节点之间如何组织和连接的信息(这有助于理解系统的整体结构)；再例如，局部和全局依赖性：通过分析离散依赖图，可以了解哪些节点更容易受到其他节点的影响，以及哪些节点在整个网络中起关键作用；再例如，时间相关性：若时间序列片段中的时间因素也被考虑在内，离散依赖图还可以帮助理解节点之间如何随时间变化而变化，以及是否存在时间相关的依赖关系。
需要说明的是，离散依赖图是一种用于表示节点之间依赖关系的图结构。在该图中，每个节点表示一个时间序列片段的表征，而图中的边表示不同时间序列片段之间的依赖或关联。构建离散依赖图的目的是帮助理解时间序列片段中的节点之间的关系，以便进一步的分析、预测或控制。其中，所有“节点”指的是时序数据中的所有时间序列片段。每个时间序列片段对应于一个节点，其中节点的表征通常是时间序列片段的特征表示。这些节点集合构成了离散依赖图的节点集合。
请参考图3，上述基于时间序列片段Sji和潜在特征表示Hj i构建离散依赖图，包括：
基于特征的节点表示的步骤S21：将每个时间序列片段Sji作为离散依赖图的一个节点，将与时间序列片段Sji对应的潜在特征表示Hj i作为与该节点对应的特征向量；
步骤S22：创建一个初始的邻接矩阵Aa；其中，邻接矩阵Aa的维度为节点数量乘以节点数量，邻接矩阵Aa用于表示各节点之间的连接关系，节点数量表示离散依赖图中节点的总数；
自动构建连接关系的步骤S23：对于每个节点，计算得到与该节点最近邻的K个节点，将与该节点最近邻的K个节点作为离散依赖图中该节点的邻居节点；根据离散依赖图中各节点之间相似性确定各节点之间的连接权重；对于每个节点，根据对应的连接权重将该节点和与该节点最近邻的K个节点连接；
步骤S24：重复上述自动构建连接关系的步骤S23，直到每个节点均建立了连接，以得到离散依赖图。
其中，上述邻接矩阵Aa用于表示节点之间的连接关系。上述邻接矩阵的每个元素Aa[i][j]表示节点i和节点j之间是否存在连接或依赖关系。该邻接矩阵通常是一个二进制矩阵，其中，Aa[i][j]的值可以是0或1，分别表示没有连接或存在连接。
一些实施例中，上述自动构建连接关系的步骤S23中，可以将度量值(即对应的连接权重)填入到邻接矩阵Aa相应的位置，进而通过邻接矩阵Aa反映每个节点之间的依赖关系。例如，对于节点i和节点j，若节点j属于节点i的k个最近邻的节点之一，那么上述邻接矩阵中对应的元素Aa[i][j]＝1；否则，上述邻接矩阵中对应的元素Aa[i][j]＝0。其中，计算得到上述计算得到与该节点最近邻的K个节点的具体过程(如利用上述KNN算法而得到)属于本领域的现有技术，故此处不再对此进行赘述。KNN(k-NearestNeighbor，即k最近邻算法)是一种现有常用的监督学习方法。
一些实施例中，上述自动构建连接关系的步骤S23中，上述“根据离散依赖图中各节点之间相似性”中的“相似性”可以采用余弦相似度来表征。因此，上述对应的连接权重可以由该节点和K个节点中的一个节点之间的余弦相似度来决定。上述连接权重可以采用二值化方法来确定。例如，若上述余弦相似度高于预设阈值，则将对应的连接权重设置为1；否则将对应的连接权重设置为0。其中，本领域技术人员可以根据实际需求而确定上述预设阈值的具体数值，此处不对上述预设阈值进行限制。
可以看出，上述基于特征的节点表示的步骤S21中，每个时间序列片段Sji均被视为离散依赖图中的一个节点，并具有对应的特征向量，进而使得每个节点可以被用来表示对应的时间序列片段的潜在特征表示，从而更好地捕捉时间序列片段的信息；上述自动构建连接关系的步骤S23，通过计算各节点之间的余弦相似度和选择某个节点的最近邻的K个节点的方式来构建离散依赖图，进而达到自动地构建各节点之间的连接关系而无需人工手动地去定义，从而提高了数据的表征质量；空间依赖关系的捕捉：由于各节点之间的连接关系是通过各节点之间的余弦相似度来确定的，进而可以更好地捕获节点之间的空间依赖关系，这有助于提高时空数据的分析和理解；可调节的连接权重：一些实施例中，采用二值化方法来确定上述连接权重，进而使得本领域技术人员可以根据实际需求对上述对应连接的权重进行调整，从而更好地满足不同的数据分析需求；效率和自动化：通过上述自动地构建各节点之间的连接关系(即上述自动构建连接关系的步骤S23)，提高了分析过程的效率，减少了手动干预的需求，从而使时序数据的处理更加自动化；综上，上述构建离散依赖图的各步骤分别具有更好的特征表示、空间依赖关系的捕捉、连接关系的自动构建以及可调节的权重等技术优势，这些技术优势有助于提高时空数据的分析和表征质量。
一些实施例中，可以与历史时间序列片段对应的所有时间序列片段Sji的潜在特征表征输入图结构学习子模块，以对图结构学习子模块进行训练。
一些实施例中，可以根据时间序列片段之间的关系确定节点之间的连接方式，通过计算余弦相似度确定连接。
需要说明的是，上述“时间序列片段之间的关系”指的是不同时间序列片段存在时间上的先后关系，例如，两个时间序列片段之间的关系可能是在某个特定时间段内数据趋势相似等。上述“节点之间的连接方式”指在构建节点依赖图时决定哪些节点之间应该存在连接的方法。根据余弦相似度来度量节点之间的相似性，指的是计算每对节点所对应的时间序列片段的表示之间的余弦相似度。其中，余弦相似度是一种常用的相似性度量，它度量了两个向量之间的夹角余弦值。例如，若对应的余弦相似度高于预设阈值，那么可以认为节点之间存在连接，否则则没有。再例如，假设有一个网络中的多个传感器节点，每个节点记录了不同时间段内的温度数据。为了构建离散依赖图，可以计算每对节点的温度数据(即时间序列片段)之间的余弦相似度。若其余弦相似度高于预设阈值，就可以将这两个节点连接起来，表示它们在温度变化方面具有相似性。
一些实施例中，对离散依赖图中所有节点计算K最近邻(KNN)：对于每个节点，计算与它最接近的K个节点，以作为时间间隔距离度量。
需要说明的是，上述“时间间隔距离度量”涉及到如何计算节点之间的距离，以确定它们之间的连接。在此处，它指的是用于计算节点之间连接的距离度量方法。具体而言，其包括节点之间的时间间隔或时间差异。例如，可以考虑使用两个节点之间的时间戳来计算它们之间的时间差异，这可以用作距离度量。K最近邻(KNN)方法则是一种利用时间间隔距离度量来确定节点之间连接的方法，它寻找每个节点的最接近的K个节点，这些最接近的节点被认为与目标节点存在连接。
一些实施例中，可以使用时空图神经网络子模块来提取最新时间序列片段的表征它可以有效地将时间序列片段编码表示，进而更好地理解和处理时序数据中的时空信息。上述表征用于表征最新时间序列片段中的特征，即数据的周期性和趋势。上述表征可以包含这些特征，即，将这些特征以一种更抽象的方式进行表示。时空图神经网络模型，即图卷积(GCN)，可以进行图结构学习，以处理时空图数据。
一些实施例中，可以仅输入各节点最后一个时间序列片段(即上述最新时间序列片段)的流量数据到时空图神经网(STGNN)子模块的微调学习架构并进行训练，获得对应的空间依赖关系。
需要说明的是，采用上述最新时间序列片段的流量数据到时空图神经网(STGNN)子模块的微调学习架构并进行训练，可以快速响应数据变化，同时减少开销，不需要处理大量的历史数据。其中，此处不是直接采用现有的未经过训练的时空图神经网(STGNN)子模块，而是采用基于STGNN模型的微调改进的版本模型(即上述微调学习架构)。
需要说明的是，上述“时空图神经网络子模块”的作用是用于分析和处理时间序列片段中的时空关系。特别是，它利用最新的时间序列片段作为中心节点来构建一个时空图，然后使用神经网络技术对这个时空图进行分析和建模。本申请中，它使用最新的时间序列片段作为中心节点来构建时空图，以便更好地理解和处理时间序列片段中的时空信息。
需要说明的是，构建时空图的主要作用是将时间序列片段中的时空关系转化为图形结构，以便更好地理解、表示和分析数据。这可以为各种时空相关的任务提供更强大的工具和方法。其中，构建时空图时，可以使用节点之间的连接关系和邻居节点之间的信息来学习更高级的特征表示。这有助于改进数据的特征表示，以提高后续任务的性能。此外，基于构建的时空图，还可以进行各种任务，如时间序列片段的预测、异常检测、分析、数据聚类等。而时空图可以提供更丰富的信息来支持上述这些任务。
请参考图4，基于离散依赖图和时间序列片段Sji中的最新时间序列片段构建时空图，包括：
步骤S30：将时间序列片段Sji中的最新时间序列片段作为离散依赖图的中心节点；
步骤S31：计算所述中心节点与非最新时间序列段之间的关联度；其中，所述关联度采用对应的相似性度量来进行表征；所述非最新时间序列段为所述时间序列片段Sji中除所述最新时间序列片段之外的时间序列片段；
步骤S32：从所述非最新时间序列片段中选择与该中心节点的关联度最高的预设数量的所述时间序列片段作为该中心节点的邻居节点；
步骤S33：将该中心节点和该中心节点的邻居节点相互连接，以形成时空图；其中，时空图表示中心节点与预设数量的时间序列片段之间的时空依赖关系。
一些实施例中，上述步骤S31中采用中心节点与时间序列片段Sji中除最新时间序列片段之外的时间序列片段之间的余弦相似度来表征上述关联度。余弦相似度的计算属于本领域的现有技术，故不再对余弦相似度的具体计算进行赘述。
一些实施例中，可以将最新时间序列片段SP i作为时空图的中心节点，根据初始的离散依赖图为最新时间序列片段SP i找到其在离散依赖图中的邻居节点，这些邻居节点与中心节点一起构成时空图。
可以看出，上述动态中心节点选择(即步骤S30)这一技术手段可以允许从时序数据中选择最新的时序片段作为离散依赖图的中心节点。这意味着本申请的离散依赖图具有动态性，即，能够根据不同的时刻选择不同的中心节点，以适应不同的数据变化和需求；上述自动构建邻居节点(即步骤S31至步骤S32)这一技术手段通过计算关联度和设置阈值来自动构建邻居节点。这有助于识别与中心节点相关的时间序列片段，进而无需手动定义邻居节点。上述时空依赖关系的捕捉(即步骤S33)这一技术手段通过连接中心节点与其邻居节点来构建时空图，而所构建的时空图有助于表示中心节点与其相关的时序片段之间的时空依赖关系(例如，有助于捕获最新时间序列片段SP i的空间依赖关系)。这有助于更好地理解和分析时序数据中的关联性。
一些实施例中，可以将最新时序片段的表征作为与中心节点对应的输入特征，其中，最新时序片段的表征可以包括该片段的特征向量。
可以看出，上述“将最新时序片段的表征作为与中心节点对应的输入特征”这一技术手段表明本申请的时空图可以提供个性化的特征表征，以更好地反映时间序列片段的特性和信息。
一些实施例中，可以将构建好的时空图的连接关系和权重与中心节点的特征向量进行整合而形成输入数据。之后，将输入数据输入上述回归预测层子模块。
可以看出，上述“进行整合而形成输入数据”这一技术手段可以将时空图的连接关系和权重与中心节点的特征向量整合而形成输入数据。这提供了一个综合的数据表示，包括了时空依赖关系和特征信息，有助于后续的分析和建模。综上，前述步骤提供了动态中心节点选择、自动构建邻居节点、时空依赖关系的捕捉、个性化特征表征以及进行整合而形成输入数据等技术效果。这些技术效果有助于提高时序数据的表征和分析质量，使其更适合于时空数据的建模和分析。
一些实施例中，预测模型还用于：根据从时空图的邻居节点采集的信息对时空图的中心节点的潜在特征表示进行更新；基于最新时间序列片段的潜在特征表示和更新后的时空图对未来时间序列片段进行预测而得到对应的预测结果。请参考图5，上述根据从时空图的邻居节点采集的信息对时空图的中心节点的潜在特征表示进行更新，包括：
步骤S40：从时空图中的邻居节点采集邻居节点对应的特征向量；
步骤S41：对从不同的邻居节点采集到的特征向量进行聚合，以生成中心节点的新潜在特征表示；
步骤S42：将新潜在特征表示输入非线性激活函数而获得非线性变换后的新潜在特征表示；
步骤S43：利用非线性变换后的新潜在特征表示替代中心节点原有的潜在特征表示。
一些实施例中，对时空图的中心节点的潜在特征表示进行更新之前，可以初始化中心节点的潜在特征表示。例如，可以将中心节点的潜在特征表示初始化为中心节点的原始特征向量或其他表征。本领域技术人员可以根据实际需求确定上述其他表征。之后，通过考虑中心节点和其邻居节点之间的关系，从邻居节点采集相关的信息以更新中心节点的潜在特征表示。
一些实施例中，上述步骤S41中的聚合的方式包括：加权平均、求和或求平均值。
可以看出，上述初始化中心节点的潜在特征表示的具体方式，意味着可以采用不同的方法来初始化中心节点的潜在特征表示，例如，包括使用原始特征向量或其他类型的表征。
可以看出，通过上述信息传播的步骤(即步骤S40)，可以有效地从每个邻居节点收集信息，例如，可以通过加权平均邻居节点的潜在特征表示来实现，其中权重通常基于连接强度或其他相似性度量计算。这有助于更好地传播信息和特征；上述特征聚合的步骤(即步骤S41)描述了信息的聚合过程，包括元素级的加权平均、汇总函数或其他特定于任务的聚合方法，这有助于生成中心节点的新潜在特征表示，包含邻居节点的信息；上述非线性变换的步骤(即步骤S42)引入非线性变换，通过将新潜在特征表示传递到非线性激活函数，以更好地捕获数据中的复杂模式和依赖关系。这有助于提高表征的表达能力；上述特征更新的步骤(即步骤S43)将非线性变换后的新潜在特征表示被分配给中心节点，以替代中心节点原有的潜在特征表示，这意味着中心节点的特征表示将包括有关其自身和邻居节点的信息，从而提高了特征的信息丰富度；综上，通过上述步骤S40至步骤S43，能够实现信息的有效聚合。这包括从邻居节点中收集信息，加权平均邻居节点的特征表示，以及应用非线性变换。总的来说，根据上述这些步骤，可以实现包括了有效的特征表示初始化、信息的聚合和传播、非线性变换以及特征的更新等技术效果，这有助于改进时空数据的表征和分析能力，从而更好地捕获数据中的关联和模式。
需要说明的是，上述“根据从时空图的邻居节点采集的信息对时空图的中心节点的潜在特征表示进行更新”有助于捕获最新时序片段的空间依赖关系。例如，假设有一个城市的交通网络，每个节点代表一个路口，每个节点都有一个特征表示(如上述潜在特征表示)，其中该特征表示包括该路口的交通流量、车速、拥堵情况等信息。若想要分析交通流量如何在城市中传播，以预测未来的交通情况。在这个情景中，上述“空间依赖关系”可以是指不同路口之间的交通流量相互影响的情况。例如，一个路口的交通流量可能会受到相邻路口交通流量的影响，若一个路口拥堵，则其附近的路口可能会受到交通阻塞的影响。其中，假设有一个中心节点Vi，它有一个初始的特征表示Xi，以及一组邻居节点Ni，它们也有各自的特征表示Xj，其中j属于Ni。一些实施例中，可以使用神经网络层来更新中心节点的特征表示，如下所示：Xi’＝f(Xi，Xj，for j属于Ni)，其中，f是一个函数或神经网络层，它将中心节点Vi和其邻居节点的特征表示Xj组合起来，生成更新后的特征表示Xi’。这个更新后的特征表示Xi’将更好地捕获中心节点Vi的空间依赖关系。
需要说明的是，上述时空图神经网络子模块进行端到端训练的目的是：通过联合训练整个时空图神经网络子模块来优化模型的参数，以使其更好地适应任务。这个任务包括时空关系建模、预测。端到端训练有助于模型从数据中学习更有意义的表示，以提高任务性能。其中，最新时间序列片段的表征是指每个节点i的最新时间序列片段的表示。它可以包括节点的特征和其他与该最新时间序列片段有关的信息。它是节点的最新状态的表示。而最新时间序列片段的表征所对应的依赖表征Hgw是指节点的依赖信息的表示。依赖信息是指节点与其邻居节点或其他相关节点之间的关系信息，这些关系涉及时间和空间依赖性。即，Hgw用于表示这些依赖关系的信息。
需要说明的是，将每个节点的最新片段表示Hp与其相应的依赖表征Hgw进行融合的目的是将节点的最新状态(Hp)与其依赖关系的信息(Hgw)结合起来，以获得更全面、更具信息量的节点表示。这有助于模型更好地理解节点的时间序列片段，包括其与其他节点之间的时空关系，从而提高模型在任务中的性能。
一些实施例中，可以引入一个语义投射器SP，将最新片段表示Hp转换到依赖图表征Hgw的语义空间，将Hp通过训练学习投射变换矩阵，形成合并后的矩阵Hfinal：Hfinal＝SP(Hp)+Hgw。最后，请参考图6，通过回归预测层子模块进行预测：给定未来真实值Y∈RTxNxd，使用平均绝对误差作为回归损失。
需要说明的是，上述“引入一个语义投射器SP”的主要作用是将最新片段表示Hp从其原始表示空间转换到依赖图表征Hgw的语义空间，以便更好地融合这两种表示并提高模型性能。上述“将最新片段表示Hp转换到依赖图表征Hgw的语义空间”的大致流程为：首先，需要定义一个投射变换矩阵，该矩阵将用于将Hp从其原始表示空间映射到语义空间；其中，该矩阵可以是模型的可学习参数，通过训练过程来学习；2)学习投射变换矩阵：在训练过程中，模型将学习如何调整投射变换矩阵的权重，以最大程度地保留Hp的有用信息并将其映射到语义空间；这通常是通过最小化损失函数来完成的，损失函数的设计可以根据任务需求来确定；3)应用投射变换：一旦投射变换矩阵学习完毕，就可以将最新片段表示Hp通过这个矩阵进行变换；这个变换可以使用矩阵乘法来完成：Hfinal＝SP(Hp)+Hgw；其中，SP代表语义投射器，Hfinal是变换后的最新片段表示，Hp是原始的最新片段表示。
需要说明的是，形成上述合并后的矩阵Hfinal的具体过程属于本领域的现有技术。例如，可以参考公开号为CN115688871的中国专利文献“基于预训练增强的多元时间序列预测方法及系统”中[0077]段的以下内容“通常的时空图神经网(STGNN)子模块是将最后一个片段(如上述最新时序片段)和离散依赖图作为输入，而增强的时空图神经网(STGNN)子模块还考虑输入片段的表示。由于Transformer模型在提取长期依赖方面具有强大的能力，因此上述表示包含丰富的上下文信息。STEP框架几乎可以扩展到任何STGNN，这里使用了一种现有的方法作为后端模型，即Graph WaveNet。Graph WaveNet通过将图卷积与扩张的随机卷积相结合，有效地捕获时空依赖关系。它基于其输出的潜在隐藏表示Hgw∈RNxd通过回归预测层(例如一个多层感知机)进行预测。所有节点i的最后一个片段P的Transformer模型的表示Hi P可以合并表示为：HP∈RNxd，通过以下方式融合Graph WaveNet和TSFormer的表示：
Hfinal＝SP(HP)+Hgw
其中SP(·)是将Hi P转换为Hgw的语义空间的语义投影器(例如通过多层感知机来实现)。最后，通过回归预测层进行预测：给定未来真实值Y∈RTxNxd使用平均绝对误差作为回归损失：
其中N是节点数，T是预测步骤数，C是输出的维度”。
时空图神经网(STGNN)子模块和图结构学习子模块以端到端的方式进行训练。其中，时空图神经网(STGNN)子模块和图结构学习子模块的总损失函数L的表达式可以为：
L＝Lregression+λLgraph，
其中，λLgraph是逐渐衰减的图正则化项。设置图正则化项λ在训练过程中逐渐衰减以超越kNN图。其中，上述图正则化项Lgraph用于约束模型的学习，以更好地捕捉数据点之间的关联性。λ是一个超参数，它调整了图正则化项的权重。该图正则化项可能是逐渐衰减的，这意味着在训练过程中，λ的值会逐渐减小，允许模型在开始时更多地受到图正则化的约束，然后随着训练的进行逐渐减少约束，以便模型逐渐更多地专注于回归任务。引入图正则化项是用于捕捉数据间的关联性。
需要说明的是，上述“捕捉数据间的关联性”指的是模型试图理解和学习不同数据点之间的关联或相关性。例如，时序数据中的时间相关性：对于时间序列数据，不同时间点的数据点之间可能存在时间相关性，模型可以试图捕捉这种时间相关性，以更好地预测未来的数据点；再例如，图数据中的节点相关性：在图数据中，不同节点之间的数据点可能存在节点相关性。比如，社交网络中的用户之间可能存在关系，或者在交通网络中，不同交叉口之间的流量可能相互影响。模型也可以尝试捕捉这种节点相关性，以更好地理解网络数据。
需要说明的是，上述“引入图正则化项”，通常是指在训练机器学习模型时，通过添加一个正则化项(通常是基于图结构的正则化项)来约束模型的学习，以更好地捕捉数据点之间的关联性。具体地，可以定义数据之间的图结构，其中，节点表示数据点，边表示数据之间的关联。这可以是一个预先定义的图结构，也可以是从数据中自动构建的。之后，需要定义一个与图结构相关的正则化项，通常称为图正则化项。这个正则化项通常基于节点之间的相似性、连接性或其他关联性度量。一个常见的例子是拉普拉斯正则化项。之后，将图正则化项添加到模型的损失函数中，进而模型在训练过程中不仅会尝试拟合数据，而且还会受到正则化项的约束，以更好地捕捉数据点之间的关联性。
一些实施例中，可以采用随机梯度下降(SGD)对时空图神经网(STGNN)子模块和图结构学习子模块进行训练，以最小化上述总损失函数L。例如，将梯度从总损失函数传播回模型参数，以更新参数。在训练数据上进行多次迭代，不断调整模型参数，使得预测结果逐渐接近真实流量值。其中，对时空图神经网(STGNN)子模块和图结构学习子模块进行训练的具体过程属于本领域的现有技术，故此处不再赘述。
一些实施例中，可以将保留的验证集所对应的时间序列片段输入回归预测层来预测各节点下一个时间序列片段Tf个时间步的流量数据。此处属于前述“采用上述最新时间序列片段的流量数据到时空图神经网(STGNN)子模块的微调学习架构并进行训练”(即回归预测及持续微调阶段)的阶段。此处的回归预测及持续微调阶段还可以包括：初始化预训练模型参数，使用预训练模型的参数初始化回归模型；准备带有标签的训练数据集，采集带有真实流量值标签的训练数据集，确保每个样本都有对应的未来Tf时刻的流量片段真实值；利用SDN子控制器进行调度调控，监测预测模型进行预测而得到对应的预测结果所使用的总时间是否小于预测模型所能够预测的未来时间步数范围(如Tf步滑窗的预测范围)所对应的时间；若上述总时间大于预测模型所能够预测的未来时间步数范围所对应的时间，则立即停止预测模型的预测工作；或者，若对应的预测结果的精度低于预设精度阈值，则立即停止预测模型的预测工作，并重新对预测模型进行训练。其中，上述“Tf步滑窗的预测范围”指的是时间序列片段中的一个窗口，该窗口包含了模型预测的未来时间步数范围。这个窗口的大小由参数Tf决定，它代表了要预测的未来时间步的数量。例如，若Tf＝24，那么“Tf步滑窗的预测范围”就表示模型正在预测未来的24个时间步的数据。这个窗口会从当前时间步开始，覆盖未来24个时间步的数据点。模型会尝试预测从当前时间步开始到24个时间步后的时间范围内的数据值。
需要说明的是，上述“预训练模型的参数”包括模型的权重、偏差和其他可学习的参数，这些参数在预训练阶段学习得到，用于捕获输入数据的一般性特征。上述“回归模型”是指用于回归任务的模型(如预测模型的回归预测层子模块)，通常包括一个或多个神经网络层。本申请中的回归模型的目标是根据输入的数据来预测各节点下一个时间序列片段的流量数据。回归模型的作用是执行回归任务，即根据输入数据预测未来时间步的流量数据。通过使用预训练模型的参数来初始化回归模型，可以利用预训练模型在先前任务中学到的一般性特征，以提高回归模型的性能。这种迁移学习的方法通常可以加速和改善模型在特定任务上的学习过程。
一些实施例中，当需要协调网络资源分配和流量预测时，SDN子控制器启动预测流程(即上述步骤S200)。这一步骤涉及资源分配和网络流量预测。在此过程中，SDN子控制器需考虑当前的网络拓扑、资源可用性和已有流量数据，以预测未来的流量需求。
一些实施例中，本申请的动态网络流量调控方法，还包括：
步骤S300：根据对应的预测结果对网络进行调控。
上述步骤S300意味着SDN子控制器将动态调整网络资源分配，以满足预测的流量需求，以确保网络性能和效率。
需要说明的是，根据对应的预测结果(如利用SDN子控制器)对网络进行调控的具体过程属于本领域的现有技术，故此处不再赘述。
可以看出，SDN子控制器在需要协调网络资源分配和流量预测时启动预测流程，这意味着网络资源可以根据实际需求进行实时调整，以提高网络性能和效率。
一些实施例中，请参考图7，本申请的动态网络流量调控方法，还包括：
步骤S400：监测预测模型进行预测而得到对应的预测结果所使用的总时间；其中，若总时间大于预测模型所能够预测的未来时间步数范围所对应的时间，则立即停止预测模型的预测工作。
一些实施例中，本申请的动态网络流量调控方法，还包括：
若对应的预测结果的精度低于预设精度阈值，则立即停止预测模型的预测工作。
一些实施例中，本申请的动态网络流量调控方法，还包括：若对应的预测结果的精度低于预设精度阈值，则立即停止预测模型的预测工作。
一些实施例中，若总时间大于预测模型所能够预测的未来时间步数范围所对应的时间，则立即停止预测模型的预测工作，以避免超出可接受的时间范围。
一些实施例中，若对应的预测结果的精度低于预设精度阈值，则立即停止预测模型的预测工作，并重新对预测模型进行训练。
一些实施例中，可以由SDN子控制器监测预测模型进行预测而得到对应的预测结果所使用的总时间。总时间包括开始执行预测至预测完成所经历的时间。监测上述总时间是为了确保它小于Tf，其中，Tf表示滑窗的预测范围。
可以看出，SDN子控制器执行资源分配和网络流量预测(如上述步骤S200)时，结合了当前的网络拓扑、资源可用性和已有流量数据，这有助于预测未来的流量需求，从而更好地分配资源，提高网络效率。
可以看出，SDN子控制器监控上述总用时，以确保它们在可接受的时间范围内完成。这有助于确保网络调控过程不会导致不必要的延迟或性能下降。若上述总用时超出了预测范围(Tf)，SDN子控制器能够自动结束预测流程，以避免不必要的资源浪费和时间延迟。
可以看出，若对应的预测结果的精度低于预设精度阈值，SDN子控制器可以终止当前的预测流程(即执行质量控制的操作)，并重新预测模型。这有助于提高预测的准确性和质量。总的来说，上述这些步骤包括了实时网络调控、资源优化和流量预测、时效性监控、自动中止流程以及质量控制，这有助于提高SDN网络的性能、效率和可靠性，并确保网络资源的有效利用。
需要说明的是，本申请所提供的基于预训练的动态网络流量调控方法及其系统可以基于智能生态网络IEN进行应用和实施。也就是说，本申请的基于预训练的动态网络流量调控方法及其系统也可以采用或应用于智能生态网络(Intelligent Eco Networking，简称IEN)的系统架构。
以上就是关于基于预训练的动态网络流量调控方法的一些说明。本申请一些实施例中还公开了一种基于预训练的动态网络流量调控系统。请参考图8，该系统包括：
预测模块100，被配置为从网络中获取历史时间序列片段，对历史时间序列片段进行切分而得到多个时间序列片段；将时间序列片段输入训练好的预测模型，以通过训练好的预测模型对未来时间序列片段进行预测而得到对应的预测结果；
其中，预测模型包括编码器、图结构学习子模块和第二解码器；
编码器是从已经预训练好的预训练模型中提取的，
编码器用于获取时间序列片段的潜在特征表示；
图结构学习子模块用于基于时间序列片段和潜在特征表示构建离散依赖图；
第二解码器包括时空图神经网络子模块和回归预测层子模块；
其中，时空图神经网络子模块用于基于离散依赖图和时间序列片段中的最新时间序列片段构建时空图，
以及，根据从时空图的邻居节点采集的信息对时空图的中心节点的潜在特征表示进行更新；
回归预测层子模块用于基于最新时间序列片段的潜在特征表示和更新前的时空图或更新后的时空图对未来时间序列片段进行预测。
需要说明的是，上述动态网络流量调控系统的具体流程和技术效果与前文的动态网络流量调控方法的具体流程和技术效果基本相似，即，上述动态网络流量调控系统的具体流程和技术效果可以参考前文的动态网络流量调控方法的具体流程和技术效果，此处不再进行重复的论述。
以上就是关于基于预训练的动态网络流量调控系统的一些说明。本申请一些实施例中还公开了一种计算机可读存储介质，包括程序，程序能够被处理器执行以实现如本申请中任一项实施例的方法。
本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例做出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现(例如一个或多个步骤可以被删除、修改或结合到其他步骤中)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备(硬盘、软盘等)、光学存储设备(CD至ROM、DVD、Blu Ray盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。
虽然在各种实施例中已经示出了本文的原理，但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。
前述具体说明已参照各种实施例进行了描述。然而，本领域技术人员将认识到，可以在不脱离本披露的范围的情况下进行各种修正和改变。因此，对于本披露的考虑将是说明性的而非限制性的意义上的，并且所有这些修改都将被包含在其范围内。同样，有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而，益处、优点、问题的解决方案以及任何能产生这些的要素，或使其变得更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和其任何其他变体，皆属于非排他性包含，这样包括要素列表的过程、方法、文章或设备不仅包括这些要素，还包括未明确列出的或不属于该过程、方法、系统、文章或设备的其他要素。此外，本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。
具有本领域技术的人将认识到，在不脱离本发明的基本原理的情况下，可以对上述实施例的细节进行许多改变。因此，本发明的范围应仅由权利要求确定。

Claims (10)

1.一种基于预训练的动态网络流量调控方法，其特征在于，包括：
从网络中获取历史时间序列数据，对所述历史时间序列数据进行切分而得到多个时间序列片段；
将所述时间序列片段输入训练好的预测模型，所述预测模型用于：
获取所述时间序列片段的潜在特征表示；
基于所述时间序列片段和所述潜在特征表示构建离散依赖图；
基于所述离散依赖图和所述时间序列片段中的最新时间序列片段构建时空图；
基于所述最新时间序列片段的潜在特征表示和所述时空图对未来时间序列片段进行预测而得到对应的预测结果；其中，所述未来时间序列片段位于所述时间序列片段中的最新时间序列片段的下一时段。
2.如权利要求1所述的动态网络流量调控方法，其特征在于，所述基于所述时间序列片段和所述潜在特征表示构建离散依赖图，包括：
基于特征的节点表示的步骤：将每个所述时间序列片段作为所述离散依赖图的一个节点，将与所述时间序列片段对应的潜在特征表示作为与该节点对应的特征向量；
创建一个初始的邻接矩阵；其中，所述邻接矩阵的维度为节点数量乘以节点数量，所述邻接矩阵用于表示各所述节点之间的连接关系，所述节点数量表示所述离散依赖图中所述节点的总数；
自动构建连接关系的步骤：对于每个所述节点，计算得到与该节点最近邻的K个节点，将所述与该节点最近邻的K个节点作为所述离散依赖图中该节点的邻居节点；根据所述离散依赖图中各节点之间相似性确定所述各节点之间的连接权重；对于每个所述节点，根据对应的所述连接权重将该节点和与该节点最近邻的K个节点连接；
重复上述自动构建连接关系的步骤，直到每个所述节点均建立了连接，以得到所述离散依赖图。
3.如权利要求2所述的动态网络流量调控方法，其特征在于，所述基于所述离散依赖图和所述时间序列片段中的最新时间序列片段构建时空图，包括：
将所述时间序列片段中的最新时间序列片段作为所述离散依赖图的中心节点；
计算所述中心节点与非最新时间序列段之间的关联度；其中，所述关联度采用对应的相似性度量来进行表征；其中，所述非最新时间序列段为所述时间序列片段中除所述最新时间序列片段之外的时间序列片段；
从所述非最新时间序列片段中选择与该中心节点的关联度最高的预设数量的所述时间序列片段作为该中心节点的邻居节点；
将该中心节点和该中心节点的邻居节点相互连接，以形成所述时空图；其中，所述时空图表示所述中心节点与所述预设数量的所述时间序列片段之间的时空依赖关系。
4.如权利要求1所述的动态网络流量调控方法，其特征在于，所述预测模型还用于：
根据从所述时空图的邻居节点采集的信息对所述时空图的中心节点的潜在特征表示进行更新；
基于所述最新时间序列片段的潜在特征表示和更新后的所述时空图对所述未来时间序列片段进行预测而得到对应的预测结果。
5.如权利要求4所述的动态网络流量调控方法，其特征在于，所述根据从所述时空图的邻居节点采集的信息对所述时空图的中心节点的潜在特征表示进行更新，包括：
从所述时空图中的所述邻居节点采集所述邻居节点对应的特征向量；
对从不同的所述邻居节点采集到的所述特征向量进行聚合，以生成所述中心节点的新潜在特征表示；
将所述新潜在特征表示输入非线性激活函数而获得非线性变换后的所述新潜在特征表示；
利用所述非线性变换后的所述新潜在特征表示替代所述中心节点原有的所述潜在特征表示。
6.如权利要求5所述的动态网络流量调控方法，其特征在于，还包括：
根据所述对应的预测结果对所述网络进行调控。
7.如权利要求1或6所述的动态网络流量调控方法，其特征在于，还包括：
监测所述预测模型进行所述预测而得到所述对应的预测结果所使用的总时间；
其中，若所述总时间大于所述预测模型所能够预测的未来时间步数范围所对应的时间，则立即停止所述预测模型的预测工作。
8.如权利要求1或6所述的动态网络流量调控方法，其特征在于，还包括：若所述对应的预测结果的精度低于预设精度阈值，则立即停止所述预测模型的预测工作。
9.一种基于预训练的动态网络流量调控系统，其特征在于，包括：
预测模块，被配置为从网络中获取历史时间序列数据，对所述历史时间序列数据进行切分而得到多个时间序列片段；将所述时间序列片段输入训练好的预测模型，以通过所述训练好的预测模型对未来时间序列片段进行预测而得到对应的预测结果；
其中，所述未来时间序列片段位于所述时间序列片段中的最新时间序列片段的下一时段；
其中，所述预测模型包括编码器、图结构学习子模块和第二解码器；
所述编码器是从已经预训练好的预训练模型中提取的，
所述编码器用于获取所述时间序列片段的潜在特征表示；
所述图结构学习子模块用于基于所述时间序列片段和所述潜在特征表示构建离散依赖图；
所述第二解码器包括时空图神经网络子模块和回归预测层子模块；
其中，所述时空图神经网络子模块用于基于所述离散依赖图和所述时间序列片段中的最新时间序列片段构建时空图，以及，根据从所述时空图的邻居节点采集的信息对所述时空图的中心节点的潜在特征表示进行更新；
所述回归预测层子模块用于基于所述最新时间序列片段的潜在特征表示和所述更新前的时空图或所述更新后的时空图对未来时间序列片段进行预测。
10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1至8中任一项所述的动态网络流量调控方法。
CN202311652833.1A 2023-12-01 2023-12-01 一种基于预训练的动态网络流量调控方法及其系统 Active CN117675615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311652833.1A CN117675615B (zh) 2023-12-01 2023-12-01 一种基于预训练的动态网络流量调控方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311652833.1A CN117675615B (zh) 2023-12-01 2023-12-01 一种基于预训练的动态网络流量调控方法及其系统

Publications (2)

Publication Number Publication Date
CN117675615A true CN117675615A (zh) 2024-03-08
CN117675615B CN117675615B (zh) 2024-10-15

Family

ID=90083973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311652833.1A Active CN117675615B (zh) 2023-12-01 2023-12-01 一种基于预训练的动态网络流量调控方法及其系统

Country Status (1)

Country Link
CN (1) CN117675615B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118965242A (zh) * 2024-10-16 2024-11-15 中控技术股份有限公司 一种基于时间序列预测大模型的厂区设备异常检测方法
CN119364041A (zh) * 2024-12-23 2025-01-24 北京易汇众盟网络技术有限公司 基于时空序列的直播访客流量预测与路由调度方法及系统
CN120834603A (zh) * 2025-09-18 2025-10-24 南京冠隆电力科技有限公司 一种基于复杂网络时空优化的构网型储能逆变器控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0883067A1 (en) * 1997-06-05 1998-12-09 Nortel Networks Corporation A method and apparatus for determining how many input values of a time series of data are required for forecasting a future value of the time series
CN115688871A (zh) * 2022-09-20 2023-02-03 中国科学院计算技术研究所 基于预训练增强的多元时间序列预测方法及系统
CN116743635A (zh) * 2023-08-14 2023-09-12 北京大学深圳研究生院 一种网络预测与调控方法及网络调控系统
CN116822382A (zh) * 2023-08-30 2023-09-29 中国海洋大学 基于时空多重特性图卷积的海表面温度预测方法及网络
CN117061360A (zh) * 2023-09-22 2023-11-14 南京邮电大学 基于时空信息的sdn网络流量预测方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0883067A1 (en) * 1997-06-05 1998-12-09 Nortel Networks Corporation A method and apparatus for determining how many input values of a time series of data are required for forecasting a future value of the time series
CN115688871A (zh) * 2022-09-20 2023-02-03 中国科学院计算技术研究所 基于预训练增强的多元时间序列预测方法及系统
CN116743635A (zh) * 2023-08-14 2023-09-12 北京大学深圳研究生院 一种网络预测与调控方法及网络调控系统
CN116822382A (zh) * 2023-08-30 2023-09-29 中国海洋大学 基于时空多重特性图卷积的海表面温度预测方法及网络
CN117061360A (zh) * 2023-09-22 2023-11-14 南京邮电大学 基于时空信息的sdn网络流量预测方法与系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118965242A (zh) * 2024-10-16 2024-11-15 中控技术股份有限公司 一种基于时间序列预测大模型的厂区设备异常检测方法
CN119364041A (zh) * 2024-12-23 2025-01-24 北京易汇众盟网络技术有限公司 基于时空序列的直播访客流量预测与路由调度方法及系统
CN120834603A (zh) * 2025-09-18 2025-10-24 南京冠隆电力科技有限公司 一种基于复杂网络时空优化的构网型储能逆变器控制方法
CN120834603B (zh) * 2025-09-18 2025-12-16 南京冠隆电力科技有限公司 一种基于复杂网络时空优化的构网型储能逆变器控制方法

Also Published As

Publication number Publication date
CN117675615B (zh) 2024-10-15

Similar Documents

Publication Publication Date Title
CN117675615B (zh) 一种基于预训练的动态网络流量调控方法及其系统
CN114519469B (zh) 一种基于Transformer框架的多变量长序列时间序列预测模型的构建方法
WO2025092993A1 (zh) 基于时空相关性的用电负荷预测方法及装置
Xu et al. TimeGNN: temporal dynamic graph learning for time series forecasting
JP6775469B2 (ja) Ｏｄトラヒック予測装置、方法、及びプログラム
CN114556359B (zh) 数据流中的事件检测
KR102293791B1 (ko) 반도체 소자의 시뮬레이션을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
US12511534B2 (en) Attenuation weight tracking in graph neural networks
CN113988464A (zh) 基于图神经网络的网络链路属性关系预测方法及设备
CN118280115B (zh) 基于提示式生成预训练变换网络的交通流预测方法及装置
Tang et al. Anomaly detection of service function chain based on distributed knowledge distillation framework in cloud–edge industrial internet of things scenarios
Bhaumik et al. STLGRU: Spatio-temporal lightweight graph GRU for traffic flow prediction
Zhang et al. Flow prediction via adaptive dynamic graph with spatio-temporal correlations
Ul Abideen et al. Crowd flow prediction: an integrated approach using dynamic spatial–temporal adaptive modeling for pattern flow relationships
Zhang et al. Dynamic routing spatial-temporal transformer model for traffic flow prediction
Chen et al. Reconciling spatiotemporal conjunction with digital twin for sequential travel time prediction and intelligent routing
CN116341634B (zh) 神经结构搜索模型的训练方法、装置及电子设备
Zhang et al. Traffic flow prediction based on the RETGCN model
Arnob et al. Time-series Multivariate Multistep Traffic Flow Forecasting using Temporal Fusion Transformers
Miao et al. GDENet: graph differential equation network for traffic flow prediction
CN120048107A (zh) 自监督动态时空图交通流预测方法、设备、介质及产品
Hoang et al. Leveraging Edge Intelligence for Solar Energy Management in Smart Grids
CN117113077B (zh) 目标序列确定方法、装置、电子设备和存储介质
Zhang et al. LSDM: LLM-Enhanced Spatio-temporal Diffusion Model for Service-Level Mobile Traffic Prediction
Anto Pravin et al. An Energy‐Efficient and Smart Traffic Management Framework With Optimization and Deep Learning for VANET

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 518055 room 208, building h, Beida Park, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: PEKING University SHENZHEN GRADUATE SCHOOL

Country or region after: China

Patentee after: BEIJING RED DATE TECHNOLOGY CO.,LTD.

Patentee after: ZHAOSHANG XINZHI TECHNOLOGY Co.,Ltd.

Patentee after: Hangzhou Qulian Technology Co.,Ltd.

Address before: 518055 room 208, building h, Beida Park, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: PEKING University SHENZHEN GRADUATE SCHOOL

Country or region before: China

Patentee before: BEIJING RED DATE TECHNOLOGY CO.,LTD.

Patentee before: ZHAOSHANG XINZHI TECHNOLOGY Co.,Ltd.

Patentee before: HANGZHOU HYPERCHAIN TECHNOLOGIES Co.,Ltd.

CP03 Change of name, title or address