CN118519680A - 基于大模型的任务执行方法和装置 - Google Patents
基于大模型的任务执行方法和装置 Download PDFInfo
- Publication number
- CN118519680A CN118519680A CN202410682765.1A CN202410682765A CN118519680A CN 118519680 A CN118519680 A CN 118519680A CN 202410682765 A CN202410682765 A CN 202410682765A CN 118519680 A CN118519680 A CN 118519680A
- Authority
- CN
- China
- Prior art keywords
- execution
- task
- large model
- subtasks
- program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/72—Code refactoring
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于大模型的任务执行方法和装置，包括将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果。本发明基于大模型模块进行大模型知识通用分析能力、代码生成能力与计算机精确执行代码能力的融合，实现性能更好的基于大模型的逻辑推理，从而更好的完成用户任务。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于大模型的任务执行方法和装置。
背景技术
随着人工智能的发展，神经网络被应用于各行各业，尤其是近年来大语言模型(LLM)的发展使得人工智能的水平获得了巨大提升。但LLM等神经网络模型存在严重的“幻觉”问题，即有时其只会输出看起来多样完整的回答，但是并不符合事实和逻辑。另外，LLM等神经网络模型不具备精确逻辑推理的能力，使得其无法准确的按步骤完成某一精确程序。比如，在一些LLM的使用场景中，其可以非常轻松的生成完成某项任务的代码，但可能无法给出一个简单的数学问题的答案。而传统的计算机程序恰恰会按照程序定义的过程准确执行，但其不具备在程序范围之外的泛化能力以及利用通用知识的能力。
为了解决这个问题以最大程度利用LLM的强大的组合泛化能力，一些研究在输入中加入合理的引导。如何设计更好的输入引导大模型得到想要的输出的过程称作prompt工程。进一步地，一种prompt工程相关的技术称作思维链(CoT)。CoT与few-show prompting都是常用的构建LLM输入的技术，除此之外还有各种各样的prompting技术使得LLM有能力完成诸如代码生成等困难的任务。此外，基于特定领域的数据集，也可以训练LLM，使其在领域特定任务上有更好的发挥。
然而，无论是prompting技术还是训练技术，其最终还是依靠LLM自身的能力，即其本质上仍会存在“幻觉”与逻辑过程不准确等问题。其虽然有能力生成代码，但没有像计算机那样精确执行代码的能力。
综上，现有技术存在逻辑推理能力差的问题。
发明内容
本发明提供一种基于大模型的任务执行方法和装置，用以解决现有技术中逻辑推理能力差的缺陷，实现性能更好的基于大模型的逻辑推理，从而更好的完成用户任务。
本发明提供一种基于大模型的任务执行方法，包括：
将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；
基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；
在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果；
其中，所述大模型模块包括至少一个预先训练的大语言模型。
根据本发明提供的一种基于大模型的任务执行方法，所述基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务，具体包括：
基于所述大模型模块对完成所述任务需求的过程进行分析；
根据所述分析的结果按照是否涉及精确逻辑计算将所述任务需求进行拆分，得到精确逻辑计算子任务和其他子任务。
根据本发明提供的一种基于大模型的任务执行方法，所述基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果，具体包括：
根据所述精确逻辑计算子任务基于所述大模型模块生成执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，根据所述程序执行接口获取精确逻辑计算子任务执行结果；
基于所述大模型模块执行所述其他子任务，得到其他子任务执行结果；
基于所述大模型模块将所述精确逻辑计算子任务执行结果和所述其他子任务执行结果整合，得到第一综合结果。
根据本发明提供的一种基于大模型的任务执行方法，所述大语言模型是基于深度神经网络利用预先构建的训练数据集采用混合训练的方式训练得到的；其中，所述训练数据集包括任务拆分数据集、任务分类数据集和程序生成数据集；所述混合训练包括任务拆分训练、任务分类训练、代码生成或优化训练中的一种或多种的组合；其中，所述任务拆分训练包括基于深度神经网络利用所述任务拆分数据集采用预设训练算法进行训练，以学习任务拆分数据集中输入的任务需求输入和输出的子任务的对应关系；所述任务分类训练包括基于深度神经网络利用所述任务分类数据集采用预设训练算法进行训练，以学习所述任务分类数据集中输入的子任务和输出的子任务分类的对应关系，所述代码生成或优化训练包括基于深度神经网络利用所述程序生成数据集采用预设训练算法进行训练，以学习所述程序生成数据集中输入的精确逻辑计算子任务和输出的计算机程序的对应关系。
根据本发明提供的一种基于大模型的任务执行方法，所述根据所述精确逻辑计算子任务基于所述大模型模块生成执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，根据所述程序执行接口获取精确逻辑计算子任务执行结果，具体包括：
基于所述大模型模块根据所述精确逻辑计算子任务生成解决方案，并针对所述精确逻辑计算子任务涉及的场景建立仿真模型，根据所述解决方案和所述仿真模型得到目标任务仿真模型；基于所述大模型模块将所述目标任务仿真模型转化为执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块；
根据所述程序执行接口获取精确逻辑计算子任务执行结果。
根据本发明提供的一种基于大模型的任务执行方法，所述基于所述大模型模块将所述目标任务仿真模型转化为执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，之前还包括：
基于所述大模型模块将所述精确逻辑计算子任务分配至智能体。
根据本发明提供的一种基于大模型的任务执行方法，所述程序执行模块包括执行仿真程序和/或至少一个与智能体对应的预先训练的大语言模型；
其中，所述执行仿真程序用于对所述执行程序代码进行仿真，所述智能体及其对应的大语言模型用于根据分配的所述精确逻辑计算子任务生成智能体决策策略，并根据所述智能体决策策略和获取的环境信息辅助所述执行仿真程序进行仿真。
本发明还提供一种基于大模型的任务执行装置，包括：
拆分单元，用于将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；
执行单元，用于基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；
优化单元，用于在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果；
其中，所述大模型模块包括至少一个预先训练的大语言模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于大模型的任务执行方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于大模型的任务执行方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于大模型的任务执行方法。
本发明提供的基于大模型的任务执行方法和装置，通过将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果；其中，所述大模型模块包括至少一个预先训练的大语言模型。本发明基于大模型模块进行大模型知识通用分析能力、代码生成能力与计算机精确执行代码能力的融合，从而针对性进行子任务的执行，将执行结果进行融合并在不满足任务需求的情况下进行优化，实现性能更好的基于大模型的逻辑推理，从而更好的完成用户任务。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于大模型的任务执行方法的流程示意图之一。
图2是本发明提供的基于大模型的任务执行方法的流程示意图之二。
图3是本发明提供的基于大模型的任务执行方法的流程示意图之三。
图4是本发明提供的基于大模型的任务执行方法的流程示意图之四。
图5是本发明提供的基于大模型的任务执行方法的流程示意图之五。
图6是本发明提供的基于大模型的任务执行方法的流程示意图之六。
图7是本发明提供的基于大模型的任务执行装置的结构示意图。
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明基于大模型的任务执行方法，如图1所示，该方法包括步骤110、步骤120和步骤130。
步骤110：将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；
需要进行说明的是，任务需求是指用户的任务需求，响应于用户将任务需求输入至大模型模块，大模型模块根据任务需求进行任务拆分。需要指出的是，本发明不对用户的输入方式进行限制，可以以文字的形式输入，也可以通过语音的形式输入。
进一步地，本发明也不对任务需求的描述形式进行限制，在一些实施例中，任务需求为自然语言描述。
需要指出的是，本发明所指的任务拆分是根据完成任务需求的过程中是否需要涉及到精确的计算或逻辑执行进行的。需要强调的是，本发明所指的精确的计算或逻辑执行包括数学计算类任务，例如各种线性、非线性计算等。
在一些实施例中，所述基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务，具体包括：
基于所述大模型模块对完成所述任务需求的过程进行分析；
根据所述分析的结果按照是否涉及精确逻辑计算将所述任务需求进行拆分，得到精确逻辑计算子任务和其他子任务。
具体地，大模型模块首先利用推理能力分析任务需求，理解用户输入的包括自然语言形式的任务需求，将完成任务需求的过程拆分为子任务，拆分的依据为是否涉及精确逻辑计算，将涉及精确逻辑计算的子任务记为精确逻辑计算子任务，将不涉及精确逻辑计算的子任务记为其他子任务。
可以理解的是，对于一个任务需求，其完成的过程有可能不涉及精确逻辑计算，此时，精确逻辑计算子任务为空。自然地，也可能全为精确逻辑计算，此时，其他子任务为空。
也就是说，所述基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务，也可以由以下步骤执行：
基于所述大模型模块对完成所述任务需求的过程进行分析；
如果完成任务的过程需要涉及到精确的计算或逻辑执行，则对任务进行拆分，将其拆分为精确逻辑计算子任务和其他子任务；
如果完成任务的过程不涉及到精确的计算或逻辑执行，则将涉及到的所有任务定义为其他子任务；
如果完成任务的过程均涉及到精确的计算或逻辑执行，则将涉及到的所有任务定义为精确逻辑计算子任务。
步骤120：基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；
对任务需求进行任务拆分后，大模型模块根据子任务的类型进行处理。具体来说，大模型模块通过自己的推理能力执行其他子任务，得到执行结果，同时，利用自己的编程能力根据精确逻辑计算子任务需求生成对应的执行程序代码派发给程序执行模块，以获取程序的执行结果。随后大模型模块结合程序精确执行的结果和大模型模块对其他子任务得到的结果生成第一综合结果。
其中，需要指出的是，程序执行模块是大模型模块为了更好的完成任务调用的工具的集合，包括计算机或者有执行程序能力的机器等。
在一些实施例中，所述基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果，具体包括：根据所述精确逻辑计算子任务基于所述大模型模块生成执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，根据所述程序执行接口获取精确逻辑计算子任务执行结果；
基于所述大模型模块执行所述其他子任务，得到其他子任务执行结果；
基于所述大模型模块将所述精确逻辑计算子任务执行结果和所述其他子任务执行结果整合，得到第一综合结果。
具体地，如图2所示，大模型模块(大语言模型)利用自己的编程能力根据精确逻辑计算子任务需求生成对应的执行程序代码，通过预先构建的连接大模型模块和程序执行模块的程序执行接口将执行程序代码发送给程序执行模块，通过程序执行模块执行收到的执行程序代码，得到精确逻辑计算子任务执行结果后返回给大模型模块。
需要指出的是，程序执行接口是大模型模块预先构建的使用计算机的接口。
同时，大模型模块执行其他子任务，得到其他子任务执行结果。之后将其他子任务执行结果和精确逻辑计算子任务执行结果整合，得到第一综合结果。
需要进一步说明的是，按照子任务的顺序，将各个子任务的执行结果进行顺序融合，具体的融合由大语言模型内部生成，即使用大语言的推理能力将各个子任务的执行结果按照顺序进行基于自然语言的连接，输出第一综合结果。
进一步地，将第一综合结果与任务需求进行比较，判断第一综合结果是否达到任务需求。
步骤130：在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果。
如果没有达到，基于大模型模块对执行程序代码进行修改，并优化其他子任务执行结果，直至达到任务需求。如果达到了任务需求，则任务执行结束。
在大模型模块的推理过程中，用户可以设计相应的prompt(如CoT技术)引导LLM完成上述过程。在用户封装了LLM的应用程序的情况下，可以在prompt中加入提示指出其可以使用程序执行模块中的计算机运行程序，并给出计算机操作接口。
在这个过程中，也可以将历史执行数据加入大模型模块的训练数据库，对大模型模块中的大语言模型进行训练。
在一些实施例中，所述程序执行模块包括执行仿真程序，其中，所述执行仿真程序用于对所述执行程序代码进行仿真。
基于上述实施例，在一些实施例中，所述根据所述精确逻辑计算子任务基于所述大模型模块生成执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，根据所述程序执行接口获取精确逻辑计算子任务执行结果，具体包括：
基于所述大模型模块根据所述精确逻辑计算子任务生成解决方案，并针对所述精确逻辑计算子任务涉及的场景建立仿真模型，根据所述解决方案和所述仿真模型得到目标任务仿真模型；基于所述大模型模块将所述目标任务仿真模型转化为执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块；
根据所述程序执行接口获取精确逻辑计算子任务执行结果。
具体地，计算机执行的精确逻辑计算子任务可以是一个实现基于ABM模型的仿真，也就是说，程序执行模块用于实现ABM模型的仿真。即系统在生成解决方案的过程中，可以根据ABM的仿真结果来验证方案的准确性，并进一步的优化解决方案，即赋予现有人工智能系统即时仿真生成的能力。如图3所示。
在具体实施过程中，大模型模块首先根据精确逻辑计算子任务的需求，提出一个解决方案，并对任务所涉及的场景建立ABM仿真模型，同时将解决方案也融入进模型，得到目标任务仿真模型。随后大模型模块利用自己的编程能力将该ABM模型转化为执行程序代码派发给程序执行模块，之后从程序执行模块获取ABM的仿真结果(即精确逻辑计算子任务执行结果)。
随后进行是否满足任务需求的判断，需要注意的是，在这种情况下，如果存在多个子任务，例如多个精确逻辑计算子任务或其他子任务，依然需要与其他子任务的执行结果整合后的第一综合结果与任务需求进行比较，判断第一综合结果是否达到任务需求，如果没有达到，基于大模型模块重新生成解决方案并根据优化后的方案修改仿真模型，重新生成可执行程序进行仿真模拟，同时优化其他子任务执行结果，直至达到任务需求。如果仅仅存在一个精确逻辑计算子任务，则使用该精确逻辑计算子任务的执行结果与与任务需求进行比较以及后续调整，本发明在此不做赘述。
需要指出的是，本发明实施例中所指的大模型模块包括至少一个预先训练的大语言模型(Large Language Model，LLM)。
在上述过程中，用户也可能并不会感知到LLM使用计算机这件事。即用户并不直接知道LLM生成计算机程序，而是LLM自己判断是否需要生成计算机程序以及生成什么样的程序。在这种情况下，大语言模型需要经过训练，从而实现任务完成的自动化。
在一些实施例中，所述大语言模型是基于深度神经网络利用预先构建的训练数据集采用混合训练的方式训练得到的；其中，所述训练数据集包括任务拆分数据集、任务分类数据集和程序生成数据集；所述混合训练包括任务拆分训练、任务分类训练、代码生成或优化训练中的一种或多种的组合；其中，所述任务拆分训练包括基于深度神经网络利用所述任务拆分数据集采用预设训练算法进行训练，以学习任务拆分数据集中输入的任务需求输入和输出的子任务的对应关系；所述任务分类训练包括基于深度神经网络利用所述任务分类数据集采用预设训练算法进行训练，以学习所述任务分类数据集中输入的子任务和输出的子任务分类的对应关系，所述代码生成或优化训练包括基于深度神经网络利用所述程序生成数据集采用预设训练算法进行训练，以学习所述程序生成数据集中输入的精确逻辑计算子任务和输出的计算机程序的对应关系。
具体地，如图4所示，本发明实施例所指的大模型模块中包括的大语言模型的混合训练方式包括三种不同的训练。训练1为任务拆分训练，其利用存储在任务拆分数据集中的总任务描述(任务需求)-子任务列表样本数据对，利用预设微调算法行训练，直至达到预设结束条件，得到第一训练结果。具体来说，任务拆分数据集中，每个样本的输入为总任务描述，输出为拆分后的子任务列表。任务拆分数据集用于使大语言模型学习输入的任务需求输入和输出的子任务的对应关系，从而能够完成前述的“基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务”的任务，也就是说，训练完成的第一训练结果能够根据任务需求输入不同，拆分成至少一个子任务。需要进行说明的是，任务拆分数据集包括的样本的每一组数据格式为<总任务，拆分后的子任务列表>。
进一步地，训练2为任务分类训练，其目的是训练大模型使之能够从一个子任务中识别出可以用计算机精确实现的部分，其利用存储在任务分类数据集中的子任务-子任务分类样本数据对，利用预设微调算法行训练，直至达到预设结束条件，得到第二训练结果。具体来说，任务分类数据集中，每个样本的输入为子任务，输出为子任务分类。任务分类数据集用于使大语言模型学习输入的子任务和输出的子任务分类的对应关系，从而能够完成精确逻辑计算子任务和其他子任务的分类，也就是说，能够对拆分后的子任务进行任务分类。在一个具体实施例中，子任务的分类主要分为两类，第一类为不涉及需要精确计算/逻辑执行的任务(表示为0)，第二类是涉及需要精确计算/逻辑执行的任务(表示为1)。基于此，任务分类数据集包括的样本的每一组数据格式为<任务，0/1>。
进一步地，训练3为单独的代码生成/优化的训练，即根据程序生成任务的描述，生成相应的计算机程序，其利用存储在程序生成数据集中的子任务-子任务分类样本数据对，利用预设微调算法行训练，直至达到预设结束条件，得到第三训练结果。具体来说，程序生成数据集中，每个样本的输入为程序生成子任务(精确逻辑计算子任务)，输出为计算机程序。程序生成数据集用于使大语言模型学习输入的精确逻辑计算子任务和输出的计算机程序的对应关系，从而能够完成“根据所述精确逻辑计算子任务基于所述大模型模块生成执行程序代码”的任务，也就是说，能够根据需要进行精确计算/逻辑执行的的任务描述生成对应的计算机程序，从而通过计算机程序去执行这些精确计算/逻辑执行的任务。
在一个具体实施例中，程序生成数据集可采用SAGE、HumanEval-X等数据集。
得到第一训练结果、第二训练结果和第三训练结果后，将第一训练结果、第二训练结果和第三训练结果融合，得到大模型模块中的大语言模型。
需要进行强调的是，本发明不对预设微调算法和预设结束条件进行限制，可以根据实际情况进行选择。在一些实施例中，预设微调算法包括LoRA(Low Rank Adaption)低秩适应性微调算法。
在一些实施例中，预设结束条件包括最大迭代次数的限制，在一个具体实施例中，最大迭代次数设为100。
进一步地，在大模型模块中，也可以采用多个大语言模型协作完成上述任务的不同部分，如图5所示。在一个具体实施例中，LLM1可以完成对用户任务需求的整体理解与回答组织，而LLM2完成计算机程序生成的任务。
基于上述实施例，在一些实施例中，所述基于所述大模型模块将所述目标任务仿真模型转化为执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，之前还包括：
基于所述大模型模块将所述精确逻辑计算子任务分配至智能体。
具体地，大模型模块分析任务需求后，建立任务相关的仿真场景，并且将任务进行抽象和处理，分派到不同的智能体上。
进一步地，在程序执行模块中，可以将ABM中的智能体的决策内容由大语言模型替代。
基于上述实施例，在一些实施例中，所述程序执行模块包括至少一个与智能体对应的预先训练的大语言模型；
其中，所述智能体及其对应的大语言模型用于根据分配的所述精确逻辑计算子任务生成智能体决策策略，并根据所述智能体决策策略和获取的环境信息辅助所述执行仿真程序进行仿真。
具体地，如图6所示，大模型模块(LLM1)分析任务后，建立任务相关的仿真场景，并且将任务抽象特化到不同的智能体上。随后大模型模块会利用自己的编程能力将该ABM模型转化为执行程序代码派发给程序执行模块(计算机或有执行程序能力的机器等)，而与智能体相连的大语言模型根据分派到自己智能体的任务生成决策，用于参与ABM模型的仿真过程中。即在仿真每一步过程中，大语言模型LLM2获取自己智能体感知到的环境信息，并根据自己的任务生成对应的决策动作返回给仿真环境。在仿真过程结束后，计算机将仿真结果(精确逻辑计算子任务执行结果)返回给LLM1。
随后进行是否满足任务需求的判断，需要注意的是，在这种情况下，如果存在多个子任务，例如多个精确逻辑计算子任务或其他子任务，依然需要与其他子任务的执行结果整合后的第一综合结果与任务需求进行比较，判断第一综合结果是否达到任务需求，如果没有达到，基于大模型模块则进一步优化分派给智能体的任务，重新进行仿真和决策，，同时优化其他子任务执行结果，直到仿真结果足够用来分析并回答用户的答案。如果仅仅存在一个精确逻辑计算子任务，则使用该精确逻辑计算子任务的执行结果与与任务需求进行比较以及后续调整，本发明在此不做赘述。
为了进一步对大模型辅助所述执行仿真程序进行仿真进行说明，给出一个具体实施例。输入一个象棋残局，子任务为：判断黑方是否有可能获得最终的胜利，如果有可能获胜，应该采取什么样的下棋策略。在这个任务中，ABM模型即仿真两个智能体在该残局下继续后面对决的过程。LLM2则代表其中一个智能体的下棋策略。可以尝试N个不同的策略，并最终向用户返回黑方赢棋的概率，并且给出可以赢的策略。
本发明提供的基于大模型的任务执行方法，通过将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果；其中，所述大模型模块包括至少一个预先训练的大语言模型。本发明基于大模型模块进行大模型知识通用分析能力、代码生成能力与计算机精确执行代码能力的融合，从而针对性进行子任务的执行，将执行结果进行融合并在不满足任务需求的情况下进行优化，实现性能更好的基于大模型的逻辑推理，从而更好的完成用户任务。
下面对本发明提供的基于大模型的任务执行装置进行描述，下文描述的基于大模型的任务执行装置与上文描述的基于大模型的任务执行方法可相互对应参照。如图7所示，该装置包括拆分单元710、执行单元720和优化单元730。
拆分单元710，用于将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；
执行单元720，用于基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；
优化单元730，用于在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果；
其中，所述大模型模块包括至少一个预先训练的大语言模型。
根据本发明提供的一种基于大模型的任务执行装置，所述基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务，具体包括：
基于所述大模型模块对完成所述任务需求的过程进行分析；
根据所述分析的结果按照是否涉及精确逻辑计算将所述任务需求进行拆分，得到精确逻辑计算子任务和其他子任务。
根据本发明提供的一种基于大模型的任务执行装置，所述基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果，具体包括：
根据所述精确逻辑计算子任务基于所述大模型模块生成执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，根据所述程序执行接口获取精确逻辑计算子任务执行结果；
基于所述大模型模块执行所述其他子任务，得到其他子任务执行结果；
基于所述大模型模块将所述精确逻辑计算子任务执行结果和所述其他子任务执行结果整合，得到第一综合结果。
根据本发明提供的一种基于大模型的任务执行装置，所述大语言模型是基于深度神经网络利用预先构建的训练数据集采用混合训练的方式训练得到的；其中，所述训练数据集包括任务拆分数据集、任务分类数据集和程序生成数据集；所述混合训练包括任务拆分训练、任务分类训练、代码生成或优化训练中的一种或多种的组合；其中，所述任务拆分训练包括基于深度神经网络利用所述任务拆分数据集采用预设训练算法进行训练，以学习任务拆分数据集中输入的任务需求输入和输出的子任务的对应关系；所述任务分类训练包括基于深度神经网络利用所述任务分类数据集采用预设训练算法进行训练，以学习所述任务分类数据集中输入的子任务和输出的子任务分类的对应关系，所述代码生成或优化训练包括基于深度神经网络利用所述程序生成数据集采用预设训练算法进行训练，以学习所述程序生成数据集中输入的精确逻辑计算子任务和输出的计算机程序的对应关系。
根据本发明提供的一种基于大模型的任务执行装置，所述根据所述精确逻辑计算子任务基于所述大模型模块生成执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，根据所述程序执行接口获取精确逻辑计算子任务执行结果，具体包括：
基于所述大模型模块根据所述精确逻辑计算子任务生成解决方案，并针对所述精确逻辑计算子任务涉及的场景建立仿真模型，根据所述解决方案和所述仿真模型得到目标任务仿真模型；基于所述大模型模块将所述目标任务仿真模型转化为执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块；
根据所述程序执行接口获取精确逻辑计算子任务执行结果。
根据本发明提供的一种基于大模型的任务执行装置，所述基于所述大模型模块将所述目标任务仿真模型转化为执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，之前还包括：
基于所述大模型模块将所述精确逻辑计算子任务分配至智能体。
根据本发明提供的一种基于大模型的任务执行装置，所述程序执行模块包括执行仿真程序和/或至少一个与智能体对应的预先训练的大语言模型；
其中，所述执行仿真程序用于对所述执行程序代码进行仿真，所述智能体及其对应的大语言模型用于根据分配的所述精确逻辑计算子任务生成智能体决策策略，并根据所述智能体决策策略和获取的环境信息辅助所述执行仿真程序进行仿真。
本发明提供的基于大模型的任务执行装置，通过将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果；其中，所述大模型模块包括至少一个预先训练的大语言模型。本发明基于大模型模块进行大模型知识通用分析能力、代码生成能力与计算机精确执行代码能力的融合，从而针对性进行子任务的执行，将执行结果进行融合并在不满足任务需求的情况下进行优化，实现性能更好的基于大模型的逻辑推理，从而更好的完成用户任务。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(CommunicationsInterface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行基于大模型的任务执行方法，该方法包括：将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果；其中，所述大模型模块包括至少一个预先训练的大语言模型。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于大模型的任务执行方法，该方法包括：将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果；其中，所述大模型模块包括至少一个预先训练的大语言模型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于大模型的任务执行方法，该方法包括：将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果；其中，所述大模型模块包括至少一个预先训练的大语言模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于大模型的任务执行方法，其特征在于，包括：
将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；
基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；
在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果；
其中，所述大模型模块包括至少一个预先训练的大语言模型。
2.根据权利要求1所述的基于大模型的任务执行方法，其特征在于，所述基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务，具体包括：
基于所述大模型模块对完成所述任务需求的过程进行分析；
根据所述分析的结果按照是否涉及精确逻辑计算将所述任务需求进行拆分，得到精确逻辑计算子任务和其他子任务。
3.根据权利要求2所述的基于大模型的任务执行方法，其特征在于，所述基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果，具体包括：
根据所述精确逻辑计算子任务基于所述大模型模块生成执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，根据所述程序执行接口获取精确逻辑计算子任务执行结果；
基于所述大模型模块执行所述其他子任务，得到其他子任务执行结果；
基于所述大模型模块将所述精确逻辑计算子任务执行结果和所述其他子任务执行结果整合，得到第一综合结果。
4.根据权利要求1所述的基于大模型的任务执行方法，其特征在于，所述大语言模型是基于深度神经网络利用预先构建的训练数据集采用混合训练的方式训练得到的；其中，所述训练数据集包括任务拆分数据集、任务分类数据集和程序生成数据集；所述混合训练包括任务拆分训练、任务分类训练、代码生成或优化训练中的一种或多种的组合；其中，所述任务拆分训练包括基于深度神经网络利用所述任务拆分数据集采用预设训练算法进行训练，以学习任务拆分数据集中输入的任务需求输入和输出的子任务的对应关系；所述任务分类训练包括基于深度神经网络利用所述任务分类数据集采用预设训练算法进行训练，以学习所述任务分类数据集中输入的子任务和输出的子任务分类的对应关系，所述代码生成或优化训练包括基于深度神经网络利用所述程序生成数据集采用预设训练算法进行训练，以学习所述程序生成数据集中输入的精确逻辑计算子任务和输出的计算机程序的对应关系。
5.根据权利要求3所述的基于大模型的任务执行方法，其特征在于，所述根据所述精确逻辑计算子任务基于所述大模型模块生成执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，根据所述程序执行接口获取精确逻辑计算子任务执行结果，具体包括：
基于所述大模型模块根据所述精确逻辑计算子任务生成解决方案，并针对所述精确逻辑计算子任务涉及的场景建立仿真模型，根据所述解决方案和所述仿真模型得到目标任务仿真模型；基于所述大模型模块将所述目标任务仿真模型转化为执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块；
根据所述程序执行接口获取精确逻辑计算子任务执行结果。
6.根据权利要求5所述的基于大模型的任务执行方法，其特征在于，所述基于所述大模型模块将所述目标任务仿真模型转化为执行程序代码，根据预先构建的程序执行接口将所述执行程序代码发送至程序执行模块，之前还包括：
基于所述大模型模块将所述精确逻辑计算子任务分配至智能体。
7.根据权利要求6所述的基于大模型的任务执行方法，其特征在于，所述程序执行模块包括执行仿真程序和/或至少一个与智能体对应的预先训练的大语言模型；
其中，所述执行仿真程序用于对所述执行程序代码进行仿真，所述智能体及其对应的大语言模型用于根据分配的所述精确逻辑计算子任务生成智能体决策策略，并根据所述智能体决策策略和获取的环境信息辅助所述执行仿真程序进行仿真。
8.一种基于大模型的任务执行装置，其特征在于，包括：
拆分单元，用于将获取得到的任务需求输入至预先构建的大模型模块，基于所述大模型模块根据所述任务需求进行任务拆分，得到至少一个子任务；
执行单元，用于基于所述大模型模块及与所述大模型模块连接的预先构建的程序执行模块执行所述子任务并整合所述子任务的执行结果，得到第一综合结果；
优化单元，用于在所述第一综合结果不满足所述任务需求的情况下，基于所述大模型模块对所述子任务和/或子任务的执行结果进行优化，得到任务执行结果；
其中，所述大模型模块包括至少一个预先训练的大语言模型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于大模型的任务执行方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于大模型的任务执行方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410682765.1A CN118519680A (zh) | 2024-05-29 | 2024-05-29 | 基于大模型的任务执行方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410682765.1A CN118519680A (zh) | 2024-05-29 | 2024-05-29 | 基于大模型的任务执行方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118519680A true CN118519680A (zh) | 2024-08-20 |
Family
ID=92280701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410682765.1A Pending CN118519680A (zh) | 2024-05-29 | 2024-05-29 | 基于大模型的任务执行方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118519680A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119067094A (zh) * | 2024-09-18 | 2024-12-03 | 中南大学 | 一种基于大语言模型的任务执行方法及相关设备 |
| CN119759356A (zh) * | 2024-12-11 | 2025-04-04 | 北京百度网讯科技有限公司 | 基于大模型的代码生成方法、装置及电子设备 |
| CN119759520A (zh) * | 2024-12-10 | 2025-04-04 | 北京百度网讯科技有限公司 | 任务调度方法、装置、电子设备、可读存储介质和计算机程序产品 |
| CN120012948A (zh) * | 2025-04-22 | 2025-05-16 | 重庆赛力斯凤凰智创科技有限公司 | 基于大模型的任务处理方法、系统、装置、设备及介质 |
| CN120540751A (zh) * | 2025-07-25 | 2025-08-26 | 浙江蚂蚁密算科技有限公司 | 一种基于伪代码的任务执行方法、装置、存储介质及设备 |
-
2024
- 2024-05-29 CN CN202410682765.1A patent/CN118519680A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119067094A (zh) * | 2024-09-18 | 2024-12-03 | 中南大学 | 一种基于大语言模型的任务执行方法及相关设备 |
| CN119759520A (zh) * | 2024-12-10 | 2025-04-04 | 北京百度网讯科技有限公司 | 任务调度方法、装置、电子设备、可读存储介质和计算机程序产品 |
| CN119759356A (zh) * | 2024-12-11 | 2025-04-04 | 北京百度网讯科技有限公司 | 基于大模型的代码生成方法、装置及电子设备 |
| CN119759356B (zh) * | 2024-12-11 | 2025-10-28 | 北京百度网讯科技有限公司 | 基于大模型的代码生成方法、装置及电子设备 |
| CN120012948A (zh) * | 2025-04-22 | 2025-05-16 | 重庆赛力斯凤凰智创科技有限公司 | 基于大模型的任务处理方法、系统、装置、设备及介质 |
| CN120540751A (zh) * | 2025-07-25 | 2025-08-26 | 浙江蚂蚁密算科技有限公司 | 一种基于伪代码的任务执行方法、装置、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN118519680A (zh) | 基于大模型的任务执行方法和装置 | |
| CN117975475A (zh) | 视觉语言模型指令微调方法及装置 | |
| CN111667061A (zh) | 一种基于目标众核的深度学习框架移植与优化方法及系统 | |
| CN118820436A (zh) | 智能问答方法、装置、计算机设备和程序产品 | |
| CN113761148B (zh) | 对话信息获取方法、装置、设备及存储介质 | |
| CN116527411B (zh) | 数据安全智能防护模型构建方法、装置及协作平台 | |
| CN117808946B (zh) | 基于大语言模型的二次元角色构建方法及系统 | |
| KR20250111274A (ko) | 약물 반응성 예측을 위한 범용성 생체신호전달 네트워크를 메타 강화에이전트로 최적화하기 위한 시스템 및 방법 | |
| CN114048301A (zh) | 一种基于满意度的用户模拟方法及系统 | |
| US20200160119A1 (en) | Sequential learning maintaining a learned concept | |
| CN112232891B (zh) | 一种基于大数据分析的客户匹配方法和装置 | |
| Bhan et al. | Self-AMPLIFY: Improving small language models with self post hoc explanations | |
| Leokhin et al. | Research of Neural Networks ChatGPT Used to Generate Code in Python Programming Language | |
| Filmus et al. | Bandit-feedback online multiclass classification: Variants and tradeoffs | |
| CN117634617A (zh) | 知识密集型推理问答方法、装置、电子设备和存储介质 | |
| CN112131587A (zh) | 一种智能合约伪随机数安全检验方法、系统、介质和装置 | |
| Yu et al. | Co-learning: code learning for multi-agent reinforcement collaborative framework with conversational natural language interfaces | |
| CN120524921A (zh) | 基于大模型的计算树逻辑规范表达式生成方法和装置 | |
| CN120104749A (zh) | 结合人类偏好与可验证正确性信号的可靠奖励评价方法及装置 | |
| CN119418945A (zh) | 基于自我进化的大模型智能体问答方法、装置及电子设备 | |
| CN117874621A (zh) | 一种故事质量自动评估方法 | |
| CN117576499A (zh) | 积木拼装方法、装置、电子设备及存储介质 | |
| CN113761149A (zh) | 对话信息处理方法、装置、计算机设备及存储介质 | |
| CN117786416B (zh) | 一种模型训练方法、装置、设备、存储介质及产品 | |
| CN119380691B (zh) | 基于异构图上下文建模的对话式语音合成的情感渲染方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |