WO2024088039A1 - 人机对话方法、对话网络模型的训练方法及装置 - Google Patents

人机对话方法、对话网络模型的训练方法及装置 Download PDF

Info

Publication number
WO2024088039A1
WO2024088039A1 PCT/CN2023/123430 CN2023123430W WO2024088039A1 WO 2024088039 A1 WO2024088039 A1 WO 2024088039A1 CN 2023123430 W CN2023123430 W CN 2023123430W WO 2024088039 A1 WO2024088039 A1 WO 2024088039A1
Authority
WO
WIPO (PCT)
Prior art keywords
knowledge
dialogue
data
sample
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2023/123430
Other languages
English (en)
French (fr)
Inventor
李一同
糜飞
王雅圣
庄兆永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to EP23881618.5A priority Critical patent/EP4571530A4/en
Publication of WO2024088039A1 publication Critical patent/WO2024088039A1/zh
Priority to US19/190,648 priority patent/US20250252267A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation
    • G06F16/33295—Natural language query formulation in dialogue systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Definitions

  • the present disclosure relates to the field of artificial intelligence technology, and in particular to a human-computer dialogue method, a dialogue network model training method and a device.
  • the dialogue system is one of the important technologies in artificial intelligence.
  • the dialogue system is a computer system that aims to assist humans and complete natural, coherent and fluent communication tasks with humans. For example, based on the dialogue system, human-computer dialogue can be completed.
  • the dialogue system may collect user dialogue data initiated by the user, determine feedback dialogue data for the user dialogue data from a preset type knowledge base, and output the feedback dialogue data.
  • the preset type knowledge base includes text knowledge and knowledge graphs.
  • the embodiments of the present disclosure provide a human-computer dialogue method, a training method and a device for a dialogue network model.
  • an embodiment of the present disclosure provides a human-computer dialogue method, the method comprising:
  • second feedback dialogue data corresponding to the second input dialogue data is generated and output, wherein the preset type knowledge base includes: a knowledge graph, text knowledge, and external knowledge other than the knowledge graph and text knowledge.
  • the second semantic keyword is determined by combining the current dialogue environment data so that the second semantic keyword can represent content in more dimensions, thereby improving the rich representation ability of the second semantic keyword.
  • the second feedback dialogue data is determined by introducing external knowledge to determine the second feedback dialogue data from more types of knowledge, which can avoid ambiguity and semantic fuzziness in the second feedback dialogue data caused by the lack of key knowledge, thereby improving the reliability and effectiveness of the second feedback dialogue data and improving the user's interactive experience.
  • generating and outputting second feedback dialogue data corresponding to the second input dialogue data according to the second semantic keyword and the preset type knowledge base includes:
  • the second feedback dialogue data is generated and outputted according to each acquired knowledge corresponding to the second semantic keyword.
  • knowledge corresponding to the second semantic keyword is obtained from various types of knowledge (i.e., external knowledge, knowledge graph, text knowledge), so that the acquired knowledge is richer and more comprehensive, so that when the second feedback dialogue data is determined based on the richer and more comprehensive knowledge, the second feedback dialogue data has higher reliability and validity.
  • knowledge i.e., external knowledge, knowledge graph, text knowledge
  • the method further includes:
  • the knowledge corresponding to the second semantic keyword in the at least one other type of knowledge includes the retrieved knowledge associated with the knowledge corresponding to the second semantic keyword obtained from the first type of knowledge; the first type of knowledge is any one of the external knowledge, the knowledge graph, and the textual knowledge, and the at least one other type of knowledge is any one of the external knowledge, the knowledge graph, and the textual knowledge.
  • related knowledge is acquired from different types of knowledge by means of "multi-hop retrieval", which can avoid omission of knowledge, realize cross-retrieval among different types of knowledge, and improve the diversity and sufficiency of knowledge corresponding to the second semantic keyword.
  • generating and outputting the second feedback dialogue data according to each acquired knowledge corresponding to the second semantic keyword includes:
  • the second feedback dialogue data is generated and outputted according to the respective corresponding target feature vectors.
  • generating and outputting the second feedback dialogue data according to the respective corresponding target feature vectors includes:
  • the second feedback dialogue data is generated and outputted according to the target fusion feature vector.
  • each target feature vector is fused so that the target fused feature vector can represent the features corresponding to each target feature vector, so that when the second feedback dialogue data is determined based on the target fused feature vector, the second feedback dialogue data has higher reliability and validity.
  • the target fusion feature vector is obtained by inputting the respective corresponding target feature vectors into a pre-trained cross-attention network model.
  • generating and outputting the second feedback dialogue data according to each acquired knowledge corresponding to the second semantic keyword includes:
  • the second feedback dialogue data is generated and outputted according to the knowledge after the redundancy removal process.
  • the method further comprises:
  • generating and outputting second feedback dialogue data corresponding to the second input dialogue data based on the second semantic keywords and the preset type knowledge base including: if the third classification result is characterized as the need to introduce the external knowledge, then generating and outputting second feedback dialogue data corresponding to the second input dialogue data based on the second semantic keywords and the preset type knowledge base.
  • the third classification result is obtained by inputting the second historical conversation data, the current conversation environment data, and the second input conversation data into a pre-trained binary classification network model;
  • the binary classification model is a model that is capable of determining whether it is necessary to introduce the external knowledge based on learning a third sample data set
  • the third sample data set includes third sample input dialogue data, third sample historical dialogue data, and second sample dialogue environment data corresponding to the third sample input dialogue data.
  • the second semantic keyword is obtained by inputting the second historical conversation data, the current conversation environment data, and the second input conversation data into a pre-trained generative network model;
  • the generative network model is a model based on the ability of a fourth sample data set to learn third sample semantic keywords corresponding to the fourth sample data set, and the fourth sample data set includes fourth sample input dialogue data, fourth sample historical dialogue data, and third sample dialogue environment data corresponding to the fourth sample input dialogue data.
  • the external knowledge includes network knowledge and multimodal knowledge, wherein the multimodal knowledge is knowledge including pictures and texts.
  • the embodiments of the present disclosure also provide a method for training a dialogue network model, the method comprising:
  • the second sample data set includes second sample input dialogue data input by a user, second sample historical dialogue data, and first sample dialogue environment data corresponding to the second sample input dialogue data;
  • a dialogue network model is trained to have the ability to predict feedback dialogue data corresponding to the input dialogue data, wherein the preset type knowledge base includes: a knowledge graph, text knowledge, and external knowledge other than the knowledge graph and text knowledge.
  • the second sample semantic keywords are determined by combining the first sample dialogue environment data, so that the second sample semantic keywords can represent more dimensional content, thereby improving the rich representation ability of the second sample semantic keywords.
  • the dialogue network model is obtained by introducing external knowledge training, so that the dialogue network model can be obtained from more types of knowledge training, thereby improving the reliability and effectiveness of the dialogue network model and improving the user's interactive experience.
  • the training based on the second sample semantic keyword and the preset type knowledge base, to obtain a dialog network model capable of predicting feedback dialog data corresponding to the input dialog data includes:
  • the dialogue network model is trained based on the acquired knowledge corresponding to the second sample semantic keywords.
  • knowledge corresponding to the second sample semantic keywords is obtained from various types of knowledge (i.e., external knowledge, knowledge graph, and text knowledge), so that the acquired knowledge is richer and more comprehensive.
  • knowledge i.e., external knowledge, knowledge graph, and text knowledge
  • the dialogue network model is trained based on the richer and more comprehensive knowledge, the dialogue network model has higher reliability and effectiveness.
  • the method further includes:
  • the knowledge corresponding to the second sample semantic keyword in the at least one other type of knowledge includes the retrieved knowledge associated with the knowledge corresponding to the second sample semantic keyword obtained from the first type of knowledge;
  • the first type of knowledge is any one of the external knowledge, the knowledge graph, and the text knowledge, and the at least one other type of knowledge is the type of knowledge among the external knowledge, the knowledge graph, and the text knowledge other than the first type of knowledge.
  • related knowledge is acquired from different types of knowledge by means of "multi-hop retrieval", which can avoid omission of knowledge, realize cross-retrieval among different types of knowledge, and improve the diversity and sufficiency of knowledge corresponding to the second sample semantic keywords.
  • the training of the dialogue network model according to each acquired knowledge corresponding to the second sample semantic keyword includes:
  • the dialogue network model is obtained by training according to the corresponding feature vectors.
  • the training of obtaining the dialogue network model according to the corresponding feature vectors includes:
  • the parameters of the fourth neural network model are adjusted according to the second predicted dialogue data fed back to the user and the second pre-labeled dialogue data fed back to the user to obtain the dialogue network model.
  • each feature vector is fused so that the fused feature vector can represent the features corresponding to each feature vector, thereby improving the reliability and effectiveness of the dialogue network model trained based on the fused feature vector.
  • the fused feature vector is obtained by inputting the respective corresponding feature vectors into a pre-trained cross-attention network model.
  • the training of the dialogue network model according to each acquired knowledge corresponding to the second sample semantic keyword includes:
  • De-redundancy processing is performed on each acquired knowledge corresponding to the second sample semantic keyword to obtain de-redundancy processed knowledge
  • the dialogue network model is obtained by training the knowledge after the redundancy removal process.
  • the method further comprises:
  • the dialogue network model capable of predicting feedback dialogue data corresponding to input dialogue data is trained based on the second sample semantic keywords and the preset type knowledge base, including: if the first classification result is characterized by the need to introduce the external knowledge, the dialogue network model is trained based on the second sample semantic keywords and the preset type knowledge base.
  • the first classification result is obtained by inputting the second sample data set into a pre-trained binary classification network model
  • the binary classification model is a model that is capable of determining whether it is necessary to introduce the external knowledge based on learning a third sample data set
  • the third sample data set includes third sample input dialogue data, third sample historical dialogue data, and second sample dialogue environment data corresponding to the third sample input dialogue data.
  • the second sample semantic keyword is obtained by inputting the second sample data set into a pre-trained generative network model
  • the generative network model is a model based on the ability of a fourth sample data set to learn third sample semantic keywords corresponding to the fourth sample data set, and the fourth sample data set includes fourth sample input dialogue data, fourth sample historical dialogue data, and third sample dialogue environment data corresponding to the fourth sample input dialogue data.
  • the embodiments of the present disclosure further provide a human-computer dialogue device, the device comprising:
  • a first acquisition unit used to acquire second historical dialogue data, current dialogue environment data, and second input dialogue data input by the user;
  • a first determining unit configured to determine a second semantic keyword according to the second historical dialogue data, the current dialogue environment data, and the second input dialogue data;
  • a first generating unit configured to generate second feedback dialogue data corresponding to the second input dialogue data according to the second semantic keyword and a preset type knowledge base, wherein the preset type knowledge base includes: a knowledge graph, text knowledge, and external knowledge other than the knowledge graph and text knowledge;
  • An output unit is used to output the second feedback dialogue data.
  • the embodiments of the present disclosure also provide a training device for a dialogue network model, and the device method includes:
  • a second acquisition unit is used to acquire a second sample data set, wherein the second sample data set includes second sample input dialogue data input by the user, second sample historical dialogue data, and first sample dialogue environment data corresponding to the second sample input dialogue data;
  • a second generating unit configured to generate a second sample semantic keyword according to the second sample data set
  • a training unit is used to train a dialogue network model capable of predicting feedback dialogue data corresponding to input dialogue data based on the second sample semantic keywords and a preset type knowledge base, wherein the preset type knowledge base includes: a knowledge graph, text knowledge, and external knowledge other than the knowledge graph and text knowledge.
  • the embodiments of the present disclosure further provide a computer storage medium, on which computer instructions are stored.
  • the computer instructions are executed by a processor, the human-computer interaction method described in any of the above embodiments is executed; or, the training method of the dialogue network model described in any of the above embodiments is executed.
  • the embodiments of the present disclosure further provide an electronic device, including:
  • the memory stores computer instructions that can be executed by the at least one processor, and the computer instructions are executed by the at least one processor, so that the human-computer interaction method described in any of the above embodiments is executed; or, the training method of the dialogue network model described in any of the above embodiments is executed.
  • the embodiments of the present disclosure further provide a computer program product, which, when executed on a processor, enables the human-computer interaction method described in any of the above embodiments to be executed; or, enables the training method of the dialogue network model described in any of the above embodiments to be executed.
  • the embodiments of the present disclosure further provide a chip, including:
  • An input interface used to obtain the second historical dialogue data, the current dialogue environment data, and the second input dialogue data input by the user;
  • a logic circuit configured to execute the human-computer interaction method as described in any of the above embodiments, to obtain second feedback dialogue data corresponding to the second input dialogue data;
  • An output interface is used to output the second feedback dialogue data.
  • the embodiments of the present disclosure further provide a chip, including:
  • An input interface used to obtain a second sample data set, wherein the second sample data set includes second sample input dialogue data input by a user, second sample historical dialogue data, and first sample dialogue environment data corresponding to the second sample input dialogue data;
  • a logic circuit configured to execute the method for training a dialog network model as described in any of the above embodiments, to obtain a dialog network model capable of predicting feedback dialog data corresponding to input dialog data;
  • An output interface is used to output the dialogue network model.
  • the embodiments of the present disclosure further provide a terminal device, including:
  • a data collection device used to obtain the second historical dialogue data, the current dialogue environment data, and the second input dialogue data input by the user;
  • a dialogue system used to determine a second semantic keyword based on the second historical dialogue data, the current dialogue environment data, and the second input dialogue data, and to generate and output second feedback dialogue data corresponding to the second input dialogue data based on the second semantic keyword and a preset type knowledge base, wherein the preset type knowledge base includes: a knowledge graph, text knowledge, and external knowledge other than the knowledge graph and text knowledge.
  • FIG1 is a schematic diagram of a method for training a dialogue network model according to an embodiment of the present disclosure
  • FIG2 is a schematic diagram of a human-computer dialogue method according to an embodiment of the present disclosure
  • FIG3 is a schematic diagram showing the principle of a method for training a dialogue network model according to an embodiment of the present disclosure
  • FIG4 is a schematic diagram of a method for training a dialogue network model according to another embodiment of the present disclosure.
  • FIG5 is a schematic diagram of a human-computer dialogue method according to another embodiment of the present disclosure.
  • FIG6 is a schematic diagram of a human-computer dialogue method according to another embodiment of the present disclosure.
  • FIG7 is a schematic diagram showing the principle of a method for training a dialogue network model according to another embodiment of the present disclosure.
  • FIG8 is a first schematic diagram of a scenario of a human-computer dialogue method according to an embodiment of the present disclosure
  • FIG9 is a second schematic diagram of a scenario of the human-computer dialogue method according to an embodiment of the present disclosure.
  • FIG10 is a schematic diagram of a human-machine dialogue device according to an embodiment of the present disclosure.
  • FIG11 is a schematic diagram of a human-machine dialogue device according to another embodiment of the present disclosure.
  • FIG12 is a schematic diagram of a training device for a dialogue network model according to an embodiment of the present disclosure.
  • FIG13 is a schematic diagram of a training device for a dialogue network model according to another embodiment of the present disclosure.
  • FIG. 14 is a schematic diagram of an electronic device according to an embodiment of the present disclosure.
  • AI Artificial Intelligence
  • Dialogue system is one of the important technologies in artificial intelligence.
  • Dialogue system is a computer system that aims to assist humans and complete natural, coherent and fluent communication tasks with humans.
  • dialogue systems can be divided into different types, such as Question Answering (QA), Task-Oriented, and Open-domain.
  • QA Question Answering
  • Task-Oriented Task-Oriented
  • Open-domain Open-domain
  • the question-answering dialogue system can be applied to scenarios where users need to answer questions, such as voice customer service in e-commerce stores and voice customer service in banks. Accordingly, the implementation principle of the question-answering dialogue system is as follows: in response to receiving dialogue data input by the user, the dialogue data includes questions raised by the user, searching and matching in a pre-built knowledge base based on the dialogue data, obtaining a feedback message for answering the question raised by the user from the knowledge base, and outputting the feedback message.
  • the knowledge base can be a structured knowledge base, an unstructured knowledge base, or a semi-structured knowledge base.
  • a knowledge base can be understood as a knowledge base that manages knowledge in the form of relational knowledge base tables
  • an unstructured knowledge base can be understood as a knowledge base that does not have a fixed pattern
  • a semi-structured knowledge base can be understood as a knowledge base that does not have a relational pattern but has a basic fixed structure pattern.
  • a knowledge base includes knowledge, and the existence of knowledge in different types of knowledge bases may be different.
  • a structured knowledge base may include a knowledge graph or a table.
  • An unstructured knowledge base may include free documents.
  • a semi-structured knowledge base may include a question-answer pair (QA pair).
  • the task-based dialogue system can be applied to scenarios where tasks corresponding to the dialogue data input by the user are completed, such as ticket booking, navigation, etc. Accordingly, the implementation principle of the task-based dialogue system is: in response to receiving the dialogue data input by the user, determining the user intent corresponding to the dialogue data, and executing the task corresponding to the user intent.
  • the technical architecture of the task-based dialogue system includes two types: pipeline and end-to-end.
  • the task-based dialogue system with pipeline technical architecture mainly includes six modules: speech recognition (Automatic Speech Recognition, ASR), intention understanding (Natural Language Understanding, NLU), dialogue state tracking (DST), policy learning (PL), natural language generation (NLG), and speech generation (Text To Speech, TTS). DST and PL are collectively referred to as the dialogue management module (Dialogue Manager, DM).
  • the task-based dialogue system with end-to-end technical architecture refers to an end-to-end task-based dialogue system composed of deep learning neural networks.
  • the open domain dialogue system can be implemented in two ways, one is a search-based system and the other is a generative system.
  • the search-based open domain dialogue system is similar to the question-answering dialogue system, which will not be described here.
  • the generative open domain dialogue system can map the dialogue data input by the user into a reply sequence for replying to the dialogue data based on a pre-trained sequence-to-sequence model, determine the feedback message for answering the question raised by the user based on the reply sequence, and output the feedback message.
  • the dialogue system can be implemented based on a neural network model.
  • the neural network model in the training phase, can be trained so that the neural network model learns the ability to reply to the dialogue data input by the user, thereby obtaining a dialogue network model for replying to the dialogue data input by the user.
  • the input of the dialogue network model is the dialogue data input by the user, and the output is a feedback message for replying to the dialogue data.
  • the training principle of the dialogue network model is now exemplarily described as follows in conjunction with FIG1:
  • S101 Acquire a first sample data set, where the first sample data set includes first sample input dialogue data input by a user and first sample historical dialogue data.
  • the training of the neural network model can be performed in the cloud or locally, which is not limited in this embodiment.
  • the execution subject can be a server or server cluster deployed in the cloud. If the conversation network model is trained locally, the execution subject can be any one of a server, server cluster, processor, and chip deployed locally.
  • This embodiment does not limit the amount of data in the first sample data set, which can be determined based on demand, historical records, and experiments. For example, for a scenario with relatively high accuracy requirements, the amount of data in the first sample data set can be relatively large; conversely, for a scenario with relatively low accuracy requirements, the amount of data in the first sample data set can be relatively small.
  • the first sample input dialogue data may be understood as dialogue data (such as audio) input by the user to the dialogue system in the historical dialogue between the user and the dialogue system.
  • the first sample historical dialogue data may be understood as data (such as audio) in which the dialogue system responds to dialogue data input by the user to the dialogue system in the historical dialogue between the user and the dialogue system.
  • S102 Generate a first sample semantic keyword corresponding to the first sample data set.
  • the first sample semantic keyword can be understood as understanding the first sample input dialogue data based on natural language understanding (such as intent understanding in the task-based dialogue system in the above example) to obtain the user's intention to communicate with the dialogue system.
  • natural language understanding such as intent understanding in the task-based dialogue system in the above example
  • the first sample semantic keyword may be a word or a sentence, which is not limited in this embodiment.
  • the knowledge base may include text knowledge and/or knowledge graph.
  • this step can be understood as: based on the semantic similarity matching method, retrieving knowledge with a high semantic similarity to the first sample semantic keyword from the knowledge graph.
  • this step can be understood as: based on the semantic similarity matching method, retrieving knowledge with a high semantic similarity to the first sample semantic keyword from the text knowledge.
  • this step can be understood as: based on the semantic similarity matching method, retrieve the knowledge with high semantic similarity to the first sample semantic keyword from the knowledge graph, and based on the semantic similarity matching method, retrieve the knowledge with high semantic similarity to the first sample semantic keyword from the text. Knowledge with a high semantic similarity to the semantic keyword of the first sample is retrieved from this knowledge.
  • the method for calculating semantic similarity may include: vectorizing the first sample semantic keyword and each knowledge in the knowledge base respectively to obtain a first vector corresponding to the first sample semantic keyword and a second vector corresponding to each knowledge in the knowledge base, and respectively calculating the cosine distance between the first vector and each second vector to obtain the first semantic similarity corresponding to the first sample semantic keyword and each knowledge in the knowledge base.
  • a first similarity threshold can be set. If the first semantic similarity between a certain knowledge in the knowledge base and the first sample semantic keyword reaches (i.e. is greater than or equal to) the first similarity threshold, then the knowledge in the knowledge base is knowledge that is semantically similar to the first sample semantic keyword; conversely, if the first semantic similarity between a certain knowledge in the knowledge base and the first sample semantic keyword does not reach (i.e. is less than) the first similarity threshold, then the knowledge in the knowledge base is not knowledge that is semantically similar to the first sample semantic keyword.
  • S104 Input the first sample data set and the acquired knowledge that is semantically similar to the first sample semantic keyword into the first neural network model, train the first neural network model, and obtain a dialogue network model.
  • the first neural network model can be understood as a neural network model initialized before training, and the dialogue network model can be understood as a neural network model obtained after training that can be used to predict dialogue data to reply to the user.
  • This embodiment does not limit the type, framework, and parameters of the first neural network model.
  • the input of the first neural network model includes three dimensions of content, namely: the first sample input conversation data, the first sample historical conversation data, and the acquired knowledge that is semantically similar to the first semantic keyword.
  • S104 may include: inputting the first sample input conversation data, the first sample historical conversation data, and the acquired knowledge semantically similar to the first sample semantic keyword into the first neural network model respectively, obtaining the first predicted conversation data for feedback to the user, calculating the first loss value between the first predicted conversation data for feedback to the user and the first pre-labeled conversation data for feedback to the user, and adjusting the parameters of the first neural network model based on the first loss value, and so on, until the first number of iterations reaches a first preset number threshold, or the first loss value is less than or equal to the first preset loss threshold, thereby obtaining a conversation model.
  • the first preset number threshold and the first preset loss threshold can be determined based on demand, historical records, and experiments, and this embodiment does not limit this.
  • S201 Acquire first input dialogue data input by the user.
  • the dialogue network model can be trained in the cloud or locally. Accordingly, the application of the dialogue network model can be implemented in the cloud or locally. However, considering the real-time requirements of the dialogue and the requirements for efficient feedback, the application of the dialogue network model is usually implemented locally.
  • the execution subject of the dialogue network model obtained through training we can call the execution subject of the dialogue network model obtained through training a training device, and call the execution subject of the dialogue network model applied an application device.
  • the training device and the application device can be the same device or different devices, which is not limited in this embodiment.
  • the training device can establish a communication link with the application device, and after the training device obtains the dialogue network model through training, the training device can send the dialogue network model to the application device based on the communication link. Accordingly, the application device can implement a dialogue with the user based on the dialogue network model.
  • the dialogue system can be applied to different scenarios, and for different application scenarios, the application device may be different devices.
  • the application device may be a computer of the e-commerce store with a dialogue network model deployed.
  • the application device may be an intelligent robot with a dialogue network model deployed.
  • the application device may be a vehicle-mounted terminal with a dialogue network model deployed.
  • the application device can also be a mobile terminal or a smart speaker, etc., which are not listed here one by one.
  • the application device may include a sound pickup component to obtain the first input dialogue data input by the user through the sound pickup component.
  • the sound pickup component may be an audio collector such as a microphone for collecting audio.
  • S202 Generate a first semantic keyword according to the first input dialogue data and the acquired first historical dialogue data.
  • the first historical conversation data is data that the conversation system responds to the conversation data input by the user to the conversation system before receiving the first input conversation data, and thus, may be the same data as the first sample historical conversation data or may be different data.
  • the task-based dialogue system includes an intention understanding module. Accordingly, as shown in Figure 3, the application task-based dialogue system obtains the first input dialogue data and the first historical dialogue data, and generates a first semantic keyword through the intention understanding module.
  • S203 Based on the first semantic keyword, a semantic search is performed in a pre-built knowledge base to obtain knowledge with semantics similar to the first semantic keyword.
  • the knowledge base may include text knowledge and/or knowledge graph.
  • a semantic search is performed in the textual knowledge and/or knowledge graph based on the first semantic keyword to obtain knowledge with semantically similar meanings to the first semantic keyword.
  • S204 Input the first input dialogue data, the first historical dialogue data, and the acquired knowledge that is semantically similar to the first semantic keyword into the dialogue network model trained based on the method described in S101-S104 above, to obtain first feedback dialogue data fed back to the user.
  • the first input dialogue data, the first historical dialogue data, and the acquired knowledge semantically similar to the first semantic keyword are input into the dialogue network model to obtain first feedback dialogue data fed back to the user.
  • the dialogue network model can determine the first feedback dialogue data in response to the first input dialogue data input by the user based on the input.
  • S205 Outputting first feedback dialogue data fed back to the user.
  • the application device may include an output component to output the first feedback dialogue data fed back to the user through the output component, wherein the output component may be a speaker.
  • sensitive information in the first feedback dialogue data may be filtered through public opinion control to obtain filtered first feedback dialogue data, and the filtered first feedback dialogue data may be output to the user for feedback.
  • the dialogue system may include a public opinion control module, and the output of the dialogue network model (i.e., the first feedback dialogue data) may be input into the public opinion control module, so that the public opinion control module filters the first feedback dialogue data, so that the output of the dialogue system is replied to the filtered first feedback dialogue data.
  • the output of the dialogue network model i.e., the first feedback dialogue data
  • text knowledge and knowledge graphs may not contain knowledge such as hot events and hot topics due to untimely updates; on the other hand, the knowledge representation of text knowledge and knowledge graphs is often sparse and limited, and it is difficult to represent knowledge at different granularities. Therefore, the knowledge represented by text knowledge and knowledge graphs is relatively not comprehensive; on the other hand, it is difficult to fully express and understand knowledge in a single dimension. For example, limited historical conversation data and single text knowledge may lack key information and lead to ambiguity and semantic fuzziness.
  • the inventors of the present disclosure have creatively worked to obtain the inventive concept of the present disclosure: providing feedback on the input dialogue data input by the user by combining multiple different types of knowledge, and on this basis, providing feedback on the input dialogue data input by the user by combining a "multi-hop supplement" method.
  • Multi-hop supplementation refers to searching for knowledge related to another type of knowledge from one type of knowledge.
  • Multimodal knowledge refers to knowledge obtained by combining information of at least two modalities. For example, if multimedia information includes information represented by pictures, information represented by text, and information represented by audio, then the multimedia information can be multimodal knowledge, and the multimodal knowledge is knowledge obtained by combining information represented by pictures, information represented by text, and information represented by audio.
  • Network knowledge can be understood as online knowledge obtained from the Internet, such as online knowledge obtained from wikis based on the Internet, online knowledge obtained from encyclopedias based on the Internet, and so on. They are not listed one by one here.
  • S401 Acquire a second sample data set, where the second sample data set includes second sample input dialogue data input by a user, second sample historical dialogue data, and first sample dialogue environment data corresponding to the second sample input dialogue data.
  • the execution subject of this embodiment can be a training device, and the training device can be deployed in the cloud or locally, etc., which will not be listed here one by one.
  • the first sample dialogue environment data can be understood as data used to describe objects in a dialogue scene, such as data describing the location of a dialogue scene, data describing the status of a user in a dialogue scene, data describing the emotions of a user in a dialogue scene, and so on.
  • S402 Input the second sample data set into a pre-trained binary classification network model to obtain a first classification result of whether external knowledge needs to be introduced.
  • external knowledge refers to other knowledge besides knowledge graphs and text knowledge, such as image knowledge, multimodal knowledge, network knowledge, etc.
  • the binary classification network model is trained based on the third sample data set and is used to determine whether external knowledge needs to be introduced into the neural network model.
  • For the principle of training the binary classification network model please refer to the following steps:
  • the first step obtaining a third sample data set, wherein the third sample data set includes third sample input dialogue data, third sample historical dialogue data, and second sample dialogue environment data corresponding to the third sample input dialogue data.
  • Step 2 Input the third sample data set into the binary classification network model and output the second classification result, wherein the second classification result is used to indicate whether external knowledge needs to be introduced.
  • the third step calculate the second loss value between the second classification result and the pre-labeled classification result, and adjust the parameters of the binary classification network model based on the second loss value, and so on, until the second iteration number reaches the second preset number threshold, or the second loss value is less than or equal to the second preset loss threshold, thereby obtaining a trained binary classification network model.
  • the second preset number threshold and the second preset loss threshold can be determined based on demand, historical records, and experiments, and this embodiment does not limit this.
  • the binary classification model may be a knowledge distillation (Tinybert) model.
  • the principle of generating the second sample semantic keyword can refer to the above embodiments, such as the embodiment described in S102.
  • the generative network model may be pre-trained to determine the second sample semantic keyword based on the generative network model and the second sample data set.
  • the principle of training the generative network model may refer to the following steps:
  • the first step obtaining a fourth sample data set, wherein the fourth sample data set includes fourth sample input dialogue data, fourth sample historical dialogue data, and third sample dialogue environment data corresponding to the fourth sample input dialogue data.
  • Step 2 Input the fourth sample data set into the second neural network model and output the third sample semantic keywords.
  • the third step calculate the third loss value between the third sample semantic keyword and the pre-labeled sample semantic keyword, and adjust the parameters of the second neural network model based on the third loss value, and so on, until the third number of iterations reaches the third preset number threshold, or the third loss value is less than or equal to the third preset loss threshold, thereby obtaining a trained generated network model.
  • the third preset number threshold and the third preset loss threshold can be determined based on demand, historical records, and experiments, and this embodiment does not limit this. This embodiment does not limit the type, structure, and parameters of the second neural network model.
  • S403 can be replaced by: if the first classification result representation needs to introduce external knowledge, the second sample data set is input into the generation network model, and the second sample semantic keywords are output.
  • S404 Acquire knowledge corresponding to the second sample semantic keyword from a plurality of different types of knowledge respectively.
  • knowledge corresponding to the second sample semantic keyword is obtained from text knowledge, graph knowledge, and external knowledge respectively.
  • the various different types of knowledge include: text knowledge, knowledge graph, image knowledge, multimodal knowledge, and network knowledge. Therefore, this step can be understood as: obtaining the knowledge corresponding to the second sample semantic keyword from the text knowledge, and for the sake of distinction, the acquired knowledge can be called the first knowledge; obtaining the knowledge corresponding to the second sample semantic keyword from the knowledge graph, and for the sake of distinction, the acquired knowledge can be called the second knowledge; obtaining the knowledge corresponding to the second sample semantic keyword from the multimodal knowledge, and for the sake of distinction, the acquired knowledge can be called the third knowledge; obtaining the knowledge corresponding to the second sample semantic keyword from the network knowledge, and for the sake of distinction, the acquired knowledge can be called the fourth knowledge; obtaining the knowledge corresponding to the second sample semantic keyword from the image knowledge, and for the sake of distinction, the acquired knowledge can be called the fifth knowledge.
  • Different methods may be used to acquire knowledge corresponding to the second sample semantic keyword from different types of knowledge.
  • a sentence retrieval method (such as the algorithm bm25 used to evaluate relevance) or a sparse retrieval method (such as the algorithm bm25 used to evaluate relevance) can be used. methods), etc., to obtain knowledge corresponding to the semantic keywords of the second sample from network knowledge.
  • the "encoding + similarity calculation” method can be used to obtain knowledge corresponding to the semantic keywords of the second sample from text knowledge and knowledge graphs.
  • a graph network (Natural Graph) corresponding to the knowledge graph is constructed, and each piece of knowledge in the knowledge graph is encoded based on the graph network to obtain a third vector corresponding to each piece of knowledge in the knowledge graph.
  • the second sample semantic keywords are encoded to obtain a fourth vector, and the second semantic similarity between the fourth vector and each third vector is calculated respectively.
  • the knowledge corresponding to the third vector whose second semantic similarity is greater than a preset second similarity threshold is determined as the knowledge corresponding to the second sample semantic keyword.
  • a semantic matching network model may also be pre-trained to obtain knowledge corresponding to the second sample semantic keyword from text knowledge and knowledge graph based on the semantic matching network model.
  • the principle of training the semantic matching network model may refer to the following steps:
  • the first step obtaining a fifth sample data set, wherein the fifth sample data set includes at least one fifth vector and a plurality of sixth vectors.
  • the second step input at least one fifth vector and multiple sixth vectors into the third neural network model, and output a matching result, where the matching result is a sixth vector that semantically matches the at least one fifth vector.
  • the third step calculate the fourth loss value between the matching result and the pre-calibrated matching result, and adjust the parameters of the third neural network model based on the fourth loss value, and so on, until the fourth iteration number reaches the fourth preset number threshold, or the fourth loss value is less than or equal to the fourth preset loss threshold, thereby obtaining a trained semantic matching network model.
  • the fourth preset number threshold and the fourth preset loss threshold can be determined based on demand, historical records, and experiments, and this embodiment does not limit this.
  • This embodiment does not limit the type, structure, and parameters of the third neural network model.
  • the third neural network model can be a language representation model (Bidirectional Encoder Representation from Transformers, BERT).
  • the fourth vector and each third vector may be respectively input into the semantic matching network model, and a third vector semantically matched with the third vector may be output.
  • the method of the dual-tower structure model can be used to obtain knowledge corresponding to the second sample semantic keyword from the image knowledge and multimodal knowledge.
  • the dual-tower structure model includes an image encoder and a text encoder, and the dual-tower structure model is trained by calculating the loss based on the image encoder and the text encoder respectively.
  • the specific implementation principle can be found in the relevant technology, which will not be repeated here.
  • a supplementary search may be performed in other types of knowledge based on the knowledge to obtain supplementary search knowledge.
  • knowledge related to the first knowledge can be obtained from the knowledge graph, and this knowledge can be called supplementary retrieval knowledge.
  • knowledge related to the first knowledge can be obtained from the knowledge graph and text knowledge respectively.
  • the supplementary search knowledge may be obtained from one other type of knowledge, or may be obtained from multiple other types of knowledge, which is not limited in this embodiment.
  • the “related” in “knowledge related to the first knowledge” can be understood as having a strong correlation with the first knowledge.
  • the knowledge corresponding to the second sample semantic keyword is obtained from various different types of knowledge.
  • the same knowledge may exist in different types of knowledge.
  • the knowledge obtained corresponding to the second sample semantic keyword can be de-redundant, such as removing duplicate knowledge, the same knowledge in different expressions, and knowledge with high similarity from the knowledge obtained corresponding to the second sample semantic keyword (the implementation principle can be found in the above example and will not be repeated here).
  • S405 Encode the acquired knowledge corresponding to the second sample semantic keyword respectively to obtain the corresponding feature vectors.
  • the first knowledge is encoded to obtain a feature vector corresponding to the first knowledge.
  • this feature vector can be called the first feature vector
  • the second knowledge is encoded to obtain a feature vector corresponding to the second knowledge.
  • this feature vector can be called the second feature vector
  • the third knowledge is encoded to obtain a feature vector corresponding to the third knowledge.
  • this feature vector can be called the third feature vector
  • the fourth knowledge is encoded to obtain a feature vector corresponding to the fourth knowledge.
  • this feature vector can be called the fourth feature vector
  • the fifth knowledge is encoded to obtain a feature vector corresponding to the fifth knowledge.
  • this feature vector can be called the fifth feature vector.
  • S406 Input each obtained feature vector into a pre-trained cross-attention network model to fuse each feature vector based on the cross-attention network model to obtain a fused feature vector.
  • the first eigenvector, the second eigenvector, the third eigenvector, the fourth eigenvector, and the fifth eigenvector are respectively input into a pre-trained cross-attention network model to output a fused feature vector.
  • the first step obtaining a sixth sample data set, wherein the sixth sample data set includes a sample first feature vector, a sample second feature vector, a sample third feature vector, a sample fourth feature vector, and a sample fifth feature vector.
  • the first feature vector of the sample is obtained by encoding the knowledge corresponding to the annotated semantic keywords obtained from text knowledge;
  • the second feature vector of the sample is obtained by encoding the knowledge corresponding to the annotated semantic keywords obtained from knowledge graph knowledge;
  • the third feature vector of the sample is obtained by encoding the knowledge corresponding to the annotated semantic keywords obtained from multimodal knowledge;
  • the fourth feature vector of the sample is obtained by encoding the knowledge corresponding to the annotated semantic keywords obtained from network knowledge;
  • the fifth feature vector of the sample is obtained by encoding the knowledge corresponding to the annotated semantic keywords obtained from image knowledge.
  • Step 2 Input the sixth sample data set into the cross-attention network model and output the predicted fused feature vector.
  • the third step calculate the fifth loss value between the predicted fusion feature vector and the pre-labeled fusion feature vector, and adjust the parameters of the cross-attention network model based on the fifth loss value, and so on, until the fifth iteration number reaches the fifth preset number threshold, or the fifth loss value is less than or equal to the fifth preset loss threshold, thereby obtaining a trained cross-attention network model.
  • the fifth preset number threshold and the fifth preset loss threshold can be determined based on demand, historical records, and experiments, and this embodiment does not limit this.
  • S407 Input the fused feature vector to the fourth neural network, and output the second predicted dialogue data fed back to the user.
  • S408 Calculate the sixth loss value between the second predicted dialogue data fed back to the user and the second pre-labeled dialogue data fed back to the user, and adjust the parameters of the fourth neural network model based on the sixth loss value, and so on, until the sixth iteration number reaches the sixth preset number threshold, or the sixth loss value is less than or equal to the sixth preset loss threshold, thereby obtaining a trained dialogue network model.
  • the sixth preset number threshold and the sixth preset loss threshold can be determined based on demand, historical records, and experiments, and this embodiment does not limit this. This embodiment does not limit the type, structure, and parameters of the fourth neural network model.
  • S501 Acquire second historical dialogue data, current dialogue environment data, and second input dialogue data input by the user.
  • the dialogue network model can be trained in the cloud or locally. Accordingly, the application of the dialogue network model can be implemented in the cloud or locally. However, considering the real-time requirements of the dialogue and the requirements for efficient feedback, the application of the dialogue network model is usually implemented locally.
  • the execution subject of the dialogue network model obtained through training we can call the execution subject of the dialogue network model obtained through training a training device, and call the execution subject of the dialogue network model applied an application device.
  • the training device and the application device can be the same device or different devices, which is not limited in this embodiment.
  • the training device can establish a communication link with the application device, and after the training device obtains the dialogue network model through training, the training device can send the dialogue network model to the application device based on the communication link. Accordingly, the application device can implement a dialogue with the user based on the dialogue network model.
  • the dialogue system can be applied to different scenarios, and for different application scenarios, the application device may be different devices.
  • the application device may be a computer of the e-commerce store with a dialogue network model deployed.
  • the application device may be an intelligent robot with a dialogue network model deployed.
  • the application device may be a vehicle-mounted terminal with a dialogue network model deployed.
  • the application device can also be a mobile terminal or a smart speaker, etc., which are not listed here one by one.
  • the application device may include a sound pickup component to obtain the second input dialogue data input by the user through the sound pickup component.
  • the sound pickup component may be an audio collector such as a microphone for collecting audio.
  • the current conversation environment data can be obtained based on sensors set in the application device.
  • the sensors in different application scenarios may be different.
  • the sensor in the conversation scenario between the user indoors and the smart speaker, the sensor may be an image acquisition device; in another example, in the conversation scenario between the user outdoors and the car, the sensor may be an image acquisition device.
  • the sensor In the dialogue scenario of the terminal, the sensor can be a speed sensor, etc., which are not listed here one by one.
  • S502 Determine a second semantic keyword according to the second historical dialogue data, the current dialogue environment data, and the second input dialogue data.
  • three dimensions of data i.e., second historical conversation data, current conversation environment data, and second input conversation data
  • second semantic keyword has both current environment characteristics and current user conversation characteristics as well as historical conversation characteristics, so that the second semantic keyword has higher reliability.
  • S503 Generate and output second feedback dialogue data corresponding to the second input dialogue data according to the second semantic keyword and a preset type knowledge base, wherein the preset type knowledge base includes: a knowledge graph, text knowledge, and external knowledge other than the knowledge graph and text knowledge.
  • external knowledge is introduced to generate and output second feedback dialogue data by combining the external knowledge, thereby reducing the situation where the application device cannot understand, solving the problems of slow updating of text knowledge and graph knowledge, difficulty in comprehensive coverage and maintenance, sparse and limited knowledge, and single text knowledge being difficult to fully express comprehensive knowledge, thereby achieving the effectiveness and reliability of human-computer dialogue.
  • S601 Acquire the second input dialogue data, the second historical dialogue data, and the current dialogue environment data input by the user.
  • S602 The second input dialogue data, the second historical dialogue data, and the current dialogue environment data input by the user are input into the binary classification network model trained based on the method described in the above example to obtain a third classification result of whether external knowledge needs to be referenced.
  • the task-based dialogue system includes a binary classification network model
  • the input of the binary classification network model is the second input dialogue data, the second historical dialogue data, and the current dialogue environment data
  • the output is a third classification result.
  • the task-based dialogue system also includes a generation network model
  • the input of the generation network model is the second input dialogue data, the dialogue history data, and the current dialogue environment data
  • the output is the second semantic keyword
  • S604 Acquire knowledge corresponding to the second semantic keyword from a plurality of different types of knowledge respectively.
  • the different types of knowledge include: text knowledge, knowledge graph, picture knowledge, multimodal knowledge, and network knowledge.
  • picture knowledge may include both image content and text content
  • picture knowledge and multimodal knowledge are referred to as multimodal knowledge such as pictures.
  • the knowledge corresponding to the second semantic keyword can be obtained from text knowledge, knowledge graphs, multimodal knowledge such as pictures, and network knowledge.
  • more knowledge corresponding to the second semantic keyword can be obtained by using the "multi-hop search" method shown in Figure 7.
  • Cross-validation refers to verifying the knowledge corresponding to the second semantic keyword acquired from at least two different types of knowledge to determine whether there is redundant knowledge so as to remove the redundant knowledge.
  • S605 Encode the acquired knowledge corresponding to the second semantic keyword respectively to obtain the corresponding target feature vectors.
  • S606 Input each target feature vector obtained into the cross-attention network model trained based on the method described in the above example, so as to fuse each target feature vector based on the cross-attention network model to obtain a target fused feature vector.
  • the task-based dialogue system also includes a cross-attention network model, the input of the cross-attention network model is the result of encoding the acquired knowledge corresponding to the second semantic keyword, and the output is a target fusion feature vector.
  • S607 Input the target fused feature vector to the dialogue network model trained based on the example described in S401-S408 to obtain second feedback dialogue data fed back to the user.
  • the task-based dialogue system also includes a dialogue network model
  • the output of the cross-attention network model is the input of the dialogue network model
  • the output of the dialogue network model is the second feedback dialogue data
  • sensitive information in the second feedback dialogue data can be filtered through public opinion control to obtain filtered second feedback dialogue data, so that the second feedback dialogue data after filtering is fed back to the user.
  • the task-based dialogue system also includes a public opinion control module.
  • the input of the public opinion control module is the dialogue network model
  • the output of the public opinion control module is used to filter the first feedback dialogue data so that the output of the dialogue system is replied to the first feedback dialogue data after filtering.
  • the dialogue system (such as a voice assistant, etc.) in the mobile terminal can determine that the second semantic keyword of the second input dialogue data is “panda,” and then the knowledge corresponding to “panda” can be obtained from network knowledge, such as obtaining knowledge about pandas from Wikipedia as shown in FIG8 , “Pandas are distributed in a certain city...,” and picture knowledge of pandas can also be obtained as shown in FIG8 .
  • the second feedback dialogue data output by the dialogue system in the mobile terminal may be “black and white, so cute” as shown in FIG. 8 .
  • the dialogue system (such as a voice assistant, etc.) in the mobile terminal can determine that the second semantic keyword of the second input dialogue data is “key”, and then the knowledge corresponding to “key” can be obtained from network knowledge, such as obtaining knowledge about the key from Wikipedia as shown in FIG9 “The key is to open the lock...”, or obtaining picture knowledge of the key as shown in FIG9 .
  • the second feedback dialogue data output by the dialogue system in the mobile terminal may be “It should be placed on the bookshelf” as shown in FIG. 9 .
  • FIG. 8 and FIG. 9 are only used to exemplify the knowledge corresponding to the second semantic keyword that may be obtained, and should not be understood as a limitation on obtaining the knowledge corresponding to the second semantic keyword.
  • the first neural network model and the second neural network model can be neural network models of the same type; for another example, the third sample data set and the fourth sample data set can use the same data set; for another example, the first preset number threshold can be greater than the second number threshold, or less than the second number threshold, or equal to the second number threshold, etc., which will not be listed here one by one.
  • the present disclosure further provides a human-machine dialogue device.
  • FIG10 is a schematic diagram of a human-machine dialogue device according to an embodiment of the present disclosure. As shown in FIG10 , the human-machine dialogue device 100 includes:
  • the first acquisition unit 1001 is used to acquire the second historical dialogue data, the current dialogue environment data, and the second input dialogue data input by the user.
  • the first determining unit 1002 is configured to determine a second semantic keyword according to the second historical dialogue data, the current dialogue environment data, and the second input dialogue data.
  • the first generating unit 1003 is used to generate second feedback dialogue data corresponding to the second input dialogue data according to the second semantic keyword and a preset type knowledge base, wherein the preset type knowledge base includes: a knowledge graph, text knowledge, and external knowledge other than the knowledge graph and text knowledge.
  • the output unit 1004 is configured to output the second feedback dialogue data.
  • FIG. 11 is a schematic diagram of a human-machine dialogue device according to another embodiment of the present disclosure. As shown in FIG. 11 , the human-machine dialogue device 1100 includes:
  • the first acquisition unit 1101 is used to acquire the second historical dialogue data, the current dialogue environment data, and the second input dialogue data input by the user.
  • the first determining unit 1102 is configured to determine a second semantic keyword according to the second historical dialogue data, the current dialogue environment data, and the second input dialogue data.
  • the second semantic keyword is obtained by inputting the second historical conversation data, the current conversation environment data, and the second input conversation data into a pre-trained generative network model;
  • the generative network model is a model based on the ability of a fourth sample data set to learn third sample semantic keywords corresponding to the fourth sample data set, and the fourth sample data set includes fourth sample input dialogue data, fourth sample historical dialogue data, and third sample dialogue environment data corresponding to the fourth sample input dialogue data.
  • the second determining unit 1103 determines whether it is necessary to introduce the third classification result of the external knowledge according to the second historical dialogue data, the current dialogue environment data, and the second input dialogue data.
  • the first generating unit 1104 is used to generate second feedback dialogue data corresponding to the second input dialogue data according to the second semantic keyword and a preset type knowledge base, wherein the preset type knowledge base includes: a knowledge graph, text knowledge, and external knowledge other than the knowledge graph and text knowledge.
  • the first generating unit 1104 is configured to, if the third classification result is characterized as requiring the introduction of the external knowledge, Then, second feedback dialogue data corresponding to the second input dialogue data is generated according to the second semantic keyword and the preset type knowledge base.
  • the third classification result is obtained by inputting the second historical conversation data, the current conversation environment data, and the second input conversation data into a pre-trained binary classification network model;
  • the binary classification model is a model that is capable of determining whether it is necessary to introduce the external knowledge based on learning a third sample data set
  • the third sample data set includes third sample input dialogue data, third sample historical dialogue data, and second sample dialogue environment data corresponding to the third sample input dialogue data.
  • the first generating unit 1104 includes:
  • the first acquisition subunit 11041 is used to acquire the knowledge corresponding to the second semantic keyword from the external knowledge, the knowledge graph, and the text knowledge respectively.
  • the generating subunit 11042 is used to generate the second feedback dialogue data according to each acquired knowledge corresponding to the second semantic keyword.
  • the first generating unit 1104 further includes:
  • the first retrieval subunit 11043 is used to search in at least one other type of knowledge based on the knowledge corresponding to the second semantic keyword obtained from the first type of knowledge, to obtain knowledge associated with the knowledge corresponding to the second semantic keyword obtained from the first type of knowledge.
  • the knowledge corresponding to the second semantic keyword in the at least one other type of knowledge includes the retrieved knowledge associated with the knowledge corresponding to the second semantic keyword obtained from the first type of knowledge;
  • the first type of knowledge is any one of the external knowledge, the knowledge graph, and the text knowledge, and the at least one other type of knowledge is the type of knowledge among the external knowledge, the knowledge graph, and the text knowledge other than the first type of knowledge.
  • the generating subunit 11042 includes:
  • the first encoding module is used to encode each acquired knowledge corresponding to the second semantic keyword to obtain the corresponding target feature vector.
  • the first generating module is used to generate the second feedback dialogue data according to the respective corresponding target feature vectors.
  • the first generation module includes:
  • the first fusion submodule is used to perform fusion processing on the respective corresponding target feature vectors to obtain a target fused feature vector.
  • a generating submodule is used to generate the second feedback dialogue data according to the target fusion feature vector.
  • the generating subunit 11042 further includes:
  • the first processing module is used to perform redundancy removal processing on each acquired knowledge corresponding to the second semantic keyword to obtain knowledge after redundancy removal processing.
  • the second generating module is used to generate the second feedback dialogue data according to the knowledge after the redundancy removal processing.
  • the output unit 1105 is configured to output the second feedback dialogue data.
  • FIG12 is a schematic diagram of a training device for a dialogue network model according to an embodiment of the present disclosure.
  • a human-computer dialogue device 1200 includes:
  • the second acquisition unit 1201 is used to acquire a second sample data set, where the second sample data set includes second sample input dialogue data input by the user, second sample historical dialogue data, and first sample dialogue environment data corresponding to the second sample input dialogue data.
  • the second generating unit 1202 is configured to generate a second sample semantic keyword according to the second sample data set.
  • the training unit 1203 is used to train a dialogue network model capable of predicting feedback dialogue data corresponding to the input dialogue data based on the second sample semantic keywords and a preset type knowledge base, wherein the preset type knowledge base includes: a knowledge graph, text knowledge, and external knowledge other than the knowledge graph and text knowledge.
  • FIG13 is a schematic diagram of a training device for a dialogue network model according to another embodiment of the present disclosure.
  • a human-computer dialogue device 1300 includes:
  • the second acquisition unit 1301 is used to acquire a second sample data set, where the second sample data set includes second sample input dialogue data input by the user, second sample historical dialogue data, and first sample dialogue environment data corresponding to the second sample input dialogue data.
  • the second generating unit 1302 is configured to generate a second sample semantic keyword according to the second sample data set.
  • the third determining unit 1303 is used to determine whether it is necessary to introduce the first classification result of the external knowledge according to the second sample data set.
  • the training unit 1304 is used to train the prediction and input A conversation network model of feedback conversation data capability corresponding to conversation data, wherein the preset type knowledge base includes: a knowledge graph, text knowledge, and external knowledge other than the knowledge graph and text knowledge.
  • the first classification result is obtained by inputting the second sample data set into a pre-trained binary classification network model
  • the binary classification model is a model that is capable of determining whether it is necessary to introduce the external knowledge based on learning a third sample data set
  • the third sample data set includes third sample input dialogue data, third sample historical dialogue data, and second sample dialogue environment data corresponding to the third sample input dialogue data.
  • the second sample semantic keywords are obtained by inputting the second sample data set into a pre-trained generative network model
  • the generative network model is a model based on the ability of a fourth sample data set to learn third sample semantic keywords corresponding to the fourth sample data set, and the fourth sample data set includes fourth sample input dialogue data, fourth sample historical dialogue data, and third sample dialogue environment data corresponding to the fourth sample input dialogue data.
  • the training unit 1304 is used to train the dialogue network model according to the second sample semantic keywords and a preset type knowledge base if the first classification result is characterized as needing to introduce the external knowledge.
  • the training unit 1304 includes:
  • the second acquisition subunit 13041 is used to acquire the knowledge corresponding to the second sample semantic keyword from the external knowledge, the knowledge graph, and the text knowledge respectively.
  • the training subunit 13042 is used to train the dialogue network model according to the acquired knowledge corresponding to the second sample semantic keywords.
  • the training subunit 13042 includes:
  • the second encoding module is used to encode each acquired knowledge corresponding to the second sample semantic keyword to obtain the corresponding feature vector.
  • the second encoding module includes:
  • a second fusion submodule is used to fuse the corresponding feature vectors to obtain a fused feature vector
  • An input submodule used for inputting the fused feature vector into a fourth neural network, and outputting second predicted dialogue data fed back to the user;
  • An adjustment submodule is used to adjust the parameters of the fourth neural network model according to the second predicted dialogue data fed back to the user and the second pre-labeled dialogue data fed back to the user to obtain the dialogue network model.
  • the fused feature vector is obtained by inputting the respective corresponding feature vectors into a pre-trained cross-attention network model.
  • the first training module is used to train the dialogue network model according to the corresponding feature vectors.
  • the training unit 1304 further includes:
  • the second retrieval subunit 13043 is used to search in at least one other type of knowledge based on the knowledge corresponding to the second sample semantic keyword obtained from the first type of knowledge, and obtain knowledge associated with the knowledge corresponding to the second sample semantic keyword obtained from the first type of knowledge.
  • the knowledge corresponding to the second sample semantic keyword in the at least one other type of knowledge includes the retrieved knowledge associated with the knowledge corresponding to the second sample semantic keyword obtained from the first type of knowledge;
  • the first type of knowledge is any one of the external knowledge, the knowledge graph, and the text knowledge, and the at least one other type of knowledge is the type of knowledge among the external knowledge, the knowledge graph, and the text knowledge other than the first type of knowledge.
  • the training subunit 13042 further includes:
  • a second processing module is used to perform redundancy removal processing on each acquired knowledge corresponding to the second sample semantic keyword to obtain knowledge after redundancy removal processing;
  • the second training module is used to obtain the dialogue network model according to the knowledge training after the redundancy removal processing.
  • the electronic device 1400 may include one or more of the following components: a processing component 1401, a memory 1402, a power component 1403, a multimedia component 1404, an audio component 1405, an input/output (I/O) interface 1406, a sensor component 1407, and a communication component 1408.
  • a processing component 1401 a memory 1402, a power component 1403, a multimedia component 1404, an audio component 1405, an input/output (I/O) interface 1406, a sensor component 1407, and a communication component 1408.
  • the processing component 1401 generally controls the overall operation of the electronic device 1400, such as operations associated with video playback, display, phone calls, data communications, camera operations, and recording operations.
  • the processing component 1401 may include one or more processors 14011 to execute instructions, To complete all or part of the steps of the above method.
  • the processing component 1401 may include one or more modules to facilitate the interaction between the processing component 1401 and other components.
  • the processing component 1401 may include a multimedia module to facilitate the interaction between the multimedia component 1404 and the processing component 1404.
  • the memory 1402 is configured to store various types of data to support operations on the electronic device 1400. Examples of such data include instructions for any application or method operating on the electronic device 1400, such as videos, contact data, phone book data, messages, and pictures, etc.
  • the memory 1402 can be implemented by any type of volatile or non-volatile storage device or a combination thereof, such as static random access memory (SRAM), electrically erasable programmable read-only memory (EEPROM), erasable programmable read-only memory (EPROM), programmable read-only memory (PROM), read-only memory (ROM), magnetic memory, flash memory, magnetic disk or optical disk.
  • SRAM static random access memory
  • EEPROM electrically erasable programmable read-only memory
  • EPROM erasable programmable read-only memory
  • PROM programmable read-only memory
  • ROM read-only memory
  • magnetic memory flash memory
  • flash memory magnetic disk or optical disk.
  • the power supply component 1403 provides power to various components of the electronic device 1400.
  • the power supply component 1403 may include a power management system, one or more power supplies, and other components associated with generating, managing, and distributing power to the electronic device 1400.
  • the multimedia component 1404 includes a screen that provides an output interface between the electronic device 1400 and the user.
  • the screen may include a liquid crystal display (LCD) and a touch panel (TP). If the screen includes a touch panel, the screen may be implemented as a touch screen to receive input signals from the user.
  • the touch panel includes one or more touch sensors to sense touch, slide, and gestures on the touch panel. The touch sensor may not only sense the boundaries of the touch or slide action, but also detect the duration and pressure associated with the touch or slide operation.
  • the multimedia component 1404 includes a front camera and/or a rear camera.
  • the front camera and/or the rear camera may receive external multimedia data.
  • Each front camera and the rear camera may be a fixed optical lens system or have a focal length and optical zoom capability.
  • the audio component 1405 is configured to output and/or input audio data.
  • the audio component 1405 includes a microphone (MIC), and when the electronic device 1400 is in an operating mode, such as a call mode, a recording mode, and a speech recognition mode, the microphone is configured to receive external audio data.
  • the received audio data can be further stored in the memory 1402 or sent via the communication component 1408.
  • the audio component 1405 also includes a speaker for outputting audio data, such as outputting the audio gain and original audio data determined by the method described in the above embodiment.
  • I/O interface 1406 provides an interface between processing component 1401 and peripheral interface modules, which may be keyboards, click wheels, buttons, etc. These buttons may include but are not limited to: home button, volume button, start button, and lock button.
  • the sensor assembly 1407 includes one or more sensors for providing various aspects of status assessment for the electronic device 1400.
  • the sensor assembly 1407 can detect the open/closed state of the electronic device 1400, the relative positioning of components, such as the display and keypad of the electronic device 1400, and the sensor assembly 1407 can also detect the position change of the electronic device 1400 or a component of the electronic device 1400, the presence or absence of user contact with the electronic device 1400, the orientation or acceleration/deceleration of the electronic device 1400, and the temperature change of the electronic device 1400.
  • the sensor assembly 1407 may include a proximity sensor configured to detect the presence of nearby objects without any physical contact.
  • the sensor assembly 1407 may also include an optical sensor, such as a CMOS or CCD image sensor, for use in imaging applications.
  • the sensor assembly 1407 may also include an acceleration sensor, a gyroscope sensor, a magnetic sensor, a pressure sensor, or a temperature sensor.
  • the communication component 1408 is configured to facilitate wired or wireless communication between the electronic device 1400 and other devices.
  • the electronic device 1400 can access a wireless network based on a communication standard, such as WiFi, 2G or 3G, or a combination thereof.
  • the communication component 1408 receives a broadcast signal or broadcast-related information from an external broadcast management system via a broadcast channel.
  • the communication component 1408 also includes a near field communication (NFC) module to facilitate short-range communication.
  • the NFC module can be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • the electronic device 1400 may be implemented by one or more application-specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), controllers, microcontrollers, microprocessors, or other electronic components to perform the above methods.
  • ASICs application-specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • controllers microcontrollers, microprocessors, or other electronic components to perform the above methods.
  • a non-transitory computer-readable storage medium including instructions is also provided, such as a memory 1402 including instructions, and the instructions can be executed by a processor 14011 of an electronic device 1400 to perform the above method.
  • the non-transitory computer-readable storage medium can be a ROM, a random access memory (RAM), a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, etc.
  • the embodiments of the present disclosure further provide a computer storage medium, on which computer instructions are stored.
  • the computer instructions are executed by a processor, the human-computer interaction method described in any of the above embodiments is executed; or, the training method of the dialogue network model described in any of the above embodiments is executed.
  • the embodiments of the present disclosure further provide a computer program product, which, when executed on a processor, enables the human-computer interaction method described in any of the above embodiments to be executed; or, enables the training method of the dialogue network model described in any of the above embodiments to be executed.
  • the embodiments of the present disclosure further provide a chip, including:
  • An input interface used to obtain the second historical dialogue data, the current dialogue environment data, and the second input dialogue data input by the user;
  • a logic circuit configured to execute the human-computer interaction method as described in any of the above embodiments, to obtain second feedback dialogue data corresponding to the second input dialogue data;
  • An output interface is used to output the second feedback dialogue data.
  • the embodiments of the present disclosure further provide a chip, including:
  • An input interface used to obtain a second sample data set, wherein the second sample data set includes second sample input dialogue data input by a user, second sample historical dialogue data, and first sample dialogue environment data corresponding to the second sample input dialogue data;
  • a logic circuit configured to execute the method for training a dialog network model as described in any of the above embodiments, to obtain a dialog network model capable of predicting feedback dialog data corresponding to input dialog data;
  • An output interface is used to output the dialogue network model.
  • the embodiments of the present disclosure further provide a terminal device, including:
  • a data collection device used to obtain the second historical dialogue data, the current dialogue environment data, and the second input dialogue data input by the user;
  • a dialogue system used to determine a second semantic keyword based on the second historical dialogue data, the current dialogue environment data, and the second input dialogue data, and to generate and output second feedback dialogue data corresponding to the second input dialogue data based on the second semantic keyword and a preset type knowledge base, wherein the preset type knowledge base includes: a knowledge graph, text knowledge, and external knowledge other than the knowledge graph and text knowledge.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本公开实施例提供了一种人机对话方法、对话网络模型的训练方法及装置，包括：获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据，根据第二历史对话数据、当前的对话环境数据、第二输入对话数据确定第二语义关键字，根据第二语义关键字和预设类型知识库，生成并输出与第二输入对话数据对应的第二反馈对话数据，其中，预设类型知识库包括：知识图谱、文本知识、以及除知识图谱和文本知识之外的外部知识，可以避免第二反馈对话数据因关键知识的缺失而导致的歧义和语义模糊，提高了第二反馈对话数据的可靠性和有效性，且提高用户的交互体验。

Description

人机对话方法、对话网络模型的训练方法及装置
本申请要求于2022年10月28日提交中国专利局、申请号为202211335469.1、申请名称为“人机对话方法、对话网络模型的训练方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及人工智能技术领域，尤其涉及一种人机对话方法、对话网络模型的训练方法及装置。
背景技术
对话系统是人工智能中的重要技术之一，对话系统旨在辅助人类并与人类完成自然、连贯、流畅的交流任务的计算机系统。如，基于对话系统，可以完成人机对话。
在一些实施例中，对话系统可以采集用户发起的用户对话数据，并从预设类型知识库中确定针对用户对话数据的反馈对话数据，并输出反馈对话数据。其中，预设类型知识库包括文本知识和知识图谱。
然而，文本知识和知识图谱中的知识更新相对较慢，可能导致确定出的反馈对话数据有歧义或者不清楚。
发明内容
为提高人机对话的可靠性和有效性，本公开实施例提供了一种人机对话方法、对话网络模型的训练方法及装置。
根据本公开实施例的一个方面，本公开实施例提供了一种人机对话方法，所述方法包括：
获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据；
根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据确定第二语义关键字；
根据所述第二语义关键字和预设类型知识库，生成并输出与所述第二输入对话数据对应的第二反馈对话数据，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
在本实施例中，一方面，通过结合当前的对话环境数据确定第二语义关键字，使得第二语义关键字可以表征更多维度的内容，提高第二语义关键字的丰富表征能力，另一方面，通过引入外部知识确定第二反馈对话数据，以从更多类型的知识中确定第二反馈对话数据，可以避免第二反馈对话数据因关键知识的缺失而导致的歧义和语义模糊，从而提高第二反馈对话数据的可靠性和有效性，提高用户的交互体验。
在一些实施例中，所述根据所述第二语义关键字和预设类型知识库，生成并输出与所述第二输入对话数据对应的第二反馈对话数据，包括：
分别从所述外部知识、所述知识图谱、所述文本知识中，获取与所述第二语义关键字对应的知识；
根据各获取到的与所述第二语义关键字对应的知识，生成并输出所述第二反馈对话数据。
在本实施例中，通过从各类型的知识(即外部知识、知识图谱、文本知识)中，分别获取第二语义关键字对应的知识，使得获取到的知识较为丰富和全面，以便当基于较为丰富和全面的知识确定第二反馈对话数据时，使得第二反馈对话数据具有较高的可靠性和有效性。
在一些实施例中，在所述分别从所述外部知识、所述知识图谱、所述文本知识中，获取与所述第二语义关键字对应的知识之后，所述方法还包括：
根据从第一类型知识获取到的与所述第二语义关键字对应的知识，在至少一个其他类型知识中进行检索，得到与从第一类型知识获取到的与所述第二语义关键字对应的知识相关联的知识；
其中，所述至少一个其他类型知识中的与所述第二语义关键字对应的知识包括检索得到的与所述从第一类型知识获取到的与所述第二语义关键字对应的知识相关联的知识；所述第一类型知识为所述外部知识、所述知识图谱、所述文本知识中的任意一种，所述至少一个其他类型知识为所述外部知识、所述 知识图谱、所述文本知识中除所述第一类型知识之外的类型知识。
在本实施例中，通过“多跳检索”的方式从不同类型的知识获取相关联的知识，可以避免知识的遗漏，实现在不同类型的知识中的交叉检索，提高了与第二语义关键字对应的知识的多样性和充分性。
在一些实施例中，根据各获取到的与所述第二语义关键字对应的知识，生成并输出所述第二反馈对话数据，包括：
对各获取到的与所述第二语义关键字对应的知识分别进行编码，得到各自对应的目标特征向量；
根据所述各自对应的目标特征向量，生成并输出所述第二反馈对话数据。
在一些实施例中，所述根据所述各自对应的目标特征向量，生成并输出所述第二反馈对话数据，包括：
对所述各自对应的目标特征向量进行融合处理，得到目标融合特征向量；
根据所述目标融合特征向量生成并输出所述第二反馈对话数据。
在本实施例中，通过对各目标特征向量进行融合处理，以使得目标融合特征向量可以表征各目标特征向量各自对应的特征，以便当基于目标融合特征向量确定第二反馈对话数据时，使得第二反馈对话数据具有较高的可靠性和有效性。
在一些实施例中，所述目标融合特征向量是将所述各自对应的目标特征向量输入至预先训练得到的交叉注意力网络模型得到的。
在一些实施例中，所述根据各获取到的与所述第二语义关键字对应的知识，生成并输出所述第二反馈对话数据，包括：
对各获取到的与所述第二语义关键字对应的知识进行去冗余处理，得到去冗余处理后的知识；
根据所述去冗余处理后的知识生成并输出所述第二反馈对话数据。
在本实施例中，通过去冗余处理，可以避免数据冗余，减少数据处理量，提高交互效率。
在一些实施例中，所述方法还包括：
根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据，确定是否需要引入所述外部知识的第三分类结果；
以及，所述根据所述第二语义关键字和预设类型知识库，生成并输出与所述第二输入对话数据对应的第二反馈对话数据，包括：若所述第三分类结果表征为需要引入所述外部知识，则根据所述第二语义关键字和预设类型知识库，生成并输出与所述第二输入对话数据对应的第二反馈对话数据。
在本实施例中，通过先确定是否需要引入外部知识，以便在知识图谱和文本知识无法满足对话需求的情况下，引入外部知识，以结合外部知识确定第二反馈对话数据，使得第二反馈对话数据可以满足用户的对话需求，提高交互体验。
在一些实施例中，所述第三分类结果是将所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据输入至预先训练的二分类网络模型得到的；
其中，所述二分类模型是基于第三样本数据集学习确定是否需要引入所述外部知识的能力的模型，所述第三样本数据集中包括第三样本输入对话数据、第三样本历史对话数据、以及与第三样本输入对话数据对应的第二样本对话环境数据。
在一些实施例中，所述第二语义关键字是将所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据输入至预先训练的生成网络模型得到的；
其中，所述生成网络模型是基于第四样本数据集学习与所述第四样本数据集对应的第三样本语义关键字的能力的模型，所述第四样本数据集中包括第四样本输入对话数据、第四样本历史对话数据、以及与第四样本输入对话数据对应的第三样本对话环境数据。
在一些实施例中，外部知识包括网络知识和多模态知识，其中，多模态知识为包括图片和文本的知识。
在本实施例中，通过结合外部知识确定第二反馈对话数据，可以避免因文本知识和知识图谱因为更新不及时而导致的第二反馈对话数据没有考虑到热点事件、热门话题等知识，从而提高了第二反馈对话数据的时效性、有效性、可靠性。
根据本公开实施例的另一个方面，本公开实施例还提供了一种对话网络模型的训练方法，所述方法包括：
获取第二样本数据集，所述第二样本数据集中包括用户输入的第二样本输入对话数据、第二样本历史对话数据、与所述第二样本输入对话数据对应的第一样本对话环境数据；
根据所述第二样本数据集生成第二样本语义关键字；
根据所述第二样本语义关键字和预设类型知识库，训练得到具有预测与输入对话数据对应的反馈对话数据能力的对话网络模型，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
在本实施例中，一方面，通过结合第一样本对话环境数据确定第二样本语义关键字，使得第二样本语义关键字可以表征更多维度的内容，提高第二样本语义关键字的丰富表征能力，另一方面，通过引入外部知识训练得到对话网络模型，以从更多类型的知识训练得到对话网络模型，从而提高对话网络模型的可靠性和有效性，提高用户的交互体验。
在一些实施例中，所述根据所述第二样本语义关键字和预设类型知识库，训练得到具有预测与输入对话数据对应的反馈对话数据能力的对话网络模型，包括：
分别从所述外部知识、所述知识图谱、所述文本知识中，获取与所述第二样本语义关键字对应的知识；
根据各获取到的与所述第二样本语义关键字对应的知识，训练得到所述对话网络模型。
在本实施例中，通过从各类型的知识(即外部知识、知识图谱、文本知识)中，分别获取第二样本语义关键字对应的知识，使得获取到的知识较为丰富和全面，以便当基于较为丰富和全面的知识训练得到对话网络模型时，使得对话网络模型具有较高的可靠性和有效性。
在一些实施例中，在所述分别从所述外部知识、所述知识图谱、所述文本知识中，获取与所述第二样本语义关键字对应的知识之后，所述方法还包括：
根据从第一类型知识获取到的与所述第二样本语义关键字对应的知识，在至少一个其他类型知识中进行检索，得到与从第一类型知识获取到的与所述第二样本语义关键字对应的知识相关联的知识；
其中，所述至少一个其他类型知识中的与所述第二样本语义关键字对应的知识包括检索得到的与所述从第一类型知识获取到的与所述第二样本语义关键字对应的知识相关联的知识；所述第一类型知识为所述外部知识、所述知识图谱、所述文本知识中的任意一种，所述至少一个其他类型知识为所述外部知识、所述知识图谱、所述文本知识中除所述第一类型知识之外的类型知识。
在本实施例中，通过“多跳检索”的方式从不同类型的知识获取相关联的知识，可以避免知识的遗漏，实现在不同类型的知识中的交叉检索，提高了与第二样本语义关键字对应的知识的多样性和充分性。
在一些实施例中，所述根据各获取到的与所述第二样本语义关键字对应的知识，训练得到所述对话网络模型，包括：
对各获取到的与所述第二样本语义关键字对应的知识分别进行编码，得到各自对应的特征向量；
根据所述各自对应的特征向量训练得到所述对话网络模型。
在一些实施例中，所述根据所述各自对应的特征向量训练得到所述对话网络模型，包括：
对所述各自对应的特征向量进行融合处理，得到融合特征向量；
将所述融合特征向量输入至第四神经网络，输出第二预测的向用户反馈的对话数据；
根据所述第二预测的向用户反馈的对话数据、以及第二预先标注的向用户反馈的对话数据对所述第四神经网络模型的参数进行调整，得到所述对话网络模型。
在本实施例中，通过对各特征向量进行融合处理，以使得融合特征向量可以表征各特征向量各自对应的特征，以提高基于融合特征向量训练得到的对话网络模型的可靠性和有效性。
在一些实施例中，所述融合特征向量是将所述各自对应的特征向量输入至预先训练得到的交叉注意力网络模型得到的。
在一些实施例中，所述根据各获取到的与所述第二样本语义关键字对应的知识，训练得到所述对话网络模型，包括：
对各获取到的与所述第二样本语义关键字对应的知识进行去冗余处理，得到去冗余处理后的知识；
根据所述去冗余处理后的知识训练得到所述对话网络模型。
在本实施例中，通过去冗余处理，可以避免数据冗余，减少数据处理量，提高训练效率。
在一些实施例中，所述方法还包括：
根据所述第二样本数据集，确定是否需要引入所述外部知识的第一分类结果；
以及，所述根据所述第二样本语义关键字和预设类型知识库，训练得到具有预测与输入对话数据对应的反馈对话数据能力的对话网络模型，包括：若所述第一分类结果表征为需要引入所述外部知识，则根据所述第二样本语义关键字和预设类型知识库，训练得到所述对话网络模型。
在本实施例中，通过先确定是否需要引入外部知识，以便在知识图谱和文本知识无法满足训练需求的情况下，引入外部知识，以结合外部知识确定训练得到对话网络模型，使得对话网络模型可以满足用户的对话需求，提高人机交互时的交互体验。
在一些实施例中，所述第一分类结果是将所述第二样本数据集输入至预先训练的二分类网络模型得到的；
其中，所述二分类模型是基于第三样本数据集学习确定是否需要引入所述外部知识的能力的模型，所述第三样本数据集中包括第三样本输入对话数据、第三样本历史对话数据、以及与第三样本输入对话数据对应的第二样本对话环境数据。
在一些实施例中，所述第二样本语义关键字是将所述第二样本数据集输入至预先训练的生成网络模型得到的；
其中，所述生成网络模型是基于第四样本数据集学习与所述第四样本数据集对应的第三样本语义关键字的能力的模型，所述第四样本数据集中包括第四样本输入对话数据、第四样本历史对话数据、以及与第四样本输入对话数据对应的第三样本对话环境数据。
根据本公开实施例的另一个方面，本公开实施例还提供了一种人机对话装置，所述装置包括：
第一获取单元，用于获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据；
第一确定单元，用于根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据确定第二语义关键字；
第一生成单元，用于根据所述第二语义关键字和预设类型知识库，生成与所述第二输入对话数据对应的第二反馈对话数据，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识；
输出单元，用于输出所述第二反馈对话数据。
根据本公开实施例的另一个方面，本公开实施例还提供了一种对话网络模型的训练装置，装置方法包括：
第二获取单元，用于获取第二样本数据集，所述第二样本数据集中包括用户输入的第二样本输入对话数据、第二样本历史对话数据、与所述第二样本输入对话数据对应的第一样本对话环境数据；
第二生成单元，用于根据所述第二样本数据集生成第二样本语义关键字；
训练单元，用于根据所述第二样本语义关键字和预设类型知识库，训练得到具有预测与输入对话数据对应的反馈对话数据能力的对话网络模型，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
根据本公开实施例的另一个方面，本公开实施例还提供了一种计算机存储介质，所述计算机存储介质上存储有计算机指令，当所述计算机指令在被处理器运行时，使得如上任意实施例所述的人机交互方法被执行；或者，使得如上任意实施例所述的对话网络模型的训练方法被执行。
根据本公开实施例的另一个方面，本公开实施例还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机指令，所述计算机指令被所述至少一个处理器执行，使得如上任意实施例所述的人机交互方法被执行；或者，使得如上任意实施例所述的对话网络模型的训练方法被执行。
根据本公开实施例的另一个方面，本公开实施例还提供了一种计算机程序产品，当所述计算机程序产品在处理器上运行时，使得如上任意实施例所述的人机交互方法被执行；或者，使得如上任意实施例所述的对话网络模型的训练方法被执行。
根据本公开实施例的另一个方面，本公开实施例还提供了一种芯片，包括：
输入接口，用于获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据；
逻辑电路，用于执行如上任意实施例所述的人机交互方法，得到与所述第二输入对话数据对应的第二反馈对话数据；
输出接口，用于输出所述第二反馈对话数据。
根据本公开实施例的另一个方面，本公开实施例还提供了一种芯片，包括：
输入接口，用于获取第二样本数据集，所述第二样本数据集中包括用户输入的第二样本输入对话数据、第二样本历史对话数据、与所述第二样本输入对话数据对应的第一样本对话环境数据；
逻辑电路，用于执行如上任意实施例所述的对话网络模型的训练方法，得到具有预测与输入对话数据对应的反馈对话数据能力的对话网络模型；
输出接口，用于输出所述对话网络模型。
根据本公开实施例的另一个方面，本公开实施例还提供了一种终端设备，包括：
数据采集装置，用于获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据；
对话系统，用于根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据确定第二语义关键字，并根据所述第二语义关键字和预设类型知识库，生成并输出与所述第二输入对话数据对应的第二反馈对话数据，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
附图说明
图1为本公开一个实施例的对话网络模型的训练方法的示意图；
图2为本公开一个实施例的人机对话方法的示意图；
图3为本公开一个实施例的对话网络模型的训练方法的原理示意图；
图4为本公开另一实施例的对话网络模型的训练方法的示意图；
图5为本公开另一实施例的人机对话方法的示意图；
图6为本公开另一实施例的人机对话方法的示意图；
图7为本公开另一实施例的对话网络模型的训练方法的原理示意图；
图8为本公开实施例的人机对话方法的场景示意图一；
图9为本公开实施例的人机对话方法的场景示意图二；
图10为本公开一个实施例的人机对话装置的示意图；
图11为本公开另一实施例的人机对话装置的示意图；
图12为本公开一个实施例的对话网络模型的训练装置的示意图；
图13为本公开另一实施例的对话网络模型的训练装置的示意图；
图14为本公开实施例的电子设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸和扩展人类的智能的理论、方法、技术及应用系统的技术科学。对话系统是人工智能中的重要技术之一，对话系统旨在辅助人类并与人类完成自然、连贯、流畅的交流任务的计算机系统。
示例性地，基于不同的对话需求，可以将对话系统可以分为不同的类型，如：问答型(Question Answering，QA)、任务型(Task-Oriented)、以及开放域(Open-domain)。
问答型对话系统可以应用于针对用户所提出的问题进行答复的场景，如电商店铺的语音客服、银行的语音客服等场景。相应的，问答型对话系统的实现原理为：响应于接收到用户输入的对话数据，该对话数据中包括用户所提出的问题，根据该对话数据在预先构建的知识库中进行检索匹配，以从知识库中得到用于答复用户所提出的问题的反馈消息，并输出该反馈消息。
其中，知识库可以为结构化知识库，也可以为非结构化知识库，还可以为半结构化知识库。结构化 知识库可以理解为以关系知识库表形式管理的知识的知识库，非结构化知识库可以理解为没有固定模式的知识的知识库，半结构化知识库可以理解为非关系模式的、有基本固定结构模式的知识的知识库。也就是说，知识库中包括知识，且不同类型的知识库中的知识的存在方式可能并不相同。
示例性地，结构化知识库可以包括知识图谱，也可以包括表格。非结构化知识库可以包括自由文档。半结构化知识库可以包括问答型对(QA pair)。
任务型对话系统可以应用于根据用户输入的对话数据，完成与该对话数据对应的任务的场景，订票、导航等场景。相应的，任务型对话系统的实现原理为：响应于接收到用户输入的对话数据，确定与该对话数据对应的用户意图，并执行与用户意图对应的任务。
其中，任务型对话系统的技术架构包括管道(pipeline)式和端到端(End-to-End)式两种类型。管道式技术架构的任务型对话系统主要包含语音识别(Automatic Speech Recognition,ASR)、意图理解(Natural Language Understanding，NLU)、对话状态跟踪(Dialogue State Tracking，DST)、策略学习(Policy Learning，PL)、自然语言生成(Natural Language Generation，NLG)、语音生成(Text To Speech,TTS)六大模块，DST和PL统称为对话管理模块(Dialogue Manager，DM)。端到端式技术架构的任务型对话系统是指利用深度学习神经网络组成的端到端的任务型对话系统。
开放域对话系统可以通过两种方式实现，一种为检索式，一种为生成式。其中，检索式的开放域对话系统类似于问答型对话系统，此处不再赘述。生成式的开放域对话系统可以基于预先训练的序列到序列(Sequence-to-Sequence)模型，将用户输入的对话数据映射为用于回复该对话数据的回复序列，以基于该回复序列确定用于答复用户所提出的问题的反馈消息，并输出该反馈消息。
在一些实施例中，对话系统可以基于神经网络模型的方式实现，如在训练阶段，可以对神经网络模型进行训练，以使得神经网络模型学习对用户输入的对话数据进行答复的能力，从而得到用于对用户输入的对话数据进行答复的对话网络模型。相应地，在应用阶段(即对话阶段)，对话网络模型的输入为用户输入的对话数据，输出为用于回复该对话数据的反馈消息。现结合图1对对话网络模型的训练原理进行示范性地阐述如下：
S101：获取第一样本数据集，第一样本数据集中包括用户输入的第一样本输入对话数据、以及第一样本历史对话数据。
神经网络模型的训练可以在云端进行，也可以在本地进行，本实施例不做限定。若在云端训练对话网络模型，则执行主体可以为部署于云端的服务器或者服务器集群等。若在本地训练对话网络模型，则执行主体可以为部署于本地的服务器、服务器集群、处理器、以及芯片等中的任意一种。
本实施例对第一样本数据集中的数据量不做限定，可以基于需求、历史记录、以及试验等方式确定。例如，针对精度需求相对较高的场景，第一样本数据集中的数据量可以相对较多；反之，针对精度需求相对较低的场景，第一样本数据集中的数据量可以相对较少。
其中，第一样本输入对话数据可以理解为在用户与对话系统的历史对话中，用户向对话系统输入的对话数据(如音频)。第一样本历史对话数据可以理解为在用户与对话系统的历史对话中，对话系统针对用户向对话系统输入的对话数据所答复的数据(如音频)。
S102：生成与第一样本数据集对应的第一样本语义关键字。
示例性地，第一样本语义关键字可以理解为，基于自然语言理解(如上述示例中任务型对话系统中的意图理解)对第一样本输入对话数据进行理解，得到用户与对话系统进行对话的意图。
其中，第一样本语义关键字可以为词，也可以为句子，本实施例不做限定。
S103：基于第一样本语义关键字，在预先构建的知识库中进行语义检索，得到与第一样本语义关键字语义相近的知识。
其中，知识库可以包括文本知识和/或知识图谱。
示例性地，以知识库包括知识图谱为例，该步骤可以理解为：基于语义相似度匹配的方式，从知识图谱中检索得到与第一样本语义关键字的语义相似度较高的知识。
以知识库包括文本知识为例，该步骤可以理解为：基于语义相似度匹配的方式，从文本知识中检索得到与第一样本语义关键字的语义相似度较高的知识。
以知识库包括知识图谱和文本知识为例，该步骤可以理解为：基于语义相似度匹配的方式，从知识图谱中检索得到与第一样本语义关键字的语义相似度较高的知识，并基于语义相似度匹配的方式，从文 本知识中检索得到与第一样本语义关键字的语义相似度较高的知识。
其中，语义相似度的计算的方法可以包括：对第一样本语义关键字、以及知识库中的各知识分别进行向量化处理，得到第一样本语义关键字对应的第一向量，以及知识库中的各知识各自对应的第二向量，分别计算第一向量与各第二向量之间的余弦距离，以得到第一样本语义关键字、以及知识库中的各知识之间各自对应的第一语义相似度。
相应地，可以设置第一相似度阈值，若知识库中的某知识与第一样本语义关键字之间的第一语义相似度达到(即大于或等于)第一相似度阈值，则知识库中的该知识为与第一样本语义关键字语义相近的知识；反之，若知识库中的某知识与第一样本语义关键字之间的第一语义相似度未达到(即小于)第一相似度阈值，则知识库中的该知识不是第一样本语义关键字语义相近的知识。
S104：将第一样本数据集、获取到的与第一样本语义关键字语义相近的知识，输入至第一神经网络模型中，对第一神经网络模型进行训练，得到对话网络模型。
其中，第一神经网络模型可以理解为训练前的初始化的神经网络模型，对话网络模型可以理解为经过训练得到的、可以用于预测向用户回复对话数据的神经网络模型。本实施例对第一神经网络模型的类型、框架、以及参数等不做限定。
由于第一样本数据集中包括第一样本输入对话数据和第一样本历史对话数据，因此，第一神经网络模型的输入包括三个维度的内容，分别为：第一样本输入对话数据、第一样本历史对话数据、以及获取到的与第一语义关键字语义相近的知识。
示例性的，S104可以包括：将第一样本输入对话数据、第一样本历史对话数据、以及获取到的与第一样本语义关键字语义相近的知识，分别输入至第一神经网络模型，得到第一预测的向用户反馈的对话数据，计算第一预测的向用户反馈的对话数据、以及第一预先标注的向用户反馈的对话数据之间的第一损失值，并基于第一损失值对第一神经网络模型的参数进行调整，以此类推，直至第一迭代次数达到第一预设次数阈值，或者第一损失值小于等于第一预设损失阈值，从而得到对话模型。
同理，第一预设次数阈值和第一预设损失阈值可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。
上述S101-S104阐述了在训练阶段时，怎样训练得到对话模型，现结合图2对对话模型的应用进行示范性地阐述如下：
S201：获取用户输入的第一输入对话数据。
结合上述分析可知，可以在云端训练得到对话网络模型，也可以在本地训练得到对话网络模型。相应地，对话网络模型的应用可以在云端实现，也可以在本地实现。然而，考虑到对话的实时性需求和高效反馈需求等，对话网络模型的应用通常在本地实现。
为便于将训练得到对话网络模型的执行主体、以及应用对话网络模型的执行主体进行区分，我们可以称训练得到对话网络模型的执行主体为训练装置，称应用对话网络模型的执行主体为应用装置。训练装置与应用装置可以为相同的装置，也可以为不同的装置，本实施例不做限定。
在一些实施例中，若训练装置为部署于云端的装置，应用装置为部署于本地的装置，则训练装置可以与应用装置建立通信链路，训练装置在训练得到对话网络模型之后，可以基于该通信链路将对话网络模型发送给应用装置。相应地，应用装置可以基于该对话网络模型实现与用户之间的对话。
结合上述分析可知，对话系统可以应用于不同的场景，而针对不同的应用场景，应用装置可能为不同的设备。例如，若对话系统应用于电商店铺的语音客服，则应用装置可以为部署有对话网络模型的电商店铺的计算机。又如，若对话系统应用于银行的语音客服，则应用装置可以为部署有对话网络模型的智能机器人。再如，若对话系统应用于导航场景，则应用装置可以为部署有对话网络模型的车载终端。
应该理解的是，上述示例只是用于示范性地说明对话系统可能的应用场景、以及在可能的应用场景下可能的应用装置，而不能理解为对应用场景的限定，也不能理解为对应用装置的限定。例如，应用装置还可以为移动终端，还可以为智能音箱等，此处不再一一列举。
应用装置可以包括拾音组件，以通过拾音组件获取用户输入的第一输入对话数据。其中，拾音组件可以为麦克风等用于采集音频的音频采集器。
S202：根据第一输入对话数据、以及获取到的第一历史对话数据，生成第一语义关键字。
应该理解地是，为了避免繁琐地陈述，关于本实施例与上述实施例中相同的技术特征，本实施例不 再赘述。
其中，第一历史对话数据为在接收到第一输入对话数据之前，对话系统针对用户向对话系统输入的对话数据所答复的数据。因此，可以为与第一样本历史对话数据相同的数据，也可以为不同的数据。
相应地，关于S202的实现原理，可以参见S102地描述，此处不再赘述。
示例性地，若应用装置为任务型对话系统，结合上述分析，任务型对话系统包括意图理解模块，相应地，如图3所示，应用任务型对话系统获取到的为第一输入对话数据和第一历史对话数据，经意图理解模块生成第一语义关键字。
S203：基于第一语义关键字，在预先构建的知识库中进行语义检索，得到与第一语义关键字语义相近的知识。
其中，知识库可以包括文本知识和/或知识图谱。
同理，关于S203的实现原理，可以参见S103地描述，此处不再赘述。
结合上述分析和图3，基于第一语义关键字在文本知识和/或知识图谱中进行语义检索，以得到第一语义关键字语义相近的知识。
S204：将第一输入对话数据、第一历史对话数据、以及获取到的与第一语义关键字语义相近的知识，输入至基于如上S101-S104所述的方法训练得到的对话网络模型，得到向用户反馈的第一反馈对话数据。
结合上述分析和图3，将第一输入对话数据、第一历史对话数据、以及获取到的与第一语义关键字语义相近的知识，输入至对话网络模型，可以得到向用户反馈的第一反馈对话数据。
结合上述分析可知，经如上S101-S104所述训练阶段，对话网络模型学习到了预测向用户反馈对话数据的能力，因此，在应用阶段，对话网络模型可以基于输入确定针对用户输入的第一输入对话数据进行答复的第一反馈对话数据。
S205：输出向用户反馈的第一反馈对话数据。
示例性的，应用装置可以包括输出组件，以通过输出组件输出向用户反馈的第一反馈对话数据。其中，输出组件可以为扬声器。
在一些实施例中，可以通过舆情控制的方式，对第一反馈对话数据中敏感信息进行过滤处理，得到过滤处理后的第一反馈对话数据，并输出向用户反馈的过滤处理后的第一反馈对话数据。
结合上述分析和图3，对话系统中可以包括舆情控制模块，对话网络模型的输出(即第一反馈对话数据)可以输入至舆情控制模块，以由舆情控制模块对第一反馈对话数据进行过滤处理，以使得对话系统的输出回复为过滤处理后的第一反馈对话数据。
然而，一方面，随着互联网地飞速发展和信息量地飞速增加，知识每天都在不断增加、更新，而文本知识和知识图谱因地更新相对较慢，因此，文本知识和知识图谱可能因更新不及时而导致没有包含热点事件、热门话题等知识；另一方面，文本知识和知识图谱知识表示往往稀疏且有限，难以在不同粒度下进行知识表示，因此，基于文本知识和知识图谱所表示的知识相对不很全面；再一方面，单一维度难以充分表达和理解知识，如有限的历史对话数据、单一的文本知识可能会缺失关键信息而导致歧义、语义模糊。
为了避免上述问题中的至少一种，本公开的发明人经过创造性地劳动，得到了本公开的发明构思：结合多种不同类型的知识对用户输入的输入对话数据进行反馈，在此基础上，还可以结合“多跳补充”的方式对用户输入的输入对话数据进行反馈。
其中，多种不同类型的知识包括：文本知识、知识图谱、图片知识、多模态知识、网络知识。“多跳补充”，是指从一种类型的知识中查找与另一种类型的知识相关的知识。
多模态知识是指将至少两种模态的信息结合而得到的知识，如多媒体信息中包括图片所表征的信息，也包括文本所表征的信息，还包括音频所表征的信息，则多媒体信息可以为多模态知识，且该多模态知识为结合图片所表征的信息、文本所表征的信息、音频所表征的信息而得到的知识。
网络知识可以理解为从基于网络获取到的线上的知识，如基于网络从维基(wiki)获取到的线上的知识，又如基于网络从百科获取到的线上的知识，等等，此处不再一一列举。
相应地，现结合图4对对话网络模型的训练原理进行示范性地阐述如下：
S401：获取第二样本数据集，第二样本数据集中包括用户输入的第二样本输入对话数据、第二样本历史对话数据、以及与第二样本输入对话数据对应的第一样本对话环境数据。
同理，关于本实施例与上述实施例中相同的技术特征，本实施例不再赘述。例如，本实施例的执行主体可以为训练装置，训练装置可以部署于云端，也可以部署于本地，等等，此处不再一一列举。
第一样本对话环境数据可以理解为用于对对话场景中的对象进行描述的数据，如对对话场景的场地进行描述的数据，又如对对话场景中的用户的状态进行描述的数据，再如对对话场景中的用户的情绪进行描述的数据，等等。
S402：将第二样本数据集输入至预先训练的二分类网络模型，得到是否需要引入外部知识的第一分类结果。
其中，外部知识是指除知识图谱和文本知识之外的其他知识，例如图片知识、多模态知识、网络知识等。
二分类网络模型是基于第三样本数据集训练得到的，用于确定是否需要引入外部知识的神经网络模型。关于训练得到二分类网络模型的原理，可以参见下述步骤：
第一步骤：获取第三样本数据集，第三样本数据集中包括第三样本输入对话数据、第三样本历史对话数据、以及与第三样本输入对话数据对应的第二样本对话环境数据。
第二步骤：将第三样本数据集输入至二分类网络模型，输出的第二分类结果。其中，第二分类结果用于表征是否需要引入外部知识。
第三步骤：计算第二分类结果与预先标注的分类结果之间的第二损失值，并基于第二损失值对二分类网络模型的参数进行调整，以此类推，直至第二迭代次数达到第二预设次数阈值，或者第二损失值小于等于第二预设损失阈值，从而得到训练完成的二分类网络模型。
同理，第二预设次数阈值和第二预设损失阈值可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。
本实施例对二分类模型的网络结构和参数等不做限定，例如二分类模型可以为知识蒸馏(tinybert)模型。
S403：若第一分类结果表征需要引入外部知识，则根据第二样本数据集生成第二样本语义关键字。
在一些实施例中，生成第二样本语义关键字的原理可以参见上述实施例，如S102所述的实施例。
在另一些实施例中，也可以预先训练得到生成网络模型，以基于生成网络模型和第二样本数据集确定第二样本语义关键字。关于训练得到生成网络模型的原理，可以参见下述步骤：
第一步骤：获取第四样本数据集，第四样本数据集中包括第四样本输入对话数据、第四样本历史对话数据、以及与第四样本输入对话数据对应的第三样本对话环境数据。
第二步骤：将第四样本数据集输入至第二神经网络模型，输出第三样本语义关键字。
第三步骤：计算第三样本语义关键字与预先标注的样本语义关键字之间的第三损失值，并基于第三损失值对第二神经网络模型的参数进行调整，以此类推，直至第三迭代次数达到第三预设次数阈值，或者第三损失值小于等于第三预设损失阈值，从而得到训练完成的生成网络模型。
同理，第三预设次数阈值和第三预设损失阈值可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。本实施例对第二神经网络模型的类型、结构、以及参数等不做限定。
相应的，S403可以替换为：若第一分类结果表征需要引入外部知识，则将第二样本数据集输入至生成网络模型，输出第二样本语义关键字。
S404：分别从多种不同类型的知识中，获取与第二样本语义关键字对应的知识。
也就是说，从文本知识、图谱知识、以及外部知识中，分别获取与第二样本语义关键字对应的知识。
示例性地，结合上述分析，多种不同类型的知识包括：文本知识、知识图谱、图片知识、多模态知识、网络知识。因此，该步骤可以理解为：从文本知识中获取与第二样本语义关键字对应的知识，为便于区分，可以将该获取到的知识称为第一知识；从知识图谱中获取与第二样本语义关键字对应的知识，为便于区分，可以将该获取到的知识称为第二知识；从多模态知识中获取与第二样本语义关键字对应的知识，为便于区分，可以将该获取到的知识称为第三知识；从网络知识中获取与第二样本语义关键字对应的知识，为便于区分，可以将该获取到的知识称为第四知识；从图片知识中获取与第二样本语义关键字对应的知识，为便于区分，可以将该获取到的知识称为第五知识。
其中，可以采用不同的方法从不同类型的知识中获取与第二样本语义关键字对应的知识。
示例性地，可以采用句式检索法(如用来评相关性的算法bm25)或稠密检索法(sparse retrieval  methods)等，从网络知识中获取与第二样本语义关键字对应的知识。
可以采用“编码+计算相似度”的方法，从文本知识和知识图谱中获取与第二样本语义关键字对应的知识。
例如，构建与知识图谱对应的图网络(Natural Graph)，基于图网络对知识图谱中的各知识进行编码，得到知识谱图中各知识各自对应的第三向量，对第二样本语义关键字进行编码，得到第四向量，分别计算第四向量和每一第三向量之间的第二语义相似度，并将第二语义相似度大于预设第二相似度阈值的第三向量对应的知识，确定为与第二样本语义关键字对应的知识。
在一些实施例中，也可以预先训练得到语义匹配网络模型，以基于语义匹配网络模型从文本知识和知识图谱中获取与第二样本语义关键字对应的知识。关于训练得到语义匹配网络模型的原理，可以参见下述步骤：
第一步骤：获取第五样本数据集，第五样本数据集中包括至少一个第五向量、以及多个第六向量。
第二步骤：将至少一个第五向量、以及多个第六向量输入至第三神经网络模型，输出匹配结果，匹配结果为与至少一个第五向量语义匹配的第六向量。
第三步骤：计算匹配结果与预先标定的匹配结果之间第四损失值，并基于第四损失值对第三神经网络模型的参数进行调整，以此类推，直至第四迭代次数达到第四预设次数阈值，或者第四损失值小于等于第四预设损失阈值，从而得到训练完成的语义匹配网络模型。
同理，第四预设次数阈值和第四预设损失阈值可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。本实施例对第三神经网络模型的类型、结构、以及参数等不做限定。例如，第三神经网络模型可以为语言表征模型(Bidirectional Encoder Representation from Transformers，BERT)。
相应的，可以将第四向量和各第三向量分别输入至语义匹配网络模型，输出与第三向量语义匹配的第三向量。
可以利用双塔结构模型的方法，从图片知识和多模态知识中获取与第二样本语义关键字对应的知识。其中，双塔结构模型中包括图片编码器和文本编码器，以基于图片编码器和文本编码分别计算损失的方式训练得到双塔结构模型。具体实现原理可以参见相关技术，此处不再赘述。
应该理解的是，上述示例只是用于示范性地说明，可以从不同类型的知识中获取与第二样本语义关键字对应的知识的方法，而不能理解为对不同类型的知识中获取与第二样本语义关键字对应的知识的限定。
在另一些实施例中，可以在从某一类型的知识中获取到与第二样本语义关键字对应的知识之后，基于该知识在其他类型的知识中进行补充检索，得到补充检索知识。
例如，在得到第一知识之后，可以从知识图谱中获取与第一知识相关的知识，可以将该知识称为补充检索知识。
又如，在得到第一知识之后，可以分别从知识图谱和文本知识中获取与第一知识相关的知识。
也就是说，可以在一种其他类型的知识中获取补充检索知识，也可以在多种其他类型的知识中获取补充检索知识，本实施例不做限定。
其中，关于对“与第一知识相关的知识”中的“相关”，可以理解为与第一知识之间的关联性较强。
结合上述分析可知，是从各种不同类型的知识中获取到的与第二样本语义关键字对应的知识，但是，不同类型的知识中可能存在相同的知识，为了避免后续处理的冗余性和复杂性，在获取到与第二样本语义关键字对应的知识之后，可以对获取到与第二样本语义关键字对应的知识进行去冗余处理，如从获取到与第二样本语义关键字对应的知识中去除重复的知识、不同表达方式的相同知识、相似度较高的知识(实现原理可以参见上述示例，此处不再赘述)。
S405：对获取到的与第二样本语义关键字对应的知识分别进行编码，得到各自对应的特征向量。
示例性地，结合上述分析，对第一知识进行编码，得到第一知识对应的特征向量，为了便于区分，可以将该特征向量称为第一特征向量；对第二知识进行编码，得到第二知识对应的特征向量，为了便于区分，可以将该特征向量称为第二特征向量；对第三知识进行编码，得到第三知识对应的特征向量，为了便于区分，可以将该特征向量称为第三特征向量；对第四知识进行编码，得到第四知识对应的特征向量，为了便于区分，可以将该特征向量称为第四特征向量；对第五知识进行编码，得到第五知识对应的特征向量，为了便于区分，可以将该特征向量称为第五特征向量。
S406：将得到的各特征向量输入至预先训练的交叉注意力网络模型，以基于交叉注意力网络模型对各特征向量进行融合处理，得到融合特征向量。
示例性地，结合上述分析，将第一特征向量、第二特征向量、第三特征向量、第四特征向量、以及第五特征向量分别输入至预先训练的交叉注意力网络模型，输出融合特征向量。
在一些实施例中，关于训练得到交叉注意力网络模型的训练方法，可以参见下述步骤：
第一步骤：获取第六样本数据集，第六样本数据集中包括样本第一特征向量、样本第二特征向量、样本第三特征向量、样本第四特征向量、以及样本第五特征向量。
其中，样本第一特征向量是对从文本知识中获取到的与标注的语义关键字对应的知识编码得到的；样本第二特征向量是对从知识图谱知识中获取到的与标注的语义关键字对应的知识编码得到的；样本第三特征向量是对从多模态知识中获取到的与标注的语义关键字对应的知识编码得到的；样本第四特征向量是对从网络知识中获取到的与标注的语义关键字对应的知识编码得到的；样本第五特征向量是对从图片知识中获取到的与标注的语义关键字对应的知识编码得到的。
第二步骤：将第六样本数据集输入至交叉注意力网络模型，输出预测的融合特征向量。
第三步骤：计算预测的融合特征向量与预先标注的融合特征向量之间的第五损失值，并基于第五损失值对交叉注意力网络模型的参数进行调整，以此类推，直至第五迭代次数达到第五预设次数阈值，或者第五损失值小于等于第五预设损失阈值，从而得到训练完成的交叉注意力网络模型。
同理，第五预设次数阈值和第五预设损失阈值可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。
S407：将融合特征向量输入至第四神经网络，输出第二预测的向用户反馈的对话数据。
S408：计算第二预测的向用户反馈的对话数据、以及第二预先标注的向用户反馈的对话数据之间的第六损失值，并基于第六损失值对第四神经网络模型的参数进行调整，以此类推，直至第六迭代次数达到第六预设次数阈值，或者第六损失值小于等于第六预设损失阈值，从而得到训练完成的对话网络模型。
同理，第六预设次数阈值和第六预设损失阈值可以基于需求、历史记录、以及试验等方式确定，本实施例不做限定。本实施例对第四神经网络模型的类型、结构、以及参数等不做限定。
上述S401-S408阐述了在训练阶段时，怎样训练得到对话模型，在上述发明构思的基础上，现结合图5对对话模型的应用进行示范性地阐述如下：
S501：获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据。
结合上述分析可知，可以在云端训练得到对话网络模型，也可以在本地训练得到对话网络模型。相应地，对话网络模型的应用可以在云端实现，也可以在本地实现。然而，考虑到对话的实时性需求和高效反馈需求等，对话网络模型的应用通常在本地实现。
为便于将训练得到对话网络模型的执行主体、以及应用对话网络模型的执行主体进行区分，我们可以称练将训练得到对话网络模型的执行主体为训练装置，称应用对话网络模型的执行主体为应用装置。训练装置与应用装置可以为相同的装置，也可以为不同的装置，本实施例不做限定。
在一些实施例中，若训练装置为部署于云端的装置，应用装置为部署于本地的装置，则训练装置可以与应用装置建立通信链路，训练装置在训练得到对话网络模型之后，可以基于该通信链路将对话网络模型发送给应用装置。相应地，应用装置可以基于该对话网络模型实现与用户之间的对话。
结合上述分析可知，对话系统可以应用于不同的场景，而针对不同的应用场景，应用装置可能为不同的设备。例如，若对话系统应用于电商店铺的语音客服，则应用装置可以为部署有对话网络模型的电商店铺的计算机。又如，若对话系统应用于银行的语音客服，则应用装置可以为部署有对话网络模型的智能机器人。再如，若对话系统应用于导航场景，则应用装置可以为部署有对话网络模型的车载终端。
应该理解的是，上述示例只是用于示范性地说明对话系统可能的应用场景、以及可能的应用场景下可能的应用装置，而不能理解为对应用场景的限定，也不能理解为对应用装置的限定。例如，应用装置还可以为移动终端，还可以为智能音箱等，此处不再一一列举。
应用装置可以包括拾音组件，以通过拾音组件获取用户输入的第二输入对话数据。其中，拾音组件可以为麦克风等用于采集音频的音频采集器。
当前的对话环境数据可以基于设置于应用装置的传感器获取，不同的应用场景中的传感器可能不同。例如，在室内的用户与智能音箱的对话场景中，传感器可以为图像采集装置；又如，在室外的用户与车 载终端的对话场景中，传感器为可以为速度传感器，等等，此处不再一一列举。
S502：根据第二历史对话数据、当前的对话环境数据、第二输入对话数据确定第二语义关键字。
在本实施例中，采用三个维度的数据(即第二历史对话数据、当前的对话环境数据、第二输入对话数据)确定第二语义关键字，使得第二语义关键字既具有当前的环境特征，也具有当前的用户对话特征，还具有历史的对话特征，以使得第二语义关键字具有较高的可靠性。
S503：根据第二语义关键字和预设类型知识库，生成并输出与第二输入对话数据对应的第二反馈对话数据，其中，预设类型知识库包括：知识图谱、文本知识、以及除知识图谱和文本知识之外的外部知识。
在本实施例中，引入了外部知识，以通过结合外部知识生成并输出第二反馈对话数据，降低应用装置无法理解的情况，解决文本知识和图谱知识更新慢，难于全面覆盖和维护、知识稀疏且有限、单一的文本知识难以充分表达全面知识等弊端，实现了人机对话的有效性和可靠性。
为使读者深刻理解本公开，现结合图6对对话模型的应用进行示范性地阐述如下：
S601：获取用户输入的第二输入对话数据、第二历史对话数据、当前的对话环境数据。
应该理解的是，为了避免繁琐地陈述，关于本实施例与上述实施例相同的技术特征，本实施例不做限定。
S602：将用户输入的第二输入对话数据、第二历史对话数据、当前的对话环境数据，输入至基于上述示例所述的方法训练得到的二分类网络模型，得到是否需要引用外部知识的第三分类结果。
示例性地，若应用装置为任务型对话系统，如图7所示，任务型对话系统包括二分类网络模型，二分类网络模型的输入为第二输入对话数据、第二历史对话数据、当前的对话环境数据，输出为第三分类结果。
S603：若第三分类结果表征需要引入外部知识，则将第二输入对话数据、对话历史数据、当前的对话环境数据，输入至基于上述示例所述的方法训练得到的生成网络模型，输出第二语义关键字。
结合上述分析和,6，任务型对话系统还包括生成网络模型，生成网络模型的输入为第二输入对话数据、对话历史数据、当前的对话环境数据，输出为第二语义关键字。
S604：分别从多种不同类型的知识中，获取与第二语义关键字对应的知识。
关于S604的实现原理，可以参见S404地描述，此处不再赘述。
结合上述分析和图7，多种不同类型的知识包括：文本知识、知识图谱、图片知识、多模态知识、网络知识，其中，由于图片知识可能既包括图像内容，也可能包括文本内容，因此，将图片知识和多模态知识称为图片等多模态知识。
如图7所示，可以分别从文本知识、知识图谱、图片等多模态知识、以及网络知识中，获取与第二语义关键字对应的知识。且，可以采用如图7中所示的“多跳检索”的方式获取更多的与第二语义关键字对应的知识。
相应地，为了避免与第二语义关键字对应的知识的冗余，可以通过“交叉验证”的方式对获取到的与第二语义关键字对应的知识进行去冗余处理，“交叉验证”是指将从至少两种不同类型的知识中获取到的与第二语义关键字对应的知识进行验证，以确定是否存在冗余的知识，以将冗余的知识进行去除。
S605：对获取到的与第二语义关键字对应的知识分别进行编码，得到各自对应的目标特征向量。
S606：将得到的各目标特征向量输入至基于上述示例所述的方式训练得到的交叉注意力网络模型，以基于交叉注意力网络模型对各目标特征向量进行融合处理，得到目标融合特征向量。
结合上述分析和图7，任务型对话系统还包括交叉注意力网络模型，交叉注意力网络模型的输入为对获取到的与第二语义关键字对应的知识分别进行编码的结果，输出为目标融合特征向量。
S607：将目标融合特征向量输入至基于S401-S408所述示例训练得到的对话网络模型，得到向用户反馈的第二反馈对话数据。
结合上述分析和图7，任务型对话系统还包括对话网络模型，交叉注意力网络模型的输出为对话网络模型的输入，对话网络模型的输出为第二反馈对话数据。
同理，在一些实施例中，可以通过舆情控制的方式，对第二反馈对话数据中敏感信息进行过滤处理，得到过滤处理后的第二反馈对话数据，以使得向用户反馈的为过滤处理后的第二反馈对话数据。
结合上述分析和图7，任务型对话系统还包括舆情控制模块，舆情控制模块的输入为对话网络模型 的输出，以由舆情控制模块对第一反馈对话数据进行过滤处理，以使得对话系统的输出回复为过滤处理后的第一反馈对话数据。
S608：输出第二反馈对话数据。
示例性地，如图8所示，在用户与移动终端对话的对话场景中，若第二输入对话数据为“某某动物园的熊猫”，通过上述方法，移动终端中的对话系统(如语音助手等)可以确定出第二输入对话数据的第二语义关键字为“熊猫”，则可以从网络知识中获取与“熊猫”对应的知识，如图8所示的从维基中获取对熊猫的知识“熊猫分布于某某城市……”，也可以获取如图8所示的熊猫的图片知识。
相应地，通过上述示例所述的方法，移动终端中的对话系统输出的第二反馈对话数据可以为如图8所示的“黑黑白白的，真可爱”。
又如，如图9所示，在用户与移动终端对话的对话场景中，若第二输入对话数据为“钥匙放在哪里了”，通过上述方法，移动终端中的对话系统(如语音助手等)可以确定出第二输入对话数据的第二语义关键字为“钥匙”，则可以从网络知识中获取与“钥匙”对应的知识，如图9所示的从维基中获取对钥匙的知识“钥匙是开锁……”，也可以获取如图9所示的钥匙的图片知识。
相应地，通过上述示例所述的方法，移动终端中的对话系统输出的第二反馈对话数据可以为如图9所示的“应该是放在书架上了”。
应该理解地是，图8和图9所述的示例只是用于示范性地说明，可能获取的与第二语义关键字对应的知识，而不能理解为对获取与第二语义关键字对应的知识的限定。
需要说明地是，本公开中的“第一”、“第二”等只是用于对不同实施例中的技术特征进行区分，而不能理解为对技术特征的限定。例如，第一神经网络模型和第二神经网络模型可以为相同类型的神经网络模型；又如，第三样本数据集和第四样本数据集可以采用相同的数据集；再如，第一预设次数阈值可以大于第二次数阈值，也可以小于第二次数阈值，也可以等于第二次数阈值，等等，此处不再一一列举。
根据本公开的另一个方面，本公开还提供了一种人机对话装置。图10为本公开一个实施例的人机对话装置的示意图，如图10所示，人机对话装置100包括：
第一获取单元1001，用于获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据。
第一确定单元1002，用于根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据确定第二语义关键字。
第一生成单元1003，用于根据所述第二语义关键字和预设类型知识库，生成与所述第二输入对话数据对应的第二反馈对话数据，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
输出单元1004，用于输出所述第二反馈对话数据。
图11为本公开另一实施例的人机对话装置的示意图，如图11所示，人机对话装置1100包括：
第一获取单元1101，用于获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据。
第一确定单元1102，用于根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据确定第二语义关键字。
在一些实施例中，所述第二语义关键字是将所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据输入至预先训练的生成网络模型得到的；
其中，所述生成网络模型是基于第四样本数据集学习与所述第四样本数据集对应的第三样本语义关键字的能力的模型，所述第四样本数据集中包括第四样本输入对话数据、第四样本历史对话数据、以及与第四样本输入对话数据对应的第三样本对话环境数据。
第二确定单元1103根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据，确定是否需要引入所述外部知识的第三分类结果。
第一生成单元1104，用于根据所述第二语义关键字和预设类型知识库，生成与所述第二输入对话数据对应的第二反馈对话数据，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
在一些实施例中，第一生成单元1104用于，若所述第三分类结果表征为需要引入所述外部知识， 则根据所述第二语义关键字和预设类型知识库，生成与所述第二输入对话数据对应的第二反馈对话数据。
在一些实施例中，所述第三分类结果是将所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据输入至预先训练的二分类网络模型得到的；
其中，所述二分类模型是基于第三样本数据集学习确定是否需要引入所述外部知识的能力的模型，所述第三样本数据集中包括第三样本输入对话数据、第三样本历史对话数据、以及与第三样本输入对话数据对应的第二样本对话环境数据。
结合图11可知，在一些实施例中，第一生成单元1104，包括：
第一获取子单元11041，用于分别从所述外部知识、所述知识图谱、所述文本知识中，获取与所述第二语义关键字对应的知识。
生成子单元11042，用于根据各获取到的与所述第二语义关键字对应的知识，生成所述第二反馈对话数据。
在一些实施例中，如图11所示，第一生成单元1104还包括：
第一检索子单元11043，用于根据从第一类型知识获取到的与所述第二语义关键字对应的知识，在至少一个其他类型知识中进行检索，得到与从第一类型知识获取到的与所述第二语义关键字对应的知识相关联的知识。
其中，所述至少一个其他类型知识中的与所述第二语义关键字对应的知识包括检索得到的与所述从第一类型知识获取到的与所述第二语义关键字对应的知识相关联的知识；所述第一类型知识为所述外部知识、所述知识图谱、所述文本知识中的任意一种，所述至少一个其他类型知识为所述外部知识、所述知识图谱、所述文本知识中除所述第一类型知识之外的类型知识。
在一些实施例中，生成子单元11042，包括：
第一编码模块，用于对各获取到的与所述第二语义关键字对应的知识分别进行编码，得到各自对应的目标特征向量。
第一生成模块，用于根据所述各自对应的目标特征向量，生成所述第二反馈对话数据。
在一些实施例中，第一生成模块，包括：
第一融合子模块，用于对所述各自对应的目标特征向量进行融合处理，得到目标融合特征向量。
生成子模块，用于根据所述目标融合特征向量生成所述第二反馈对话数据。
在一些实施例中，生成子单元11042还包括：
第一处理模块，用于对各获取到的与所述第二语义关键字对应的知识进行去冗余处理，得到去冗余处理后的知识。
第二生成模块，用于根据所述去冗余处理后的知识生成所述第二反馈对话数据。
输出单元1105，用于输出所述第二反馈对话数据。
根据本公开的另一个方面，本公开还提供了一种对话网络模型的训练装置。图12为本公开一个实施例的对话网络模型的训练装置的示意图，如图12所示，人机对话装置1200包括：
第二获取单元1201，用于获取第二样本数据集，所述第二样本数据集中包括用户输入的第二样本输入对话数据、第二样本历史对话数据、与所述第二样本输入对话数据对应的第一样本对话环境数据。
第二生成单元1202，用于根据所述第二样本数据集生成第二样本语义关键字。
训练单元1203，用于根据所述第二样本语义关键字和预设类型知识库，训练得到具有预测与输入对话数据对应的反馈对话数据能力的对话网络模型，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
图13为本公开另一实施例的对话网络模型的训练装置的示意图，如图13所示，人机对话装置1300包括：
第二获取单元1301，用于获取第二样本数据集，所述第二样本数据集中包括用户输入的第二样本输入对话数据、第二样本历史对话数据、与所述第二样本输入对话数据对应的第一样本对话环境数据。
第二生成单元1302，用于根据所述第二样本数据集生成第二样本语义关键字。
第三确定单元1303，用于根据所述第二样本数据集，确定是否需要引入所述外部知识的第一分类结果。
训练单元1304，用于根据所述第二样本语义关键字和预设类型知识库，训练得到具有预测与输入 对话数据对应的反馈对话数据能力的对话网络模型，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
在一些实施例中，所述第一分类结果是将所述第二样本数据集输入至预先训练的二分类网络模型得到的；
其中，所述二分类模型是基于第三样本数据集学习确定是否需要引入所述外部知识的能力的模型，所述第三样本数据集中包括第三样本输入对话数据、第三样本历史对话数据、以及与第三样本输入对话数据对应的第二样本对话环境数据。
所述第二样本语义关键字是将所述第二样本数据集输入至预先训练的生成网络模型得到的；
其中，所述生成网络模型是基于第四样本数据集学习与所述第四样本数据集对应的第三样本语义关键字的能力的模型，所述第四样本数据集中包括第四样本输入对话数据、第四样本历史对话数据、以及与第四样本输入对话数据对应的第三样本对话环境数据。
在一些实施例中，训练单元1304用于若所述第一分类结果表征为需要引入所述外部知识，则根据所述第二样本语义关键字和预设类型知识库，训练得到所述对话网络模型。
结合图13可知，在一些实施例中，训练单元1304，包括：
第二获取子单元13041，用于分别从所述外部知识、所述知识图谱、所述文本知识中，获取与所述第二样本语义关键字对应的知识。
训练子单元13042，用于根据各获取到的与所述第二样本语义关键字对应的知识，训练得到所述对话网络模型。
在一些实施例中，训练子单元13042，包括：
第二编码模块，用于对各获取到的与所述第二样本语义关键字对应的知识分别进行编码，得到各自对应的特征向量。
在一些实施例中，第二编码模块，包括：
第二融合子模块，用于对所述各自对应的特征向量进行融合处理，得到融合特征向量；
输入子模块，用于将所述融合特征向量输入至第四神经网络，输出第二预测的向用户反馈的对话数据；
调整子模块，用于根据所述第二预测的向用户反馈的对话数据、以及第二预先标注的向用户反馈的对话数据对所述第四神经网络模型的参数进行调整，得到所述对话网络模型。
在一些实施例中，所述融合特征向量是将所述各自对应的特征向量输入至预先训练得到的交叉注意力网络模型得到的。
第一训练模块，用于根据所述各自对应的特征向量训练得到所述对话网络模型。
结合图13可知，在一些实施例中，训练单元1304还包括：
第二检索子单元13043，用于根据从第一类型知识获取到的与所述第二样本语义关键字对应的知识，在至少一个其他类型知识中进行检索，得到与从第一类型知识获取到的与所述第二样本语义关键字对应的知识相关联的知识。
其中，所述至少一个其他类型知识中的与所述第二样本语义关键字对应的知识包括检索得到的与所述从第一类型知识获取到的与所述第二样本语义关键字对应的知识相关联的知识；所述第一类型知识为所述外部知识、所述知识图谱、所述文本知识中的任意一种，所述至少一个其他类型知识为所述外部知识、所述知识图谱、所述文本知识中除所述第一类型知识之外的类型知识。
在一些实施例中，所述训练子单元13042还包括：
第二处理模块，用于对各获取到的与所述第二样本语义关键字对应的知识进行去冗余处理，得到去冗余处理后的知识；
第二训练模块，用于根据所述去冗余处理后的知识训练得到所述对话网络模型。
请参阅图14，图14为本公开实施例的电子设备的示意图，如图14所示，电子设备1400可以包括以下一个或多个组件：处理组件1401，存储器1402，电源组件1403，多媒体组件1404，音频组件1405，输入/输出(I/O)接口1406，传感器组件1407，以及通信组件1408。
处理组件1401通常控制电子设备1400的整体操作，诸如与视频播放、显示、电话呼叫、数据通信、相机操作、以及记录操作相关联的操作。处理组件1401可以包括一个或多个处理器14011来执行指令， 以完成上述的方法的全部或部分步骤。此外，处理组件1401可以包括一个或多个模块，便于处理组件1401和其他组件之间的交互。例如，处理组件1401可以包括多媒体模块，以方便多媒体组件1404和处理组件1404之间的交互。
存储器1402被配置为存储各种类型的数据以支持在电子设备1400的操作。这些数据的示例包括用于在电子设备1400上操作的任何应用程序或方法的指令，如视频、联系人数据、电话簿数据、消息、以及图片等。存储器1402可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1403为电子设备1400的各种组件提供电力。电源组件1403可以包括电源管理系统，一个或多个电源，及其他与为电子设备1400生成、管理和分配电力相关联的组件。
多媒体组件1404包括在所述电子设备1400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1404包括一个前置摄像头和/或后置摄像头。当电子设备1400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1405被配置为输出和/或输入音频数据。例如，音频组件1405包括一个麦克风(MIC)，当电子设备1400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频数据。所接收的音频数据可以被进一步存储在存储器1402或经由通信组件1408发送。在一些实施例中，音频组件1405还包括一个扬声器，用于输出音频数据，如输出经上述实施例所述的方法确定出的音频增益和原音频数据。
I/O接口1406为处理组件1401和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1407包括一个或多个传感器，用于为电子设备1400提供各个方面的状态评估。例如，传感器组件1407可以检测到电子设备1400的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1400的显示器和小键盘，传感器组件1407还可以检测电子设备1400或电子设备1400一个组件的位置改变，用户与电子设备1400接触的存在或不存在，电子设备1400方位或加速/减速和电子设备1400的温度变化。传感器组件1407可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1407还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1407还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1408被配置为便于电子设备1400和其他设备之间有线或无线方式的通信。电子设备1400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1408经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1408还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备1400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1402，上述指令可由电子设备1400的处理器14011执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
根据本公开实施例的另一个方面，本公开实施例还提供了一种计算机存储介质，所述计算机存储介质上存储有计算机指令，当所述计算机指令在被处理器运行时，使得如上任意实施例所述的人机交互方法被执行；或者，使得如上任意实施例所述的对话网络模型的训练方法被执行。
根据本公开实施例的另一个方面，本公开实施例还提供了一种计算机程序产品，当所述计算机程序产品在处理器上运行时，使得如上任意实施例所述的人机交互方法被执行；或者，使得如上任意实施例所述的对话网络模型的训练方法被执行。
根据本公开实施例的另一个方面，本公开实施例还提供了一种芯片，包括：
输入接口，用于获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据；
逻辑电路，用于执行如上任意实施例所述的人机交互方法，得到与所述第二输入对话数据对应的第二反馈对话数据；
输出接口，用于输出所述第二反馈对话数据。
根据本公开实施例的另一个方面，本公开实施例还提供了一种芯片，包括：
输入接口，用于获取第二样本数据集，所述第二样本数据集中包括用户输入的第二样本输入对话数据、第二样本历史对话数据、与所述第二样本输入对话数据对应的第一样本对话环境数据；
逻辑电路，用于执行如上任意实施例所述的对话网络模型的训练方法，得到具有预测与输入对话数据对应的反馈对话数据能力的对话网络模型；
输出接口，用于输出所述对话网络模型。
根据本公开实施例的另一个方面，本公开实施例还提供了一种终端设备，包括：
数据采集装置，用于获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据；
对话系统，用于根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据确定第二语义关键字，并根据所述第二语义关键字和预设类型知识库，生成并输出与所述第二输入对话数据对应的第二反馈对话数据，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (27)

  1. 一种人机对话方法，其特征在于，所述方法包括：
    获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据；
    根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据确定第二语义关键字；
    根据所述第二语义关键字和预设类型知识库，生成并输出与所述第二输入对话数据对应的第二反馈对话数据，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述第二语义关键字和预设类型知识库，生成并输出与所述第二输入对话数据对应的第二反馈对话数据，包括：
    分别从所述外部知识、所述知识图谱、所述文本知识中，获取与所述第二语义关键字对应的知识；
    根据各获取到的与所述第二语义关键字对应的知识，生成并输出所述第二反馈对话数据。
  3. 根据权利要求2所述的方法，其特征在于，在所述分别从所述外部知识、所述知识图谱、所述文本知识中，获取与所述第二语义关键字对应的知识之后，所述方法还包括：
    根据从第一类型知识获取到的与所述第二语义关键字对应的知识，在至少一个其他类型知识中进行检索，得到与从第一类型知识获取到的与所述第二语义关键字对应的知识相关联的知识；
    其中，所述至少一个其他类型知识中的与所述第二语义关键字对应的知识包括检索得到的与所述从第一类型知识获取到的与所述第二语义关键字对应的知识相关联的知识；所述第一类型知识为所述外部知识、所述知识图谱、所述文本知识中的任意一种，所述至少一个其他类型知识为所述外部知识、所述知识图谱、所述文本知识中除所述第一类型知识之外的类型知识。
  4. 根据权利要求2所述的方法，其特征在于，所述根据各获取到的与所述第二语义关键字对应的知识，生成并输出所述第二反馈对话数据，包括：
    对各获取到的与所述第二语义关键字对应的知识分别进行编码，得到各自对应的目标特征向量；
    根据所述各自对应的目标特征向量，生成并输出所述第二反馈对话数据。
  5. 根据权利要求4所述的方法，其特征在于，所述根据所述各自对应的目标特征向量，生成并输出所述第二反馈对话数据，包括：
    对所述各自对应的目标特征向量进行融合处理，得到目标融合特征向量；
    根据所述目标融合特征向量生成并输出所述第二反馈对话数据。
  6. 根据权利要求5所述的方法，其特征在于，所述目标融合特征向量是将所述各自对应的目标特征向量输入至预先训练得到的交叉注意力网络模型得到的。
  7. 根据权利要求2-6中任一项所述的方法，其特征在于，所述根据各获取到的与所述第二语义关键字对应的知识，生成并输出所述第二反馈对话数据，包括：
    对各获取到的与所述第二语义关键字对应的知识进行去冗余处理，得到去冗余处理后的知识；
    根据所述去冗余处理后的知识生成并输出所述第二反馈对话数据。
  8. 根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
    根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据，确定是否需要引入所述外部知识的第三分类结果；
    以及，所述根据所述第二语义关键字和预设类型知识库，生成并输出与所述第二输入对话数据对应的第二反馈对话数据，包括：若所述第三分类结果表征为需要引入所述外部知识，则根据所述第二语义关键字和预设类型知识库，生成并输出与所述第二输入对话数据对应的第二反馈对话数据。
  9. 根据权利要求8所述的方法，其特征在于，所述第三分类结果是将所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据输入至预先训练的二分类网络模型得到的；
    其中，所述二分类模型是基于第三样本数据集学习确定是否需要引入所述外部知识的能力的模型，所述第三样本数据集中包括第三样本输入对话数据、第三样本历史对话数据、以及与第三样本输入对话数据对应的第二样本对话环境数据。
  10. 根据权利要求1-9中任一项所述的方法，其特征在于，所述第二语义关键字是将所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据输入至预先训练的生成网络模型得到的；
    其中，所述生成网络模型是基于第四样本数据集学习与所述第四样本数据集对应的第三样本语义关键字的能力的模型，所述第四样本数据集中包括第四样本输入对话数据、第四样本历史对话数据、以及与第四样本输入对话数据对应的第三样本对话环境数据。
  11. 一种对话网络模型的训练方法，其特征在于，所述方法包括：
    获取第二样本数据集，所述第二样本数据集中包括用户输入的第二样本输入对话数据、第二样本历史对话数据、与所述第二样本输入对话数据对应的第一样本对话环境数据；
    根据所述第二样本数据集生成第二样本语义关键字；
    根据所述第二样本语义关键字和预设类型知识库，训练得到具有预测与输入对话数据对应的反馈对话数据能力的对话网络模型，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
  12. 根据权利要求11所述的方法，其特征在于，所述根据所述第二样本语义关键字和预设类型知识库，训练得到具有预测与输入对话数据对应的反馈对话数据能力的对话网络模型，包括：
    分别从所述外部知识、所述知识图谱、所述文本知识中，获取与所述第二样本语义关键字对应的知识；
    根据各获取到的与所述第二样本语义关键字对应的知识，训练得到所述对话网络模型。
  13. 根据权利要求12所述的方法，其特征在于，在所述分别从所述外部知识、所述知识图谱、所述文本知识中，获取与所述第二样本语义关键字对应的知识之后，所述方法还包括：
    根据从第一类型知识获取到的与所述第二样本语义关键字对应的知识，在至少一个其他类型知识中进行检索，得到与从第一类型知识获取到的与所述第二样本语义关键字对应的知识相关联的知识；
    其中，所述至少一个其他类型知识中的与所述第二样本语义关键字对应的知识包括检索得到的与所述从第一类型知识获取到的与所述第二样本语义关键字对应的知识相关联的知识；所述第一类型知识为所述外部知识、所述知识图谱、所述文本知识中的任意一种，所述至少一个其他类型知识为所述外部知识、所述知识图谱、所述文本知识中除所述第一类型知识之外的类型知识。
  14. 根据权利要求12所述的方法，其特征在于，所述根据各获取到的与所述第二样本语义关键字对应的知识，训练得到所述对话网络模型，包括：
    对各获取到的与所述第二样本语义关键字对应的知识分别进行编码，得到各自对应的特征向量；
    根据所述各自对应的特征向量训练得到所述对话网络模型。
  15. 根据权利要求14所述的方法，其特征在于，所述根据所述各自对应的特征向量训练得到所述对话网络模型，包括：
    对所述各自对应的特征向量进行融合处理，得到融合特征向量；
    将所述融合特征向量输入至第四神经网络，输出第二预测的向用户反馈的对话数据；
    根据所述第二预测的向用户反馈的对话数据、以及第二预先标注的向用户反馈的对话数据对所述第四神经网络模型的参数进行调整，得到所述对话网络模型。
  16. 根据权利要求15所述的方法，其特征在于，所述融合特征向量是将所述各自对应的特征向量输入至预先训练得到的交叉注意力网络模型得到的。
  17. 根据权利要求12-16中任一项所述的方法，其特征在于，所述根据各获取到的与所述第二样本语义关键字对应的知识，训练得到所述对话网络模型，包括：
    对各获取到的与所述第二样本语义关键字对应的知识进行去冗余处理，得到去冗余处理后的知识；
    根据所述去冗余处理后的知识训练得到所述对话网络模型。
  18. 根据权利要求11-16中任一项所述的方法，其特征在于，所述方法还包括：
    根据所述第二样本数据集，确定是否需要引入所述外部知识的第一分类结果；
    以及，所述根据所述第二样本语义关键字和预设类型知识库，训练得到具有预测与输入对话数据对应的反馈对话数据能力的对话网络模型，包括：若所述第一分类结果表征为需要引入所述外部知识，则根据所述第二样本语义关键字和预设类型知识库，训练得到所述对话网络模型。
  19. 根据权利要求18所述的方法，其特征在于，所述第一分类结果是将所述第二样本数据集输入至预先训练的二分类网络模型得到的；
    其中，所述二分类模型是基于第三样本数据集学习确定是否需要引入所述外部知识的能力的模型， 所述第三样本数据集中包括第三样本输入对话数据、第三样本历史对话数据、以及与第三样本输入对话数据对应的第二样本对话环境数据。
  20. 根据权利要求11-19中任一项所述的方法，其特征在于，所述第二样本语义关键字是将所述第二样本数据集输入至预先训练的生成网络模型得到的；
    其中，所述生成网络模型是基于第四样本数据集学习与所述第四样本数据集对应的第三样本语义关键字的能力的模型，所述第四样本数据集中包括第四样本输入对话数据、第四样本历史对话数据、以及与第四样本输入对话数据对应的第三样本对话环境数据。
  21. 一种人机对话装置，其特征在于，所述装置包括：
    第一获取单元，用于获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据；
    第一确定单元，用于根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据确定第二语义关键字；
    第一生成单元，用于根据所述第二语义关键字和预设类型知识库，生成与所述第二输入对话数据对应的第二反馈对话数据，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识；
    输出单元，用于输出所述第二反馈对话数据。
  22. 一种对话网络模型的训练装置，其特征在于，所述装置包括：
    第二获取单元，用于获取第二样本数据集，所述第二样本数据集中包括用户输入的第二样本输入对话数据、第二样本历史对话数据、与所述第二样本输入对话数据对应的第一样本对话环境数据；
    第二生成单元，用于根据所述第二样本数据集生成第二样本语义关键字；
    训练单元，用于根据所述第二样本语义关键字和预设类型知识库，训练得到具有预测与输入对话数据对应的反馈对话数据能力的对话网络模型，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
  23. 一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机指令，当所述计算机指令在被处理器运行时，使得权利要求1至10中任一项所述的方法被执行；或者，使得权利要求11至20中任一项所述的方法被执行。
  24. 一种电子设备，其特征在于，包括：
    至少一个处理器；以及
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的计算机指令，所述计算机指令被所述至少一个处理器执行，使得权利要求1至10中任一项所述的方法被执行；或者，使得权利要求11至20中任一项所述的方法被执行。
  25. 一种计算机程序产品，其特征在于，当所述计算机程序产品在处理器上运行时，使得权利要求1至10中任一项所述的方法被执行；或者，使得权利要求11至20中任一项所述的方法被执行。
  26. 一种芯片，其特征在于，包括：
    输入接口，用于获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据；
    逻辑电路，用于执行如权利要求1至10中任一项所述的方法，得到与所述第二输入对话数据对应的第二反馈对话数据；
    输出接口，用于输出所述第二反馈对话数据。
  27. 一种终端设备，其特征在于，包括：
    数据采集装置，用于获取第二历史对话数据、当前的对话环境数据、用户输入的第二输入对话数据；
    对话系统，用于根据所述第二历史对话数据、所述当前的对话环境数据、所述第二输入对话数据确定第二语义关键字，并根据所述第二语义关键字和预设类型知识库，生成并输出与所述第二输入对话数据对应的第二反馈对话数据，其中，所述预设类型知识库包括：知识图谱、文本知识、以及除所述知识图谱和文本知识之外的外部知识。
PCT/CN2023/123430 2022-10-28 2023-10-08 人机对话方法、对话网络模型的训练方法及装置 Ceased WO2024088039A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP23881618.5A EP4571530A4 (en) 2022-10-28 2023-10-08 MAN-MACHINE DIALOGUE METHOD, DIALOGUE NETWORK MODEL LEARNING METHOD, AND DEVICE
US19/190,648 US20250252267A1 (en) 2022-10-28 2025-04-27 Human-computer dialogue method, dialogue network model training method, and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211335469.1A CN117992579A (zh) 2022-10-28 2022-10-28 人机对话方法、对话网络模型的训练方法及装置
CN202211335469.1 2022-10-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/190,648 Continuation US20250252267A1 (en) 2022-10-28 2025-04-27 Human-computer dialogue method, dialogue network model training method, and apparatus

Publications (1)

Publication Number Publication Date
WO2024088039A1 true WO2024088039A1 (zh) 2024-05-02

Family

ID=90830001

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/123430 Ceased WO2024088039A1 (zh) 2022-10-28 2023-10-08 人机对话方法、对话网络模型的训练方法及装置

Country Status (4)

Country Link
US (1) US20250252267A1 (zh)
EP (1) EP4571530A4 (zh)
CN (1) CN117992579A (zh)
WO (1) WO2024088039A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118246460A (zh) * 2024-05-29 2024-06-25 北京中关村科金技术有限公司 面向智能客服的ai对话语义识别方法及系统
CN118427333A (zh) * 2024-07-04 2024-08-02 国网湖北省电力有限公司信息通信公司 一种智能语音客服实现方法和装置
CN119646145A (zh) * 2024-11-22 2025-03-18 清华大学 对话分析方法、装置、眼镜、设备及可读存储介质
CN120408414A (zh) * 2025-06-23 2025-08-01 科大讯飞股份有限公司 安全回复生成方法及相关装置、设备和存储介质
CN120471160A (zh) * 2025-07-15 2025-08-12 珠海汇金科技股份有限公司 基于数字人交互数据分析的政策知识图谱构建方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843795B (zh) * 2023-07-03 2025-02-07 北京百度网讯科技有限公司 图像生成方法及装置、电子设备和存储介质
CN118093830B (zh) * 2024-04-03 2025-11-04 北京世纪好未来教育科技有限公司 基于大语言模型的问题答案生成方法、装置、设备及介质
CN119417117B (zh) * 2024-10-17 2025-11-04 鹏城实验室 异质机器人的控制方法、装置、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120005148A1 (en) * 2010-06-30 2012-01-05 Microsoft Corporation Integrating specialized knowledge sources into a general search service
CN106919655A (zh) * 2017-01-24 2017-07-04 网易（杭州）网络有限公司 一种答案提供方法和装置
CN107016046A (zh) * 2017-02-20 2017-08-04 北京光年无限科技有限公司 基于视觉场景化的智能机器人对话方法及系统
CN109582798A (zh) * 2017-09-29 2019-04-05 阿里巴巴集团控股有限公司 自动问答方法、系统及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019011824A1 (en) * 2017-07-11 2019-01-17 Koninklijke Philips N.V. MULTIMODAL DIALOGUE AGENT

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120005148A1 (en) * 2010-06-30 2012-01-05 Microsoft Corporation Integrating specialized knowledge sources into a general search service
CN106919655A (zh) * 2017-01-24 2017-07-04 网易（杭州）网络有限公司 一种答案提供方法和装置
CN107016046A (zh) * 2017-02-20 2017-08-04 北京光年无限科技有限公司 基于视觉场景化的智能机器人对话方法及系统
CN109582798A (zh) * 2017-09-29 2019-04-05 阿里巴巴集团控股有限公司 自动问答方法、系统及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4571530A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118246460A (zh) * 2024-05-29 2024-06-25 北京中关村科金技术有限公司 面向智能客服的ai对话语义识别方法及系统
CN118427333A (zh) * 2024-07-04 2024-08-02 国网湖北省电力有限公司信息通信公司 一种智能语音客服实现方法和装置
CN119646145A (zh) * 2024-11-22 2025-03-18 清华大学 对话分析方法、装置、眼镜、设备及可读存储介质
CN120408414A (zh) * 2025-06-23 2025-08-01 科大讯飞股份有限公司 安全回复生成方法及相关装置、设备和存储介质
CN120471160A (zh) * 2025-07-15 2025-08-12 珠海汇金科技股份有限公司 基于数字人交互数据分析的政策知识图谱构建方法及系统

Also Published As

Publication number Publication date
EP4571530A1 (en) 2025-06-18
EP4571530A4 (en) 2025-11-12
US20250252267A1 (en) 2025-08-07
CN117992579A (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
WO2024088039A1 (zh) 人机对话方法、对话网络模型的训练方法及装置
CN105701254B (zh) 一种信息处理方法和装置、一种用于信息处理的装置
CN111368541B (zh) 命名实体识别方法及装置
CN113705210B (zh) 一种文章大纲生成方法、装置和用于生成文章大纲的装置
CN110781305A (zh) 基于分类模型的文本分类方法及装置，以及模型训练方法
CN110020010A (zh) 数据处理方法、装置及电子设备
CN117520498A (zh) 基于虚拟数字人交互处理方法、系统、终端、设备及介质
CN113140138A (zh) 互动教学方法、装置、存储介质及电子设备
CN116127062A (zh) 预训练语言模型的训练方法、文本情感分类方法及装置
CN114242047B (zh) 一种语音处理方法、装置、电子设备及存储介质
CN105469104A (zh) 文本信息相似度的计算方法、装置及服务器
CN115879440A (zh) 自然语言处理、模型训练方法、装置、设备及存储介质
CN115086279A (zh) 一种多媒体内容的推送方法、装置、电子设备和存储介质
CN119961427A (zh) 一种基于检索增强生成知识库的知识检索召回方法及装置
CN116955526A (zh) 信息生成方法、装置、电子设备及可读存储介质
CN116975016A (zh) 一种数据处理方法、装置、设备以及可读存储介质
US11314793B2 (en) Query processing
CN103995844B (zh) 信息搜索方法和装置
CN111125305A (zh) 热门话题确定方法、装置、存储介质及电子设备
WO2025092911A1 (zh) 视频特征提取方法、视频生成方法、装置、介质及设备
CN115409200B (zh) 数据库的操作方法、装置及介质
CN118277587B (zh) 知识图谱补全方法、装置、电子设备以及存储介质
CN114443814A (zh) 回复信息输出方法、装置、设备及存储介质
CN119783679B (zh) 基于用户需求的文本数据的生成方法、装置、设备及介质
CN116340490B (zh) 基于人机对话的画像构建方法、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23881618

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023881618

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023881618

Country of ref document: EP

Effective date: 20250311

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2023881618

Country of ref document: EP