WO2022064741A1 - 関連表現抽出装置及び関連表現抽出方法 - Google Patents

関連表現抽出装置及び関連表現抽出方法 Download PDF

Info

Publication number
WO2022064741A1
WO2022064741A1 PCT/JP2021/010897 JP2021010897W WO2022064741A1 WO 2022064741 A1 WO2022064741 A1 WO 2022064741A1 JP 2021010897 W JP2021010897 W JP 2021010897W WO 2022064741 A1 WO2022064741 A1 WO 2022064741A1
Authority
WO
WIPO (PCT)
Prior art keywords
text data
related expression
extraction device
answer
comparative evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/010897
Other languages
English (en)
French (fr)
Inventor
章 井奥
秀樹 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to EP21871877.3A priority Critical patent/EP4198770A4/en
Priority to US18/025,950 priority patent/US12327083B2/en
Publication of WO2022064741A1 publication Critical patent/WO2022064741A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Creation or modification of classes or clusters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing

Definitions

  • the present invention relates to a related expression extraction device and a related expression extraction method.
  • End-to-end learning by deep learning is a conventional basic analysis such as word appearance statistics and parsing (evaluation model 1 described later, In the case of inter-text comparison, it is a method to grasp the degree of similarity based on the frequency of words etc. by utilizing frequency statistics, and by a mechanism different from the "first comparative evaluation model” described later), dialogue, information recommendation, guide With this, we are expanding the possibilities of analysis targeting natural language.
  • Non-Patent Document 1 adopts a method of appropriately selecting the following evaluation model 1 and evaluation model 2.
  • the evaluation model 1 is an evaluation method in which the symbol matching (matching of appearing words, etc.) results between the input question sentence and the prepared answer candidate sentence has a large influence, and the evaluation model 2 has the above-mentioned influence degree. Uses deep learning because it is considered to be lighter than the evaluation model 1.
  • Adaptive support that is, generation / presentation / recommendation of information (problems, explanations, hints, scenes, etc.) that promotes learning, how to construct a problem series in problem exercises and training, and strategies to guide learning (guidance). Strategies), strategies for promoting dialogue with learners, etc. are the subjects of research.
  • the present invention has been made in view of the above problems, and when selecting an evaluation model in the extraction of related expressions, the state of the searcher or the questioner (such as the amount of prerequisite knowledge) such as the learner model in learning engineering is determined.
  • the state of the searcher or the questioner such as the amount of prerequisite knowledge
  • the related expression extracting device is a related expression extracting device that extracts related expressions related to the content of the text data with respect to the input text data.
  • the expression extraction device has a processor and a memory, and the memory contains at least the related expression group data including the answer to the content of the text data, and a plurality of comparative evaluation models for comparing and evaluating the text data and the related expression group data.
  • Stored and the processor accepts the input of the text data and performs at least one of the received text data categorization and the determination of the text data structure pattern, and at least one of the text data typology and the determination of the text data structure pattern. Based on the result of, determine which of the multiple comparative evaluation models is used to extract the related expression group data, and use the determined comparative evaluation model to express the related expressions related to the content of the text data. Extract from the data.
  • the present invention it is possible to realize a related expression extraction device and a related expression extraction method that enable accurate extraction of related expressions related to a search query or a question sentence according to a situation.
  • FIG. 1 shows the schematic structure of the related expression extraction apparatus which concerns on Example 1.
  • FIG. It is a flowchart for demonstrating the outline of operation of the relational expression extraction apparatus which concerns on Example 1.
  • FIG. It is a flowchart for demonstrating an example of the operation of the relational expression extraction apparatus which concerns on Example 1.
  • FIG. It is a flowchart for demonstrating an example of the selection / specific operation of the comparative evaluation model of the relational expression extraction apparatus which concerns on Example 1.
  • FIG. 1 It is a flowchart for demonstrating another example of the selection / specific operation of the comparative evaluation model of the relational expression extraction apparatus which concerns on Example 1.
  • FIG. 2 It is a flowchart for demonstrating still another example of the selection / specific operation of the comparative evaluation model of the relational expression extraction apparatus which concerns on Example 1.
  • FIG. It is a figure which shows the schematic structure of the related expression extraction apparatus which concerns on Example 2.
  • xxx data may be used as an example of information, but the data structure of the information may be anything. That is, the "xxx data” can be referred to as a "xxx table” to show that the information does not depend on the data structure. Further, “xxx data” may be simply referred to as "xxx”.
  • the configuration of each information is an example, and the information may be divided and held, or may be combined and held.
  • the process may be described with "program” as the subject, but the program is executed by a processor (for example, a CPU (Central Processing Unit)) to appropriately perform the specified process. Since it is performed using a storage resource (for example, memory) and / or a communication interface device (for example, a port), the subject of processing may be a program.
  • the process described with the program as the subject may be a process performed by a processor or a computer having the processor.
  • the related expression extraction device of the present embodiment for solving the above-mentioned problems is according to the structural pattern of the text expressing the related information candidate, the type and pattern of the question, or the input sentence (search query or By selecting multiple evaluation models according to the degree of similarity between the question text) and the related information candidate (answer candidate) and the degree of relevance, the effect of information analysis involving many natural languages such as dialogue and information recommendation is improved. Contribute to.
  • the selection criteria of the evaluation model are, for example, (1) based on the degree of relevance and similarity as a comparison result between the text expressing the related information candidate and the text constituting the input sentence, and (2) the rule base (question).
  • Types and patterns rules for determining whether a question is a specialized question or a general question).
  • the reason for paying attention to the types and patterns of questions is that the questions often reflect the state of the input person (questioner) (learner model). Focusing on the type and pattern of the question also takes into consideration the state of the input person (questioner, etc.) (as an example, the amount of prerequisite knowledge of the questioner), and the interaction that enhances the adaptability to the input person. This is because it is considered to be useful for realization.
  • “ShallowQuestion” and “DeepQuestion” are examples of question types.
  • Shallow Question is a question that is relatively easy to answer, and is basically basic knowledge that is explicitly described in the text.
  • Deep Question is a relatively difficult question, and the answer requires the integration of various information.
  • evaluation model 1 first comparative evaluation model
  • frequency statistics of words, etc. in the case of inter-text comparison, a method of grasping the similarity based on the frequency of words, etc. using frequency statistics
  • syntax analysis A method based on information that can be understood by basic analysis such as (example: symbol matching method) is used as evaluation model 2 (second comparative evaluation model), such as deep learning, and basic analysis (grammatical information of each language is used as external knowledge).
  • the method (which is not essential to give) is given as a preferable example.
  • the guideline is whether or not the information required by the input text (search query, question text, etc.) can be regarded as knowledge that is explicitly described as text.
  • a good example of what can be considered as knowledge explicitly described as text is when the keyword of the input sentence is present in the related expression candidate group. In that case, when comparing the input sentence (search query, question sentence, etc.) with a part of the related expression candidate group, there is a high degree of commonality regarding the frequency of appearance of words based on the information obtained by morphological analysis and parsing. Select an evaluation model whose commonality is likely to be reflected in the evaluation results.
  • Shallow Question is a question that is relatively easy to answer, and is basically assumed to be basic knowledge that is explicitly described as a text.
  • Deep Question is a relatively difficult question, and the answer requires the integration of various information. It is not appropriate to quote relatively partial information as it is (hence the choice of evaluation model 2).
  • related expressions have a broad meaning.
  • the expression matching this query is the related expression for the search query
  • the related expression extractor is used as the natural dialogue system
  • a question sentence is input.
  • the response sentence that matches this question is a related expression
  • the related expression extraction device is used as an automatic translation system
  • the English that matches the input Japanese is the related expression.
  • FIG. 1 is a configuration diagram of a related expression extraction device of this embodiment.
  • the related expression extraction device 1 shown in FIG. 1 is a device capable of various information processing, for example, an information processing device such as a computer.
  • the related expression extraction device 1 has a processor 10, a memory 20, and a communication unit 40 that communicates with an external network 100. Further, the related expression extraction device 1 has an input unit such as a mouse and a keyboard, and a screen unit such as a display, if necessary.
  • the processor is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), or the like.
  • the memory includes, for example, a magnetic storage medium such as an HDD (Hard Disk Drive), a semiconductor storage medium such as a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), and an SSD (SolidStateDrive). Further, a combination of an optical disk such as a DVD (Digital Versatile Disk) and an optical disk drive is also used as a memory. In addition, a known storage medium such as a magnetic tape medium is also used as the memory.
  • Programs such as firmware are stored in the memory.
  • a program such as firmware is read from this memory and executed to perform overall control of the related expression extraction device 1.
  • the memory stores data and the like required for each process of the related expression extraction device 1.
  • the related expression extraction device 1 of the present embodiment may be configured by a so-called cloud in which a plurality of information processing devices can communicate with each other via a communication network.
  • a categorization program 21, a structural pattern determination program 22, an evaluation model determination program 23, a related expression extraction program 24, and a preprocessing program 25 are stored as programs. By executing these programs, the functional unit corresponding to each program is realized. The functions performed by the functional units corresponding to each program will be described in detail later.
  • the related expression candidate group data 26, the first comparative evaluation model 27, the second comparative evaluation model 28, and the typical expression pattern 29 are stored as data. Has been done.
  • the question sentence Q and the answer sentence A obtained from the FAQ or the like are stored as a pair. However, it is not essential that the Q & A is stored as a pair.
  • the related expression candidate group data 26 can refer to the entire related expression candidate group or a part thereof.
  • the question sentence Q may be a template that can discriminate a typical expression pattern described later.
  • the first comparative evaluation model 27 and the second comparative evaluation model 28 have already been described.
  • An example of the typical expression pattern 29 is a typical expression pattern representing the characteristics of the above-mentioned “Shallow Question” and “Deep Question”.
  • FIG. 2 is a flowchart for explaining an outline of the operation of the related expression extraction device 1 of this embodiment.
  • the related expression extraction device 1 Based on the search query (search term, search sentence) input from the external network 100 or the like, the related expression extraction device 1 categorizes the input (input person attribute, input content, etc.) by the categorization program 21. (Step S100, hereinafter may be referred to as "process A"). Further, the related expression extraction device 1 determines the structural pattern of the target (as an example, the related expression candidate group) including the information (knowledge, etc.) to be searched for in the input information (search query or question sentence) by the structural pattern determination program 22. (Step S101, hereinafter may be referred to as "process B").
  • the related expression extraction device 1 is based on at least one of the categorization process and the structural pattern determination process performed in steps S100 and S101 by the evaluation model determination program 23, and the evaluation model (first comparative evaluation model 27 or first comparative evaluation model 27 or first). (Any of the two comparative evaluation models 28) is determined (step S102, hereinafter may be referred to as "process C").
  • the related expression extraction device 1 ranks the related expression candidates from the related expression candidate group data 26 in the order of matching with the search query by using the evaluation model determined by the evaluation model determination program 23 by the related expression extraction program 24. , The answer to the search query is determined based on this ranking (step S103, hereinafter may be referred to as "process D").
  • FIG. 3 is a flowchart for explaining an example of the operation of the related expression extraction device 1 of this embodiment.
  • the related expression extraction device 1 first performs input analysis (preprocessing) of the search query by the preprocessing program 25 (preprocessing). Step S200).
  • the preprocessing program 25 performs a so-called preprocessing operation in a general search system. Specifically, the preprocessing program 25 divides the search query into clause units and further word units by using, for example, a morphological analysis method, and deletes particles such as "teniwoha". Further, the preprocessing program 25 performs preprocessing necessary for determining the evaluation model described later.
  • the preprocessing program 25 classifies search queries and the like, determines whether or not the search queries and the like lack information necessary for answers, and if the search queries and the like are related to legal provisions, this search. Judging the classification of legal components such as whether the query etc. is asking for the requirement part or the proviso part, and further, the type and pattern of the search query etc. (Shallow Question mentioned above). Or Deep Question).
  • step S201 the related expression extraction device 1 uses the categorization program 21, the structural pattern determination program 22, and the evaluation model determination program 23 to perform a comparative evaluation model according to the input user attributes, input contents, and the like (first comparative evaluation model 27, The second comparative evaluation model 28) is selected and specified (step S201).
  • the specific processing of step S201 will be described later with reference to FIGS. 4 to 7.
  • the related expression extraction device 1 acquires the related expression candidate from the related expression candidate group data 26 by the related expression extraction program 24 (step S202). Then, the related expression extraction device 1 executes a comparative evaluation between the input search query and the related expression candidate by the related expression extraction program 24 using the comparative evaluation model specified in step S201 (step S203). Then, the related expression extraction device 1 ranks the related expression candidates by the related expression extraction program 24 based on the evaluation result of step S203 (step S204). As a result, the answer sentence A is confirmed.
  • FIG. 4 is a flowchart for explaining an example of the selection / specific operation of the comparative evaluation model of the related expression extraction device 1 of this embodiment, and is a flowchart for explaining the detailed operation of step S201 of FIG.
  • the related expression extraction device 1 compares the input search query with the typical expression pattern 29 by the categorization program 21 (step S300).
  • the typical expression pattern 29 here is a typical expression pattern that well expresses the characteristics of Shallow Question and Deep Question, respectively.
  • the categorization program 21 determines whether the interrogative Q is closer to the characteristics of the Shallow Question or the characteristics of the Deep Question by the natural language analysis of the interrogative Q. Alternatively, if it is difficult to determine the type of the question sentence Q (when the question sentence Q has the characteristics of the Shallow Question and the characteristics of the Deep Question to the same extent), the categorization program 21 is before. In cooperation with the processing program 25, the state of the input person, for example, a rule for judging whether it is an expert or an ordinary person is held, and a Q & A that can make a judgment based on this rule is performed with the input person, and this Q & A.
  • the state of the input person is judged based on the above, and it is taken into consideration in the judgment of the categorization of the question sentence. If it is determined that the input person is an expert with a large amount of knowledge, a question that requires deep consideration and a high need to read between the lines is entered, that is, the question sentence Q is regarded as a Deep Question. On the other hand, if it is determined that the input person is a general person with a small amount of knowledge, the basic question having a superficial and unique solution, that is, the question sentence Q is regarded as a Shallow Question and is treated as a judgment result of the question type.
  • the related expression extraction device 1 selects a comparative evaluation model based on the determination result in step S300 by the evaluation model determination program 23 (step S301).
  • the evaluation model determination program 23 selects the first comparative evaluation model 27 when it is determined that the question sentence Q is Shallow Question.
  • the second comparative evaluation model 28 is selected.
  • FIG. 5 is a flowchart for explaining another example of the selection / specific operation of the comparative evaluation model of the related expression extraction device 1 of this embodiment.
  • the related expression extraction device 1 acquires a related expression candidate from the related expression candidate group data 26 by the structural pattern determination program 22 (step S400). Next, the related expression extraction device 1 compares and evaluates the input question sentence Q and the related expression candidate by the structural pattern determination program 22, and calculates the degree of similarity based on the first comparative evaluation model 27 (). Step S401).
  • the score becomes large (similarity).
  • a weighted operation (so that the indicated index becomes large) may be performed. For example, when the question sentence Q is "when will XX start?", The structural pattern determination program 22 determines that the question sentence Q is about some subject, and determines that the question sentence Q is related to some subject. Make the weight of the subject part included in the candidate heavier than the weight of the other parts. Then, the degree of similarity between the input question sentence Q and the related expression candidate is calculated again.
  • the related expression extraction device 1 categorizes the question sentence Q by the categorization program 21 and the preprocessing program 25.
  • the improvement amount of the similarity that is, the change amount of the similarity at the time of the weighting before the weighting
  • the related expression candidates including XX as the subject. Is highly likely to exist (YES in step S402), and the process proceeds to step S403.
  • the amount of improvement falls below the threshold value, it is determined that there is not a high possibility that a related expression candidate containing XX is present (NO in step S402), and the process proceeds to step S404.
  • step S403 the categorization program 21 determines that the type of the question sentence Q is Shallow Question.
  • step S404 the categorization program 21 determines that the type of the question sentence Q is Deep Question.
  • the related expression extraction device 1 selects the comparative evaluation model by the evaluation model determination program 23 (step S405).
  • the evaluation model determination program 23 selects the first comparative evaluation model 27 when it is determined that the type of the question sentence Q is Shallow Question.
  • the second comparative evaluation model 28 is selected.
  • FIG. 6 is a flowchart for explaining another example of the selection / specific operation of the comparative evaluation model of the related expression extraction device 1 of this embodiment.
  • the related expression extraction device 1 acquires a related expression candidate from the related expression candidate group data 26 by the structural pattern determination program 22 (step S500).
  • the related expression extraction device 1 compares and evaluates the input question sentence Q and the related expression candidate by the structural pattern determination program 22, and calculates the degree of similarity based on the first comparative evaluation model 27 (). Step S501).
  • the score becomes large (similarity).
  • a weighted operation (so that the indicated index becomes large) may be performed. For example, when the question sentence Q is "when will XX start?", The structural pattern determination program 22 determines that the question sentence Q is about some time, and expresses a related expression. The weighting of information about the time included in the candidate is heavier than the weighting of other parts. Then, the degree of similarity between the input question sentence Q and the related expression candidate is calculated again.
  • the related expression extraction device 1 categorizes the question sentence Q by the categorization program 21 and the preprocessing program 25.
  • the categorization program 21 and the preprocessing program 25 are examples of the categorization program 21 and the preprocessing program 25.
  • step S502 If the amount of improvement in similarity (that is, the amount of change) is equal to or greater than the threshold value, it is determined that there is a high possibility that there is a related expression candidate that includes XX and explains the timing (YES in step S502), and the process proceeds to step S503. do. On the other hand, if the amount of improvement falls below the threshold value, it is determined that there is not a high possibility that a related expression candidate containing XX is present (NO in step S502), and the process proceeds to step S504.
  • step S503 the categorization program 21 determines that the type of the question sentence Q is Shallow Question. On the other hand, in step S504, the categorization program 21 determines that the type of the question sentence Q is Deep Question.
  • the related expression extraction device 1 selects the comparative evaluation model by the evaluation model determination program 23 (step S505).
  • the evaluation model determination program 23 selects the first comparative evaluation model 27 when it is determined that the type of the question sentence Q is Shallow Question.
  • the second comparative evaluation model 28 is selected.
  • FIG. 7 is a flowchart for explaining still another example of the selection / specific operation of the comparative evaluation model of the related expression extraction device 1 of this embodiment.
  • the related expression extraction device 1 specifies the attribute and state of the input person by the categorization program 21 (step S600).
  • the attribute of the input person includes information as to whether the input person is an expert or an ordinary person, and the state of the input person includes the amount of knowledge of the input person.
  • the input person himself / herself inputs his / her own state to the related expression extraction device 1 or teaches the related expression extraction device 1 to input the input person by specifying the attribute or state of the input person by the categorization program 21. It is done by specifying based on the above. Therefore, the related expression extraction device 1 presents a guide question for determining whether or not the input person is a newcomer or an expert to the input person prior to inputting the search query, and the input person asks this guide question. Answer to. The categorization program 21 determines the state of the input person based on the answer to this guide question.
  • the categorization program 21 determines the state of the input person from the contents of the query input by the input person so far. In specifying step S600, the categorization program 21 does not analyze the expression of the question sentence Q.
  • step S601 when the categorization program 21 determines that the amount of knowledge of the input person is small (YES in step S601), the categorization program 21 proceeds to step S602. On the other hand, if the categorization program 21 determines that the amount of knowledge of the input person is not small (NO in step S601), the categorization program 21 shifts to step S603.
  • step S602 the categorization program 21 determines that the type of the question sentence Q is Shallow Question. On the other hand, in step S603, the categorization program 21 determines that the type of the question sentence Q is Deep Question.
  • the related expression extraction device 1 selects the comparative evaluation model by the evaluation model determination program 23 (step S604).
  • the evaluation model determination program 23 selects the first comparative evaluation model 27 when it is determined that the type of the question sentence Q is Shallow Question.
  • the second comparative evaluation model 28 is selected.
  • the comparative evaluation model can be appropriately selected based on the state of the input person (learning model) for inputting the question sentence Q. As a result, a more appropriate answer sentence A can be extracted for the question sentence Q. Therefore, according to this embodiment, it is possible to realize the related expression extraction device 1 that enables accurate extraction of related expressions related to a search query or a question sentence according to a situation.
  • the comparative evaluation model was selected for each search query, but a plurality of search queries may be collectively selected for the comparative evaluation model.
  • FIG. 8 is a diagram showing a schematic configuration of the related expression extraction device 1 according to the second embodiment.
  • the related expression extraction device 1 of this embodiment has a similarity calculation program 30 instead of the categorization program 21 and the structural pattern determination program 22. The operation of the similarity calculation program 30 will be described later.
  • FIG. 9 is a flowchart for explaining an outline of the operation of the related expression extraction device 1 of this embodiment.
  • the related expression extraction device 1 Based on the search query (search term, search sentence) input from the external network 100 or the like, the related expression extraction device 1 first performs input analysis (preprocessing) of the search query by the preprocessing program 25 (preprocessing). Step S800). Since the processing by the preprocessing program 25 is the same as that of the preprocessing program 25 of the first embodiment described above, the description thereof is omitted here.
  • the related expression extraction device 1 performs the processes of steps S801 and S802 for a plurality of search queries (in the illustrated example, queries 1 to n: n are natural numbers).
  • the processes of steps S801 and S802 may be performed in parallel or sequentially.
  • the related expression extraction device 1 acquires the entire related expression candidate from the related expression candidate group data 26 by the similarity calculation program 30 (step S801).
  • the similarity calculation program 30 performs comparative evaluation between the search query or the question sentence and the related expression candidate group by calculating the similarity (step S802).
  • the degree of similarity here means the degree of word-based matching between the search query and individual related expression candidates.
  • the related expression extraction device 1 compares the similarity of the queries 1 to n by the evaluation model determination program 23 (step S803). Then, the evaluation model determination program 23 determines the comparative evaluation model based on the comparison result of step S803 (step S804).
  • the simplest method is a method for distinguishing the comparative evaluation model between a search query having a high degree of similarity and a search query having a low degree of similarity, and the comparative evaluation model is determined by a majority vote. It can be said that it is a method to do.
  • the related expression extraction device 1 executes a comparative evaluation between the input search query and the related expression candidate by the related expression extraction program 24 using the comparative evaluation model specified in step S804, and is based on this evaluation result. Then, the related expression candidate is ranked by the related expression extraction program 24 (step S805). As a result, the answer sentence A is confirmed.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit.
  • the present invention can also be realized by a software program code that realizes the functions of the examples.
  • a storage medium in which the program code is recorded is provided to the computer, and the processor included in the computer reads out the program code stored in the storage medium.
  • the program code itself read from the storage medium realizes the function of the above-described embodiment, and the program code itself and the storage medium storing it constitute the present invention.
  • Examples of the storage medium for supplying such a program code include a flexible disk, a CD-ROM, a DVD-ROM, a hard disk, an SSD (Solid State Drive), an optical disk, a magneto-optical disk, a CD-R, and a magnetic tape.
  • Non-volatile memory cards, ROMs, etc. are used.
  • program code that realizes the functions described in this embodiment can be implemented in a wide range of programs or script languages such as assembler, C / C ++, perl, Shell, PHP, Java (registered trademark), and Python.
  • all or part of the program code of the software that realizes the functions of each embodiment may be stored in the memory 20 in advance, and if necessary, other devices connected to the network 100 may be non-temporary. It may be stored in the memory 20 from a non-temporary storage medium from a target storage device or via an I / F (not shown) included in the related expression extraction device 1.
  • the program code is stored in a storage means such as a hard disk or a memory of a computer or a storage medium such as a CD-RW or a CD-R.
  • the processor included in the computer may read and execute the program code stored in the storage means or the storage medium.
  • control lines and information lines indicate those considered necessary for explanation, and do not necessarily indicate all the control lines and information lines in the product. All configurations may be interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

検索クエリや質問文に係る関連表現の的確な抽出を状況に応じて可能とする。関連表現抽出装置１は、テキストデータの入力を受け入れ、受け入れたテキストデータの類型化及びテキストデータの構造パターンの判定の少なくとも一方を行い、テキストデータの類型化及びテキストデータの構造パターンの判定の少なくとも一方の結果に基づいて、複数の比較評価モデル２７、２８のいずれを用いて関連表現群データ２６を抽出するかを決定し、決定した比較評価モデル２７、２８を用いて、テキストデータの内容に関連する関連表現を関連表現群データ２６から抽出する。

Description

関連表現抽出装置及び関連表現抽出方法
　本発明は、関連表現抽出装置及び関連表現抽出方法に関する。
　深層学習によるEnd-to-End学習（後述の評価モデル２、あるいは「第二の比較評価モデル」）は、従来からの、単語の出現統計や構文解析などの基礎解析（後述の評価モデル１、テキスト間比較の場合は頻度統計を活用し単語等の頻度をもとに類似度を把握する方式であり後述の「第一の比較評価モデル」）とは異なる機構により、対話、情報推薦、ガイドに伴う、自然言語を対象とする解析の可能性を広げている。
　例えば機械翻訳では大量の対訳データを用いてEnd-to-End学習を行うことにより、構文木や述語項構造などの中間状態を必要とせずに高精度な翻訳を実現している。
　しかし、どのタスクでも大量のデータを用意できるわけではない。そのようなタスクでは基礎解析結果を重視することにより、精度を改善することができると考えられる。また、特徴の異なる評価モデルの使い分けによって精度の改善が期待できる。このような考え方で効果的な質問応答システムを実現する目的で、非特許文献１は、次のような評価モデル１と評価モデル２を適宜選択する方式を採っている。
　評価モデル１は、入力された質問文と用意された回答候補などの文との記号マッチング（出現単語等の一致）結果が影響する度合いが大きい評価方式であり、評価モデル２は、前記影響度合いが評価モデル１よりも軽微との考えで深層学習を用いている。
　他方、効果的な知的学習支援を実現するための検討が進められてきている。その成果は、学習支援だけでなく、対話、情報推薦、ガイドなど、ユーザとの適応的なインストラクションを要するシステム全般に大きな影響を与えてきた。
「学習工学」等と称される技術領域では、効果的な知的学習支援を実現するために、主に以下に示す４要素の観点で検討が進められているが、適応的なインストラクションを検索システムにおいて効果的に実現する技術としても見なしうる。
（１）「領域モデル」：教育対象の知識を表現
（２）「学習者モデル」：学習状態や進捗状況を表現
（３）「指導モデル」：指導戦略を表現
（４）「ＵＩモデル」：ユーザーインタフェースやインタラクションを表現
坂田亘，他３名，"行政対話システムにおける検索エンジンTSUBAKIとBERTを併用したFAQ検索の高度化"，言語処理学会第２５回年次大会発表論文集，［online］，２０１９年３月，言語処理学会，［令和２年７月２７日検索］，インターネット<URL:https://www.anlp.jp/proceedings/annual_meeting/2019/pdf_dir/F5-1.pdf>
　「学習工学」等においては、効果的な知的学習支援を実現するために、個々の学習者にとって適切で効果的な支援を意図して、学習者の状態の特徴（一例として「学習者モデル」）に応じた、適応的支援、すなわち学びを促す情報（問題、説明、ヒント、場面など）の生成・提示・推薦、問題演習や訓練における問題系列の組み立て方、学びを指導する方略（指導方略）、学習者との対話を進める方略などが研究対象となっている。
　検索システムや対話システムにおいても、非特許文献１に存在しない情報の獲得を行う主体となる検索者や質問者の状態の考慮（「学習者モデル」相当の考慮）は、適応的なインストラクションの効果の向上において、有効な課題と考えられる。
　本発明は上記の課題に鑑みてなされたもので、関連表現の抽出における評価モデルの選択に際して学習工学における学習者モデルなどのような、検索者や質問者の状態（前提知識の多寡等）を考慮することで、入力されたテキスト等の関連表現の、的確な抽出を可能とする関連表現抽出装置及び関連表現抽出方法を提供することにある。
　上記課題を解決すべく、本発明の一つの観点に従う関連表現抽出装置は、入力されたテキストデータに対してこのテキストデータの内容に関連する関連表現を抽出する関連表現抽出装置であって、関連表現抽出装置はプロセッサ及びメモリを有し、メモリには、少なくともテキストデータの内容に対する回答を含む関連表現群データと、テキストデータと関連表現群データとの比較評価を行う複数の比較評価モデルとが格納され、プロセッサは、テキストデータの入力を受け入れ、受け入れたテキストデータの類型化及びテキストデータの構造パターンの判定の少なくとも一方を行い、テキストデータの類型化及びテキストデータの構造パターンの判定の少なくとも一方の結果に基づいて、複数の比較評価モデルのいずれを用いて関連表現群データを抽出するかを決定し、決定した比較評価モデルを用いて、テキストデータの内容に関連する関連表現を関連表現群データから抽出する。
　本発明によれば、検索クエリや質問文に係る関連表現の的確な抽出を状況に応じて可能とする関連表現抽出装置及び関連表現抽出方法を実現することができる。
実施例１に係る関連表現抽出装置の概略構成を示す図である。 実施例１に係る関連表現抽出装置の動作の概要を説明するためのフローチャートである。 実施例１に係る関連表現抽出装置の動作の一例を説明するためのフローチャートである。 実施例１に係る関連表現抽出装置の比較評価モデルの選択・特定動作の一例を説明するためのフローチャートである。 実施例１に係る関連表現抽出装置の比較評価モデルの選択・特定動作の他の例を説明するためのフローチャートである。 実施例１に係る関連表現抽出装置の比較評価モデルの選択・特定動作のまた他の例を説明するためのフローチャートである。 実施例１に係る関連表現抽出装置の比較評価モデルの選択・特定動作のさらに他の例を説明するためのフローチャートである。 実施例２に係る関連表現抽出装置の概略構成を示す図である。 実施例２に係る関連表現抽出装置の動作の概要を説明するためのフローチャートである。
　以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
　なお、実施例を説明する図において、同一の機能を有する箇所には同一の符号を付し、その繰り返しの説明は省略する。
　また、以下の説明では、情報の一例として「ｘｘｘデータ」といった表現を用いる場合があるが、情報のデータ構造はどのようなものでもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘデータ」を「ｘｘｘテーブル」と言うことができる。さらに、「ｘｘｘデータ」を単に「ｘｘｘ」と言うこともある。そして、以下の説明において、各情報の構成は一例であり、情報を分割して保持したり、結合して保持したりしても良い。
　なお、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又は通信インターフェースデバイス（例えばポート）を用いながら行うため、処理の主語がプログラムとされても良い。プログラムを主語として説明された処理は、プロセッサ或いはそのプロセッサを有する計算機が行う処理としても良い。
　上記課題を解決するための、本実施形態の関連表現抽出装置は、関連情報候補を表現しているテキストの構造パターン、そして、質問の類型やパターンに応じて、あるいは、入力文（検索クエリや質問文）と関連情報候補（回答候補）の類似度や関連度の大小に応じて、複数の評価モデルの選択を行うことで、対話、情報推薦など多くの自然言語を伴う情報解析の効果向上に資する。
　評価モデルの選択基準としては、例えば（１）関連情報候補を表現しているテキストと入力文を構成するテキストとの比較結果としての関連度、類似度に基づくもの（２）ルールベース（質問の類型やパターン：専門的な質問か、一般的な質問かの判定に関するルール等）が挙げられる。
　質問の類型やパターンに注目するのは、質問には、入力者（質問者）の状態等（学習者モデル）が反映される場合が少なくないためである。質問の類型やパターンに注目することは入力者（質問者等）の状態（一例として質問者の前提知識の多寡）を考慮することにもなり、入力者に対して適応性を高めたインタラクションの実現にも有用と考えられるためである。たとえば、“Shallow Question”、“Deep Question”は、質問の類型の一例である。ここに、Shallow Questionとは、相対的に回答が容易な問いであり、基本的にはテキストに陽に記載される基礎知識である。また、Deep Questionとは、相対的に難しい問いであり、回答にはさまざまな情報の統合が求められる。質問対象となる知識領域（対象領域）に関する理解の深化に伴い、“Shallow Question”よりも“Deep Question”による知識獲得の必要性が、質問者にとって高まっていくと考えられている（参考：瀬田和久，他２名，”オープンエンドな学習空間における主体的学びの知的支援“，人工知能、人工知能学会，２０２０年３月，第３５巻，第２号，ｐ２０８－２１７）。
　評価モデルとしては、本実施形態において以下が典型的な選択肢として用意される。
　すなわち、評価モデル１（第一の比較評価モデル）として、単語等の頻度統計（テキスト間比較の場合は頻度統計を活用し単語等の頻度をもとに類似度を把握する方式）、構文解析などの基礎解析でわかる情報をもとにした方式（例：記号マッチング方式）が、評価モデル２（第二の比較評価モデル）として深層学習など、基礎解析（各言語の文法情報を外部知識として与えることが必須ではない）方式が好適な例として挙げられる。
　双方の評価モデルの選択においては、入力文（検索クエリや質問文等）が求めている情報がテキストとして陽に記載される知識である、と見なせるか否かを指針とする。テキストとして陽に記載される知識と見なせる好適な例は、入力文のキーワードが関連表現候補群に存在する場合である。その場合、入力文(検索クエリや質問文など)と関連表現候補群の一部とを比較すると、形態素解析や構文解析で得られる情報に基づく単語等の出現頻度などに関する共通性が高く、その共通性が評価結果に反映されやすい評価モデルを選択する。
・評価モデル１を選択する場合の考え方：
　入力文で求めている情報がテキストに陽に表現される知識であり、情報をそのまま引用することが回答として相応しい場合に適する。あらかじめ用意された質問文と回答文のぺアのなかからの選択だけで対応しやすい状況であり、特に入力文の重要なキーワードが関連表現候補に同様に存在することが確認できた場合には、関連表現候補と入力文とに同一のキーワードが同様に用いられているので入力文との単語等のマッチングの度合いが比較的大きく、評価モデル１の結果に従って関連表現を回答文として採用すればよいとみなす(評価モデル１による評価スコアの大小を信用すればよい)。
・評価モデル２を選択する場合の考え方：
　関連表現候補の部分的な情報をそのまま引用することが回答として相応しくない場合に適する。あらかじめ用意された質問文と回答文のぺアのなかからの選択だけでは対応しにくい状況であり、同義語や類義語も含めた解釈や複数の情報を統合解釈を行った上で関連表現候補群から回答となる情報を特定したうえで、回答を構築すべきような状況が想定される。このような想定においては、評価モデル１の評価値ではなく、評価モデル２の評価値を採用する。
　関連表現候補群のなかの部分的な情報をそのまま引用することが回答として相応しいか否かの選択において、質問の類型やパターンにも注目する。前述のように、質問の類型やパターンに注目することは入力者（質問者等）の状態（一例として質問者の前提知識の多寡）を考慮することにもなり、入力者に対して適応性を高めたインタラクションの実現にも有用と考えられるためである。
　一例として、関連表現候補群のなかの部分的な情報をそのまま引用することが回答として相応しい（したがって、前述のように評価モデル１を選択する）のは、Shallow Questionに回答する場合とみなす。Shallow Questionは相対的に回答が容易な問いであり、基本的にはテキストとして陽に記載される基礎知識であると想定される為である。他方、Deep Questionは、相対的に難しい問いであり、回答にはさまざまな情報の統合が求められる。相対的に部分的な情報をそのまま引用することは相応しくない（したがって、評価モデル２を選択する）。
　また、本明細書全体を通じて、「関連表現」は広い意味を包含する。一例として、関連表現抽出装置が文書検索に用いられる場合、検索クエリに対してこのクエリにマッチする表現が関連表現であり、関連表現抽出装置が自然対話システムとして用いられる場合、質問文が入力されたときにこの質問にマッチする応答文が関連表現であり、関連表現抽出装置が自動翻訳システムとして用いられる場合、入力された日本語にマッチする英語が関連表現である。
　図１は、本実施例の関連表現抽出装置の構成図である。
　図１に示す関連表現抽出装置１は、各種情報処理が可能な装置、一例としてコンピュータ等の情報処理装置である。関連表現抽出装置１は、プロセッサ１０、メモリ２０を有し、さらに、外部ネットワーク１００との通信を行う通信部４０を有する。さらに、関連表現抽出装置１は、必要に応じて、マウス、キーボード等の入力部、ディスプレイ等の画面部を有する。
　プロセッサは、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）等である。メモリは、例えばＨＤＤ（Hard Disk Drive）などの磁気記憶媒体、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などの半導体記憶媒体等を有する。また、ＤＶＤ（Digital Versatile Disk）等の光ディスク及び光ディスクドライブの組み合わせもメモリとして用いられる。その他、磁気テープメディアなどの公知の記憶媒体もメモリとして用いられる。
　メモリには、ファームウェアなどのプログラムが格納されている。関連表現抽出装置１の動作開始時（例えば電源投入時）にファームウェア等のプログラムをこのメモリから読み出して実行し、関連表現抽出装置１の全体制御を行う。また、メモリには、プログラム以外にも、関連表現抽出装置１の各処理に必要なデータ等が格納されている。
　なお、本実施例の関連表現抽出装置１は、複数の情報処理装置が通信ネットワークを介して通信可能に構成された、いわゆるクラウドにより構成されてもよい。
　本実施例の関連表現抽出装置１のメモリ２０には、プログラムとして、類型化プログラム２１、構造パターン判定プログラム２２、評価モデル決定プログラム２３、関連表現抽出プログラム２４及び前処理プログラム２５が格納されており、これらプログラムが実行されることで、それぞれのプログラムに対応した機能部が実現される。それぞれのプログラムに対応した機能部が行う機能については後に詳述する。
　また、本実施例の関連表現抽出装置１のメモリ２０には、データとして関連表現候補群データ２６、第一の比較評価モデル２７、第二の比較評価モデル２８、及び典型的表現パターン２９が格納されている。
　関連表現候補群データ２６には、ＦＡＱ等から入手した質問文Ｑと回答文Ａとがペアとなって格納されている。但し、Ｑ＆Ａがペアで格納されることは必須ではない。関連表現候補群データ２６は関連表現候補群の全体を参照することも、その一部分を参照することも可能である。質問文Ｑについては後述する典型的表現パターンを判別しうるテンプレート的なものであってもよい。第一の比較評価モデル２７及び第二の比較評価モデル２８については既に説明したとおりである。典型的表現パターン２９は、上述した“Shallow Question”及び“Deep Question”の特徴を表す典型的表現パターンがその一例である。
　次に、図２～図７のフローチャートを参照して、本実施例の関連表現抽出装置１の動作について説明する。
　まず、図２は、本実施例の関連表現抽出装置１の動作の概要を説明するためのフローチャートである。
　外部ネットワーク１００等からを介して入力された検索クエリ（検索語、検索文）に基づいて、関連表現抽出装置１は、類型化プログラム２１により入力（入力者属性や入力内容等）の類型化を行う（ステップＳ１００、以下「処理Ａ」ということがある）。また、関連表現抽出装置１は、構造パターン判定プログラム２２により、入力情報（検索クエリや質問文）で探したい情報（知識等）を含む対象（一例として、関連表現候補群）の構造パターンを判定する（ステップＳ１０１、以下「処理Ｂ」ということがある）。
　次いで、関連表現抽出装置１は、評価モデル決定プログラム２３により、ステップＳ１００、Ｓ１０１で行った類型化処理及び構造パターン判定処理の少なくとも一方に基づいて、評価モデル（第一の比較評価モデル２７または第二の比較評価モデル２８のいずれか）を決定する（ステップＳ１０２、以下「処理Ｃ」ということがある）。
　そして、関連表現抽出装置１は、関連表現抽出プログラム２４により、評価モデル決定プログラム２３が決定した評価モデルを用いて、関連表現候補群データ２６から、検索クエリにマッチする順に関連表現候補をランキングし、このランキングに基づいて検索クエリに対する回答を決定する（ステップＳ１０３、以下「処理Ｄ」ということがある）。
　次に、図３～図７のフローチャートを参照して、本実施例の関連表現抽出装置１の具体的な動作について説明する。
　図３は、本実施例の関連表現抽出装置１の動作の一例を説明するためのフローチャートである。
　外部ネットワーク１００等からを介して入力された検索クエリ（検索語、検索文）に基づいて、関連表現抽出装置１は、まず、前処理プログラム２５により検索クエリの入力解析（前処理）を行う（ステップＳ２００）。前処理プログラム２５は、一般的な検索システムにおけるいわゆる前処理動作を行う。具体的には、前処理プログラム２５は、例えば形態素解析の手法等を用いて検索クエリを文節単位、さらには単語単位に分割し、「てにをは」といった助詞を削除する。さらに、前処理プログラム２５は、後述する評価モデル決定に必要な前処理を行う。具体的には、前処理プログラム２５は、検索クエリ等を分類する、検索クエリ等に回答に必要な情報が欠落しているかどうかを判定する、検索クエリ等が法律条文に関するものであればこの検索クエリ等が要件の部分を訊ねているものかあるいは但し書きの部分を訊ねているものか等の法律の構成要素の分類を判定する、さらには検索クエリ等の類型、パターン（上述したShallow QuestionであるかDeep Questionであるか）を評価する。
　次に、関連表現抽出装置１は、類型化プログラム２１、構造パターン判定プログラム２２及び評価モデル決定プログラム２３により、入力者属性や入力内容等に応じた比較評価モデル（第一の比較評価モデル２７、第二の比較評価モデル２８）の選択、特定を行う（ステップＳ２０１）。ステップＳ２０１の具体的な処理については図４～図７を参照して後述する。
　次に、関連表現抽出装置１は、関連表現抽出プログラム２４により、関連表現候補群データ２６から関連表現候補を取得する（ステップＳ２０２）。そして、関連表現抽出装置１は、関連表現抽出プログラム２４により、ステップＳ２０１において特定した比較評価モデルを用いて、入力である検索クエリと関連表現候補との比較評価を実行する（ステップＳ２０３）。そして、関連表現抽出装置１は、ステップＳ２０３の評価結果に基づいて、関連表現抽出プログラム２４により、関連表現候補をランキングする（ステップＳ２０４）。これにより、回答文Ａが確定する。
　図４は、本実施例の関連表現抽出装置１の比較評価モデルの選択・特定動作の一例を説明するためのフローチャートであり、図３のステップＳ２０１の詳細動作を説明するためのフローチャートである。
　まず、関連表現抽出装置１は、類型化プログラム２１により、入力である検索クエリと典型的表現パターン２９との比較を行う（ステップＳ３００）。ここでの典型的表現パターン２９は、Shallow Question及びDeep Questionの特徴をそれぞれよく表す典型的表現パターンである。
　類型化プログラム２１は、一例として、質問文Ｑの自然言語解析により、質問文ＱがShallow Questionの特徴またはDeep Questionの特徴のいずれに近いかを判定する。あるいは、類型化プログラム２１は、質問文Ｑの類型の判定が難しい場合（前記質問文Ｑが、Shallow Questionの特徴とDeep Questionの特徴を同程度に兼ね備えているような場合）などには、前処理プログラム２５と協同して、入力者の状態、一例として、専門家か一般人かを判定するルールを保持し、このルールによる判定を行うことができるＱ＆Ａを入力者との間で行い、このＱ＆Ａに基づいて入力者の状態を判定し、それを質問文の類型化の判定に勘案する。入力者が知識量が多い専門家であると判定したら、回答に際して深い考察を伴い行間を読み解く必要性が高いような質問が投入されている、すなわち、質問文ＱはDeep Questionであるとみなし、他方、入力者が知識量が少ない一般人であると判定したら、表面的で一意な解を持つ基本的な問い、すなわち、質問文ＱはShallow Questionであるとみなし、質問類型の判定結果として扱う。さらに、同じ話題についてより多くの情報を引き出すための質問（「深堀質問」）と、別の話題に移行する質問（「話題転換質問」といった類型を用意し、入力文を話題の深さと広さで把握し、話題を広くする「話題転換質問」の場合は、“Deep Question”と同様に扱い、「深堀質問」が続く場合には、“Shallow Question”相当として扱うといった判定も、本発明の趣旨を逸脱しない範囲で採用可能である。
　次いで、関連表現抽出装置１は、評価モデル決定プログラム２３により、ステップＳ３００の判定結果に基づいて比較評価モデルを選択する（ステップＳ３０１）。ここでは、評価モデル決定プログラム２３は、質問文ＱがShallow Questionであると判定されたら、第一の比較評価モデル２７を選択する。一方、質問文ＱがDeep Questionであると判定されたら、第二の比較評価モデル２８を選択する。
　図５は、本実施例の関連表現抽出装置１の比較評価モデルの選択・特定動作の他の例を説明するためのフローチャートである。
　まず、関連表現抽出装置１は、構造パターン判定プログラム２２により、関連表現候補群データ２６から関連表現候補を取得する（ステップＳ４００）。次に、関連表現抽出装置１は、構造パターン判定プログラム２２により、入力である質問文Ｑと関連表現候補とを比較評価し、第一の比較評価モデル２７に基づいてその類似度を算出する（ステップＳ４０１）。
この類似度の算定では、関連表現候補の重要な構成要素と考えられる主題を示す単語等が、質問文の主題を示す単語等とマッチする場合には、スコアが大きくなるような(類似度を示す指標が大きくなるような)加重操作をしてもよい。たとえば、質問文Ｑが「○○はいつ開始されるのか？」というものであった場合に、構造パターン判定プログラム２２は、質問文Ｑが何かしらの主題についてのものであると判定し、関連表現候補に含まれる主題部分の重み付けをそれ以外の部分の重み付けより重くする。そして、入力である質問文Ｑと関連表現候補との類似度を再度算出する。
　次いで、関連表現抽出装置１は、類型化プログラム２１及び前処理プログラム２５により、質問文Ｑの類型化を行う。一例として、類型化プログラム２１及び前処理プログラム２５は、類似度の改善量（つまり前記加重時の類似度が加重前の変化量）が閾値以上であれば、○○を主題に含む関連表現候補が存在する可能性が高いと判定し（ステップＳ４０２においてＹＥＳ）、ステップＳ４０３に移行する。一方、改善量が閾値を下回ったら、○○を主題に含む関連表現候補が存在する可能性があまり高くないと判定し（ステップＳ４０２においてＮＯ）、ステップＳ４０４に移行する。
　ステップＳ４０３では、類型化プログラム２１が、質問文Ｑの類型がShallow Questionであると判定する。一方、ステップＳ４０４では、類型化プログラム２１が、質問文Ｑの類型がDeep Questionであると判定する。
　この後、関連表現抽出装置１は、評価モデル決定プログラム２３により、比較評価モデルを選択する（ステップＳ４０５）。ここでは、評価モデル決定プログラム２３は、質問文Ｑの類型がShallow Questionであると判定されたら、第一の比較評価モデル２７を選択する。一方、質問文Ｑの類型がDeep Questionであると判定されたら、第二の比較評価モデル２８を選択する。
　図６は、本実施例の関連表現抽出装置１の比較評価モデルの選択・特定動作のまた他の例を説明するためのフローチャートである。
　まず、関連表現抽出装置１は、構造パターン判定プログラム２２により、関連表現候補群データ２６から関連表現候補を取得する（ステップＳ５００）。次に、関連表現抽出装置１は、構造パターン判定プログラム２２により、入力である質問文Ｑと関連表現候補とを比較評価し、第一の比較評価モデル２７に基づいてその類似度を算出する（ステップＳ５０１）。
　この類似度の算定では、関連表現候補の重要な構成要素と考えられる主題を示す単語等が、質問文の主題を示す単語等とマッチする場合には、スコアが大きくなるような(類似度を示す指標が大きくなるような)加重操作をしてもよい。たとえば、質問文Ｑが「○○はいつ開始されるのか？」というものであった場合に、構造パターン判定プログラム２２は、質問文Ｑが何かしらの時期についてのものであると判定し、関連表現候補に含まれる時期に関する情報の重み付けをそれ以外の部分の重み付けより重くする。そして、入力である質問文Ｑと関連表現候補との類似度を再度算出する。
　次いで、関連表現抽出装置１は、類型化プログラム２１及び前処理プログラム２５により、質問文Ｑの類型化を行う。一例として、類型化プログラム２１及び前処理プログラム２５は、
　類似度の改善量（つまり変化量）が閾値以上であれば、○○を含み、時期を説明する関連表現候補が存在する可能性が高いと判定し（ステップＳ５０２においてＹＥＳ）、ステップＳ５０３に移行する。一方、改善量が閾値を下回ったら、○○を主題に含む関連表現候補が存在する可能性があまり高くないと判定し（ステップＳ５０２においてＮＯ）、ステップＳ５０４に移行する。
　ステップＳ５０３では、類型化プログラム２１が、質問文Ｑの類型がShallow Questionであると判定する。一方、ステップＳ５０４では、類型化プログラム２１が、質問文Ｑの類型がDeep Questionであると判定する。
　この後、関連表現抽出装置１は、評価モデル決定プログラム２３により、比較評価モデルを選択する（ステップＳ５０５）。ここでは、評価モデル決定プログラム２３は、質問文Ｑの類型がShallow Questionであると判定されたら、第一の比較評価モデル２７を選択する。一方、質問文Ｑの類型がDeep Questionであると判定されたら、第二の比較評価モデル２８を選択する。
　図７は、本実施例の関連表現抽出装置１の比較評価モデルの選択・特定動作のさらに他の例を説明するためのフローチャートである。
　まず、関連表現抽出装置１は、類型化プログラム２１により、入力者の属性や状態を特定する（ステップＳ６００）。ここに、入力者の属性には、入力者が専門家であるか一般人であるかという情報が含まれ、入力者の状態には、入力者の知識量が含まれる。
　類型化プログラム２１による入力者の属性や状態の特定動作は、一例として、入力者自身が自身の状態を関連表現抽出装置１に入力する、あるいは関連表現抽出装置１に教示し、入力者の入力等に基づいて特定することにより行われる。このため、関連表現抽出装置１は、検索クエリの入力に先立って入力者に対して新人か否か、専門家か否かを判定するためのガイド質問を提示し、入力者がこのガイド質問に対して回答する。類型化プログラム２１は、このガイド質問の回答に基づいて入力者の状態を判定する。
　あるいは、類型化プログラム２１は、これまで入力者が入力したクエリの内容から、入力者の状態を判定する。なお、ステップＳ６００の特定において、類型化プログラム２１は、質問文Ｑの表現を解析等することはない。
　次いで、類型化プログラム２１は、入力者の知識量が少ないと判定したら（ステップＳ６０１においてＹＥＳ）、ステップＳ６０２に移行する。一方、類型化プログラム２１は、入力者の知識量が少なくないと判定したら（ステップＳ６０１においてＮＯ）、ステップＳ６０３に移行する。
　ステップＳ６０２では、類型化プログラム２１が、質問文Ｑの類型がShallow Questionであると判定する。一方、ステップＳ６０３では、類型化プログラム２１が、質問文Ｑの類型がDeep Questionであると判定する。
　この後、関連表現抽出装置１は、評価モデル決定プログラム２３により、比較評価モデルを選択する（ステップＳ６０４）。ここでは、評価モデル決定プログラム２３は、質問文Ｑの類型がShallow Questionであると判定されたら、第一の比較評価モデル２７を選択する。一方、質問文Ｑの類型がDeep Questionであると判定されたら、第二の比較評価モデル２８を選択する。
　以上詳細に説明したように、本実施例の関連表現抽出装置１によれば、質問文Ｑを入力する入力者の状態等（学習モデル）に基づいて比較評価モデルを適切に選択することができ、これにより、質問文Ｑに対してより適切な回答文Ａを抽出することができる。よって、本実施例によれば、検索クエリや質問文に係る関連表現の的確な抽出を状況に応じて可能とする関連表現抽出装置１を実現することができる。
　上述の実施例１の関連表現抽出装置１では、検索クエリ毎に比較評価モデルを選択していたが、複数の検索クエリをまとめて比較評価モデルを選択してもよい。
　図８は、実施例２に係る関連表現抽出装置１の概略構成を示す図である。本実施例の関連表現抽出装置１は、類型化プログラム２１及び構造パターン判定プログラム２２を欠くかわりに、類似度算出プログラム３０を有する。類似度算出プログラム３０の動作については後述する。
　図９は、本実施例の関連表現抽出装置１の動作の概要を説明するためのフローチャートである。
　外部ネットワーク１００等からを介して入力された検索クエリ（検索語、検索文）に基づいて、関連表現抽出装置１は、まず、前処理プログラム２５により検索クエリの入力解析（前処理）を行う（ステップＳ８００）。前処理プログラム２５による処理は上述した実施例１の前処理プログラム２５と同一であるので、ここでの説明は省略する。
　次に、関連表現抽出装置１は、複数の検索クエリ（図示例ではクエリ１～ｎ：ｎは自然数）についてステップＳ８０１及びＳ８０２の処理を行う。これらステップＳ８０１及びＳ８０２の処理はパラレルに行ってもよく、シーケンシャルに行ってもよい。
　まず、関連表現抽出装置１は、類似度算出プログラム３０により、関連表現候補群データ２６から関連表現候補全体を取得する（ステップＳ８０１）。次いで、類似度算出プログラム３０は、検索クエリや質問文と関連表現候補群との比較評価を、類似度を算出することにより行う（ステップＳ８０２）。ここにいう類似度とは、検索クエリと個々の関連表現候補との単語ベースでの一致度をいう。
　次いで、関連表現抽出装置１は、評価モデル決定プログラム２３により、クエリ１～ｎの類似度を比較する（ステップＳ８０３）。そして、評価モデル決定プログラム２３は、ステップＳ８０３の比較結果に基づいて比較評価モデルを決定する（ステップＳ８０４）。ステップＳ８０４における比較評価モデルの決定手法のうち、最も簡単な手法は、類似度が高い検索クエリと類似度が低い検索クエリとで比較評価モデルを区別する手法であり、多数決により比較評価モデルを決定する手法ともいえる。
　そして、関連表現抽出装置１は、関連表現抽出プログラム２４により、ステップＳ８０４において特定した比較評価モデルを用いて、入力である検索クエリと関連表現候補との比較評価を実行し、この評価結果に基づいて、関連表現抽出プログラム２４により、関連表現候補をランキングする（ステップＳ８０５）。これにより、回答文Ａが確定する。
　従って、本実施例によっても、実施例１の関連表現抽出装置１と同様の作用効果を得ることができる。
　なお、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）、Ｐｙｔｈｏｎ等の広範囲のプログラムまたはスクリプト言語で実装できる。
　さらに、各実施例の機能を実現するソフトウェアのプログラムコードのすべてまたは一部は、予めメモリ２０に格納されていてもよいし、必要に応じて、ネットワーク１００に接続された他の装置の非一時的記憶装置から、または関連表現抽出装置１が備える図示していないＩ／Ｆを介して、非一時的な記憶媒体から、メモリ２０に格納されてもよい。
　さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段またはＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
　上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
　１…関連表現抽出装置　１０…プロセッサ　２０…メモリ　２１…類型化プログラム　２２…構造パターン判定プログラム　２３…評価モデル決定プログラム　２４…関連表現抽出プログラム　２５…前処理プログラム　２６…関連表現候補群データ　２７…第一の比較評価モデル　２８…第二の比較評価モデル　２９…典型的表現パターン　３０…類似度算出プログラム　４０…通信部　１００…外部ネットワーク　　　

Claims (12)

  1. 　入力されたテキストデータに対してこのテキストデータの内容に関連する関連表現を抽出する関連表現抽出装置であって、
    　前記関連表現抽出装置はプロセッサ及びメモリを有し、
    　前記メモリには、少なくとも前記テキストデータの内容に対する回答を含む関連表現群データと、前記テキストデータと前記関連表現群データとの比較評価を行う複数の比較評価モデルとが格納され、
    　前記プロセッサは、
    　前記テキストデータの入力を受け入れ、
    　受け入れた前記テキストデータの類型化及び前記テキストデータの構造パターンの判定の少なくとも一方を行い、
    　前記テキストデータの類型化及び前記テキストデータの構造パターンの判定の少なくとも一方の結果に基づいて、複数の前記比較評価モデルのいずれを用いて前記関連表現群データを抽出するかを決定し、
    　決定した前記比較評価モデルを用いて、前記テキストデータの内容に関連する前記関連表現を前記関連表現群データから抽出する
    ことを特徴とする関連表現抽出装置。
  2. 　前記関連表現群データには、前記回答に対応する典型的質問が前記回答と組になって格納されていることを特徴とする請求項１に記載の関連表現抽出装置。
  3. 　前記プロセッサは、前記テキストデータに対して単語単位の切り分け、品詞解析を含む形態素解析を行った後に受け入れた前記テキストデータの類型化及び前記テキストデータの構造パターンの特定の少なくとも一方を行うことを特徴とする請求項１に記載の関連表現抽出装置。
  4. 　前記メモリには、前記テキストデータの典型的表現パターンが格納され、
    　前記プロセッサは、受け入れた前記テキストデータと前記典型的表現パターンとを比較して第一の比較評価モデルまたは第二の比較評価モデルのいずれを用いて前記関連表現群データを抽出するかを決定する
    ことを特徴とする請求項３に記載の関連表現抽出装置。
  5. 　前記プロセッサは、受け入れた前記テキストデータの内容が、単一の前記回答を用いて回答可能な第一の典型的表現パターンであるか、あるいは、複数の前記回答を用いて回答可能な第二の典型的表現パターンであるかに基づいて、前記第一の比較評価モデルまたは前記第二の比較評価モデルのいずれを用いて前記関連表現群データを抽出するかを決定することを特徴とする請求項４に記載の関連表現抽出装置。
  6. 　前記メモリには、前記テキストデータに含まれる単語の頻度を基準にした前記第一の比較評価モデルと、前記テキストデータに含まれる単語の表現揺らぎに強い前記第二の比較評価モデルとが格納されていることを特徴とする請求項５に記載の関連表現抽出装置。
  7. 　前記プロセッサは、前記テキストデータの内容の特定の意味要素に該当する単語等の語句を抽出し、前記回答中に含まれる前記語句の重み付けを前記回答中に含まれる他の単語の重み付けより重くして、前記テキストデータと前記回答との類似度を算出し、この類似度が予め定めた閾値以上であれば前記第一の典型的表現パターンであると判定し、閾値を下回ったら前記第二の典型的表現パターンであると判定することを特徴とする請求項５に記載の関連表現抽出装置。
  8. 前記テキストデータの内容の特定の前記意味要素が、主題、５Ｗ１Ｈ（いつ、どこで、誰が、誰に、何を、どのように）の各要素、要件、効果、原則、例外、のいずれか一つあるいは複数であることを特徴とする請求項７に記載の関連表現抽出装置。
  9. 　前記プロセッサは、前記テキストデータの内容の主題に関する主題意味要素を抽出し、前記回答中に含まれる前記主題意味要素の重み付けを前記回答中に含まれる他の意味要素の重み付けより重くして、前記テキストデータと前記回答との類似度を算出し、この類似度が予め定めた閾値以上であれば前記第一の典型的表現パターンであると判定し、閾値を下回ったら前記第二の典型的表現パターンであると判定することを特徴とする請求項５に記載の関連表現抽出装置。
  10. 　前記プロセッサは、前記テキストデータを作成した入力者の知識量を、前記入力者が過去に入力した前記テキストデータから判断し、あるいは、前記入力者に対して前記知識量を問うガイド質問を送信して前記入力者がこのガイド質問に対して回答したガイド回答から判断し、前記知識量が予め定めた閾値を下回ったら前記第一の典型的表現パターンであると判定し、閾値以上であれば前記第二の典型的表現パターンであると判定することを特徴とする請求項５に記載の関連表現抽出装置。
  11. 　入力されたテキストデータに対してこのテキストデータの内容に関連する関連表現を抽出する関連表現抽出装置であって、
    　前記関連表現抽出装置はプロセッサ及びメモリを有し、
    　前記メモリには、少なくとも前記テキストデータの内容に対する回答を含む関連表現群データと、前記テキストデータと前記関連表現群データとの比較評価を行う複数の比較評価モデルとが格納され、
    　前記プロセッサは、
    　複数の前記テキストデータの入力を受け入れ、
    　受け入れた前記テキストデータと前記回答との類似度を、前記テキストデータと前記回答との単語の一致度により算出し、
    　算出した前記類似度に基づいて複数の前記比較評価モデルのいずれを用いて前記関連表現群データを抽出するかを決定し、
    　決定した前記比較評価モデルを用いて、前記テキストデータの内容に関連する前記関連表現を前記関連表現群データから抽出する
    ことを特徴とする関連表現抽出装置。
  12. 　入力されたテキストデータに対してこのテキストデータの内容に関連する関連表現を抽出する関連表現抽出装置による関連表現抽出方法であって、
    　前記関連表現抽出装置はプロセッサ及びメモリを有し、
    　前記メモリには、少なくとも前記テキストデータの内容に対する回答を含む関連表現群データと、前記テキストデータと前記関連表現群データとの比較評価を行う複数の比較評価モデルとが格納され、
    　前記テキストデータの入力を受け入れ、
    　受け入れた前記テキストデータの類型化及び前記テキストデータの構造パターンの判定の少なくとも一方を行い、
    　前記テキストデータの類型化及び前記テキストデータの構造パターンの判定の少なくとも一方の結果に基づいて、複数の前記比較評価モデルのいずれを用いて前記関連表現群データを抽出するかを決定し、
    　決定した前記比較評価モデルを用いて、前記テキストデータの内容に関連する前記関連表現を前記関連表現群データから抽出する
    ことを特徴とする関連表現抽出方法。
     
PCT/JP2021/010897 2020-09-28 2021-03-17 関連表現抽出装置及び関連表現抽出方法 Ceased WO2022064741A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21871877.3A EP4198770A4 (en) 2020-09-28 2021-03-17 DEVICE FOR EXTRACTING ASSOCIATED EXPRESSIONS AND METHOD FOR EXTRACTING ASSOCIATED EXPRESSIONS
US18/025,950 US12327083B2 (en) 2020-09-28 2021-03-17 Related expression extraction device and related expression extraction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-162131 2020-09-28
JP2020162131A JP7507647B2 (ja) 2020-09-28 2020-09-28 関連表現抽出装置及び関連表現抽出方法

Publications (1)

Publication Number Publication Date
WO2022064741A1 true WO2022064741A1 (ja) 2022-03-31

Family

ID=80845133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010897 Ceased WO2022064741A1 (ja) 2020-09-28 2021-03-17 関連表現抽出装置及び関連表現抽出方法

Country Status (4)

Country Link
US (1) US12327083B2 (ja)
EP (1) EP4198770A4 (ja)
JP (1) JP7507647B2 (ja)
WO (1) WO2022064741A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116303947A (zh) * 2023-02-24 2023-06-23 首都师范大学 一种问答文本的情绪识别方法、装置及电子设备
WO2024042634A1 (ja) * 2022-08-24 2024-02-29 日本電気株式会社 情報処理装置、関連語検出方法および関連語検出プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12206629B2 (en) * 2023-03-14 2025-01-21 Dell Products L.P. Method and system to automatically respond to a user input

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004055707A1 (ja) * 2002-12-16 2004-07-01 Dentsu Inc. ブランド動的評価情報処理装置および方法
WO2013080406A1 (ja) * 2011-11-28 2013-06-06 Ｎｅｃソフト株式会社 対話システム、冗長メッセージ排除方法および冗長メッセージ排除プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8738617B2 (en) * 2010-09-28 2014-05-27 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
JP6414956B2 (ja) * 2014-08-21 2018-10-31 国立研究開発法人情報通信研究機構 質問文生成装置及びコンピュータプログラム
CN104573028B (zh) * 2015-01-14 2019-01-25 百度在线网络技术（北京）有限公司 实现智能问答的方法和系统
US10110544B2 (en) * 2015-10-05 2018-10-23 Oath Inc. Method and system for classifying a question
US20180341871A1 (en) * 2017-05-25 2018-11-29 Accenture Global Solutions Limited Utilizing deep learning with an information retrieval mechanism to provide question answering in restricted domains

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004055707A1 (ja) * 2002-12-16 2004-07-01 Dentsu Inc. ブランド動的評価情報処理装置および方法
WO2013080406A1 (ja) * 2011-11-28 2013-06-06 Ｎｅｃソフト株式会社 対話システム、冗長メッセージ排除方法および冗長メッセージ排除プログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Question Answering System (Natural Language Processing Series; 2)", 21 September 2009, CORONA PUBLISHING CO. LTD., JP, ISBN: 978-4-339-02752-5, article ISOZAKI, HIDEKI : "Passages; Question answering system", pages: 110, 136, 153 - 161, XP009535990 *
KAZUHISA SETA: "Artificial Intelligence", vol. 35, March 2020, THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, article "Intelligent support of initiative activeness in open end learning space", pages: 208 - 217
SAKATA WATARU: "Proceedings of the Twenty-fifth Annual Meeting of the Association for Natural Language Processing", March 2019, THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, article "advanced FAQ search using both search engines TSUBAKI and BERT in administrative dialogue system"
See also references of EP4198770A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042634A1 (ja) * 2022-08-24 2024-02-29 日本電気株式会社 情報処理装置、関連語検出方法および関連語検出プログラム
JPWO2024042634A1 (ja) * 2022-08-24 2024-02-29
JP7823756B2 (ja) 2022-08-24 2026-03-04 日本電気株式会社 情報処理装置、関連語検出方法および関連語検出プログラム
CN116303947A (zh) * 2023-02-24 2023-06-23 首都师范大学 一种问答文本的情绪识别方法、装置及电子设备
CN116303947B (zh) * 2023-02-24 2024-01-19 首都师范大学 一种问答文本的情绪识别方法、装置及电子设备

Also Published As

Publication number Publication date
US20230359816A1 (en) 2023-11-09
JP2022054879A (ja) 2022-04-07
EP4198770A1 (en) 2023-06-21
EP4198770A4 (en) 2024-07-31
US12327083B2 (en) 2025-06-10
JP7507647B2 (ja) 2024-06-28

Similar Documents

Publication Publication Date Title
US11875585B2 (en) Semantic cluster formation in deep learning intelligent assistants
JP6414956B2 (ja) 質問文生成装置及びコンピュータプログラム
JP6618735B2 (ja) 質問応答システムの訓練装置及びそのためのコンピュータプログラム
Otegi et al. Conversational question answering in low resource scenarios: A dataset and case study for basque
JP2019526139A (ja) コンピュータ学習および理解のためのアーキテクチャおよびプロセス
US20210240775A1 (en) System and method for providing automated and unsupervised inline question answering
EP4125029A1 (en) Electronic apparatus, controlling method of thereof and non-transitory computer readable recording medium
WO2022064741A1 (ja) 関連表現抽出装置及び関連表現抽出方法
Nassiri et al. Arabic L2 readability assessment: Dimensionality reduction study
Hong et al. Outcome-constrained large language models for countering hate speech
KR102410068B1 (ko) 자연어 모델을 기반으로 한 질의-응답 페어 생성 방법 및 이러한 방법을 수행하는 장치
CN113971212A (zh) 多语种问答方法、装置、电子设备及存储介质
Machhout et al. Enhanced bert approach to score arabic essay’s relevance to the prompt
JP6885506B2 (ja) 応答処理プログラム、応答処理方法、応答処理装置および応答処理システム
Riza et al. Natural language processing and levenshtein distance for generating error identification typed questions on TOEFL
US20190318220A1 (en) Dispersed template-based batch interaction with a question answering system
Chakrabarti et al. Inside out 2: make room for new emotions & LLM: a reproducibility study of the emotional side of search in the classroom
Otani et al. Large-scale acquisition of commonsense knowledge via a quiz game on a dialogue system
CN117371457A (zh) 一种prompt推荐方法及模块
Wang et al. SLR: A million-scale comprehensive crossword dataset for simultaneous learning and reasoning
Ghannem et al. Analysis of Serious Games based Learning Requirements using Feedback and Traces of Users.
JP7319504B2 (ja) 対話システム、対話方法、プログラム、及び記憶媒体
Ringenberg Creating, testing and implementing a method for retrieving conversational inference with ontological semantics and defaults
CN121563436A (zh) 基于大语言模型的智能会商方法
JP6852520B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21871877

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021871877

Country of ref document: EP

Effective date: 20230313

NENP Non-entry into the national phase

Ref country code: DE

WWG Wipo information: grant in national office

Ref document number: 18025950

Country of ref document: US