WO2014132402A1 - データ処理装置および物語モデル構築方法 - Google Patents

データ処理装置および物語モデル構築方法 Download PDF

Info

Publication number
WO2014132402A1
WO2014132402A1 PCT/JP2013/055477 JP2013055477W WO2014132402A1 WO 2014132402 A1 WO2014132402 A1 WO 2014132402A1 JP 2013055477 W JP2013055477 W JP 2013055477W WO 2014132402 A1 WO2014132402 A1 WO 2014132402A1
Authority
WO
WIPO (PCT)
Prior art keywords
case
feature
event slot
series
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/055477
Other languages
English (en)
French (fr)
Inventor
浜田　伸一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Priority to JP2015502663A priority Critical patent/JP5945062B2/ja
Priority to PCT/JP2013/055477 priority patent/WO2014132402A1/ja
Priority to CN201380073967.6A priority patent/CN105264518B/zh
Publication of WO2014132402A1 publication Critical patent/WO2014132402A1/ja
Priority to US14/837,197 priority patent/US9904677B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors

Definitions

  • Embodiments described herein relate generally to a data processing apparatus and a story model construction method.
  • Contextual analysis such as anaphora resolution, coreference resolution, and dialog processing, is an important task for correctly understanding documents in natural language processing. It is known that it is effective to use procedural knowledge such as Shank script or Fillmore frame for context analysis. Procedural knowledge is knowledge about what is a procedure that follows a series of procedures. A model that reproduces this procedural knowledge with a computer is a narrative model.
  • event slots a series of predicate and case pairs (hereinafter referred to as “event slots”) that are related to each other is acquired from an arbitrary document group, case data is generated from the event slot series, and a story is learned by machine learning training. It has been proposed to build a model.
  • the event slot series is an event slot that is a combination of a predicate sharing a term and a case type of the shared term as an element, and the event slots are arranged in the order of appearance. Since there are a wide variety of event slots that are elements of the event slot series, a large amount of learning data is required to construct a highly accurate story model by performing sufficient learning. However, it is very expensive to obtain a large amount of highly reliable learning data. Therefore, there is a concern that sufficient learning data is not collected and learning data is insufficient, and as a result, the accuracy of the story model to be constructed is lowered.
  • the problem to be solved by the present invention is to provide a data processing apparatus and a story model construction method capable of constructing a story model with high accuracy.
  • the data processing apparatus includes an extraction unit, a case generation unit, and a model construction unit.
  • the extraction unit includes, as an element, a combination of a predicate having a shared term and case type information indicating a case type of the shared term from a document that has been subjected to predicate term structure analysis and coreference analysis.
  • the element series arranged in the order of appearance of the previous description words in the document is extracted together with the shared term.
  • the case generation unit when one of the elements constituting the element series is set as an attention element, for each of the attention elements, one of the partial series in the element series having the attention element as the last element Case data represented by a feature vector including at least one of the above feature quantities and one or more feature quantities related to the shared term series corresponding to the partial series is generated.
  • the model construction unit constructs a story model for estimating the elements following the preceding context by performing machine learning based on the identification model using the case data.
  • FIG. 1 is a schematic diagram of a probability model using an event slot sequence having “criminal” as a shared term.
  • FIG. 2 is a schematic diagram for explaining the method described in Non-Patent Document 3.
  • FIG. 3 is a block diagram illustrating a configuration example of the data processing device according to the first embodiment.
  • FIG. 4 is a diagram illustrating a specific example of a training tagged document.
  • FIG. 5 is a diagram showing a specific example of training event slot series data.
  • FIG. 6 is a flowchart for explaining processing performed by the event slot series extractor.
  • FIG. 7 is a diagram illustrating a specific example of training example data.
  • FIG. 8 is a flowchart for explaining processing performed by the machine learning case generator.
  • FIG. 1 is a schematic diagram of a probability model using an event slot sequence having “criminal” as a shared term.
  • FIG. 2 is a schematic diagram for explaining the method described in Non-Patent Document 3.
  • FIG. 3 is a block diagram illustrating
  • FIG. 9 is a flowchart for explaining processing by the event slot history feature generator.
  • FIG. 10 is a flowchart for explaining processing by the shared term history feature generator.
  • FIG. 11 is a diagram illustrating an example of a shared term expression group generated by the shared term expression generator.
  • FIG. 12 is a flowchart for explaining processing by the shared term expression generator.
  • FIG. 13 is a diagram illustrating an example of a subsequent event slot estimation model.
  • FIG. 14 is a flowchart for explaining processing performed by the subsequent event slot estimation trainer.
  • FIG. 15 is a flowchart for explaining the process of the machine learning case generator in the prediction process.
  • FIG. 16 is a diagram illustrating an example of a subsequent event slot estimation result.
  • FIG. 17 is a flowchart for explaining processing executed by the subsequent event slot predictor.
  • FIG. 11 is a diagram illustrating an example of a shared term expression group generated by the shared term expression generator.
  • FIG. 12 is a flowchart for explaining processing by the shared term expression
  • FIG. 18 is a block diagram illustrating a configuration example of a data processing device according to the second embodiment.
  • FIG. 19 is a diagram illustrating a specific example of training example data.
  • FIG. 20 is a flowchart for explaining processing by the combination feature generator.
  • FIG. 21 is a diagram illustrating the hardware configuration of the data processing apparatus.
  • an event slot sequence group is extracted from a document group that has been subjected to predicate term structure analysis and coreference analysis, and a machine learning case data group is generated using the extracted event slot sequence group. Generate a story model by machine learning using this case data group.
  • the event slot series is a series of predicate / case type pairs with shared terms.
  • attempts have been made to perform context analysis using the event slot sequence probability model as procedural knowledge. This is based on the hypothesis that predicates that share terms have some relationship.
  • the shared term is used to find an event slot, and the frequency is counted only for the event slot sequence excluding the shared term.
  • FIG. 1 is a schematic diagram of a probability model using an event slot sequence having “criminal” as a shared term.
  • 1A shows an example of Japanese
  • FIG. 1B shows an example of English.
  • the arrows in the figure indicate the existence of a probability model, where the source of the arrow indicates a random variable that is a condition in the conditional probability, and the end of the arrow indicates a random variable that is an evaluation target.
  • the broken line in the figure indicates that there is no probability model.
  • the frequency count (and the probability calculation based on the frequency count) is an event slot series excluding the shared item “criminal” (crime (movement 2). It is performed only for catching (motion 1).
  • discriminal crime (movement 2).
  • predicate meaning ambiguity removal processing is performed, and the meaning specification information for identifying the meaning of the predicate is specified in the predicate of each event slot constituting the event slot series (dynamic 2, dynamic 1, motion 4, etc.) are added, but it is not essential to add meaning-specific information to the predicate.
  • the event slot which is an element of the event slot series, is a combination of predicate and case type, so the type is enormous with the number of predicate vocabulary times the number of case types. Therefore, in order to perform sufficient learning, a large amount of learning data corresponding to the learning is required. Collecting a lot of reliable learning data is very expensive. For this reason, sufficient learning data is not collected, learning data is insufficient, and as a result, there is a problem that the accuracy of the model to be built is lowered.
  • Non-Patent Document 4 As a method for solving the zero probability, conventionally, various smoothing methods (for example, see Non-Patent Document 4) have been proposed. These smoothing methods are methods for assigning a certain low probability to an unknown sequence. However, these smoothing methods are methods for eliminating statistical unevenness, and although a zero probability can be avoided, an appropriate probability is not always assigned.
  • the essential problem is that there are not enough clues to solve the problem of what event slot follows an event slot. Therefore, in the embodiment, more clues for predicting subsequent event slots are extracted from a certain amount of analyzed text for learning (a document subjected to predicate term structure analysis and coreference analysis) than in the conventional method.
  • a tree structure composed of three nodes, a predicate, a plurality of cases subordinate to the predicate, and a term satisfying each case is called a predicate term structure.
  • the predicate term structure is applicable to all languages such as Japanese and English. However, in the case of Japanese, the case type is clearly indicated by particles such as “GA”, “O”, and “NI”. On the other hand, in the case of English, there are cases that can be determined unless the meaning is taken into account. As described above, the method of expressing the case differs depending on the language.
  • the predicate term structure of a sentence can be analyzed by a predicate term structure analyzer.
  • a predicate term structure analyzer is prepared for each language, and processes a language-specific case expression method to output a predicate term structure.
  • the output predicate term structure itself is the same even if the case type is different.
  • This embodiment is based on the premise that an existing predicate term structure analyzer is used. For this reason, there is no need to be aware of the difference in the way the case is expressed. In other words, this embodiment is not specialized for Japanese and can be applied to any language.
  • a surface case is a case classification method that treats surface phenomena such as “ga”, “to”, and “ni” as case types.
  • the deep case is a method of classifying cases from a semantic point of view. The difference between the surface case and the deep case is also absorbed by the predicate term structure analyzer.
  • [A] Calculation of the frequency of event slot series (statistics according to).
  • [B] Calculation of frequency of shared term series (statistics according to).
  • [C] Probability calculation that integrates statistics [A] and [B] in a form that includes a process of taking the sum of these.
  • the machine learning method based on an identification model is a method that can derive a probability distribution under conditions of a plurality of different events from one optimization process.
  • a process of calculating the statistics of [A] and [B] having different origins, and a process of integrating a plurality of statistics of [C] are performed.
  • This paper proposes a method of solving with a single optimization process using machine learning technique based on the identification model.
  • the story model construction method of the present embodiment includes the following procedures.
  • the event slot history refers to a partial series (Ngram series) in an event slot sequence having the event slot as the last element.
  • Ngram series a partial series
  • Wo case” is “captured (motion 1).
  • Wo case” becomes “crime (motion 2).
  • Wo case includes not only the feature amount of the Ngram sequence but also the feature amount of all the partial sequences whose order is n or less.
  • the feature amount related to the history of the event slot is not only the feature amount of the partial series (big series) including the event slot and the previous event slot connected to the event slot, It also includes a feature amount of a partial series (unigram series (unigram is also regarded as a series in this embodiment)) having only event slots as elements.
  • bigram is 0 frequency
  • the effect of smoothing complemented by unigram can be acquired.
  • the shared term history refers to a sequence of shared terms corresponding to the partial sequence of event slots described above.
  • the history of the shared term in the case of the bigram series, in the example of FIG. 1 (a), the history of the shared term “I jail (motion 4). Wo case” and the history of the shared term “capture (motion 1). Both become "criminals"-"criminals".
  • the history of shared terms represents the number of shared terms corresponding to the number of elements included in the partial series (the number of consecutive shared terms).
  • the feature quantity related to the history of the shared term is not only the feature quantity of the surface series such as “criminal”, but also the series in other expression methods that express the semantic category or specific expression type of the shared term, for example. Are also included. As a result, the frequency of the shared term sequence can be obtained with an appropriate granularity.
  • Non-Patent Document 5 describes the use of an identification model as a language model construction method.
  • Non-Patent Document 5 introduces an example of integration of various different statistics using an identification model, and Section 5.3 builds a language model that integrates two clues of Ngram and trigger as an example. It is described.
  • the method described in Non-Patent Document 5 is applied, and a story model can be constructed using a machine learning technique based on an identification model.
  • the case data represented by the case vector including the feature quantity related to the history of the event slot and the feature quantity related to the history of the shared term is generated from the event slot series, and the case data is Since the story model is constructed by performing machine learning based on the identification model, a highly accurate story model can be constructed.
  • Non-Patent Document 3 describes that not only event slot sequence information but also shared term information is used in connection with the construction of a probabilistic model using an event slot sequence.
  • the method described in Non-Patent Document 3 does not use information on the history of shared terms, and the information on shared terms is used to more strictly distinguish event slot sequences.
  • the method described in Non-Patent Document 3 constructs a probability model in a form that is substantially close to taking the product of the probability of an event slot and the probability of a shared term, as shown in FIG. ing. For this reason, the method described in Non-Patent Document 3 does not solve the problem of insufficient learning data, but rather the problem tends to become more serious.
  • case data is generated in such a manner that the feature quantity related to the history of the shared term is included in the dimension of the feature vector, and based on the identification model using this case data. Since the story model is constructed by performing machine learning, it is possible to solve the lack of learning data and construct a highly accurate story model.
  • FIG. 3 is a block diagram illustrating a configuration example of the data processing apparatus 100 according to the first embodiment.
  • the data processing apparatus 100 includes a text analyzer 1, an event slot sequence extractor 2 (extraction unit), a machine learning case generator 3 (example generation unit), and an event slot history feature generation. 4, a shared term history feature generator 5, a shared term expression generator 6, a subsequent event slot estimation trainer 7 (model construction unit), and a subsequent event slot estimation predictor 8 (prediction unit).
  • . 3 represents the input / output data of each of the modules 1 to 8 constituting the data processing apparatus 100.
  • the processing executed by the data processing apparatus 100 is roughly divided into “training processing” and “prediction processing”.
  • the training process includes an event slot series extractor 2, a machine learning case generator 3, an event slot history feature generator 4, a shared term history feature generator 5, a shared term expression generator 6, and a subsequent event slot estimation trainer 7.
  • This is a process of constructing a subsequent event slot estimation model D10 (story model) from the training tagged document group D1.
  • the prediction processing includes a text analyzer 1, an event slot series extractor 2, a machine learning case generator 3, an event slot history feature generator 4, a shared term history feature generator 5, a shared term expression generator 6, and a subsequent event slot.
  • 3 indicates a processing flow in the training process
  • a solid line arrow indicates a processing flow in the prediction process
  • a dashed-dotted arrow indicates a processing flow common to both the training process and the prediction process.
  • the event slot series extractor 2 receives the training tagged document group D1.
  • the event slot series extractor 2 receives the training-tagged document group D1, performs a process of extracting an event slot series from the training-tagged documents included in the training-tagged document group D1, and performs a training event slot.
  • the series data group D2 is output.
  • the machine learning case generator 3 receives the training event slot series data group D2, and cooperates with the event slot history feature generator 4, the shared term history feature generator 5, and the shared term expression generator 6, A process for generating case data from the training event slot series data included in the training event slot series data group D2 is performed, and a training case data group D3 is output.
  • the subsequent event slot estimation trainer 7 receives the training case data group D3, performs machine learning training using the training case data group D3, and outputs a subsequent event slot estimation model D10.
  • the subsequent event slot estimation model D10 is a story model itself, and is used to estimate the subsequent event slot of the analysis target document D5 in the prediction process described below.
  • the analysis target document D5 is input to the text analyzer 1.
  • the text analyzer 1 receives the analysis target document D5, performs predicate term structure analysis, co-reference analysis, etc. on the analysis target document D5, and outputs an analysis target tagged document D6.
  • the event slot series extractor 2 receives the analysis target tagged document D6, performs a process of extracting the event slot series from the analysis target tagged document D6, and outputs a prediction event slot series data group D7. .
  • the machine learning case generator 3 receives the prediction event slot sequence data group D7, and cooperates with the event slot history feature generator 4, the shared term history feature generator 5 and the shared term expression generator 6, A process for generating case data from the prediction event slot series data included in the prediction event slot series data group D7 is performed, and a prediction case data group D8 is output.
  • the subsequent event slot estimation predictor 8 receives the prediction case data group D8 and the subsequent event slot estimation model D10 constructed by the training process, and predicts the subsequent event slot using the subsequent event slot estimation model D10.
  • the subsequent event slot estimation result D9 is output.
  • the subsequent event slot estimation result D9 indicates the probability for each event slot that may appear as a subsequent event slot that follows the event slot sequence extracted from the analysis target document D5.
  • the application utilizing the narrative model can use the information of the subsequent event slot estimation result D9 as some judgment material for context understanding in its own processing.
  • the event slot series extractor 2 In the training process, the event slot series extractor 2 inputs the training tagged document group D1 and outputs the training event slot series data group D2 as described above.
  • FIG. 4 is a diagram showing a specific example of a training tagged document that is a part of the training tagged document group D1 input by the event slot series extractor 2, and FIG. FIG. 4B shows an example in English.
  • the tagged document for training includes text with morpheme (word division) information, preanalyzed resolved predicate term structure analysis information in which anaphoric relations such as zero anaphora and pronoun anaphora are resolved, And co-reference information.
  • the predicate term structure analysis information and the coreference information are indispensable, but the document with the training tag cannot be processed unless the format shown in FIG. 4 is used.
  • the training tagged document includes predicate term structure analysis information and coreference information
  • a document expressed in an arbitrary format can be used. Note that although there is a difference in the language used between the Japanese example in FIG. 4A and the English example in FIG. 4B, there is no essential difference in the data itself. Therefore, only the Japanese example will be described below.
  • the text and morphological analysis (word division) information the text is divided into words, and a morpheme number is assigned to each word.
  • anaphoric resolved predicate term structure information information on the predicate term structure of each predicate in a state where the terms omitted in the text are anaphorically resolved by anaphoric analysis is allocated to each predicate. Together with the ID.
  • the predicate term structure of each predicate includes the morpheme number of the predicate, its meaning, the case type of each term subordinate to the predicate, and the morpheme number. In the example shown in FIG.
  • the predicates with the morpheme number 12 and the predicates with the morpheme number 15 are terms solved by the anaphora analysis.
  • the ID assigned to each co-reference cluster and its co-reference cluster The members of are associated with the predicate term structure.
  • the training-tagged document as illustrated in FIG. 4 is obtained by analyzing, for example, an arbitrary text using a text analyzer 1 (or a module having an equivalent function) used in a prediction process described later. It may be generated by adding a tag or by manually adding a tag to any text.
  • FIG. 5 is a diagram showing a specific example of training event slot series data that is part of the training event slot series data group D2 output from the event slot series extractor 2, and shows the training shown in FIG. 2 shows an example of training event slot series data extracted from a tagged document for use.
  • the left slot shows an event slot series to which an element “ ⁇ / s>” is added at the end.
  • Each event slot in the series shares a term, and the information on the shared term is shown in the right section.
  • the element “ ⁇ / s>” at the end of the sequence is a pseudo event slot indicating the end of the sequence, and is used for learning a sequence pattern that is likely to end.
  • the training event slot series data as shown in FIG. 5 is generated by the number of co-reference clusters from the training tagged document as shown in FIG. That is, the example of FIG. 5 is training event slot sequence data generated for the co-reference cluster indicated by the ID of [C01] from the training tagged document shown in FIG. From the training tagged document shown in (a), training event slot series data is similarly generated for the co-reference cluster indicated by the ID of [C02].
  • FIG. 6 is a flowchart for explaining the processing performed by the event slot series extractor 2.
  • the event slot series extractor 2 performs the following steps S101 to S104 on each of the training tagged documents (see FIG. 4) included in the input training tagged document group D1 for training.
  • Event slot sequence data (see FIG. 5) is generated, and a training event slot sequence data group D2 is output.
  • the process of the event slot sequence extractor 2 illustrated in FIG. 6 is an example of generating training event slot sequence data in the format illustrated in FIG. 5 from the training tagged document in the format illustrated in FIG. . If the format of the training-tagged document or the training event slot sequence data is different from the examples in FIGS. 4 and 5, the event slot sequence extractor 2 may perform processing according to the format.
  • Step S101 The event slot series extractor 2 extracts one co-reference cluster from the “co-reference information” section of the training tagged document that is input data.
  • Step S102 The event slot series extractor 2 lists the morpheme numbers and surface layers of each member in the co-reference cluster in the right section of the training event slot series data as output data.
  • Step S103 The event slot sequence extractor 2 takes out information (event slot information) written in parentheses of each member in the co-reference cluster as a sequence, replaces the morpheme number of the predicate with the surface layer and meaning of the predicate, and After adding the element “ ⁇ / s>” at the end of the sequence, it is described in the left section of the training event slot sequence data to be output data.
  • event slot information written in parentheses of each member in the co-reference cluster as a sequence, replaces the morpheme number of the predicate with the surface layer and meaning of the predicate, and After adding the element “ ⁇ / s>” at the end of the sequence, it is described in the left section of the training event slot sequence data to be output data.
  • Step S104 The event slot series extractor 2 performs the above-described steps S101 to S103 for all the coreference clusters described in the “coreference information” section of the training tagged document.
  • the machine learning case generator 3 will be described. First, the positioning of the machine learning case generator 3 in the data processing apparatus 100 according to the present embodiment will be described.
  • the machine learning process performed by the subsequent event slot estimation trainer 7 and the subsequent event slot estimation predictor 8 is intended to predict the probability of the Ngram sequence based on the identification model. To do. That is, when y is an event slot and x is an event slot sequence history, P (y
  • the machine learning case generator 3 is in charge of the process of creating the case data.
  • the machine learning case generator 3 receives the training event slot series data group D2 from the event slot series extractor 2 as an input, and outputs the training case data group D3.
  • FIG. 7 is a diagram showing a specific example of the training case data that is a part of the training case data group D3 output from the machine learning case generator 3. From the training event slot sequence data shown in FIG. An example of generated training case data is shown. However, the training case data in FIG. 7 is obtained when the Ngram order is 2 (big) and the training event slot sequence data shown in FIG. 5 is “imprisoned (motion 4). The case data for training related to the element of interest.
  • the output label represents an event slot that is a correct answer in a prediction process for predicting a subsequent event slot.
  • a feature vector corresponding to information serving as a clue for predicting the subsequent event slot is described in a section beginning with “x:”.
  • the feature vector is delimited by a comma for each element (dimension), and each element is delimited by a colon.
  • a dimension ID for identifying the dimension
  • a value (feature amount) in that dimension is regarded as 0.
  • This notation is a notation often used for compactly expressing a high-dimensional sparse vector in which most elements are zero.
  • the dimension ID is represented by a character string, and is used to determine whether or not the elements are included in the feature vectors of different cases.
  • each dimension ID is appropriately assigned so as to have a different vector element number (each dimension ID is assigned to which element number of the mathematical vector). Even if it is assigned, the result of optimization is the same). In the present embodiment, only 1 or 0 is used for each dimension value.
  • the feature vector includes one or more feature quantities related to the event slot history and one or more feature quantities related to the shared term history.
  • the value corresponding to the dimension ID starting with “[EventSlot]” is a feature amount related to the event slot history (hereinafter referred to as event slot history feature), and the dimension ID starting with “[ShareArg]”.
  • a value corresponding to is a feature amount related to the history of the shared term (hereinafter referred to as shared term history feature).
  • the event slot history feature and the shared term history feature are generated for Ngram sequences of all orders equal to or smaller than i, where Ngram order is i. For example, in the example shown in FIG.
  • FIG. 8 is a flowchart for explaining processing performed by the machine learning case generator 3.
  • the machine learning case generator 3 performs the following steps S201 to S208 for each of the training event slot sequence data (see FIG. 5) included in the input training event slot sequence data group D2.
  • the training case data (see FIG. 7) is generated, and the training case data group D3 is output.
  • Step S201 The machine learning case generator 3 selects an event slot (hereinafter referred to as an attention slot) as an element of interest from the event slot series described in the left section of the training event slot series data as input data. Take one in order.
  • an attention slot an event slot
  • Step S202 The machine learning case generator 3 extracts a partial series corresponding to the history of the slot of interest from the event slot series. For example, in the case of bigram, a partial series including up to the event slot immediately before the target slot is extracted, and in the case of trigram, a partial series including up to the event slot two times before the target slot is extracted.
  • the event slot that is the element of interest is near the beginning of the event slot series and does not have a length that can satisfy the Ngran order, dummy elements such as “ ⁇ s>” are added to the beginning for the number of event slots that are insufficient. do it.
  • Step S203 The machine learning case generator 3 extracts information on the shared term described in the right section of the event slot series data.
  • Step S204 The machine learning case generator 3 describes the output label in the section beginning with “y:” of the training case data to be output data based on the description of the slot of interest.
  • the description of the slot of interest becomes the output label as it is.
  • Step S205 The machine learning case generator 3 passes the information on the slot of interest and the history of the slot of interest to the event slot history feature generator 4, and obtains an event slot history feature group from the event slot history feature generator 4.
  • an event slot history feature group is acquired from the event slot history feature generator 4.
  • Step S206 The machine learning case generator 3 passes the shared term information to the shared term history feature generator 5, and obtains a shared term history feature group from the shared term history feature generator 5.
  • a value corresponding to a dimension ID starting with “[ShareArg]” is a shared term history feature, and the machine learning case generator 3 collects these shared term history features. Is acquired from the shared term history feature generator 5.
  • Step S207 The machine learning case generator 3 uses the result of merging the event slot history feature group and the common term history feature group acquired as described above as a feature vector, and “x” of the training case data that becomes output data : Write in the section starting with “”.
  • Step S208 The machine learning case generator 3 performs the above-described steps S201 to S207 for all event slots included in the event slot sequence described in the left section of the event slot sequence data.
  • the event slot history feature generator 4 receives the information of the attention slot and the history of the attention slot from the machine learning case generator 3 as input, and returns the event slot history feature group described above to the machine learning case generator 3.
  • FIG. 9 is a flowchart for explaining processing by the event slot history feature generator 4.
  • the event slot history feature generator 4 receives the information of the attention slot and the history of the attention slot from the machine learning case generator 3, the event slot history feature generator 4 performs the processing of steps S301 to S310 in FIG. Is returned to the machine learning case generator 3.
  • Step S301 The event slot history feature generator 4 prepares a variable result for a return value (feature value expression character string list), and substitutes an empty list.
  • Step S302 The event slot history feature generator 4 prepares a loop variable len in the range from 1 to N when the Ngram order is N, and starts loop 1.
  • Step S303 The event slot history feature generator 4 prepares the feature amount expression character string s and substitutes “[EventSlot]” + the slot of interest.
  • Step S304 The event slot history feature generator 4 prepares a loop variable i ranging from 1 to len, and starts loop 2.
  • Step S305 The event slot history feature generator 4 extracts the i-th event slot before the noticed slot from the notice slot history information, and adds it to the feature quantity expression character string s with an underscore.
  • Step S306 The event slot history feature generator 4 performs a loop 2 branching process (determination of whether to repeat or end).
  • Step S307 The event slot history feature generator 4 adds “: 1” to the feature amount expression character string s.
  • Step S308 The event slot history feature generator 4 adds the feature amount expression character string s to the feature amount expression character string list result.
  • Step S309 The event slot history feature generator 4 performs a loop 1 branching process (determination of whether to repeat or end).
  • Step S310 The event slot history feature generator 4 returns the feature amount expression character string list result as a return value.
  • the shared term history feature generator 5 receives the shared term information from the machine learning case generator 3 as an input, and returns the above-described shared term history feature group to the machine learning case generator 3.
  • FIG. 10 is a flowchart for explaining processing by the shared term history feature generator 5.
  • the shared term history feature generator 5 receives the shared term information from the machine learning case generator 3, the shared term history feature generator 5 performs the processing of steps S401 to S413 in FIG. Return to vessel 3.
  • Step S401 The shared term history feature generator 5 prepares a variable result for a return value (feature value expression character string list), and substitutes an empty list.
  • Step S402 The shared term history feature generator 5 passes the shared term information to the shared term representation generator 6 and calls it, and obtains a shared term representation group from the shared term representation generator 6.
  • Step S403 The shared term history feature generator 5 extracts one by one from the shared term expression group in order and executes the following processing (loop 1).
  • Step S404 When the Ngram order is N, the shared term history feature generator 5 prepares a loop variable len ranging from 1 to N, and starts loop 2.
  • Step S405 The shared term history feature generator 5 prepares a feature quantity expression character string s, and substitutes “[ShareArg]” + shared term expression.
  • Step S406 The shared term history feature generator 5 prepares a loop variable i ranging from 1 to len, and starts loop 3.
  • Step S407 The shared term history feature generator 5 adds a shared term expression to the feature amount expression character string s with an underscore therebetween.
  • Step S408 The shared term history feature generator 5 performs a loop 3 branching process (determination of whether to repeat or end).
  • Step S409 The shared term history feature generator 5 adds “: 1” to the feature quantity expression character string s.
  • Step S410 The shared term history feature generator 5 adds the feature quantity expression character string s to the feature quantity expression character string list result.
  • Step S411 The shared term history feature generator 5 performs a branch process of loop 2 (determination of whether to repeat or end).
  • Step S412 The shared term history feature generator 5 performs a loop 1 branching process (determination of whether to repeat or end).
  • Step S413 The shared term history feature generator 5 returns the feature quantity expression character string list result as a return value.
  • the shared term expression generator 6 receives the shared term information from the shared term history feature generator 5 as an input, and returns a shared term expression group to the shared term history feature generator 5.
  • FIG. 11 is a diagram illustrating an example of a shared term expression group generated by the shared term expression generator 6, and information on shared terms included in the event slot series data illustrated in FIG. 5 is stored in the shared term expression generator 6. It is an example of the common term expression group produced
  • the shared term expression group generated by the shared term expression generator 6 is an expression using the result of the specific expression recognition in addition to the surface layer of the shared term (which may be a normalized surface layer). And expressions by semantic categories. In addition to these expressions, parts of speech (common nouns, proper nouns, several names, etc.) may be added to one of the common term expressions.
  • the shared term expression is a distinction of shared terms using at least one of the above-mentioned surface layer or normalized surface layer, grammatical category information, semantic category information, or specific expression type information. If it is.
  • FIG. 12 is a flowchart for explaining processing by the shared term expression generator 6.
  • the shared term expression generator 6 receives the shared term information from the shared term history feature generator 5, the shared term expression generator 6 performs the processing of steps S 501 to S 507 in FIG. 12 to convert the shared term expression group into the shared term history feature generator 5.
  • Step S501 The shared term expression generator 6 prepares a variable result for a return value (shared term expression list) and substitutes an empty list.
  • Step S502 The shared term expression generator 6 extracts the surface layers one by one from the surface layer group in order and executes the following processing (loop 1).
  • Step S503 The shared term expression generator 6 adds the surface layer to the feature quantity expression character string list result.
  • Step S504 The shared term expression generator 6 performs a unique expression recognition process based on the surface layer, and adds the obtained unique expression type to the feature quantity expression character string list result.
  • the specific expression recognition is a process for identifying a specific expression type such as PERSON, ORGANIZATION, or LOCATION.
  • Step S505 The shared term expression generator 6 identifies a semantic category using a thesaurus for the surface layer, and adds the obtained semantic category to the feature amount expression character string list result for each layer.
  • Step S506 The shared term expression generator 6 performs a loop 1 branching process (determination of whether to repeat or end).
  • Step S507 The shared term expression generator 6 returns the feature quantity expression character string list result as a return value.
  • the subsequent event slot estimator 7 receives the training case data group D3 from the machine learning case generator 3 as an input, and outputs a subsequent event slot estimation model D10 (story model).
  • FIG. 13 is a diagram illustrating an example of the subsequent event slot estimation model D10.
  • each row corresponds to a feature vector of each class, and is arranged in order of class number.
  • the class corresponds to the output label y described above, and the class number is a number corresponding to the output label y.
  • each field in the row is an element (dimension) of the feature vector, and is arranged in the order of the dimension number.
  • the dimension number is a number corresponding to the dimension ID.
  • FIG. 13 shows an example with a small number of dimensions and number of classes.
  • FIG. 14 is a flowchart for explaining processing performed by the subsequent event slot estimation trainer 7.
  • the subsequent event slot estimation trainer 7 performs the processing of the following steps S601 to S604 using the input training case data group D3, and generates and outputs a subsequent event slot estimation model D10 that becomes a story model. .
  • Step S601 The subsequent event slot estimation trainer 7 assigns output labels y included in the input training case data group D3 to different numbers (class numbers).
  • Step S602 The subsequent event slot estimation trainer 7 assigns dimension IDs of feature amounts included in the input training case data group D3 to different numbers (dimension numbers).
  • Step S603 The subsequent event slot estimation trainer 7 solves the logistic regression optimization formula shown by the following formula (1). That is, a weight vector group w (c) (where ⁇ Y) that minimizes the objective function L is obtained.
  • ⁇ (x) is a feature vector extracted from x
  • ⁇ is an arbitrary constant
  • N is the number of cases
  • (x (i), y (i)) is an i-th case.
  • Step S604 The subsequent event slot estimation trainer 7 outputs the weight vector group w (c) (where c ⁇ Y) obtained by solving the optimization expression of the equation (1) as the subsequent event slot estimation model D10. To do.
  • the text analyzer 1 will be described.
  • the analysis target document D5 is input to the text analyzer 1 as described above.
  • the text analyzer 1 performs, for example, morphological analysis, predicate structure analysis, and coreference analysis on the input analysis target document D5, and analyzes the same format as the training tagged document illustrated in FIG. A document D6 with a target tag is generated and output.
  • the morpheme analysis, predicate structure analysis, and coreference analysis performed by the text analyzer 1 are existing technologies, and thus description thereof is omitted here.
  • the event slot series extractor 2 receives the analysis target tagged document D6 output from the text analyzer 1 as an input, and outputs a prediction event slot series data group D7.
  • the process performed by the event slot series extractor 2 in the prediction process is the same as the process in the training process.
  • the prediction event slot series data group D7 is a collection of prediction event slot series data in the same format as the training event slot series data illustrated in FIG.
  • problem settings to be predicted in the prediction process will be described.
  • the problem settings to be predicted depend on the application.
  • a problem setting of estimating an event slot likely to follow a given document and its probability is appropriate.
  • an abbreviation of a predicate in the document in the case of pronoun anaphora analysis in English etc., a pronoun rather than an abbreviation
  • the problem setting is to select the event slot series that is most easily connected.
  • the most likely subsequent event slot (or the case where nothing continues) and its probability are estimated for a given event slot sequence.
  • the machine learning case generator 3 receives the event slot sequence data group D7 for prediction output from the event slot sequence extractor 2 as input, and generates prediction case data from the selected event slot sequence data. Then, the prediction case data group D8 is output.
  • the case data for prediction has the same format as the case data for training illustrated in FIG. 7, but differs from the case data for training only in that the output label y is indefinite.
  • FIG. 15 is a flowchart for explaining the process of the machine learning case generator 3 in the prediction process.
  • the machine learning case generator 3 performs the following processing in step S701 and step S702 on the prediction event slot series data selected from the input prediction event slot series data group D7, and performs prediction case data. And a prediction case data group D8 is output.
  • Step S701 The machine learning case generator 3 removes the last element “ ⁇ / s>” from the event slot series described in the left section of the prediction event slot series data.
  • Step S702 The machine learning case generator 3 regards the remaining event slot series as a history, performs the same processing as Step S202, Step S203, and Steps S205 to S208 in FIG. D8 is output.
  • the output label y of the prediction case data is indefinite, it is left blank or a dummy value is embedded.
  • the subsequent event slot estimation predictor 8 receives the prediction case data group D8 output from the machine learning case generator 3 as an input, and uses the subsequent event slot estimation model D10 constructed in the training process to predict machine learning. Processing is performed to output a subsequent event slot estimation result D9.
  • FIG. 16 is a diagram showing an example of the subsequent event slot estimation result D9.
  • x) (where c ⁇ Y) of each class are listed in order of class number.
  • the probability of each class indicates the probability that each event slot will follow for a given event slot sequence.
  • FIG. 17 is a flowchart for explaining processing executed by the subsequent event slot estimation predictor 8.
  • the subsequent event slot estimation predictor 8 performs the following steps S801 to S803 on the input case data group D8 for prediction using the subsequent event slot estimation model D10, and obtains the subsequent event slot estimation result D9. Output.
  • Step S801 The subsequent event slot estimation predictor 8 uses the same procedure as the subsequent event slot estimation trainer 7 (same as step S602 in FIG. 14) to determine the dimension ID of the feature amount included in the input prediction case data group D8. ) To assign different numbers (dimension numbers).
  • Step S803 The subsequent event slot estimation predictor 8 outputs the probability P (c
  • the event slot series extractor 2 performs the training tagged document (predicate term structure analysis and From the event slot sequence data for training (a combination of a predicate having a shared term and case type information representing the case type of the shared term) as elements, and multiple elements of the predicate in the document The element series arranged in the order of appearance and the shared term) are extracted. Then, the machine learning case generator 3 (case generation unit), from the training event slot sequence data, is a combination of the feature vector x including the event slot history feature and the shared term history feature and the output label y.
  • the subsequent event slot estimation trainer 7 uses the training case data to solve the logistic regression optimization formula shown in Formula (1) (performs machine learning based on the identification model).
  • the subsequent event slot estimation model D10 (story model) is constructed.
  • the case data expressed by the feature vector including not only the event slot history feature but also the shared term history feature is generated, and the machine using the case data is used. Since the story model is constructed by learning, more clues for predicting subsequent event slots can be extracted than before, and a highly accurate story model can be constructed.
  • the shared term history feature generator 5 and the shared term expression generator 6 are used. Shared by each shared term expression that distinguishes shared terms using at least one of the surface or normalized surface, grammatical category information, semantic category information, and proper expression type information. A term history feature is generated. Therefore, according to the data processing apparatus 100 according to the present embodiment, a shared term history feature can be generated with an appropriate granularity, and a highly accurate story model can be constructed.
  • the unigram (unigram) is used as the event slot history feature and the shared term history feature. ) A feature amount is generated for each of the partial series including the series. Therefore, according to the data processing apparatus 100 according to the present embodiment, it is possible to effectively solve the zero probability that the probability of the event slot series is zero, and to construct a highly accurate story model.
  • the event slot sequence extracted by the event slot sequence extractor 2 has the meaning specifying information for specifying the meaning of the predicate added to the predicate included in each event slot. Yes. Therefore, according to the data processing apparatus 100 according to the present embodiment, it is possible to remove the ambiguity of the meaning of the predicate and build a highly accurate story model.
  • the wild card history is obtained by replacing some elements of the partial series in the event slot series as the event slot history with wild cards (elements that match any event slot). For example, if there is a history of “A_B_C” (A, B, and C are event slots appearing in this order), if the wild card is *, “A_B_C” (history without wild card), “A_B_ *” (C is wild) History replaced with a card), “A _ * _ C” (history replaced with a wild card), “A _ * _ *” (history replaced with a wild card of B and C), “* _B_C” (A replaced with a wild card) (History replaced with a card), “* _ * _ C” (history where A and B are replaced with wild cards), “* _ * _ *” (history where all of A, B and C are replaced with wild cards) , As a variation of wild card history.
  • the shared term history used in the first embodiment is defined in such a way that the shared terms are arranged by the length of the event slot history (the number corresponding to the number of elements of the partial series that is the event slot history). For example, when the shared term is “X”, the history of the shared term corresponding to the partial sequence of length 3 is expressed as “X_X_X”.
  • a combination feature obtained by ANDing a wild card history and a shared term is considered.
  • the combined feature is a feature amount that is 1 only when both feature amounts are 1, and the dimension ID is represented by connecting both IDs with “&”.
  • a combination feature obtained by ANDing the wild card history “A _ * _ *” and the shared term “X” is represented as “A _ * _ *”.
  • the shared term history feature used in the first embodiment is included in the combination feature of the wild card history and the shared term.
  • the shared term history feature relating to the length 3 history “X_X_X” of the shared term “X” is the combined feature “* _ * _ * & X of the wild card history“ * _ * _ * ”and the shared term“ X ”. It has the same meaning as “.” Because the wild card history “* _ * _ *” represents a history of length 3, and “* _ * _ * & X” represents a history of length 3. This is because it represents that the history is related to the shared term “X”.
  • the combination feature of the wild card history and the shared term other than “* _ * _ *” is a feature that is slightly more restrictive than the above combination feature.
  • “A _ * _ * & X” has a history of a shared term “X” having a length of 3, and the element three elements before the element of interest in the event slot history must be “X”. This indicates that when the constraint is too loose with the shared term history feature alone, it can be adjusted to give an appropriate constraint to the event slot sequence by combining with another wild card history feature.
  • a wild card is used instead of the shared term history feature used in the first embodiment.
  • the combination feature of the history and the shared term when the restriction is too loose with the shared term history feature, the adjustment that gives an appropriate restriction to the event slot series is realized.
  • machine learning is performed by providing all the variations of the wild card history and the combined features of the shared terms in the feature vector.
  • Machine learning has an adjustment mechanism that assigns large weights to features that are important for prediction and assigns small weights to features that are not important, so in a pattern that can not be predicted sufficiently with only shared term history, Large weights can be assigned to the combined features of wildcard history and shared terms with appropriate constraints. Note that no special treatment is added to the machine learning process of the second embodiment, and the same process as that of the first embodiment is used.
  • the combination feature of the shared term and the one obtained by replacing all elements with the wild card has the same meaning as the shared term history feature used in the first embodiment as described above.
  • the case data for training and the case data for prediction generated in the second embodiment are further focused on the feature vector x of the case data for training and the case data for prediction generated in the first embodiment.
  • FIG. 18 is a block diagram illustrating a configuration example of the data processing device 200 according to the second embodiment.
  • the data processing device 200 according to the second embodiment is a machine instead of the machine learning case generator 3 as compared with the data processing device 100 according to the first embodiment shown in FIG.
  • the difference is that a learning case generator 3 ′ (case generation unit) is used and a combination feature generator 9 is used instead of the shared term history feature generator 5.
  • Other configurations of the data processing device 200 according to the second embodiment are the same as those of the data processing device 100 according to the first embodiment. For this reason, below, the component similar to the data processing apparatus 100 which concerns on 1st Embodiment attaches
  • the machine learning case generator 3 ′ receives the training event slot series data group D2 (or the prediction event slot series data group D7) as an input from the event slot series extractor 2, and receives the event slot history feature generator 4 and the combination.
  • a process for generating case data is performed in cooperation with the feature generator 9 and the shared term expression generator 6 to output a training case data group D3 ′ (or a prediction case data group D8 ′).
  • FIG. 19 is a diagram showing a specific example of training case data that is part of the training case data group D3 ′ output from the machine learning case generator 3 ′, and the training event slot sequence shown in FIG. An example of training case data generated from the data is shown.
  • the training case data in FIG. 19 is obtained when the Ngram order is 2 (big) and the event slot sequence data for training shown in FIG. 5 is “imprisoned (motion 4).
  • the shared term history corresponding to the dimension ID starting with “[ShareArg]” in the feature vector x Features are not included.
  • the feature vector x includes a combination feature of a wild card history and a shared term corresponding to a dimension ID starting with “[Wild & Arg]”.
  • the wildcard history “* _ *” and shared item combination features are shared item history features included in the training case data of the first embodiment illustrated in FIG. Is equivalent. Therefore, the feature vector x of the training case data illustrated in FIG. 19 is obtained by adding 18 types of feature amounts to the feature vector x of the training case data of the first embodiment illustrated in FIG. Become.
  • the machine learning case generator 3 ′ applies the machine learning case of the first embodiment to each of the training event slot series data (see FIG. 5) included in the input training event slot series data group D2. Processing similar to that of the generator 3 (steps S201 to S208 in FIG. 8) is performed to generate training case data as shown in FIG. 19, and a training case data group D3 ′ is output.
  • the shared term history feature generator 5 is passed to the shared term history feature generator 5 to obtain the shared term history feature group in step S206 of FIG.
  • the machine learning case generator 3 ′ of the second embodiment passes the event slot history information and the shared term information to the combination feature generator 9 to obtain a combination feature group of the wild card history and the shared term.
  • the machine learning case generator 3 ′ receives the event slot sequence data group D7 for prediction output from the event slot sequence extractor 2 as an input, and applies the first event slot sequence data to the selected event slot sequence data.
  • the same processing (step S701 and step S702 in FIG. 15) as the machine learning case generator 3 of one embodiment is performed to generate prediction case data, and the prediction case data group D8 is output.
  • the case data for prediction has the same format as the case data for training illustrated in FIG. 19, but differs from the case data for training only in that the output label y is indefinite.
  • the combination feature generator 9 receives the event slot history information and the shared term information from the machine learning case generator 3 ′ as input, and generates the above-described wild card history and shared term combination feature group for machine learning case generation. Return to vessel 3 '.
  • FIG. 20 is a flowchart for explaining processing by the combination feature generator 9.
  • the combination feature generator 9 receives the event slot history information and the shared term information from the machine learning case generator 3 ′, the combination feature generator 9 performs the processing of steps S901 to S910 in FIG.
  • the combination feature group of shared terms is returned to the machine learning case generator 3.
  • Step S901 The combination feature generator 9 prepares a variable called a wild card event slot history list w and substitutes an empty list.
  • Step S902 The combination feature generator 9 passes the event slot history information (the information about the slot of interest and the history of the slot of interest) to the event slot history feature generator 4, and the event slot history feature generator 4 outputs the event slot history. Get a feature group.
  • Step S903 The combination feature generator 9 extracts one event slot history feature from the event slot history feature group.
  • Step S904 The combination feature generator 9 acquires all the variations of the wild card history by replacing any element included in the event slot history with the wild card “*” (the length of the event slot history is N). If there is, obtain a variation of 2 to the power of N).
  • Step S905 The combination feature generator 9 adds all variations of the acquired wild card history to the wild card event slot history list w.
  • Step S906 The combination feature generator 9 performs the above-described steps S903 to S905 for all event slot history features of the event slot history feature group.
  • Step S907 The combination feature generator 9 prepares a variable called a shared term expression list a and substitutes an empty list.
  • Step S908 The combination feature generator 9 adds the shared term representation group obtained by passing the shared term information to the shared term representation generator 6 to the shared term representation list a.
  • Step S909 The combination feature generator 9 forms a pair of an arbitrary element in the wildcard event slot history list w and an arbitrary element in the shared term expression list a by sandwiching both character strings with “&”. The pairing process is performed on all pairs to obtain a dimension ID group c of the combination feature of the wild card history and the shared term.
  • Step S910 The combination feature generator 9 returns, as a return value, each element of the dimension ID group c of the combination feature of the wild card history and the shared term with “: 1” added at the end.
  • the shared term history feature used in the case data of the first embodiment is too restrictive, the event It is possible to construct a highly accurate narrative model by making adjustments that give appropriate restrictions to the slot series.
  • the data processing apparatus 100 stores a control device such as a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, and the like.
  • a control device such as a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, and the like.
  • a hardware configuration using a normal computer including a device, a communication I / F 104 that performs communication by connecting to a network, a bus 110 that connects each unit, and the like can be employed.
  • the program executed by the data processing apparatus 100 (200) is an installable or executable file in a CD-ROM (Compact Disk Read Only Memory), flexible disk (FD), CD-R (Compact Disk Recordable). ), DVD (Digital Versatile Disc), etc., recorded on a computer-readable recording medium and provided as a computer program product.
  • CD-ROM Compact Disk Read Only Memory
  • FD flexible disk
  • CD-R Compact Disk Recordable
  • DVD Digital Versatile Disc
  • the program executed by the data processing apparatus 100 (200) may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network.
  • the program executed by the data processing apparatus 100 (200) may be provided or distributed via a network such as the Internet.
  • a program executed by the data processing apparatus 100 (200) may be provided by being incorporated in advance in the ROM 102 or the like.
  • the program executed by the data processing device 100 (200) includes each processing unit (text analyzer 1, event slot series extractor 2, machine learning case generator 3 (3 ′), data processing device 100 (200), Module configuration including event slot history feature generator 4, shared term history feature generator 5 (combination feature generator 9), shared term expression generator 6, subsequent event slot estimation training 7, and subsequent event slot estimation predictor 8)
  • each processing unit described above is loaded on the main storage device, and each processing described above is performed. Are generated on the main memory.
  • the data processing apparatus 100 (200) realizes part or all of the above-described processing units using dedicated hardware such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array). It is also possible.
  • the data processing apparatus 100 (200) described above uses the training process for constructing the subsequent event slot estimation model D10 (story model) and the analysis target document D5 using the subsequent event slot estimation model D10 constructed by the training process. Both the prediction process for estimating the subsequent event slot is performed. However, the data processing apparatus 100 (200) can be configured to perform only the prediction process. In this case, for example, a training process is performed in advance using an external device or the like, and a subsequent event slot estimation model D10 is constructed. The data processing apparatus 100 (200) inputs the analysis target document D5 and also inputs the subsequent event slot estimation model D10 from an external apparatus or the like, and performs the above-described prediction process.
  • the data processing apparatus 100 (200) described above is an example in which a prediction process for estimating the subsequent event slot of the analysis target document D5 is performed using the subsequent event slot estimation model D10 constructed by the training process.
  • the processing apparatus 100 (200) may be configured to execute various other applications using the subsequent event slot estimation model D10 (story model) constructed in the training process. For example, when an application of anaphora analysis is executed, case data for anaphora analysis is generated using a subsequent event slot estimation model D10 (story model) constructed by training processing, and machine learning is performed using this case data.
  • the anaphoric analysis can be performed by adopting the configuration for performing the above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

　実施形態のデータ処理装置（１００）は、イベントスロット系列抽出器（２）と、機械学習用事例生成器（３）と、後続イベントスロット推定訓練器（７）と、を備える。イベントスロット系列抽出器（２）は、訓練用タグ付き文書からイベントスロット系列を共有項とともに抽出してイベントスロット系列データを生成する。機械学習用事例生成器（３）は、イベントスロット系列データから、イベントスロット履歴特徴と共有項履歴特徴との少なくともいずれかの特徴量を含む特徴ベクトルで表現された訓練用事例データを生成する。後続イベントスロット推定訓練器（７）は、訓練用事例データを用いて識別モデルに基づく機械学習を行うことにより、先行文脈に後続するイベントスロットを推定するための物語モデルである後続イベントスロット推定モデル（Ｄ１０）を構築する。

Description

データ処理装置および物語モデル構築方法
　本発明の実施形態は、データ処理装置および物語モデル構築方法に関する。
　照応解析（Anaphora　Resolution）、共参照解析（Coreference　Resolution）、対話処理（Dialog　Processing）などの文脈解析（Contextual　Analysis）は、自然言語処理において文書を正しく理解する上で重要なタスクである。文脈解析には、シャンクのスクリプトやフィルモアのフレームのような手続き的知識（Procedural　Knowledge）を用いることが有効であることが知られている。手続き的知識とは、ある一連の手続に続く手続は何か、ということに関する知識である。この手続き的知識を計算機で再現するモデルが物語モデルである。
　従来、互いに関連する述語と格のペア（以下、「イベントスロット」と呼ぶ。）の系列を任意の文書群から獲得し、このイベントスロット系列から事例データを生成して、機械学習の訓練によって物語モデルを構築することが提案されている。
　イベントスロット系列は、項を共有する述語と共有項の格種別との組み合わせであるイベントスロットを要素とし、そのイベントスロットを出現順に並べたものである。イベントスロット系列の要素となるイベントスロットの種類は多種多様であるため、十分な学習を行って高精度な物語モデルを構築するには、それに見合う膨大な学習データが必要となる。しかし、信頼性の高い学習データを大量に入手するのは非常にコストがかかる。このため、十分な学習データが集められずに学習データ不足が生じ、その結果、構築される物語モデルの精度が低くなるといった懸念がある。
V．Pekar．2006．Acquisition　of　verb　entailment　from　text．In　"Proceedings　of　the　main　conference　on　Human　Language　Technology　Conference　of　the　North　American　Chapter　of　the　Association　of　Computational　Linguistics"，pages　49．56．Association　for　Computational　Linguistic． I．Szpektor　and　I．Dagan．2008．Learning　entailment　rules　for　unary　templates．In　"Proceedings　of　the　22nd　International　Conference　on　Computational　Linguistics-Volume　1"，pages　849．856．Association　for　Computational　Linguistics． N．Chambers　and　D．Jurafsky．2009．Unsupervised　learning　of　narrative　schemas　and　their　participants．In　"Proceedings　of　the　Joint　Conference　of　the　47th　Annual　Meeting　of　the　ACL　and　the　4th　International　Joint　Conference　on　Natural　Language　Processing　of　the　AFNLP：Volume　2-Volume　2"，pages　602．610．Association　for　Computational　Linguistics． R．Kneser　and　H．Ney．Improved　backing-off　for　m-gram　language　modeling．In　Proceedings　of　ICASSP，Vol．1，pp．181．184，1995． R．Rosenfeld："Adaptive　Statistical　Language　Modeling：A　Maximum　Entropy　Approach"，Ph．D．Thesis，Technical　Report　CMU-CS-94-138，School　of　Computer　Science，Carnegie＿Mellon　University，Pittsburgh，PA，114　pages，1994． Goodman　and　Joshua　T："A　bit　of　progress　in　language　modeling"，Computer　Speech　\&　Language，volume　15，number　4，pages　403-434，2001．Elsevier． Sven　Martin，Christoph　Hamacher，Jorg　Liermann，FrankWessel，and　Hermann　Ney．1999．Assessment　of　smoothing　methods　and　complex　stochastic　language　modeling．In　6th　European　Conference　on　Speech　Communication　and　Technology，volume　5，pages　1939．1942，Budapest，Hungary，September．
　本発明が解決しようとする課題は、精度の高い物語モデルを構築することができるデータ処理装置および物語モデル構築方法を提供することである。
　実施形態のデータ処理装置は、抽出部と、事例生成部と、モデル構築部と、を備える。抽出部は、述語項構造解析および共参照解析が行われた文書から、共有項を持つ述語と前記共有項の格の種別を表す格種別情報との組み合わせを要素とし、複数の前記要素を前記文書における前記述語の出現順に並べた要素系列を、前記共有項とともに抽出する。事例生成部は、前記要素系列を構成する前記要素の１つを注目要素としたときに、前記注目要素のそれぞれについて、前記注目要素を末尾の要素とする前記要素系列内の部分系列に関する１つ以上の特徴量と、前記部分系列に対応する前記共有項の系列に関する１つ以上の特徴量と、の少なくともいずれかの特徴量を含む特徴ベクトルで表現された事例データを生成する。モデル構築部は、前記事例データを用いて識別モデルに基づく機械学習を行うことにより、先行文脈に後続する前記要素を推定するための物語モデルを構築する。
図１は、「犯罪者」を共有項とするイベントスロット系列を用いた確率モデルの模式図である。 図２は、非特許文献３に記載されている方法を説明する模式図である。 図３は、第１実施形態に係るデータ処理装置の構成例を示すブロック図である。 図４は、訓練用タグ付き文書の具体例を示す図である。 図５は、訓練用イベントスロット系列データの具体例を示す図である。 図６は、イベントスロット系列抽出器が実施する処理を説明するフローチャートである。 図７は、訓練用事例データの具体例を示す図である。 図８は、機械学習用事例生成器が実施する処理を説明するフローチャートである。 図９は、イベントスロット履歴特徴生成器による処理を説明するフローチャートである。 図１０は、共有項履歴特徴生成器による処理を説明するフローチャートである。 図１１は、共有項表現生成器により生成される共有項表現群の一例を示す図である。 図１２は、共有項表現生成器による処理を説明するフローチャートである。 図１３は、後続イベントスロット推定モデルの一例を示す図である。 図１４は、後続イベントスロット推定訓練器が実施する処理を説明するフローチャートである。 図１５は、予測処理における機械学習用事例生成器の処理を説明するフローチャートである。 図１６は、後続イベントスロット推定結果の一例を示す図である。 図１７は、後続イベントスロット予測器が実行する処理を説明するフローチャートである。 図１８は、第２実施形態に係るデータ処理装置の構成例を示すブロック図である。 図１９は、訓練用事例データの具体例を示す図である。 図２０は、組み合わせ特徴生成器による処理を説明するフローチャートである。 図２１は、データ処理装置のハードウェア構成を説明する図である。
　以下、実施形態のデータ処理装置および物語モデル構築方法を、図面を参照して説明する。
　文脈解析において文脈を正しく理解するための手法として、機械学習により構築される物語モデルを用いることは極めて有効である。特に近年では、インターネットを利用したクラウド・スマートコミュニケーションが広く普及しており、たとえば掲示板やブログ、Ｔｗｉｔｔｅｒ（登録商標）、ＳＮＳ（Social　Networking　Service）などのユーザ生成メディア（ＣＧＭ：Consumer　Generated　Media）からインターネット上での評判や意見を拾い出すような分析が行われる。このような分析において、物語モデルを用いることにより、正しく文脈を理解できるようになることが期待される。
　本実施形態の物語モデル構築方法では、述語項構造解析および共参照解析が行われた文書群からイベントスロット系列群を抽出し、抽出したイベントスロット系列群を用いて機械学習用の事例データ群を生成し、この事例データ群を用いた機械学習により物語モデルを構築する。
　イベントスロット系列は、共有項を持つ述語と格種別のペアの系列である。従来、このイベントスロット系列の確率モデルを手続き的知識として利用して文脈解析などを行う試みがなされている。これは、項を共有する述語同士は何らかの関係を持っているという仮説に基づくものである。従来の方式では、共有項は、イベントスロットを見つけ出すために用いられ、共有項を除いたイベントスロット系列に対してのみ、頻度のカウントが行われる。
　図１は、「犯罪者」を共有項とするイベントスロット系列を用いた確率モデルの模式図である。図１（ａ）は日本語の例を示し、図１（ｂ）は英語の例を示している。図中の矢印は確率モデルの存在を示しており、矢印の元が条件付き確率における条件となる確率変数、矢印の先が評価対象となる確率変数を示している。また、図中の破線は確率モデルが存在しないことを示している。従来の方式によると、この図１に示す例では、頻度のカウント（およびそれに基づく確率計算）は、共有項である「犯罪者」を除いたイベントスロット系列（犯す（動２）．ガ格，捕まえる（動１）．ヲ格，投獄する（動４）．ヲ格）に対してのみ行われる。なお、図１に示す例では、述語の語義曖昧性除去処理を行って、イベントスロット系列を構成する各イベントスロットの述語に、当該述語の語義を特定するための語義特定情報（動２、動１、動４など）を付加しているが、語義特定情報を述語に付加することは必須ではない。
　イベントスロット系列の要素となるイベントスロットは、述語と格種別の組み合わせであるため、その種類は述語の語彙数×格種別の数となり膨大である。したがって、十分な学習を行うには、それに見合う膨大な学習データが必要となる。信頼性の高い学習データをたくさん集めるのは非常にコストがかかる。このため十分な学習データが集められず、学習データ不足が起こり、その結果、構築されるモデルの精度が低くなるという問題が生じていた。
　学習データ不足において特に致命的なケースは、連接性に関する手がかりが得られない状況である。たとえば図１に示した例において、「捕まえる（動１）．ヲ格」と「投獄する（動４）．ヲ格」の連接性を学習するには、従来の方式では、それらが連続出現した頻度を数える必要がある。しかし、学習データ中でこれら２つのイベントスロットが１度も連続出現しないというような状況はしばしば起こり得る。すると、連接性を考慮した予測ができなくなり、大きな精度低下を招くことになる。
　ゼロ確率を解決する方法として、従来、様々な平滑化手法（たとえば、非特許文献４参照）が提案されている。これらの平滑化手法は、未知の系列に一定の低確率を割り当てる方法である。しかし、これらの平滑化手法は、統計的なむらを無くすための方法であり、ゼロ確率を回避することはできるものの、適切な確率が割り当てられるとは限らない。
　本質的な問題は、あるイベントスロットに後続するイベントスロットは何かという問題を解くのに必要な手がかりが不足していることにある。そこで実施形態では、一定量の学習用の解析済テキスト（述語項構造解析および共参照解析が行われた文書）から、後続イベントスロットを予測するための手がかりを、従来の方式よりも多く抽出して、精度の高い物語モデルを構築する方法を提案する。
　述語と、述語に従属する複数の格と、それぞれの格を充足する項と、の３つのノードからなる木構造を述語項構造と呼ぶ。述語項構造は、日本語、英語など、あらゆる言語に対して適用可能な構造である。ただし、日本語の場合、格種別は「が」「を」「に」などの助詞によって明示される。一方、英語の場合、格種別は、位置によって示されるもの（主格・対象格）と、意味を汲み取らなければ決定できないものとがある。このように格の表現方法は、言語によって異なる。
　文の述語項構造は、述語項構造解析器により解析することができる。述語項構造解析器は言語ごとに用意され、言語固有の格の表現方法を処理して述語項構造を出力する。出力された述語項構造自体は、格の種類に違いはあっても構造そのものは同じである。本実施形態は、既存の述語項構造解析器を用いることを前提としている。このため、格の表現方法の違いについて意識する必要はない。換言すれば、本実施形態は、日本語に特化したものではなく、あらゆる言語に対して適用可能である。
　なお、格文法が扱う体系として表層格と深層格とがあり、日本語の場合は主に表層格が用いられる。表層格とは、「が」「を」「に」などの表層的現象をそのまま格種別として扱う格の分類方法である。深層格とは、意味的観点から格を分類する方法である。この表層格と深層格の違いについても、述語項構造解析器が吸収する。以下では、日本語の例のみを挙げて説明するが、上述したように、本実施形態は、あらゆる言語に対して適用可能である。
（実施形態の概要）
　ここで、本実施形態の物語モデル構築方法の概要について説明する。本実施形態の物語モデル構築方法は、後続するイベントスロットを予測するための手がかりとなるイベントスロットの連接性に関する情報として、従来の手法で用いているイベントスロット系列の頻度に加えて、共有項の系列の頻度を利用することを基本方針とする。すなわち、本実施形態では、イベントスロット系列の頻度と共有項の系列の頻度との２種類の統計量を評価値として扱い、これらの合算を含む計算処理を用いて、後続するイベントスロットの確率を求める。合算は手がかりのＯＲを取る効果があるため、少なくともどちらかの手がかりが有効であれば、イベントスロットのつながりを予測することが可能となる。
　本実施形態において実現すべき機能は、下記［Ａ］～［Ｃ］となる。
［Ａ］：イベントスロット系列の頻度（に準ずる統計量）の計算。
［Ｂ］：共有項の系列の頻度（に準ずる統計量）の計算。
［Ｃ］：統計量［Ａ］と統計量［Ｂ］とを、これらの和を取る処理を含むかたちで統合する確率計算。
　一般論として、識別モデルに基づく機械学習手法は、複数の由来の異なる事象を条件とした確率分布を１つの最適化処理で導出することができる手法である。本実施形態では、この点に着目し、由来の異なる上記［Ａ］の統計量および上記［Ｂ］の統計量を計算する処理と、上記［Ｃ］の複数の統計量を統合する処理とを、識別モデルに基づく機械学習手法を利用して、単一の最適化処理で解く方法を提案する。
　具体的には、本実施形態の物語モデル構築方法は、以下の手順を含む。
［１］：述語項構造解析および共参照解析が行われた文書群から共有項を持つイベントスロット系列群を抽出する。
［２］：［１］で抽出したイベントスロット系列群に対し、イベントスロット系列内のイベントスロット（注目要素）ごとに、そのイベントスロットの履歴に関する１つ以上の特徴量と、共有項の履歴に関する１つ以上の特徴量と、の少なくともいずれかの特徴量を含む特徴ベクトルｘと、イベントスロット（注目要素）を識別するためのラベルｙとを組み合わせた事例データ（ｘ，ｙ）を生成し、事例データ群を得る。
［３］：ロジスティック回帰などの確率を計算できる識別モデル手法を用い、［２］で取得した事例データ群を学習データとした多クラス分類問題を解く（機械学習を行う）ことにより、物語モデルを構築する。
　本実施形態において、イベントスロットの履歴とは、当該イベントスロットを末尾の要素とするイベントスロット列内の部分系列（Ｎｇｒａｍ系列）をいう。たとえばＮｇｒａｍ次数を２とする場合（ｂｉｇｒａｍ）、図１（ａ）の例では、「投獄する（動４）．ヲ格」の履歴は「捕まえる（動１）．ヲ格」－「投獄する（動４）．ヲ格」となり、「捕まえる（動１）．ヲ格」の履歴は「犯す（動２）．ガ格　」－「捕まえる（動１）．ヲ格」となる。ただし、イベントスロットの履歴に関する特徴量は、Ｎｇｒａｍ系列の特徴量だけでなく、次数がｎ以下のすべての部分系列の特徴量を含む。たとえばＮｇｒａｍ次数を２とする場合、イベントスロットの履歴に関する特徴量は、当該イベントスロットとそれに連接する１つ前のイベントスロットとを要素とする部分系列（ｂｉｇｒａｍ系列）の特徴量だけでなく、当該イベントスロットのみを要素とする部分系列（ｕｎｉｇｒａｍ系列（本実施形態ではｕｎｉｇｒａｍも系列とみなす））の特徴量も含む。これにより、ｂｉｇｒａｍが０頻度だった場合に、ｕｎｉｇｒａｍで補完する平滑化の効果を得ることができる。
　また、本実施形態において、共有項の履歴とは、上述したイベントスロットの部分系列に対応する共有項の系列をいう。たとえばｂｉｇｒａｍ系列の場合、図１（ａ）の例では、「投獄する（動４）．ヲ格」の共有項の履歴、および、「捕まえる（動１）．ヲ格」の共有項の履歴は、ともに「犯罪者」－「犯罪者」となる。このように、共有項の履歴は、部分系列に含まれる要素の数に対応する共有項の数（共有項が連続する数）を表している。ただし、共有項の履歴に関する特徴量は、「犯罪者」のような表層の系列の特徴量だけでなく、たとえば、共有項の意味的カテゴリや固有表現タイプなどを表す他の表現方法での系列の特徴量も含む。これにより、共有項の系列の頻度を適切な粒度で求めることが可能となる。
　なお、言語モデルの構築方法として識別モデルを利用することが非特許文献５に記載されている。非特許文献５では、識別モデルを用いた様々な異なる統計量の統合例を紹介しており、５．３節では、その一例として、Ｎｇｒａｍとトリガの２つの手がかりを統合した言語モデルを構築することが記載されている。本実施形態では、たとえばこの非特許文献５に記載の方法を応用し、識別モデルに基づく機械学習手法を利用して、物語モデルを構築することができる。
　本実施形態によれば、上述したように、イベントスロット系列からイベントスロットの履歴に関する特徴量と共有項の履歴に関する特徴量とを含む事例ベクトルで表現された事例データを生成し、この事例データを用いて識別モデルに基づく機械学習を行うことで物語モデルを構築するため、精度の高い物語モデルを構築することができる。
　なお、イベントスロット系列を用いた確率モデルの構築に関し、イベントスロット系列の情報だけでなく共有項の情報も併せて使用することが、非特許文献３に記載されている。しかし、非特許文献３に記載されている方法は、共有項の履歴に関する情報を用いるものではなく、共有項の情報は、イベントスロット系列をより厳密に区別するために用いている。つまり、非特許文献３に記載されている方法は、たとえば図２に示すように、実質的には、イベントスロットの確率と共有項の確率の積を取るのに近いかたちで確率モデルを構築している。このため、非特許文献３に記載されている方法では、学習データ不足という問題は解消されず、むしろ問題が深刻化する傾向にある。
　これに対して、本実施形態の物語モデル構築方法によれば、共有項の履歴に関する特徴量を特徴ベクトルの次元に含ませるかたちで事例データを生成し、この事例データを用いて識別モデルに基づく機械学習を行うことで物語モデルを構築するため、学習データ不足を解消して、精度の高い物語モデルを構築することができる。
（第１実施形態）
　次に、本実施形態に係るデータ処理装置の具体例について説明する。図３は、第１実施形態に係るデータ処理装置１００の構成例を示すブロック図である。データ処理装置１００は、図３に示すように、テキスト解析器１と、イベントスロット系列抽出器２（抽出部）と、機械学習用事例生成器３（事例生成部）と、イベントスロット履歴特徴生成器４と、共有項履歴特徴生成器５と、共有項表現生成器６と、後続イベントスロット推定訓練器７（モデル構築部）と、後続イベントスロット推定予測器８（予測部）と、を備える。なお、図３中の角丸四角形は、データ処理装置１００を構成する上記各モジュール１～８の入出力データを表している。
　データ処理装置１００により実行される処理は、「訓練処理」と「予測処理」とに大別される。訓練処理は、イベントスロット系列抽出器２、機械学習用事例生成器３、イベントスロット履歴特徴生成器４、共有項履歴特徴生成器５、共有項表現生成器６および後続イベントスロット推定訓練器７を用いて、訓練用タグ付き文書群Ｄ１から後続イベントスロット推定モデルＤ１０（物語モデル）を構築する処理である。予測処理は、テキスト解析器１、イベントスロット系列抽出器２、機械学習用事例生成器３、イベントスロット履歴特徴生成器４、共有項履歴特徴生成器５、共有項表現生成器６および後続イベントスロット推定予測器８と、訓練処理により構築された後続イベントスロット推定モデルＤ１０とを用いて、解析対象文書Ｄ５の後続イベントスロットを推定する処理である。なお、図３中の破線の矢印は訓練処理における処理フローを示し、実線の矢印は予測処理における処理フローを示し、一点鎖線の矢印は訓練処理と予測処理の双方で共通する処理フローを示している。
　まず、訓練処理の概要について説明する。データ処理装置１００が訓練処理を実行する場合、イベントスロット系列抽出器２には、訓練用タグ付き文書群Ｄ１が入力される。イベントスロット系列抽出器２は、訓練用タグ付き文書群Ｄ１を受け取り、この訓練用タグ付き文書群Ｄ１に含まれる訓練用タグ付き文書からイベントスロット系列を抽出する処理を行って、訓練用イベントスロット系列データ群Ｄ２を出力する。
　次に、機械学習用事例生成器３が、訓練用イベントスロット系列データ群Ｄ２を受け取り、イベントスロット履歴特徴生成器４、共有項履歴特徴生成器５および共有項表現生成器６と連携して、訓練用イベントスロット系列データ群Ｄ２に含まれる訓練用イベントスロット系列データから事例データを生成する処理を行って、訓練用事例データ群Ｄ３を出力する。
　次に、後続イベントスロット推定訓練器７が、訓練用事例データ群Ｄ３を受け取り、この訓練用事例データ群Ｄ３を用いた機械学習の訓練を行って、後続イベントスロット推定モデルＤ１０を出力する。この後続イベントスロット推定モデルＤ１０は物語モデルそのものであり、次に説明する予測処理において、解析対象文書Ｄ５の後続イベントスロットを推定するために用いられる。
　次に、予測処理の概要について説明する。データ処理装置１００が予測処理を実行する場合、まず、解析対象文書Ｄ５がテキスト解析器１に入力される。テキスト解析器１は、解析対象文書Ｄ５を受け取り、この解析対象文書Ｄ５に対して述語項構造解析や共参照解析などを行って、解析対象タグ付き文書Ｄ６を出力する。
　次に、イベントスロット系列抽出器２が、解析対象タグ付き文書Ｄ６を受け取り、この解析対象タグ付き文書Ｄ６からイベントスロット系列を抽出する処理を行って、予測用イベントスロット系列データ群Ｄ７を出力する。
　次に、機械学習用事例生成器３が、予測用イベントスロット系列データ群Ｄ７を受け取り、イベントスロット履歴特徴生成器４、共有項履歴特徴生成器５および共有項表現生成器６と連携して、予測用イベントスロット系列データ群Ｄ７に含まれる予測用イベントスロット系列データから事例データを生成する処理を行って、予測用事例データ群Ｄ８を出力する。
　次に、後続イベントスロット推定予測器８が、予測用事例データ群Ｄ８と、訓練処理により構築された後続イベントスロット推定モデルＤ１０とを受け取り、後続イベントスロット推定モデルＤ１０を用いて後続イベントスロットを予測する処理を行って、後続イベントスロット推定結果Ｄ９を出力する。この後続イベントスロット推定結果Ｄ９には、解析対象文書Ｄ５から抽出されたイベントスロット系列に後続する後続イベントスロットとして出現する可能性があるイベントスロットそれぞれについての確率が示されている。物語モデルを活用するアプリケーションは、自身の処理の中で、この後続イベントスロット推定結果Ｄ９の情報を文脈理解のための何らかの判断材料として用いることができる。
　次に、訓練処理に用いる各モジュールの詳細について、訓練処理の具体例を例示しながら説明する。
　まず、イベントスロット系列抽出器２について説明する。訓練処理において、イベントスロット系列抽出器２は、上述したように、訓練用タグ付き文書群Ｄ１を入力し、訓練用イベントスロット系列データ群Ｄ２を出力する。
　図４は、イベントスロット系列抽出器２が入力する訓練用タグ付き文書群Ｄ１の一部である訓練用タグ付き文書の具体例を示す図であり、図４（ａ）は日本語の例、図４（ｂ）は英語の例をそれぞれ示している。図４に示すように、訓練用タグ付き文書は、形態素（単語分割）情報が付与されたテキストと、ゼロ照応や代名詞照応などの照応関係が解決された照応解決済みの述語項構造解析情報と、共参照情報とを含む。本実施形態において、述語項構造解析情報と共参照情報は必須となるが、訓練用タグ付き文書が図４に示すフォーマットでなければ処理できないわけではない。すなわち、訓練用タグ付き文書は、述語項構造解析情報と共参照情報とを含むものであれば、任意のフォーマットで表現されたものを利用することができる。なお、図４（ａ）の日本語の例と、図４（ｂ）の英語の例とでは、使用する言語の違いはあるものの、データ自体に本質的な違いはない。したがって、以下では日本語の例についてのみ説明する。
　図４に示す訓練用タグ付き文書において、“テキストと形態素解析（単語分割）情報”のセクションでは、テキストが単語分割されており、各単語に形態素番号が割り振られている。また、“照応解決済の述語項構造情報”のセクションでは、テキスト上で省略されている項が照応解析によって照応解決された状態での各述語の述語項構造に関する情報が、各述語に割り振られたＩＤとともに示されている。各述語の述語項構造は、述語の形態素番号とその語義、述語に従属する各項の格種別および形態素番号を含む。なお、図４（ａ）に示す例において、形態素番号１２の述語や形態素番号１５の述語のガ格とヲ格は、照応解析によって解決された項である。また、“共参照情報”のセクションでは、テキスト上で共参照関係にあるとみなせる名詞句群（以下、共参照クラスタという。）ごとに、各共参照クラスタに割り振ったＩＤとともに、その共参照クラスタのメンバーを述語項構造と対応付けるかたちで示している。
　なお、図４に例示したような訓練用タグ付き文書は、たとえば、任意のテキストに対して、後述する予測処理において用いるテキスト解析器１（あるいは同等の機能を持つモジュール）を利用して解析結果のタグを付加することで生成してもよいし、任意のテキストに対して、人手によりタグを付加することで生成してもよい。
　図５は、イベントスロット系列抽出器２が出力する訓練用イベントスロット系列データ群Ｄ２の一部である訓練用イベントスロット系列データの具体例を示す図であり、図４（ａ）に示した訓練用タグ付き文書から抽出された訓練用イベントスロット系列データの例を示している。図５に示す訓練用イベントスロット系列データにおいて、左側のセクションには、最後尾に“＜／ｓ＞”という要素が追加されたイベントスロット系列が示されている。系列内の各イベントスロットは項を共有しており、その共有項の情報が右側のセクションに示されている。なお、系列の最後尾の“＜／ｓ＞”という要素は、その系列の終了を示す擬似的なイベントスロットであり、終了しやすい系列パターンを学習するために用いられる。
　図５に示すような訓練用イベントスロット系列データは、図４（ａ）に示したような訓練用タグ付き文書から、共参照クラスタの数だけ生成される。すなわち、図５の例は、図４（ａ）に示した訓練用タグ付き文書から、［Ｃ０１］のＩＤで示される共参照クラスタについて生成された訓練用イベントスロット系列データであるが、図４（ａ）に示した訓練用タグ付き文書からは、さらに［Ｃ０２］のＩＤで示される共参照クラスタについても同様に、訓練用イベントスロット系列データが生成される。
　図６は、イベントスロット系列抽出器２が実施する処理を説明するフローチャートである。イベントスロット系列抽出器２は、入力された訓練用タグ付き文書群Ｄ１に含まれる訓練用タグ付き文書（図４参照）のそれぞれに対して、以下のステップＳ１０１～ステップＳ１０４の処理を行って訓練用イベントスロット系列データ（図５参照）を生成し、訓練用イベントスロット系列データ群Ｄ２を出力する。なお、図６に例示するイベントスロット系列抽出器２の処理は、図４に例示したフォーマットの訓練用タグ付き文書から、図５に例示したフォーマットの訓練用イベントスロット系列データを生成する例である。訓練用タグ付き文書や訓練用イベントスロット系列データのフォーマットが図４や図５の例と異なる場合は、イベントスロット系列抽出器２は、そのフォーマットに合わせた処理を行えばよい。
　ステップＳ１０１：イベントスロット系列抽出器２は、入力データである訓練用タグ付き文書の“共参照情報”のセクションから、共参照クラスタを１つ取り出す。
　ステップＳ１０２：イベントスロット系列抽出器２は、共参照クラスタ内の各メンバーの形態素番号と表層を列挙したものを、出力データとなる訓練用イベントスロット系列データの右側のセクションに記述する。
　ステップＳ１０３：イベントスロット系列抽出器２は、共参照クラスタ内の各メンバーのカッコ内に書かれた情報（イベントスロット情報）を系列として取り出し、述語の形態素番号を述語の表層と語義に置き換え、さらにその系列の最後尾に“＜／ｓ＞”という要素を加えた後、出力データとなる訓練用イベントスロット系列データの左側のセクションに記述する。
　ステップＳ１０４：イベントスロット系列抽出器２は、訓練用タグ付き文書の“共参照情報”のセクションに記述されているすべての共参照クラスタについて、上記のステップＳ１０１～ステップＳ１０３の処理を行う。
　次に、機械学習用事例生成器３について説明する。まず、本実施形態に係るデータ処理装置１００における機械学習用事例生成器３の位置づけについて説明する。本実施形態に係るデータ処理装置１００において、後続イベントスロット推定訓練器７および後続イベントスロット推定予測器８が行う機械学習処理は、識別モデルをベースとして、Ｎｇｒａｍ系列の確率を予測することを目的とする。つまり、ｙをイベントスロット、ｘをイベントスロット系列の履歴とするとき、Ｐ（ｙ｜ｘ）が予測すべき確率となる。この最適化には最尤推定を用いるが、そのためには機械学習用に表現されたｘとｙの組を事例データとして予め作成する必要がある。機械学習用事例生成器３は、その事例データを作成する処理を担当する。
　機械学習用事例生成器３は、上述したように、イベントスロット系列抽出器２から訓練用イベントスロット系列データ群Ｄ２を入力として受け取り、訓練用事例データ群Ｄ３を出力する。
　図７は、機械学習用事例生成器３が出力する訓練用事例データ群Ｄ３の一部である訓練用事例データの具体例を示す図であり、図５に示した訓練用イベントスロット系列データから生成された訓練用事例データの例を示している。ただし、図７の訓練用事例データは、Ｎｇｒａｍ次数を２（ｂｉｇｒａｍ）とし、図５に示した訓練用イベントスロット系列データの「投獄する（動４）．ヲ格」を注目要素としたときの、当該注目要素に関する訓練用事例データである。
　図７に示す訓練用事例データにおいて、“ｙ：”で始まるセクションには、出力ラベルが記載されている。出力ラベルは、後続イベントスロットを予測する予測処理において正解となるイベントスロットを表している。
　また、図７に示す訓練用事例データにおいて、“ｘ：”で始まるセクションには、後続イベントスロットを予測するための手がかりとなる情報に対応する特徴ベクトルが記載されている。特徴ベクトルは、要素（次元）ごとにカンマで区切られており、各要素はコロンで区切られている。コロンより前にあるのは次元を識別するための次元ＩＤであり、コロンより後にあるのはその次元での値（特徴量）である。ここで指定されなかった次元の値は０とみなす。この表記は、ほとんどの要素が０となる高次元スパースなベクトルをコンパクトに表現するのによく用いられる記法である。次元ＩＤは文字列で表され、異なる事例の特徴ベクトルに含まれる要素間で、同一次元かどうかを判定するために用いられる。後続の機械学習処理においては、数学的なベクトルに解釈しなければならないときには、各次元ＩＤが異なるベクトル要素番号になるよう適当に割り振ることをする（各次元ＩＤを数学的ベクトルのどの要素番号に割り当てても最適化の結果は同じである)。なお、本実施形態では、各次元の値には１か０しか用いないものとする。
　特徴ベクトルは、上述したように、イベントスロットの履歴に関する１以上の特徴量と共有項の履歴に関する１以上の特徴量とを含む。図７に示す例において、“［ＥｖｅｎｔＳｌｏｔ］”で始まる次元ＩＤに対応する値がイベントスロットの履歴に関する特徴量（以下、イベントスロット履歴特徴という。）であり、“［ＳｈａｒｅＡｒｇ］”で始まる次元ＩＤに対応する値が共有項の履歴に関する特徴量（以下、共有項履歴特徴という。）である。ここで、イベントスロット履歴特徴および共有項履歴特徴は、Ｎｇｒａｍ次数をｉとするとき、ｉ以下のすべての次数のＮｇｒａｍ系列について生成される。たとえば、図７に示す例では、Ｎｇｒａｍ次数が２であるため、ｂｉｇｒａｍ系列の履歴特徴とｕｎｉｇｒａｍ系列の履歴特徴が生成されている。これにより、ｂｉｇｒａｍ系列が０頻度だった場合に、ｕｎｉｇｒａｍ系列で補完する平滑化の効果を得ることができる。なお、実施形態によっては、上述したイベントスロット履歴特徴、または、共有項履歴特徴のいずれか一方のみを含む特徴ベクトルを用いてもよい。
　図８は、機械学習用事例生成器３が実施する処理を説明するフローチャートである。機械学習用事例生成器３は、入力された訓練用イベントスロット系列データ群Ｄ２に含まれる訓練用イベントスロット系列データ（図５参照）のそれぞれに対して、以下のステップＳ２０１～ステップＳ２０８の処理を行って訓練用事例データ（図７参照）を生成し、訓練用事例データ群Ｄ３を出力する。
　ステップＳ２０１：機械学習用事例生成器３は、入力データである訓練用イベントスロット系列データの左側のセクションに記載されたイベントスロット系列から、注目要素となるイベントスロット（以下、注目スロットという。）を順に１つ取り出す。
　ステップＳ２０２：機械学習用事例生成器３は、注目スロットの履歴に当たる部分系列を、イベントスロット系列から取り出す。たとえばｂｉｇｒａｍならば、注目スロットの１つ前のイベントスロットまでを含む部分系列を取り出し、ｔｒｉｇｒａｍならば、注目スロットの２つ前のイベントスロットまでを含む部分系列を取り出す。ここで、注目要素となるイベントスロットがイベントスロット系列の先頭付近であり、Ｎｇｒａｎ次数を満たせる長さがない場合は、“＜ｓ＞”などのダミー要素を不足するイベントスロットの数だけ先頭に付加すればよい。
　ステップＳ２０３：機械学習用事例生成器３は、イベントスロット系列データの右側のセクションに記載された共有項の情報を取り出す。
　ステップＳ２０４：機械学習用事例生成器３は、注目スロットの記載を元に、出力データとなる訓練用事例データの“ｙ：”で始まるセクションに出力ラベルを記載する。ここでは、注目スロットの記載がそのまま出力ラベルとなる。
　ステップＳ２０５：機械学習用事例生成器３は、注目スロットとその注目スロットの履歴の情報をイベントスロット履歴特徴生成器４に渡し、イベントスロット履歴特徴生成器４からイベントスロット履歴特徴群を得る。図７に示した訓練用事例データの例では、“［ＥｖｅｎｔＳｌｏｔ］”で始まる次元ＩＤに対応する値がイベントスロット履歴特徴であり、機械学習用事例生成器３は、これらイベントスロット履歴特徴の集まりであるイベントスロット履歴特徴群を、イベントスロット履歴特徴生成器４から取得する。
　ステップＳ２０６：機械学習用事例生成器３は、共有項の情報を共有項履歴特徴生成器５に渡し、共有項履歴特徴生成器５から共有項履歴特徴群を得る。図７に示した訓練用事例データの例では、“［ＳｈａｒｅＡｒｇ］”で始まる次元ＩＤに対応する値が共有項履歴特徴であり、機械学習用事例生成器３は、これら共有項履歴特徴の集まりである共有項履歴特徴群を、共有項履歴特徴生成器５から取得する。
　ステップＳ２０７：機械学習用事例生成器３は、以上のように取得したイベントスロット履歴特徴群や共有項履歴特徴群をマージした結果を、特徴ベクトルとして、出力データとなる訓練用事例データの“ｘ：”で始まるセクションに書き込む。
　ステップＳ２０８：機械学習用事例生成器３は、イベントスロット系列データの左側のセクションに記載されたイベントスロット系列に含まれるすべてのイベントスロットについて、上記のステップＳ２０１～ステップＳ２０７の処理を行う。
　次に、イベントスロット履歴特徴生成器４について説明する。イベントスロット履歴特徴生成器４は、機械学習用事例生成器３から注目スロットとその注目スロットの履歴の情報を入力として受け取り、上述したイベントスロット履歴特徴群を機械学習用事例生成器３に返す。
　図９は、イベントスロット履歴特徴生成器４による処理を説明するフローチャートである。イベントスロット履歴特徴生成器４は、機械学習用事例生成器３から注目スロットとその注目スロットの履歴の情報を受け取ると、図９のステップＳ３０１～ステップＳ３１０の処理を行って、イベントスロット履歴特徴群を機械学習用事例生成器３に返す。
　ステップＳ３０１：イベントスロット履歴特徴生成器４は、返り値（特徴量表現文字列リスト）用の変数ｒｅｓｕｌｔを用意し、空のリストを代入する。
　ステップＳ３０２：イベントスロット履歴特徴生成器４は、Ｎｇｒａｍ次数をＮとするとき、１からＮまでの範囲のループ変数ｌｅｎを用意し、ループ１を開始する。
　ステップＳ３０３：イベントスロット履歴特徴生成器４は、特徴量表現文字列ｓを用意し、“［ＥｖｅｎｔＳｌｏｔ］”＋注目スロットを代入する。
　ステップＳ３０４：イベントスロット履歴特徴生成器４は、１からｌｅｎまでの範囲のループ変数ｉを用意し、ループ２を開始する。
　ステップＳ３０５：イベントスロット履歴特徴生成器４は、注目スロットの履歴の情報から注目スロットのｉ個前のイベントスロットを取り出し、特徴量表現文字列ｓにアンダーバーを挟んで追加する。
　ステップＳ３０６：イベントスロット履歴特徴生成器４は、ループ２の分岐処理（繰り返すか終了するかの判定）を行う。
　ステップＳ３０７：イベントスロット履歴特徴生成器４は、特徴量表現文字列ｓに“：１”を追加する。
　ステップＳ３０８：イベントスロット履歴特徴生成器４は、特徴量表現文字列リストｒｅｓｕｌｔに特徴量表現文字列ｓを追加する。
　ステップＳ３０９：イベントスロット履歴特徴生成器４は、ループ１の分岐処理（繰り返すか終了するかの判定）を行う。
　ステップＳ３１０：イベントスロット履歴特徴生成器４は、特徴量表現文字列リストｒｅｓｕｌｔを返り値として返す。
　次に、共有項履歴特徴生成器５について説明する。共有項履歴特徴生成器５は、機械学習用事例生成器３から共有項の情報を入力として受け取り、上述した共有項履歴特徴群を機械学習用事例生成器３に返す。
　図１０は、共有項履歴特徴生成器５による処理を説明するフローチャートである。共有項履歴特徴生成器５は、機械学習用事例生成器３から共有項の情報を受け取ると、図１０のステップＳ４０１～ステップＳ４１３の処理を行って、共有項履歴特徴群を機械学習用事例生成器３に返す。
　ステップＳ４０１：共有項履歴特徴生成器５は、返り値（特徴量表現文字列リスト）用の変数ｒｅｓｕｌｔを用意し、空のリストを代入する。
　ステップＳ４０２：共有項履歴特徴生成器５は、共有項表現生成器６に共有項の情報を渡して呼び出し、共有項表現生成器６から共有項表現群を得る。
　ステップＳ４０３：共有項履歴特徴生成器５は、共有項表現群から順に１つずつ取り出して以下の処理を実行する（ループ１）。
　ステップＳ４０４：共有項履歴特徴生成器５は、Ｎｇｒａｍ次数をＮとするとき、１からＮまでの範囲のループ変数ｌｅｎを用意し、ループ２を開始する。
　ステップＳ４０５：共有項履歴特徴生成器５は、特徴量表現文字列ｓを用意し、“［ＳｈａｒｅＡｒｇ］”＋共有項表現を代入する。
　ステップＳ４０６：共有項履歴特徴生成器５は、１からｌｅｎまでの範囲のループ変数ｉを用意し、ループ３を開始する。
　ステップＳ４０７：共有項履歴特徴生成器５は、特徴量表現文字列ｓにアンダーバーを挟んで共有項表現を追加する。
　ステップＳ４０８：共有項履歴特徴生成器５は、ループ３の分岐処理（繰り返すか終了するかの判定）を行う。
　ステップＳ４０９：共有項履歴特徴生成器５は、特徴量表現文字列ｓに“：１”を追加する。
　ステップＳ４１０：共有項履歴特徴生成器５は、特徴量表現文字列リストｒｅｓｕｌｔに特徴量表現文字列ｓを追加する。
　ステップＳ４１１：共有項履歴特徴生成器５は、ループ２の分岐処理（繰り返すか終了するかの判定）を行う。
　ステップＳ４１２：共有項履歴特徴生成器５は、ループ１の分岐処理（繰り返すか終了するかの判定）を行う。
　ステップＳ４１３：共有項履歴特徴生成器５は、特徴量表現文字列リストｒｅｓｕｌｔを返り値として返す。
　次に、共有項表現生成器６について説明する。共有項表現生成器６は、共有項履歴特徴生成器５から共有項の情報を入力として受け取り、共有項表現群を共有項履歴特徴生成器５に返す。
　図１１は、共有項表現生成器６により生成される共有項表現群の一例を示す図であり、図５に例示したイベントスロット系列データに含まれる共有項の情報が共有項表現生成器６に入力されたときに生成される共有項表現群の例である。図１１に示すように、共有項表現生成器６が生成する共有項表現群は、共有項の表層（正規化された表層であってもよい）以外に、固有表現認識の結果を用いた表現と、意味的カテゴリによる表現とを含む。なお、これらの表現以外にも、さらに品詞（普通名詞・固有名詞・数名視など）を共有項の表現の１つに加えてもよい。共有項の表現に品詞を加えることにより、品詞単位での共有項の傾向を扱うことができるようになる。なお、共有項表現は、上記のような表層または正規化された表層、文法的カテゴリの情報、意味的カテゴリの情報、固有表現タイプの情報、の少なくともいずれかを用いて共有項を区別したものであればよい。
　図１２は、共有項表現生成器６による処理を説明するフローチャートである。共有項表現生成器６は、共有項履歴特徴生成器５から共有項の情報を受け取ると、図１２のステップＳ５０１～ステップＳ５０７の処理を行って、共有項表現群を共有項履歴特徴生成器５に返す。
　ステップＳ５０１：共有項表現生成器６は、返り値（共有項表現リスト）用の変数ｒｅｓｕｌｔを用意し、空のリストを代入する。
　ステップＳ５０２：共有項表現生成器６は、表層群から順に１つずつ表層を取り出して以下の処理を実行する（ループ１）。
　ステップＳ５０３：共有項表現生成器６は、特徴量表現文字列リストｒｅｓｕｌｔに当該表層を追加する。
　ステップＳ５０４：共有項表現生成器６は、表層を元に固有表現認識処理を行い、得られた固有表現タイプを特徴量表現文字列リストｒｅｓｕｌｔに追加する。なお、固有表現認識とは、ＰＥＲＳＯＮ，ＯＲＧＡＮＩＺＡＴＩＯＮ，ＬＯＣＡＴＩＯＮなどといった固有表現のタイプを識別する処理である。
　ステップＳ５０５：共有項表現生成器６は、表層についてシソーラスなどを用いて意味カテゴリを同定し、得られた意味カテゴリを階層ごとに特徴量表現文字列リストｒｅｓｕｌｔに追加する。
　ステップＳ５０６：共有項表現生成器６は、ループ１の分岐処理（繰り返すか終了するかの判定）を行う。
　ステップＳ５０７：共有項表現生成器６は、特徴量表現文字列リストｒｅｓｕｌｔを返り値として返す。
　次に、後続イベントスロット推定訓練器７について説明する。後続イベントスロット推定器７は、上述したように、機械学習用事例生成器３から訓練用事例データ群Ｄ３を入力として受け取り、後続イベントスロット推定モデルＤ１０（物語モデル）を出力する。
　図１３は、後続イベントスロット推定モデルＤ１０の一例を示す図である。図１３に示す後続イベントスロット推定モデルＤ１０において、それぞれの行は、各クラスの特徴ベクトルに相当し、クラス番号順に並んでいる。ここで、クラスは上述した出力ラベルｙに相当し、クラス番号とは出力ラベルｙに対応する番号のことである。また、図１３に示す後続イベントスロット推定モデルＤ１０において、行内の各フィールドは特徴ベクトルの要素（次元）であり、次元番号順に並んでいる。次元番号は、次元ＩＤに対応する番号のことである。後続イベントスロット推定訓練器７が出力する後続イベントスロット推定モデルＤ１０は、実際は膨大なデータサイズになるが、説明の便宜のため、図１３では小さな次元数とクラス数で例示している。
　図１４は、後続イベントスロット推定訓練器７が実施する処理を説明するフローチャートである。後続イベントスロット推定訓練器７は、入力された訓練用事例データ群Ｄ３を用いて以下のステップＳ６０１～ステップＳ６０４の処理を行って、物語モデルとなる後続イベントスロット推定モデルＤ１０を生成し、出力する。
　ステップＳ６０１：後続イベントスロット推定訓練器７は、入力された訓練用事例データ群Ｄ３に含まれる出力ラベルｙを、互いに異なる番号（クラス番号）に割り当てる。
　ステップＳ６０２：後続イベントスロット推定訓練器７は、入力された訓練用事例データ群Ｄ３に含まれる特徴量の次元ＩＤを、互いに異なる番号（次元番号）に割り当てる。
　ステップＳ６０３：後続イベントスロット推定訓練器７は、下記式（１）で示すロジスティック回帰の最適化式を解く。つまり、目的関数Ｌを最小化する重みベクトル群ｗ（ｃ）（ただし∈Ｙ）を求める。ただし、クラス集合をＹ＝｛１，２．．Ｃ｝、ｘから抽出した特徴ベクトルをφ（ｘ）、λを任意の定数、Ｎを事例数、（ｘ（ｉ），ｙ（ｉ））をｉ番目の事例としている。
Figure JPOXMLDOC01-appb-M000001
　ステップＳ６０４：後続イベントスロット推定訓練器７は、式（１）の最適化式を解くことで得られた重みベクトル群ｗ（ｃ）（ただしｃ∈Ｙ）を、後続イベントスロット推定モデルＤ１０として出力する。
　次に、以上のように生成された後続イベントスロット推定モデルＤ１０を用いて後続イベントスロットを推定する予測処理を行うための各モジュールの詳細について説明する。
　まず、テキスト解析器１について説明する。予測処理においては、上述したように、解析対象文書Ｄ５がテキスト解析器１に入力される。テキスト解析器１は、入力された解析対象文書Ｄ５に対して、たとえば、形態素解析、述語構造解析、および共参照解析を行って、図４に例示した訓練用タグ付き文書と同様のフォーマットの解析対象タグ付き文書Ｄ６を生成し、出力する。なお、テキスト解析器１が実施する形態素解析、述語構造解析、および共参照解析は既存技術であるため、ここでは説明を省略する。
　次に、イベントスロット系列抽出器２について説明する。予測処理においては、イベントスロット系列抽出器２は、テキスト解析器１が出力する解析対象タグ付き文書Ｄ６を入力として受け取り、予測用イベントスロット系列データ群Ｄ７を出力する。予測処理においてイベントスロット系列抽出器２が実施する処理は、訓練処理における処理と同様である。予測用イベントスロット系列データ群Ｄ７は、図５に例示した訓練用イベントスロット系列データと同様のフォーマットの予測用イベントスロット系列データの集まりである。
　ここで、予測処理において予測すべき問題設定について説明する。一般的に、予測すべき問題設定はアプリケーションによって異なる。対話処理への応用の場合、与えられた文書に続きそうなイベントスロットとその確率を推定するという問題設定が適切である。また、日本語などでのゼロ照応解析への応用の場合は、文書中のある述語の省略項（英語などでの代名詞照応解析の場合は、省略項ではなく代名詞）が、その前方文脈に対して最も連接しやすいイベントスロット系列を選ぶという問題設定が適切である。本実施形態ではアプリケーションによらない説明をするため、より単純な設定として、与えられたイベントスロット系列に対して、最も続きそうな後続イベントスロット（あるいは何も続かないというケース）とその確率を推定するという問題を解くものとする。なお、上述の与えられたイベントスロット系列としては、イベントスロット系列抽出器２が出力する予測用イベントスロット系列データ群Ｄ７のうちのいずれかのイベントスロット系列データがすでに選ばれているとし、その選び方はここでは議論しないとする。
　次に、機械学習用事例生成器３について説明する。予測処理においては、機械学習用事例生成器３は、イベントスロット系列抽出器２が出力する予測用イベントスロット系列データ群Ｄ７を入力として受け取り、選ばれたイベントスロット系列データから予測用事例データを生成して、予測用事例データ群Ｄ８を出力する。予測用事例データは、図７に例示した訓練用事例データと同様のフォーマットであるが、出力ラベルｙが不定となっている点のみ、訓練用事例データと異なる。
　図１５は、予測処理における機械学習用事例生成器３の処理を説明するフローチャートである。機械学習用事例生成器３は、入力された予測用イベントスロット系列データ群Ｄ７から選ばれた予測用イベントスロット系列データに対して、以下のステップＳ７０１およびステップＳ７０２の処理を行って予測用事例データを生成し、予測用事例データ群Ｄ８を出力する。
　ステップＳ７０１：機械学習用事例生成器３は、予測用イベントスロット系列データの左側のセクションに記載されたイベントスロット系列から、最後尾の要素である“＜／ｓ＞”を除去する。
　ステップＳ７０２：機械学習用事例生成器３は、残ったイベントスロット系列を履歴とみなして、図８のステップＳ２０２、ステップＳ２０３、ステップＳ２０５～ステップＳ２０８と同様の処理を行って、予測用事例データ群Ｄ８を出力する。なお、予測処理の場合、予測用事例データの出力ラベルｙは不定であるため、空欄のままとする、あるいはダミー値を埋め込んでおく。
　次に、後続イベントスロット推定予測器８について説明する。後続イベントスロット推定予測器８は、機械学習用事例生成器３が出力する予測用事例データ群Ｄ８を入力として受け取り、訓練処理において構築された後続イベントスロット推定モデルＤ１０を用いて、機械学習の予測処理を行って、後続イベントスロット推定結果Ｄ９を出力する。
　図１６は、後続イベントスロット推定結果Ｄ９の一例を示す図である。図１６に示す後続イベントスロット推定結果Ｄ９では、各クラスの条件付確率Ｐ（ｃ｜ｘ）（ただしｃ∈Ｙ）がクラス番号順に列挙されている。各クラスの確率は、各イベントスロットが、与えられたイベントスロット系列に対して後続するかどうかの確からしさを示している。
　図１７は、後続イベントスロット推定予測器８が実行する処理を説明するフローチャートである。後続イベントスロット推定予測器８は、入力された予測用事例データ群Ｄ８に対し、後続イベントスロット推定モデルＤ１０を用いて以下のステップＳ８０１～ステップＳ８０３の処理を行って、後続イベントスロット推定結果Ｄ９を出力する。
　ステップＳ８０１：後続イベントスロット推定予測器８は、入力された予測用事例データ群Ｄ８に含まれる特徴量の次元ＩＤを、後続イベントスロット推定訓練器７と同様の手順（図１４のステップＳ６０２と同様）で、互いに異なる番号（次元番号）に割り当てる。
　ステップＳ８０２：後続イベントスロット推定予測器８は、下記式（３）で示すロジスティック回帰の推定の式に基づき、各クラスの確率を算出する。ただし、クラス集合をＹ＝｛１，２．．Ｃ｝、ｘから抽出した特徴ベクトルをφ（ｘ）としている。
Figure JPOXMLDOC01-appb-M000002
　ステップＳ８０３：後続イベントスロット推定予測器８は、式（３）により得られた各クラスの確率Ｐ（ｃ｜ｘ）（ただしｃ∈Ｙ）を、後続イベントスロット推定結果Ｄ９として出力する。
　以上、具体的な例を挙げながら詳細に説明したように、本実施形態に係るデータ処理装置１００では、イベントスロット系列抽出器２（抽出部）が、訓練用タグ付き文書（述語項構造解析および共参照解析が行われた文書）から、訓練用イベントスロット系列データ（共有項を持つ述語と共有項の格の種別を表す格種別情報との組み合わせを要素とし、複数の要素を文書における述語の出現順に並べた要素系列、および共有項）を抽出する。そして、機械学習用事例生成器３（事例生成部）が、訓練用イベントスロット系列データから、イベントスロット履歴特徴および共有項履歴特徴を含む特徴ベクトルｘと出力ラベルｙとの組み合わせである訓練用事例データ（要素系列を構成する要素の１つを注目要素としたときに、注目要素のそれぞれについて、注目要素を末尾の要素とする要素系列内の部分系列に関する１以上の特徴量と、部分系列に含まれる要素の数に対応する共有項の数に関する１以上の特徴量と、を含む特徴ベクトルで表現された事例データ）を生成する。そして、後続イベントスロット推定訓練器７（モデル構築部）が、訓練用事例データを用いて、式（１）に示したロジスティック回帰の最適化式を解く（識別モデルに基づく機械学習を行う）ことにより、後続イベントスロット推定モデルＤ１０（物語モデル）を構築する。このように、本実施形態に係るデータ処理装置１００によれば、イベントスロット履歴特徴だけでなく、共有項履歴特徴も含む特徴ベクトルで表現された事例データを生成し、この事例データを用いた機械学習により物語モデルを構築するようにしているので、後続イベントスロットを予測するための手がかりを従来よりも多く抽出して、精度の高い物語モデルを構築することができる。
　また、本実施形態に係るデータ処理装置１００では、機械学習用事例生成器３が訓練用事例データや予測用事例データを生成する際に、共有項履歴特徴生成器５および共有項表現生成器６と連携して、表層または正規化された表層、文法的カテゴリの情報、意味的カテゴリの情報、固有表現タイプの情報、の少なくともいずれかを用いて共有項を区別した共有項表現ごとに、共有項履歴特徴を生成するようにしている。したがって、本実施形態に係るデータ処理装置１００によれば、共有項履歴特徴を適切な粒度で生成して、精度の高い物語モデルを構築することができる。
　また、本実施形態に係るデータ処理装置１００では、機械学習用事例生成器３が訓練用事例データや予測用事例データを生成する際に、イベントスロット履歴特徴および共有項履歴特徴として、ｕｎｉｇｒａｍ（ユニグラム）系列を含む部分系列のそれぞれについて特徴量を生成するようにしている。したがって、本実施形態に係るデータ処理装置１００によれば、イベントスロット系列の確率がゼロとなるゼロ確率を有効に解決して、精度の高い物語モデルを構築することができる。
　また、本実施形態に係るデータ処理装置１００では、イベントスロット系列抽出器２が抽出するイベントスロット系列は、各イベントスロットに含まれる述語に、該述語の語義を特定する語義特定情報が付加されている。したがって、本実施形態に係るデータ処理装置１００によれば、述語の語義の曖昧さを除去して、精度の高い物語モデルを構築することができる。
（第２実施形態）
　次に、第２実施形態について説明する。第２実施形態では、第１実施形態で用いた共有項履歴特徴の代わりに、共有項履歴特徴を包含する機能を持つワイルドカード履歴と共有項の組み合わせ特徴を用いる。
　まず、ワイルドカード履歴について説明する。ワイルドカード履歴とは、イベントスロットの履歴となるイベントスロット系列内の部分系列の一部の要素をワイルドカード（あらゆるイベントスロットとマッチする要素）に置き換えたものである。たとえば“Ａ＿Ｂ＿Ｃ”（Ａ，Ｂ，Ｃはこの順番で現れるイベントスロット）という履歴があるとき、ワイルドカードを＊とすると、“Ａ＿Ｂ＿Ｃ”（ワイルドカードなしの履歴）、“Ａ＿Ｂ＿＊”（Ｃをワイルドカードで置き換えた履歴）、“Ａ＿＊＿Ｃ”（Ｂをワイルドカードで置き換えた履歴）、“Ａ＿＊＿＊”（ＢとＣをワイルドカードで置き換えた履歴）、“＊＿Ｂ＿Ｃ”（Ａをワイルドカードで置き換えた履歴）、“＊＿＊＿Ｃ”（ＡとＢをワイルドカードで置き換えた履歴）、“＊＿＊＿＊”（ＡとＢとＣのすべてをワイルドカードで置き換えた履歴）が、ワイルドカード履歴のバリエーションとして挙げられる。“Ａ＿＊＿＊”のワイルドカード履歴の場合、注目要素の３つ前に“Ａ”という要素を持つあらゆる履歴とマッチする。なお、ワイルドカード履歴は、非特許文献６において“skipping　model”として紹介されており、また、非特許文献５および非特許文献７において“Distance　Trigram”として紹介されている。
　第１実施形態で用いた共有項の履歴は、共有項を、イベントスロットの履歴の長さ（イベントスロットの履歴となる部分系列の要素数に対応する数）だけ並べる形で定義した。たとえば、共有項を“Ｘ”とすると、長さ３の部分系列に対応する共有項の履歴は“Ｘ＿Ｘ＿Ｘ”と表現した。ここで、ワイルドカード履歴と共有項とのＡＮＤをとった組み合わせ特徴を考える。組み合わせ特徴とは、双方の特徴量が１となるときのみ１となる特徴量であり、次元ＩＤは両者のＩＤを“＆”でつないで表すとする。たとえばワイルドカード履歴“Ａ＿＊＿＊”と共有項“Ｘ”のＡＮＤをとった組み合わせ特徴は、“Ａ＿＊＿＊”と表すとし、このときワイルドカード履歴“Ａ＿＊＿＊”と共有項“Ｘ”のいずれの特徴も成立していることを示している。
　ここで、第１実施形態で用いた共有項履歴特徴は、ワイルドカード履歴と共有項の組み合わせ特徴に包含されることに着目する。たとえば、共有項“Ｘ”の長さ３の履歴“Ｘ＿Ｘ＿Ｘ”に関する共有項履歴特徴は、ワイルドカード履歴“＊＿＊＿＊”と共有項”Ｘ”の組み合わせ特徴”“＊＿＊＿＊＆Ｘ”と同じ意味を持っている。なぜなら、ワイルドカード履歴“＊＿＊＿＊”は長さ３の履歴であることを表しており、“＊＿＊＿＊＆Ｘ”は、長さ３の履歴が共有項“Ｘ”に関する履歴であることを表しているためである。
　“＊＿＊＿＊”以外のワイルドカード履歴と共有項の組み合わせ特徴は、上記の組み合わせ特徴よりもやや制約のかかった特徴となる。たとえば“Ａ＿＊＿＊＆Ｘ”は、長さ３の共有項”Ｘ”の履歴を持ち、かつ、イベントスロット履歴における注目要素の３つ前の要素が“Ｘ”でなければならない。このことは、共有項履歴特徴だけでは制約がゆるすぎる場合に、別のワイルドカード履歴特徴と組み合わせることで、イベントスロット系列に対して適度な制約を与えるよう調整できることを示している。
　第２実施形態に係るデータ処理装置では、機械学習用事例生成器３が訓練用事例データや予測用事例データを生成する際に、第１実施形態で用いた共有項履歴特徴の代わりにワイルドカード履歴と共有項の組み合わせ特徴を用いることで、共有項履歴特徴では制約がゆるすぎる場合に、イベントスロット系列に対して適度な制約を与えるような調整を実現する。具体的には、第２実施形態では、ワイルドカード履歴のすべてのバリエーションと共有項の組み合わせ特徴を特徴ベクトル内に持たせて機械学習を行う。機械学習は、予測にとって重要となる特徴には大きな重みを付与し、重要でない特徴には小さな重みを付与する調整機構を持つため、共有項履歴だけでは十分な予測ができないと考えられるパターンにおいて、適切な制約を持つワイルドカード履歴と共有項の組み合わせ特徴に大きな重みを割り当てることができる。なお、第２実施形態の機械学習処理には特別な処置は加えておらず、第１実施形態とまったく同じものを用いている。
　ワイルドカード履歴のうち、すべての要素をワイルドカードで置き換えたものと共有項との組み合わせ特徴は、上述したように、第１実施形態で用いた共有項履歴特徴と同じ意味を持つ。このため、第２実施形態で生成される訓練用事例データや予測用事例データは、第１実施形態で生成される訓練用事例データや予測用事例データの特徴ベクトルｘに対して、さらに、注目要素のそれぞれについて、一部の要素をワイルドカードで置き換えた部分系列と共有項とのＡＮＤ条件による組み合わせに関する１以上の特徴量を要素として含む特徴ベクトルｘを持つことを意味する。
　図１８は、第２実施形態に係るデータ処理装置２００の構成例を示すブロック図である。図１８に示すように、第２実施形態に係るデータ処理装置２００は、図３に示した第１実施形態に係るデータ処理装置１００と比較して、機械学習用事例生成器３の代わりに機械学習用事例生成器３’（事例生成部）を用い、共有項履歴特徴生成器５の代わりに組み合わせ特徴生成器９を用いている点が異なる。第２実施形態に係るデータ処理装置２００のその他の構成は、第１実施形態に係るデータ処理装置１００と同様である。このため、以下では、第１実施形態に係るデータ処理装置１００と同様の構成要素は同一の符号を付して重複した説明を省略し、相違点についてのみ説明する。
　機械学習用事例生成器３’は、イベントスロット系列抽出器２から訓練用イベントスロット系列データ群Ｄ２（または予測用イベントスロット系列データ群Ｄ７）を入力として受け取り、イベントスロット履歴特徴生成器４、組み合わせ特徴生成器９および共有項表現生成器６と連携して事例データを生成する処理を行って、訓練用事例データ群Ｄ３’（または予測用事例データ群Ｄ８’）を出力する。
　図１９は、機械学習用事例生成器３’が出力する訓練用事例データ群Ｄ３’の一部である訓練用事例データの具体例を示す図であり、図５に示した訓練用イベントスロット系列データから生成された訓練用事例データの例を示している。ただし、図１９の訓練用事例データは、Ｎｇｒａｍ次数を２（ｂｉｇｒａｍ）とし、図５に示した訓練用イベントスロット系列データの「投獄する（動４）．ヲ格」を注目要素としたときの、当該注目要素に関する訓練用事例データである。
　図１９に示す訓練用事例データでは、図７に示した第１実施形態の訓練用事例データの例と比較して、特徴ベクトルｘに“［ＳｈａｒｅＡｒｇ］”で始まる次元ＩＤに対応する共有項履歴特徴が含まれていない。その代わりに、特徴ベクトルｘに“［Ｗｉｌｄ＆Ａｒｇ］”で始まる次元ＩＤに対応するワイルドカード履歴と共有項の組み合わせ特徴が含まれている。
　図１９に例示した訓練用事例データにおいて、ワイルドカード履歴と共有項の組み合わせ特徴に用いるワイルドカード履歴のバリエーションは以下の４つである。
　捕まえる（動１）．ヲ格＿投獄する（動４）．ヲ格
　＊＿投獄する（動４）．ヲ格
　捕まえる（動１）．ヲ格＿＊
　＊＿＊
　一方、ワイルドカード履歴と共有項の組み合わせ特徴に用いる共有項のバリエーションは以下の６つである。
　山田
　犯罪者
　＜ＰＥＲＳＯＮ＞
　＜Ｔｈｉｎｇ＞
　＜Ｔｈｉｎｇ／Ａｇｅｎｔ＞
　＜Ｔｈｉｎｇ／Ａｇｅｎｔ／Ｐｅｒｓｏｎ＞
　したがって、ワイルドカード履歴と共有項の組み合わせ特徴としては、合計２４（＝４×６）種類の特徴が生成される。
　これら２４種類の特徴のうち、ワイルドカード履歴“＊＿＊”と共有項の組み合わせ特徴（６種類）は、図７に例示した第１実施形態の訓練用事例データに含まれる共有項履歴特徴と等価である。したがって、図１９に例示した訓練用事例データの特徴ベクトルｘは、図７に例示した第１実施形態の訓練用事例データの特徴ベクトルｘに対して、さらに１８種類の特徴量を付加したものになる。
　機械学習用事例生成器３’は、入力された訓練用イベントスロット系列データ群Ｄ２に含まれる訓練用イベントスロット系列データ（図５参照）のそれぞれに対して、第１実施形態の機械学習用事例生成器３と同様の処理（図８のステップＳ２０１～ステップＳ２０８）を行って図１９に示すような訓練用事例データを生成し、訓練用事例データ群Ｄ３’を出力する。ただし、第１実施形態の機械学習用事例生成器３では、図８のステップＳ２０６において、共有項履歴特徴生成器５に共有項の情報を渡して共有項履歴特徴群を得ていたのに対し、第２実施形態の機械学習用事例生成器３’は、組み合わせ特徴生成器９にイベントスロットの履歴の情報と共有項の情報を渡して、ワイルドカード履歴と共有項の組み合わせ特徴群を得る。
　また、機械学習用事例生成器３’は、予測処理においては、イベントスロット系列抽出器２が出力する予測用イベントスロット系列データ群Ｄ７を入力として受け取り、選ばれたイベントスロット系列データに対し、第１実施形態の機械学習用事例生成器３と同様の処理（図１５のステップＳ７０１およびステップＳ７０２）を行って予測用事例データを生成して、予測用事例データ群Ｄ８を出力する。なお、予測用事例データは、図１９に例示した訓練用事例データと同様のフォーマットであるが、出力ラベルｙが不定となっている点のみ、訓練用事例データと異なる。
　次に、組み合わせ特徴生成器９について説明する。組み合わせ特徴生成器９は、機械学習用事例生成器３’からイベントスロットの履歴の情報と共有項の情報を入力として受け取り、上述したワイルドカード履歴と共有項の組み合わせ特徴群を機械学習用事例生成器３’に返す。
　図２０は、組み合わせ特徴生成器９による処理を説明するフローチャートである。組み合わせ特徴生成器９は、機械学習用事例生成器３’からイベントスロットの履歴の情報と共有項の情報とを受け取ると、図２０のステップＳ９０１～ステップＳ９１０の処理を行って、ワイルドカード履歴と共有項の組み合わせ特徴群を機械学習用事例生成器３に返す。
　ステップＳ９０１：組み合わせ特徴生成器９は、ワイルドカードイベントスロット履歴リストｗという変数を用意し、空のリストを代入する。
　ステップＳ９０２：組み合わせ特徴生成器９は、イベントスロットの履歴の情報（注目スロットとその注目スロットの履歴の情報）をイベントスロット履歴特徴生成器４に渡し、イベントスロット履歴特徴生成器４からイベントスロット履歴特徴群を得る。
　ステップＳ９０３：組み合わせ特徴生成器９は、イベントスロット履歴特徴群からイベントスロット履歴特徴を１つ取り出す。
　ステップＳ９０４：組み合わせ特徴生成器９は、イベントスロット履歴に含まれる任意の要素をワイルドカード“＊”に置き換えることで、ワイルドカード履歴のすべてのバリエーションを取得する（イベントスロット履歴の長さがＮであれば２のＮ乗のバリエーションを取得する）。
　ステップＳ９０５：組み合わせ特徴生成器９は、取得したワイルドカード履歴のすべてのバリエーションをワイルドカードイベントスロット履歴リストｗに追加する。
　ステップＳ９０６：組み合わせ特徴生成器９は、イベントスロット履歴特徴群のすべてのイベントスロット履歴特徴について、上記のステップＳ９０３～ステップＳ９０５の処理を行う。
　ステップＳ９０７：組み合わせ特徴生成器９は、共有項表現リストａという変数を用意し、空のリストを代入する。
　ステップＳ９０８：組み合わせ特徴生成器９は、共有項の情報を共有項表現生成器６に渡して得た共有項表現群を共有項表現リストａに追加する。
　ステップＳ９０９：組み合わせ特徴生成器９は、ワイルドカードイベントスロット履歴リストｗ内の任意の要素と共有項表現リストａ内の任意の要素とのペアについて、両者の文字列を“＆”で挟みこむ形でつなぐ処理をすべてのペアに対して行い、ワイルドカード履歴と共有項の組み合わせ特徴の次元ＩＤ群ｃを得る。
　ステップＳ９１０：組み合わせ特徴生成器９は、ワイルドカード履歴と共有項の組み合わせ特徴の次元ＩＤ群ｃの各要素について、最後尾に“：１”を付与したものを、返り値として返す。
　以上、具体的な例を挙げながら説明したように、本実施形態に係るデータ処理装置２００によれば、第１実施形態の事例データで用いた共有項履歴特徴では制約がゆるすぎる場合に、イベントスロット系列に対して適度な制約を与えるような調整を行って、精度の高い物語モデルを構築することができる。
　第１実施形態に係るデータ処理装置１００や第２実施形態に係るデータ処理装置２００の上述した各機能は、たとえば、データ処理装置１００（２００）において所定のプログラムを実行することにより実現することができる。この場合、データ処理装置１００（２００）は、たとえば図２１に示すように、ＣＰＵ（Central　Processing　Unit）１０１などの制御装置、ＲＯＭ（Read　Only　Memory）１０２やＲＡＭ（Random　Access　Memory）１０３などの記憶装置、ネットワークに接続して通信を行う通信Ｉ／Ｆ１０４、各部を接続するバス１１０などを備えた、通常のコンピュータを利用したハードウェア構成とすることができる。
　データ処理装置１００（２００）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact　Disk　Read　Only　Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact　Disk　Recordable）、ＤＶＤ（Digital　Versatile　Disc）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。
　また、データ処理装置１００（２００）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、データ処理装置１００（２００）で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
　また、データ処理装置１００（２００）で実行されるプログラムを、ＲＯＭ１０２等に予め組み込んで提供するように構成してもよい。
　データ処理装置１００（２００）で実行されるプログラムは、データ処理装置１００（２００）の各処理部（テキスト解析器１、イベントスロット系列抽出器２、機械学習用事例生成器３（３’）、イベントスロット履歴特徴生成器４、共有項履歴特徴生成器５（組み合わせ特徴生成器９）、共有項表現生成器６、後続イベントスロット推定訓練７、および後続イベントスロット推定予測器８）を含むモジュール構成となっており、実際のハードウェアとしては、たとえば、ＣＰＵ１０１（プロセッサ）が上記記録媒体からプログラムを読み出して実行することにより、上述した各処理部が主記憶装置上にロードされ、上述した各処理部が主記憶装置上に生成されるようになっている。なお、データ処理装置１００（２００）は、上述した各処理部の一部または全部を、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field-Programmable　Gate　Array）などの専用のハードウェアを用いて実現することも可能である。
　なお、以上説明したデータ処理装置１００（２００）は、後続イベントスロット推定モデルＤ１０（物語モデル）を構築する訓練処理と、訓練処理で構築された後続イベントスロット推定モデルＤ１０を用いて解析対象文書Ｄ５の後続イベントスロットを推定する予測処理との双方を行うようにしている。しかし、データ処理装置１００（２００）は、予測処理のみを行うように構成することもできる。この場合、たとえば外部装置などを用いて事前に訓練処理を行い、後続イベントスロット推定モデルＤ１０を構築しておく。そして、データ処理装置１００（２００）は、解析対象文書Ｄ５を入力するとともに、外部装置などから後続イベントスロット推定モデルＤ１０を入力して、上述した予測処理を行う。
　また、以上説明したデータ処理装置１００（２００）は、訓練処理で構築された後続イベントスロット推定モデルＤ１０を用いて解析対象文書Ｄ５の後続イベントスロットを推定する予測処理を行う例であるが、データ処理装置１００（２００）は、訓練処理で構築された後続イベントスロット推定モデルＤ１０（物語モデル）を用いて、他の様々なアプリケーションを実行するように構成されていてもよい。たとえば、照応解析のアプリケーションを実行する場合は、訓練処理で構築された後続イベントスロット推定モデルＤ１０（物語モデル）を用いて照応解析のための事例データを生成し、この事例データを用いて機械学習を行う構成とすることで、照応解析を行うことができる。
　以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (7)

  1. 　述語項構造解析および共参照解析が行われた文書から、共有項を持つ述語と前記共有項の格の種別を表す格種別情報との組み合わせを要素とし、複数の前記要素を前記文書における前記述語の出現順に並べた要素系列を、前記共有項とともに抽出する抽出部と、
    　前記要素系列を構成する前記要素の１つを注目要素としたときに、前記注目要素のそれぞれについて、前記注目要素を末尾の要素とする前記要素系列内の部分系列に関する１つ以上の特徴量と、前記部分系列に対応する前記共有項の系列に関する１つ以上の特徴量と、の少なくともいずれかの特徴量を含む特徴ベクトルで表現された事例データを生成する事例生成部と、
    　前記事例データを用いて識別モデルに基づく機械学習を行うことにより、先行文脈に後続する前記要素を推定するための物語モデルを構築するモデル構築部と、を備えるデータ処理装置。
  2. 　前記事例生成部は、前記注目要素のそれぞれについて、一部の前記要素をワイルドカードで置き換えた前記部分系列と前記共有項とのＡＮＤ条件による組み合わせに関する１以上の特徴量をさらに含む特徴ベクトルで表現された前記事例データを生成する、請求項１に記載のデータ処理装置。
  3. 　前記共有項の系列に関する特徴量は、前記共有項を、表層または正規化された表層、文法的カテゴリの情報、意味的カテゴリの情報、固有表現タイプの情報、の少なくともいずれかを用いて区別した１以上の特徴量である、請求項１に記載のデータ処理装置。
  4. 　前記部分系列は、前記注目要素のみを要素とするユニグラム系列を含む、請求項１に記載のデータ処理装置。
  5. 　前記要素に含まれる前記述語は、該述語の語義を特定する語義特定情報が付加されている、請求項１に記載のデータ処理装置。
  6. 　述語項構造解析および共参照解析が行われた文書から、共有項を持つ述語と前記共有項の格の種別を表す格種別情報との組み合わせを要素とし、複数の前記要素を前記文書における前記述語の出現順に並べた要素系列を、前記共有項とともに抽出する抽出部と、
    　前記要素系列を構成する前記要素の１つを注目要素としたときに、前記注目要素のそれぞれについて、前記注目要素を末尾の要素とする前記要素系列内の部分系列に関する１つ以上の特徴量と、前記部分系列に対応する前記共有項の系列に関する１つ以上の特徴量と、の少なくともいずれかの特徴量を含む特徴ベクトルで表現された事例データを生成する事例生成部と、
    　先行文脈に後続する前記要素を推定するための物語モデルを入力する入力部と、
    　前記事例データと前記物語モデルとを用いて、先行文脈に後続する前記要素を予測する予測部と、を備え、
    　前記物語モデルは、事前に訓練用の前記事例データを用いて識別モデルに基づく機械学習を行うことにより生成されている、データ処理装置。
  7. 　データ処理装置において実行される物語モデル構築方法であって、
    　前記データ処理装置の抽出部が、述語項構造解析および共参照解析が行われた文書から、共有項を持つ述語と前記共有項の格の種別を表す格種別情報との組み合わせを要素とし、複数の前記要素を前記文書における前記述語の出現順に並べた要素系列を、前記共有項とともに抽出する工程と、
    　前記データ処理装置の事例生成部が、前記要素系列を構成する前記要素の１つを注目要素としたときに、前記注目要素のそれぞれについて、前記注目要素を末尾の要素とする前記要素系列内の部分系列に関する１つ以上の特徴量と、前記部分系列に対応する前記共有項の系列に関する１つ以上の特徴量と、の少なくともいずれかの特徴量を含む特徴ベクトルで表現された事例データを生成する工程と、
    　前記データ処理装置のモデル構築部が、前記事例データを用いて識別モデルに基づく機械学習を行うことにより、先行文脈に後続する前記要素を推定するための物語モデルを構築する工程と、を含む物語モデル構築方法。
PCT/JP2013/055477 2013-02-28 2013-02-28 データ処理装置および物語モデル構築方法 Ceased WO2014132402A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015502663A JP5945062B2 (ja) 2013-02-28 2013-02-28 データ処理装置および物語モデル構築方法
PCT/JP2013/055477 WO2014132402A1 (ja) 2013-02-28 2013-02-28 データ処理装置および物語モデル構築方法
CN201380073967.6A CN105264518B (zh) 2013-02-28 2013-02-28 数据处理装置及故事模型构建方法
US14/837,197 US9904677B2 (en) 2013-02-28 2015-08-27 Data processing device for contextual analysis and method for constructing script model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/055477 WO2014132402A1 (ja) 2013-02-28 2013-02-28 データ処理装置および物語モデル構築方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/837,197 Continuation US9904677B2 (en) 2013-02-28 2015-08-27 Data processing device for contextual analysis and method for constructing script model

Publications (1)

Publication Number Publication Date
WO2014132402A1 true WO2014132402A1 (ja) 2014-09-04

Family

ID=51427703

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/055477 Ceased WO2014132402A1 (ja) 2013-02-28 2013-02-28 データ処理装置および物語モデル構築方法

Country Status (4)

Country Link
US (1) US9904677B2 (ja)
JP (1) JP5945062B2 (ja)
CN (1) CN105264518B (ja)
WO (1) WO2014132402A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399126A (zh) * 2019-07-31 2019-11-01 北京百度网讯科技有限公司 用于生成脚本的方法和装置
JP2020064630A (ja) * 2019-10-11 2020-04-23 株式会社野村総合研究所 文章記号挿入装置及びその方法
JP2020064370A (ja) * 2018-10-15 2020-04-23 株式会社野村総合研究所 文章記号挿入装置及びその方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6074820B2 (ja) * 2015-01-23 2017-02-08 国立研究開発法人情報通信研究機構 アノテーション補助装置及びそのためのコンピュータプログラム
JP6551968B2 (ja) * 2015-03-06 2019-07-31 国立研究開発法人情報通信研究機構 含意ペア拡張装置、そのためのコンピュータプログラム、及び質問応答システム
CN105975458B (zh) * 2016-05-03 2018-10-09 安阳师范学院 一种基于细粒度依存关系的中文长句相似度计算方法
CN109643397B (zh) * 2016-09-06 2023-07-21 日本电信电话株式会社 时间序列数据特征量提取装置、时间序列数据特征量提取方法和时间序列数据特征量提取程序
CN110520875B (zh) * 2017-04-27 2023-07-11 日本电信电话株式会社 学习型信号分离方法和学习型信号分离装置
US10652592B2 (en) 2017-07-02 2020-05-12 Comigo Ltd. Named entity disambiguation for providing TV content enrichment
US11625533B2 (en) * 2018-02-28 2023-04-11 Charles Northrup System and method for a thing machine to perform models
JP7120914B2 (ja) * 2018-12-25 2022-08-17 株式会社日立製作所 生産実績データ分析装置
CN111325020B (zh) * 2020-03-20 2023-03-31 北京百度网讯科技有限公司 一种事件论元抽取方法、装置以及电子设备
CN113536784B (zh) * 2021-01-05 2024-08-09 腾讯科技（深圳）有限公司 文本处理方法、装置、计算机设备和存储介质
US20220237838A1 (en) * 2021-01-27 2022-07-28 Nvidia Corporation Image synthesis using one or more neural networks
US12417623B2 (en) * 2021-05-28 2025-09-16 Google Llc Conditional object-centric learning with slot attention for video and other sequential data
CN113312464B (zh) * 2021-05-28 2022-05-31 北京航空航天大学 一种基于对话状态追踪技术的事件抽取方法
CN113792053B (zh) * 2021-09-17 2023-08-01 浙江大学 一种数据故事生成方法
CN114840771B (zh) * 2022-03-04 2023-04-28 北京中科睿鉴科技有限公司 基于新闻环境信息建模的虚假新闻检测方法
EP4318301A1 (en) * 2022-08-05 2024-02-07 Tata Consultancy Services Limited Method and system for automated authoring of purposive models from natural language documents

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250085A (ja) * 1998-03-02 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> 事象推移予測方法および事象推移予測プログラムを記録した記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001264928A1 (en) * 2000-05-25 2001-12-03 Kanisa Inc. System and method for automatically classifying text
JP2002109103A (ja) * 2000-09-29 2002-04-12 Toshiba Corp コンテンツ流通システムおよびコンテンツ流通方法
US6925432B2 (en) * 2000-10-11 2005-08-02 Lucent Technologies Inc. Method and apparatus using discriminative training in natural language call routing and document retrieval
US20040024585A1 (en) * 2002-07-03 2004-02-05 Amit Srivastava Linguistic segmentation of speech
US8200487B2 (en) * 2003-11-21 2012-06-12 Nuance Communications Austria Gmbh Text segmentation and label assignment with user interaction by means of topic specific language models and topic-specific label statistics
US7865352B2 (en) * 2006-06-02 2011-01-04 Microsoft Corporation Generating grammatical elements in natural language sentences
US20080162117A1 (en) * 2006-12-28 2008-07-03 Srinivas Bangalore Discriminative training of models for sequence classification
US8583416B2 (en) * 2007-12-27 2013-11-12 Fluential, Llc Robust information extraction from utterances
US8122066B2 (en) * 2008-10-14 2012-02-21 Hewlett-Packard Development Company, L.P. Database query profiler
JP5536518B2 (ja) 2009-04-23 2014-07-02 インターナショナル・ビジネス・マシーンズ・コーポレーション システムの自然言語仕様から当該システム用のシステム・モデル化メタモデル言語モデルを自動的に抽出するための方法、装置及びコンピュータ・
CN101968785A (zh) * 2009-07-28 2011-02-09 万继华 理解人类自然语言的逻辑机器模型
KR100963885B1 (ko) * 2010-03-30 2010-06-17 한국과학기술정보연구원 Ｒｄｆ 네트워크 기반 연관검색 서비스 시스템 및 방법
US8620836B2 (en) * 2011-01-10 2013-12-31 Accenture Global Services Limited Preprocessing of text
JP5197774B2 (ja) * 2011-01-18 2013-05-15 株式会社東芝 学習装置、判定装置、学習方法、判定方法、学習プログラム及び判定プログラム
CN102110304B (zh) * 2011-03-29 2012-08-22 华南理工大学 一种基于素材引擎的漫画自动生成方法
US8909516B2 (en) * 2011-10-27 2014-12-09 Microsoft Corporation Functionality for normalizing linguistic items
US20130346066A1 (en) * 2012-06-20 2013-12-26 Microsoft Corporation Joint Decoding of Words and Tags for Conversational Understanding
CN104169909B (zh) * 2012-06-25 2016-10-05 株式会社东芝 上下文解析装置及上下文解析方法
US8856642B1 (en) * 2013-07-22 2014-10-07 Recommind, Inc. Information extraction and annotation systems and methods for documents

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250085A (ja) * 1998-03-02 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> 事象推移予測方法および事象推移予測プログラムを記録した記録媒体

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NATHANAEL CHAMBERS ET AL.: "Unsupervised Learning of Narrative Event Chains", PROCEEDINGS OF ACL/HLT 2008, 2008, pages 1 - 9, Retrieved from the Internet <URL:http://www.usna.edu/Users/cs/nchamber/pubs/ac108-narrative-chains.pdf> [retrieved on 20130326] *
NATHANAEL CHAMBERS ET AL.: "Unsupervised Learning of Narrative Schemas and their Participants", PROCEEDINGS OF ACL-IJCNLP 2009, 2009, pages 1 - 9, Retrieved from the Internet <URL:http://www.stanford.edu/~jurafsky/ac109-narrative-schema.pdf> [retrieved on 20130326] *
YUTA HAYASHIBE ET AL.: "Improving Japanese Inter-sentential Predicate Argument Structure Analysis with Contextual Information and Similarity between Case Structures", IPSJ SIG NOTES, vol. 2011 - N, no. 10, 15 June 2011 (2011-06-15), pages 1 - 8 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064370A (ja) * 2018-10-15 2020-04-23 株式会社野村総合研究所 文章記号挿入装置及びその方法
CN110399126A (zh) * 2019-07-31 2019-11-01 北京百度网讯科技有限公司 用于生成脚本的方法和装置
JP2020064630A (ja) * 2019-10-11 2020-04-23 株式会社野村総合研究所 文章記号挿入装置及びその方法
JP7229144B2 (ja) 2019-10-11 2023-02-27 株式会社野村総合研究所 文章記号挿入装置及びその方法

Also Published As

Publication number Publication date
CN105264518B (zh) 2017-12-01
US9904677B2 (en) 2018-02-27
US20160012040A1 (en) 2016-01-14
JP5945062B2 (ja) 2016-07-05
JPWO2014132402A1 (ja) 2017-02-02
CN105264518A (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
JP5945062B2 (ja) データ処理装置および物語モデル構築方法
Belinkov et al. Arabic diacritization with recurrent neural networks
CN109933780B (zh) 使用深度学习技术确定文档中的上下文阅读顺序
Ghosh et al. Fracking sarcasm using neural network
Wadud et al. Word embedding methods for word representation in deep learning for natural language processing
Chandrasekaran et al. Deep learning and TextBlob based sentiment analysis for coronavirus (COVID-19) using twitter data
JP5389273B1 (ja) 文脈解析装置および文脈解析方法
Bitvai et al. Non-linear text regression with a deep convolutional neural network
Spangher et al. Newsedits: A news article revision dataset and a novel document-level reasoning challenge
Moores et al. A survey on automated sarcasm detection on Twitter
CN116432646A (zh) 预训练语言模型的训练方法、实体信息识别方法及装置
Kumaragurubaran et al. Sentimental Analysis for Social Media Platform Based on Trend Analysis
Gupta et al. Multi-class railway complaints categorization using Neural Networks: RailNeural
Lima et al. A novel data and model centric artificial intelligence based approach in developing high-performance named entity recognition for bengali language
CN111159405B (zh) 基于背景知识的讽刺检测方法
Anam et al. A deep learning approach for Named Entity Recognition in Urdu language
Salsabiila et al. Comparison of fasttext and word2vec weighting techniques for classification of multiclass emotions using the conv-LSTM method
Suman et al. Astartwice at semeval-2021 task 5: Toxic span detection using roberta-crf, domain specific pre-training and self-training
CN115827884A (zh) 文本处理方法、装置、电子设备、介质及程序产品
Oudah et al. Person name recognition using the hybrid approach
US11599580B2 (en) Method and system to extract domain concepts to create domain dictionaries and ontologies
KR102422844B1 (ko) 인공지능에 기반하여 영상 컨텐츠의 언어 위기를 관리하는 방법
Prom et al. A bilstm-based sentiment analysis scheme for khmer nlp in time-series data
Yutika et al. Aspect Extraction on Indonesia Beauty Product Review Using Pre-Trained Language Model
CN116910237A (zh) 文本处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380073967.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13876233

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015502663

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13876233

Country of ref document: EP

Kind code of ref document: A1