WO2021095571A1 - 学習効果推定装置、学習効果推定方法、プログラム - Google Patents

学習効果推定装置、学習効果推定方法、プログラム Download PDF

Info

Publication number
WO2021095571A1
WO2021095571A1 PCT/JP2020/040868 JP2020040868W WO2021095571A1 WO 2021095571 A1 WO2021095571 A1 WO 2021095571A1 JP 2020040868 W JP2020040868 W JP 2020040868W WO 2021095571 A1 WO2021095571 A1 WO 2021095571A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
category
correct answer
answer probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/040868
Other languages
English (en)
French (fr)
Inventor
渡辺　淳
倫也 上田
敏之 桜井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Z Kai Inc
Original Assignee
Z Kai Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019203782A external-priority patent/JP6832410B1/ja
Priority claimed from JP2020006241A external-priority patent/JP6903177B1/ja
Application filed by Z Kai Inc filed Critical Z Kai Inc
Priority to CN202080077903.3A priority Critical patent/CN114730529A/zh
Priority to US17/773,618 priority patent/US20220398496A1/en
Priority to KR1020227015036A priority patent/KR102635769B1/ko
Priority to EP20886887.7A priority patent/EP4060645A4/en
Publication of WO2021095571A1 publication Critical patent/WO2021095571A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching program in response to a wrong answer, e.g. repeating the question or supplying a further explanation

Definitions

  • the present invention relates to a learning effect estimation device for estimating a user's learning effect, a learning effect estimation method, and a program.
  • Patent Document 1 An online learning system (Patent Document 1) that can automatically form a learning plan based on the measurement of academic ability effect and perform the learning online is known.
  • the online learning system of Patent Document 1 includes a plurality of learner terminals connected to an online learning server via the Internet.
  • the online learning server provides the request terminal with problems for measuring the learning effect of the subject requested in response to the request from each learner terminal as a problem divided into multiple measurement items and units of the measurement field for each item. To do.
  • the server scores the answer for each measurement field in the measurement item, and also measures each measurement item and all measurements in each item. For each field, the scoring result is converted into a multi-level evaluation value and the evaluation value is presented to the learner terminal. Based on this evaluation value, the server presents to the learner terminal the content of each field to be learned and the time to be learned in the learning text of the subject provided by the online learning server for each measurement field in each measurement item. ..
  • the online learning system of Patent Document 1 it is possible to present the degree of achievement of the user to the learner terminal as an evaluation value for a plurality of measurement fields in a plurality of measurement items in which the entire range of the subjects taken from the server is divided. .. Further, based on the evaluation value, the unit content to be learned on the text provided from the online learning server to the terminal for each measurement field and the time required for the unit content can be presented to the learner terminal.
  • Patent Document 1 only replaces the scoring results of the questions given for measuring the learning effect with evaluation values, and does not reflect various aspects of the mechanism by which humans understand things.
  • the present invention provides a learning effect estimation device that can estimate the learning effect of the user by reflecting various aspects of the mechanism by which humans understand things.
  • the learning effect estimation device of the present invention includes a model storage unit, a correct answer probability generation unit, a correct answer probability database, and a comprehension reliability generation unit.
  • the model storage unit inputs learning data, which is the learning result data of the user to which the category according to the learning purpose is assigned, and stores the model that generates the correct answer probability for each category of the user based on the learning data.
  • the correct answer probability generation unit inputs learning data into the model and generates correct answer probabilities for each category.
  • the correct answer probability database accumulates time series data of correct answer probabilities for each user.
  • the comprehension reliability generation unit acquires range data, which is data that specifies a range of categories for estimating the learning effect of a predetermined user, and understands the comprehension level based on the correct answer probability in the range data of the predetermined user. The reliability that becomes smaller as the fluctuation of the time series data of the degree becomes larger is generated, and is output in association with the category.
  • the learning effect of the user can be estimated by reflecting various aspects of the mechanism by which humans understand things.
  • FIG. The flowchart which shows the operation of the learning effect estimation apparatus of Example 1.
  • the figure explaining the type of training data The figure which shows the example of the correlation of a category.
  • the figure which shows the example which the correct answer probability of a correlated category fluctuates at the same time.
  • the figure which shows the example of the precedent succession relation of a category The figure which shows the example of the category specified in the training data (content).
  • An example of time-series data of correct answer probability (understanding) is shown, FIG. 8A shows an example in which the fluctuation is large, and FIGS. 8B and 8C show an example in which the fluctuation is small.
  • the figure explaining the example of the case classification based on the degree of understanding and the degree of reliability The figure which shows the ideal training data and the example of the actual training data. The figure which shows the example which saturates at the value p where the correct answer probability is lower than 1. The figure which shows the example of the correction training data generated by inserting dummy data. The figure which shows the example of the training data which reflected the period when the problem was not solved. The figure which shows the functional structure example of a computer.
  • the learning effect estimation device 1 of this embodiment includes a learning data acquisition unit 11, a correct answer probability generation unit 12, a model storage unit 12A, a correct answer probability database 12B, and a range data acquisition unit 13. ,
  • the comprehension reliability generation unit 14 and the recommendation generation unit 15 are included.
  • the recommendation generation unit 15 is not an indispensable constituent requirement and may be omitted in some cases.
  • the learning data acquisition unit 11 acquires the learning data (S11).
  • the learning data is data on the learning result and learning situation when the user learns the content, and the content and the learning data are preliminarily assigned to categories according to the learning purpose (hereinafter, simply referred to as categories).
  • the content may be provided with two types, curriculum and adaptive.
  • the curriculum can include, for example, scenarios, exercises, and so on.
  • Adaptive can include, for example, exercises.
  • a scenario is a type of content (teaching material) that acquires knowledge in a format other than problem exercises, such as reading, listening, referring to figures, and watching videos.
  • the learning data of the scenario is typically data (flag) indicating the learning result such as the completion of reading, listening, and browsing of the scenario, and data indicating the learning status such as the date and time and place where the learning was performed.
  • the number and frequency of reading comprehension, listening, and browsing of the scenario may be used as the learning data of the scenario.
  • Exercises typically mean basic examples that are inserted between scenarios or after scenarios, asking the degree of understanding of the previous scenario.
  • the learning data of the exercise is typically data showing the learning result such as the implementation of the exercise, the number of executions, the frequency, the correctness, the correct answer rate, the score, and the content of the incorrect answer, and the date and time and place where the learning was performed. It is data showing the learning situation.
  • Exercises typically mean a group of questions that are given in a test format.
  • the learning data of the exercise is typically data showing the learning result such as the implementation of the exercise, the number of times of the exercise, the frequency, the correctness, the correct answer rate, the score, the content of the incorrect answer, and the date and time when the learning was performed. It is data showing the learning situation such as the place.
  • the grade data of the mock exam may be used as the learning data of the exercise.
  • the category indicates a learning purpose in which the learning content of the user is subdivided and defined.
  • “can solve linear equations” may be defined as category 01
  • “can solve simultaneous equations” may be defined as category 02
  • so on the above can be further subdivided into, for example, "a linear equation can be solved using a transposition”, “a linear equation with parentheses can be solved”, and "a linear equation including fractions and decimals in coefficients”. You may define a category such as "can solve”.
  • the correct answer probabilities (or comprehension) of the two categories may be closely related in some cases. For example, when the correct answer probability (or comprehension) for the basic properties of trigonometric functions sin ⁇ and cos ⁇ is high, the correct answer probability (or comprehension) for the basic properties of the same trigonometric function tan ⁇ is high. Although there is a tendency, it can be said that these are closely related.
  • FIG. 4 shows an example of category correlation. In the example of the figure, category 01 is strongly correlated with category 02 and category 03. Also, although not as much as categories 02 and 03, category 04 is weakly correlated with category 01. Further, category 05 is uncorrelated with category 01.
  • the probability of correct answer (or the degree of comprehension) of category 01 naturally changes according to the learning result.
  • the correct answer probability (or the degree of understanding) of the categories 02, 03, 04 also depends on the learning result of the category 01. fluctuate.
  • the correct answer probability (or comprehension level) of category 05 which is uncorrelated with category 01, does not change.
  • Preceding and succeeding relationships may be defined between categories.
  • the predecessor-successor relationship is a parameter that defines the recommended learning order of the category. More specifically, the preceding-successor relationship is a weighting parameter defined so that when a certain category is learned in advance, the learning effect of the category to be learned subsequently becomes high. For example, in the above example, when the category "basic properties of sin ⁇ and cos ⁇ " is pre-learned, if the category "basic properties of tan ⁇ " is selected as the subsequent category, the learning effect is expected to be high.
  • the relation between the categories may be defined as a continuous value representing the relation of all learning including the order.
  • At least one category is assigned to each content. Two or more categories may be assigned to the content.
  • the content _0101 is assigned categories 01 and 02
  • the content _0102 is assigned category 01
  • the content _0201 is assigned categories 02, 03, 04, respectively.
  • the model storage unit 12A stores a model (DKT model) that takes learning data as an input and generates a correct answer probability for each category of the user based on the learning data.
  • DKT model model that takes learning data as an input and generates a correct answer probability for each category of the user based on the learning data.
  • DKT is an abbreviation for Deep Knowledge Tracing.
  • Deep Knowledge Tracing is a technology that uses a neural network (Deep Learning) to model the mechanism by which learners (users) acquire knowledge.
  • the DKT model is optimized by supervised learning using a large amount of training data collected.
  • the training data includes a set of a vector and a label, but in the case of the DKT model of this embodiment, for example, correct / incorrect information of exercises and mock exam questions in the corresponding category is used as the learning data used for the vector and the label. be able to. Since the correlation between categories is learned by the DKT model, the correct answer probability of all categories of the subject is estimated even if only the learning data of some categories of the subject in the DKT model is input. Is output.
  • the correct answer probability generation unit 12 inputs the learning data into the DKT model and generates the correct answer probability for each category (S12).
  • the correct answer probability database 12B accumulates the time series data of the correct answer probability generated in step S12 for each user and each category.
  • 8A, 8B, and 8C show examples of time-series data of correct answer probability (understanding).
  • FIG. 8A shows an example in which the fluctuation is large.
  • the horizontal axis of the graph may be the number of questions (denoted as a question) or the number of days (denoted as DAY).
  • the vertical axis of the graph is the correct answer probability (or the degree of comprehension described later).
  • the correct answer probability gradually increases, and from Q3 or DAY3. This corresponds to the case where the correct answer probability gradually increases by working on adaptive learning and sequentially inputting the learning data into the DKT model.
  • the range data acquisition unit 13 acquires range data, which is data for designating a range of categories for estimating the learning effect of a predetermined user (S13). For example, when a predetermined user wants to estimate the learning effect of the question range of the mid-term and final exams of the school, the user reads the question range specified in the mid-term and final exams into categories, and all the read categories are range data. Specify (input) as. In addition, when a predetermined user wants to estimate the learning effect of mathematics for high school examination, the user specifies (inputs) all the categories of mathematics to be learned from the first grade to the third grade of junior high school as range data.
  • a predetermined user inputs data such as the number of pages of a textbook and a unit name into the range data acquisition unit 13, and the range data acquisition unit 13 reads these data into categories and reads the range data. You may get it.
  • the comprehension reliability generation unit 14 acquires the range data in step S13, and the comprehension level based on the correct answer probability (for example, the latest data) in the range data of a predetermined user and the time series data of the comprehension level fluctuate greatly.
  • a reliability that is a small value is generated and output in association with the category (S14).
  • the comprehension reliability generation unit 14 may output the latest correct answer probability of each category in the range data as the comprehension level of each category.
  • the comprehension reliability generation unit 14 may consider that the user does not understand the corresponding category and set the comprehension level to 0 if the correct answer probability is equal to or less than a certain value. Further, for example, if the correct answer probability exceeds a certain value, the comprehension reliability generation unit 14 may use a value corrected by multiplying the correct answer probability by ⁇ and subtracting ⁇ as the comprehension degree.
  • the comprehension reliability generation unit 14 considers fluctuations in the comprehension time-series data, and therefore, when the number of comprehension time-series data is less than a predetermined threshold value, the comprehension reliability is set to a predetermined value (with a small value). It is also possible to set (preferably). In addition, when the comprehension level is low enough to be considered that learning has not started (unlearned) in the corresponding category and related categories, that is, when the comprehension level is less than a preset threshold value (preferably a small value). Can also set the reliability to a predetermined value (preferably a small value) even if the degree of understanding is stable.
  • the degree of understanding may be generated and output based on a definition different from the above. For example, consider the case where a category belongs to any category set and it is defined that each category set has one target category.
  • categories 01, 02, 03 belong to the first category set 5-1 and categories 04, 05 belong to the second category set 5-2, and the first category.
  • the target category of the set 5-1 is category 03
  • the target category of the second category set 5-2 is category 05.
  • multiple units for example, vector and complex number units
  • the categories of each unit are included in each category set, and each category set corresponding to each unit is included.
  • the comprehension reliability generation unit 14 generates the correct answer probability of the target category included in the range data as the comprehension level of the corresponding category set as a whole, and trusts the entire category set based on the comprehension level of the entire category set. It is preferable to generate a degree.
  • the average value of the correct answer probabilities of the two or more target categories may be used as the degree of understanding of the entire category set.
  • the recommendation generation unit 15 belongs to at least one of the cases according to the magnitude relationship between the comprehension level and the predetermined first threshold value and the magnitude relationship between the reliability level and the predetermined second threshold value.
  • the category is generated and output as a recommendation, which is information that is a recommended target for the next learning of a predetermined user (S15).
  • the comprehension level exceeds the first threshold value T 1 and the reliability exceeds the second threshold value T 2 (1)
  • the comprehension level exceeds the first threshold value T 1 .
  • the degree of understanding is 1 or less of the first threshold value T 1 and the degree of reliability is 2 or less of the second threshold value (4).
  • comprehension> T 1 is comprehension ⁇ T 1
  • comprehension ⁇ T 1 is comprehension ⁇ T 1
  • reliability> T 2 is reliability ⁇ T 2
  • reliability ⁇ T 2 is reliability.
  • the same case can be divided by setting degree ⁇ T 2.
  • T 1 the preset level
  • T 2 0.90
  • a high degree of understanding means that the probability of correct answer of the user in the corresponding category is high
  • a high degree of reliability means that the fluctuation of the time series data of the degree of understanding is small as illustrated in FIG. 8B. .. Therefore, it is highly possible that the user has a high degree of proficiency to the extent that he / she can stably obtain a high score in the corresponding category, and it can be judged that the user's learning is sufficient.
  • the user's understanding level in the corresponding category is below the preset level (T 1 ), while the reliability level in the corresponding category exceeds the preset level (T 2). This is the case.
  • the degree of understanding of the relevant category increases to some extent, and if it is more stable, by advancing the learning of the relevant category, the understanding of the relevant category is achieved. It is possible that the degree is stable. In such a case, in order to further improve the understanding level, it is necessary to proceed with the learning of the corresponding category and stably mark a high score.
  • case 4 is a case where the user's understanding level in the corresponding category is below the preset level (T 1 ) and the reliability level in the corresponding category is also below the preset level (T 2). is there.
  • the reliability is set to a predetermined small value.
  • curriculum learning and the like have progressed to some extent, and the score has decreased in the latest adaptive learning, so that the latest comprehension level has greatly decreased, and the time-series data of the comprehension level has fluctuated. It may be large (that is, low reliability).
  • the recommendation generation unit 15 may generate and output a recommendation that is information that is a recommended target for the next learning of the corresponding user in the category corresponding to the case 4. For example, the recommendation generation unit 15 sets a recommendation as a target that most recommends the category corresponding to case 4, a target that secondly recommends the category corresponding to case 3, and a target that recommends the category corresponding to case 2 third. It may be generated and output.
  • the recommendation generation unit 15 may generate recommendations based on various criteria. For example, the recommendation generation unit 15 may generate and output a recommendation as a target that recommends a category whose comprehension level is close to 0.5 in the range data. Further, for example, the recommendation generation unit 15 generates a recommendation as a target for recommending a category having a question that has been answered incorrectly N times in a row (N is an arbitrary integer of 2 or more) in the latest learning data. May be output.
  • the recommendation generation unit 15 learns the succeeding category based on the predetermined preceding / succeeding relationship (see the example of FIG. 6) next time.
  • the degree of understanding of the succeeding category based on the predetermined precedent-successor relationship is less than or equal to the predetermined threshold value and the reliability exceeds the predetermined threshold value (3), the preceding category is recommended for the next learning.
  • a recommendation may be generated and output.
  • the comprehension level and the reliability level of the preceding category 01 correspond to case 1
  • a recommendation is generated with the succeeding category 02 as the recommended target for the next learning, and the subsequent category 02 is generated.
  • the recommendation may be generated and output with the preceding category 01 as the recommended target for the next learning.
  • the recommendation generation unit 15 has a predetermined probability of a plurality of category sets. Generates a flag that specifies the unlearned category set, and generates and outputs a recommendation that is information that is the recommended target for the next learning of a predetermined user for any category in the category set specified by the flag. You may.
  • the recommendation generation unit 15 may generate a recommendation by using a plurality of the above recommendation generation rules in combination.
  • the recommendation generation unit 15 predicts the learning end date from the comprehension and reliability of each category in the range data, determines whether or not the predicted learning end date is in time for the preset deadline, and determines whether or not the predicted learning end date is in time.
  • the determination result may be output as the progress.
  • the change in the comprehension in the future is estimated from the time-series data of the comprehension generated by the comprehension reliability generation unit 14, and the threshold value for which the comprehension is preset is set by the preset deadline. It may be used as an index indicating whether or not it is estimated to exceed the limit.
  • the learning effect estimation device 1 of this embodiment two parameters, comprehension and reliability, are defined based on the correct answer probability generated by using the DKT model using the neural network (Deep Learning). Based on these two parameters, the learning effect of the user can be estimated by reflecting various aspects of the mechanism by which humans understand things.
  • the correct answer probability generation unit 12 may input learning data into the DKT model, generate correct answer probabilities for each category, and output a corrected correct answer probability obtained by adding a predetermined value ⁇ to the generated correct answer probabilities.
  • Good. For example, ⁇ 0.3 may be set.
  • the correct answer probability generation unit 12 may output a corrected correct answer probability obtained by multiplying the generated correct answer probability by a predetermined value ⁇ .
  • ⁇ 1.4 may be set.
  • the comprehension reliability generation unit 14 instead of correcting the probability of correct answer, the degree of comprehension may be corrected.
  • the comprehension reliability generation unit 14 generates a comprehension level based on the correct answer probability in the range data in step S13 and a reliability level based on the comprehension level, and adds a predetermined value ⁇ to the generated comprehension level.
  • the correction comprehension level and the reliability level may be output.
  • the comprehension reliability generation unit 14 may output the comprehension level as a label instead of a numerical value.
  • the comprehension level (see the example in Table 1), which is a label generated based on the range to which the correct answer probability value belongs, and the time-series data fluctuation of the comprehension level (label) are changed. The larger the value, the smaller the reliability, and the reliability is generated and output in association with the category.
  • Dummy data may be inserted into the training data of the DKT model.
  • the correction training data corrected by inserting dummy data (data numbers d1, d2, ..., D6) simulating the state 3 after the state 3 (data numbers 11 and 12) of the training data. May be generated and the DKT model may be trained from the correction training data.
  • the amount of dummy data to be inserted is arbitrary. As a result, since the training data approaches the ideal data shown in FIG. 11, it is possible to prevent the phenomenon that the correct answer probability output by the DKT model is saturated at a predetermined value p ( ⁇ 1).
  • the DKT model may be corrected by providing a correction term in the loss function when learning the DKT model.
  • the loss function L of the DKT model is expressed by the following equation, for example, in the case of a mean square error.
  • n is the number of data
  • y i is the actual value
  • y ⁇ i is the predicted value
  • the loss function L of mean absolute error is expressed by the following formula.
  • the predicted value y ⁇ i is the correct answer probability of the problem 7 output by the DKT model learned based on the above vectors and labels.
  • equation (1a) For example, add a correction term based on the loss function of equation (1) to obtain equation (1a).
  • s t is 1 when t th data is correct, it is 0 and becomes a parameter if it is wrong answer. Therefore, s n-2 s n-1 s n has a value of 1 when the most recent 3 questions (n-2, n-1, nth training data) are continuously answered correctly among the training data with the number of data n, and other than that.
  • p is the correct answer probability generated by the DKT model, and the correction term is the product of these multiplied by -1. Therefore, if the most recent three questions are all correct answers, the correction term is -p, and the loss function L becomes smaller as the correct answer probability p predicted by the model increases.
  • the amendment term is not limited to the term related to the last three questions. For example, it may be a section related to the latest 2 questions or the latest 5 questions. [Learning including the period when the problem is not solved] For example, as shown in FIG. 14, there was no difference in the training data input to the DKT model of Example 1 between the case where the period (-) in which the problem was not solved was inserted and the case where the period (-) was not solved.
  • the training data includes not only correct / incorrect information but also time span information (time span) indicating the time interval from solving the previous problem to solving the problem as a parameter. Can be used as training data to consider the effect of the period (-) on which the problem is not solved on the correct answer probability (for example, the forgetting curve).
  • the device of the present invention is, for example, as a single hardware entity, an acquisition unit to which a keyboard or the like can be connected, an output unit to which a liquid crystal display or the like can be connected, and a communication device (for example, a communication cable) capable of communicating outside the hardware entity.
  • Communication unit to which can be connected CPU (Central Processing Unit, cache memory, registers, etc.), RAM or ROM as memory, external storage device as hard hardware, and acquisition unit, output unit, communication unit of these , CPU, RAM, ROM, and has a connecting bus so that data can be exchanged between external storage devices.
  • a device (drive) or the like capable of reading and writing a recording medium such as a CD-ROM may be provided in the hardware entity.
  • a physical entity equipped with such hardware resources includes a general-purpose computer and the like.
  • the external storage device of the hardware entity stores the program required to realize the above-mentioned functions and the data required for processing this program (not limited to the external storage device, for example, reading a program). It may be stored in a ROM, which is a dedicated storage device). Further, the data obtained by the processing of these programs is appropriately stored in a RAM, an external storage device, or the like.
  • each program stored in the external storage device (or ROM, etc.) and the data necessary for processing each program are read into the memory as needed, and are appropriately interpreted, executed, and processed by the CPU. ..
  • the CPU realizes a predetermined function (each configuration requirement represented by the above, ... Department, ... means, etc.).
  • the present invention is not limited to the above-described embodiment, and can be appropriately modified without departing from the spirit of the present invention. Further, the processes described in the above-described embodiment are not only executed in chronological order according to the order described, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes. ..
  • the processing function in the hardware entity (device of the present invention) described in the above embodiment is realized by a computer
  • the processing content of the function that the hardware entity should have is described by a program.
  • the processing function in the above hardware entity is realized on the computer.
  • the various processes described above can be performed by causing the recording unit 10020 of the computer shown in FIG. 15 to read a program for executing each step of the above method and operating the control unit 10010, the acquisition unit 10030, the output unit 10040, and the like. ..
  • the program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
  • a hard disk device, a flexible disk, a magnetic tape, or the like as a magnetic recording device is used as an optical disk
  • a DVD (Digital Versatile Disc), a DVD-RAM (Random Access Memory), or a CD-ROM (Compact Disc Read Only) is used as an optical disk.
  • Memory CD-R (Recordable) / RW (ReWritable), etc.
  • MO Magnetto-Optical disc
  • magneto-optical recording media EEPROM (Electrically Erasable and Programmable-Read Only Memory), etc. as semiconductor memory Can be used.
  • the distribution of this program is carried out, for example, by selling, transferring, renting, etc., a portable recording medium such as a DVD or CD-ROM on which the program is recorded. Further, the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own recording medium and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be executed sequentially. In addition, the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be.
  • the program in this embodiment includes information to be used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
  • the hardware entity is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized in terms of hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる学習効果推定装置を提供する。学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、モデルに学習データを入力して、カテゴリ毎の正解確率を生成する正解確率生成部と、正解確率の時系列データをユーザ毎に蓄積する正解確率データベースと、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得し、所定のユーザの範囲データ内の正解確率に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する理解度信頼度生成部を含む。

Description

学習効果推定装置、学習効果推定方法、プログラム
　本発明は、ユーザの学習効果を推定する学習効果推定装置、学習効果推定方法、プログラムに関する。
　学力効果測定に基づく学習計画を自動形成しその学習をオンライン上でできるオンライン学習システム（特許文献１）が知られている。
　特許文献１のオンライン学習システムは、オンライン学習サーバとインターネットを介して接続された複数の学習者端末を備える。オンライン学習サーバは、各学習者端末からの要求に応じて要求された科目の学習効果測定のための問題を複数の測定項目と各項目ごとの測定分野の単位に分けた問題で要求端末に提供する。問題を提供された端末から学習者が解答した問題の解答がサーバに送信されると、サーバは、測定項目における全ての測定分野ごとに解答を採点すると共に、各測定項目と各項目における全測定分野ごとに、採点結果を複数段階の評価値に変換して評価値を学習者端末に提示する。サーバは、この評価値に基づいて各測定項目における測定分野ごとにオンライン学習サーバから提供される当該科目の学習テキストにおける学習すべき各分野の内容と学習すべき時間を当該学習者端末に提示する。
　特許文献１のオンライン学習システムによれば、サーバから受験した科目の全範囲を分けた複数の測定項目における複数の測定分野について、ユーザの到達度を評価値で学習者端末に提示することができる。また、評価値に基づいて各測定分野ごとにオンライン学習サーバから端末に提供されるテキスト上で学習すべき単元内容とそれに要する時間とを学習者端末に提示することができる。
特開２０１２－２０８１４３号公報
　特許文献１のオンライン学習システムは、学習効果測定のために出題された問題の採点結果を評価値に置き換えているだけであり、人間が物事を理解するメカニズムの様々な側面を反映できていない。
　そこで本発明では、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる学習効果推定装置を提供する。
　本発明の学習効果推定装置は、モデル記憶部と、正解確率生成部と、正解確率データベースと、理解度信頼度生成部を含む。
　モデル記憶部は、学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成するモデルを記憶する。正解確率生成部は、モデルに学習データを入力して、カテゴリ毎の正解確率を生成する。正解確率データベースは、正解確率の時系列データをユーザ毎に蓄積する。理解度信頼度生成部は、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得し、所定のユーザの範囲データ内の正解確率に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する。
　本発明の学習効果推定装置によれば、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる。
実施例１の学習効果推定装置の構成を示すブロック図。 実施例１の学習効果推定装置の動作を示すフローチャート。 学習データの種類について説明する図。 カテゴリの相関関係の例を示す図。 相関があるカテゴリの正解確率が同時に変動する例を示す図。 カテゴリの先行後続関係の例を示す図。 学習データ（コンテンツ）に指定されるカテゴリの例を示す図。 正解確率（理解度）の時系列データの例を示し、図８Ａは変動が大きい例、図８Ｂ、図８Ｃは変動が少ない例を示す図。 カテゴリ集合と目標カテゴリの例を示す図。 理解度と信頼度に基づく場合分けの例を説明する図。 理想的な訓練データと実際の訓練データの例を示す図。 正解確率が１よりも低い値ｐで飽和する例を示す図。 ダミーデータを挿入して生成した補正訓練データの例を示す図。 問題を解いていない期間を反映した訓練データの例を示す図。 コンピュータの機能構成例を示す図。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　以下、図１を参照して実施例１の学習効果推定装置の構成を説明する。同図に示すように、本実施例の学習効果推定装置１は、学習データ取得部１１と、正解確率生成部１２と、モデル記憶部１２Ａと、正解確率データベース１２Ｂと、範囲データ取得部１３と、理解度信頼度生成部１４と、レコメンド生成部１５を含む。なお、同図に破線で示すように、レコメンド生成部１５は必須の構成要件ではなく、場合により割愛してもよい。
　以下、図２以降を参照して、各構成要件の詳細な動作を説明する。
＜学習データ取得部１１＞
　学習データ取得部１１は、学習データを取得する（Ｓ１１）。学習データとは、ユーザがコンテンツを学習したときの学習結果や学習状況のデータであり、コンテンツ、学習データには、学習目的別のカテゴリ（以下、単にカテゴリという）が予め割り振られている。
［コンテンツ、学習データ］
　図３に示すように、コンテンツにはカリキュラム、アダプティブの二つの種別を設けてもよい。カリキュラムには、例えばシナリオ、練習問題などを含むことができる。アダプティブには、例えば演習問題などを含むことができる。
　シナリオとは、読む、聴く、図を参照する、動画を見るなど、問題演習以外の形式によって、知識を習得するタイプのコンテンツ（教材）を示す。シナリオの学習データとは典型的には、シナリオの読了、聴講完了、閲覧完了など学習結果を示すデータ（フラグ）や、学習が行われた日時、場所など学習状況を示すデータである。これ以外にもシナリオの読解、聴講、閲覧の回数や頻度をシナリオの学習データとしてもよい。
　練習問題とは、典型的には、シナリオとシナリオの間に挿入され、あるいはシナリオの後ろに挿入され、直前のシナリオの理解度を問う基本的な例題などを意味している。練習問題の学習データとは典型的には、練習問題の実施、実施の回数、頻度、正誤、正答率、得点、誤答の内容など学習結果を示すデータや、学習が行われた日時、場所など学習状況を示すデータである。
　演習問題とは、典型的には、テスト形式で出題される問題群のことなどを意味している。演習問題の学習データとは、典型的には、演習問題の実施、実施の回数、頻度、正誤、正答率、得点、誤答の内容など学習結果を示すデータや、学習が行われた日時、場所など学習状況を示すデータである。また、模試の成績データを演習問題の学習データとして用いてもよい。
［カテゴリ］
　カテゴリとは、ユーザの学習内容を細分化して定義した学習目的を示す。例えば「１次方程式を解くことができる」をカテゴリ０１、「連立方程式を解くことができる」をカテゴリ０２、などと定義してもよい。また、上記をもっと細分化して、例えば「移項を用いて１次方程式を解くことができる」、「括弧のある１次方程式を解くことができる」、「係数に分数・小数を含む１次方程式を解くことができる」といったカテゴリを定義してもよい。
　二つのカテゴリの正解確率（または理解度）は場合により密接な関連性を有する場合がある。例えば、三角関数のｓｉｎθ，ｃｏｓθの基本的な性質についての正解確率（または理解度）が高い場合に、同じ三角関数であるｔａｎθの基本的な性質についての正解確率（または理解度）が高くなる傾向があるといえ、これらは密接な関連性を有するといえる。図４にカテゴリの相関関係の例を示す。同図の例では、カテゴリ０１は、カテゴリ０２およびカテゴリ０３に強く相関している。また、カテゴリ０２、０３ほどではないものの、カテゴリ０４は、カテゴリ０１と弱く相関している。また、カテゴリ０５は、カテゴリ０１とは無相関である。例えばユーザがカテゴリ０１を学習中の場合、当然のことながら学習結果に応じて、カテゴリ０１の正解確率（または理解度）は変動する。このとき、カテゴリ０２，０３，０４が未学習であったとしても、カテゴリ０１と相関があるため、カテゴリ０１の学習結果に応じて、カテゴリ０２，０３，０４の正解確率（または理解度）も変動する。このとき、カテゴリ０１とは無相関なカテゴリ０５の正解確率（または理解度）は変動しない。
　例えば、図５に例示するように、カテゴリ０１を学習したことにより、カテゴリ０１の正解確率が0.20上昇した場合に、カテゴリ０１と強く相関するカテゴリ０２，０３の正解確率は0.10上昇し、カテゴリ０１と弱く相関するカテゴリ０４の正解確率は0.05上昇するといったケースが考えられる。
［カテゴリの先行後続関係］
　カテゴリ間に先行後続関係を定義してもよい。先行後続関係とはカテゴリの推奨学習順序を定義するパラメータである。より詳細には、先行後続関係とは、あるカテゴリを先行して学習した場合に、後続して学習するカテゴリの学習効果が高くなるように定めた重み付けパラメータである。例えば上述の例において、カテゴリ「sinθ,cosθの基本的な性質」を先行学習した場合、後続するカテゴリとして、カテゴリ「tanθの基本的な性質」を選択すれば、学習効果が高くなると見込まれる。
　例えば図６の例では、カテゴリ０１が先行する場合に、後続するカテゴリとして、重み付けパラメータ＝０．８を有するカテゴリ０２を選択すれば、学習効果が高くなると見込まれる。同様に、カテゴリ０２が先行する場合に、後続するカテゴリとして、重み付けパラメータ＝０．８を有するカテゴリ０３を選択すれば、学習効果が高くなると見込まれる。なお、図６において、すべてのカテゴリにおいて、順序も含めたすべての学習の関係性を表す連続値として、カテゴリ間の関係性を定義してもよい。
［コンテンツに指定されるカテゴリの数］
　各コンテンツには、少なくとも一つのカテゴリが付与される。コンテンツに２以上のカテゴリを付与してもよい。図７の例では、コンテンツ＿０１０１にカテゴリ０１，０２が、コンテンツ＿０１０２にカテゴリ０１が、コンテンツ＿０２０１にカテゴリ０２，０３，０４が、それぞれ付与されている。
＜モデル記憶部１２Ａ＞
　モデル記憶部１２Ａは、学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成するモデル（ＤＫＴモデル）を記憶する。
［ＤＫＴモデル］
　ＤＫＴとは、Deep Knowledge Tracingの略である。Deep Knowledge Tracingとは、学習者（ユーザ）が知識を獲得していくメカニズムをニューラル・ネットワーク（Deep Learning）を用いてモデル化する技術である。
　ＤＫＴモデルは、大量に収集した訓練データを用いて、教師あり学習により最適化される。一般的に訓練データは、ベクトルとラベルの組を備えるが、本実施例のＤＫＴモデルの場合、例えばベクトル、ラベルに用いる学習データとして対応するカテゴリにおける演習問題や模試の問題の正誤情報などを用いることができる。ＤＫＴモデルによりカテゴリ間の相関関係は学習されるため、ＤＫＴモデルにある教科の一部のカテゴリの学習データのみを入力とした場合であっても、当該教科の全てのカテゴリの正解確率が推定されて出力される。
＜正解確率生成部１２＞
　正解確率生成部１２は、ＤＫＴモデルに学習データを入力して、カテゴリ毎の正解確率を生成する（Ｓ１２）。
＜正解確率データベース１２Ｂ＞
　正解確率データベース１２Ｂは、ステップＳ１２で生成した正解確率の時系列データをユーザ毎、カテゴリ毎に蓄積する。図８Ａ、図８Ｂ、図８Ｃに正解確率（理解度）の時系列データの例を示す。図８Ａは、変動が大きい例を示す。グラフの横軸は、問題数（問と表記する）でもよいし、日数（ＤＡＹと表記する）でもよい。グラフの縦軸は正解確率（または後述する理解度）である。図８Ａは例えば、問４、またはＤＡＹ４までカリキュラムの学習に取り組み、問４、またはＤＡＹ４までの学習データを逐次ＤＫＴモデルに入力することにより、正解確率が一時的に上昇したものの、問５、またはＤＡＹ５からアダプティブの学習を開始した結果、演習問題の正答率が芳しくなく、問５、またはＤＡＹ５以降の学習データを逐次ＤＫＴモデルに入力することにより、正解確率が一時的に下降したケースなどに該当する。図８Ｂは例えば、問１～問８、またはＤＡＹ１～ＤＡＹ８まで継続して、アダプティブの学習に取り組んでおり、逐次学習データをＤＫＴモデルに入力することにより、正解確率が僅かずつ上昇したケースなどが該当する。図８Ｃは例えば、問２、またはＤＡＹ２までカリキュラムの学習に取り組み、問２、またはＤＡＹ２までの学習データを逐次ＤＫＴモデルに入力することにより、正解確率がゆるやかに上昇し、問３、またはＤＡＹ３からアダプティブの学習に取り組み、学習データを逐次ＤＫＴモデルに入力することにより、正解確率がゆるやかに上昇したケースなどが該当する。
＜範囲データ取得部１３＞
　範囲データ取得部１３は、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得する（Ｓ１３）。例えば、所定のユーザが学校の中間、期末テストの出題範囲の学習効果を推定したい場合、当該ユーザは、中間、期末テストで指定されている出題範囲をカテゴリに読み替え、読み替えたカテゴリ全てを範囲データとして指定（入力）する。また、所定のユーザが高校受験の数学に関し学習効果を推定したい場合、当該ユーザは、中学１年生～中学３年生までに学習する数学のカテゴリ全てを範囲データとして指定（入力）する。
　範囲データの取得に関しては、所定のユーザが教科書のページ数や単元名などのデータを範囲データ取得部１３に入力し、範囲データ取得部１３が、これらのデータをカテゴリに読み替えて、範囲データを取得してもよい。
＜理解度信頼度生成部１４＞
　理解度信頼度生成部１４は、ステップＳ１３における範囲データを取得し、所定のユーザの範囲データ内の正解確率（例えば直近のデータ）に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する（Ｓ１４）。例えば、理解度信頼度生成部１４は、範囲データ内の各カテゴリの直近の正解確率を、各カテゴリの理解度として出力してもよい。また例えば、理解度信頼度生成部１４は、正解確率が一定値以下であるならば、そのユーザは該当カテゴリを理解していないとみなして、理解度を０としてもよい。また例えば、理解度信頼度生成部１４は、正解確率が一定値を超えていれば、正解確率をα倍してβを差し引いて補正した値を、理解度としてもよい。
　理解度信頼度生成部１４は、理解度の時系列データの変動を考慮するため、理解度の時系列データのデータ数が所定の閾値未満である場合に、信頼度を所定値（小さな値とするのが望ましい）と設定することもできる。また、該当カテゴリおよび関連するカテゴリにおいて学習が始まっていない（未学習）と考えられるほど理解度が低い場合、すなわち理解度が予め設定した閾値（小さな値とするのが望ましい）未満である場合には、理解度が安定していたとしても、信頼度を所定値（小さな値とするのが望ましい）と設定することもできる。
　理解度を上記と異なる定義に基づいて生成、出力してもよい。例えば、カテゴリが何れかのカテゴリ集合に属しており、カテゴリ集合のそれぞれに目標カテゴリが１つずつ存在するものと定義した場合について考える。
　例えば、図９に示すように、カテゴリ０１，０２，０３が第１カテゴリ集合５－１に属しており、カテゴリ０４，０５が第２カテゴリ集合５－２に属しているものとし、第１カテゴリ集合５－１の目標カテゴリをカテゴリ０３とし、第２カテゴリ集合５－２の目標カテゴリをカテゴリ０５とする。例えば、定期試験の試験範囲において、複数の単元（例えば、ベクトルと複素数の単元）が出題範囲とされている場合、各単元のカテゴリを各カテゴリ集合に含め、各単元に対応する各カテゴリ集合に対して、目標カテゴリを設定すれば好適である。
　この場合、理解度信頼度生成部１４は、範囲データ内に含まれる目標カテゴリの正解確率を対応するカテゴリ集合全体の理解度として生成し、カテゴリ集合全体の理解度に基づいてカテゴリ集合全体の信頼度を生成すれば好適である。
　また、目標カテゴリは１つのカテゴリ集合に２つ以上存在してもよく、その場合は、２つ以上存在する目標カテゴリの正解確率の平均値などをカテゴリ集合全体の理解度としてもよい。
＜レコメンド生成部１５＞
　レコメンド生成部１５は、理解度と所定の第１の閾値との大小関係、および信頼度と所定の第２の閾値との大小関係に応じた場合分けのうち、少なくとも何れかの場合分けに属するカテゴリを、所定のユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力する（Ｓ１５）。
　例えば図１０に示すように、理解度が第１の閾値Ｔ１を超えており、信頼度が第２の閾値Ｔ２を超えている場合（１）、理解度が第１の閾値Ｔ１を超えており、信頼度が第２の閾値Ｔ２以下である場合（２）、理解度が第１の閾値Ｔ１以下であり、信頼度が第２の閾値Ｔ２を超えている場合（３）、理解度が第１の閾値Ｔ１以下であり、信頼度が第２の閾値Ｔ２以下である場合（４）、の４パターンに場合分けすれば好適である。なお、同図において、理解度＞Ｔ１を理解度≧Ｔ１、理解度≦Ｔ１を理解度＜Ｔ１とし、信頼度＞Ｔ２を信頼度≧Ｔ２、信頼度≦Ｔ２を信頼度＜Ｔ２としても同様の場合分けができる。
　同図の例における場合１は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１、たとえばＴ１＝０．９０）を超えており、該当カテゴリにおける信頼度も予め設定した水準（Ｔ２、たとえばＴ２＝０．９０）を超えている場合である。理解度が高いことは、該当カテゴリにおけるユーザーの正解確率が高いことを意味し、信頼度が高いことは、図８Ｂに例示したように、理解度の時系列データの変動が小さいことを意味する。従って、ユーザが該当カテゴリにおいて安定して高得点を取ることができる程度に習熟度が高く、ユーザの学習が十分であると判断できる可能性が高い。
　同図の例における場合２は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１）を超えているものの、該当カテゴリにおける信頼度が予め設定した水準（Ｔ２）以下となっている場合である。典型的には、該当カテゴリにおける直近の学習データで高い正解確率をマークしたものの、該当カテゴリにおける過去の理解度の時系列データをみれば、正解確率が低い時期があり、変動が大きい場合などが考えられる。
　同図の例における場合３は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１）以下となっている一方、該当カテゴリにおける信頼度が予め設定した水準（Ｔ２）を超えている場合である。典型的には、該当カテゴリに関連する別のカテゴリの学習を進めることにより、該当カテゴリの理解度がある程度上昇し、さらに安定している場合、該当カテゴリの学習を進めることにより、該当カテゴリの理解度が安定している場合などが考えられる。このような場合に、さらに理解度をあげるためには、該当カテゴリの学習を進め、安定して高得点をマークする必要がある。
　同図の例における場合４は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１）以下であって、該当カテゴリにおける信頼度もまた予め設定した水準（Ｔ２）以下となる場合である。典型的には、該当カテゴリおよび関連するカテゴリにおいて学習が始まっていない（未学習）と考えられるほど理解度が低い場合に、信頼度を所定の小さな値と設定している場合が考えられる。また、図８Ａに例示したように、カリキュラム学習などがある程度進んでおり、直近のアダプティブ学習において得点が低くなったことにより、直近の理解度が大きく低下し、理解度の時系列データの変動が大きい（すなわち、信頼度が低い）場合などが考えられる。
　例えば、レコメンド生成部１５は、場合４に該当するカテゴリを、該当ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力してもよい。レコメンド生成部１５は、例えば場合４に該当するカテゴリを最も推奨するターゲット、場合３に該当するカテゴリを二番目に推奨するターゲット、場合２に該当するカテゴリを三番目に推奨するターゲットとして、レコメンドを生成して出力してもよい。
　上記の例に限らず、レコメンド生成部１５は様々な基準でレコメンドを生成してもよい。例えば、レコメンド生成部１５は、範囲データ内において理解度が０．５に近いカテゴリを推奨するターゲットとして、レコメンドを生成して出力してもよい。また、例えば、レコメンド生成部１５は、直近の学習データにおいてＮ回（Ｎは２以上の任意の整数）連続して誤答となっている設問を有するカテゴリを推奨するターゲットとして、レコメンドを生成して出力してもよい。
　また、レコメンド生成部１５は、先行するカテゴリの理解度および信頼度が所定の閾値を超える場合（１）に、予め定めた先行後続関係（図６の例参照）に基づく後続のカテゴリを次回学習の推奨ターゲットとし、予め定めた先行後続関係に基づく後続のカテゴリの理解度が所定の閾値以下であって、信頼度が所定の閾値を超える場合（３）に、先行するカテゴリを次回学習の推奨ターゲットとして、レコメンドを生成して出力してもよい。
　例えば図９に示したカテゴリ集合において、先行するカテゴリ０１の理解度および信頼度が場合１に該当する場合、後続のカテゴリ０２を次回学習の推奨ターゲットとして、レコメンドを生成し、後続のカテゴリ０２の理解度および信頼度が場合３に該当する場合、先行するカテゴリ０１を次回学習の推奨ターゲットとして、レコメンドを生成して出力してもよい。
　レコメンド生成部１５が、先行後続関係に基づいて動作することにより、先行して学習したカテゴリと内容的にかけ離れたカテゴリを次回学習の推奨ターゲットとすることを防ぐことができる。
　また、例えば、図９に示したように、カテゴリ集合と目標カテゴリが設定されており、範囲データ内に複数のカテゴリ集合が含まれる場合、レコメンド生成部１５は、所定の確率で複数のカテゴリ集合のうちの未学習のカテゴリ集合を指定するフラグを発生させ、フラグが指定するカテゴリ集合内の何れかのカテゴリを、所定のユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力してもよい。
　レコメンド生成部１５は、上記のレコメンド生成規則を複数組み合わせて使用することにより、レコメンドを生成してもよい。
　また、レコメンド生成部１５は、範囲データ内の各カテゴリの理解度、信頼度から、学習終了日を予測し、予測された学習終了日が予め設定された期限に間に合うか否かを判定し、判定結果を進捗度として出力してもよい。進捗度は、たとえば、理解度信頼度生成部１４が生成した理解度の時系列データから未来における理解度の変化を推定し、あらかじめ設定された期限までに、理解度があらかじめ設定された閾値を超えると推定されるか否かを表す指標としてもよい。
　本実施例の学習効果推定装置１によれば、ニューラル・ネットワーク(Deep Learning)を用いたＤＫＴモデルを使用することにより生成した正解確率に基づいて、理解度と信頼度という二つのパラメータを定義したため、当該二つのパラメータに基づいて、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる。
［ＤＫＴモデルが出力する正解確率の飽和］
　練習問題、演習問題の正誤情報を訓練データのベクトル、ラベルとして用いる場合、学習されるＤＫＴモデルに偏りが生じる可能性がある。例えば、図１１に示すように、あるカテゴリに関する学習が、状態１（当該カテゴリについての理解が不十分な状態）、状態２（当該カテゴリについて理解する過程で試行錯誤している状態）、状態３（当該カテゴリについて十分に理解した状態）のように、区分できると仮定した場合に、図１１の「理想的なデータ」の表に示すように、状態３のデータを多く取得して訓練データとして用いることがＤＫＴモデルの学習には理想的と言える。しかし、実際には同図の「実際のデータ」の表に示すように、状態３のデータはわずかしか得られない場合が多い。
　これは、ユーザがあるカテゴリを学習する際、当該カテゴリについて理解が深まったと「手ごたえ」を得るタイミングが、状態３に入って間もなくである場合が多いためと考えられる。この場合、ユーザは、状態３における問題演習を繰り返さずに、他のカテゴリの学習に移ってしまう可能性が高く、訓練データとして得られるデータは、同図の「実際のデータ」の表に表すように、状態３を僅かしか含まない。
　このような訓練データに基づいて、ＤＫＴモデルの学習を行うと、図１２に示すように、あるカテゴリの学習データとして、当該カテゴリの練習問題、演習問題に正答したデータを大量に入力しても、当該ユーザの該当カテゴリにおける正解確率が１に近づかずに、所定の値ｐ（＜１）で飽和してしまう現象が生じる。例えばｐ≒０．７程度である。この課題に対処することを目的として、以下に三つの方法を開示する。
≪方法１：正解確率、理解度の補正≫
　例えば、正解確率生成部１２は、ＤＫＴモデルに学習データを入力して、カテゴリ毎の正解確率を生成し、生成した正解確率に所定の値αを加算してなる補正正解確率を出力してもよい。例えばα＝０．３と設定してもよい。
　また例えば、正解確率生成部１２は、生成した正解確率に所定の値αを乗算してなる補正正解確率を出力してもよい。この場合、例えばα＝１．４と設定してもよい。
　正解確率を補正するのでなく、理解度を補正してもよい。この場合、理解度信頼度生成部１４は、ステップＳ１３における範囲データ内の正解確率に基づく理解度と、理解度に基づく信頼度を生成し、生成した理解度に所定の値βを加算してなる補正理解度と、信頼度を出力してもよい。
　また、理解度信頼度生成部１４は、理解度を数値ではなくラベルとして出力してもよい。例えば、理解度信頼度生成部１４は、正解確率の値が属する範囲に基づいて生成されたラベルである理解度（表１の例参照）と、理解度（ラベル）の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する。
Figure JPOXMLDOC01-appb-T000001
≪方法２：ダミーデータの挿入≫
　ＤＫＴモデルの訓練データにダミーデータを挿入してもよい。例えば図１３に示すように、訓練データの状態３（データ番号１１、１２）の後に、状態３を模擬するダミーデータ（データ番号ｄ１，ｄ２，…，ｄ６）を挿入して補正した補正訓練データを生成し、補正訓練データによりＤＫＴモデルを学習してもよい。挿入するダミーデータの量は任意である。これにより、訓練データが図１１に示す理想的なデータに近づくため、ＤＫＴモデルが出力する正解確率が所定の値ｐ（＜１）で飽和してしまう現象を防ぐことが出来る。
≪方法３：損失関数の補正≫
　ＤＫＴモデルを学習する際の、損失関数に補正項を設けることにより、ＤＫＴモデルを補正してもよい。ＤＫＴモデルの損失関数Ｌは、例えば平均二乗誤差の場合は以下の式で表される。
Figure JPOXMLDOC01-appb-M000002
nはデータ数、yiは実値、y^iは予測値である。
　平均絶対誤差の損失関数Ｌは以下の式で表される。
Figure JPOXMLDOC01-appb-M000003
　例えば、ある模試の問題１～７について、問題１～６を訓練データのベクトルとして扱うために、問題１～６の正誤情報が揃うように抽出した複数人のユーザの、問題１～７の正答、誤答が以下のように得られたとする。
Figure JPOXMLDOC01-appb-T000004
　模試の問題１～６の正誤情報をベクトルとし、模試の問題７の正解確率をラベルとした場合、実値yiに相当するのは、ラベルすなわち、問題７の正解確率（=0.6）である。予測値y^iは、上記ベクトル、ラベルに基づいて学習されたＤＫＴモデルが出力する問題７の正解確率である。
　例えば式（１）の損失関数をベースに補正項を追加して、式(1a)とする。
Figure JPOXMLDOC01-appb-M000005
　ここで、stは、t番目のデータが正答である場合に1、誤答である場合に0となるパラメータである。従ってsn-2sn-1snはデータ数nの訓練データのうち、直近の3問（n-2,n-1,n番目の訓練データ）を連続正答すると値1となり、それ以外の場合に0となるパラメータに相当する。pはＤＫＴモデルが生成する正解確率であり、補正項は、これらの積に-1をかけたものである。従って、直近の3問が全て正答であった場合、補正項は-pとなり、モデルが予想する正解確率pが大きくなるほど損失関数Lが小さくなる。このようにして、直近の正答率が高いほど、予測される正解確率pが高くなるようにＤＫＴモデルを補正することが出来る。なお、補正項は直近の3問に関する項に限定されない。例えば直近の2問、あるいは直近の5問に関する項としてもよい。
［問題を解いていない期間を含めた学習］
　例えば図１４に示すように問題を解いていない期間（－）が挿入されている場合と、そうでない場合で、実施例１のＤＫＴモデルに入力される訓練データに違いはなかった。
　すなわち、図１４のデータを訓練データとして用いる場合、「xoooxxxoxooo」が使用され、問題を解いていない期間の長さなどは考慮されなかった。そこで、同図に示すように、訓練データに正誤情報だけでなく、直前の問題を解いてから当該問題を解くまでの時間間隔を表すタイムスパン情報（time span）をパラメータとして持つデータとし、これを訓練データとして用いることで、問題を解いていない期間（－）が正解確率に及ぼす影響（例えば忘却曲線）を考慮することが出来る。
＜補記＞
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な取得部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの取得部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　上述の各種の処理は、図１５に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、取得部１００３０、出力部１００４０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electrically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (24)

  1. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  2. 　請求項１に記載の学習効果推定装置であって、
    　前記理解度と所定の第１の閾値との大小関係、および前記信頼度と所定の第２の閾値との大小関係に応じた場合分けのうち、少なくとも何れかの場合分けに属するカテゴリを、所定の前記ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力するレコメンド生成部を含む
    　学習効果推定装置。
  3. 　請求項１に記載の学習効果推定装置であって、
    　進捗度を生成して出力するレコメンド生成部を含む
    　学習効果推定装置。
  4. 　請求項１に記載の学習効果推定装置であって、
    　前記カテゴリは、少なくとも一つの何れかのカテゴリ集合に属しており、前記カテゴリ集合のそれぞれに目標カテゴリが１つまたは複数存在するものとし、
    　前記理解度信頼度生成部は、
    　前記範囲データ内に含まれる前記目標カテゴリの前記正解確率を対応する前記カテゴリ集合全体の理解度として生成し、前記カテゴリ集合全体の理解度に基づいて前記カテゴリ集合全体の信頼度を生成する
    　学習効果推定装置。
  5. 　請求項１に記載の学習効果推定装置であって、
    　前記範囲データは、
    　前記ユーザが入力した前記カテゴリに基づいて取得されるか、または前記ユーザが入力したデータを前記カテゴリに変換し、変換した前記カテゴリに基づいて取得される
    　学習効果推定装置。
  6. 　請求項２に記載の学習効果推定装置であって、
    　前記レコメンド生成部は、
    　予め定めたカテゴリの推奨学習順序を定義するパラメータである先行後続関係に基づいて、前記レコメンドを生成する
    　学習効果推定装置。
  7. 　請求項３に記載の学習効果推定装置であって、
    　前記範囲データ内に複数の前記カテゴリ集合が含まれる場合に、所定の確率で複数の前記カテゴリ集合のうちの未学習の前記カテゴリ集合を指定し、指定された前記カテゴリ集合内の何れかのカテゴリを、所定の前記ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力するレコメンド生成部を含む
    　学習効果推定装置。
  8. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成し、生成した前記正解確率に所定の値を加算してなる補正正解確率を出力する正解確率生成部と、
    　前記補正正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記補正正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  9. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、生成した前記理解度に所定の値を加算してなる補正理解度と、前記信頼度を前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  10. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率の値が属する範囲に基づいて生成されたラベルである理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  11. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、ユーザが当該カテゴリについて十分に理解した状態を模擬するダミーデータを該当カテゴリの訓練データに挿入して補正した補正訓練データにより学習されたモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  12. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、当該モデルの損失関数に直近の問題を所定数連続正答すると値１となり、それ以外の場合に値０となるパラメータと当該モデルが生成する正解確率との積に－１をかけてなる補正項を加えて学習されたモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  13. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、正誤情報に加え、直前の問題を解いてから当該問題を解くまでの時間間隔を表すタイムスパン情報をパラメータとして持つ訓練データに基づいて学習されたモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  14. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  15. 　請求項１４に記載の学習効果推定方法であって、
    　前記理解度と所定の第１の閾値との大小関係、および前記信頼度と所定の第２の閾値との大小関係に応じた場合分けのうち、少なくとも何れかの場合分けに属するカテゴリを、所定の前記ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力するステップを含む
    　学習効果推定方法。
  16. 　請求項１４に記載の学習効果推定方法であって、
    　前記カテゴリは、少なくとも一つの何れかのカテゴリ集合に属しており、前記カテゴリ集合のそれぞれに目標カテゴリが１つまたは複数存在するものとし、
    　前記範囲データ内に含まれる前記目標カテゴリの前記正解確率を対応する前記カテゴリ集合全体の理解度として生成し、前記カテゴリ集合全体の理解度に基づいて前記カテゴリ集合全体の信頼度を生成する
    　学習効果推定方法。
  17. 　請求項１６に記載の学習効果推定方法であって、
    　前記範囲データ内に複数の前記カテゴリ集合が含まれる場合に、所定の確率で複数の前記カテゴリ集合のうちの未学習の前記カテゴリ集合を指定し、指定された前記カテゴリ集合内の何れかのカテゴリを、所定の前記ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力するステップを含む
    　学習効果推定方法。
  18. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成し、生成した前記正解確率に所定の値を加算してなる補正正解確率を出力するステップと、
    　前記補正正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記補正正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  19. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、生成した前記理解度に所定の値を加算してなる補正理解度と、前記信頼度を前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  20. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率の値が属する範囲に基づいて生成されたラベルである理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  21. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、ユーザが当該カテゴリについて十分に理解した状態を模擬するダミーデータを該当カテゴリの訓練データに挿入して補正した補正訓練データにより学習されたモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  22. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、当該モデルの損失関数に直近の問題を所定数連続正答すると値１となり、それ以外の場合に値０となるパラメータと当該モデルが生成する正解確率との積に－１をかけてなる補正項を加えて学習されたモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  23. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、正誤情報に加え、直前の問題を解いてから当該問題を解くまでの時間間隔を表すタイムスパン情報をパラメータとして持つ訓練データに基づいて学習されたモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  24. 　コンピュータを請求項１から１３の何れかに記載の学習効果推定装置として機能させるプログラム。
PCT/JP2020/040868 2019-11-11 2020-10-30 学習効果推定装置、学習効果推定方法、プログラム Ceased WO2021095571A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080077903.3A CN114730529A (zh) 2019-11-11 2020-10-30 学习效果推定装置、学习效果推定方法以及程序
US17/773,618 US20220398496A1 (en) 2019-11-11 2020-10-30 Learning effect estimation apparatus, learning effect estimation method, and program
KR1020227015036A KR102635769B1 (ko) 2019-11-11 2020-10-30 학습효과 추정 장치, 학습효과 추정 방법, 프로그램
EP20886887.7A EP4060645A4 (en) 2019-11-11 2020-10-30 Learning effect estimation device, learning effect estimation method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019203782A JP6832410B1 (ja) 2019-11-11 2019-11-11 学習効果推定装置、学習効果推定方法、プログラム
JP2019-203782 2019-11-11
JP2020-006241 2020-01-17
JP2020006241A JP6903177B1 (ja) 2020-01-17 2020-01-17 学習効果推定装置、学習効果推定方法、プログラム

Publications (1)

Publication Number Publication Date
WO2021095571A1 true WO2021095571A1 (ja) 2021-05-20

Family

ID=75912320

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040868 Ceased WO2021095571A1 (ja) 2019-11-11 2020-10-30 学習効果推定装置、学習効果推定方法、プログラム

Country Status (5)

Country Link
US (1) US20220398496A1 (ja)
EP (1) EP4060645A4 (ja)
KR (1) KR102635769B1 (ja)
CN (1) CN114730529A (ja)
WO (1) WO2021095571A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946621A (zh) * 2021-11-02 2022-01-18 昆明理工大学 一种基于关联规则的制丝车间数据波动关系的挖掘方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7548308B2 (ja) * 2020-06-30 2024-09-10 日本電気株式会社 学習装置、学習方法およびプログラム
WO2022118689A1 (ja) * 2020-12-01 2022-06-09 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03125179A (ja) * 1989-10-09 1991-05-28 Fujitsu Ltd 学習者理解度診断処理方式
JP2005215023A (ja) * 2004-01-27 2005-08-11 Recruit Management Solutions Co Ltd テスト実施システムおよびテスト実施方法
JP2012208143A (ja) 2011-03-29 2012-10-25 Hideki Aikawa オンライン学習システム
US20180151084A1 (en) * 2016-11-30 2018-05-31 Electronics And Telecommunications Research Institute Apparatus and method for providing personalized adaptive e-learning
JP2018205447A (ja) * 2017-05-31 2018-12-27 富士通株式会社 ユーザの解答に対する自信レベルを推定する情報処理プログラム、情報処理装置及び情報処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352877A (ja) * 2004-06-11 2005-12-22 Mitsubishi Electric Corp ナビゲーションシステムおよびその操作方法理解支援方法
DE102010019191A1 (de) * 2010-05-04 2011-11-10 Volkswagen Ag Verfahren und Vorrichtung zum Betreiben einer Nutzerschnittstelle
JP5565809B2 (ja) * 2010-10-28 2014-08-06 株式会社プラネクサス 学習支援装置、システム、方法、およびプログラム
JP5664978B2 (ja) * 2011-08-22 2015-02-04 日立コンシューマエレクトロニクス株式会社 学習支援システム及び学習支援方法
KR101333129B1 (ko) * 2013-03-08 2013-11-26 충남대학교산학협력단 기초학력 향상도 평가 시스템
TWI547914B (zh) * 2013-10-02 2016-09-01 緯創資通股份有限公司 學習估測方法及其電腦系統
AU2016243058A1 (en) * 2015-04-03 2017-11-09 Kaplan, Inc. System and method for adaptive assessment and training
KR101745874B1 (ko) * 2016-02-29 2017-06-12 고려대학교 산학협력단 학습코스 자동 생성 방법 및 시스템
EP3460780A4 (en) * 2016-05-16 2019-04-24 Z-KAI Inc. LEARNING ASSISTANCE SYSTEM, LEARNING ASSISTANCE METHOD, AND LEARNER TERMINAL
CN106960245A (zh) * 2017-02-24 2017-07-18 中国科学院计算技术研究所 一种基于认知过程链的个体知识评价方法及系统
CN107122452A (zh) * 2017-04-26 2017-09-01 中国科学技术大学 时序化的学生认知诊断方法
US11568325B2 (en) * 2017-05-16 2023-01-31 Sony Interactive Entertainment Inc. Learning apparatus, estimation apparatus, learning method, and program
US10878713B2 (en) * 2017-07-29 2020-12-29 Avaz Inc. Quantitative education system
CN107977708A (zh) * 2017-11-24 2018-05-01 重庆科技学院 面向个性化学习方案推荐的学生dna身份信息定义方法
JP6919594B2 (ja) * 2018-02-23 2021-08-18 日本電信電話株式会社 学習スケジュール生成装置、方法およびプログラム
US20200202226A1 (en) * 2018-12-20 2020-06-25 Fuji Xerox Co., Ltd. System and method for context based deep knowledge tracing
CN109978739A (zh) * 2019-03-22 2019-07-05 上海乂学教育科技有限公司 基于知识点掌握程度的自适应学习方法及计算机系统
CN110110899B (zh) * 2019-04-11 2022-04-05 北京作业盒子科技有限公司 知识掌握度的预测方法、自适应学习方法及电子设备
KR102371927B1 (ko) * 2019-10-17 2022-03-11 (주)유밥 학습 콘텐츠 추천 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03125179A (ja) * 1989-10-09 1991-05-28 Fujitsu Ltd 学習者理解度診断処理方式
JP2005215023A (ja) * 2004-01-27 2005-08-11 Recruit Management Solutions Co Ltd テスト実施システムおよびテスト実施方法
JP2012208143A (ja) 2011-03-29 2012-10-25 Hideki Aikawa オンライン学習システム
US20180151084A1 (en) * 2016-11-30 2018-05-31 Electronics And Telecommunications Research Institute Apparatus and method for providing personalized adaptive e-learning
JP2018205447A (ja) * 2017-05-31 2018-12-27 富士通株式会社 ユーザの解答に対する自信レベルを推定する情報処理プログラム、情報処理装置及び情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4060645A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946621A (zh) * 2021-11-02 2022-01-18 昆明理工大学 一种基于关联规则的制丝车间数据波动关系的挖掘方法

Also Published As

Publication number Publication date
KR102635769B1 (ko) 2024-02-13
EP4060645A1 (en) 2022-09-21
US20220398496A1 (en) 2022-12-15
EP4060645A4 (en) 2023-11-29
CN114730529A (zh) 2022-07-08
KR20220070321A (ko) 2022-05-30

Similar Documents

Publication Publication Date Title
Kalun et al. Surgical simulation training in orthopedics: current insights
CN110941723A (zh) 一种知识图谱的构建方法、系统及存储介质
CN110991195B (zh) 机器翻译模型训练方法、装置及存储介质
WO2014134592A1 (en) System and method for enhanced teaching and learning proficiency assessment and tracking
Gil Short project-based learning with MATLAB applications to support the learning of video-image processing
US20150056597A1 (en) System and method facilitating adaptive learning based on user behavioral profiles
KR102635769B1 (ko) 학습효과 추정 장치, 학습효과 추정 방법, 프로그램
Tariq et al. A reinforcement learning based RecommendationSystem to improve performance of students in outcome based education model
Zakwandi et al. A two-tier computerized adaptive test to measure student computational thinking skills
Çakiroğlu et al. Exploring intrinsic cognitive load in the programming process: a two dimensional approach based on element interactivity
JP6832410B1 (ja) 学習効果推定装置、学習効果推定方法、プログラム
Zheng et al. Cognitive Echo: Enhancing think‐aloud protocols with LLM‐based simulated students
JP6903177B1 (ja) 学習効果推定装置、学習効果推定方法、プログラム
Leitão et al. New metrics for learning evaluation in digital education platforms
CN115129971A (zh) 基于能力评估数据的课程推荐方法、设备及可读存储介质
JP7090188B2 (ja) 学習効果推定装置、学習効果推定方法、プログラム
CN118445390A (zh) 题目作答评价生成方法、模型训练方法、装置及相关设备
Rasch et al. Knowledge state networks for skill assessment in atomic learning
Hafizah et al. Analysis of Problem-Solving Ability of Junior High School Students in A System of Linear Equations With One Variable
Nasri et al. Pedagogical Factors Influencing Training of E-Commerce Entrepreneurs: The Malaysian Case
Nafeli et al. The Development of Android-Based Interactive E-Modules in Technical Drawing Subjects
Moon Benchmarking Large Language Models for Calculus Problem-Solving: A Comparative Analysis
CN120632588B (zh) 一种基于教学场景关联的教学资源推荐方法
Serkov et al. Methodology of digital content creation
Shorouk et al. Artificial Intelligence and Students Happiness: The Mediating Role of Students Self-Regulation to Use AI at Bahrain Private University

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20886887

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20227015036

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020886887

Country of ref document: EP

Effective date: 20220613