WO2017126288A1 - 視聴素材評価方法、視聴素材評価システム、及びプログラム - Google Patents

視聴素材評価方法、視聴素材評価システム、及びプログラム Download PDF

Info

Publication number
WO2017126288A1
WO2017126288A1 PCT/JP2016/088375 JP2016088375W WO2017126288A1 WO 2017126288 A1 WO2017126288 A1 WO 2017126288A1 JP 2016088375 W JP2016088375 W JP 2016088375W WO 2017126288 A1 WO2017126288 A1 WO 2017126288A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
brain activity
generation unit
viewing material
matrix generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/088375
Other languages
English (en)
French (fr)
Inventor
伸志 西本
知史 西田
秀紀 柏岡
矢野　亮
直哉 前田
将高 角
一平 萩原
拓也 茨木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
NTT Data Institute of Management Consulting Inc
NTT Data Group Corp
Original Assignee
NTT Data Corp
National Institute of Information and Communications Technology
NTT Data Institute of Management Consulting Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp, National Institute of Information and Communications Technology, NTT Data Institute of Management Consulting Inc filed Critical NTT Data Corp
Priority to US15/740,256 priority Critical patent/US20180314687A1/en
Priority to EP16886527.7A priority patent/EP3376404A4/en
Priority to CN201680042712.7A priority patent/CN107851119A/zh
Publication of WO2017126288A1 publication Critical patent/WO2017126288A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Definitions

  • the present invention relates to a viewing material evaluation method, a viewing material evaluation system, and a program.
  • This application claims priority based on Japanese Patent Application No. 2016-7307 for which it applied to Japan on January 18, 2016, and uses the content here.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide a viewing material evaluation method, a viewing material evaluation system, and a program capable of objectively and quantitatively evaluating a viewing material. There is.
  • the brain activity measurement unit includes a brain activity measurement step in which the brain activity of the subject who has viewed the viewing material is measured
  • the first matrix generation unit includes A first matrix generating step for generating a first matrix based on the measurement result measured by the brain activity measuring step and estimating a semantic content of the subject's perception, and a second matrix generating unit, A second matrix generation step for generating a second matrix by performing natural language processing on sentence information indicating a planning intention, and a similarity for calculating a similarity between the first matrix and the second matrix Degree calculation step.
  • each of the words obtained by dividing the sentence information by the second matrix generation unit The matrix is converted into a matrix indicating the position in the dimensional semantic space, and the second matrix indicating the center of gravity of the matrix is generated.
  • the sentence information includes cut sentence information indicating a plan intention for each cut included in the storyboard of the viewing material
  • the first matrix generation unit In the first matrix generation step, the first matrix generation unit generates the first matrix for each cut, and in the second matrix generation step, the second matrix generation unit corresponds to the cut sentence information.
  • the second matrix is generated, and in the similarity calculation step, the similarity calculation unit calculates the similarity for each of the cuts.
  • the sentence information includes scene sentence information indicating a plan intention for each scene included in the viewing material
  • the first matrix generating unit generates the first matrix for each scene
  • the second matrix generating unit corresponds to the scene text information.
  • Two matrices are generated, and in the similarity calculation step, the similarity calculation unit calculates the similarity for each scene.
  • the viewing material evaluation method of one aspect of the present invention is the brain activity measurement step in the viewing material evaluation method, wherein the brain activity measurement unit measures the brain activity of the subject at predetermined time intervals, In the first matrix generation step, the first matrix generation unit generates the first matrix at each predetermined time interval, and in the similarity calculation step, the similarity calculation unit corresponds to the sentence information. The similarity between the average first matrix indicating the average of the first matrix and the second matrix during the period to be calculated is calculated.
  • the sentence information includes overall intention sentence information indicating an overall planning intention of the viewing material
  • the brain activity measurement step measures the brain activity of the subject at predetermined time intervals, and in the first matrix generation step, the first matrix generation unit performs the first matrix generation at the predetermined time intervals. 1 matrix is generated, and in the second matrix generation step, the second matrix generation unit generates the second matrix corresponding to the entire intended sentence information, and in the similarity calculation step, the similarity calculation unit Calculates the similarity between the first matrix generated at each predetermined time interval and the second matrix corresponding to the entire intended sentence information.
  • the viewing material evaluation method is the above-described viewing material evaluation method, wherein the brain activity measurement unit measures the brain activity of the subject who has watched the training video at a predetermined time interval. Based on a plurality of measurement results measured by the training measurement step and a plurality of third matrices generated by performing natural language processing on the explanatory text explaining each scene of the training video, A model generation step of generating an estimation model for estimating the first matrix from the measurement result, wherein in the first matrix generation step, the first matrix generation unit measures the measurement result measured by the brain activity measurement step And generating the first matrix based on the estimation model.
  • the viewing material evaluation system includes a brain activity measurement unit that measures brain activity of a subject who has viewed the viewing material, and a measurement result measured by the brain activity measurement unit.
  • a first matrix generating unit that generates a first matrix that estimates the semantic content of perception, a second matrix generating unit that performs natural language processing on sentence information indicating the planning intention of the viewing material, and generates a second matrix;
  • a similarity calculation unit configured to calculate a similarity between the first matrix and the second matrix;
  • the program estimates the semantic content of the subject's perception based on a measurement result measured by a brain activity measurement unit that measures the brain activity of the subject who has viewed the viewing material.
  • a similarity calculation step for calculating the similarity with the second matrix is executed.
  • the viewing material can be objectively and quantitatively evaluated.
  • FIG. 1 is a block diagram illustrating an example of an advertisement evaluation system 1 according to the first embodiment.
  • the advertisement evaluation system 1 includes a data processing device 10, an image playback terminal 20, and an fMRI (functional Magnetic Resonance Imaging) 30.
  • fMRI functional Magnetic Resonance Imaging
  • the advertisement evaluation system 1 allows the subject S1 to view a CM video (commercial video, commercial film (CF)) and reflects how much the CM plan document intention (creator's intention) is reflected. Objective and quantitative evaluation.
  • CM video (advertisement video) is an example of the viewing material
  • advertisement evaluation system 1 will be described as an example of the viewing material evaluation system.
  • the image playback terminal 20 is a terminal device including a liquid crystal display, for example, and displays, for example, training videos (training videos), CM videos to be evaluated, etc., and allows the subject S1 to view.
  • the training moving image is a moving image including various images.
  • the fMRI 30 (an example of a brain activity measuring unit) measures the brain activity of the subject S1 who has viewed an image (for example, a CM video) displayed by the image reproduction terminal 20.
  • the fMRI 30 outputs an fMRI signal (brain activity signal) that visualizes the hemodynamic response related to the brain activity of the subject S1.
  • the fMRI 30 measures the brain activity of the subject S1 at a predetermined time interval (for example, every 2 seconds), and outputs the measured result to the data processing device 10 as an fMRI signal.
  • the data processing device 10 is a computer device that evaluates a CM moving image based on the measurement result of the brain activity of the subject S1 measured by the fMRI 30. Further, the data processing device 10 generates an estimation model to be described later that is used for evaluating the CM moving image.
  • the data processing device 10 includes a display unit 11, a storage unit 12, and a control unit 13.
  • the display unit 11 (an example of an output unit) is a display device such as a liquid crystal display, and displays information related to various processes executed by the data processing device 10. For example, the display unit 11 displays the evaluation result of the CM moving image.
  • the storage unit 12 stores various information used for various processes executed by the data processing apparatus 10.
  • the storage unit 12 includes a measurement result storage unit 121, an estimated model storage unit 122, a matrix storage unit 123, and a correlation coefficient storage unit 124.
  • the measurement result storage unit 121 stores the measurement result measured by the fMRI 30.
  • the measurement result storage unit 121 stores time information (or a sampling number) and a measurement result obtained by the fMRI 30 in association with each other.
  • the estimation model storage unit 122 stores an estimation model generated by a model generation unit 131 described later.
  • the estimation model is a model for estimating an estimation matrix A (first matrix) obtained by estimating the semantic content of the perception of the subject S1 from the measurement result measured by the fMRI 30. Details of the estimation matrix A will be described later.
  • the matrix storage unit 123 stores various matrix information used for the evaluation of the CM moving image.
  • the matrix storage unit 123 stores, for example, a target concept vector B (matrix B (second matrix)) generated from sentence information indicating a CM planning intention, an estimation matrix A, and the like.
  • the goal concept vector is a vector indicating a concept of purpose, that is, a plan intention.
  • the correlation coefficient storage unit 124 stores a correlation coefficient (r) corresponding to the evaluation result of the CM moving image. That is, the correlation coefficient storage unit 124 stores the correlation coefficient (r) calculated by the correlation calculation unit 134 described later based on the estimation matrix A and the target concept vector B (matrix B). The correlation coefficient storage unit 124 stores time information (or sampling number) and the correlation coefficient (r) in association with each other, for example. Note that the similarity is calculated using, for example, Pearson correlation or Euclidean distance.
  • the control unit 13 is a processor including, for example, a CPU (Central Processing Unit) and the like, and comprehensively controls the data processing device 10.
  • the control unit 13 executes various processes executed by the data processing apparatus 10.
  • the control unit 13 is a vector data generated based on the measurement result measured by the fMRI 30 by causing the subject S1 to view the training video (training video) and the data previously annotated with respect to the training video.
  • An estimation model is generated based on an annotation vector.
  • the control unit 13 evaluates the CM video based on the measurement result measured by the fMRI 30 by allowing the subject S1 to view the CM video to be evaluated and the text information indicating the plan intention of the CM plan document.
  • the control unit 13 includes a model generation unit 131, an estimation matrix generation unit 132, an intention matrix generation unit 133, a correlation calculation unit 134, and a display control unit 135.
  • the model generation unit 131 causes the subject S1 to view the training video and performs natural language processing on a plurality of measurement results measured by the fMRI 30 at predetermined time intervals and an explanatory text explaining each scene of the training video and generates the training video.
  • An estimated model is generated based on the plurality of annotation vectors (third matrix).
  • the model generation unit 131 generates an annotation vector (matrix) as shown in FIG. 2 from a still image or a moving image of each scene of the training moving image.
  • FIG. 2 is a diagram for explaining an example of generating an annotation vector in the present embodiment.
  • a language description (annotation) P2 indicating the impression of the image is generated from the image P1.
  • the language description (annotation) text is, for example, a text description of the scene outline or an impression, and is used by a plurality of persons in order to eliminate bias in expression by individuals describing the annotation.
  • the model generation unit 131 performs, for example, morphological analysis P3 on the sentence of the language description (annotation), generates segmentation data, breaks it down into words, and averages the coordinate values of these words in the annotation vector space. To do. Alternatively, the coordinate value may be calculated for an aggregate of words, that is, the entire sentence.
  • the model generation unit 131 performs natural language processing on the segmented data using the corpus 40 to generate an annotation vector space P4 such as Skip-gram.
  • the corpus 40 is a database of a large amount of text data such as Wikipedia (registered trademark) and newspaper articles.
  • the model generation unit 131 performs natural language processing on such a large amount of text data using the corpus 40, and generates a word vector space.
  • the word vector space is to give coordinates in the same space, that is, vectors, to each word such as a noun, an adjective, and a verb based on the appearance probability between words in the corpus. This makes it possible to convert words such as nouns that represent object names and adjectives that express impressions into coordinate values on a vector space (intermediate representation space) that expresses the relationship between words as a matrix. Can be specified as the distance between coordinates.
  • the vector space (intermediate representation space) is a matrix space having a predetermined number of dimensions (N dimensions) as shown in FIG. 3, for example, and each word is assigned to a corresponding coordinate in the matrix space ( Represented).
  • the model generation unit 131 converts each word included in the language description (annotation) indicating the impression of the image into an annotation vector indicating the position of the semantic space.
  • the conversion process is performed for each annotation described by a plurality of people.
  • a vector indicating the centroid (average) of the plurality of annotation vectors subjected to the conversion processing is generated as an annotation vector indicating the impression of the image. That is, the model generation unit 131 generates an annotation vector (third matrix) for each scene of the training video, for example, every 2 seconds, and stores it in the matrix storage unit 123.
  • the model generation unit 131 associates time information (or sampling number) with the annotation vector (third matrix) of each scene of the training video, and stores it in the matrix storage unit 123.
  • the model generation unit 131 acquires the measurement result of the brain activity, for example, every 2 seconds measured by the fMRI 30 when the subject S1 views the training video displayed by the image reproduction terminal 20, and the measurement result The data is stored in the storage unit 121.
  • the model generation unit 131 associates the time information (or sampling number) with the measurement result of the brain activity measured by the fMRI 30 based on the training video, and stores it in the measurement result storage unit 121.
  • the model generation unit 131 generates an estimated model based on the measurement result measured by the fMRI 30 based on the training video and the annotation vector (third matrix) of each scene of the training video.
  • the estimation model estimates an estimation matrix A that is the semantic content of the perception of the subject S1 from the measurement result of the brain activity.
  • FIG. 4 is a diagram for explaining an example of an estimation model generation process in the present embodiment.
  • the model generation unit 131 acquires the measurement results (X t1 , X t2 ,..., X tn ) of the fMRI 30 for the training video from the measurement result storage unit 121.
  • the model generation unit 131 acquires the annotation vector (S t1 , S t2 ,..., S tn ) of each scene of the training video from the matrix storage unit 123.
  • a general statistical model Is represented by the following formula (1).
  • f () represents a function
  • variable ⁇ represents a parameter
  • the model generation unit 131 generates an estimation model based on the above equation (2), using the measurement result (matrix R) described above as an explanatory variable and the annotation vector (matrix S) as an objective variable.
  • the statistical model for generating the estimation model may be a linear model (for example, a linear regression model) or a non-linear model (for example, a non-linear regression model).
  • the matrix R is a matrix of 3600 rows ⁇ 60000 digits.
  • the semantic space is, for example, a 1000-dimensional space
  • the matrix S is a matrix of 3600 rows ⁇ 1000 digits
  • the matrix W is a matrix of 60000 rows ⁇ 1000 digits.
  • the model generation unit 131 generates an estimation model corresponding to the matrix W based on the matrix R and the matrix S and the above equation (2). By using this estimation model, a 1000-dimensional annotation vector can be estimated from the measurement result of 60000 points of fMRI30.
  • the model generation unit 131 stores the generated estimation model in the estimation model storage unit 122.
  • the estimated model is desirably generated for each subject S1, and the model generating unit 131 stores the generated estimated model and identification information for identifying the subject S1 in association with each other in the estimated model storage unit 122. May be.
  • the estimation matrix generation unit 132 (an example of a first matrix generation unit) generates an estimation matrix A (first matrix) in which the semantic content of the perception of the subject S1 is estimated based on the measurement result measured by the fMRI 30.
  • the estimation matrix generation unit 132 uses, for example, the estimation model stored in the estimation model storage unit 122, and based on the measurement result measured by the fMRI 30, the measurement matrix is assigned to the semantic space shown in FIG. A is generated.
  • the estimation matrix generation unit 132 stores the generated estimation matrix A in the matrix storage unit 123. As shown in FIG.
  • the fMRI 30 outputs the measurement results (X t1 , X t2 ,..., X tn ) at predetermined time intervals (time t1, time t2,..., Time tn).
  • the estimation matrix generation unit 132 When output, the estimation matrix generation unit 132 generates an estimation matrix A (A t1 , A t2 ,..., A tn ). In this case, the estimation matrix generation unit 132 associates the time information (time t1, time t2,..., Time tn) with the estimation matrix A (A t1 , A t2 ,..., A tn ). It is stored in the matrix storage unit 123.
  • the intention matrix generation unit 133 (an example of a second matrix generation unit) performs natural language processing on text information indicating the planning intention of the CM video, and generates a target concept vector B (matrix B (second matrix)) for the entire plan.
  • the target concept vector B (matrix B) is generated from text information indicating the overall plan intention, such as a CM movie plan book, in the same manner as the method shown in FIG. That is, the intention matrix generation unit 133 performs morphological analysis on the sentence information, converts the sentence information into segmentation data, performs natural language processing on the words included in the segmentation data using the corpus 40, and sets the target concept in units of words. Generate a vector.
  • the intention matrix generation unit 133 generates a target concept vector B (matrix B) of the entire plan in which the center of gravity is calculated based on the generated target concept vector for each word. That is, the intention matrix generation unit 133 converts each word obtained by dividing the sentence information into a matrix (target concept vector) indicating a position in a predetermined number of dimensions (for example, 1000 dimensions) semantic space, and the center of gravity of the matrix Is generated. The intention matrix generation unit 133 stores the generated target concept vector B (matrix B) in the matrix storage unit 123.
  • the correlation calculation unit 134 calculates a correlation (an example of the similarity) between the above-described estimation matrix A and the target concept vector B (matrix B). That is, as shown in FIG. 5, the correlation calculation unit 134 determines the estimation matrix A (A t1 , A t2 ,..., A tn ) generated every predetermined time interval and the overall intention of the CM project. Correlation coefficients r (r t1 , r t2 ,..., R tn ) with the target concept vector B (matrix B) corresponding to the sentence information shown are calculated.
  • the correlation calculation unit 134 associates the generated correlation coefficients r (r t1 , r t2 ,..., R tn ) with time information (time t 1, time t 2,..., Time tn),
  • the correlation coefficient storage unit 124 stores the correlation coefficient.
  • the display control unit 135 acquires the correlation coefficient r stored in the correlation coefficient storage unit 124 and generates, for example, a graph as shown in FIG. 8 to be described later, and the overall intention of the CM plan and the viewer's brain. Displays the correlation with the content perceived by the viewer, which is output as a result of the activity.
  • the display control unit 135 causes the display unit 11 to display (output) the generated graph of the correlation coefficient r as the evaluation result of the CM moving image.
  • FIG. 5 is a diagram for explaining an example of a CM moving image evaluation process according to this embodiment.
  • the sentence information indicating the intention of the CM plan includes the entire intention sentence information indicating the overall plan intention of the advertisement moving image.
  • the fMRI 30 measures the brain activity of the subject S1 at predetermined time intervals (time t1, time t2,..., Time tn). , The measurement results (X t1 , X t2 ,..., X tn ) are output.
  • generation part 132 uses the estimation model which the estimation model memory
  • FIG. 6 is a flowchart showing an example of the operation of the advertisement evaluation system 1 in the present embodiment.
  • the model generation unit 131 of the data processing device 10 generates an estimated model (step S101). Details of processing for generating the estimation model will be described later with reference to FIG.
  • the model generation unit 131 stores the generated estimation model in the estimation model storage unit 122.
  • the fMRI 30 measures the brain activity of viewing the CM video at a predetermined time interval (step S102). That is, the fMRI 30 measures the brain activity of the subject S1 who has watched the CM moving image displayed by the image reproduction terminal 20, for example, at intervals of 2 seconds.
  • the fMRI 30 outputs the measured measurement results (X t1 , X t2 ,..., X tn ) to the data processing device 10, and the data processing device 10 stores the measurement results in the measurement result storage unit 121, for example. .
  • the estimation matrix generation unit 132 of the data processing device 10 generates an estimation matrix A for each predetermined time interval from the measurement result and the estimation model (step S103).
  • the estimation matrix generation unit 132 calculates the estimation matrix A every 2 seconds (for example, A shown in FIG. 5) from the measurement results every 2 seconds stored in the measurement result storage unit 121 and the estimation models stored in the estimation model storage unit 122. t1, a t2, ⁇ , to generate the a tn).
  • the estimation matrix generation unit 132 stores the generated estimation matrix A in the matrix storage unit 123.
  • the intention matrix generation unit 133 generates a target concept vector B (matrix B) from the sentence information (overall intention sentence information) indicating the overall intention of the CM plan (step S104).
  • the intention matrix generation unit 133 generates the target concept vector B (matrix B) by a method similar to the method shown in FIG.
  • the intention matrix generation unit 133 converts each word obtained by dividing the entire intended sentence information into a matrix (target concept vector) indicating a position in a predetermined number of dimensions of a semantic space (for example, a 1000-dimensional semantic space).
  • a target concept vector B (matrix B) indicating the center of gravity of the matrix (target concept vector) is generated.
  • the intention matrix generation unit 133 stores the generated target concept vector B (matrix B) in the matrix storage unit 123.
  • the correlation calculation unit 134 of the data processing apparatus 10 calculates a correlation coefficient r between the estimation matrix A and the target concept vector B (matrix B) for each predetermined time interval (step S105).
  • the correlation calculation unit 134 includes an estimation matrix A (A t1 , A t2 ,..., A tn ) stored every two seconds stored in the matrix storage unit 123 and a matrix storage unit 123.
  • Correlation coefficients r (r t1 , r t2 ,..., R tn ) with the target concept vector B (matrix B) to be stored are calculated.
  • the correlation calculation unit 134 causes the correlation coefficient storage unit 124 to store the calculated correlation coefficients r (r t1 , r t2 ,..., R tn ).
  • the data processing device 10 generates a graph of the correlation coefficient r and displays it on the display unit 11 (step S106). That is, the display control unit 135 of the data processing apparatus 10 acquires the correlation coefficient r (r t1 , r t2 ,..., R tn ) stored every two seconds stored in the correlation coefficient storage unit 124, for example, A graph as shown in FIG. 8 described later is generated. The display control unit 135 displays (outputs) the generated graph of the correlation coefficient r on the display unit 11 as the evaluation result of the CM moving image, and ends the process.
  • the display control unit 135 of the data processing apparatus 10 acquires the correlation coefficient r (r t1 , r t2 ,..., R tn ) stored every two seconds stored in the correlation coefficient storage unit 124, for example, A graph as shown in FIG. 8 described later is generated.
  • the display control unit 135 displays (outputs) the generated graph of the correlation coefficient r on the display unit 11 as the evaluation result of the CM
  • the process of step S102 corresponds to the process of the brain activity measurement step
  • the process of step S103 corresponds to the process of the first matrix generation step
  • the process of step S104 corresponds to the process of the second matrix generation step
  • the process of step S105 corresponds to the process of the correlation calculation step (similarity calculation step).
  • FIG. 7 is a flowchart illustrating an example of an estimation model generation process in the present embodiment.
  • the fMRI 30 measures the brain activity of viewing the training video at predetermined time intervals (step S201). That is, the fMRI 30 measures the brain activity of the subject S1 who has viewed the training video displayed by the image playback terminal 20, for example, at intervals of 2 seconds.
  • the fMRI 30 outputs the measured measurement results (X t1 , X t2 ,..., X tn ) to the data processing device 10, and the model generation unit 131 of the data processing device 10 stores the measurement result in the measurement result storage unit 121, for example. Memorize the measurement results.
  • the model generation unit 131 generates an annotation vector that is vector data generated based on data that has been previously annotated for each scene of the training video (step S202).
  • the model generation unit 131 generates annotation vectors (S t1 , S t2 ,..., S tn ) at intervals of 2 seconds (for each scene), for example, by the method shown in FIG.
  • the model generation unit 131 stores the generated annotation vector (S t1 , S t2 ,..., S tn ) in the matrix storage unit 123.
  • the model generation unit 131 generates an estimated model from the brain activity measurement result and the annotation vector (step S203). That is, the model generation unit 131 sets the measurement results (X t1 , X t2 ,..., X tn ) stored in the measurement result storage unit 121 as the matrix R, and the annotation vector (S t1 , S t2 ,..., S tn ) is a matrix S, and an estimation model is generated as shown in FIG. The model generation unit 131 stores the generated estimation model in the estimation model storage unit 122. After the process of step S203, the model generation unit 131 ends the estimation model generation process.
  • step S201 corresponds to the process of the training measurement step
  • steps S202 and step S203 correspond to the process of the generation step.
  • FIG. 8 is a diagram illustrating an example of an evaluation result of the advertisement evaluation system 1 according to the present embodiment.
  • the graph shown in FIG. 8 shows a graph of evaluation results in the CM to be evaluated (CMB) and the reference CM (CMA, CMC) for comparison.
  • the vertical axis represents the correlation coefficient r
  • the horizontal axis represents time.
  • the correlation coefficient is an index indicating how much the target CM video reflects the overall intention text information indicating the overall intention of the CM plan book (CMB plan book).
  • CMB plan book the correlation coefficient for the CMB to be evaluated tends to be higher than the correlation coefficient for the reference CM (CMA, CMC), and reflects the intention of the CM plan document (CMB plan document). It shows that.
  • the advertisement evaluation method (an example of the viewing material evaluation method) according to the present embodiment includes the brain activity measurement step (step S102 in FIG. 6), the first matrix generation step (step S103 in FIG. 6), A second matrix generation step (step S104 in FIG. 6) and a similarity calculation step (step S105 in FIG. 6) are included.
  • the brain activity measuring step the fMRI 30 (brain activity measuring unit) measures the brain activity of the subject S1 who has viewed the viewing material (CM moving image).
  • the estimation matrix generation unit 132 (first matrix generation unit) estimates the semantic content of the perception of the subject S1 based on the measurement result measured in the brain activity measurement step (first matrix generation) 1 matrix).
  • the intention matrix generation unit 133 (second matrix generation unit) performs natural language processing on the sentence information indicating the planning intention of the advertisement video, and generates the target concept vector B (matrix B, second matrix). Generate.
  • the correlation calculation unit 134 calculates the similarity (correlation coefficient r) between the estimation matrix A and the target concept vector B (matrix B).
  • the advertisement evaluation method calculates the correlation coefficient r, which is an objective and quantitative CM evaluation index for the text information indicating the planning intention of the viewing material (advertisement video). It is possible to objectively and quantitatively evaluate the viewing material (advertisement (CM)).
  • CM complementary metal-oxide-semiconductor
  • the advertisement evaluation method uses the competitor's CM (CMA) evaluation result and the in-house CM (CMB). If there is another CM (CMA, CMC) that shows a reaction that is more in line with its own CM planning intention than its own CM (CMB), it can be used as a reference.
  • the advertisement evaluation method according to the present embodiment is produced based on the target concept vector B (matrix B) based on the entire intention text information based on the CM plan document (for example, the CMB plan document) and, for example, the CM plan document.
  • the target concept vector B matrix B
  • the CM plan document for example, the CMB plan document
  • the CM plan document for example, the CMB plan document
  • the intention matrix generation unit 133 converts each word obtained by dividing the sentence information into a predetermined number of dimensions (for example, 1000 dimensions) semantic space (see FIG. 3).
  • the target concept vector B (matrix B) indicating the center of gravity of the matrix is generated by converting into a matrix indicating the position.
  • the sentence information indicating the planning intention of the advertisement moving image includes the entire intention sentence information indicating the entire planning intention of the advertisement moving image.
  • the fMRI 30 measures the brain activity of the subject S1 at predetermined time intervals (for example, every 2 seconds).
  • the estimation matrix generation unit 132 generates an estimation matrix A (for example, A t1 , A t2 ,..., A tn ) at predetermined time intervals.
  • the intention matrix generation unit 133 generates a target concept vector B (matrix B) corresponding to the entire intended sentence information.
  • the correlation calculation unit 134 uses the estimation matrix A (for example, A t1 , A t2 ,..., A tn ) generated at predetermined time intervals and the target corresponding to the entire intended sentence information.
  • the similarity (correlation coefficient r) with the concept vector B (matrix B) is calculated.
  • the advertisement evaluation method calculates the similarity (correlation coefficient r) corresponding to the entire intention text information for each predetermined time interval. Whether the degree is reflected can be evaluated at predetermined time intervals.
  • the advertisement evaluation method further includes a training measurement step and a generation step.
  • the training measurement step the fMRI 30 measures the brain activity of the subject S1 who viewed the training video at a predetermined time interval (for example, every 2 seconds).
  • the model generation step the model generation unit 131 describes a plurality of measurement results (for example, X t1 , X t2 ,..., X tn in FIG. 4) measured in the training measurement step and each scene of the training video.
  • the estimated matrix A is calculated from the measurement result X based on a plurality of annotation vectors S (third matrix, eg, S t1 , S t2 ,..., S tn ) generated by performing natural language processing on the explanatory text to be performed.
  • An estimation model to be estimated is generated.
  • the estimation matrix generation unit 132 generates the estimation matrix A based on the measurement result X measured in the brain activity measurement step and the estimation model.
  • the advertisement evaluation method according to the present embodiment can generate an estimation model, and can generate an optimal estimation model for each subject S1, for example. Therefore, the advertisement evaluation method according to the present embodiment can evaluate the advertisement (CM) objectively and quantitatively with high accuracy for each subject S1.
  • the advertisement evaluation system 1 (an example of a viewing material evaluation system) according to the present embodiment includes an fMRI 30, an estimation matrix generation unit 132, an intention matrix generation unit 133, and a correlation calculation unit 134.
  • the fMRI 30 measures the brain activity of the subject S1 who has watched the CM video. Based on the measurement result measured by the fMRI 30, the estimation matrix generation unit 132 generates an estimation matrix A (first matrix) that estimates the semantic content of the perception of the subject S1.
  • the intention matrix generation unit 133 performs natural language processing on the sentence information indicating the planning intention of the CM video, and generates a target concept vector B (matrix B (second matrix)).
  • the correlation calculation unit 134 calculates the similarity (correlation coefficient r) between the estimation matrix A and the target concept vector B (matrix B).
  • the advertisement evaluation system 1 can objectively and quantitatively evaluate the advertisement (CM) in the same manner as the advertisement evaluation method according to the present embodiment.
  • the data processing apparatus 10 (an example of a viewing material evaluation apparatus) according to the present embodiment includes an estimation matrix generation unit 132, an intention matrix generation unit 133, and a correlation calculation unit 134.
  • the estimation matrix generation unit 132 calculates an estimation matrix A (first matrix) in which the semantic content of the perception of the subject S1 is estimated based on the measurement result measured by the fMRI 30 that measures the brain activity of the subject S1 who has watched the CM video. Generate.
  • the intention matrix generation unit 133 performs natural language processing on the sentence information indicating the planning intention of the CM video, and generates a target concept vector B (matrix B (second matrix)).
  • the correlation calculation unit 134 calculates the similarity (correlation coefficient r) between the estimation matrix A and the target concept vector B (matrix B).
  • the data processing apparatus 10 viewing material evaluation apparatus
  • the configuration of the advertisement evaluation system 1 according to this embodiment is the same as that of the first embodiment shown in FIG.
  • text information cut text information
  • CM image is evaluated for each cut of the storyboard. Different from the first embodiment.
  • FIG. 9 is a diagram for explaining an example of a CM moving image evaluation process according to the second embodiment.
  • each cut of the storyboard corresponds to a plurality of measurements by the fMRI 30.
  • the cut C1 corresponds to the measurement from the time t1 to the time tm by the fMRI 30, and the cut C2 corresponds to the measurement from the time tm + 1 to the time tn by the fMRI 30.
  • the sentence indicating the plan intention corresponding to the storyboard cut C1 is cut sentence information (TX c1 )
  • the sentence indicating the plan intention corresponding to the storyboard cut C2 is cut sentence information (TX c2 ). is there.
  • the estimation matrix generation unit 132 generates an estimation matrix A1 (A1 c1 , A1 c2 ,...) For each cut.
  • the estimation matrix generation unit 132 stores the estimation matrix A (A c1 to A cm ) corresponding to each of the measurement results (X c1 to X cm ) by the fMRI 30 , and the estimation model storage unit 122 Generated using the memorized estimation model.
  • generation part 132 produces
  • the estimation matrix generation unit 132 For example, for the cut C1 corresponding to time t1 to time tm, the estimation matrix generation unit 132 generates an average estimation matrix A1 c1 indicating the average of the estimation matrices (A c1 to A cm ). For example, for the cut C2 corresponding to time tm + 1 to time tn, the estimation matrix generation unit 132 generates an average estimation matrix A1 c2 indicating the average of the estimation matrices (A cm + 1 to A cn ).
  • generation part 133 produces
  • the intention matrix generation unit 133 generates a target concept vector (matrix B1 c1 , matrix B1 c2 , etc For each cut sentence information, in the same manner as the method illustrated in FIG. 2 described above.
  • the correlation calculation unit 134 calculates a correlation coefficient r for each cut.
  • a correlation coefficient r (r c1 , r c2 ,...) Between the average estimation matrix A1 indicating the average of the estimation matrix A in the period corresponding to the cut sentence information and the second matrix is calculated. To do.
  • the sentence information indicating the plan intention of the CM plan document includes cut sentence information indicating the plan intention for each cut included in the storyboard of the CM movie (for example, TX c1 , TX c2,. ⁇ ⁇ ) Is included.
  • the estimation matrix generation unit 132 generates an estimation matrix A1 for each cut
  • the intention matrix generation unit 133 generates a target concept vector B1 (matrix B1) for each cut sentence information
  • the correlation calculation unit 134 The correlation coefficient r is calculated for each.
  • FIG. 10 is a flowchart showing an example of the operation of the advertisement evaluation system 1 in the present embodiment.
  • the model generation unit 131 of the data processing device 10 generates an estimated model (step S301).
  • the generation process of the estimated model by the model generation unit 131 is the same as that of the first embodiment.
  • the model generation unit 131 stores the generated estimation model in the estimation model storage unit 122.
  • the fMRI 30 measures the brain activity of viewing the CM video at predetermined time intervals (step S302). That is, the fMRI 30 measures the brain activity of the subject S1 who has watched the CM moving image displayed by the image reproduction terminal 20, for example, at intervals of 2 seconds.
  • the fMRI 30 outputs the measured measurement results (X t1 , X t2 ,..., X tn ,...) to the data processing device 10, and the data processing device 10 stores the measurement results in the measurement result storage unit 121, for example.
  • the data processing device 10 stores the measurement results in the measurement result storage unit 121, for example.
  • the estimation matrix generation unit 132 of the data processing apparatus 10 generates an estimation matrix A1 for each cut from the measurement result and the estimation model (step S303). As shown in FIG. 9, the estimation matrix generation unit 132 calculates an estimation matrix A every 2 seconds from the measurement results every 2 seconds stored in the measurement result storage unit 121 and the estimation models stored in the estimation model storage unit 122. Generated is an average estimation matrix A1 indicating the average of the estimation matrix A in the period corresponding to the cut sentence information. The estimation matrix generation unit 132 stores the generated estimation matrix A1 in the matrix storage unit 123.
  • the intention matrix generation unit 133 generates the target concept vector B1 (matrix B1) from the cut sentence information indicating the intention for each cut of the storyboard (step S304).
  • the intention matrix generation unit 133 generates a target concept vector B1 (matrix B1) for each cut of a storyboard, for example, by a method similar to the method shown in FIG.
  • the intention matrix generation unit 133 stores the generated target concept vector B1 (matrix B1) in the matrix storage unit 123.
  • the correlation calculation unit 134 of the data processing device 10 calculates a correlation coefficient r between the estimation matrix A1 for each cut and the target concept vector B1 (matrix B1) (step S305).
  • the correlation calculation unit 134 includes an estimation matrix A1 for each cut stored in the matrix storage unit 123 and a target concept vector B1 (matrix B1) for each cut stored in the matrix storage unit 123.
  • Correlation coefficients r (r c1 , r c2 ,...) Are calculated.
  • the correlation calculation unit 134 causes the correlation coefficient storage unit 124 to store the calculated correlation coefficients r (r c1 , r c2 ,).
  • the data processing device 10 generates a graph of the correlation coefficient r and displays it on the display unit 11 (step S306). That is, the display control unit 135 of the data processing apparatus 10 acquires the correlation coefficients r (r c1 , r c2 ,...) For each cut stored in the correlation coefficient storage unit 124, and provides a phase for the storyboard cut. A graph of the relation number r is generated. The display control unit 135 displays (outputs) the generated graph of the correlation coefficient r on the display unit 11 as the evaluation result of the CM moving image, and ends the process.
  • step S302 corresponds to the process of the brain activity measurement step
  • the process of step S303 corresponds to the process of the first matrix generation step
  • the process of step S304 corresponds to the process of the second matrix generation step
  • the process of step S305 corresponds to the process of the correlation calculation step (similarity calculation step).
  • the text information includes cut text information indicating the planning intention for each cut included in the storyboard of the CM video.
  • the estimation matrix generation unit 132 generates an estimation matrix A1 for each cut of the storyboard.
  • the intention matrix generation unit 133 causes the target concept vector corresponding to the cut sentence information.
  • B1 matrix B1
  • the correlation calculation unit 134 calculates the similarity (correlation coefficient r) for each cut of the storyboard.
  • the advertisement evaluation method according to the present embodiment can objectively and quantitatively evaluate an advertisement (CM) for each cut of a storyboard.
  • the advertisement evaluation method according to the present embodiment can objectively and quantitatively evaluate the impression of the CM moving image with respect to the production intention of the storyboard cut. Therefore, the advertisement evaluation method according to the present embodiment can evaluate the advertisement (CM) in more detail.
  • the fMRI 30 measures the brain activity of the subject S1 at predetermined time intervals (for example, every 2 seconds), and in the first matrix generation step, the estimated matrix generation unit 132 generates an estimation matrix A every predetermined time interval (for example, every 2 seconds). And the estimation matrix production
  • the correlation calculating unit 134 calculates the average estimated matrix A1 indicating the average of the estimated matrix A in the period corresponding to the sentence information, and the target concept vector B1 (matrix B1) for each cut.
  • a correlation coefficient r is calculated.
  • the advertisement evaluation system 1 and the advertisement evaluation method according to the third embodiment will be described with reference to the drawings.
  • the configuration of the advertisement evaluation system 1 according to this embodiment is the same as that of the first embodiment shown in FIG.
  • the text information (scene text information) indicating the planning intention is extracted for each scene of the CM video, and the CM image is evaluated for each scene of the CM video, as in the first and second embodiments.
  • the CM moving image scene is a partial moving image composed of a plurality of cuts (at least one cut).
  • the advertisement evaluation system 1 and the advertisement evaluation method in the present embodiment differ from the second example in that the storyboard cut in the second embodiment is replaced with a scene.
  • the estimation matrix generation unit 132 generates an estimation matrix A2 for each scene
  • the intention matrix generation unit 133 generates a target concept vector B2 for each scene sentence information.
  • the correlation calculation unit 134 calculates the similarity (correlation coefficient r) for each scene.
  • FIG. 11 is a flowchart showing an example of the operation of the advertisement evaluation system 1 in the present embodiment.
  • the model generation unit 131 of the data processing device 10 generates an estimated model (step S401).
  • the generation process of the estimated model by the model generation unit 131 is the same as that of the first embodiment.
  • the model generation unit 131 stores the generated estimation model in the estimation model storage unit 122.
  • the fMRI 30 measures the brain activity of viewing the CM video at predetermined time intervals (step S402). That is, the fMRI 30 measures the brain activity of the subject S1 who has watched the CM moving image displayed by the image reproduction terminal 20, for example, at intervals of 2 seconds.
  • the fMRI 30 outputs the measured measurement results (X t1 , X t2 ,..., X tn ,...) to the data processing device 10, and the data processing device 10 stores the measurement results in the measurement result storage unit 121, for example.
  • the data processing device 10 stores the measurement results in the measurement result storage unit 121, for example.
  • the estimation matrix generation unit 132 of the data processing device 10 generates an estimation matrix A2 for each scene from the measurement result and the estimation model (step S403).
  • the estimation matrix generation unit 132 generates an estimation matrix A every 2 seconds from the measurement results stored every 2 seconds stored in the measurement result storage unit 121 and the estimated models stored in the estimation model storage unit 122, and is used as scene text information.
  • An average estimation matrix A2 indicating the average of the estimation matrix A in the corresponding period is generated.
  • the estimation matrix generation unit 132 stores the generated estimation matrix A2 in the matrix storage unit 123.
  • the intention matrix generation unit 133 generates the target concept vector B2 (matrix B2) from the scene sentence information indicating the planning intention for each scene (step S404).
  • the intention matrix generation unit 133 generates a target concept vector B2 (matrix B2) for each scene, for example, by a method similar to the method shown in FIG.
  • the intention matrix generation unit 133 stores the generated target concept vector B2 (matrix B2) in the matrix storage unit 123.
  • the correlation calculation unit 134 of the data processing apparatus 10 calculates a correlation coefficient r between the estimation matrix A2 for each cut and the target concept vector B2 (matrix B2) (step S405).
  • the correlation calculation unit 134 calculates a correlation coefficient r between the estimated matrix A2 for each cut stored in the matrix storage unit 123 and the target concept vector B2 (matrix B2) for each cut stored in the matrix storage unit 123.
  • the correlation calculation unit 134 causes the correlation coefficient storage unit 124 to store the calculated correlation coefficient r.
  • the data processing apparatus 10 generates a graph of the correlation coefficient r and displays it on the display unit 11 (step S406). That is, the display control unit 135 of the data processing apparatus 10 acquires the correlation coefficient r for each scene stored in the correlation coefficient storage unit 124, and generates a graph of the correlation coefficient r for the CM moving image scene. The display control unit 135 displays (outputs) the generated graph of the correlation coefficient r on the display unit 11 as the evaluation result of the CM moving image, and ends the process.
  • step S402 corresponds to the process of the brain activity measurement step
  • the process of step S403 corresponds to the process of the first matrix generation step
  • the process of step S404 corresponds to the process of the second matrix generation step
  • the process of step S405 corresponds to the process of the correlation calculation step (similarity calculation step).
  • the text information includes scene text information indicating the planning intention for each scene included in the CM video.
  • the estimation matrix generation unit 132 generates an estimation matrix A2 for each scene
  • the intention matrix generation unit 133 uses the target concept vector B2 (matrix) corresponding to the cut sentence information. B2) is generated.
  • the correlation calculation step similarity calculation step
  • the correlation calculation unit 134 calculates the similarity (correlation coefficient r) for each cut of the storyboard.
  • the advertisement evaluation method according to the present embodiment can objectively and quantitatively evaluate the impression of the CM video with respect to the scene production intention. Therefore, the advertisement evaluation method according to the present embodiment can evaluate advertisements (CMs) in more detail than in the second embodiment. For example, even if the evaluation of the entire CM and the evaluation for each cut can be evaluated to reflect the intention of the CM plan, the viewer's perception result for a specific scene (for example, the facial expression and behavior of the actor) By evaluating the above, the effect of CM can be improved.
  • CMs advertisements
  • the fMRI 30 measures the brain activity of the subject S1 at predetermined time intervals (for example, every 2 seconds), and in the first matrix generation step, the estimated matrix generation unit 132 generates an estimation matrix A every predetermined time interval (for example, every 2 seconds). And the estimation matrix production
  • the correlation calculating unit 134 calculates the average estimated matrix A2 indicating the average of the estimated matrix A in the period corresponding to the text information, and the target concept vector B2 (matrix B2) for each scene.
  • a correlation coefficient r is calculated.
  • the present invention is not limited to the above embodiments, and can be modified without departing from the spirit of the present invention.
  • the embodiments may be implemented in combination.
  • the model generation unit 131 is not provided.
  • the estimated model generated in advance may be stored in the estimated model storage unit 122.
  • a device separate from the data processing device 10 such as an analysis device may include the model generation unit 131.
  • the model generation unit 131 has described an example in which the estimated model is generated using the centroid of the annotation vector in units of words as the annotation vector of the scene.
  • the estimation model may be generated using the unit annotation vector as it is.
  • an example in which the correlation coefficient r between the estimation matrix A for each predetermined time interval and the target concept vector B (matrix B) corresponding to the entire intended sentence information is calculated and evaluated.
  • the correlation coefficient r between the average estimation matrix for the entire period of the estimation matrix A for each predetermined time interval and the target concept vector B (matrix B) corresponding to the entire intended sentence information is calculated and evaluated. You may do it.
  • the subject S1 views a CM video and evaluates the CM.
  • an illustration or still image of a storyboard is shown to the subject S1 for evaluation. You may make it do.
  • the fMRI 30 measures the brain activity of the subject S1 who saw the still image of each storyboard plan, and the estimation matrix generation unit 132 has a plurality of An estimation matrix for the still image may be generated, and the correlation calculation unit 134 may calculate a correlation coefficient based on the estimation matrix.
  • a storyboard plan closer to the requirements (production intention) of the plan document can be selected from a plurality of storyboard plans.
  • the viewing material to be viewed and evaluated by the subject S1 and the viewing material to be evaluated include still images, printed materials (for example, advertisements, flyers, web pages) in addition to moving images such as CM videos. Page).
  • each of the above-described embodiments an example has been described in which a correlation is shown and a correlation coefficient (r) is used as a row of similarity.
  • the present invention is not limited to this.
  • each of the above embodiments may use another index indicating similarity, a semantic distance (statistical distance), or the like.
  • the target concept vector for the sentence information the target concept vector for each scene or cut, and the centroid (average) of the target concept vector for each word or the target for each predetermined time interval.
  • the average of concept vectors is used to generate the target concept vector for each cut (or scene). An example has been described, but the present invention is not limited to this.
  • the estimation matrix generation unit 132 calculates an average value in a period corresponding to the cut (or scene) of the measurement result of the fMRI 30 for each predetermined time interval, and the target for each cut (or scene) from the average value of the measurement result.
  • Concept vectors may be generated.
  • the data processing apparatus 10 includes the display unit 11 as an example of the output unit, and the example in which the evaluation result is output to the display unit 11 has been described, but is not limited thereto.
  • the output unit may be, for example, a printer or an interface unit that outputs an evaluation result as a file. Further, a part or all of the storage unit 12 may be provided outside the data processing apparatus 10.
  • Each configuration included in the data processing apparatus 10 described above has a computer system therein. Then, a program for realizing the functions of each component included in the data processing apparatus 10 described above is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. The processing in each configuration provided in the data processing apparatus 10 described above may be performed.
  • “loading and executing a program recorded on a recording medium into a computer system” includes installing the program in the computer system.
  • the “computer system” here includes an OS and hardware such as peripheral devices. Further, the “computer system” may include a plurality of computer devices connected via a network including a communication line such as the Internet, WAN, LAN, and dedicated line.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the recording medium storing the program may be a non-transitory recording medium such as a CD-ROM.
  • the recording medium also includes a recording medium provided inside or outside that is accessible from the distribution server in order to distribute the program.
  • the program may be divided into a plurality of parts and downloaded at different timings, and the structure combined with each constituent provided in the data processing apparatus 10 or the distribution server that distributes each of the divided programs may be different.
  • the “computer-readable recording medium” holds a program for a certain period of time, such as a volatile memory (RAM) inside a computer system that becomes a server or a client when the program is transmitted via a network. Including things.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement
  • part or all of the above-described functions may be realized as an integrated circuit such as an LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • Each function described above may be individually made into a processor, or a part or all of them may be integrated into a processor.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • an integrated circuit based on the technology may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)

Abstract

視聴素材評価方法は、脳活動計測部が、視聴素材を視聴した被験者の脳活動を計測する脳活動計測ステップと、第１行列生成部が、脳活動計測ステップによって計測された計測結果に基づいて、被験者の知覚の意味内容を推定した第１行列を生成する第１行列生成ステップと、第２行列生成部が、視聴素材の企画意図を示す文章情報に自然言語処理を行い、第２行列を生成する第２行列生成ステップと、類似度算出部が、第１行列と、第２行列との類似度を算出する類似度算出ステップとを含む。

Description

視聴素材評価方法、視聴素材評価システム、及びプログラム
　本発明は、視聴素材評価方法、視聴素材評価システム、及びプログラムに関する。
　本願は、２０１６年１月１８日に日本に出願された特願２０１６－７３０７号に基づき優先権を主張し、その内容をここに援用する。
　従来、コマーシャル（以下、ＣＭという）などの視聴素材を評価する場合には、例えば、アンケートなどによる評価など、主観的、且つ、定性的な評価が行われていた。また、一方で、動画視聴時などの自然知覚下における被験者の脳活動を計測し、計測した情報を解析することで、被験者が知覚している知覚の意味内容を推定する技術が知られている（例えば、特許文献１）。この特許文献１に記載の技術では、名詞、動詞、形容詞それぞれの品詞から確率が高い単語を推定し、客観的な指標を得ることができる。
特願２０１５－０７７６９４号
　しかしながら、特許文献１に記載の技術を用いてＣＭを評価する場合、例えば、「高級」という推定結果が出力された場合に、ＣＭ制作者の意図に対してどのような評価であるかを判定することは困難である。このように、従来の視聴素材評価方法では、客観的、且つ、定量的に視聴素材を評価することが困難であった。
　本発明は、上記問題を解決すべくなされたもので、その目的は、客観的、且つ、定量的に視聴素材を評価することができる視聴素材評価方法、視聴素材評価システム、及びプログラムを提供することにある。
　上記問題を解決するために、本発明の一態様の視聴素材評価方法は、脳活動計測部が、視聴素材を視聴した被験者の脳活動を計測する脳活動計測ステップと、第１行列生成部が、前記脳活動計測ステップによって計測された計測結果に基づいて、前記被験者の知覚の意味内容を推定した第１行列を生成する第１行列生成ステップと、第２行列生成部が、前記視聴素材の企画意図を示す文章情報に自然言語処理を行い、第２行列を生成する第２行列生成ステップと、類似度算出部が、前記第１行列と、前記第２行列との類似度を算出する類似度算出ステップとを含む。
　また、本発明の一態様の視聴素材評価方法は、上記視聴素材評価方法における前記第２行列生成ステップにおいて、前記第２行列生成部が、前記文章情報を分割した単語のそれぞれを、所定数の次元の意味空間における位置を示す行列に変換し、当該行列の重心を示す前記第２行列を生成する。
　また、本発明の一態様の視聴素材評価方法は、上記視聴素材評価方法において、前記文章情報には、前記視聴素材の絵コンテに含まれるカットごとの企画意図を示すカット文章情報が含まれ、前記第１行列生成ステップにおいて、前記第１行列生成部が、前記カットごとに前記第１行列を生成し、前記第２行列生成ステップにおいて、前記第２行列生成部が、前記カット文章情報に対応する前記第２行列を生成し、前記類似度算出ステップにおいて、前記類似度算出部が、前記カットごとに前記類似度を算出する。
　また、本発明の一態様の視聴素材評価方法は、上記視聴素材評価方法において、前記文章情報には、前記視聴素材に含まれるシーンごとの企画意図を示すシーン文章情報が含まれ、前記第１行列生成ステップにおいて、前記第１行列生成部が、前記シーンごとに前記第１行列を生成し、前記第２行列生成ステップにおいて、前記第２行列生成部が、前記シーン文章情報に対応する前記第２行列を生成し、前記類似度算出ステップにおいて、前記類似度算出部が、前記シーンごとに前記類似度を算出する。
　また、本発明の一態様の視聴素材評価方法は、上記視聴素材評価方法における前記脳活動計測ステップにおいて、前記脳活動計測部が、所定の時間間隔ごとに、前記被験者の脳活動を計測し、前記第１行列生成ステップにおいて、前記第１行列生成部が、前記所定の時間間隔ごとに前記第１行列を生成し、前記類似度算出ステップにおいて、前記類似度算出部が、前記文章情報に対応する期間における前記第１行列の平均を示す平均第１行列と、前記第２行列との類似度を算出する。
　また、本発明の一態様の視聴素材評価方法は、上記視聴素材評価方法において、前記文章情報には、前記視聴素材の全体の企画意図を示す全体意図文章情報が含まれ、前記脳活動計測ステップにおいて、前記脳活動計測部が、所定の時間間隔ごとに、前記被験者の脳活動を計測し、前記第１行列生成ステップにおいて、前記第１行列生成部が、前記所定の時間間隔ごとに前記第１行列を生成し、前記第２行列生成ステップにおいて、前記第２行列生成部が、前記全体意図文章情報に対応する前記第２行列を生成し、前記類似度算出ステップにおいて、前記類似度算出部が、前記所定の時間間隔ごとに生成された前記第１行列と、前記全体意図文章情報に対応する前記第２行列との類似度を算出する。
　また、本発明の一態様の視聴素材評価方法は、上記視聴素材評価方法において、前記脳活動計測部が、訓練動画を視聴した前記被験者の脳活動を所定の時間間隔で計測する訓練計測ステップと、モデル生成部が、前記訓練計測ステップによって計測された複数の計測結果と、前記訓練動画の各シーンを説明する説明文章に自然言語処理を行って生成した複数の第３行列とに基づいて、前記計測結果から前記第１行列を推定する推定モデルを生成するモデル生成ステップとを含み、前記第１行列生成ステップにおいて、前記第１行列生成部が、前記脳活動計測ステップによって計測された計測結果と、前記推定モデルとに基づいて、前記第１行列を生成する。
　また、本発明の一態様の視聴素材評価システムは、視聴素材を視聴した被験者の脳活動を計測する脳活動計測部と、前記脳活動計測部によって計測された計測結果に基づいて、前記被験者の知覚の意味内容を推定した第１行列を生成する第１行列生成部と、前記視聴素材の企画意図を示す文章情報に自然言語処理を行い、第２行列を生成する第２行列生成部と、前記第１行列と、前記第２行列との類似度を算出する類似度算出部とを備える。
　また、本発明の一態様のプログラムは、コンピュータに、視聴素材を視聴した被験者の脳活動を計測する脳活動計測部によって計測された計測結果に基づいて、前記被験者の知覚の意味内容を推定した第１行列を生成する第１行列生成ステップと、前記視聴素材の企画意図を示す文章情報に自然言語処理を行い、第２行列を生成する第２行列生成ステップと、前記第１行列と、前記第２行列との類似度を算出する類似度算出ステップとを実行させる。
　本発明によれば、客観的、且つ、定量的に視聴素材を評価することができる。
第１の実施形態による広告評価システムの一例を示すブロック図である。 第１の実施形態におけるアノテーションベクタの生成例を説明する図である。 第１の実施形態における意味空間の概念を説明する図である。 第１の実施形態における推定モデルの生成処理の一例を説明する図である。 第１の実施形態におけるＣＭ動画の評価処理の一例を説明する図である。 第１の実施形態における広告評価システムの動作の一例を示すフローチャートである。 第１の実施形態における推定モデルの生成処理の一例を示すフローチャートである。 第１の実施形態による広告評価システムの評価結果の一例を示す図である。 第２の実施形態におけるＣＭ動画の評価処理の一例を説明する図である。 第２の実施形態における広告評価システムの動作の一例を示すフローチャートである。 第３の実施形態における広告評価システムの動作の一例を示すフローチャートである。
　以下、本発明の一実施形態による視聴素材評価システム、及び視聴素材評価方法について、図面を参照して説明する。
　［第１の実施形態］
　図１は、第１の実施形態による広告評価システム１の一例を示すブロック図である。
　図１に示すように、広告評価システム１は、データ処理装置１０と、画像再生端末２０と、ｆＭＲＩ（functional Magnetic Resonance Imaging）３０とを備えている。
　本実施形態による広告評価システム１は、ＣＭ動画（コマーシャル動画、コマーシャルフィルム（ＣＦ））を被験者Ｓ１に視聴させて、ＣＭ企画書の意図（制作者の意図）をどの程度反映しているかを、客観的、且つ、定量的に評価する。なお、本実施形態において、ＣＭ動画（広告動画）は、視聴素材の一例であり、視聴素材評価システムの一例として、広告評価システム１について説明する。
　画像再生端末２０は、例えば、液晶ディスプレイなどを備える端末装置であり、例えば、トレーニング用の動画（トレーニング動画）や評価するＣＭ動画などを表示し、被験者Ｓ１に視聴させる。ここで、トレーニング動画は、多種多様な画像を含む動画である。
　ｆＭＲＩ３０（脳活動計測部の一例）は、画像再生端末２０が表示した画像（例えば、ＣＭ動画など）を視聴した被験者Ｓ１の脳活動を計測する。ｆＭＲＩ３０は、被験者Ｓ１の脳活動に関連した血流動態反応を視覚化するｆＭＲＩ信号（脳活動信号）を出力する。ｆＭＲＩ３０は、所定の時間間隔（例えば、２秒間隔）で、被験者Ｓ１の脳活動を計測し、計測した計測結果をｆＭＲＩ信号としてデータ処理装置１０に出力する。
　データ処理装置１０は、ｆＭＲＩ３０によって計測された被験者Ｓ１の脳活動の計測結果に基づいて、ＣＭ動画を評価するコンピュータ装置である。また、データ処理装置１０は、ＣＭ動画を評価するために利用する後述する推定モデルを生成する。データ処理装置１０は、表示部１１と、記憶部１２と、制御部１３とを備えている。
　表示部１１（出力部の一例）は、例えば、液晶ディスプレイなどの表示装置であり、データ処理装置１０が実行する各種処理に関する情報を表示する。表示部１１は、例えば、ＣＭ動画の評価結果を表示する。
　記憶部１２は、データ処理装置１０が実行する各種処理に利用される各種情報を記憶する。記憶部１２は、計測結果記憶部１２１と、推定モデル記憶部１２２と、行列記憶部１２３と、相関係数記憶部１２４とを備えている。
　計測結果記憶部１２１は、ｆＭＲＩ３０によって計測された計測結果を記憶する。計測結果記憶部１２１は、例えば、時刻情報（又はサンプリング番号）と、ｆＭＲＩ３０による計測結果とを対応付けて記憶する。
　推定モデル記憶部１２２は、後述するモデル生成部１３１が生成する推定モデルを記憶する。ここで、推定モデルは、ｆＭＲＩ３０によって計測された計測結果から、被験者Ｓ１の知覚の意味内容を推定した推定行列Ａ（第１行列）を推定するモデルである。推定行列Ａの詳細については後述する。
　行列記憶部１２３は、ＣＭ動画の評価に用いる各種行列情報を記憶する。行列記憶部１２３は、例えば、ＣＭの企画意図を示す文章情報から生成された目標概念ベクタＢ（行列Ｂ（第２行列））や、推定行列Ａなどを記憶する。ここで、目標概念ベクタとは、目的の概念、ずなわち、企画意図を示すベクタである。
　相関係数記憶部１２４（類似度記憶部の一例）は、ＣＭ動画の評価結果に相当する相関係数（ｒ）を記憶する。すなわち、相関係数記憶部１２４は、後述する相関算出部１３４が、推定行列Ａと目標概念ベクタＢ（行列Ｂ）に基づいて算出した相関係数（ｒ）を記憶する。相関係数記憶部１２４は、例えば、時刻情報（又はサンプリング番号）と、相関係数（ｒ）とを対応付けて記憶する。
　なお、類似度は、例えばピアソン相関やユークリッド距離を用いて算出される。
　制御部１３は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、データ処理装置１０を統括的に制御する。制御部１３は、データ処理装置１０が実行する各種処理を実行する。例えば、制御部１３は、トレーニング動画（訓練動画）を被験者Ｓ１に視聴させてｆＭＲＩ３０によって計測された計測結果と、当該トレーニング動画に対し、事前にアノテーションを付したデータに基づき生成されるベクトルデータであるアノテーションベクタとに基づいて、推定モデルを生成する。また、制御部１３は、評価対象であるＣＭ動画を被験者Ｓ１に視聴させてｆＭＲＩ３０によって計測された計測結果と、当該ＣＭ企画書の企画意図を示す文章情報とに基づいて、ＣＭ動画を評価するための意味空間内での座標変換（行列Ｂ）と行列Ａとの相関係数（ｒ）を生成する。
　また、制御部１３は、モデル生成部１３１と、推定行列生成部１３２と、意図行列生成部１３３と、相関算出部１３４と、表示制御部１３５とを備えている。
　モデル生成部１３１は、トレーニング動画を被験者Ｓ１に視聴させて、ｆＭＲＩ３０によって所定の時間間隔で計測された複数の計測結果と、トレーニング動画の各シーンを説明する説明文章に自然言語処理を行って生成した複数のアノテーションベクタ（第３行列）とに基づいて、推定モデルを生成する。モデル生成部１３１は、トレーニング動画の各シーンの静止画像または動画から、図２に示すように、アノテーションベクタ（行列）を生成する。
　図２は、本実施形態におけるアノテーションベクタの生成例を説明する図である。
　図２を参照すると、画像Ｐ１から、例えば、当該画像の印象を示す言語記述（アノテーション）Ｐ２が生成される。なお、言語記述（アノテーション）の文章は、例えば、シーン概要の説明や感想などの文章であり、アノテーションを記述する個人による表現の偏りを排除するため、複数人がそれぞれ記述したものを用いる。モデル生成部１３１は、この言語記述（アノテーション）の文章に、例えば、形態素解析Ｐ３を行い、分かち書きのデータを生成し、単語に分解したうえで、アノテーションベクタ空間におけるこれら単語の座標値を加算平均する。あるいは単語の集合体、すなわち文章全体として座標値を算出してもよい。次に、モデル生成部１３１は、当該分かち書きのデータに対して、コーパス４０を利用して自然言語処理を行い、Ｓｋｉｐ－ｇｒａｍ等のアノテーションベクタ空間Ｐ４を生成する。
　ここで、コーパス４０は、例えば、Ｗｉｋｉｐｅｄｉａ（登録商標）や新聞記事等の大量の文章データのデータベースである。モデル生成部１３１は、このような大量の文章データを、コーパス４０を用いて、当該分かち書きのデータに対して自然言語処理を行い、単語ベクトル空間を生成する。ここで、単語ベクトル空間は、コーパス内での単語間の出現確率等に基づき、名詞・形容詞・動詞などの単語一つ一つに同一空間内における座標、すなわちベクトルを与えるものである。これにより、物体の名称を表す名詞や印象を示す形容詞などの単語を、単語間の関係を行列で表現したベクトル空間（中間表象空間）上の座標値に変換することができ、特定の単語間の関係を座標間の距離として特定することができる。ここで、ベクトル空間（中間表象空間）は、例えば、図３に示すような、所定数の次元（Ｎ次元）の行列空間であり、各単語は、当該行列空間の対応する座標に割り付けられる（表象される）。
　モデル生成部１３１は、画像の印象を示す言語記述（アノテーション）に含まれる各単語を、当該意味空間の位置を示すアノテーションベクタに変換する。当該変換処理は複数人が記述したアノテーションのそれぞれを対象として行われる。その後、当該変換処理を行った複数のアノテーションベクタの重心（平均）を示すベクタを、画像の印象を示すアノテーションベクタとして生成する。すなわち、モデル生成部１３１は、トレーニング動画の、例えば、２秒間隔のシーンごとに、アノテーションベクタ（第３行列）を生成し、行列記憶部１２３に記憶させる。モデル生成部１３１は、例えば、時刻情報（又はサンプリング番号）と、トレーニング動画の各シーンのアノテーションベクタ（第３行列）とを対応付けて、行列記憶部１２３に記憶させる。
　また、モデル生成部１３１は、画像再生端末２０が表示したトレーニング動画を、被験者Ｓ１が視聴した際に、ｆＭＲＩ３０によって計測された、例えば、２秒ごとの脳活動の計測結果を取得し、計測結果記憶部１２１に記憶させる。モデル生成部１３１は、例えば、時刻情報（又はサンプリング番号）と、トレーニング動画に基づいてｆＭＲＩ３０によって計測された脳活動の計測結果とを対応付けて、計測結果記憶部１２１に記憶させる。
　また、モデル生成部１３１は、トレーニング動画に基づいてｆＭＲＩ３０によって計測された計測結果と、トレーニング動画の各シーンのアノテーションベクタ（第３行列）とに基づいて、推定モデルを生成する。ここで、推定モデルは、脳活動の計測結果から被験者Ｓ１の知覚の意味内容である推定行列Ａを推定する。
　図４は、本実施形態における推定モデルの生成処理の一例を説明する図である。
　図４に示すように、モデル生成部１３１は、トレーニング動画に対するｆＭＲＩ３０の計測結果（Ｘｔ１、Ｘｔ２、・・・、Ｘｔｎ）を計測結果記憶部１２１から取得する。また、モデル生成部１３１は、トレーニング動画の各シーンのアノテーションベクタ（Ｓｔ１、Ｓｔ２、・・・、Ｓｔｎ）を行列記憶部１２３から取得する。ここで、計測結果（Ｘｔ１、Ｘｔ２、・・・、Ｘｔｎ）を行列Ｒ、アノテーションベクタ（Ｓｔ１、Ｓｔ２、・・・、Ｓｔｎ）を行列Ｓとすると、一般的な統計モデルは、下記の式（１）により表される。
　Ｓ＝ｆ（Ｒ，θ）　・・・　（１）
　ここで、ｆ（）は関数を示し、変数θは、パラメータを示す。
　また、上記の式（１）を、例えば、線形モデルにすると、下記の式（２）により、表される。
　Ｓ＝Ｒ×Ｗ　・・・　（２）
　ここで、行列Ｗは、線形モデルにおける係数パラメータを示す。
　モデル生成部１３１は、上述した計測結果（行列Ｒ）を説明変数とし、アノテーションベクタ（行列Ｓ）を目的変数として、上記の式（２）に基づいて、推定モデルを生成する。なお、推定モデルを生成するための統計モデルは、線形モデル（例えば、線形回帰モデルなど）であってもよいし、非線形モデル（例えば、非線形回帰モデルなど）であってもよい。
　例えば、２時間のトレーニング動画に対して、ｆＭＲＩ３０が２秒間隔で６００００ポイントの脳活動の計測をおこなった場合、行列Ｒは、３６００行×６００００桁の行列となる。また、意味空間を、例えば、１０００次元の空間とすると、行列Ｓは、３６００行×１０００桁の行列となり、行列Ｗは、６００００行×１０００桁の行列となる。モデル生成部１３１は、このような、行列Ｒ及び行列Ｓと、上記の式（２）に基づいて、行列Ｗに相当する推定モデルを生成する。この推定モデルを利用することにより、ｆＭＲＩ３０の６００００ポイントの計測結果から、１０００次元のアノテーションベクタを推定可能になる。モデル生成部１３１は、生成した推定モデルを推定モデル記憶部１２２に記憶させる。
　なお、推定モデルは、被験者Ｓ１ごとに生成することが望ましく、モデル生成部１３１は、生成した推定モデルと、被験者Ｓ１を識別する識別情報とを対応付けて推定モデル記憶部１２２に記憶させるようにしてもよい。
　推定行列生成部１３２（第１行列生成部の一例）は、ｆＭＲＩ３０によって計測された計測結果に基づいて、被験者Ｓ１の知覚の意味内容を推定した推定行列Ａ（第１行列）を生成する。推定行列生成部１３２は、例えば、推定モデル記憶部１２２が記憶する推定モデルを利用して、ｆＭＲＩ３０によって計測された計測結果に基づいて、当該計測結果を図３に示す意味空間に割り当てた推定行列Ａを生成する。推定行列生成部１３２は、生成した推定行列Ａを行列記憶部１２３に記憶させる。
　なお、後述する図５に示すように、ｆＭＲＩ３０が、所定の時間間隔（時刻ｔ１、時刻ｔ２、・・・、時刻ｔｎ）で計測結果（Ｘｔ１、Ｘｔ２、・・・、Ｘｔｎ）を出力した場合に、推定行列生成部１３２は、推定行列Ａ（Ａｔ１、Ａｔ２、・・・、Ａｔｎ）を生成する。この場合、推定行列生成部１３２は、時刻情報（時刻ｔ１、時刻ｔ２、・・・、時刻ｔｎ）と、推定行列Ａ（Ａｔ１、Ａｔ２、・・・、Ａｔｎ）とを対応付けて行列記憶部１２３に記憶させる。
　意図行列生成部１３３（第２行列生成部の一例）は、ＣＭ動画の企画意図を示す文章情報に自然言語処理を行い、企画全体の目標概念ベクタＢ（行列Ｂ（第２行列））を生成する。例えば、ＣＭ動画の企画書などの全体の企画意図を示す文章情報から、図２に示した手法と同様に、目標概念ベクタＢ（行列Ｂ）を生成する。すなわち、意図行列生成部１３３は、文章情報を形態素解析して、分かち書きデータに変換し、当該分かち書きデータに含まれる単語に対して、コーパス４０を用いて自然言語処理を行い、単語単位の目標概念ベクタを生成する。
　そして、意図行列生成部１３３は、生成した単語単位の目標概念ベクタに基づいて、重心を算出した企画全体の目標概念ベクタＢ（行列Ｂ）を生成する。すなわち、意図行列生成部１３３は、文章情報を分割した単語のそれぞれを、所定数の次元（例えば、１０００次元）の意味空間における位置を示す行列（目標概念ベクタ）に変換し、当該行列の重心を示す行列Ｂを生成する。意図行列生成部１３３は、生成した目標概念ベクタＢ（行列Ｂ）を行列記憶部１２３に記憶させる。
　相関算出部１３４（類似度算出部の一例）は、上述した推定行列Ａと、目標概念ベクタＢ（行列Ｂ）との相関関係（類似度の一例）を算出する。すなわち、相関算出部１３４は、図５に示すように、所定の時間間隔ごとに生成された推定行列Ａ（Ａｔ１、Ａｔ２、・・・、Ａｔｎ）と、ＣＭ企画の全体の意図を示す文章情報に対応する目標概念ベクタＢ（行列Ｂ）との相関係数ｒ（ｒｔ１、ｒｔ２、・・・、ｒｔｎ）を算出する。相関算出部１３４は、生成した相関係数ｒ（ｒｔ１、ｒｔ２、・・・、ｒｔｎ）と、時刻情報（時刻ｔ１、時刻ｔ２、・・・、時刻ｔｎ）とを対応付けて、相関係数記憶部１２４に記憶させる。
　表示制御部１３５は、相関係数記憶部１２４が記憶する相関係数ｒを取得し、例えば、後述する図８に示すようなグラフを生成し、ＣＭ企画の全体の意図と、視聴者の脳活動の結果出力される、視聴者が知覚した内容との相関を表示する。表示制御部１３５は、生成した相関係数ｒのグラフをＣＭ動画の評価結果として、表示部１１に表示（出力）させる。
　次に、図面を参照して、本実施形態による広告評価システム１の動作について説明する。
　図５は、本実施形態におけるＣＭ動画の評価処理の一例を説明する図である。
　図５に示すように、本実施形態では、ＣＭ企画の意図を示す文章情報には、広告動画の全体の企画意図を示す全体意図文章情報が含まれる。画像再生端末２０が表示したＣＭ動画を被験者Ｓ１が視聴した際に、ｆＭＲＩ３０が、所定の時間間隔ごと（時刻ｔ１、時刻ｔ２、・・・、時刻ｔｎ）に、被験者Ｓ１の脳活動を計測し、計測結果（Ｘｔ１、Ｘｔ２、・・・、Ｘｔｎ）を出力する。
　また、推定行列生成部１３２は、推定モデル記憶部１２２が記憶する推定モデルを用いて、計測結果（Ｘｔ１、Ｘｔ２、・・・、Ｘｔｎ）から、所定の時間間隔ごとに推定行列Ａ（Ａｔ１、Ａｔ２、・・・、Ａｔｎ）を生成する。また、意図行列生成部１３３が、全体意図文章情報に対応する目標概念ベクタＢを生成する。そして、相関算出部１３４は、所定の時間間隔ごとに生成された推定行列Ａ（Ａｔ１、Ａｔ２、・・・、Ａｔｎ）と、全体意図文章情報に対応する目標概念ベクタＢ（行列Ｂ）との相関係数ｒ（ｒｔ１、ｒｔ２、・・・、ｒｔｎ）を算出する。
　また、図６は、本実施形態における広告評価システム１の動作の一例を示すフローチャートである。
　図６に示すように、データ処理装置１０のモデル生成部１３１が、推定モデルを生成する（ステップＳ１０１）。なお、推定モデルを生成する詳細の処理については、図７を参照して後述する。モデル生成部１３１は、生成した推定モデルを、推定モデル記憶部１２２に記憶させる。
　次に、ｆＭＲＩ３０は、ＣＭ動画を視聴した脳活動を所定の時間間隔で計測する（ステップＳ１０２）。すなわち、ｆＭＲＩ３０は、画像再生端末２０が表示したＣＭ動画を視聴した被験者Ｓ１の脳活動を、例えば、２秒間隔で計測する。ｆＭＲＩ３０は、計測した計測結果（Ｘｔ１、Ｘｔ２、・・・、Ｘｔｎ）をデータ処理装置１０に出力し、データ処理装置１０は、例えば、計測結果記憶部１２１に当該計測結果を記憶させる。
　次に、データ処理装置１０の推定行列生成部１３２は、計測結果と、推定モデルとから所定の時間間隔ごとの推定行列Ａを生成する（ステップＳ１０３）。推定行列生成部１３２は、計測結果記憶部１２１が記憶する２秒ごとの計測結果と、推定モデル記憶部１２２が記憶する推定モデルとから２秒ごとの推定行列Ａ（例えば、図５に示すＡｔ１、Ａｔ２、・・・、Ａｔｎ）を生成する。推定行列生成部１３２は、生成した推定行列Ａを行列記憶部１２３に記憶させる。
　次に、意図行列生成部１３３は、ＣＭ企画書の全体の意図を示す文章情報（全体意図文章情報）から目標概念ベクタＢ（行列Ｂ）を生成する（ステップＳ１０４）。意図行列生成部１３３は、例えば、図２に示す手法と同様の手法により、目標概念ベクタＢ（行列Ｂ）を生成する。意図行列生成部１３３は、例えば、全体意図文章情報を分割した単語のそれぞれを、所定数の次元の意味空間（例えば、１０００次元の意味空間）における位置を示す行列（目標概念ベクタ）に変換し、当該行列（目標概念ベクタ）の重心を示す目標概念ベクタＢ（行列Ｂ）を生成する。意図行列生成部１３３は、生成した目標概念ベクタＢ（行列Ｂ）を行列記憶部１２３に記憶させる。
　次に、データ処理装置１０の相関算出部１３４は、所定の時間間隔ごとの推定行列Ａと、目標概念ベクタＢ（行列Ｂ）との相関係数ｒを算出する（ステップＳ１０５）。相関算出部１３４は、例えば、図５に示すように、行列記憶部１２３が記憶する２秒ごとの推定行列Ａ（Ａｔ１、Ａｔ２、・・・、Ａｔｎ）と、行列記憶部１２３が記憶する目標概念ベクタＢ（行列Ｂ）との相関係数ｒ（ｒｔ１、ｒｔ２、・・・、ｒｔｎ）を算出する。相関算出部１３４は、算出した相関係数ｒ（ｒｔ１、ｒｔ２、・・・、ｒｔｎ）を相関係数記憶部１２４に記憶させる。
　次に、データ処理装置１０は、相関係数ｒのグラフを生成し、表示部１１に表示する（ステップＳ１０６）。すなわち、データ処理装置１０の表示制御部１３５は、相関係数記憶部１２４が記憶する２秒ごとの相関係数ｒ（ｒｔ１、ｒｔ２、・・・、ｒｔｎ）を取得し、例えば、後述する図８に示すようなグラフを生成する。表示制御部１３５は、生成した相関係数ｒのグラフをＣＭ動画の評価結果として、表示部１１に表示（出力）させて、処理を終了する。
　なお、上述した広告評価（ＣＭ評価）のフローチャートにおいて、ステップＳ１０２の処理が、脳活動計測ステップの処理に対応し、ステップＳ１０３の処理が、第１行列生成ステップの処理に対応する。また、ステップＳ１０４の処理が、第２行列生成ステップの処理に対応し、ステップＳ１０５の処理が、相関算出ステップ（類似度算出ステップ）の処理に対応する。
　次に、図７を参照して、広告評価システム１における推定モデルの生成処理について説明する。
　図７は、本実施形態における推定モデルの生成処理の一例を示すフローチャートである。
　図７に示すように、ｆＭＲＩ３０は、トレーニング動画を視聴した脳活動を所定の時間間隔で計測する（ステップＳ２０１）。すなわち、ｆＭＲＩ３０は、画像再生端末２０が表示したトレーニング動画を視聴した被験者Ｓ１の脳活動を、例えば、２秒間隔で計測する。ｆＭＲＩ３０は、計測した計測結果（Ｘｔ１、Ｘｔ２、・・・、Ｘｔｎ）をデータ処理装置１０に出力し、データ処理装置１０のモデル生成部１３１は、例えば、計測結果記憶部１２１に当該計測結果を記憶させる。
　次に、モデル生成部１３１は、トレーニング動画の各シーンに対し、事前にアノテーションを付したデータに基づき生成されるベクトルデータであるアノテーションベクタを生成する（ステップＳ２０２）。モデル生成部１３１は、例えば、図２に示す手法により、２秒間隔ごと（シーンごと）のアノテーションベクタ（Ｓｔ１、Ｓｔ２、・・・、Ｓｔｎ）を生成する。モデル生成部１３１は、生成したアノテーションベクタ（Ｓｔ１、Ｓｔ２、・・・、Ｓｔｎ）を行列記憶部１２３に記憶させる。
　次に、モデル生成部１３１は、脳活動の計測結果とアノテーションベクタとから推定モデルを生成する（ステップＳ２０３）。すなわち、モデル生成部１３１は、計測結果記憶部１２１が記憶する計測結果（Ｘｔ１、Ｘｔ２、・・・、Ｘｔｎ）を行列Ｒとし、行列記憶部１２３が記憶するアノテーションベクタ（Ｓｔ１、Ｓｔ２、・・・、Ｓｔｎ）を行列Ｓとして、式（２）により、図４に示すように、推定モデルを生成する。モデル生成部１３１は、生成した推定モデルを推定モデル記憶部１２２に記憶させる。ステップＳ２０３の処理後にモデル生成部１３１は、推定モデルの生成処理を終了する。
　なお、上述した推定モデルの生成処理のフローチャートにおいて、ステップＳ２０１の処理が、訓練計測ステップの処理に対応し、ステップＳ２０２及びステップＳ２０３の処理が、生成ステップの処理に対応する。
　次に、図８を参照して、本実施形態による広告評価システム１の評価結果について説明する。
　図８は、本実施形態による広告評価システム１の評価結果の一例を示す図である。
　図８に示すグラフは、評価対象のＣＭ（ＣＭＢ）と、その比較対象のための参考ＣＭ（ＣＭＡ、ＣＭＣ）における評価結果のグラフを示している。ここで、縦軸が相関係数ｒを示し、横軸が時間を示している。
　また、図８に示す例では、３人の被験者Ｓ１による比較を行っており、波形Ｗ１が「被験者Ａ」を示し、波形Ｗ２が「被験者Ｂ」を示し、波形Ｗ３が「被験者Ｃ」を示している。なお、ここでの相関係数は、対象のＣＭ動画が、ＣＭ企画書（ＣＭＢの企画書）の全体の意図を示す全体意図文章情報をどの程度反映しているかを示す指標である。
　図８に示す例では、評価対象のＣＭＢに対する相関係数が、参考ＣＭ（ＣＭＡ、ＣＭＣ）に対する相関係数よりも高い傾向にあり、ＣＭ企画書（ＣＭＢの企画書）の意図を反映していることを示している。
　以上説明したように、本実施形態による広告評価方法（視聴素材評価方法の一例）は、脳活動計測ステップ（図６のステップＳ１０２）と、第１行列生成ステップ（図６のステップＳ１０３）と、第２行列生成ステップ（図６のステップＳ１０４）と、類似度算出ステップ（図６のステップＳ１０５）とを含んでいる。脳活動計測ステップにおいて、ｆＭＲＩ３０（脳活動計測部）が、視聴素材（ＣＭ動画）を視聴した被験者Ｓ１の脳活動を計測する。第１行列生成ステップにおいて、推定行列生成部１３２（第１行列生成部）が、脳活動計測ステップによって計測された計測結果に基づいて、被験者Ｓ１の知覚の意味内容を推定した推定行列Ａ（第１行列）を生成する。第２行列生成ステップにおいて、意図行列生成部１３３（第２行列生成部）が、広告動画の企画意図を示す文章情報に自然言語処理を行い、目標概念ベクタＢ（行列Ｂ、第２行列）を生成する。類似度算出ステップ（相関算出ステップ）において、相関算出部１３４が、推定行列Ａと、目標概念ベクタＢ（行列Ｂ）との類似度（相関係数ｒ）を算出する。
　これにより、本実施形態による広告評価方法は、視聴素材（広告動画）の企画意図を示す文章情報に対する、客観的、且つ、定量的なＣＭ評価の指標である相関係数ｒを算出するので、客観的、且つ、定量的に視聴素材（広告（ＣＭ））を評価することができる。
　例えば、競合他社のＣＭ（ＣＭＡ、ＣＭＣ）と、自社のＣＭ（ＣＭＢ）とがある場合に、本実施形態による広告評価方法は、競合他社のＣＭ（ＣＭＡ）の評価結果と自社のＣＭ（ＣＭＢ）の評価結果との比較により、自社のＣＭ（ＣＭＢ）よりも自社のＣＭ企画意図に沿った反応を示す他のＣＭ（ＣＭＡ、ＣＭＣ）があれば、参考とすることができる。
　また、本実施形態による広告評価方法は、ＣＭ企画書（例えば、ＣＭＢの企画書）による全体意図文章情報に基づく目標概念ベクタＢ（行列Ｂ）と、例えば、当該ＣＭ企画書に基づいて制作されたＣＭ（ＣＭＢ）のみを視聴して得られる推定行列Ａとを比較することで、広告代理店に発注した際の企画意図が視聴者に正しく伝わっているかを評価することができるため、広告代理店選定の際の材料とすることができる。
　また、本実施形態では、第２行列生成ステップにおいて、意図行列生成部１３３が、文章情報を分割した単語のそれぞれを、所定数の次元（例えば、１０００次元）の意味空間（図３参照）における位置を示す行列に変換し、当該行列の重心を示す目標概念ベクタＢ（行列Ｂ）を生成する。
　これにより、本実施形態による広告評価方法は、広告動画の企画意図を示す文章情報を、簡易且つ適切に意味空間上に表象することができ、文章情報による企画意図と、被験者Ｓ１の脳活動との関係を客観的、且つ、定量的に評価することが可能になる。
　また、広告動画の企画意図を示す文章情報には、広告動画の全体の企画意図を示す全体意図文章情報が含まれる。脳活動計測ステップにおいて、ｆＭＲＩ３０が、所定の時間間隔（例えば、２秒間隔）ごとに、被験者Ｓ１の脳活動を計測する。第１行列生成ステップにおいて、推定行列生成部１３２が、所定の時間間隔ごとに推定行列Ａ（例えば、Ａｔ１、Ａｔ２、・・・、Ａｔｎ）を生成する。第２行列生成ステップにおいて、意図行列生成部１３３が、全体意図文章情報に対応する目標概念ベクタＢ（行列Ｂ）を生成する。類似度算出ステップにおいて、相関算出部１３４が、所定の時間間隔ごとに生成された推定行列Ａ（例えば、Ａｔ１、Ａｔ２、・・・、Ａｔｎ）と、全体意図文章情報に対応する目標概念ベクタＢ（行列Ｂ）との類似度（相関係数ｒ）を算出する。
　これにより、本実施形態による広告評価方法は、所定の時間間隔ごとの全体意図文章情報に対応する類似度（相関係数ｒ）を算出するので、ＣＭ動画が、ＣＭ企画の全体の意図をどの程度反映しているのかを、所定の時間間隔ごとに評価することができる。
　また、本実施形態による広告評価方法は、さらに、訓練計測ステップと、生成ステップとを含んでいる。訓練計測ステップにおいて、ｆＭＲＩ３０が、トレーニング動画を視聴した被験者Ｓ１の脳活動を所定の時間間隔（例えば、２秒間隔）で計測する。モデル生成ステップにおいて、モデル生成部１３１が、訓練計測ステップによって計測された複数の計測結果（例えば、図４のＸｔ１、Ｘｔ２、・・・、Ｘｔｎ）と、訓練動画の各シーンを説明する説明文章に自然言語処理を行って生成した複数のアノテーションベクタＳ（第３行列、例えば、Ｓｔ１、Ｓｔ２、・・・、Ｓｔｎ）とに基づいて、計測結果Ｘから推定行列Ａを推定する推定モデルを生成する。そして、第１行列生成ステップにおいて、推定行列生成部１３２が、脳活動計測ステップによって計測された計測結果Ｘと、推定モデルとに基づいて、推定行列Ａを生成する。
　これにより、本実施形態による広告評価方法は、推定モデルの生成が可能になり、例えば、被験者Ｓ１ごとに最適な推定モデルを生成することができる。よって、本実施形態による広告評価方法は、被験者Ｓ１ごとに精度よく、客観的、且つ、定量的に広告（ＣＭ）を評価することができる。
　また、本実施形態による広告評価システム１（視聴素材評価システムの一例）は、ｆＭＲＩ３０と、推定行列生成部１３２と、意図行列生成部１３３と、相関算出部１３４とを備えている。ｆＭＲＩ３０は、ＣＭ動画を視聴した被験者Ｓ１の脳活動を計測する。推定行列生成部１３２は、ｆＭＲＩ３０によって計測された計測結果に基づいて、被験者Ｓ１の知覚の意味内容を推定した推定行列Ａ（第１行列）を生成する。意図行列生成部１３３は、ＣＭ動画の企画意図を示す文章情報に自然言語処理を行い、目標概念ベクタＢ（行列Ｂ（第２行列））を生成する。そして、相関算出部１３４は、推定行列Ａと、目標概念ベクタＢ（行列Ｂ）との類似度（相関係数ｒ）を算出する。
　これにより、本実施形態による広告評価システム１は、本実施形態による広告評価方法と同様に、客観的、且つ、定量的に広告（ＣＭ）を評価することができる。
　また、本実施形態によるデータ処理装置１０（視聴素材評価装置の一例）は、推定行列生成部１３２と、意図行列生成部１３３と、相関算出部１３４とを備えている。推定行列生成部１３２は、ＣＭ動画を視聴した被験者Ｓ１の脳活動を計測するｆＭＲＩ３０によって計測された計測結果に基づいて、被験者Ｓ１の知覚の意味内容を推定した推定行列Ａ（第１行列）を生成する。意図行列生成部１３３は、ＣＭ動画の企画意図を示す文章情報に自然言語処理を行い、目標概念ベクタＢ（行列Ｂ（第２行列））を生成する。そして、相関算出部１３４は、推定行列Ａと、目標概念ベクタＢ（行列Ｂ）との類似度（相関係数ｒ）を算出する。
　これにより、本実施形態によるデータ処理装置１０（視聴素材評価装置）は、本実施形態による広告評価方法及び広告評価システム１と同様に、客観的、且つ、定量的に広告（ＣＭ）を評価することができる。
　［第２の実施形態］
　次に、図面を参照して、第２の実施形態による広告評価システム１及び広告評価方法について説明する。
　なお、本実施形態による広告評価システム１の構成は、図１に示す第１の実施形態と同様であるので、ここではその説明を省略する。
　本実施形態では、ＣＭの企画書の一例である絵コンテのカットごとに、企画意図を示す文章情報（カット文章情報）を抽出し、絵コンテのカットごとにＣＭ画像を評価する点が、第１の実施形態と異なる。
　図９は、第２の実施形態におけるＣＭ動画の評価処理の一例を説明する図である。
　図９において、絵コンテの各カットは、ｆＭＲＩ３０による複数回の計測に対応する。例えば、カットＣ１は、ｆＭＲＩ３０による時刻ｔ１～時刻ｔｍまでの計測に対応し、カットＣ２は、ｆＭＲＩ３０による時刻ｔｍ＋１～時刻ｔｎまでの計測に対応する。また、絵コンテのカットＣ１に対応する企画意図を示す文章が、カット文章情報（ＴＸｃ１）であり、絵コンテのカットＣ２に対応する企画意図を示す文章が、カット文章情報（ＴＸｃ２）である。
　本実施形態では、推定行列生成部１３２は、カットごとの推定行列Ａ１（Ａ１ｃ１、Ａ１ｃ２、・・・）を生成する。例えば、図９に示すように、推定行列生成部１３２は、ｆＭＲＩ３０による計測結果（Ｘｃ１～Ｘｃｍ）のそれぞれに対応する推定行列Ａ（Ａｃ１～Ａｃｍ）を、推定モデル記憶部１２２が記憶する推定モデルを用いて生成する。また、推定行列生成部１３２は、カット文章情報に対応する期間における推定行列Ａの平均を示す平均推定行列Ａ１（平均第１行列）を生成する。例えば、時刻ｔ１～時刻ｔｍに対応するカットＣ１に対して、推定行列生成部１３２は、推定行列（Ａｃ１～Ａｃｍ）の平均を示す平均推定行列Ａ１ｃ１を生成する。また、例えば、時刻ｔｍ＋１～時刻ｔｎに対応するカットＣ２に対して、推定行列生成部１３２は、推定行列（Ａｃｍ＋１～Ａｃｎ）の平均を示す平均推定行列Ａ１ｃ２を生成する。
　また、意図行列生成部１３３は、カット文章情報ごとに目標概念ベクタＢ（行列Ｂ１）を生成する。意図行列生成部１３３は、上述した図２に示した手法と同様に、カット文章情報ごとに目標概念ベクタ（行列Ｂ１ｃ１、行列Ｂ１ｃ２、・・・）を生成する。
　そして、相関算出部１３４は、カットごとに相関係数ｒを算出する。なお、本実施形態では、カット文章情報に対応する期間における推定行列Ａの平均を示す平均推定行列Ａ１と、第２行列との相関係数ｒ（ｒｃ１、ｒｃ２、・・・）を算出する。
　このように、本実施形態では、ＣＭ企画書の企画意図を示す文章情報には、ＣＭ動画の絵コンテに含まれるカットごとの企画意図を示すカット文章情報（例えば、ＴＸｃ１、ＴＸｃ２、・・・）が含まる。そして、推定行列生成部１３２が、カットごとに推定行列Ａ１を生成し、意図行列生成部１３３が、カット文章情報ごとに目標概念ベクタＢ１（行列Ｂ１）を生成し、相関算出部１３４が、カットごとに相関係数ｒを算出する。
　次に、図１０を参照して、本実施形態による広告評価システム１の動作について説明する。
　図１０は、本実施形態における広告評価システム１の動作の一例を示すフローチャートである。
　図１０に示すように、データ処理装置１０のモデル生成部１３１が、推定モデルを生成する（ステップＳ３０１）。ここで、モデル生成部１３１による推定モデルの生成処理は、第１の実施形態と同様である。モデル生成部１３１は、生成した推定モデルを、推定モデル記憶部１２２に記憶させる。
　次に、ｆＭＲＩ３０は、ＣＭ動画を視聴した脳活動を所定の時間間隔で計測する（ステップＳ３０２）。すなわち、ｆＭＲＩ３０は、画像再生端末２０が表示したＣＭ動画を視聴した被験者Ｓ１の脳活動を、例えば、２秒間隔で計測する。ｆＭＲＩ３０は、計測した計測結果（Ｘｔ１、Ｘｔ２、・・・、Ｘｔｎ、・・・）をデータ処理装置１０に出力し、データ処理装置１０は、例えば、計測結果記憶部１２１に当該計測結果を記憶させる。
　次に、データ処理装置１０の推定行列生成部１３２は、計測結果と、推定モデルとからカットごとの推定行列Ａ１を生成する（ステップＳ３０３）。推定行列生成部１３２は、図９に示すように、計測結果記憶部１２１が記憶する２秒ごとの計測結果と、推定モデル記憶部１２２が記憶する推定モデルとから２秒ごとの推定行列Ａを生成し、カット文章情報に対応する期間における推定行列Ａの平均を示す平均推定行列Ａ１を生成する。推定行列生成部１３２は、生成した推定行列Ａ１を行列記憶部１２３に記憶させる。
　次に、意図行列生成部１３３は、絵コンテのカットごとの意図を示すカット文章情報から目標概念ベクタＢ１（行列Ｂ１）を生成する（ステップＳ３０４）。意図行列生成部１３３は、例えば、図２に示す手法と同様の手法により、絵コンテのカットごとの目標概念ベクタＢ１（行列Ｂ１）を生成する。意図行列生成部１３３は、生成した目標概念ベクタＢ１（行列Ｂ１）を行列記憶部１２３に記憶させる。
　次に、データ処理装置１０の相関算出部１３４は、カットごとの推定行列Ａ１と、目標概念ベクタＢ１（行列Ｂ１）との相関係数ｒを算出する（ステップＳ３０５）。相関算出部１３４は、例えば、図９に示すように、行列記憶部１２３が記憶するカットごとの推定行列Ａ１と、行列記憶部１２３が記憶するカットごとの目標概念ベクタＢ１（行列Ｂ１）との相関係数ｒ（ｒｃ１、ｒｃ２、・・・）を算出する。相関算出部１３４は、算出した相関係数ｒ（ｒｃ１、ｒｃ２、・・・）を相関係数記憶部１２４に記憶させる。
　次に、データ処理装置１０は、相関係数ｒのグラフを生成し、表示部１１に表示する（ステップＳ３０６）。すなわち、データ処理装置１０の表示制御部１３５は、相関係数記憶部１２４が記憶するカットごとの相関係数ｒ（ｒｃ１、ｒｃ２、・・・）を取得し、絵コンテのカットに対する相関係数ｒのグラフを生成する。表示制御部１３５は、生成した相関係数ｒのグラフをＣＭ動画の評価結果として、表示部１１に表示（出力）させて、処理を終了する。
　なお、上述した広告評価（ＣＭ評価）のフローチャートにおいて、ステップＳ３０２の処理が、脳活動計測ステップの処理に対応し、ステップＳ３０３の処理が、第１行列生成ステップの処理に対応する。また、ステップＳ３０４の処理が、第２行列生成ステップの処理に対応し、ステップＳ３０５の処理が、相関算出ステップ（類似度算出ステップ）の処理に対応する。
　以上説明したように、本実施形態による広告評価方法では、文章情報には、ＣＭ動画の絵コンテに含まれるカットごとの企画意図を示すカット文章情報が含まれる。第１行列生成ステップにおいて、推定行列生成部１３２が、絵コンテのカットごとに推定行列Ａ１を生成し、第２行列生成ステップにおいて、意図行列生成部１３３が、カット文章情報に対応する目標概念ベクタＢ１（行列Ｂ１）を生成する。そして、相関算出ステップ（類似度算出ステップ）において、相関算出部１３４が、絵コンテのカットごとに類似度（相関係数ｒ）を算出する。
　これにより、本実施形態による広告評価方法は、絵コンテのカットごとに、客観的、且つ、定量的に広告（ＣＭ）を評価することができる。例えば、本実施形態による広告評価方法は、絵コンテのカットの制作意図に対して、当該ＣＭ動画の印象がどうであったかを客観的、且つ、定量的に評価することができる。よって、本実施形態による広告評価方法は、より詳細に、広告（ＣＭ）を評価することができる。
　また、本実施形態では、脳活動計測ステップにおいて、ｆＭＲＩ３０が、所定の時間間隔（例えば、２秒間隔）ごとに、被験者Ｓ１の脳活動を計測し、第１行列生成ステップにおいて、推定行列生成部１３２が、所定の時間間隔（例えば、２秒間隔）ごとに推定行列Ａを生成する。そして、推定行列生成部１３２は、文章情報（カット文章情報）に対応する期間（カットに対応する期間）における推定行列Ａの平均を示す平均推定行列Ａ１をカットごとに推定行列として生成する。相関算出ステップ（類似度算出ステップ）において、相関算出部１３４が、文章情報に対応する期間における推定行列Ａの平均を示す平均推定行列Ａ１と、カットごとの目標概念ベクタＢ１（行列Ｂ１）との相関係数ｒを算出する。
　これにより、本実施形態による広告評価方法は、簡易な手法により、カットごとの推定行列Ａ１（平均推定行列）を生成することが可能になり、絵コンテのカットごとのＣＭ動画の評価を適切に行うことができる。
　［第３の実施形態］
　次に、図面を参照して、第３の実施形態による広告評価システム１及び広告評価方法について説明する。
　なお、本実施形態による広告評価システム１の構成は、図１に示す第１の実施形態と同様であるので、ここではその説明を省略する。
　本実施形態では、ＣＭ動画のシーンごとに、企画意図を示す文章情報（シーン文章情報）を抽出し、ＣＭ動画のシーンごとにＣＭ画像を評価する点が、第１及び第２の実施形態と異なる。なお、ここで、ＣＭ動画のシーンは、複数のカット（少なくとも１つのカット）から構成される部分動画である。
　本実施形態における広告評価システム１及び広告評価方法は、第２の実施形態における絵コンテのカットを、シーンに置き換えた点が第２の実施例と異なる。
　本実施形態では、例えば、推定行列生成部１３２が、シーンごとに推定行列Ａ２を生成し、意図行列生成部１３３が、シーン文章情報ごとに目標概念ベクタＢ２を生成する。そして、相関算出部１３４が、シーンごとに類似度（相関係数ｒ）を算出する。
　次に、図１１を参照して、本実施形態による広告評価システム１の動作について説明する。
　図１１は、本実施形態における広告評価システム１の動作の一例を示すフローチャートである。
　図１１に示すように、データ処理装置１０のモデル生成部１３１が、推定モデルを生成する（ステップＳ４０１）。ここで、モデル生成部１３１による推定モデルの生成処理は、第１の実施形態と同様である。モデル生成部１３１は、生成した推定モデルを、推定モデル記憶部１２２に記憶させる。
　次に、ｆＭＲＩ３０は、ＣＭ動画を視聴した脳活動を所定の時間間隔で計測する（ステップＳ４０２）。すなわち、ｆＭＲＩ３０は、画像再生端末２０が表示したＣＭ動画を視聴した被験者Ｓ１の脳活動を、例えば、２秒間隔で計測する。ｆＭＲＩ３０は、計測した計測結果（Ｘｔ１、Ｘｔ２、・・・、Ｘｔｎ、・・・）をデータ処理装置１０に出力し、データ処理装置１０は、例えば、計測結果記憶部１２１に当該計測結果を記憶させる。
　次に、データ処理装置１０の推定行列生成部１３２は、計測結果と、推定モデルとからシーンごとの推定行列Ａ２を生成する（ステップＳ４０３）。推定行列生成部１３２は、計測結果記憶部１２１が記憶する２秒ごとの計測結果と、推定モデル記憶部１２２が記憶する推定モデルとから２秒ごとの推定行列Ａを生成し、シーン文章情報に対応する期間における推定行列Ａの平均を示す平均推定行列Ａ２を生成する。推定行列生成部１３２は、生成した推定行列Ａ２を行列記憶部１２３に記憶させる。
　次に、意図行列生成部１３３は、シーンごとの企画意図を示すシーン文章情報から目標概念ベクタＢ２（行列Ｂ２）を生成する（ステップＳ４０４）。意図行列生成部１３３は、例えば、図２に示す手法と同様の手法により、シーンごとの目標概念ベクタＢ２（行列Ｂ２）を生成する。意図行列生成部１３３は、生成した目標概念ベクタＢ２（行列Ｂ２）を行列記憶部１２３に記憶させる。
　次に、データ処理装置１０の相関算出部１３４は、カットごとの推定行列Ａ２と、目標概念ベクタＢ２（行列Ｂ２）との相関係数ｒを算出する（ステップＳ４０５）。相関算出部１３４は、行列記憶部１２３が記憶するカットごとの推定行列Ａ２と、行列記憶部１２３が記憶するカットごとの目標概念ベクタＢ２（行列Ｂ２）との相関係数ｒを算出する。
相関算出部１３４は、算出した相関係数ｒを相関係数記憶部１２４に記憶させる。
　次に、データ処理装置１０は、相関係数ｒのグラフを生成し、表示部１１に表示する（ステップＳ４０６）。すなわち、データ処理装置１０の表示制御部１３５は、相関係数記憶部１２４が記憶するシーンごとの相関係数ｒを取得し、ＣＭ動画のシーンに対する相関係数ｒのグラフを生成する。表示制御部１３５は、生成した相関係数ｒのグラフをＣＭ動画の評価結果として、表示部１１に表示（出力）させて、処理を終了する。
　なお、上述した広告評価（ＣＭ評価）のフローチャートにおいて、ステップＳ４０２の処理が、脳活動計測ステップの処理に対応し、ステップＳ４０３の処理が、第１行列生成ステップの処理に対応する。また、ステップＳ４０４の処理が、第２行列生成ステップの処理に対応し、ステップＳ４０５の処理が、相関算出ステップ（類似度算出ステップ）の処理に対応する。
　以上説明したように、本実施形態による広告評価方法では、文章情報には、ＣＭ動画に含まれるシーンごとの企画意図を示すシーン文章情報が含まれる。第１行列生成ステップにおいて、推定行列生成部１３２が、シーンごとに推定行列Ａ２を生成し、第２行列生成ステップにおいて、意図行列生成部１３３が、カット文章情報に対応する目標概念ベクタＢ２（行列Ｂ２）を生成する。そして、相関算出ステップ（類似度算出ステップ）において、相関算出部１３４が、絵コンテのカットごとに類似度（相関係数ｒ）を算出する。
　これにより、本実施形態による広告評価方法は、シーンごとに、客観的、且つ、定量的に広告（ＣＭ）を評価することができる。例えば、本実施形態による広告評価方法は、シーンの制作意図に対して、当該ＣＭ動画の印象がどうであったかを客観的、且つ、定量的に評価することができる。よって、本実施形態による広告評価方法は、第２の実施形態よりもさらにより詳細に、広告（ＣＭ）を評価することができる。例えば、ＣＭ全体の評価やカットごとの評価としてはＣＭ企画意図を概ね反映していると評価できたとしても、特定のシーン（たとえば出演俳優の表情や立ち振る舞い）に対する視聴者の知覚結果を詳細に評価することで、よりＣＭの効果をあげることができる。
　また、本実施形態では、脳活動計測ステップにおいて、ｆＭＲＩ３０が、所定の時間間隔（例えば、２秒間隔）ごとに、被験者Ｓ１の脳活動を計測し、第１行列生成ステップにおいて、推定行列生成部１３２が、所定の時間間隔（例えば、２秒間隔）ごとに推定行列Ａを生成する。そして、推定行列生成部１３２は、文章情報（シーン文章情報）に対応する期間（シーンに対応する期間）における推定行列Ａの平均を示す平均推定行列Ａ２をシーンごとに推定行列として生成する。相関算出ステップ（類似度算出ステップ）において、相関算出部１３４が、文章情報に対応する期間における推定行列Ａの平均を示す平均推定行列Ａ２と、シーンごとの目標概念ベクタＢ２（行列Ｂ２）との相関係数ｒを算出する。
　これにより、本実施形態による広告評価方法は、簡易な手法により、シーンごとの推定行列Ａ２（平均推定行列）を生成することが可能になり、ＣＭ動画のシーンごとの評価を適切に行うことができる。
　なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
　例えば、上記の各実施形態は、単独で実施する例を説明したが、各実施形態を組み合わせて実施してもよい。
　また、上記の各実施形態において、データ処理装置１０が、推定モデルを生成するモデル生成部１３１を備える例を説明したが、これに限定されるものではなく、モデル生成部１３１を備えずに、予め生成された推定モデルを推定モデル記憶部１２２に記憶しておいてもよい。また、解析装置などのデータ処理装置１０とは別体の装置が、モデル生成部１３１を備えるようにしてもよい。
　また、上記の各実施形態において、モデル生成部１３１は、単語単位のアノテーションベクタの重心をシーンのアノテーションベクタとして、推定モデルを生成する例を説明したが、これに限定されるものではなく、単語単位のアノテーションベクタをそのまま用いて推定モデルを生成するようにしてもよい。
　また、上記の第１の実施形態において、所定の時間間隔ごとの推定行列Ａと、全体意図文章情報に対応する目標概念ベクタＢ（行列Ｂ）との相関係数ｒを算出して評価する例を説明したが、所定の時間間隔ごとの推定行列Ａの全期間の平均推定行列と、全体意図文章情報に対応する目標概念ベクタＢ（行列Ｂ）との相関係数ｒを算出して評価するようにしてもよい。
　また、上記の各実施形態において、視聴素材の評価の一例として、被験者Ｓ１にＣＭ動画を視聴させてＣＭを評価する例を説明したが、絵コンテのイラストや静止画を被験者Ｓ１に見せて評価するようにしてもよい。例えば、ＣＭ制作前の企画段階で、複数の絵コンテ案がある場合など、ｆＭＲＩ３０が、各絵コンテ案の静止画を見た被験者Ｓ１の脳活動を計測し、推定行列生成部１３２が、複数の静止画に対する推定行列を生成して、相関算出部１３４が、当該推定行列に基づいて相関係数を算出するようにしてもよい。この場合、どの絵コンテ案が、企画書の要件（制作意図）により近いかを、ＣＭ制作前に評価することができる。また、複数の絵コンテ案の中から、より企画書の要件（制作意図）に近い絵コンテ案を選択することができる。このように、被験者Ｓ１に視聴させて評価する視聴素材であって、評価対象である視聴素材には、ＣＭ動画など動画の他に、静止画、各種媒体による印刷物（例えば、広告、チラシ、ウェブページなど）等が含まれる。
　また、上記の各実施形態において、類似度の一列として、相関関係を示し相関係数（ｒ）を用いる例を説明したが、これに限定されるものではない。例えば、上記の各実施形態は、類似度を示す他の指標や、意味的距離（統計的距離）などを用いるようにしてもよい。
　また、上記の各実施形態において、文章情報に対する目標概念ベクタの生成や、シーン又はカットごとの目標概念ベクタの生成に、単語単位の目標概念ベクタの重心（平均）や所定の時間間隔ごとの目標概念ベクタの平均を用いる例を説明したが、これに限定されるものではなく、ベクタの分布（分散）などの他の手法を用いてもよい。
　また、上記の第２及び第３の実施形態において、カット（又はシーン）ごとの目標概念ベクタの生成に、所定の時間間隔ごとの目標概念ベクタのカット（又はシーン）対応する期間における平均を用いる例を説明したが、これに限定されるものではない。例えば、推定行列生成部１３２は、所定の時間間隔ごとのｆＭＲＩ３０の計測結果のカット（又はシーン）対応する期間における平均値を算出し、当該計測結果の平均値からカット（又はシーン）ごとの目標概念ベクタを生成してもよい。
　また、上記の各実施形態において、データ処理装置１０は、出力部の一例として、表示部１１を備え、表示部１１に評価結果を出力する例を説明したが、これに限定されるものではない。出力部は、例えば、プリンタや、評価結果をファイルにして出力するインターフェース部などであってもよい。また、記憶部１２の一部又は全部をデータ処理装置１０の外部に備えるようにしてもよい。
　なお、上述したデータ処理装置１０が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したデータ処理装置１０が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したデータ処理装置１０が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。
　また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にデータ処理装置１０が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。
さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
　１　　　広告評価システム
　１０　　データ処理装置
　１１　　表示部
　１２　　記憶部
　１３　　制御部
　２０　　画像再生端末
　３０　　ｆＭＲＩ
　４０　　コーパス
　１２１　計測結果記憶部
　１２２　推定モデル記憶部
　１２３　行列記憶部
　１２４　相関係数記憶部
　１３１　モデル生成部
　１３２　推定行列生成部
　１３３　意図行列生成部
　１３４　相関算出部
　１３５　表示制御部
　Ｓ１　被験者

Claims (9)

  1. 　脳活動計測部が、視聴素材を視聴した被験者の脳活動を計測する脳活動計測ステップと、
    　第１行列生成部が、前記脳活動計測ステップによって計測された計測結果に基づいて、前記被験者の知覚の意味内容を推定した第１行列を生成する第１行列生成ステップと、
    　第２行列生成部が、前記視聴素材の企画意図を示す文章情報に自然言語処理を行い、第２行列を生成する第２行列生成ステップと、
    　類似度算出部が、前記第１行列と、前記第２行列との類似度を算出する類似度算出ステップと
    　を含む視聴素材評価方法。
  2. 　前記第２行列生成ステップにおいて、前記第２行列生成部が、前記文章情報を分割した単語のそれぞれを、所定数の次元の意味空間における位置を示す行列に変換し、当該行列の重心を示す前記第２行列を生成する
    　請求項１に記載の視聴素材評価方法。
  3. 　前記文章情報には、前記視聴素材の絵コンテに含まれるカットごとの企画意図を示すカット文章情報が含まれ、
    　前記第１行列生成ステップにおいて、前記第１行列生成部が、前記カットごとに前記第１行列を生成し、
    　前記第２行列生成ステップにおいて、前記第２行列生成部が、前記カット文章情報に対応する前記第２行列を生成し、
    　前記類似度算出ステップにおいて、前記類似度算出部が、前記カットごとに前記類似度を算出する
    　請求項１又は請求項２に記載の視聴素材評価方法。
  4. 　前記文章情報には、前記視聴素材に含まれるシーンごとの企画意図を示すシーン文章情報が含まれ、
    　前記第１行列生成ステップにおいて、前記第１行列生成部が、前記シーンごとに前記第１行列を生成し、
    　前記第２行列生成ステップにおいて、前記第２行列生成部が、前記シーン文章情報に対応する前記第２行列を生成し、
    　前記類似度算出ステップにおいて、前記類似度算出部が、前記シーンごとに前記類似度を算出する
    　請求項１から請求項３のいずれか一項に記載の視聴素材評価方法。
  5. 　前記脳活動計測ステップにおいて、前記脳活動計測部が、所定の時間間隔ごとに、前記被験者の脳活動を計測し、
    　前記第１行列生成ステップにおいて、前記第１行列生成部が、前記所定の時間間隔ごとに前記第１行列を生成し、
    　前記類似度算出ステップにおいて、前記類似度算出部が、前記文章情報に対応する期間における前記第１行列の平均を示す平均第１行列と、前記第２行列との類似度を算出する
    　請求項１から請求項４のいずれか一項に記載の視聴素材評価方法。
  6. 　前記文章情報には、前記視聴素材の全体の企画意図を示す全体意図文章情報が含まれ、
    　前記脳活動計測ステップにおいて、前記脳活動計測部が、所定の時間間隔ごとに、前記被験者の脳活動を計測し、
    　前記第１行列生成ステップにおいて、前記第１行列生成部が、前記所定の時間間隔ごとに前記第１行列を生成し、
    　前記第２行列生成ステップにおいて、前記第２行列生成部が、前記全体意図文章情報に対応する前記第２行列を生成し、
    　前記類似度算出ステップにおいて、前記類似度算出部が、前記所定の時間間隔ごとに生成された前記第１行列と、前記全体意図文章情報に対応する前記第２行列との類似度を算出する
    　請求項１から請求項４のいずれか一項に記載の視聴素材評価方法。
  7. 　前記脳活動計測部が、訓練動画を視聴した前記被験者の脳活動を所定の時間間隔で計測する訓練計測ステップと、
    　モデル生成部が、前記訓練計測ステップによって計測された複数の計測結果と、前記訓練動画の各シーンを説明する説明文章に自然言語処理を行って生成した複数の第３行列とに基づいて、前記計測結果から前記第１行列を推定する推定モデルを生成するモデル生成ステップと
    　を含み、
    　前記第１行列生成ステップにおいて、前記第１行列生成部が、前記脳活動計測ステップによって計測された計測結果と、前記推定モデルとに基づいて、前記第１行列を生成する
    　請求項１から請求項６のいずれか一項に記載の視聴素材評価方法。
  8. 　視聴素材を視聴した被験者の脳活動を計測する脳活動計測部と、
    　前記脳活動計測部によって計測された計測結果に基づいて、前記被験者の知覚の意味内容を推定した第１行列を生成する第１行列生成部と、
    　前記視聴素材の企画意図を示す文章情報に自然言語処理を行い、第２行列を生成する第２行列生成部と、
    　前記第１行列と、前記第２行列との類似度を算出する類似度算出部と
    　を備える視聴素材評価システム。
  9. 　コンピュータに、
    　視聴素材を視聴した被験者の脳活動を計測する脳活動計測部によって計測された計測結果に基づいて、前記被験者の知覚の意味内容を推定した第１行列を生成する第１行列生成ステップと、
    　前記視聴素材の企画意図を示す文章情報に自然言語処理を行い、第２行列を生成する第２行列生成ステップと、
    　前記第１行列と、前記第２行列との類似度を算出する類似度算出ステップと
    　を実行させるためのプログラム。
PCT/JP2016/088375 2016-01-18 2016-12-22 視聴素材評価方法、視聴素材評価システム、及びプログラム Ceased WO2017126288A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/740,256 US20180314687A1 (en) 2016-01-18 2016-12-22 Viewing material evaluating method, viewing material evaluating system, and program
EP16886527.7A EP3376404A4 (en) 2016-01-18 2016-12-22 METHOD FOR EVALUATING STUDY MATERIAL, SYSTEM FOR EVALUATING STUDY MATERIAL AND PROGRAM
CN201680042712.7A CN107851119A (zh) 2016-01-18 2016-12-22 视听素材评价方法、视听素材评价系统及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016007307A JP6662644B2 (ja) 2016-01-18 2016-01-18 視聴素材評価方法、視聴素材評価システム、及びプログラム
JP2016-007307 2016-01-18

Publications (1)

Publication Number Publication Date
WO2017126288A1 true WO2017126288A1 (ja) 2017-07-27

Family

ID=59362706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/088375 Ceased WO2017126288A1 (ja) 2016-01-18 2016-12-22 視聴素材評価方法、視聴素材評価システム、及びプログラム

Country Status (5)

Country Link
US (1) US20180314687A1 (ja)
EP (1) EP3376404A4 (ja)
JP (1) JP6662644B2 (ja)
CN (1) CN107851119A (ja)
WO (1) WO2017126288A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10915543B2 (en) 2014-11-03 2021-02-09 SavantX, Inc. Systems and methods for enterprise data search and analysis
JP6618702B2 (ja) * 2015-04-06 2019-12-11 国立研究開発法人情報通信研究機構 知覚意味内容推定装置および脳活動の解析による知覚意味内容の推定方法
US11328128B2 (en) 2017-02-28 2022-05-10 SavantX, Inc. System and method for analysis and navigation of data
EP3590053A4 (en) * 2017-02-28 2020-11-25 SavantX, Inc. SYSTEM AND METHOD OF ANALYSIS AND DATA TRAVEL
JP6928348B2 (ja) * 2017-08-09 2021-09-01 国立研究開発法人情報通信研究機構 脳活動予測装置、知覚認知内容推定システム、及び脳活動予測方法
US10915707B2 (en) * 2017-10-20 2021-02-09 MachineVantage, Inc. Word replaceability through word vectors
JP7218154B2 (ja) * 2018-11-05 2023-02-06 花王株式会社 評価方法
US20250124385A1 (en) * 2021-09-17 2025-04-17 Nippon Telegraph And Telephone Corporation Strategy planning support apparatus, strategy planning support method, and program
CN119907988A (zh) * 2023-08-29 2025-04-29 乐天集团股份有限公司 学习装置、推定装置、学习方法、推定方法、及程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102594A (ja) * 2006-10-17 2008-05-01 Fujitsu Ltd コンテンツの検索方法及び検索装置
JP2012073350A (ja) * 2010-09-28 2012-04-12 Canon Inc 映像制御装置、及び映像制御方法
JP2014115913A (ja) * 2012-12-11 2014-06-26 Advanced Telecommunication Research Institute International 脳情報処理装置、脳情報処理方法、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101464397B1 (ko) * 2007-03-29 2014-11-28 더 닐슨 컴퍼니 (유에스) 엘엘씨 마케팅 및 엔터테인먼트 효과의 분석
KR20100047865A (ko) * 2007-08-28 2010-05-10 뉴로포커스, 인크. 소비자 경험 평가 시스템
US9451883B2 (en) * 2009-03-04 2016-09-27 The Regents Of The University Of California Apparatus and method for decoding sensory and cognitive information from brain activity
JP6259353B2 (ja) * 2014-04-17 2018-01-10 日本放送協会 映像評価装置及びそのプログラム
CN104408642B (zh) * 2014-10-29 2017-09-12 云南大学 一种基于用户体验质量的广告制作方法
JP5799351B1 (ja) * 2014-12-09 2015-10-21 株式会社センタン 評価装置および評価方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102594A (ja) * 2006-10-17 2008-05-01 Fujitsu Ltd コンテンツの検索方法及び検索装置
JP2012073350A (ja) * 2010-09-28 2012-04-12 Canon Inc 映像制御装置、及び映像制御方法
JP2014115913A (ja) * 2012-12-11 2014-06-26 Advanced Telecommunication Research Institute International 脳情報処理装置、脳情報処理方法、およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3376404A4 *
YASUHITO SAWAHATA: "Neural Decoding During Video Viewing : Towards understanding semantic features of video contents", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 69, no. 6, 1 July 2015 (2015-07-01), pages 516 - 520, XP055558808 *

Also Published As

Publication number Publication date
US20180314687A1 (en) 2018-11-01
JP2017129923A (ja) 2017-07-27
CN107851119A (zh) 2018-03-27
EP3376404A1 (en) 2018-09-19
EP3376404A4 (en) 2019-06-12
JP6662644B2 (ja) 2020-03-11

Similar Documents

Publication Publication Date Title
JP6662644B2 (ja) 視聴素材評価方法、視聴素材評価システム、及びプログラム
US11544590B2 (en) Answering questions during video playback
JP6807389B2 (ja) メディアコンテンツのパフォーマンスの即時予測のための方法及び装置
US9235918B2 (en) Audio media mood visualization
US8930308B1 (en) Methods and systems of associating metadata with media
Brunnström et al. Statistical quality of experience analysis: on planning the sample size and statistical significance testing
Ghadiyaram et al. A time-varying subjective quality model for mobile streaming videos with stalling events
CN112287168A (zh) 用于生成视频的方法和装置
Chen et al. Using multimodal cues to analyze mla'14 oral presentation quality corpus: Presentation delivery and slides quality
JP2018142272A (ja) コンテンツ評価予測システム及びコンテンツ評価予測方法
US9547829B2 (en) Two-model recommender
JP7218154B2 (ja) 評価方法
Glowinski et al. Expressive non-verbal interaction in string quartet
JP6745393B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6687940B2 (ja) 素材評価方法、及び素材評価装置
Booth et al. People make mistakes: Obtaining accurate ground truth from continuous annotations of subjective constructs
JP2007323315A (ja) 協調フィルタリング方法、協調フィルタリング装置、および協調フィルタリングプログラムならびにそのプログラムを記録した記録媒体
WO2020045527A1 (ja) 動画像データ処理装置、及びプログラム
Lebreton et al. CrowdWatcher: an open-source platform to catch the eye of the crowd
JP7075045B2 (ja) 推定システム、及び推定方法
JP2020187714A (ja) 情報処理装置、情報処理システム、学習装置、および情報処理プログラム
Ortiz-Jaramillo et al. Content-aware video quality assessment: predicting human perception of quality using peak signal to noise ratio and spatial/temporal activity
Mizuta et al. SNS-Style Residential Space Browsing and Recommendation System
Avgeropoulou et al. RE-EVALUATING SENSORY MARKETING: TOWARD AN ENHANCED-SENSORY PARADIGM, THE ROLE OF YOUTUBE AND CINEMATOGRAPHY FOR CREATING A CAPTIVATING CONSUMER EXPERIENCE
Singla Performance Analysis of SSQ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886527

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15740256

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE